KoGPT Web UI 만들기

Share
KoGPT Web UI 만들기

이번 포스트는 kogpt.tmmse.xyz 를 만들면서 느낀 점들을 다룹니다.
(다 사용하고 현재는 닫았습니다. 사용하실 분들은 Github 코드를 빌드하시면 되는데, 이게 가능하시면 직접 만드시는게 더 편하실 거에요....)

KoGPT Rest API 공개

OpenAI 가 공개한 GPT-3 는 언어를 너무 잘 다뤄서 전세계가 놀랐었죠.
당연히 영어로 동작하기 때문에, 한국어를 잘 다루는 AI가 나오길 기대하고 있었습니다.
그리고 대략 2년쯤 지난 지금 역시나 한국어 버전이 나오기 시작합니다.
대표적으로는 네이버의 CLOVA와 카카오의 KoGPT 두 가지가 눈에 띕니다.

CLOVA (NAVER)

CLOVA는 현재 기업들만 사용신청이 가능합니다.
대신 뤼튼이라는 서비스가 CLOVA를 이용해서 서비스를 런칭했기 때문에 간접적으로 사용이 가능합니다.

KoGPT (Kakao)

카카오에서 나온 KoGPT는 모델이 공개되어서 직접 돌려볼 수도 있습니다만, 비싼 장비를 갖췄거나, colab을 유료로 사용하는 등의 방법이 필요해서 어려움이 조금 있었죠.

이러던 와중에 최근 RESP API 로 KoGPT 를 사용할 수 있게 공개가 되었습니다! (Kakao 개발자 페이지)
보다 쉽게 사용이 가능해진 것인데요, 그래도 비전공자 분들은 바로 사용하기가 쉽지는 않습니다.

그래서 누구나 써볼 수 있게 만들었습니다.
(사실 여자친구 써보게 하려고 만들었어요.)

누구나 쉽게 사용할 수 있는 Interface

빠르게 배포할 수 있고, 누구나 접근이 가능하도록 Web으로 만들었습니다.
Kakao에서는 REST API 로만 공개를 했기 때문이죠.

개발자 분들은 REST API 쓰는 것이 어렵지 않겠지만, 컴퓨터를 다루지 않으신 분들은 쉽지 않아서 그냥 키보드/마우스만 있으면 쓸 수 있게 했습니다.

접속하시면 아래와 같은 화면이 나와서, 몇 가지만 입력하면 사용해보실 수 있습니다. 각 항목에 대한 설명은 공식 문서 링크를 걸어 뒀으니 가서 보셔야 합니다.

직접 써보는 내용은 영상으로 찍어보고 여기에 추가하려고 합니다.

후기

Framework는 Flutter를 사용했고, 코드는 Github 에 가시면 누구나 보실 수 있습니다.
디자인은 뭐... 그냥 대충 구현 빨리 되는대로 했습니다.
1차로 다 만들고 나니 너무 안예쁘네요. 기회가되면 개선해볼까 싶습니다.

구현하는데 대충 5~6시간 정도 걸린 것 같네요.
Firebase 에 호스팅하고, 블로그 서브도메인 연결하고, 배포하고 하니 대략 8시간 정도 소요되었습니다.

Flutter와 Firebase를 사용한 이유는 그냥 제가 익숙해서이고, 혹시 앱으로 출시할 수도 있으니, cross-platform이 지원되는 프레임워크가 유리하기도 합니다.

이런 Web 페이지는 제가 처음 만들어보는데, 워낙 간단한 기능이다 보니 크게 어려움은 없었네요.

사실 이 앱의 본질은 그냥 REST API를 호출하고, 결과를 뿌려주는 것이 끝입니다.
그래서, 나중에 다양한 REST API 를 대응 할 수 있도록 고민을 살짝 해봤습니다.
자유도와 가독성을 둘 다 챙기고 싶었는데, 모두 만족시키는 것이 어렵네요.
나중에 다른 사람들이 잘 짠 코드를 참고해 봐야겠다는 생각이 들었습니다.
스스로 판단하기에 제가 간단하게 만든 코드가 만족스럽지는 못하네요.

Read more

허깅페이스 르로봇 해커톤 후기

허깅페이스 르로봇 해커톤 후기

본 블로그의 주인장들은 이번 허깅페이스의 르로봇 월드와이드 해커톤의 서울 호스트를 맡았습니다. 너무 재밌었고, 그 과정들과 후기를 남깁니다. 현장은 다큐 형식의 작은 영상을 만들었으니 한번 봐주세요. 계기 저는 LLM 만 하고 있었고, Action 모델은 사실 관심이 없었습니다, 준호는 1년 정도 로봇에 AI 를 넣는 일을 하고 있었죠. 허깅페이스에서 르로봇 플랫폼을 만들고

By park jong hyun
DeepDive LLM 3편 - Reinforcement Learning

DeepDive LLM 3편 - Reinforcement Learning

* 1편 - 사전 학습 (Pre Training) * 2편 - Supervised Fine Tuning * 3편 - Reinforcement Learning Reinforcement Learning Pretrain, SFT 에 이어서 세번째 단계는 Reinforcement Learning (RL, 강화학습) 입니다. 비유를 해보자면, pretrain은 그냥 책을 읽는 것이고요, SFT는 예제 문제와 이미 작성된 해설을 보는 것입니다. RL 은 해설이 없는 문제를 직접 풀어보는 것입니다. 어떻게 풀든

By park jong hyun
DeepDive LLM 2편 - Supervised Fine Tuning

DeepDive LLM 2편 - Supervised Fine Tuning

* 1편 - 사전 학습 (Pre Training) * 2편 - Supervised Fine Tuning * 3편 - 강화 학습 (Reinforcement Learning) Supervised Fine Tuning Post Training 의 첫번째 단계 SFT 입니다. Pre Training 에 비하면 아주 작은 양의 데이터만 필요하지만, 실제로 성능을 이끌어 내는데에는 중요한 단계입니다. 멀티턴 대화 (Multi Turn Conversation) ChatGPT 를 포함해서 대부분의 AI 서비스들은

By park jong hyun
DeepDive LLM 1편 - 사전 학습 (Pre-Training)

DeepDive LLM 1편 - 사전 학습 (Pre-Training)

본 포스트 시리즈는 카파시 선생님의 영상 을 기반으로 정리한 내용입니다. 직접 유투브에서 다루기도 했으니 영상으로 보셔도 됩니다. * 1편 - 사전 학습 (Pre-Training) * 2편 - Supervised Fine Tuning * 3편 - 강화 학습 (Reinforcement Learning) LLM 의 Training LLM을 만들 때는 크게 세 가지 주요 단계가 있습니다. 1. 사전 학습(Pre-Training) * 인터넷 텍스트(

By park jong hyun