ai - sudormrf

DeepDive LLM 3편 - Reinforcement Learning

1편 - 사전 학습 (Pre Training)2편 - Supervised Fine Tuning3편 - Reinforcement Learning Reinforcement Learning Pretrain, SFT 에 이어서 세번째 단계는 Reinforcement Learning (RL, 강화학습) 입니다. 비유를 해보자면, pretrain은 그냥 책을 읽는 것이고요, SFT는 예제 문제와 이미 작성된 해설을 보는 것입니다. RL 은 해설이 없는 문제를 직접 풀어보는 것입니다.

ai

DeepDive LLM 2편 - Supervised Fine Tuning

1편 - 사전 학습 (Pre Training)2편 - Supervised Fine Tuning3편 - 강화 학습 (Reinforcement Learning) Supervised Fine Tuning Post Training 의 첫번째 단계 SFT 입니다. Pre Training 에 비하면 아주 작은 양의 데이터만 필요하지만, 실제로 성능을 이끌어 내는데에는 중요한 단계입니다. 멀티턴 대화 (Multi Turn Conversation) ChatGPT 를 포함해서 대부분의

ai

DeepDive LLM 1편 - 사전 학습 (Pre-Training)

본 포스트 시리즈는 카파시 선생님의 영상 을 기반으로 정리한 내용입니다. 직접 유투브에서 다루기도 했으니 영상으로 보셔도 됩니다. 1편 - 사전 학습 (Pre-Training)2편 - Supervised Fine Tuning3편 - 강화 학습 (Reinforcement Learning) LLM 의 Training LLM을 만들 때는 크게 세 가지 주요 단계가 있습니다. 1. 사전 학습(Pre-Training) 인터넷 텍스트(

ai

o1 멀티모달 RAG 구현 후기 - ESG 보고서 분석기

24년 12월 OpenAI 의 추론 (Reasoning) 모델 o1 은 이미지를 인풋으로 받을 수 있게 되어 멀티모달 모델이 되었습니다. 기존 GPT-4o 를 기반으로 만든 멀티모달 RAG 시스템이 있는데요, o1 으로 교체를 하면서 얼마나 똑똑해 졌는지, 비용은 얼마나 나올지 한번 해보겠습니다. (+ 약간의 개선 작업도) ESG 분석기 시스템 개요 목표는 간단합니다. 대부분의 큰

ai

AI Agent 를 정확하게 정의하기

요즘 많은 매체 (기사, 유투브, 포스트) 에서 "AI Agent가 미래다" 라는 말을 많이 합니다. 대표적으로 Andrew Ng 선생님께서 1년 넘게 Agent에 대해 이야기 하고 계시죠. 그런데, "Agent" 라는 키워드에 대한 정의가 많이 다르고 본인들 유리할대로 사용하는 경우가 많더라고요. 올해 (24년) Agent를 직접 구현하여 시스템을 만드는 강의를 SK 개발자분들 대상으로 꽤

ai

LangSmith, 사용 후기

최근 LangSmith (랭스미스) 를 RAG 시스템 개발/운영에 아주 유용하게 쓰고 있습니다. 동시에 SKT 에서 Langsmith 의 사용에 대한 강의도 진행했습니다. 그 내용은 책으로도 발간을 준비하고 있는데, 사용해보면서 느낀 점들을 정리해보겠습니다. LangSmith COURSE!LangSmith의 사용법, 컨셉, 주요 기능을 소개합니다. 한 줄 요약: 꼭 쓰세요! 두 번 쓰세요! 대체 솔루션 많으니

ai

생성형AI와 멀티모달리티, 그리고 컨텐츠 & 미디어의 미래

본 포스트는 코드 구현이나 테크니컬 디테일 보다는 ChatGPT를 필두로한 새로운 생성형AI 모델들로 인해 나타날 변화에 대해 사유합니다. 저는 주로 현직 엔지니어나 개발자분들을 대상으로 강의를 하기 때문에, LLM 또는 Transformer 의 원리나 실제 코드로 시스템을 구축하는 방법 등을 다룹니다. 그러던 24년 4월, 우연한 기회로 서울대학교 현대사회와 미디어 강의에서 생성형AI 관련 특강을