aws 생성형 ai 부산 세미나

aws 생성형 ai 부산 세미나

부산에서 aws에서 주최하는 생성형 AI에대한 세미나가 작게 열렸다. 입장할때 받은 서브웨이를 먹으며 급하게 빨리 진행되는 세미나 내용을 정리하려고 하다보니 내용이 좀 이상하다. 아는 부분도 있고 몰랐던 부분도 있었다. 늦게나마 이렇게 기록한다. 

급하게 쓴다고 콩글리시로 주저리주저리 썼다.

 

기반모델

파운데이션모델은 비정형데이터를 가지고 큰 규모의 모델을 만들어서 파인튜닝한다

 

종류

• 텍스트 투 텍스트
• 자연어 투 이미지
• 최근에 발표된 sora모델은 텍스투 비디오 까지도 발전진행중

 

21년 파운데이션 모델 논문 발의

트랜스포머모델과 llm을 합치면 지금의 gpt가 됩니다.

 

GPT는 러닝프롬 휴먼피드백 방식의 학습진행 RLHF

 

모델크기를 키운 이유 openai에서 모델의 크기를 키우면 키울수록 로스가 줄고 데이터 크기가 커질수록 성능이 향상되는 현상이 발견후 본격적으로 gpt3개발 진행했습니다.

 

llm모델 개발한번에 돈이 어마무시하게 든다

학습한번에 드는 비용이 gpt3는 11억 정도 들었다고 공개됐습니다.

라바 모델은 50억정도 드는데 이는 단 한번 학습하는데 드는 비용이다.

 

이러한 거대한 모델을 일반적인 기업이 사용할 수 없기때문에 비즈니스에 맞게 뾰족하게 파인튜닝하여 특정 비즈니스에서 유의미하게 사용할 수 있는 가능성이 생기게 된 것이 최근에 1억개이상정도의 작은 파라메터를 보유한 작은모델들이 생겨난다 훨신 저렴하고 성능은 gpt3.5정도 성능을 보유한 모델을 통해 비즈니스에 맞게 파인튜닝을 해서 사용 한다.

 

학습 방식

RLHF

모델을 학습한 결과를 사람이 수정해주는 방식의 학습방법

점수피드벡 이후 피드백을 반영한 강화학습

 

RLAIF 

엄청 크고 성능좋은 gpt4같은 모델이 결과를 수정하여 학습하는 방식

 

프롬프트 엔지니어링

 

llm로부터 높은품질의 응답을 생성하기 위한 입력값들의 조합을 찾는 작업

• 제로샷:  바로 결과만 물어보기
• 원 올 퓨샷: 몇개의 예시들을 프롬프트에 포함시켜 물어보기
• 롤프롬프트 : 역할이나 페르소나를 지정하여서 규칙을 지어주고 물어보기
• 체인오브 또우트: 복잡한 질문에 대해 생각할수 있는 정보를 추가하여(예시로 인한 답을 추가한다던지) 물어보기

react  답의 꼬리에꼬리를 물도록 해서 큰 작업을 진행하는 방식 잘못하면 무한루프빠질수있음

 

파인튜닝

파운데이션 모델에 도메인에 특화된 추가 학습 데이터를 이용해서 파라메터를 추가하여 도메인에 특화된 모델을 만들어 내는것

 

오픈소스 llm

• 라마 

메타에서 공개한 오픈소스 모델 학습 한번에 300달러 성능은 gpt3.5보다 나음 도메인 데이터망 잘있으면 좋은성능으로 파인튜닝해서 사용할수있다

위와같이 오픈소스 모델을 잘 찾아서 비즈니스에 맞게 파인튜닝해서 사용하는방식이 자본이 없는 회사에서 사용할수있다

제미니1.5 moe방식으로 학습시킨 llm 이고 성경책 을 넣어도 남아도는 어마무시한 토큰량이 된다

할루시네이션

생성형모델이 거짓말 하는현상

이를 해걀하기위해 나온 방식은  RAG 가 있다

RAG

문서를 임베딩해서 데이터베이스에 넣고 llm에질문하는 방식

 

naive rag 문서를 임베디왜서 데이터베이스에 넣고 질문하는 방식

adcanced rag 사람이 좀더 좋은 내용으로 질문을 수정해서 질문하는 방식

프롬프트로 질문하면 파워모델이 백터데이터로 만들어주고 이를 답변하는 형태

위사진은 advenced rag방식

이러한 할루시네이션 잡는 기법은 다양하게 있다 비즈니스에 맞게 구성하여서 잡아가야함

모델 호출 빈도등을 계산하여서 경제적으로 짜는것도 중요하다

 

llm을 비즈니스에 맞게 사용하는 프로세스