기록 13 . 브레인 스토밍을 위한 RAG 구현.

 

 

 아마존 에서 그림 발췌 [출처 :  https://aws.amazon.com/ko/what-is/retrieval-augmented-generation/]

RAG란? - 검색 증강 생성 AI 설명 - AWS

 

우선 내가 해야 할 일을 정리하자면....

 

목표. : 아이디어를 만들어주는 아이디어 제작 챗봇

 

이 되겠다.

 

기획 중간에 그냥 귀찮으니깐 아이디어좀 누가만들어 줬으며 좋겠다고 생각해서 그냥 만들어낸 아이디어이다.

 

먼저 전문성을 조금이라도 높이기 위해서 "브레인스토밍 기법에대한 문서를 정리한다."

문서 -> "문맥단위로 나눈다."(Chunk)

이걸 이제 Json 으로 파싱하기위해서 조금 수정한다.(ai가 해달라면 해준다.)

[CHUNK 01] 

마인트매핑

(내용)

 

이런구조가 아래처럼 바뀐다. 

 

 

 

 

 

Chunk 된 내용을  지피티(openAI) api를 사용해서 의미있는 숫자로 임배딩처리한다.  

아래와 같이 의미(?? 컴퓨터가 보기에?) 있는 숫자로 변환 하는걸 임배딩이라고 보면된다.

 

 

 

 

이 임배딩과정에서, 저 숫자들은 각각의 , 의미를 부여해놓고 비슷한의미 숫자를 가진 것들을 어떤 가상의 공간안에 배포해놓게 되는데..

이때 저장하는곳이  VectorDB이다. ( 난 ChromaDB를 사용했다.) 

아래 그림처럼 비슷한 동물 이라는 검색어를 답변하기위해서, 왼쪽 Dog,Cat 과 같은 유사한 의미를 가진 지역에서 "유사도"를 찾아서 답변하도록 하는 기술이라고 보면됨 

출처 - 몽고DB 사이트 : https://www.mongodb.com/ko-kr/resources/basics/databases/vector-databases

What Are Vector Databases?

 

 

 

 

정리하면 LLM(대규모 언어 모델'Large Language Model'의 약자)  챗지피티 같은 ai는 말그대로 대화 생성해주는 ai 이고

실제 저장된 데이터나 기사, 논문 등을 검색해서 제공해주지만.. 회사의 HR정보, 우리회사 가이드 같은건 제공 못해준다.

 

이걸 위의 작업을 통해서 대답해주도록.. 

 

지피티야, 내가만든 문서를 참고해서 대답해줘

 

 

하는것이 RAG

검색 증강 생성(Retrieval-Augmented Generation) 라고 보면될듯.