요즘 LLM CHATGPT와 함께 rag 백터 검색이 핫하다.

RAG(Retrieval-Augmented Generation)

검색증강 생성 LLM 모델이 문장 생성시 정확한 정보를 더 정교하게 전달하게 하기 위한 검색을 모델에 백터로 던져서 어쩌구 저쩌구 이다. 자세한건 gpt에 바로 물어봐도 되고 블로그글도 많고 그목적의 포스팅이 아니니 대충 넘어가기로 하고

여하간 백터DBMS에 elastic 계통이 강한듯 한가보다. 분야 전문가로서 백터 놓을수도 없고 한번 해보았다.

모델은 facebook에서 공개한 Ollama3로 하였다. 한국어 모델도 있긴 한데 테스트 목적상 꼭 한글일 필요는 없어서 그냥 영문 모델 docker로 설치하고 python으로 간단하게 작성하여 테스트 해보았다.

검색 증강 데이터는 뭐 별거 없다. 아래 문장을 pdf로 만든뒤 저장하고 불러오고 아래 스샷과 같이 질의 하면 답변이 매우 흡족하게 잘나온다.

Hanu is king

Hanu rag is awesome

Hanu is very smart

기록원 특히 작년 여름 극한 고통을 받던 시절 담당 고객의 세미나를 유툽 검색하다가 찾았다.

내용을 보니 왜 그리 고통을 받았는지 느낌도 오고,

키바나 시각화 관련 요청을 이후에 왜 하셧는지도 알겠다. 이미 쓰고 계셧구나...

국가기록원에서 검색을 내가 생각했던거 보다 훨씬 중요하게 생각했었던듯 하다.

https://www.youtube.com/watch?v=TvcOj4owGvo

https://www.elastic.co/kr/blog/elasticsearch-is-open-source-again

재밋는 뉴스가 나왔다. elasticsearch 라이선스 AGPL이 추가되었다.

몇년전 AWS와의 갈등 끝에 elastic, SSPL 라이선스로 변경하고 전통적인 오픈소스 라이선스를 삭제하였다.

이후 국내 한정 엘라스틱 포함해서 솔루션을 판매하던 업체들에 날벼락 같은 일이되었고 해당 라이선스에 반발해서 만든 AWS의

오픈써치가 생각보다 업데이트도 빠르게 진행하고 라이선스 마져 apache2.0 라이선스여서 꽤 많이 쓰이기 시작한걸로 알고 있다.

AGPL이 apache2.0 엄격한 라이선스라 뭐 사실 솔루션 업체들 입장에선 크게 다르진 않을거라 생각 되긴 하지만...

여하간 주말간 변경점이 추가되어 내용 작성해본다.

자세한 내용은 상단 공식발표 내용을 보면 된다.

근데 주식은 무슨일이냐????