요즘 LLM CHATGPT와 함께 rag 백터 검색이 핫하다.

RAG(Retrieval-Augmented Generation)

검색증강 생성 LLM 모델이 문장 생성시 정확한 정보를 더 정교하게 전달하게 하기 위한 검색을 모델에 백터로 던져서 어쩌구 저쩌구 이다. 자세한건 gpt에 바로 물어봐도 되고 블로그글도 많고 그목적의 포스팅이 아니니 대충 넘어가기로 하고

여하간 백터DBMS에 elastic 계통이 강한듯 한가보다. 분야 전문가로서 백터 놓을수도 없고 한번 해보았다.

모델은 facebook에서 공개한 Ollama3로 하였다. 한국어 모델도 있긴 한데 테스트 목적상 꼭 한글일 필요는 없어서 그냥 영문 모델 docker로 설치하고 python으로 간단하게 작성하여 테스트 해보았다.

검색 증강 데이터는 뭐 별거 없다. 아래 문장을 pdf로 만든뒤 저장하고 불러오고 아래 스샷과 같이 질의 하면 답변이 매우 흡족하게 잘나온다.

Hanu is king

Hanu rag is awesome

Hanu is very smart

레퍼 문사 복붙 수준이라 큰의미는 없지만 일단 적어 본다.

1. 설치 파일 받기 및 설치

# Install Meilisearch
curl -L https://install.meilisearch.com | sh

다운로드 후 자동 설치 된다. 디렉토리는 실행 위치 바로 아래 ./meilisearch

2. 실행

# Launch Meilisearch

레퍼 문서 상단에 아래와 같이 되어있지만 테스트 서버에서 구동 한다는 가정하에
./meilisearch --master-key="aSampleMasterKey"

아래와 같이 ip:port를 지정해줘야 외부 접근이 가능 하다. 마스터키는 관리자 접근 암호 개념으로 원하는걸로 하면 된다.

./meilisearch --master-key="aSampleMasterKey" --http-addr '192.168.0.xxx:7700'

실행하면 아래 스샷과 같이 나오며 실행이 된다.

3. 샘플데이터 입력

기본적으로 맛보기를 위해 영화DB 데이터 샘플을 제공 한다.

https://www.meilisearch.com/movies.json

간편하게 wget으로 받았다.

4. 샘플 입력

curl로 아래와 같이 하면 된다. master-key, ip등은 본인이 한대로 맞추면 됨

curl \ -X POST 'http://localhost:7700/indexes/movies/documents?primaryKey=id' \ -H 'Content-Type: application/json' \ -H 'Authorization: Bearer aSampleMasterKey' \ --data-binary @movies.json

5. 정상 적재 확인

curl \
  -X GET 'http://localhost:7700/tasks/0' \
  -H 'Authorization: Bearer aSampleMasterKey'

6. restful 검색 확인

curl \
  -X POST 'http://localhost:7700/indexes/movies/search' \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer aSampleMasterKey' \
  --data-binary '{ "q": "botman" }'

7.  정상적으로 나온다면 웹브라우저로 7700 포트 접속해보면 아래와 같은 화면이 뜨고 Api Key 입력호 검색이 가능 하다.

샘플 환경이고 데이터도 얼마 없는 이유도 있겠지만 체감상 엘라스틱 보다 뭔가 더 빠르다. 메모리에 데이터를 모두 로드해서 처리 한다고 하니 그래서 더 그런 듯 하다. 메모리DB에 레디스가 있다면 검색엔 이친구가 있는듯한 느낌이다.

암튼 너무 심플해서 당황스러울 정도 이다.

설치 레퍼 문서는 아래링크 확인 사실상 동일 하다고 생각하면 된다. 끝

https://www.meilisearch.com/docs/learn/self_hosted/getting_started_with_self_hosted_meilisearch

서핑 도중 새로운 검색엔진을 알게되었다. 프랑스산 무려 rust 기반 검색엔진 이다.

장점은 가볍고 빠르고 셋팅이 거이 필요 없다.

단점은 엘라스틱 처럼 클러스터 분산처리는 지원하지 않고 단일 노드 기반이다.

다만 엄청나게 빠르고 심플하다. 검색 자체에 집중하기 좋은 녀석이다.

엘라스틱이 범용이라면 이친구는 검색에만 몰빵 그런 컨셉이다. 

라이선스도 mit 착한 라이선스를 가지고 있다.

상대적으로 소규모만 사용하고 엘라스틱 라이선스로 골치 아플 경우 좋은 대안이 될 수 있다고 보여진다.

주요 특징은 이렇다고 한다. 

MeiliSearch의 주요 특징:

1. 빠른 검색 성능: MeiliSearch는 사용자에게 실시간 검색 경험을 제공할 수 있도록 최적화되어 있습니다. 검색 요청에 대한 응답 시간이 매우 짧습니다.

2. 자동 오타 수정: 사용자 입력에서 발생할 수 있는 오타를 자동으로 인식하고 교정하여 검색 결과를 정확하게 제공합니다.

3. 쉽고 직관적인 설정: RESTful API를 통해 쉽게 설정하고 사용할 수 있으며, 사용자 정의를 통해 다양한 필터링 및 정렬 옵션을 제공할 수 있습니다.

4. 다양한 언어 지원: MeiliSearch는 여러 언어를 지원하며, 각 언어에 맞는 자연어 처리를 통해 검색 품질을 높입니다.

5. 오픈 소스: MeiliSearch는 오픈 소스 프로젝트로 GitHub에서 소스 코드를 무료로 사용할 수 있으며, 누구나 기여할 수 있습니다.

설치가 놀랍도록 편한데 설치는 나눠서 포스팅 하도록 하자.

https://www.meilisearch.com/

https://community.cloudera.com/t5/Support-Questions/Add-attribute-String-value-to-an-array-in-flow-file/m-p/288432

기록목적으로 남겨둔다 나중에 정리 해야지

evaluateJsonPath $.key 형태로 하면 간단한 벨류의 경우 attribute 등록이 쉽게 되지만 array 타입의 경우 잘되지 않는다.

1:N관계 데이터 여러번 묶어서 하나의 json을 만들어 낼때 evaluateJsonPath 얘로 커버가 안되서 어지러운 경우가 있다 해당 상황의 해결법이다. 나중에 인터넷망에서 직접 해보고 다시 정리 해야겠다

요즘 나이파이를 많이 쓰다 보니 공식문서를 자주 보게 되는데 매번 다시 검색하는 삽질중이라 링크 남길겸 남겨 둔다.

NIFI Attribute Update 또는 Create 할때 NIFI 자체 랭귀지를 많이 사용 한다.

기초적인 사용법은 ${hanuking:isNull()} 등이 있다. 링크를 남기는게 목적이라 상세한 내용은 다음 기회에 적도록하자

대부분 폐쇄망에 있어서 옮겨적기 귀찮다....

https://nifi.apache.org/docs/nifi-docs/html/expression-language-guide.html

2019~2020년도 하던 프로젝트에서 발굴 하여 많이 쓰다가 이후 이직과 함께 자연스럽게 폐기처분되었던 나이파이 이후 회사에서 장점 설명하면서 쓰자고 했지만 노관이여서 집에서 혼자하는 프로젝트에서 대충 쓰다가 다시 꺼내게 되었다. 

2년정도 텀은 있지만 크게 변한건 없는듯 하고 예전엔 맨땅에 노가다로 내가 다 만들었다면 지금은 템플릿이 많이 준비되어 있어서 흐름만 잘설계하면 된다.

일단 로컬이나 집에서 다시 연습을 하기 위해 설치부터 필요 하여 그때는 도커를 DB만 썻지만 지금은 다용도로 쓰는 만큼 역시 NIFI도 도커로 설치해보았다.

https://hub.docker.com/r/apache/nifi

방법은 크게 어렵지 않다.

docker pull apache/nifi
docker run --name nifi   -p 8443:8443   -d   apache/nifi:latest

이미지 받고 외부 접속 포트인 8443만 연결해주면 된다.

단 아이디 비밀번호가 자동생성 방식이라 확인이 필요 하다.

아래 명령어를 통해 쉽게 확인 가능 하다.

docker logs nifi | grep Generated

윈도우 기반일 경우 로그탭에서 확인 가능 하다.

해당 접속 꼭 nifi를 붙여주자 접속 로그인 하면 사용이 가능하다.

https://localhost:8443/nifi

최초 접속시 당연하지만 아무것도 없기에 횡하다.

암바리 서비스 설치 아래 순서대로 진행

메타데이터 저장을 위한 db설정 사전작업 기본db로 진행 postgre

(mysql, mariadb 등으로도 가능 하지만 기본인 postgre로 진행)

재설치 연습을 위해 만들었던 메뉴얼이라 불친절 하지만 그대로 하면 된다.

기록목적이 강하므로 그냥 진행 한다.

su - postgres

vi data/pg_hba.conf

host  all  all 0.0.0.0/0 md5

vi data/postgresql.conf

Add or edit the following line in your postgresql.conf :

listen_addresses = '*'

사전에 /usr/share/java/ 경로에 postgresql-jdbc.jar를 넣어야 된다.
cd /usr/share/java/
systemctl restart postgresql
ambari-server setup --jdbc-db=postgres --jdbc-driver=/usr/share/java/postgresql-jdbc.jar
ambari-server setup --jdbc-db=postgres --jdbc-driver=/mnt/postgresql-jdbc.jar

하이브와 우지 사용을 위한 설정

안쓴다면 스킵하면 된다.

hive
----------
username : hive
password : forest
db       : hive
class : org.postgresql.Driver
jdbc:postgresql://redsrv:5432/hive

-------------------------------------------
echo "CREATE DATABASE hive;" | psql -U postgres
echo "CREATE USER hive WITH PASSWORD 'forest';" | psql -U postgres
echo "GRANT ALL PRIVILEGES ON DATABASE hive TO hive;" | psql -U postgres


oozie
-----------
username : oozie
password : forest
db       : oozie
class : org.postgresql.Driver
jdbc:postgresql://redsrv:5432/oozie

echo "CREATE DATABASE oozie;" | psql -U postgres
echo "CREATE USER oozie WITH PASSWORD 'forest';" | psql -U postgres
echo "GRANT ALL PRIVILEGES ON DATABASE oozie TO oozie;" | psql -U postgres

설정 후 암바리를 재시작을 하자

ambari-server start 

yum install ambari-agent

혹시 모르니 ambari-server, amabari-agent restart 를 진행 한다.
ambari-server restart
ambari-agent restart

요즘 너무 일반 글만 싸지르는거 같아서 명색이 기술블로그 인데 과거 작성 메뉴을 사골도 우릴겸 작성해본다.

하둡이 뭔지도 모르던 시절 클라우데라 홈피(당시엔 호튼웍스 홈피 인수전이였다.) 보면서 삽질의 결과물 이다.

HDP3.1의 미스테리는 내가 못하는걸 수도 있지만 똑같이 설치 해도 매번 반응이 다르다 가상화로 테스트를 해도 매번 달라서 실제 운영 설치당시 거이 기도메타로 설치 했던 기억이 있다. 암턴 이번엔 이걸 적어보자 한다.

1. OS Hostname을 설정
shell에서 hostname 확인후

 1) hostnamectl set-hostname '원하는 호스트명'
 2) /etc/hostname 설정파일 변경으로도 가능 
 3) 재부팅 하면 내용 반영 => 재접속시도 반영됨.

2. ssh 접속 설정
 1) 오픈튜토리얼 해당 내용으로 대체 동일하게 진행하면 된다. 하둡의 경우 엘라스틱과 달리 ssh로 통신을 한다. 해당 설정이 필수.

https://opentutorials.org/module/432/3742

3. NTP 서비스 설치 및 실행 

서버간 시간동기화를 위한 설치 같은데 경험적으로 폐쇄망에서 시간동기화가 불가능한 환경에서 특별히 문제가 된적은 없어서 안해도 될거 같긴하나 폐쇄망 설치 메뉴얼 만드는게 아니므로 아래와 같이 설치 한다.

yum install ntp
service ntpd start
chkconfig ntpd on
service --status-all | grep ntpd

4. SELinux 비활성화
vi /etc/selinux/config
SELINUX=disabled

5. priorities 다운로드

yum install yum-priorities

6. iptables 설정
systemctl stop firewalld
systemctl mask firewalld
yum install iptables-services
systemctl enable iptables
chkconfig iptables off

7. wget 설치후 ambari.repo 다운로드 (로컬상태 설치시 해당 실행은 스킵)

해당은 현재 변경되었을 수도 있다. 클라우데라 홈피 확인 필요.
centos7 미니멈설치시 wget패키지가 설치되지 않는다. WGET 패키지 설치후 repo진행
wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari.repo -O /etc/yum.repos.d/ambari.repo
- repository list 확인

8. 암바리 설치
yum install ambari-server

암바리 설치의 경우 ambari-server는 한개의 서버 암바리UI를 구동할 서버에서만 설치하면 된다. agent의 경우 하둡 설치 대상 모든 서버에서 구동이 필요 하다.

9. 암바리 셋업
ambari-server setup
default 설정값으로 설치한다.
JAVA_HOME 설정에서만 openjdk1.8 설치 기준 /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_64  해당으로 설정 한다
/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_64 

자바의 경우 당연한거지만 1.8 이상이 이미 설치되어 있다면 굳이 또 설치할 필요는 없다.

10. ambari-server start 

11. yum install ambari-agent
yum install ambari-agent
12. 혹시 모르니 ambari-server, amabari-agent restart 를 진행 한다.
ambari-server restart

amabari-agent restart 

일단 여기까지 기본 설치는 끝이다. 물론 이후할게 많지만 연속연재 포스팅이니 다음에 다시 하기로 한다.

얼마전에 알게 되어 간단히 소개 포스팅만 했던 Cribl Stream(크리블? 맞나?) 리눅스 노예 노트북 키기 귀찮아서 안하다가 

도커로 하면 되는데 굳이 라는 생각과 약간 시간이 남아서 설치를 진행해봤다

공식 가이트는 아래와 같다. 

https://docs.cribl.io/stream/deploy-docker

도커 허브도 있던데 외부 접속을 위한 포트맵핑 정보도 없고 그냥 대에충 실행해 식이라서 설치진행엔 도움이 되지 않았다

https://hub.docker.com/r/cribl/cribl

공식홈의 도커 컴포즈 방식으로 설치 진행 했다.

version: '3.8'
services:
  master:
    image: ${CRIBL_IMAGE:-cribl/cribl:latest}
    environment:
      - CRIBL_DIST_MODE=master
      - CRIBL_DIST_MASTER_URL=tcp://criblmaster@0.0.0.0:4200
      - CRIBL_VOLUME_DIR=/opt/cribl/config-volume
    ports:
      - "19000:9000"
    volumes:
      - "~/cribl-config:/opt/cribl/config-volume"
  workers:
    image: ${CRIBL_IMAGE:-cribl/cribl:latest}
    depends_on: 
      - master
    environment:
      - CRIBL_DIST_MODE=worker
      - CRIBL_DIST_MASTER_URL=tcp://criblmaster@master:4200
    ports:
      - 9000

대충 위와 같이 나와있는데 도커가 리눅스나 맥이라면  CRIBL_DIST_MASTER_URL=tcp://criblmaster@master:4200

대충 criblmaster 아이피 정도만 바꾸면 되겠지만 나처럼 윈도우 유저라면 아래와 같이

192.168.2.32 이부분을 자신의 아이피로 바꾸고 데이터 저장부분을 원하는 위치 대충 맞추면 된다.

version: '3.8'
services:
  master:
    image: ${CRIBL_IMAGE:-cribl/cribl:latest}
    environment:
      - CRIBL_DIST_MODE=master
      - CRIBL_DIST_MASTER_URL=tcp://192.168.2.32@0.0.0.0:4200
      - CRIBL_VOLUME_DIR=d:/elk/cribl/config-volume
    ports:
      - "19000:9000"
    volumes:
      - "d:/elk/cribl/config-volume"
  workers:
    image: ${CRIBL_IMAGE:-cribl/cribl:latest}
    depends_on: 
      - master
    environment:
      - CRIBL_DIST_MODE=worker
      - CRIBL_DIST_MASTER_URL=tcp://192.168.2.32@master:4200
    ports:
      - 9000

해당과 같이 docker-compose.yml 을 적당한 위치에 만들고 난뒤 공홈 그대로 입력 진행 한다. workers=2 기본이 두개인데 아마도 수집 프로세스 정하는거 같은데 테스트 이기도 하고 그냥 순정 그대로 했다. 해당과 같이 실행 후

docker-compose up -d --scale workers=2

조회해 보면 대에충 아래와 같이 나온다. 워커2개 마스터1 눈치가 빠르다면 19000포트로 브라우저 열어서 접속해보면 된다.

초기 비번은 admin:admin 이다. 공홈 도커페이지에 안나와 있어서 찍었는데 접속되었다. 아마도 일반적 설치 가이드 페이지에 명시되어있겠지만 언제나 그렇듯 메뉴얼은 잘안읽는 습성이 있어서... 암튼 접속 된다.

초기 접속시 바로 비번바꾸라는 페이지가 뜨지만 따로 캡쳐 안해서 생략 한다. 

접속이 완료 되면 대충 아래와 같은 대시보드가 나온다. 이제 사용해봐야지? 설치방법이므로 포스팅은 여기까지

검색해보면 아직은 국내에서 생소한 Cribl Stream 뭐 사실 나도 잘 모른다

우연한 기회로 알게 되었고 궁금해서 좀 찾아보다가 일단 포스팅 부터..

아래 사이트에서 다운로드 가능 하며 일 데이터 1tb 이하 사용시 무료라고 한다. (대규모 보안시스템이나 대규모 스마트 팩토리 같은 시스템이 아니라면 단일 시스템에서 1tb 이상 가는 경우 크게 없을거라 생각하면 혜자 아닌가? 한다)

https://cribl.io/download/

재밋는 점은 아키텍쳐 설계 할떄도 그렇고 DW라고 지칭하는 곳들에 넣고 나면 다시 가공해서 넣는다는(분류해서 DM 제공은 예외로 하고..) 생각을 사실 크게 안해봤는데 아래 소개 영상을 보면 destinations에 넣은걸 소스쪽으로 다시 가져와서 재가공 하여 넣는 재밋는 모습을 볼 수 있다. 이런걸 강조 하는거 봐선 이런것에 특화 된듯 하다. 사실 내가 자주 사용하는 logstash만 해도 저런 형태 구성은 생각해본적도 없고 처리 자체는 단일 메시지(csv로 치면 한줄씩) 처리 형태인 시스템에선 사실 생각하기 힘들어 보인다.

아무튼 검색해보면 aws파트너 페이지 말곤 한글 자료가 전멸이던데 한번 공부해볼만한 가치는 있어보인다.

다만 애초 라이선스가 제약이 있으니 국내에선 역시 잘안쓸려고 하겠지... 그냥 신기술 공부 차원으로 한번 봐야 될듯 하다,