대부분 잘알겠지만 또 잘 모르는 경우도 많아서 한번 남겨 본다

logstash가 은근 무거운 프로그램 답게 실행시 로딩시간이 상당히 걸리는 편이다.

운영시엔 어차피 끌일이 별로 없으니 그닥 상관없지만 conf (logstash input filter output 설정) 개발시 매번 껏다 켯다 매우 짜증나는 일이지 않을 수 없다. 특히 오타성으로 에러 날시 일일이 껏다 키면 그시간만해도 어마어마 하다.

개발 실행시 아래와 같이 -r을 넣어주면 로딩시 입력된 conf파일이 변경 될 경우 자동으로 리로딩 되어 빠르게 진행이 가능 하다. logstash가 국내에 자료가 얼마 없다보니 은근 모르는 경우가 많아서 한번 남겨 본다.

bin/logstash -r-f xxx.conf

logstash conf에 아래와 같이 입력 한다. (자세한 사용 방법은 다음 기회에)

해당과 같이 진행 500개씩 가져온다.

input {
    elasticsearch{
        hosts => "ip:9200". #해당설정에 맞춰 진행
        index => "hanuking" #원하는 인덱스
        query => ' {"query" : { "match_all":{}}}'
        size => 500
    }
}

output{
        file { 
    codec => "json"
    path => ["C:/logstash/hanu.json"] 
    }
}

복원시 해당 입력

input {
    file {
        path => "file_path write" #백업한 파일 패스 설정
        start_position => "beginning"
        sincedb_path => "nul"
 
    }   
}    
filter{ 

  json {
    source => "message"
  }

  mutate {
    remove_field => ["path","host","@version",  "message","@timestamp"]
  }


}
output {
        elasticsearch {
                hosts => "localhost:9200" 
                index => "test"
                codec => "json_lines" 
        }

}