logstash 이용 ELK 데이터 json으로 받는 방법

logstash conf에 아래와 같이 입력 한다. (자세한 사용 방법은 다음 기회에)

 

해당과 같이 진행 500개씩 가져온다.

input {
    elasticsearch{
        hosts => "ip:9200". #해당설정에 맞춰 진행
        index => "hanuking" #원하는 인덱스
        query => ' {"query" : { "match_all":{}}}'
        size => 500
    }
}

output{
        file { 
    codec => "json"
    path => ["C:/logstash/hanu.json"] 
    }
}

복원시 해당 입력

input {
    file {
        path => "file_path write" #백업한 파일 패스 설정
        start_position => "beginning"
        sincedb_path => "nul"
 
    }   
}    
filter{ 

  json {
    source => "message"
  }

  mutate {
    remove_field => ["path","host","@version",  "message","@timestamp"]
  }


}
output {
        elasticsearch {
                hosts => "localhost:9200" 
                index => "test"
                codec => "json_lines" 
        }

}