https://blog.cloudera.com/benchmarking-nifi-performance-and-scalability/

노드당 최대 처리량 측정치 등등 참고할만하다.

파이썬과 그루비 스크립트 성능 측정 자료 나이파이 스크립트 한해서는 그루비가 우월하다.

https://community.cloudera.com/t5/Community-Articles/NiFi-Python-vs-Groovy-Script-Performance-Analysis/ta-p/329946

기록용으로 간단하게 작성

NIFI  그루비 사용시 아무래도 스크립트 지원이 제한적이다 보니 외부 jar import 해결하는 경우가 많다.

json 제어시 내부 기본인 JsonSlurper JsonBuilder JsonOutput 등등 많이 사용하게 되는데 한글데이터가 있을 경우 

escape 코드로 변경되는 경우가 있다. /u00f4 등등 말이다.

아래 코드 참조하면 된다. 대충 기록용이라 테스트 코드 대강 박아 둔다.

핵심은 StringEscapeUtils.unescapeJavaScript(JsonOutput.toJson(aa)) 이것이다.

처리를 안해주면 /uxxxx 형태의 현기증으로 한글이 출력 된다.

import groovy.json.JsonOutput
import groovy.json.JsonSlurper
import groovy.json.StringEscapeUtils

static void main(String[] args) {



  def jsonslurper = new JsonSlurper()
  def object = jsonslurper.parseText('{"name":"하하","age":30,"cars":["Ford","BMW","Fiat"]}')

  def aa = new HashMap();
  aa.put("name", "하누킹");


    StringEscapeUtils.unescapeJavaScript(JsonOutput.toJson(aa))
    println StringEscapeUtils.unescapeJavaScript(JsonOutput.toJson(aa))
}

대용량 파일을 받아 무언가 필요한 처리 후 자동 삭제 플로우이다. 

대용량 첨부 전자 파일 텍스트 추출 후 자동 삭제 처리가 필요할일이 있어서 네이퍼 첨부파일로 해서 한번 테스트해볼겸 만들어 봤다.

딱 5분걸렷다.... 사용하기에 따라 정말 막강한 NIFI 인듯 하다.

이거 전부 개발로 처리 했음 어휴... 절레절레

순서로 보자면

대용량 파일 링크 오픈 > 링크 해더에서 파일명 추출 > 파일 저장 > 추출기 실행 하여 필요 데이터 추출 > 파일 삭제 (파일삭제 플로우가 없어서 스트림 커맨드로 처리 할까 하다가 일단 테스트이니 귀찮아서 fetchFile로 처리 했다.