성공 했다. 간만에 했더니 시간이 엄청 걸렷다. 디버그도 안되서 하나수정하고 일일이 빌드 하느라 더 걸린듯 하다.

자세한 내용은 추후 포스팅 하기로 하자.

현재 진행 프로젝 중 많이 쓰이는 키값들이 있다. 날짜 등등..

나이파이 플로우에 보면 큐 내용을 보는 테이블이 있는데 볼수있는 내용이 한정적이다.

이걸 내가 보고 싶은 내용을 고칠수 없을까? 라는 의문에서 시작해서 일단 뭐든 기능 넣을려면 공개된

소스 빌드를 해야한다.

근데 이게 쉽나? 3시간 정도 개삽질 끝에 일단 빌드를 성공 했다.

이상하게 꼬아논 것이 많아서 쉽지 않았는데 기록겸 좀 남겨 둔다.

일단 jdk11, 메이븐 최신 버전이 필수이다.

아마도 1.23버전의 경우 그냥 진행하면 백프로 fail 날텐데 아래와 같이 버전을 변경해주자

<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-compiler-plugin</artifactId>
    <version>3.8.1</version>
    <configuration>
        <fork>true</fork>
        <showDeprecation>${maven.compiler.showDeprecation}</showDeprecation>
        <showWarnings>true</showWarnings>
    </configuration>
</plugin>

그리고 저 에러를 넘기면 Test 코드 실행간 또 에러가 발생한다. 무슨 생각인지는 모르겠는데.. 어딘가 접속해서 처리 하게끔 되있는 테스트 코드가 있다. (타임아웃 나서 테스트 실패로 인해 빌드 실패) 해당 코드를 @ignore 처리 또는 아래와 같이 테스트를 스킵시키자.

그리고 저 단계를 넘어가면 다시 또 에러가 발생 한다.

org.apache.nifi.minifi:minifi-c2-integration-tests:jar:tests:1.23.3-SNAPSHOT

대충 이런 에러인데 리포에 해당 파일이 없다고 나온다. 나이파이 전용 리포가 있는듯 한데 실제로 경로를 보면 파일은 커녕 디렉토리도 없다. 

아래 pom을 따로 install 해주면 메이븐 리포에서 해당 jar를 받아 해결 된다.  settings.xml만들어서 추가 리포 지정 방법도 있긴 한거 같은데 난 일단 이렇게 해결 했고 맨위 스샷처럼 빌드 성공 하였다.

빌드를 성공하면 readme에 써있듯 nifi-assembly\target 아래에 해당과 같이 나이파이 사이트에서 받을 수 있는 형태 동일 하게 압축해서 파일이 생성 된다.

그리고 동일하게 실행하면 된다. 동작 또한 잘된다. 필요한 부분 수정 뒤 빌드를 해서 적용한다음 포스팅 해야겠다.

이만

https://blog.cloudera.com/benchmarking-nifi-performance-and-scalability/

노드당 최대 처리량 측정치 등등 참고할만하다.

파이썬과 그루비 스크립트 성능 측정 자료 나이파이 스크립트 한해서는 그루비가 우월하다.

https://community.cloudera.com/t5/Community-Articles/NiFi-Python-vs-Groovy-Script-Performance-Analysis/ta-p/329946

대용량 파일을 받아 무언가 필요한 처리 후 자동 삭제 플로우이다. 

대용량 첨부 전자 파일 텍스트 추출 후 자동 삭제 처리가 필요할일이 있어서 네이퍼 첨부파일로 해서 한번 테스트해볼겸 만들어 봤다.

딱 5분걸렷다.... 사용하기에 따라 정말 막강한 NIFI 인듯 하다.

이거 전부 개발로 처리 했음 어휴... 절레절레

순서로 보자면

대용량 파일 링크 오픈 > 링크 해더에서 파일명 추출 > 파일 저장 > 추출기 실행 하여 필요 데이터 추출 > 파일 삭제 (파일삭제 플로우가 없어서 스트림 커맨드로 처리 할까 하다가 일단 테스트이니 귀찮아서 fetchFile로 처리 했다.