(Python) 대용량 데이터 처리 속도 향상(2)

이전에는 apache nifi를 사용한 데이터 처리 경험이 있습니다.

이를 바탕으로 100MB zip 파일을 이동하려고 합니다.

그 결과 약 2.5초가 소요되었으며, 같은 서버의 다른 디렉토리로 이동하는 정도까지 진행되었다.

서버는 Centos7이고, 테스트용이라 사양이 썩 좋지는 않습니다.



상장 전략 : 타임스탬프 추적

호스트 이름: IP 주소

SFTP: 22개 포트

아이디/비밀번호 : 서버 아이디/비밀번호

원격 경로: 파일이 저장된 경로

파일 필터 정규식: 파일 확장자

재귀적으로 검색: True로 설정하면 파일이 원격 경로 아래의 하위 디렉터리에서도 검색됩니다.



호스트 이름 : IP 주소

항구: 22개의 항구

아이디/비밀번호 : 서버 아이디/비밀번호

원격 파일: 파일이 저장된 경로/이름


디렉토리 : 경로 설정