오늘의 교훈 (2019. 01. 07.)

FTP/SFTP 클라이언트로 서버(AWS EC2)에 다수의 파일을 전송하고자 할 때에는, 괜히 압축해서 올린 다음에 서버에서 압축을 풀자는 어리석은 생각을 하지 말자. FileZilla를 비롯한 웬만한 클라이언트는 꽤 괜찮은 멀티스레드 전송 기능을 갖추고 있어서, 그냥 있는 그대로 올리는게 훨씬 빠르다.

6 기가바이트 정도 되는 총 2300 개 파일의 업로드 속도가 약 70 분 (npy 포맷)에서 15 분 (wav 파일 2300개)으로 단축된다.

+ 다시 생각하기

FileZilla는 10개의 동시 전송이 가능한데 그럼 파일을 열 개로 분할한 다음에 서버에 올려서 cat 시켜도 될 것 같다.

+ 결론

역시 이게 답이었다. 600 메가바이트 파일로 쪼개서 올리니 7분만에 끝난다.

https://eomtaegyung.tistory.com/7