13년의 드론 기술로 파일 전송을 재정의하다

일반 사용자에게 "대용량 파일 전송"이란 보통 휴가 사진 폴더나 HD 영화를 보내는 일을 뜻합니다. 하지만 엔지니어링 현장에서는 그 정의도, 중요성도 완전히 다릅니다.

우리가 다루는 것은 테라바이트 규모의 LiDAR 포인트 클라우드 데이터, 배포용 Docker 컨테이너 이미지, 머신러닝 학습 데이터셋, 또는 압축하지 않은 8K 원본 영상입니다.

FileBolt는 이처럼 핵심적인 상황을 위해 기반 아키텍처를 처음부터 설계했습니다. 아래에서는 현대적인 파일 전송 인프라가 실제 엔지니어링 문제를 어떻게 해결하는지 설명합니다.

시나리오 1: 현장 작업과 불안정한 네트워크

과제

북해의 해상 풍력 단지를 점검하는 드론 측량팀이나, 안데스 산맥에서 작업하는 지질 조사팀을 떠올려 보세요. 이들은 매일 기가바이트 단위의 센서 데이터를 만들어 내고, 처리를 위해 이를 곧바로 본사 데이터 센터로 보내야 합니다.

쓸 수 있는 연결은 불안정한 4G LTE 신호인 경우가 많고, 지연 시간이 길고 패킷 손실이 잦은 위성 링크(예: Starlink / Inmarsat)인 경우도 있습니다.

엔지니어링 솔루션

이런 환경에서는 표준 HTTP 업로드(이메일 첨부 파일 등)가 팀의 예상보다 훨씬 더 자주 실패합니다. 패킷 하나만 손실되어도 전체 전송 세션이 중단될 수 있습니다.

FileBolt의 접근 방식: BVLOS(가시권 밖 비행) 드론 통신 프로토콜에서 비롯된 고강도 샤딩 및 재시도 메커니즘을 사용합니다.

• 마이크로 샤딩: 파일을 아주 작은 조각(예: 조각당 5MB)으로 나눕니다.
• 병렬 전송: 여러 샤드를 동시에 보내 사용 가능한 대역폭을 최대한 활용합니다.
• 세밀한 복구: 네트워크가 10초 동안 끊어져도 파일 전체를 다시 보낼 필요 없이, 실패한 샤드만 일시 중지했다가 이어서 전송합니다.

시나리오 2: 국경을 넘나드는 DevOps와 CI/CD 파이프라인

과제

한 소프트웨어 팀의 개발자는 베를린에, 테스터는 베트남에, 프로덕션 서버는 캘리포니아에 있습니다. 이 팀은 빌드 산출물(바이너리, 대용량 의존성 라이브러리)을 하루에도 여러 번 동기화해야 합니다.

기존 FTP나 VPN 터널로 하노이에서 샌프란시스코까지 2GB 빌드 파일을 보내면, 빛의 속도(RTT)에서 비롯되는 물리적 지연 한계 때문에 몹시 느려집니다.

엔지니어링 솔루션

지연 시간은 처리량을 떨어뜨리는 가장 큰 요인입니다. 서버가 멀수록 TCP 핸드셰이크와 확인 응답에 드는 비용이 커집니다.

FileBolt의 접근 방식:글로벌 엣지 네트워크를 활용합니다.

베트남의 테스트 엔지니어가 빌드 산출물을 업로드하면, 데이터는 캘리포니아로 곧바로 전송되지 않습니다. 대신 호찌민시의 로컬 노드에 업로드되어 즉시 고속 백본 네트워크로 들어갑니다. 캘리포니아의 수신자는 실리콘밸리의 캐시 노드에서 데이터를 다운로드하므로, 대륙 간 "미들 마일" 구간의 성능 병목이 사실상 사라집니다.

시나리오 3: 제조업의 안전한 데이터 교환

과제

한 자동차 설계 엔지니어가 핵심 지식재산이 담긴 CAD 모델을 협력 업체 공장에 보내야 합니다. 파일은 용량이 클 뿐 아니라, 무엇보다 기밀성이 매우 높습니다.

데이터 마이닝이나 "섀도 IT" 위험에 대한 우려 때문에 많은 기업의 IT 정책은 Google Drive, Dropbox 같은 공용 클라우드 드라이브의 사용을 엄격히 금지합니다.

엔지니어링 솔루션

보안은 나중에 덧붙이는 패치가 될 수 없습니다. 전송 계층에서부터 설계해야 합니다.

FileBolt의 접근 방식: 임시 스토리지와 영지식 전송.

• 필요할 때만 존재: 엔지니어링 데이터는 영구 저장이 필요하지 않고 전송만 끝나면 되는 경우가 많습니다. FileBolt는 수신자가 다운로드한 직후 데이터를 자동으로 삭제하도록 설정할 수 있습니다.
• 규정 준수 보장: 데이터는 전송 중에 TLS 1.3으로 암호화되고 저장된 상태에서도 암호화된 채로 유지되어, 엄격한 지식재산 보호 및 규정 준수 요건을 충족합니다.

기술 사양: 시스템 내부 동작 방식

구현 세부 사항이 궁금한 엔지니어를 위해, 10GB 파일 업로드 요청의 흐름을 간단히 소개합니다.

1. 클라이언트 선택 및 해싱: 사용자가 파일을 선택하면 SHA-256 해시를 즉시 로컬에서 계산합니다.
2. 메모리 샤딩: 파일을 브라우저 메모리에서 1000개 이상의 작은 청크로 분할합니다.
3. 병렬 업로드: Web Worker를 사용해 멀티스레드 병렬 업로드(동시성: 4-6)로 대역폭을 최대한 활용합니다.
4. 엣지 검증: 서버는 각 청크를 수신하는 즉시 무결성을 검증합니다.
5. 동적 재조립: 파일은 목적지에서 재조립되거나, 다운로드 중 실시간으로 재조립되도록 스트리밍됩니다.