Logo

13년의 드론 기술로 파일 전송을 재정의하다

  |   저자: M. Thompson

소비자 시나리오에서 "대용량 파일 전송"은 일반적으로 휴가 사진 폴더 전체나 HD 영화 한 편을 보내는 것을 의미합니다. 하지만 엔지니어링 분야에서 그 정의는—그리고 중요성은—완전히 다릅니다.

우리가 다루는 것은 수 TB의 LiDAR 포인트 클라우드 데이터, 배포용 Docker 컨테이너 이미지, 머신 러닝 학습 데이터셋, 또는 비압축 8K 원본 영상일 수 있습니다.

FileBolt에서 우리는 바로 이러한 미션 크리티컬 시나리오를 위해 기본 아키텍처를 구축했습니다. 아래에서는 현대적인 파일 전송 인프라가 어떻게 실제 엔지니어링 문제를 해결하는지 설명합니다.

시나리오 1: 현장 작업 및 약한 네트워크 환경

과제

북해에서 해상 풍력 발전소를 점검하는 드론 측량 팀이나, 안데스 산맥에서 작업하는 지질 조사 팀을 상상해 보십시오. 그들은 매일 수 GB의 센서 데이터를 생성하며, 처리를 위해 즉시 본부 데이터 센터로 회신해야 합니다.

하지만 사용 가능한 네트워크 연결은 종종 불안정한 4G LTE 신호나, 고지연 및 패킷 손실이 빈번한 위성 링크(Starlink / Inmarsat 등)뿐입니다.

엔지니어링 솔루션

이러한 환경에서 표준 HTTP 업로드 방식(예: 이메일 첨부 파일 전송)은 거의 99% 확률로 실패합니다. 단 한 번의 패킷 손실이 전체 전송 세션 중단을 초래할 수 있기 때문입니다.

FileBolt의 접근 방식: 우리는 BVLOS(비가시권 비행) 드론 통신 프로토콜에서 유래한 고강도 샤딩 및 재시도 메커니즘을 채택했습니다.

  • 마이크로 샤딩: 파일을 아주 작은 조각(예: 개당 5MB)으로 나눕니다.
  • 병렬 전송: 여러 조각을 동시에 전송하여 가용 대역폭을 최대한 활용합니다.
  • 세분화된 복구: 네트워크가 10초간 끊기더라도 전체 파일을 다시 전송할 필요 없이, 일시 중지 후 실패한 해당 조각만 복구하면 됩니다.

시나리오 2: 국경 간 DevOps 및 CI/CD 파이프라인

과제

한 소프트웨어 팀의 개발자는 베를린에, 테스터는 베트남에, 그리고 프로덕션 서버는 캘리포니아에 배치되어 있습니다. 그들은 매일 여러 번 빌드 결과물(바이너리 파일, 대형 종속 라이브러리 등)을 동기화해야 합니다.

기존 FTP나 VPN 터널을 통해 2GB 빌드 파일을 하노이에서 샌프란시스코로 보내는 것은 빛의 속도로 인한 물리적 지연 제한(RTT, 왕복 지연 시간) 때문에 참을 수 없을 정도로 느려집니다.

엔지니어링 솔루션

지연 시간은 처리량(Throughput)의 최대 적입니다. 서버 거리가 멀수록 TCP 핸드셰이크 및 확인 응답 비용이 높아집니다.

FileBolt의 접근 방식:글로벌 엣지 네트워크(Global Edge Network)를 활용합니다.

베트남의 테스트 엔지니어가 빌드 결과물을 업로드할 때, 데이터는 캘리포니아로 직접 전송되는 것이 아니라 호치민 시의 로컬 노드로 업로드되어 즉시 고속 백본 네트워크로 진입합니다. 캘리포니아에 있는 수신자는 실리콘 밸리의 캐시 노드에서 데이터를 다운로드하므로, 대륙 간 "미들 마일"의 성능 병목 현상을 효과적으로 제거합니다.

시나리오 3: 제조업에서의 보안 데이터 교환

과제

한 자동차 설계 엔지니어가 핵심 지적 재산권(IP)이 포함된 CAD 모델을 공급업체 공장에 보내야 합니다. 파일 크기가 거대할 뿐만 아니라, 무엇보다 극도의 기밀성을 요합니다.

데이터 마이닝이나 "쉐도우 IT" 리스크에 대한 우려로 인해, 많은 기업의 IT 정책은 퍼블릭 클라우드 드라이브(Google Drive, Dropbox 등) 사용을 엄격히 금지합니다.

엔지니어링 솔루션

보안은 사후 패치가 되어서는 안 되며, 전송 계층부터 설계되어야 합니다.

FileBolt의 접근 방식: 일시적 저장(Ephemeral Storage)과 제로 날리지 전송.

  • 온디맨드 존재: 엔지니어링 데이터는 종종 영구적인 저장이 필요하지 않으며, 전송만 완료되면 됩니다. FileBolt는 수신자가 다운로드를 완료하는 즉시 데이터를 자동으로 삭제하도록 구성할 수 있습니다.
  • 규정 준수 보장: 데이터는 전송 과정에서 TLS 1.3 암호화를 사용하고, 저장 단계에서도 암호화 상태를 유지하여, 엄격한 지적 재산권 보호 및 규정 준수 요구 사항을 충족합니다.

기술 사양: 시스템 내부 작동 원리

구현 세부 사항에 관심 있는 엔지니어를 위해, 10GB 파일 업로드 요청의 처리 흐름을 간략히 보여드립니다:

  1. 클라이언트 선택 및 해싱: 사용자가 파일을 선택하면 로컬에서 즉시 파일의 SHA-256 해시값을 계산합니다.
  2. 메모리 샤딩: 파일은 브라우저 메모리 내에서 1000개 이상의 미세 조각(Chunks)으로 절단됩니다.
  3. 병렬 업로드: Web Workers를 활성화하여 멀티스레드 병렬 업로드(동시성: 4-6)를 수행, 대역폭을 최대한 활용합니다.
  4. 엣지 검증: 서버 측은 각 조각을 수신하는 즉시 무결성을 검증합니다.
  5. 동적 재조립: 파일은 최종 목적지에서 재조립되거나, 다운로드 중에 스트리밍 방식으로 실시간 재조립됩니다.