13 年間のドローン技術でファイル転送を再定義

一般消費者のシナリオでは、「大きなファイルの転送」とは通常、休暇の写真や HD ムービーのフォルダーを送信することを意味します。 しかし、エンジニアリングでは、その定義とその重要性はまったく異なります。

私たちは、テラバイト規模の LiDAR 点群データ、展開用の Docker コンテナ イメージ、 機械学習トレーニング データセット、または非圧縮 8K RAW 映像。

FileBolt では、これらのミッションクリティカルなシナリオに特化して基礎となるアーキテクチャを構築しました。 以下では、最新のファイル転送インフラストラクチャが実際のエンジニアリング上の問題をどのように解決するかを説明します。

シナリオ 1: フィールド運用と脆弱なネットワーク

挑戦

ドローン調査チームが北海の洋上風力発電所を検査しているところを想像してみてください。 またはアンデスで活動する地質調査チーム。 彼らは毎日ギガバイトのセンサー データを生成し、それをすぐに本社のデータ センターに送り返して処理する必要があります。

利用可能な接続は不安定な 4G LTE 信号だけであることがよくありますが、 または、遅延が大きく、パケット損失が発生しやすい衛星リンク (Starlink / Inmarsat など)。

エンジニアリングソリューション

このような環境では、標準的な HTTP アップロード (電子メールの添付ファイルなど) がチームの予想よりもはるかに頻繁に行われます。 1 つのパケットが失われると、転送セッション全体が中止される可能性があります。

FileBolt のアプローチ: 私たちは、 高強度のシャーディングと再試行メカニズム BVLOS (Beyond Visual Line of Sight) ドローン通信プロトコルから派生したもの。

• Micro-Sharding: ファイルを小さなチャンクに分割します (例: それぞれ 5MB)。
• パラレル転送: 複数のシャードを同時に送信して、利用可能な帯域幅の使用率を最大化します。
• きめ細かなリカバリ: ネットワークが 10 秒間切断された場合でも、ファイル全体を再送信する必要はありません。 失敗したシャードのみを一時停止して再開します。

シナリオ 2: 国境を越えた DevOps および CI/CD パイプライン

挑戦

ソフトウェア チームには開発者がベルリンにおり、テスターがベトナムにいます。 実稼働サーバーはカリフォルニアにあります。 ビルド アーティファクト (バイナリ、大規模な依存関係ライブラリ) を 1 日に複数回同期する必要があります。

従来の FTP または VPN トンネル経由でハノイからサンフランシスコに 2 GB のビルド ファイルを送信する 光速 (RTT) によって課される物理的な遅延制限により、耐え難いほど遅くなります。

エンジニアリングソリューション

遅延はスループットの最大の要因です。 サーバーが遠いほど、TCP ハンドシェイクと確認応答のコストが高くなります。

FileBolt のアプローチ: を活用する グローバルエッジネットワーク.

ベトナムのテスト エンジニアがビルド アーティファクトをアップロードすると、 データはカリフォルニアに直接送信されません。 代わりに、ホーチミン市のローカルノードにアップロードします。 すぐに高速バックボーンネットワークに参入します。 カリフォルニアの受信者はシリコンバレーのキャッシュノードからデータをダウンロードします。 大陸横断の「ミドルマイル」におけるパフォーマンスのボトルネックを効果的に排除します。

シナリオ 3: 製造における安全なデータ交換

挑戦

自動車設計エンジニアは、コア IP を含む CAD モデルを送信する必要があります サプライヤー工場へ。 ファイルは巨大ですが、さらに重要なのは機密性が高いことです。

データマイニングまたは「シャドーIT」リスクに対する懸念により、 多くの企業の IT ポリシーでは、使用が厳しく禁止されています。 パブリック クラウド ドライブ (Google ドライブ、Dropbox など)。

エンジニアリングソリューション

セキュリティは後付けのパッチであってはなりません。トランスポート層から設計する必要があります。

FileBolt のアプローチ: 一時的なストレージとゼロナレッジ転送。

• オンデマンドの存在: エンジニアリング データは多くの場合、永続的な保存を必要としません。 ただ転送完了。 FileBolt は、受信者がデータをダウンロードした直後にデータを自動的に削除するように構成できます。
• コンプライアンス保証: データは転送中に TLS 1.3 暗号化を使用します 保存時には暗号化されたままになります。 厳格な知的財産保護とコンプライアンスの要件を満たします。

技術仕様: システムが内部的にどのように動作するか

実装の詳細に興味のあるエンジニアのために、10GB ファイルのアップロード リクエストの簡単なフローを次に示します。

1. クライアントの選択とハッシュ: ユーザーがファイルを選択すると、SHA-256 ハッシュがローカルで即座に計算されます。
2. メモリシャーディング: ファイルはブラウザのメモリ内で 1000 以上の小さなチャンクにスライスされます。
3. 並列アップロード: Web ワーカーはマルチスレッド並列アップロード (同時実行数: 4 ～ 6) に対応し、帯域幅を最大化します。
4. エッジ検証: サーバーは、各チャンクを受信するとすぐに整合性を検証します。
5. 動的再アセンブリ: ファイルは宛先で再構築されるか、ダウンロード中にリアルタイムの再構築のためにストリーミングされます。