Redéfinir le transfert de fichiers avec 13 ans de technologie de drone

Dans les scénarios grand public, le « transfert de fichiers volumineux » signifie généralement l'envoi d'un dossier de photos de vacances ou d'un film HD. Mais en ingénierie, la définition – et son importance – est complètement différente.

Nous traitons des téraoctets de données de nuages de points LiDAR, des images de conteneurs Docker pour le déploiement, des ensembles de données de formation en apprentissage automatique ou des séquences brutes 8K non compressées.

Chez FileBolt, nous avons construit notre architecture sous-jacente spécifiquement pour ces scénarios critiques. Ci-dessous, nous expliquons comment une infrastructure de transfert de fichiers moderne résout de réels problèmes d'ingénierie.

Scénario 1 : Opérations sur le terrain et réseaux faibles

Le défi

Imaginez une équipe d'enquête par drone inspectant des parcs éoliens offshore en mer du Nord, ou une équipe d'enquête géologique travaillant dans les Andes. Ils génèrent quotidiennement des gigaoctets de données de capteurs et doivent les renvoyer immédiatement aux centres de données du siège pour traitement.

Les connexions disponibles ne sont souvent que des signaux 4G LTE instables, ou des liaisons satellite à haute latence et sujettes aux pertes de paquets (comme Starlink / Inmarsat).

Solution d'ingénierie

Dans de tels environnements, les téléchargements HTTP standard (comme les pièces jointes aux e-mails) sont bien plus fréquents que ce à quoi les équipes s'attendent. Un seul paquet perdu peut entraîner l’abandon de toute la session de transfert.

L'approche de FileBolt : Nous utilisons un mécanisme de partitionnement et de nouvelle tentative à haute intensité dérivé des protocoles de communication des drones BVLOS (Beyond Visual Line of Sight).

• Micro-Sharding: Diviser les fichiers en petits morceaux (par exemple, 5 Mo chacun).
• Transfert parallèle : Envoi de plusieurs fragments simultanément pour maximiser l’utilisation de la bande passante disponible.
• Récupération granulaire : Même si le réseau tombe en panne pendant 10 secondes, il n'est pas nécessaire de retransmettre l'intégralité du fichier, faites simplement une pause et reprenez le fragment défaillant.

Scénario 2 : DevOps transfrontalier et pipelines CI/CD

Le défi

Une équipe logicielle comprend des développeurs à Berlin, des testeurs au Vietnam, et des serveurs de production en Californie. Ils doivent synchroniser les artefacts de build (binaires, grandes bibliothèques de dépendances) plusieurs fois par jour.

Envoi d'un fichier de build de 2 Go de Hanoï à San Francisco via des tunnels FTP ou VPN traditionnels devient atrocement lent en raison des limites de latence physique imposées par la vitesse de la lumière (RTT).

Solution d'ingénierie

La latence est la principale cause du débit. Plus le serveur est éloigné, plus le coût des négociations et des accusés de réception TCP est élevé.

L'approche de FileBolt : Utiliser un Réseau périphérique mondial.

Lorsqu'un ingénieur de test au Vietnam télécharge un artefact de construction, les données ne sont pas envoyées directement en Californie. Au lieu de cela, il est téléchargé vers un nœud local à Ho Chi Minh-Ville, entrer immédiatement dans le réseau fédérateur à haut débit. Le destinataire en Californie télécharge les données depuis un nœud de cache dans la Silicon Valley, éliminant efficacement les goulots d'étranglement en matière de performances dans le « kilomètre intermédiaire » transcontinental.

Scénario 3 : Échange de données sécurisé dans le secteur manufacturier

Le défi

Un ingénieur de conception automobile doit envoyer un modèle CAO contenant l'IP de base à une usine fournisseur. Le dossier est énorme, mais surtout hautement confidentiel.

En raison de préoccupations concernant le data mining ou les risques de « Shadow IT », de nombreuses politiques informatiques d'entreprise interdisent strictement l'utilisation lecteurs cloud publics (comme Google Drive, Dropbox).

Solution d'ingénierie

La sécurité ne peut pas être un correctif après coup ; il doit être conçu à partir de la couche de transport.

L'approche de FileBolt : Stockage éphémère et transfert de connaissances nulles.

• Existence à la demande : Les données d'ingénierie n'ont souvent pas besoin d'un stockage permanent, il suffit de terminer le transfert. FileBolt peut être configuré pour supprimer automatiquement les données immédiatement après que le destinataire les a téléchargées.
• Assurance de conformité : Les données utilisent le cryptage TLS 1.3 pendant le transit et reste chiffré au repos, répondant à des exigences strictes en matière de protection de la propriété intellectuelle et de conformité.

Spécifications techniques : comment fonctionne le système en interne

Pour les ingénieurs intéressés par les détails de mise en œuvre, voici un bref aperçu d'une demande de téléchargement de fichier de 10 Go :

1. Sélection des clients et hachage : Une fois que l'utilisateur a sélectionné un fichier, le hachage SHA-256 est immédiatement calculé localement.
2. Partage de mémoire : Le fichier est découpé en plus de 1 000 petits morceaux dans la mémoire du navigateur.
3. Téléchargement parallèle : Web Workers activés pour le téléchargement parallèle multithread (Concurrency : 4-6), maximisant la bande passante.
4. Vérification des bords : Le serveur vérifie l'intégrité de chaque morceau immédiatement après réception.
5. Remontage dynamique : Le fichier est réassemblé à destination ou diffusé pour un réassemblage en temps réel pendant le téléchargement.