Dateiübertragung neu definiert: mit 13 Jahren Drohnentechnologie

Im Verbraucheralltag bedeutet „Übertragung großer Dateien“ meist, einen Ordner mit Urlaubsfotos oder einen HD-Film zu versenden. Im Ingenieurwesen sind Definition und Bedeutung jedoch völlig andere.

Wir haben es mit Terabytes an LiDAR-Punktwolkendaten, Docker-Container-Images für das Deployment, Trainingsdatensätzen für maschinelles Lernen oder unkomprimiertem 8K-Rohmaterial zu tun.

Bei FileBolt haben wir unsere zugrunde liegende Architektur gezielt für diese geschäftskritischen Szenarien gebaut. Im Folgenden erklären wir, wie moderne Infrastruktur für Dateiübertragungen echte Probleme aus der Praxis löst.

Szenario 1: Einsätze im Feld und schwache Netze

Die Herausforderung

Stellen Sie sich ein Drohnen-Vermessungsteam vor, das Offshore-Windparks in der Nordsee inspiziert, oder ein geologisches Vermessungsteam, das in den Anden arbeitet. Es erzeugt täglich Gigabytes an Sensordaten und muss sie sofort zur Verarbeitung an die Rechenzentren der Zentrale übermitteln.

Verfügbar sind oft nur instabile 4G-LTE-Signale oder Satellitenverbindungen mit hoher Latenz und Neigung zu Paketverlust (wie Starlink / Inmarsat).

Technische Lösung

In solchen Umgebungen scheitern Standard-HTTP-Uploads (etwa E-Mail-Anhänge) weitaus häufiger, als Teams erwarten. Ein einziges verlorenes Paket kann dazu führen, dass die gesamte Übertragungssitzung abbricht.

Der Ansatz von FileBolt: Wir setzen auf einen Mechanismus mit intensiver Aufteilung und Wiederholungsversuchen, abgeleitet von den Kommunikationsprotokollen für BVLOS-Drohnen (Beyond Visual Line of Sight).

• Micro-Sharding: Dateien werden in winzige Blöcke zerlegt (z. B. je 5 MB).
• Parallele Übertragung: Mehrere Shards werden gleichzeitig gesendet, um die verfügbare Bandbreite bestmöglich zu nutzen.
• Granulare Wiederherstellung: Selbst wenn das Netz für 10 Sekunden ausfällt, muss nicht die ganze Datei erneut übertragen werden; nur der betroffene Shard wird pausiert und fortgesetzt.

Szenario 2: Grenzüberschreitendes DevOps und CI/CD-Pipelines

Die Herausforderung

Ein Softwareteam hat Entwickler in Berlin, Tester in Vietnam und Produktionsserver in Kalifornien. Build-Artefakte (Binärdateien, große Abhängigkeitsbibliotheken) müssen mehrmals täglich synchronisiert werden.

Eine 2 GB große Build-Datei per klassischem FTP oder VPN-Tunnel von Hanoi nach San Francisco zu senden, wird wegen der physikalischen Latenzgrenzen, die die Lichtgeschwindigkeit setzt (RTT), qualvoll langsam.

Technische Lösung

Latenz ist der größte Feind des Durchsatzes. Je weiter der Server entfernt ist, desto höher sind die Kosten für TCP-Handshakes und Bestätigungen.

Der Ansatz von FileBolt: Einsatz eines globalen Edge-Netzwerks.

Wenn ein Test-Ingenieur in Vietnam ein Build-Artefakt hochlädt, werden die Daten nicht direkt nach Kalifornien gesendet. Stattdessen werden sie auf einen lokalen Knoten in Ho-Chi-Minh-Stadt hochgeladen und gelangen sofort in das schnelle Backbone-Netz. Der Empfänger in Kalifornien lädt die Daten von einem Cache-Knoten im Silicon Valley herunter, sodass Leistungsengpässe auf der interkontinentalen „Middle Mile“ wirksam beseitigt werden.

Szenario 3: Sicherer Datenaustausch in der Fertigung

Die Herausforderung

Ein Konstrukteur in der Automobilindustrie muss ein CAD-Modell mit zentralem geistigem Eigentum an eine Zulieferfabrik senden. Die Datei ist riesig, vor allem aber streng vertraulich.

Aus Sorge vor Data Mining oder „Schatten-IT“-Risiken untersagen viele IT-Richtlinien in Unternehmen strikt die Nutzung öffentlicher Cloud-Laufwerke (wie Google Drive, Dropbox).

Technische Lösung

Sicherheit darf kein nachträglicher Flicken sein; sie muss von der Transportschicht an mitgedacht werden.

Der Ansatz von FileBolt: Flüchtige Speicherung und Zero-Knowledge-Übertragung.

• Existenz nach Bedarf: Technische Daten brauchen oft keine dauerhafte Speicherung, sondern nur den erfolgreichen Abschluss der Übertragung. FileBolt lässt sich so konfigurieren, dass Daten unmittelbar nach dem Download durch den Empfänger automatisch gelöscht werden.
• Compliance-Sicherheit: Daten werden bei der Übertragung mit TLS 1.3 verschlüsselt und bleiben auch im Ruhezustand verschlüsselt, was strenge Anforderungen an den Schutz geistigen Eigentums und an Compliance erfüllt.

Technische Daten: Wie das System intern funktioniert

Für Ingenieure, die sich für Implementierungsdetails interessieren, hier der kurze Ablauf einer Upload-Anfrage für eine 10-GB-Datei:

1. Auswahl im Client & Hashing: Sobald der Nutzer eine Datei auswählt, wird der SHA-256-Hash sofort lokal berechnet.
2. Sharding im Speicher: Die Datei wird im Browserspeicher in über 1000 winzige Blöcke zerlegt.
3. Paralleler Upload: Web Workers ermöglichen einen mehrfädigen parallelen Upload (Parallelität: 4–6) und nutzen die Bandbreite maximal aus.
4. Prüfung am Edge: Der Server prüft die Integrität jedes Blocks unmittelbar nach dem Empfang.
5. Dynamisches Zusammensetzen: Die Datei wird am Ziel wieder zusammengesetzt oder beim Download für das Zusammensetzen in Echtzeit gestreamt.