Soluciones para IA y aprendizaje automático

1. El reto: la gravedad de los datos

El entrenamiento de modelos grandes requiere conjuntos de datos masivos. Desde los registros de conducción autónoma hasta la secuenciación genómica, los conjuntos de datos han alcanzado la escala de los petabytes. Mover estos datos suele ser más lento e incierto que el propio cálculo.

Los equipos de IA se enfrentan a grandes cuellos de botella en las transferencias:

• Problemas de migración entre centros de datos: Los clústeres de entrenamiento suelen estar en centros de datos remotos con bajo coste energético, mientras que la recopilación de datos es global. Subir grandes volúmenes de datos entre regiones se resiente por el escaso aprovechamiento del ancho de banda.
• Alto coste de las interrupciones: Si la transferencia de un conjunto de datos de 50 TB falla a medias sin capacidad de reanudación, se pierden días y los costosos recursos de GPU quedan ociosos.
• Privacidad y cumplimiento normativo: Los datos de entrenamiento con rostros, voz o imágenes médicas son extremadamente sensibles. Las herramientas estándar a menudo no cumplen requisitos normativos como el RGPD.

2. Velocidad: alimentar clústeres de alto rendimiento

FileBolt usa una optimización basada en UDP para aprovechar al máximo el ancho de banda físico y ajustar la velocidad de los datos a la del cálculo:

• Saturar las líneas dedicadas: Tanto en redes de 10 Gbps como de 100 Gbps, la concurrencia multihilo de FileBolt eleva el aprovechamiento del ancho de banda a más del 98 %.
• Distribución rápida de modelos: Distribuye al instante los pesos de LLM entrenados a nodos de inferencia de todo el mundo mediante redes edge, acortando el ciclo de despliegue del modelo.

3. Seguridad: proteger los activos de datos

Los datos son el principal foso defensivo de las empresas de IA. Ofrecemos cifrado y control de extremo a extremo para evitar filtraciones de conjuntos de datos esenciales y de parámetros de modelos.

• Cifrado de extremo a extremo: Los datos se cifran antes de salir del punto de recopilación y solo se descifran al llegar al servidor de entrenamiento. Los nodos intermedios no pueden ver el contenido.
• Auditoría de accesos: (Función Enterprise) Registros detallados de IP, marcas de tiempo y volúmenes de descarga de cada acceso a un conjunto de datos, que garantizan la trazabilidad y cumplen las auditorías de cumplimiento.

4. Experiencia: diseñada para científicos de datos

Simplifica el MLOps y deja que los ingenieros de datos se centren en los algoritmos en lugar de en la transferencia de archivos:

• Compatibilidad con estructuras de directorios: Transfiere directamente estructuras de carpetas con millones de archivos de anotaciones e imágenes pequeñas, sin tener que comprimir y descomprimir, un proceso que consume mucho tiempo.
• Integración automatizada: Lanza tareas de transferencia mediante la API para lograr un ciclo cerrado desde la limpieza y la transferencia de datos hasta el entrenamiento del modelo.