AI 및 머신러닝 솔루션

1. 과제: 데이터 그래비티

대규모 모델 학습에는 방대한 데이터셋이 필요합니다. 자율주행 로그부터 유전체 시퀀싱까지, 데이터셋은 페타바이트 규모에 이르렀습니다. 이 데이터를 옮기는 일은 연산 자체보다 더 느리고 불확실한 경우가 많습니다.

AI 팀은 다음과 같은 심각한 전송 병목에 직면합니다.

• 데이터센터 간 이동 문제: 학습 클러스터는 전력 비용이 저렴한 외딴 데이터센터에 있는 경우가 많은 반면, 데이터 수집은 전 세계에서 이루어집니다. 리전을 넘나들며 대용량 데이터를 업로드하면 대역폭 활용률이 낮아집니다.
• 전송 중단의 높은 비용: 이어 전송 기능 없이 50TB 데이터셋 전송이 중간에 실패하면 며칠이 허비되고 값비싼 GPU 자원이 유휴 상태로 남게 됩니다.
• 개인정보 보호 및 규정 준수: 얼굴, 음성, 의료 영상이 포함된 학습 데이터는 매우 민감합니다. 일반적인 도구는 GDPR과 같은 규정 준수 요건을 충족하지 못하는 경우가 많습니다.

2. 속도: 고성능 클러스터에 데이터를 공급합니다

FileBolt는 UDP 기반 최적화로 물리적 대역폭 사용량을 극대화하여, 컴퓨팅 속도와 데이터 속도를 맞춥니다.

• 전용 회선 대역폭 포화: 10Gbps 네트워크에서든 100Gbps 네트워크에서든, FileBolt의 멀티스레드 동시 처리는 대역폭 활용률을 98% 이상으로 끌어올립니다.
• 빠른 모델 배포: 엣지 네트워크를 활용해 학습된 LLM 가중치를 전 세계 추론 노드에 즉시 배포하여 모델 배포 주기를 단축합니다.

3. 보안: 데이터 자산을 지킵니다

데이터는 AI 기업의 핵심 경쟁력(해자)입니다. FileBolt는 핵심 데이터셋과 모델 파라미터의 유출을 막기 위해 전 구간 암호화와 접근 제어를 제공합니다.

• 종단 간 암호화: 데이터는 수집 지점을 떠나기 전에 암호화되고, 학습 서버에 도착한 뒤에야 복호화됩니다. 중간 경유 노드는 내용을 들여다볼 수 없습니다.
• 접근 감사: (Enterprise 기능) 데이터셋에 접근할 때마다 IP, 타임스탬프, 다운로드 용량을 상세히 기록하여 추적성을 확보하고 규정 준수 감사 요건을 충족합니다.

4. 사용 경험: 데이터 사이언티스트를 위해 설계했습니다

MLOps를 단순화하여 데이터 엔지니어가 파일 전송이 아닌 알고리즘에 집중할 수 있게 합니다.

• 디렉터리 구조 지원: 수백만 개의 어노테이션 파일과 작은 이미지가 들어 있는 폴더 구조를, 시간이 오래 걸리는 압축 및 압축 해제 없이 그대로 전송할 수 있습니다.
• 자동화 연동: API로 전송 작업을 실행하여 데이터 정제와 전송부터 모델 학습까지 이어지는 폐쇄 루프(closed loop)를 구현할 수 있습니다.