합성 데이터란 — 피지컬 AI 시대를 떠받치는 새 연료

로봇과 자율주행 산업이 다음 단계로 넘어가는 열쇠는 더 많은 카메라나 센서가 아니라고 단언할 수 있다. 합성 데이터를 얼마나 많이, 얼마나 정교하게 만들어내느냐가 관건이다. 실제 도로와 공장에서 사고를 감수하며 데이터를 모으던 시대는 이미 한계에 부딪혔다.

엔비디아가 최근 로봇·자율주행 1억 대 시대를 겨냥해 풀스택 안전 기술을 내놓은 것도 같은 맥락이다. 필자가 보기엔 이 발표의 핵심은 안전 기능 자체보다, 그 기능을 학습시키는 방식이 합성 데이터 중심으로 완전히 넘어갔다는 사실에 있다.

합성 데이터란 정확히 무엇인가

합성 데이터는 실제 세계를 촬영하거나 기록한 데이터가 아니라, 시뮬레이션이나 생성 모델로 인위적으로 만들어낸 데이터를 말한다. 가상의 도로 위에 가상의 보행자를 세워두고, 다양한 날씨와 조명 조건을 무한히 바꿔가며 자율주행차를 학습시키는 방식이 대표적이다.

이 방식이 주목받는 이유는 단순하다. 실제 사고 장면이나 희귀한 돌발 상황은 현실에서 모으기 어렵고, 모은다 해도 인명 위험이 따른다. 엔비디아 설명에 따르면 합성 데이터는 이런 희귀 상황을 원하는 만큼 반복 생성할 수 있다는 점에서 실제 데이터의 빈틈을 메운다.

왜 지금 다시 주목받나

피지컬 AI, 즉 로봇과 자율주행 분야에서 데이터 부족 문제가 특히 심각하다. 필자 개인적으로는 이 분야가 언어모델보다 데이터 확보 난이도가 훨씬 높다고 본다. 텍스트는 인터넷에 널려 있지만, 로봇 팔이 컵을 놓치는 순간의 데이터는 어디에도 기록돼 있지 않다.

구분	실제 데이터	합성 데이터
수집 방식	현장 촬영·센서 기록	시뮬레이션·생성 모델
희귀 상황 확보	매우 어려움, 위험 동반	무제한 반복 생성 가능
비용 구조	현장 인력·장비 비용	컴퓨팅 비용 위주
한계	현실을 정확히 반영	시뮬레이션과 현실 간 차이(갭) 존재

표에서 보듯 합성 데이터가 실제 데이터를 완전히 대체하는 개념은 아니다. 시뮬레이션과 현실 사이의 ‘갭’을 얼마나 줄이느냐가 여전히 숙제로 남아 있다. 개인적으로는 이 갭을 줄이는 기술력이 앞으로 몇 년간 AI 인프라 경쟁의 핵심 축이 될 것으로 본다.

기업들의 전략적 대응

엔비디아는 옴니버스와 코스모스 플랫폼을 통해 합성 데이터 생성 파이프라인을 자체 구축해왔다. 최근에는 이를 로봇·자율주행 학습에 필요한 안전 검증 단계까지 확장하는 방향으로 풀스택 안전망을 공개했다.

가상 환경에서 희귀 사고 시나리오 대량 생성
생성된 데이터를 학습 파이프라인에 곧바로 투입
실제 데이터와의 격차를 줄이는 검증 단계 별도 구축

국내에서도 정부와 스타트업이 합성 데이터 활용 방안을 논의하는 행사를 여는 등 관심이 확산되는 분위기다. 다만 아직 국내 기업 대다수는 자체 합성 데이터 파이프라인보다 해외 플랫폼 활용 단계에 머물러 있다는 지적도 나온다.

IT-SUE의 시각

필자가 보기엔 합성 데이터는 단순한 대체재가 아니라, 피지컬 AI 시대의 새로운 인프라에 가깝다. 관련해 IT-SUE가 앞서 다룬 월드 모델이란 무엇인가 — LLM 너머 AGI의 다음 화두 글에서 짚었듯, 세상을 시뮬레이션하는 능력 자체가 다음 경쟁의 무대가 되고 있다.

개인적으로는 앞으로 데이터 경쟁력의 척도가 ‘누가 더 많은 실제 데이터를 가졌는가’에서 ‘누가 더 현실적인 가상 세계를 만들 수 있는가’로 옮겨갈 것이라고 본다. 그 전환의 속도가 로봇 상용화 시점을 앞당길 핵심 변수가 될 것이다.