그래프 RAG란 무엇인가

RAG(검색 증강 생성)라고 하면 보통 ‘문서를 검색해서 AI에게 참고자료로 주는 기술’ 정도로 이해한다. 틀린 설명은 아니다. 하지만 이 설명만으로는 최근 업계에서 화제가 된 그래프 RAG를 이해하기 어렵다. 그래프 RAG는 문서를 검색하는 방식 자체를 다시 정의한 기술이기 때문이다.

기존 RAG가 “이 질문과 비슷한 문장을 찾아줘”라고 묻는 방식이라면, 그래프 RAG는 “이 개념들이 서로 어떻게 연결돼 있는지 보여줘”라고 묻는 방식이다. 이 차이가 왜 중요한지, 지금부터 하나씩 풀어보려 한다.

기존 RAG는 문서를 잘게 쪼갠 뒤, 질문과 의미가 비슷한 조각을 벡터 검색으로 찾아온다. 이 방식은 “A라는 개념이 뭐야?”처럼 단일 사실을 묻는 질문에는 강하다.

문제는 “A와 B는 어떤 관계야?”처럼 여러 개념을 아울러야 하는 질문이다. 관련 문서 조각들이 서로 떨어진 위치에 있으면, 벡터 검색만으로는 그 연결고리를 놓치기 쉽다. 마이크로소프트 리서치가 그래프 RAG를 제안한 배경도 여기에 있다.

지식그래프를 활용하는 방식

그래프 RAG는 문서에서 개체(인물, 기업, 제품 등)와 그 관계를 미리 추출해 지식그래프 형태로 정리해둔다. 질문이 들어오면 관련 개체들을 그래프에서 찾고, 그 주변 관계까지 함께 모아 AI에게 넘긴다.

필자가 보기엔 이 방식의 핵심은 ‘맥락을 통으로 넘긴다’는 데 있다. 조각난 문장이 아니라, 개념 간의 관계망 자체를 참고자료로 쓰는 셈이다.

기존 RAG와 그래프 RAG, 무엇이 다른가

둘의 차이를 표로 정리하면 이렇다.

구분	기존 RAG	그래프 RAG
검색 단위	문서 조각(청크)	개체와 관계(지식그래프)
강점	단일 사실 질문에 빠르고 정확	복합적·관계형 질문에 강함
구축 비용	상대적으로 낮음	그래프 구축에 추가 연산 필요
대표 활용처	고객 상담, 단순 문서 질의	기업 내부 지식 통합, 법률·의료 분석

표에서 드러나듯 그래프 RAG가 모든 상황에서 우월한 건 아니다. 구축 비용과 연산량이 더 들어가는 만큼, 단순한 질의응답 서비스에는 오히려 과한 선택일 수 있다. 개인적으로는 이 트레이드오프를 이해하지 못한 채 유행처럼 도입하는 게 더 위험하다고 본다.

기업들의 전략적 대응

글로벌 클라우드 기업들은 이미 그래프 RAG를 자사 AI 플랫폼에 통합하는 중이다. 아마존은 베드록에 그래프 기반 검색 기능을 얹었고, 이는 AWS 기술 블로그에서도 소개된 바 있다.

마이크로소프트: 자체 오픈소스 GraphRAG 프로젝트로 표준화 시도
아마존: 베드록에 그래프 RAG 기능 통합
기업용 AI 솔루션사: 사내 문서·법률·의료 데이터 분석에 우선 적용

여기서 눈에 띄는 건, 그래프 RAG가 소비자용 챗봇보다 기업 내부 업무용 AI에서 먼저 자리를 잡고 있다는 점이다. 사내 문서는 부서·프로젝트·인물 간 관계가 복잡하게 얽혀 있어서, 관계 기반 검색의 효과가 훨씬 크게 나타나기 때문이다. 이 흐름은 AI가 데이터를 다루는 방식이 점점 정교해지고 있다는 걸 보여주는 사례이기도 하다. 비슷한 맥락에서 합성 데이터 역시 AI가 학습하는 데이터 자체를 정교화하려는 흐름 중 하나다.

IT-SUE의 시각

필자가 보기엔 그래프 RAG는 ‘RAG의 업그레이드 버전’이라기보다, RAG가 못 풀던 문제를 위한 별도의 도구에 가깝다. 모든 검색을 그래프 RAG로 바꿀 필요는 없다. 질문의 성격에 따라 기존 RAG와 그래프 RAG를 섞어 쓰는 하이브리드 구조가 현실적인 답이라고 본다.

앞으로 기업용 AI 시장에서는 ‘어떤 모델을 쓰느냐’보다 ‘데이터를 어떻게 구조화해서 넘기느냐’가 더 중요한 경쟁력이 될 가능성이 크다. 그래프 RAG는 그 경쟁의 초기 신호탄이라고 필자는 본다. 지식그래프를 얼마나 잘 설계하느냐가, 다음 세대 기업용 AI의 품질을 가르는 기준이 될 것이다.

it-sue