오늘의 LLM 공부: RAG, GraphRAG, LazyGraphRAG

LLM의 한계와 RAG의 등장

GPT-3와 같은 대규모 언어 모델(LLM)은 수십억 개의 파라미터로 방대한 데이터를 학습하여 뛰어난 생성 능력을 보여주지만, 한 가지 큰 한계가 있습니다.

 

바로, 새로운 정보를 학습 후 추가로 알 수 없다는 점입니다.

 

RAG: Retrieval-Augmented Generation의 해결

RAG는 이러한 LLM의 정적 지식 문제를 해결하기 위해 등장했습니다.
RAG는 검색(Retrieval)과 생성(Augmented Generation)을 결합한 하이브리드 접근 방식으로, 다음과 같은 특징을 가집니다:

1. Retrieval:
   벡터 유사성 검색을 사용해 외부 데이터베이스에서 쿼리와 유사한 데이터를 찾아, 최신 정보와 새로운 지식을 즉각적으로 가져옵니다.
2. Augmented Generation:
   검색된 데이터를 LLM의 입력으로 추가하여, 모델이 기존에 알지 못했던 새로운 정보를 기반으로 답변을 생성할 수 있도록 보완합니다.

이 방식을 통해 RAG는 LLM의 한계였던 정적 지식 문제를 해결하고, 실시간 정보와 외부 데이터 활용을 가능하게 만듭니다.

 

 

RAG의 한계

RAG가 뛰어난 유연성을 제공하지만, 여전히 몇 가지 문제점이 있습니다:

• 직접적 유사성에만 의존:
  RAG는 쿼리와 가장 유사한 데이터 청크만 검색합니다. 데이터 간의 관계를 다루지 않기 때문에 전역적 문맥을 이해하는 데 한계가 있습니다.

 

예를 들어

"Bitcoin price increase"와 관련된 데이터를 찾고자 할 때, RAG는 단순히 "Bitcoin price surge"와 같은 직접적으로 유사한 데이터만을 검색합니다.

 

하지만, 우리는 그뿐만 아니라:

• "Ethereum price increase" (비트코인과 함께 상승한 다른 암호화폐)
• "cryptocurrency regulation" (같은 맥락에서 언급된 암호화폐 규제)

와 같은 간접적으로 연관된 정보도 찾고 싶다면, RAG로는 한계가 있습니다.

 

GraphRAG 등장

GraphRAG는 이러한 RAG의 한계를 극복하기 위해 개발된 기법입니다.
GraphRAG는 텍스트 데이터에서 엔티티(예: Bitcoin, Ethereum)를 추출하고, 이를 기반으로 데이터 간 관계를 그래프로 모델링합니다.

 

GraphRAG의 특징

1. 관계 기반 탐색:
   엔티티 간의 연결성을 그래프 형태로 반영하여, 쿼리와 직접 관련이 없어도 간접적으로 연관된 정보를 탐색할 수 있습니다.
2. 전역적 문맥 이해:
   그래프 구조를 활용해 전역적 관계를 파악하고, 더 깊이 있는 정보를 제공합니다.

예를 들어

 

"Bitcoin price increase"를 쿼리로 입력하면:

• GraphRAG는 "Bitcoin price surge"뿐만 아니라,
• "Ethereum price increase" 및 *"cryptocurrency regulation"*과 같은 간접적으로 연결된 정보까지 탐색할 수 있습니다.

 

GraphRAG의 한계

그러나 GraphRAG는 다음과 같은 단점도 있습니다:

• 초기 비용: 데이터를 그래프로 구축하는 데 시간이 많이 소요됩니다.
• 탐색 비용: 그래프에서 이웃된 엔티티까지 탐색해야 하므로 계산 비용이 증가합니다.

 

LazyGraphRAG 등장

그래서 최근에는 RAG과 GraphRAG을 결합한, 그래서 비용이 적으면서도 효율적으로 전역적 문맥을 활용해 탐색할 수 있는 방법이 등장했다고 합니다.