이 글은 <Prompt Engineering Guide>를 참고해 작성하였습니다.
2. Techniques - (10) Automatic Reasoning and Tool-use (ART)
ART 는 다단계 추론과 도구 사용을 자동화하여 모델이 새로운 작업을 제로샷 방식으로 해결할 수 있도록 돕는 방법입니다.
How Automatic Reasoning and Tool-use works
1. 새로운 작업이 주어지면, 진행할 추론을 단계별로 구조화하고, 필요하다면 사용할 도구(계산기, 웹서칭 등)도 선택합니다.
2. 단계별로 추론을 진행하되, 외부 도구가 필요할 땐, 잠시 멈춰 외부 도구를 이용해 정보를 생성하고, 도구에서 준 출력값을 기반으로 다음 단계를 진행합니다.
이와 같은 방식은 예시를 따로 사용하지 않음에도 불구하고, 낯선 작업 수행 능력을 보았을 때, few-shot 프롬프트 및 automatic CoT 보다 훨씬 높은 성능을 보였습니다.
Automatic Reasoning and Tool-use(ART) 예시
문제: 124 + 356 = ? 라는 단순한 수학 문제를 해결하고자 할 때, 외부 계산 도구를 사용하여 중간 결과를 처리하고, 이를 바탕으로 최종 계산을 할 수 있습니다.
step1 문제 분석
먼제 문제를 분석하고, 필요한 도구(계산기)를 사용할지 결정합니다. 이 경우, 수식 연산이 필요하기 때문에 계산기 사용이 필요하다고 판단합니다.
step2 도구 호출
모델은 계산기 도구를 호출하여 124 + 356의 값을 계산합니다.
step3 도구 출력 통합
모델은 계산기의 출력값 480을 기반으로 최종 답변을 생성합니다.
step4 최종 출력
"124 + 356 = 480" 출력
