LLM 노드

LLM 노드를 사용하면 단일 프롬프트 및 여러 프롬프트를 하나로 엮어(에이전트) 작업을 자동화할 수 있습니다. 

단일 프롬프트

1. 원하시는 LLM 모델을 선택할 수 있습니다.
   
   Alli GPT에서는 GPT-3.5-Turbo, Text-Davinci-003, GPT-4  외에도 다양한 모델을 지원합니다. 대표적인 모델의 특징은 하기와 같습니다.
   
   GPT-3.5-Turbo : 빠른 응답과 성능 최적화라는 특징을 갖고 있습니다. 높은 정확도로 고품질의 답변 생성이 가능하며 다음과 같은 시나리오에 적합합니다.
   – 실시간 상호 작용(대화)이 필요한 경우
   – 보다 효율적인 리소스 사용을 원하는 경우
   
   Text-Davinci-003 : 다양한 분야와 대화 주제에 중점을 둔 모델입니다. 광범위한 지식과 유창한 언어 지식을 보유하고 있으며 다음과 같은 시나리오에 적합합니다.
   – 자세한 정보 또는 전문 지식이 필요한 내용에 대한 답변이 필요한 경우
   – 정보를 탐색하거나 문서 생성이 필요한 경우
   
   GPT-4 : 방대한 지식과 지도 학습 훈련으로 최적화된 모델입니다. 더욱 커진 모델 크기는 물론 향상된 응답성을 갖고 있으며 다음과 같은 시나리오에 적합합니다.
   – 복잡한 텍스트 생성 또는 복잡한 의미 및 내용에 대한 이해가 필요한 경우
   – 최신 자연어 처리 기능을 활용하는 경우
   
   
2. 사용할 프롬프트를 선택할 수 있습니다. 자세한 내용은 프롬프트 관리 유저 가이드를 참조해 주세요.
   
   
3. 맵 리듀스란 큰 덩어리를 작게 나누는 맵(Map) 작업과 결과물을 모아서 집계하는 리듀스(Reduce)의 처리 방식을 지칭하는 용어로 대량의 텍스트, 문서를 효율적으로 다루기 위해 사용하는 옵션입니다. 각 LLM 모델별로 정해져있는 최대 토큰 수를 인풋이 초과하는 것을 막기 위해 해당 작업을 통해 요약 – 프롬프트를 반복 적용하여 최대 토큰 수 내에 들어갈 수 있도록 처리합니다. 따라서 수십 수백장의 문서 및 장문의 텍스트를 이용할 때 사용하기 적합한 옵션입니다.
   
   
4. 이전에 이루어진 대화를 프롬프트에 삽입할 수 있는 옵션입니다. 해당 노드에 진입하기 이전 대화에서 나는 내용 및 정보들을 LLM 노드에서 프롬프트를 실행할 때 넘겨주며 후속 질문에 대한 답변 등 연속적인 대화가 가능해집니다.
   
   
   
   예시 : 이전 대화에서 제주도에 대한 언급이 있었을 경우 3박과 같이 주어를 생략하고 다음 대화를 입력해도 제주도를 포함한 연속적인 답변이 생성됩니다.
   
5. 해당 노드를 통해 생성된 답변을 대화에 표시할 수 있는 옵션입니다.
   
   
6. 답변을 지정된 변수에 저장할 수 있습니다. 변수는 프로젝트 설정 메뉴에서 생성하거나 드롭다운 메뉴에서 바로 생성할 수 있습니다.
   

실제 LLM 노드를 활용한 예시

생성된 답변을 가지고 Q&A를 자동생성하는 LLM 노드를 실행해 보겠습니다.

1.원하는 모델을 선택합니다.

2.설정 > 프롬프트 관리에서 미리 작성해둔 프롬프트를 선택합니다.

여기서는 문서에서 생성된 답변인 result_document(유저 답변을 변수로 저장한 값)를 동적 인풋으로 활용해 5개의 Q&A를 한국어로 자동 생성할 수 있도록 지정하고 있습니다.

3. 프롬프트 실행에 성공/실패했을 때의 액션을 설정합니다.

4. 실제 결과를 확인합니다.

Q&A 생성

말투 변경

요약

LLM 노드의 활용은 무한합니다. Q&A 생성 이외에도 요약, 말투 변경 등 자유롭게 활용하실 수 있습니다.