이제 대시보드에서 리트리버 성능 개선 기능을 사용할 수 있습니다. 유저는 리트리버의 성능 향상을 통해 더욱 더 정확한 생성형 답변을 제공받을 수 있습니다.
해당 기능을 사용하기 위해서는 우선 지식베이스 > 리트리버 최적화 탭으로 이동하여 ‘리트리버 성능 개선’ 버튼을 클릭해야 합니다.
1. 리트리버 트레이닝은 업로드한 문서와 사용자가할 법한 질문의 유사성을 높일 수 있도록 모델을 트레이닝하는 기능입니다. 해당 기능은 주어진 문서 집합을 이해하고, 사용자의 질문에 적합한 문서를 찾아내는 모델을 훈련시킵니다. 이를 통해 유저가 원하는 정보를 더 정확하게 검색하고, 효과적으로 활용할 수 있도록 도와줍니다.
2. 리트리버 최적화는 프로젝트에 업로드 되어 있는 문서와 질문에 맞춰 RAG의 최적의 가중치를 찾을 수 있는 기능입니다. 최적화 요청은 매우 간단합니다. 직접 업로드를 통해 데이터를 인입시키고, 요청 버튼을 눌러주시면 끝입니다. 최적화 요청은 올거나이즈 담당자 검토 후 실행되며, 실행 결과로 인한 성능 개선 정도는 최종 리포트 ‘다운로드’를 통해 확인하실 수 있습니다.
더욱 자세히 알아보도록 하겠습니다.
3.데이터 세트 파일 업로드. 우측 상단에 있는 ‘샘플 파일 다운로드’를 통해 어떤 내용으로 파일을 업로드 해야 하는지 테스트 데이터를 확인할 수 있습니다. 지원하는 파일 포맷은 xls, xlsx, csv입니다.
파일의 기본 구성은 ①질문과 ②질문에 해당하는 답변이 포함된 파일명 ③페이지 넘버로 이루어져 있습니다. 같은 질문에 대해 3개의 문서가 존재할 경우에는 3행으로 나누어 기재할 수 있습니다.
권장하는 데이터 세트의 갯수는 50개 이상이며 데이터 세트가 적을 경우에는
4. 데이터 추가 생성 옵션을 통해 LLM 모델을 사용하여 업로드된 데이터 + 집계된 피드백 데이터와 비슷한 패턴의 질문 데이터 세트를 자동으로 생성할 수 있습니다. 단 해당 옵션을 사용할 경우에는 추가 크레딧이 발생합니다.
*데이터 세트의 갯수가 50개 미만이여도 최적화 요청은 가능하나 데이터가 많으면 많을수록 리트리버 최적화에 좋은 영향을 미칩니다
실제 최적화 요청을 진행해 보겠습니다.
데이터 세트 파일 업로드 후 ‘다음’ 버튼을 누르면
- 업로드된 데이터 세트 파일명
- 집계된 피드백 데이터 수
- 소요되는 예상 크레딧이 표시됩니다. 해당 내용을 확인한 후 ‘확인’ 버튼을 누르면
최적화 요청이 완료됩니다. 요청과 동시에 담당자(어카운트 매니저)는 리트리버 개선 작업을 실시합니다.
해당 작업에는 영업일 기준 2-3일 소요될 수 있습니다. 최적화 요청 후 대시보드 상에서 취소는 불가능하며, 취소를 희망하실 경우에는 별도로 담당자에게 연락이 필요합니다.
개선 작업이 완료되면 대시보드에서 최적화 전과 최적화 후의 성능을 한눈에 비교할 수 있으며, 최종 리포트 다운로드를 통해 리트리버의 어느 부분이 개선되었는지 파악할 수 있습니다.
1. 리트리버 최적화를 요청한 버전이 표시됩니다.
2. 최적화 요청을 전송한 시각이 표시됩니다
3. 업로드한 데이터 세트의 파일명이 표시됩니다.
4. 반영된 피드백 데이터 수가 표시됩니다
5. 실제 최적화가 완료된 시각이 표시되며 최적화 전 정확도와 최적화 후의 정확도를 확인할 수 있습니다. 더불어
다운로드 버튼을 통해 최종 리포트를 받아볼 수 있습니다.
6. 1차 최적화 후 추가 최적화를 요청했을 떄는 V1 > V2 > V3과 같이 버전이 업그레이드 되어 표시됩니다. 요청 후 반영되는 동작은 이전과 동일합니다.
최종 리포트에는 ① 최종 성능, ② 설정된 가중치 , ③사용된 데이터 수, ④실제 데이터 세트가 포함됩니다.
리트리버 최적화 기능을 통해 생성형 답변의 정확한 성능 평가 및 개선 정도 파악을 실시해 보세요.
