LLM 및 LLM 앱을 바탕으로 한 통계를 사용할 수 있습니다. 대시보드 > 통계 아이콘 클릭을 통해 앱을 비롯하여 사용처 별 사용자 요청 수, LLM 호출 수를 확인할 수 있습니다. 자세히 알아보도록 하겠습니다.

[사용량]

1. 사용량 탭에서는 확인하고자 하는 통계 기간을 설정할 수 있습니다.
2. 각 지표/차트 별 전체 통계를 엑셀 파일로 다운로드할 수 있습니다. 이 때 최대 6개월의 범위를 지정하여 다운로드 할 수 있습니다. 다운로드 파일에는 생성된 문서 수(일 기준)와 삭제된 문서 수(일 기준)도 함께 집계되어 표시됩니다.
3. 사용차 요청 횟수 : 해당 프로젝트에서 사용자가 LLM 관련 기능의 실행을 요청한 횟수 및 앱 내에서 인풋(버튼 클릭 및 메시지 입력 등을 통해 다음 단계로 진행)을 입력한 횟수를 뜻합니다.
   3-1. 전체 : 답변형 앱, 대화형 앱, API, 지식베이스에서의 모든 요청 내역을 합친 횟수를 뜻합니다.
   3-2. 답변형 앱 : 생성 버튼(혹은 동등한 API콜을 호출한)을 통해 실행한 횟수를 뜻합니다.
   * 이 때 문서 업로드 인풋을 사용하는 등 한 번의 요청에 여러 번 LLM을 호출하는 경우일지라도 ‘생성 버튼’을 누른 횟수 = 1회로 카운트 됩니다.
   3-3. 대화형 앱 : 유저가 인풋을 입력한 (메시지 입력, 버튼 클릭, 입력 폼 제출 등) (혹은 동등한 API콜을 호출한) 횟수를 뜻합니다.
   3-4. 답변 생성 API : API를 통해 ‘답변 생성’을 요청한 횟수를 뜻합니다. 해당 집계에는 답변 생성만 집계되므로 API를 통해 다른 앱을 실행시켰을 경우, 다른 앱들은 답변형 / 대화형 앱 카테고리로 분류되어 집계됩니다.
   3-5. 지식베이스 : 대시보드 내 지식베이스 화면에서 ‘생성’ 버튼을 클릭한 횟수를 뜻합니다.
   
   
4. 사용자 요청 횟수 상위 20위 : 사용자 요청이 가장 많았던 상위 20개의 앱들이 랭크인되어 표시됩니다. 이때 실제 앱이 구동된 횟수만 포함되며 ‘미리보기’ 버튼으로 테스트한 횟수는 포함되지 않습니다. 해당 내역은 합산되어 5. 기타 미리보기 횟수로 계산됩니다.
5. 기타 미리보기 횟수 : ‘미리보기’ 버튼으로 테스트(프리뷰 카운트) + 그 외 리소스에서 온 요청들(그 외)에 대한 횟수들의 총합을 나타냅니다. 이 때 앱별 구분은 진행되지 않습니다.

*Answerbot / LLM 통계 보기 : 해당 버튼을 클릭하면 기존 Alli 답변봇을 이용하던 프로젝트의 경우, Answer Bot 통계를 화면 전환을 통해 함께 확인할 수 있습니다.

1. LLM 크레딧 : 해당 프로젝트 내에서 차감된(소비된) 크레딧 수를 나타냅니다.
   1.2 전체 : 답변형 앱, 대화형 앱, API, 지식베이스에서 모든 LLM 실행 내역 + 모델 사용 내역을 합친 크레딧 소비량을 뜻합니다.
   1-3. 답변형 앱 : 답변 생성 혹은 액션을 실행으로 인해 소비된 크레딧을 뜻합니다.
   1-4. 대화형 앱 : 유저가 인풋을 통해 답변 생성 혹은 액션 실행으로 인해 소비된 크레딧을 뜻합니다.
   1-5 답변 생성 API : API를 통해 답변을 생성할 때 소비된 크레딧을 뜻합니다. 해당 집계에는 답변 생성만 집계되므로 API를 통해 다른 앱을 실행시켰을 경우, 다른 앱들은 답변형 / 대화형 앱 카테고리로 분류되어 집계됩니다.
   1-6 지식베이스 : 대시보드 내 지식베이스 화면에서 Q&A 생성 및 요약 태스크 진행 시 소비된 크레딧을 뜻합니다.크레딧 계산 방법은 모델별, 토큰수에 따라 달라지므로 가격 페이지를 참조해 주세요.
2. 크레딧 상위 20위 : 크레딧 소비가 가장 많았던 상위 20개의 앱들이 랭크인되어 표시됩니다. 이때 실제 공개된 앱에서 소비된 크레딧만 포함되며 ‘미리보기’ 버튼으로 테스트한 횟수는 포함되지 않습니다. 해당 내역은 합산되어 다른 항목들과 동일하게 기타 미리보기 횟수로 계산됩니다.

1. LLM 호출 횟수 : 해당 프로젝트에서 LLM이 호출된 실질적인 횟수를 나타냅니다.
   *단 앱 마켓 페이지에서 앱을 설치하기 위해 테스트할 때 사용되는 숫자는 포함되지 않습니다.
   1-2. 전체 : 답변형 앱, 대화형 앱, API, 지식베이스에서 모든 LLM 실행 내역을 합친 횟수를 뜻합니다.
   1-3. 답변형 앱 : 답변이 생성되기까지 혹은 액션을 실행하기까지 LLM이 실행된 횟수를 뜻합니다.
   1-4. 대화형 앱 : 유저가 인풋을 통해 답변이 생성되기까지 혹은 액션을 실행하기까지 LLM이 실행된 횟수를 뜻합니다.
   1-5. 답변 생성 API : API를 통해 답변을 생성할 때 LLM이 실행된 횟수를 뜻합니다. . 해당 집계에는 답변 생성만 집계되므로 API를 통해 다른 앱을 실행시켰을 경우, 다른 앱들은 답변형 / 대화형 앱 카테고리로 분류되어 집계됩니다.
   1-6. 지식베이스 : 대시보드 내 지식베이스 화면에서 Q&A 생성 및 요약 태스크 진행 시 LLM이 실행된 횟수를 뜻합니다.
2. 사용자 요청 횟수 상위 20위 : 사용자 요청이 가장 많았던 상위 20개의 앱들이 랭크인되어 표시됩니다. 이때 실제 구동된 횟수만 포함되며 ‘미리보기’ 버튼으로 테스트한 횟수는 포함되지 않습니다.
3. 기타 미리보기 횟수 : ‘미리보기’ 버튼으로 테스트한 횟수들의 총합을 나타냅니다.

[고객 수]

1. 고객 수 탭에서는 기본적으로 월간 및 일간 활성 사용자 수를 확인할 수 있습니다.
2. 월간 일간 및 평균 활성 사용자 수도 함께 확인할 수 있습니다.
   더 자세한 월간별 일간별 앱 사용 기록을 확인하고 싶은 경우에는 4.데이터 내보내기 기능을 통해 각 상세 데이터를 다운로드 받을 수 있습니다. 다운로드 파일에는 생성된 문서 수(일 기준)와 삭제된 문서 수(일 기준)도 함께 집계되어 표시됩니다.
   * 월간 활성 사용자 수는 매월 1일 00:30(UTC+0)에 집계가 시작되며 일간 활성 사용자 수는 매일 00:30(UTC+0)에 집계가 시작됩니다. 해당 작업에는 대략 몇 시간이 소요됩니다.
3. 활성 사용자 수 상위 20위 앱을 확인할 수 있습니다.
   상위 20위 앱 집계 방법은 하기와 같습니다. (집계 시에는 중복을 제거한 유니크(고유) 유저 수만 계산됩니다)
   1) 답변형 앱 : 생성 버튼 실행한 사용자 수
   2) 대화형 앱 : 메시지나, 버튼 클릭 등 입력을 요청한 사용자 수
   3) 답변 생성 API : API를 통해 답변 생성을 요청한 사용자 수