도움말
문의하기
aisight 도움말›관리자 가이드›운영 확인›운영 로그
화면 안내

운영 로그

어떤 세션에서 어떤 Skill·도구가 어떤 순서로 호출됐는지, 턴 단위로 그대로 재생해볼 수 있습니다.

이 페이지 목차

관리자 > 운영 > 운영 로그는 사용자 채팅 세션과 AI가 처리한 도구 호출 흐름을 세션 단위로 확인하는 곳입니다. 문제 상황을 재현하거나, 어떤 Skill·도구가 어떤 순서로 실행됐는지 추적할 때 사용합니다.

상단에서 전체 로그 수와 기간(직접 지정 + 오늘/이번주/지난주/이번달 단축 버튼)을 확인·필터링합니다.

화면은 채팅 로그와 접속 로그 두 탭으로 나뉩니다. 채팅 로그는 대화와 도구 호출 흐름을, 접속 로그는 누가 어떤 기기로 로그인하고 어느 화면에 들어갔는지를 보여 줍니다.

먼저 볼 것: 화면 구성

좌측은 날짜 › 사용자 › 세션 3단 트리 패널입니다. 세션 검색창, 새로고침/펼치기/닫기 버튼이 있고, 각 세션 항목에는 턴 수·도구 호출 아이콘·상태 점(색상별)이 함께 표시됩니다. "슬라이드"처럼 어떤 기능이 쓰인 세션인지 알려주는 기능 라벨 태그도 붙습니다. 세션을 선택하면 우측에 그 세션의 도구 호출 흐름이 상세히 나옵니다.

날짜 › 사용자 › 세션 3단 트리 패널

고급 필터로 세션 좁히기

세션 검색창 옆 고급 필터를 누르면 조건을 겹쳐 세션을 좁힐 수 있습니다. 문제가 난 세션을 빠르게 찾을 때 씁니다.

조건 쓰는 경우
사용자 · 스킬 · LLM 엔드포인트 특정 사람이나 역할(Skill), 모델에서 일어난 대화만 볼 때
오류 있는 세션만 답변 실패 신고를 받았을 때 오류가 난 세션부터 확인
HITL 인터럽트 있는 세션만 Skill 선택이나 조회 조건 확인에서 멈춘 대화를 찾을 때
에이전트(외부 노출) · 챗 · 슬라이드 · 데스크톱 · MS Office 애드인(Excel·Word) 세션만 대화가 시작된 곳별로 나눠 볼 때
금칙어 포함 세션만 금칙어에 걸린 대화를 점검할 때

조건을 고른 뒤 적용을 누르고, 처음 상태로 돌리려면 초기화를 누릅니다.

세션 상세 확인하기

상단 헤더에 세션 제목, 사용 모델(예: gemma4:31b), 턴 수, 토큰(in/out), 오류 건수 배지, HITL1 배지, 사용자 이름·이메일, 일시·소요 시간, 세션 ID(복사 가능)가 표시됩니다. 이 세션에서 쓰인 Skill들이 버튼 형태 태그(대시보드, 사내 문서 검색, 웹 리서치, BI 데이터 전문가 등)로 나옵니다.

좌측 턴(T1~Tn) 목록에서 턴을 고르면, 우측에 모델·토큰·응답시간과 함께 사용자 질문/어시스턴트 답변 원문, 인용 출처가 표시됩니다.

세션 상세 화면: 헤더, Skill 태그, 턴 목록과 응답 내용

HITL(Human-In-The-Loop) 이벤트

대화 흐름 중간에 skill_select(Skill 선택 대기), constraint_select_form(조회 조건 확인 대기) 같은 HITL 이벤트가 별도 카드로 표시되고, 대기 시간(예: 대기 4.1초)도 함께 기록됩니다. "사용자가 왜 이 시점에 응답을 안 했는지" 같은 이슈를 추적할 때도 활용할 수 있습니다.

답변의 근거로 쓰인 출처(IDP2 검색 출처, 특정 매출 현황 자료, 제품군 TOP5, 공휴일·환율 정보 등)도 버튼으로 노출됩니다.

그 외 확인할 수 있는 것

  • 실행됐던 쿼리 이력을 확인할 수 있어, 감사(audit) 목적으로 활용할 수 있습니다. 쿼리 원본과 소유자는 저장된 쿼리, 파일로 내려받은 기록은 데이터 다운로드 이력, 관리자 작업 기록은 감사 로그에서 봅니다.
  • 해당 조회가 Excel 기반 호출인지 DB 기반 호출인지 구분해서 확인할 수 있습니다.
  • 미리보기로 실제 조회된 데이터 내용을 직접 확인할 수 있습니다.
세션 상세에도 질문·답변 원문이 그대로 노출됩니다

사용 통계와 마찬가지로, 이 화면 접근 권한도 통제가 필요합니다.

접속 로그 탭

로그인과 화면 이동이 어떤 기기·앱에서, 어느 IP로 일어났는지 시간순으로 보여 줍니다. 낯선 IP나 기기에서 로그인한 기록이 있는지 확인하거나, 사용자가 어느 화면에서 막혔는지 따라가 볼 때 씁니다.

  • 위쪽에서 이벤트(로그인·화면 이동 등)를 고르거나 검색창에 입력해 좁힐 수 있습니다.
  • 웹(PC) · 웹(모바일) · 모바일 앱 · 데스크톱 별 건수가 함께 표시됩니다.
  • 목록에는 시각, 사용자, 이벤트, 기기·앱, 화면·로그인 방식, IP, User-Agent가 나옵니다.

자주 묻는 질문

운영 로그와 채팅 모니터링은 무엇이 다른가요?+

채팅 모니터링은 지금 응답을 만들고 있거나 사용자 확인을 기다리는 채팅이 있는지 실시간으로 확인하는 화면이며, 진행 중인 채팅을 강제종료할 수도 있습니다. 운영 로그는 특정 세션의 질문·응답·Skill·도구 호출·오류 원인을 상세하게 추적하는 데 사용합니다.

특정 사용자의 대화를 확인하려면 어떻게 하나요?+

기간과 검색 조건으로 세션을 찾은 뒤, 좌측 목록에서 해당 세션을 선택하세요. 우측 상세 화면에서 대화 내용과 처리 과정을 턴 단위로 확인할 수 있습니다.

로그를 볼 수 있는 사람은 제한해야 하나요?+

네. 세션 상세에는 질문·답변 원문과 도구 호출 정보가 포함될 수 있으므로, 운영 목적상 필요한 관리자에게만 접근 권한을 부여하는 것이 좋습니다.

다른 질문도 한곳에서 찾아보기

마지막 수정: