도움말
문의하기
aisight 도움말›관리자 가이드›모델 설정›LLM 엔드포인트 및 모델 라우팅 관리
하는 법

LLM 엔드포인트 및 모델 라우팅 관리

이 페이지 목차

관리자 > LLM > 엔드포인트 메뉴는 aisight가 대화 응답에 사용할 AI 모델을 등록하고 관리하는 기능입니다. GPT, Claude, Gemini 등 외부 상용 모델과 온프레미스 서버에 직접 설치한 자체 모델을 모두 등록할 수 있습니다. 엔드포인트 등록, 기능별 모델 지정, 리소스 사용량 제어를 하나의 화면에서 관리합니다.

먼저 알아 둘 것: 기본 모델과 사용자 노출

상단의 기본 모델 카드에서 메인(일반 텍스트 대화) · 비전 · 오디오 · 이미지 생성 4개 역할마다 기본으로 쓸 모델을 지정합니다. 지정하지 않은 역할은 카드에 '미지정'으로 표시되니, 필요한 역할은 모델을 지정해 두세요.

모델을 등록했다고 모든 사용자에게 보이는 것은 아닙니다. 사용자 드롭다운에 노출을 켠 모델만 사용자가 채팅의 모델 선택 목록에서 직접 고를 수 있습니다. 내부 처리나 백그라운드 작업에만 쓰는 모델은 노출을 끈 채로 두면 됩니다.

새 엔드포인트 등록하기

  1. 엔드포인트 추가 화면에서 아래 항목을 입력합니다.
  1. 1
    Provider 고른 제공사에 맞는 고유 SDK로 모델에 연결됩니다.
  2. 2
    내부 이름 사용자에게는 보이지 않습니다.
  3. 3
    모델 ID API 호출 대상이 되는 모델입니다.
  1. 연결 테스트를 실행해 성공 여부를 확인합니다. 엔드포인트는 연결 테스트 없이도 저장할 수 있지만, 실제로 응답을 받는지 저장 전에 확인해 두는 것이 안전합니다. (데이터 소스는 연결 테스트를 통과해야 저장됩니다)
  2. 모델이 도구 호출(Tool Calling) 표준을 지원하는지 확인합니다. 지원하지 않는 모델은 Skill의 도구 호출 기능을 사용할 때 정상 동작하지 않을 수 있습니다.
  3. 저장합니다.

등록한 뒤 설정할 것

엔드포인트 추가·편집 창의 표시 및 동작과 지원 모달리티에서 정합니다.

  • 기본 모델로 설정: 채팅에 기본으로 쓸 모델을 정합니다. 시스템 전체에서 1개만 고를 수 있습니다.
  • 사용자 드롭다운에 노출: 사용자가 채팅 화면에서 직접 고를 수 있게 할지 정합니다.
  • 지원 모달리티: 이 모델이 할 수 있는 일(비전 지원, 오디오 지원, 이미지 생성 지원, Embedding)을 켭니다. 이미지 읽기, 음성 입력, 이미지 만들기, 의미 검색에 각각 쓸 기본 모델도 여기서 정합니다.

적응형 사고, 캐시 친화 prefix, 사고 단계처럼 특정 모델 계열에서만 쓰는 옵션은 창에 적힌 안내를 따르면 됩니다.

엔드포인트 목록 보기

  • 기본 모델: 요청 종류마다 aisight가 기본으로 쓰는 모델입니다. 메인(일반 대화), 비전, 오디오, 이미지 생성 4가지가 있습니다. 카드의 변경으로 바꾸고, 아직 정하지 않은 종류는 모델 지정으로 정합니다. 정하지 않은 종류의 요청은 메인 모델이 대신 처리합니다.
  • 전체 모델: 등록한 모델을 모두 모아 관리하는 곳입니다. 종류(일반·비전·오디오·이미지 생성·Embedding)나 노출 여부(노출·미노출)로 걸러 볼 수 있습니다. 오른쪽 액션 메뉴(⋯)에서 편집, 연결 테스트, 사용자 노출 해제, 삭제를 합니다. 동시 사용 숫자를 누르면 지금 쓰고 있는 슬롯을 볼 수 있습니다.

등록한 모델의 설정 바꾸기

  1. 전체 모델 표에서 바꿀 모델의 액션 메뉴(⋯)를 열고 편집을 누릅니다.
  1. 엔드포인트 상세 화면이 열리면 바꿀 카드의 수정을 눌러 고칩니다. 컨텍스트 윈도우, 최대 출력 토큰 같은 토큰 수와 동시 요청 상한은 모델 파라미터에서 바꿉니다.

슬롯과 가용성 확인하기

  • 슬롯 현황: 모델마다 동시에 처리할 수 있는 요청 수(슬롯)를 보는 곳입니다. 응답 없이 멈춘 요청이 자리를 붙잡고 있으면 슬롯 현황 상세에서 풀 수 있습니다.
  • 가용성 사고: 최근 24시간 동안 사용자에게 "현재 사용할 수 있는 LLM 서버가 없습니다"가 표시된 사건입니다. 시각·사용자·본딩/엔드포인트·모델·사유가 함께 기록되어, 사용자가 이 오류를 받았을 때 원인을 찾는 곳입니다.
대량 작업이 슬롯을 다 차지하면 채팅이 막힙니다

지식 위키 정제처럼 많은 문서를 처리하는 작업도 같은 슬롯을 써서, 슬롯을 모두 쓰는 동안 사용자는 채팅을 할 수 없습니다. 대량 작업 전에 슬롯 현황을 확인하고 채팅용 자리를 남겨 두세요. 위키 작업이 동시에 쓰는 수는 관리자 > 지식 위키 > 시스템 프롬프트의 동시 처리 갯수로 정합니다.

본딩: 여러 엔드포인트를 하나로 묶기

위치: 관리자 > LLM > 본딩

본딩은 같은 모델을 올린 서버 여러 대를 하나의 이름으로 묶는 기능입니다. 사용자는 본딩 이름 하나만 보고 고르며, 요청은 묶인 엔드포인트로 나뉘어 들어갑니다. 사용자가 많아 서버를 늘리거나, 서버 한 대가 멈춰도 채팅이 이어지게 하고 싶을 때 씁니다.

본딩 추가에서 멤버 엔드포인트를 2개 이상 고르고 라우팅 전략을 정합니다.

  • 랜덤 균등 분배: 요청을 엔드포인트들에 고르게 나눕니다.
  • 우선순위 (위에서부터): 위에 있는 엔드포인트부터 쓰고, 쓸 수 없으면 다음으로 넘어갑니다.

자주 묻는 질문

상태 칸에 「생략 · 외부 자가체크」가 보여요.+

외부 LLM이라 비용을 줄이려고 자동 상태 점검(자가체크)을 생략했다는 뜻으로, 연결 오류가 아닙니다. 연결을 확인하려면 액션 메뉴(⋯)의 연결 테스트를 누릅니다. 수동 연결 테스트는 그대로 동작합니다.

모델 상태가 실패로 보이면 채팅을 전혀 쓸 수 없나요?+
원인

실패 상태인 모델을 기본값으로 쓰거나 유일한 라우팅 대상으로 지정했다면 채팅이 영향을 받습니다.

해결 방법

LLM 엔드포인트에서 모델 연결 상태를 확인하고, 다른 정상 모델을 메인 기본 모델로 지정합니다.

사용자에게 보일 모델은 어떻게 정하나요?+

엔드포인트별 사용자 노출 설정을 사용합니다. 성능·비용·보안 검토가 끝난 모델만 노출하고, 실험·내부 처리용 모델은 미노출로 유지하세요.

동시 사용량이 상한에 도달하면 어떻게 되나요?+
원인

모델마다 동시에 처리할 수 있는 요청 수(슬롯)가 정해져 있습니다. 슬롯이 모두 차면 새 채팅이 처리되지 않아 응답이 늦어지거나, 사용자에게 '현재 사용할 수 있는 LLM 서버가 없습니다' 오류가 보입니다.

해결 방법

슬롯 현황에서 어떤 작업이 자리를 차지하고 있는지 확인하고, 응답 없이 멈춘 요청은 슬롯 현황 상세에서 풉니다. 위키 정제 같은 대량 작업이 원인이면 지식 위키의 동시 처리 갯수를 낮춰 채팅용 자리를 남깁니다. 사용자가 몰리는 일이 잦다면 같은 모델 서버를 본딩으로 묶어 처리량을 늘립니다. 오류가 난 시각의 원인은 가용성 사고 로그에서 확인합니다.

다른 질문도 한곳에서 찾아보기

마지막 수정: