챗봇 데모는 쉽습니다. 보안 조직이 승인하는 사내 AI 어시스턴트는 그렇지 않습니다.
계약서, 기술 문서, 고객 기록처럼 기업 지식의 대부분은 사내망 밖으로 나갈 수 없습니다. 외부 AI API는 처음부터 선택지에서 빠지는 경우가 많고, 사내 PoC는 매번 같은 질문에서 멈춥니다. 어떤 모델을 어떤 하드웨어에서 돌릴지, 누가 어떤 문서를 볼 수 있는지, 답변이 맞는지 어떻게 확인할지입니다.
디플로이웍스는 고객사 환경 안에 어시스턴트를 구축하고, 지식이 저장된 시스템에 직접 연결합니다. 고객사 팀이 운영하는 데 필요한 평가·모니터링 체계까지 갖춰 이관합니다.
이런 고민이 있으신가요?
- 데이터를 외부 AI API로 보낼 수 없거나, 보내려면 긴 승인 절차를 거쳐야 합니다.
- RAG PoC가 데모용 질문에는 잘 답하지만, 실제 사용자는 결과를 신뢰하지 않습니다.
- 검색 결과가 기존 문서 접근 권한을 그대로 따라야 합니다.
- AI 에이전트가 사내 시스템에서 안전하게 작업을 수행해야 합니다.
제공 범위
01
모델 선정과 서빙
보유한 하드웨어에 맞는 규모의 오픈 웨이트 모델을 선정하고, 인증이 적용된 OpenAI 호환 API로 서빙합니다.
02
권한 기반 검색
문서 저장소와 데이터베이스에서 데이터를 수집하고 하이브리드 검색과 리랭킹을 적용합니다. 결과는 사용자별 기존 접근 권한에 따라 필터링됩니다.
03
반복 가능한 평가
현업 전문가가 만든 질문 세트, 자동 채점, 릴리스 게이트를 갖춰 변경 사항 때문에 답변 품질이 모르는 사이에 떨어지지 않게 합니다.
04
가드레일을 갖춘 에이전트
도구를 사용하는 에이전트는 기본적으로 읽기 전용으로 두고, 작업 실행에는 승인 단계를 거치며, 감사 로그를 남깁니다.
05
모니터링과 피드백
응답 지연, 비용, 검색 품질, 사용자 피드백을 고객사 팀이 소유하는 하나의 대시보드에서 확인합니다.
06
이관
소스코드, 인프라 코드(IaC), 운영 매뉴얼(런북)을 이관하고, 운영을 맡을 팀을 교육합니다.
참조 아키텍처
고정된 제품이 아닌 참조 설계입니다. 기술 진단 단계에서 고객사 시스템과 제약 조건에 맞게 조정합니다.
사용자·채널
- 웹 채팅
- 메신저 봇
- 사내 앱
애플리케이션·가드레일
- 어시스턴트 API
- 에이전트 도구
- 입출력 필터
검색
- 하이브리드 검색
- 리랭커
- 권한 필터
모델
- LLM 서버
- 임베딩 모델
고객사 데이터
- 문서 저장소
- 위키·티켓
- 데이터베이스
운영
- 평가 세트
- 모니터링
- 감사 로그
- 통합 인증(SSO)
프로젝트는 보통 이렇게 진행됩니다
- 기술 진단2주
가치와 실현 가능성을 기준으로 유스케이스의 우선순위를 정하고, 데이터 소스와 접근 권한을 파악하고, 모델·하드웨어 대안을 검토한 뒤 추진 여부를 판단합니다.
- PoC·파일럿6–8주
실제 사용자 그룹을 대상으로 어시스턴트 하나를 운영 환경에 올리고, 평가 세트와 모니터링을 함께 갖춥니다.
- 전담 FDE 포드월 단위
데이터 소스와 유스케이스를 늘리고 에이전트를 도입하며, 다른 팀도 활용해 개발할 수 있는 플랫폼으로 확장합니다.
설계에 반영하는 제약 조건
- 망분리·폐쇄망 환경
- 내부 레지스트리를 통해 오프라인으로 설치하며, 외부 API를 호출하지 않습니다.
- 개인정보·기밀 데이터
- 데이터는 고객사 환경 밖으로 나가지 않으며, 로그는 개인정보 보호법(PIPA), DPDP, 고객사 보존 정책에 맞춰 관리합니다.
- GPU 예산
- 보유하고 있거나 도입 가능한 하드웨어에 맞춰 모델 크기와 양자화 수준을 정합니다.
- 보안 검토
- 보안 조직이 검토할 수 있도록 위협 모델과 프롬프트 인젝션 테스트 결과를 준비합니다.
주요 기술 스택
- vLLM
- Open-weight LLMs
- PostgreSQL
- pgvector
- OpenSearch
- Kubernetes
- Python
- OpenTelemetry
고객사가 이미 운영 중인 도구가 적합하다면 그대로 활용합니다. 표기된 이름은 참고용입니다.