GPU는 비쌉니다. 운영할 사람이 없는 플랫폼도 마찬가지입니다.
많은 팀이 모델에 무엇이 필요한지 파악하기도 전에 GPU를 구매하거나 임대합니다. 그 뒤에야 모델 서빙, 확장, 모니터링, 업그레이드가 플랫폼 차원의 일이라는 것을 알게 됩니다. 플랫폼이 없으면 AI 프로젝트마다 각자 스택을 만들고, 비용은 파악하기 어려워집니다.
디플로이웍스는 고객사의 모델과 트래픽을 기준으로 하드웨어 규모를 산정하고, 고객사 환경의 Kubernetes 위에 서빙 플랫폼을 구축합니다. 고객사 플랫폼 팀이 맡아 운영할 LLMOps 체계도 함께 마련합니다.
이런 고민이 있으신가요?
- GPU 구매나 예약을 앞두고 있지만, 얼마나 필요한지 확신이 없습니다.
- AI 팀마다 모델을 제각각 운영합니다.
- GPU 사용률이나 요청당 비용이 파악되지 않습니다.
- 모델 업데이트가 수작업이고, 롤백하기 어렵습니다.
제공 범위
01
용량 산정
모델, 컨텍스트 길이, 트래픽을 기준으로 GPU 메모리와 처리량을 추정하고, 양자화·배칭 옵션을 함께 제시합니다.
02
Kubernetes 플랫폼
고객사의 클라우드, 데이터센터, 폐쇄망 환경에 GPU 노드 풀, 스케줄링, 워크로드 격리를 구성합니다.
03
모델 서빙
인증과 쿼터가 적용된 API 게이트웨이 뒤에 자동 확장되는 모델 서버를 구성합니다.
04
LLMOps
모델 레지스트리, 버전 단위 릴리스, 평가 게이트, 롤백 체계를 갖춥니다.
05
관측성·비용 가시성
GPU 사용률, 지연 시간, 오류, 팀·유스케이스별 비용을 확인할 수 있게 합니다.
06
이관
고객사 플랫폼 팀에 인프라 코드(IaC)와 운영 매뉴얼(런북)을 이관하고, 장애 대응(온콜) 교육을 제공합니다.
참조 아키텍처
고정된 제품이 아닌 참조 설계입니다. 기술 진단 단계에서 고객사 시스템과 제약 조건에 맞게 조정합니다.
사용처
- 사내 앱
- 어시스턴트·에이전트
- 배치 작업
게이트웨이
- API 게이트웨이
- 인증
- 쿼터·라우팅
서빙
- 모델 서버
- 오토스케일링
- 모델 레지스트리
Kubernetes
- GPU 노드 풀
- 스케줄링
- 스토리지
하드웨어
- 클라우드 GPU
- 온프레미스 GPU 서버
운영
- 지표·로그
- 비용 리포트
- 평가 게이트
- 인프라 코드(IaC)
프로젝트는 보통 이렇게 진행됩니다
- 기술 진단2주
모델, 트래픽, 제약 조건을 분석해 GPU 규모를 산정하고, 비용을 포함한 플랫폼 설계안을 제시합니다.
- PoC·파일럿6–8주
첫 모델들을 위한 서빙 플랫폼을 운영 환경에 구축하고, 모니터링과 운영 매뉴얼을 갖춥니다.
- 전담 FDE 포드월 단위
더 많은 모델과 팀을 온보딩하고, 비용 최적화와 업그레이드를 진행합니다.
설계에 반영하는 제약 조건
- 폐쇄망 클러스터
- 컨테이너 이미지, 드라이버, 모델 가중치를 내부 레지스트리에서 오프라인으로 설치합니다.
- GPU 수급과 예산
- 확보 가능한 하드웨어로 동작하도록 설계하고, 품질이 허용하는 범위에서 양자화를 적용합니다.
- 공유 인프라
- 격리와 쿼터를 적용해 한 팀이 자원을 독점하지 않도록 합니다.
- 기존 플랫폼 표준
- 고객사가 사용 중인 Kubernetes 배포판, CI/CD, 모니터링 위에 구축합니다.
주요 기술 스택
- Kubernetes
- NVIDIA GPU Operator
- vLLM
- Triton Inference Server
- KServe
- Prometheus
- Grafana
- Terraform
- Argo CD
고객사가 이미 운영 중인 도구가 적합하다면 그대로 활용합니다. 표기된 이름은 참고용입니다.