AI 시스템은 새로운 공격 경로를 만들고, 보안 조직은 그 시스템을 승인해야 합니다.
LLM 애플리케이션은 신뢰할 수 없는 텍스트를 읽고, 도구를 호출하고, 민감한 데이터에 접근합니다. 그 결과 기존 보안 검토로는 잘 다루지 못하는 위험이 생깁니다. 프롬프트 인젝션, 답변을 통한 데이터 유출, 과도한 권한을 가진 에이전트, 모델 공급망 위험입니다. 보안 조직은 점검 기준조차 없는 시스템을 승인해 달라는 요청을 받습니다.
디플로이웍스는 AI 시스템의 위협을 모델링하고, 공격자의 방식으로 테스트하며, 보안 통제를 설계에 반영합니다. 보안 검토가 근거를 바탕으로 진행될 수 있도록 합니다.
이런 고민이 있으신가요?
- 보안 검토 때문에 AI 서비스 출시가 막혀 있습니다.
- AI 어시스턴트나 에이전트가 외부에서 들어온 이메일, 문서, 웹 페이지를 읽습니다.
- 에이전트가 사내 도구나 API를 호출할 수 있습니다.
- 감사인이나 고객에게 AI 보안 통제를 제시해야 합니다.
제공 범위
01
위협 모델
AI 시스템의 데이터 흐름, 신뢰 경계, 악용 시나리오를 정리하고, 각각을 구체적인 보안 통제에 연결합니다.
02
레드팀 테스트
프롬프트 인젝션, 데이터 탈취, 탈옥(jailbreak), 도구 오용을 테스트하고, 재현 가능한 케이스로 남깁니다.
03
가드레일·최소 권한
입출력 필터링, 범위를 제한한 도구 권한, 위험한 작업에 대한 승인 단계를 적용합니다.
04
안전한 배포
시크릿 관리, 네트워크 정책, 모델·의존성 출처 검증, 감사 로그 기록을 적용합니다.
05
보안 테스트 스위트
공격 케이스를 CI에서 실행해, 한 번 수정한 취약점이 다시 발생하지 않는지 계속 확인합니다.
06
보안 검토 자료
보안 조직과 감사인이 검토하고 보관할 수 있는 문서를 제공합니다.
참조 아키텍처
고정된 제품이 아닌 참조 설계입니다. 기술 진단 단계에서 고객사 시스템과 제약 조건에 맞게 조정합니다.
입력 경계
- 인증
- 입력 필터링
- 비신뢰 콘텐츠 표시
모델·오케스트레이션
- 프롬프트 정책
- 모델 게이트웨이
- 요청 수 제한
도구·데이터
- 범위 제한 도구 권한
- 담당자 승인
- 권한 기반 검색
출력 경계
- 출력 필터링
- 민감 정보 점검
- 출처 표시
검증 체계
- 위협 모델
- CI 기반 레드팀 테스트
- 감사 로그
- 사고 대응 매뉴얼
프로젝트는 보통 이렇게 진행됩니다
- 보안 진단2주
AI 시스템 하나를 대상으로 위협 모델링과 레드팀 테스트를 수행하고, 발견 사항을 위험도 순으로 정리합니다.
- 보안 조치4–8주
보안 통제를 시스템에 반영하고, 보안 테스트 스위트가 CI에서 실행되도록 구성합니다.
- 정기 점검월 단위
새로운 AI 기능을 검토하고, 정기적으로 재테스트합니다.
설계에 반영하는 제약 조건
- 규제 대상 데이터
- 개인정보 보호법(PIPA), DPDP, 업종별 규정이 적용되는 환경에 맞춰 통제를 설계하고, 발견 사항은 컴플라이언스 조직이 활용할 수 있게 작성합니다.
- 망분리 환경
- 테스트와 도구가 분리된 망 안에서 동작하도록 구성합니다.
- 외부 모델·컴포넌트
- 모델 가중치, 패키지, 컨테이너의 출처를 검증합니다.
- 기존 보안 프로세스
- 발견 사항과 조치 내역은 고객사의 취약점 관리 및 변경 관리 절차를 따릅니다.
주요 기술 스택
- OWASP Top 10 for LLM Applications
- MITRE ATLAS
- garak
- PyRIT
- Open Policy Agent
- Sigstore
- Trivy
- CycloneDX SBOM
고객사가 이미 운영 중인 도구가 적합하다면 그대로 활용합니다. 표기된 이름은 참고용입니다.