Google Cloud Model Armor 정리

Google Cloud에 Model Armor라는 서비스가 나왔습니다.

최근 SK사태 (물론 AI관련 보안이슈는 아니였지만..)를 통해 보안에 대한 경각심이 일깨워지는 요즘... 재밌는 서비스가 있어서 정리해 봅니다.

출처 : https://cloud.google.com/security-command-center/docs/model-armor-overview?hl=ko

Model Armor?

Google Cloud의 Model Armor는 생성형 AI 애플리케이션의 보안과 안전성을 강화하기 위한 완전 관리형 서비스입니다. 이 서비스는 대규모 언어 모델(LLM)의 프롬프트와 응답을 분석하여 다양한 보안 및 안전 위험 요소를 탐지하고 차단합니다

Model Armor의 주요 기능

1. 모델 및 클라우드 독립성
2. Model Armor는 특정 AI 모델이나 클라우드 플랫폼에 종속되지 않으며, 멀티 클라우드 및 멀티 모델 환경을 지원합니다.
3. 중앙 집중식 정책 관리
4. 보안 및 안전 정책을 중앙에서 관리하고 적용할 수 있어, 조직 전반에 걸친 일관된 정책 집행이 가능합니다.
5. 공개 REST API 제공
6. 공개 REST API를 통해 애플리케이션에 프롬프트 및 응답 검사를 직접 통합할 수 있습니다.
7. 역할 기반 액세스 제어(RBAC)
8. 역할에 따라 적절한 수준의 제어 및 가시성을 제공하여 액세스를 관리합니다.
9. 지역별 엔드포인트 지원
10. 미국과 유럽의 다양한 지역에서 낮은 지연 시간의 API 엔드포인트를 제공합니다.
11. Security Command Center 통합
12. Security Command Center와 통합되어 위반 사항을 대시보드에서 확인하고, 원천에서 이를 수정할 수 있습니다.

아키텍처 요약

Model Armor는 애플리케이션과 LLM 사이에 위치하여, 사용자 프롬프트와 모델 응답을 검사합니다. 검사된 프롬프트와 응답은 필터링되어 사용자에게 전달되며, 이 과정에서 발생한 필터링 결과는 상세하게 기록됩니다.

Model Armor의 주요 개념

1. 템플릿 기반 정책 구성

Model Armor는 템플릿을 사용하여 프롬프트와 응답을 어떻게 검사할지 정의합니다. 이 템플릿은 다양한 필터와 임계값을 설정하여, 어떤 콘텐츠를 플래그할지 결정합니다.

• 임계값 수준: HIGH, MEDIUM, LOW 등의 수준을 설정하여, 필터링 민감도를 조정할 수 있습니다.

2. 다양한 필터 제공

Model Armor는 다음과 같은 필터를 제공합니다:

• 책임 있는 AI 안전 필터: 혐오 발언, 괴롭힘, 성적으로 노골적인 콘텐츠, 위험한 콘텐츠 등을 탐지합니다.
• 프롬프트 인젝션 및 탈옥 탐지: 프롬프트 인젝션과 탈옥 공격을 탐지하고 방지합니다.
• 민감한 데이터 보호: Google Cloud의 민감한 데이터 보호 기능을 활용하여, 소스 코드나 개인 식별 정보(PII)와 같은 민감한 데이터를 보호합니다.
• 악성 URL 탐지: 프롬프트 및 응답 내의 악성 URL을 식별하여 보안을 강화합니다.
• PDF 콘텐츠 검사 지원: PDF 문서 내의 텍스트를 검사하여 악성 콘텐츠를 탐지합니다.

Model aomor 이점

• AI 안전성과 보안성 향상: 프롬프트 인젝션, 탈옥 시도, 유해 콘텐츠 생성, 악성 URL, 민감한 데이터 유출 등의 위험을 완화하여, LLM을 제품 및 서비스에 안전하게 통합할 수 있습니다.
• 중앙 집중식 가시성과 제어: 조직 내 모든 LLM 애플리케이션에 대한 보안 및 안전 정책을 중앙에서 관리하고 모니터링할 수 있습니다.
• 유연한 배포 옵션: 멀티 클라우드, 멀티 모델, 멀티 LLM 시나리오를 지원하며, 기존 인프라 및 워크플로우에 통합할 수 있습니다.
• 정책 맞춤화 및 통합: 특정 애플리케이션 사용 사례에 맞게 정책을 맞춤화하고, 기존 운영 워크플로우에 통합할 수 있습니다.

AI 서비스의 특성상 사용자의 자유도가 너무나 높은 경우가 많기 때문에 AI서비스 및 ML앱을 운영중인데 사용자 자유도가 높은 서비스를 운영하고 있다면 충분히 고려해 볼만한 서비스 인 것 같다는 생각이 듭니다