[논문 리뷰] Building Guardrails for Large Language Models

AI 챗봇의 유해 발언을 막는 '가드레일' 기술은 단순한 필터가 아닌, 복잡한 신경-상징적 시스템으로 진화하고 있지만, 안전성과 창의성 사이의 긴장관계라는 근본적 딜레마에 직면해 있습니다.

 

 

 

 

대규모 언어 모델(Large Language Models, LLMs)을 위한 가드레일(Guardrails) 구축

가드레일은 대규모 언어 모델의 입력이나 출력을 필터링하여 모델의 안전성을 보장하는 핵심 기술입니다. 논문에서는 가드레일을 "일련의 객체(LLM의 입력/출력)를 입력으로 받아 객체에 내재된 위험을 줄이기 위한 강제 조치를 결정하는 알고리즘"으로 정의합니다. 예를 들어, 아동 착취와 관련된 입력이 들어오면 가드레일은 이 입력의 처리를 차단하거나 출력을 무해하게 조정할 수 있습니다.

LLM이 일상생활에 더 많이 통합됨에 따라, 윤리적 사용, 데이터 편향, 개인정보 보호, 견고성(robustness) 등의 위험을 식별하고 완화하는 것이 중요해졌으며, 가드레일은 이러한 문제를 해결하는 핵심 안전장치 기술로 부상했습니다.

 

해당 논문은 아래 이미지를 클릭하면 다운로드 받을 수 있습니다.

논문

 

 

 

 

기존의 가드레일 구현 솔루션

논문은 세 가지 주요 오픈소스 가드레일 솔루션을 분석합니다.

라마 가드(Llama Guard)

Meta에서 개발한 Llama2-7b 아키텍처 기반의 가드레일입니다.

Llama Guard Guardrail Workflow @논문

 

- 작동 방식: 피해 모델의 입력과 출력을 입력으로 받아 사용자 지정 카테고리에 대한 분류 예측

- 한계: Type 1 신경-상징적 시스템(neural-symbolic system)으로, LLM의 카테고리 이해와 모델의 예측 정확도에 의존하여 보장된 신뢰성이 부족

 

엔비디아 네모(Nvidia NeMo)

LLM의 제어와 안전성을 강화하는 다기능 툴킷입니다.

Nvidia NeMo Guardrailds Workflow @논문

 

- 작동 방식: 사용자 의도 생성, 다음 단계 생성, 봇 메시지 생성 등 다양한 단계에서 LLM 활용

- 기술적 특징: 유사성 함수, 임베딩, K-최근접 이웃(KNN) 방법, Colang 프로그래밍 언어 사용

- 한계: Type-1 신경-상징적 시스템으로, KNN 방법의 성능에 크게 의존

 

가드레일AI(Guardrails AI)

LLM 출력에 구조, 유형 및 품질 보증을 추가할 수 있게 해주는 솔루션입니다.

Guardrails AI Workflow @논문

 

- 작동 방식: "RAIL" 스펙 정의, "guard" 초기화, LLM 래핑의 3단계로 작동

- 한계: 텍스트 수준 검사에만 적용 가능(멀티모달 불가)

- 차별점: Type-2 신경-상징적 시스템으로, 백본 상징적 알고리즘을 학습 알고리즘이 지원

 

이 세 솔루션은 모두 기본 인프라(규칙 설명 언어, 예제 워크플로우)만 제공할 뿐, 그것들이 만족스러운 가드레일을 구현하는 데 어떻게 활용될 수 있는지에 대한 포괄적인 연구가 부족합니다. 인프라의 역량(구성 중복성, 대화 능력 제한), 일반화(예상치 못한 시나리오 처리), 표현력(상징적 및 학습 구성 요소의 적절한 상호작용 가능)에 관한 자세한 문제를 이해하기 위한 연구가 필요합니다.

 

 

 

 

개별 요구사항 구현의 기술적 도전과제

논문은 네 가지 요구사항 범주를 고려하고, 각 범주별로 기술을 취약점 탐지, LLM 향상 보호, I/O 엔지니어링 보호로 분류합니다.

Literature on detecting and mitigating individual risks @논문

 

의도하지 않은 응답 방지(Free from Unintended Response)

- 문제: "jailbreaking"이라고 불리는 방법으로 LLM이 유해한 콘텐츠를 생성할 수 있음

- 제안 해결책: 독성(toxicity) 및 기타 기준에 대한 메트릭 개발, 통계적 또는 결정론적 견고성 한계(robustness bounds)를 성능 측정 점수로 사용

 

공정성(Fairness)

- 문제: 성별, 문화적, 데이터셋, 사회적 편향(bias)이 LLM에 내재됨

- 제안 해결책: 다양한 전략을 결합한 포괄적 접근법(훈련 데이터 모니터링/필터링, 알고리즘 조정, 편향 감지 도구 통합, 지속적 학습 접근법)

 

개인정보 보호 및 저작권(Privacy and Copyright)

- 문제: 개인 식별 정보(PII) 유출 및 저작권 침해 가능성

- 제안 해결책: 워터마킹 기술 활용, 데이터 소유자와 LLM 개발자 간 합의된 워터마킹 메커니즘, 자동 확인 및 모델 언러닝(model unlearning) 기능 구현

 

환각(Hallucination)과 불확실성(Uncertainty)

- 문제: LLM이 실제 세계 사실과 다른 내용을 생성하는 경향

- 제안 해결책: 의미적 엔트로피(semantic entropy) 개념 활용, 불확실성 측정(conformal predictions) 통합

 

 

가드레일 설계의 도전과제

가드레일 설계를 할 때, 어려운 점들에 대해 논문에서는 다음과 같이 이야기하고 있습니다.

 

상충하는 요구사항(Conflicting Requirements)

- 문제: 안전성과 지능성(창의성) 사이의 긴장 관계, 가드레일 적용이 탐색적 깊이와 직관적 응답 능력을 제한할 수 있음

- 제안 해결책: 창의성 평가 메커니즘(Consensual Assessment Technique) 통합, 중요 요구사항 식별 및 맥락별 조정

 

다학제적 접근법(Multidisciplinary Approach)

- 문제: 도메인별 시나리오에서 특수 규칙과 일반 원칙의 충돌, 공정성/독성과 같은 요구사항의 정확한 정의 어려움

- 제안 해결책: 공정성, 책임성, 투명성 원칙 준수, 커뮤니티 표준 수립, 사회-기술적 이론(socio-technical theory)과 전체 시스템 접근 방식(whole system approach) 적용

 

신경-상징적 구현 접근법(Neural-Symbolic Approach)

- 문제: 기존 프레임워크의 규칙과 가이드라인 충돌 처리 메커니즘 부족

- 제안 해결책: 논리와 결정 이론 기반 원칙적 접근법, 상징적 방법과 학습 기반 방법의 협력, Type-6 신경-상징적 시스템 고려

 

시스템 개발 수명 주기(Systems Development Life Cycle, SDLC)

- 문제: 가드레일 개발의 체계적 프로세스 부족

- 제안 해결책: 개별 요구사항에 대한 통계적 보증 인증, 파레토 프론트(Pareto front) 기반 다중 요구사항 평가 방법, 안전 논증(safety argument) 활용

 

 

이 논문은 기존 솔루션 이상의 체계적인 가드레일 구축 접근법을 제안합니다. 현재 솔루션들이 제공하는 단순한 규칙 설명과 학습-상징적 구성 요소 연결 메커니즘을 넘어, LLM과 인간 간의 상호작용을 관리하는 가드레일의 복잡성을 고려한 다학제 팀 기반의 체계적 접근이 필요함을 강조합니다. 이러한 접근법은 복잡성을 완전히 고려하고 관리하여 최종 제품에 대한 보증을 제공할 수 있습니다.