10장 AI 엔지니어링 아키텍처와 사용자 피드백

_10.1 AI 엔지니어링 아키텍처
10.1.1 1단계: 컨텍스트 보강
10.1.2 2단계: 가드레일 도입하기
10.1.3 3단계: 모델 라우터와 게이트웨이 추가
10.1.4 4단계: 캐시로 지연 시간 줄이기
10.1.5 5단계: 에이전트 패턴 추가
10.1.6 모니터링과 관찰 가능성
__10.1.7 AI 파이프라인 오케스트레이션

1단계 컨텍스트 보강

• RAG, Skill 등 사용자 질의에 필요한 정보를 프롬프트에 넣어준다.

2단계: 가드레일 도입하기

• 입력 가드레일
  • 2.1 프롬프트 인젝션 방어 : 입력 필터링 정규식, 샌드위치 구조 프롬프트
  • 2.2 PII 처리 - 역방향 사전 : PII데이터를 마스킹 후 LLM Call 이후 다시 되돌린다.
• 출력 가드레일
  • 2.3 품질 게이트웨이 : 유효하지 않은 JSON 형식, 저품질의 응답, 미완성된 응답
  • 2.4 보안 : 인종차별, PII정보, 자사/경쟁사 잘못된 정보
• False refusal rate : 너무 많은 응답이 거부되면 안된다. 이를 측정하기 위한 지표
• 한계점 : llm 출력은 스트림으로 전달되면 출력 중 가드레일이 발생되어 끊길 수 있다.
• 가드레일 솔루션은 이미 제공중인 서드파티가 많다.

3단계: 모델 라우터와 게이트웨이 추가

_10.2 사용자 피드백
10.2.1 대화형 피드백 추출
10.2.2 피드백 설계
__10.2.3 피드백의 한계

_10.3 마치며