White Cotton

ML 파이프라인

고급

SageMaker + S3 + Lambda + API Gateway로 머신러닝 모델을 학습·배포·서빙하는 패턴

sagemakersagemakers3s3lambdalambdaapi-gatewayapi-gatewaybedrockbedrock

아키텍처 다이어그램

개요

데이터 준비부터 모델 학습, 배포, API 서빙까지 전체 ML 라이프사이클을 구축하는 패턴입니다. SageMaker로 커스텀 모델을 학습하거나, Bedrock으로 기성 생성형 AI를 바로 활용할 수 있어요.

구성

  1. S3 — 학습 데이터셋 및 모델 아티팩트 저장
  2. SageMaker — 모델 학습, 하이퍼파라미터 튜닝, 엔드포인트 배포
  3. Lambda — 추론 요청 처리 및 전/후처리 로직
  4. API Gateway — 외부에서 모델 추론을 호출하는 REST API
  5. Bedrock — 사전 훈련된 생성형 AI 모델 (Claude, Titan 등) 활용

장점

  • SageMaker 내장 알고리즘으로 빠른 프로토타이핑
  • Bedrock으로 학습 없이 생성형 AI 바로 사용 가능
  • 모델 버전 관리 및 A/B 테스트 지원
  • GPU 인스턴스를 학습 시에만 사용하여 비용 절감

주의사항

  • SageMaker 엔드포인트 상시 가동 시 비용이 높음 (서버리스 추론 검토)
  • 모델 학습에 대용량 GPU 인스턴스 비용 발생
  • 데이터 전처리 파이프라인 설계가 모델 성능에 큰 영향
  • Bedrock은 리전 제한이 있으므로 가용 리전 확인 필요