Description

Amazon SageMaker를 통해 데이터 과학자는 기계 학습(ML) 모델을 준비하고 구축 및 훈련, 배포, 모니터링할 수 있습니다. SageMaker는 분산 훈련 라이브러리, 오픈 소스 모델, 파운데이션 모델(FM)에 대한 액세스 등 광범위한 여러 기능을 제공합니다. 이 과정에서는 숙련된 데이터 과학자에게 언어 모델 구축의 과제와 대규모 텍스트 말뭉치를 처리하기 위한 다양한 스토리지, 수집, 훈련 옵션을 알려 줍니다. 또한 이 과정에서는 Amazon SageMaker JumpStart를 사용하여 대규모 모델을 배포하고 생성형 인공 지능(생성형 AI) 태스크용 파운데이션 모델을 사용자 지정하는 데 수반되는 과제에 대해 논의합니다.

• 과정 수준: 고급
• 소요 시간: 5.5시간

참고: 이 과정의 동영상에는 한국어 트랜스크립트 또는 자막이 지원되며 음성은 영어로 출력됩니다. 자막을 표시하려면 동영상 화면 우측 하단의 CC 버튼을 클릭하세요.

참고: 이 과정은 Google Chrome(최신 주요 버전 2개), Microsoft Edge(최신 주요 버전 2개), Safari(최신 주요 버전 2개)에 최적화되어 있습니다.

활동

본 과정에는 텍스트 지침, 예시 그래픽, 지식 확인 문항, 사용자의 Amazon Web Services(AWS) 계정에서 실행할 수 있는 실습 동영상 데모가 포함되어 있습니다.

과정 목표

이 과정을 마친 후 데이터 과학자로서 구축, 훈련, 미세 조정 작업에 자신감 획득 SageMaker를 사용하여 AWS에서 성능에 맞는 언어 모델 사용.

이 과정에서 학습할 내용은 다음과 같습니다.

• 모범 사례를 적용하여 대량의 텍스트 데이터를 저장 및 수집하여 분산 훈련 지원
• 데이터 병렬 처리와 모델 병렬 처리 라이브러리를 살펴보고 SageMaker에서 분산 훈련 지원
• SageMaker에서 사용할 수 있는 옵션을 살펴보고 Amazon SageMaker Training Compiler 및 Elastic Fabric Adapter(EFA) 등의 훈련 성능 향상
• 대규모 언어 모델(LLM) 최적화 기술을 살펴보고 효과적으로 모델 배포
• SageMaker JumpStart에서 사용할 수 있는 파운데이션 모델을 미세 조정하는 방법에 관한 데모

수강 대상

이 과정의 수강 대상은 다음과 같습니다.

• 데이터 과학자
• 기계 학습 엔지니어

수강 전 권장 사항

이 과정을 수강하는 참석자에게 필요한 권장 소양은 다음과 같습니다.

• 자연어 처리(NLP) 부문에서 1년 이상의 경력
• 훈련 및 튜닝 언어 모델에서 1년 이상의 경력
• Python 언어 프로그래밍에서 중간 수준의 숙련도
• AWS Technical Essentials
• Amazon SageMaker Studio for Data Scientists

과정 개요

과정 시리즈 소개

섹션 1: 소개

• Building Language Models on AWS 소개

섹션 2: 대규모 언어 모델 기본 사항

• 대규모 언어 모델 유형
• 일반적인 생성형 AI 사용 사례

섹션 3: 과정 시리즈 개요

• 향후 모듈에서 다루는 주제

언어 모델 구축의 과제 해결

섹션 1: 일반적인 과제

• LLM 실무자의 일반적인 과제

섹션 2: 여러 기계 학습 솔루션

• 분산 훈련으로 LLM 크기 조정
• 데이터 병렬 처리 기술 적용
• 모델 병렬 처리 기술 적용

섹션 3: 성능 최적화 솔루션

• 성능 최적화 기술
• 특별히 설계된 인프라 사용

섹션 4: 마무리

• 모듈 평가

언어 모델 훈련 시 Amazon SageMaker 활용

섹션 1: SageMaker Studio 구성

• SageMaker 기본 사항
• SageMaker Studio 도메인 설정

섹션 2: SageMaker 인프라

• 컴퓨팅 인스턴스 유형 선택

섹션 3: SageMaker Python SDK로 작업

• SageMaker Python SDK 기본 사항
• SageMaker Python SDK로 언어 모델 훈련 및 배포

섹션 4: 마무리

• 모듈 평가

데모 - Amazon SageMaker Studio 설정

언어 모델 데이터 수집

섹션 1: 데이터 준비

• 데이터 관리 개요
• 수집을 위한 데이터 준비

섹션 2: 데이터 수집 옵션 분석

• SageMaker Python SDK로 데이터 로드
• Amazon S3에서 데이터 수집
• FSx for Lustre로 데이터 수집
• 그 외 데이터 수집 옵션
• 데이터 수집 및 스토리지 관련 고려 사항

섹션 3: 마무리

• 모듈 평가

대규모 언어 모델 훈련

섹션 1: SageMaker Training 작업 생성

• SageMaker Training 작업 시작
• 스크립트 모드용 스크립트 수정

섹션 2: SageMaker Training 작업 최적화

• 모니터링 및 문제 해결
• 컴퓨팅 성능 최적화
• 대규모 언어 모델 훈련에 적합한 SageMaker Training 기능

섹션 3: SageMaker에서 분산 훈련 사용

• SageMaker 분산 훈련 지원
• SageMaker 분산 데이터 병렬 처리 라이브러리 사용
• SageMaker 모델 병렬 처리 라이브러리 사용
• SageMaker 모델 병렬 처리 라이브러리와 샤딩 데이터 병렬 처리 사용
• EFA 사용 관련 훈련

섹션 4: 훈련 코드 컴파일링

• SageMaker Training Compiler 사용

섹션 5: 마무리

• 모듈 평가

데모 - Amazon SageMaker로 첫 언어 모델 훈련

데모 - SageMaker Training에서 PyTorch Lightning으로 데이터 병렬 처리

데모 - Amazon SageMaker 모델 병렬 처리 라이브러리에서 샤딩 데이터 병렬 처리 기술을 사용하여 선형에 가까운 크기 조정으로 GPT-2 미세 조정

언어 모델 배포

섹션1: SageMaker에서 모델 배포

• SageMaker 배포 소개
• SageMaker 배포 옵션 선택

섹션 2: 추론용 모델 배포

• 실시간 추론 개요
• 모델 배포 시 SageMaker Python SDK 사용
• SageMaker Inference Recommender 사용

섹션 3: 추론용 대규모 언어 모델 배포

• 최적화 기법
• 모델 압축 기술
• 모델 파티셔닝
• 커널 및 컴파일 최적화
• SageMaker LMI 컨테이너 배포

섹션 4: 추가 고려 사항

• SageMaker에서 모델 배포 시 기타 고려 사항

섹션 5: 마무리

• 모듈 평가

데모 - DeepSpeed 컨테이너를 사용해 Amazon SageMaker에서 대규모 언어 모델 호스팅 소개

생성형 AI 태스크용 파운데이션 언어 모델 사용자 지정

섹션 1: 소개

• 파운데이션 모델 소개

섹션 2: SageMaker JumpStart 사용

• SageMaker JumpStart 시작하기
• SageMaker Python SDK를 사용하여 SageMaker JumpStart 모델 배포
• FM 선택

섹션 3: FM 사용자 지정

• 프롬프트 엔지니어링
• SageMaker Python SDK를 사용하여 JumpStart 모델 미세 조정

섹션 4: Retrieval Augmented Generation(RAG)

• Retrieval Augmented Generation(RAG) 사용

섹션 5: 마무리

• 모듈 평가

데모 - Amazon SageMaker JumpStart를 사용하여 텍스트 생성 태스크용 FLAN-T5 모델 배포

실천 사항 및 추가 리소스

섹션 1: 복습

• 본 과정 시리즈에서 다룬 주제

섹션 2: 마무리

• 리소스와 요약, 다음 단계