| 안내사항 |
After The Transformer: 트랜스포머 기반 최신 AI 모델 분석 및 제작 과정
주최
주관
교육기간
- 2024.4.3(수) ~ 4.5(금) 10:00~17:00
교육 개요
- 교육기간: 2024.4.3(수) ~ 4.5(금), 3일간
- 교육시간: 10:00~17:00, 1일 6시간
- 교육장소: 판교 메타버스 허브 2층 메타버스 캠퍼스 (메타버스 캠퍼스↔판교역 셔틀버스 운행)
(경기 성남시 수정구 대왕판교로 815 판교 제2테크노밸리 기업지원허브)
- 모집일정: 2024.3.14(목)~3.28(목) 오후 5시까지
- 선발심사: 서류전형 - 지원동기 및 직무 연관성 등을 통한 심사
- 교육방식: 오프라인 무료 실습교육
- 합격자발표: 2024.3.29(금) 합격자 개별통보 / 유선 및 문자 발송
(교육기간 및 모집일정은 운영 사정에 따라 변동될 수 있습니다.)
교육 안내
수강 대상
- GPT, BERT, ViT 와 같은 고급 트랜스포머 모델에 대해 깊게 이해하고 싶은 분
- 다양한 분야에서 트랜스포머 구조의 실제 구현 및 응용에 관심 있는 분
- 최신 AI 모델을 from scratch로 훈련, 테스트하고 싶은 현직자
교육과정 소개
- 1일차 - 트랜스포머 이론 및 실습
- 2일차 - GPT-1, 2, 3, BERT 이론 및 실습
- 3일차 - ViT, Swin Transformer, ConvNeXt 이론 및 실습
필요기반 지식
- 딥러닝 기초 이론과 MLP, CNN, RNN에 대한 깊은 이해
- 파이토치 기반 모델 구현 및 훈련, 테스트 코드 작성 경험
- ResNet, EfficientNet, Transformer 등 핵심 모델에 대한 지식
교육 내용
일자: Day 1 (4.3)
-
트랜스포머 이론 및 실습
- RNN의 동작 방식 및 학습 방식
- RNN의 구조적 한계의 직관적 이해
- seq2seq의 개념 및 동작 방식
- seq2seq의 문제점과 attention 개념
- 트랜스포머의 self-attention 개념
- Query, Key, Value 직관적으로 이해하기
- Multi-head attention
- 트랜스포머의 인코더와 디코더
- Perplexity, BLEU score
- 트랜스포머 모델 구현
- 번역기 학습 from scratch
- translation 함수 구현
- 내가 만든 번역기 써보기
일자: Day 2 (4.4)
-
GPT-1, 2, 3, BERT 이론 및 실습
- GPT-1
- Next Token Prediction
- GPT의 단어 생성 원리
- GPT-1의 Pre-training 과 Fine-tuning
- SNLI, Stroy Cloze, QQP 등 12개의 데이터셋 예시와 함께 총정리
- 성능 평가 및 Ablation Study
- BERT
- Masked Token Prediction
- Next Sentence Prediction
- Segment Embedding
- BERTO Pre-training Fine-tuning
- ROUGE-L score
- BERT가 SquAD 문제를 푸는 방법
- 성능 평가 (GLUE, SQUAD, SWAG)
- 4개의 Ablation Study
- BERT 코드 구현
- GPT-2
- GPT-1 과의 차이점
- Zero-shot 방법론
- 구조의 변화
- Partial Scoring과 Full Scoring
- CoQA 등 새롭게 등장하는 7개의 데이터셋 총정리
- 성능 평가 및 분석 (CBT, LAMBADA, WSC 등)
- Data Contamination 이슈
- 코드 구현
- GPT-3
- GPT-2 와의 차이점
- Few-shot 방법론
- Locally Banded Attention
- Pre-training을 위한 데이터셋 정리
- 새롭게 등장한 21개의 데이터셋 예시와 함께 완벽 정리
- 위의 데이터셋들에 대한 성능 평가
- 이게 되네? (1) - Learning Novel Words
- 이게 되네? (2) - 영어 문법 교정
- Memorization 이슈와 contamination analysis
일자: Day 3 (4.5)
-
ViT, Swin Transformer, ConvNeXt 이론 및 실습
- ViT
- Patch Embedding Vector
- CNN과의 비교: CNN의 inductive bias
- ViT 구조와 동작 방식
- ViT 수식 분석
- JFT, Oxford-IIIT Pets 등 7개 이미지 데이터셋 총정리
- BIT Noisy Student
- 성능 비교 결과 분석 1,2,3,4
- 흥미로운 실험 1,2,3,4
- ViT 코드 구현
- Swin Transformer
- Patch Merging
- Shifted Windows
- 연산량 분석
- SW-MSA 완벽 이해
- Cyclic Shift 분석
- Reverse Cyclic Shift
- Relative Position Bias
- 전체 구조 분석
- 성능 비교
- Ablation Study
- Swin Transformer 코드 구현
- ConvNeXt
- Stage Ratio 변화 "Patchify" stem
- ResNeXt-ify
- Inverted Bottleneck
- Large kernel
- Micro Design (Separated Downsampling 등)
- ResNet 과 구조 비교
- 새로운 augmentation 기법들 총정리 (randaugment, mixup, cutmix, random erasing)
- Beta distribution?
- Layer-wise LR decay 등 현대적인 기법들 설명
- 성능 비교
- 코드 구현
문의처
- 한국메타버스산업협회 인력양성팀 양성모
- Email: smyang53@k-meta.or.kr
- Tel: 070-8765-8307
유의사항
- 본 과정은 과학기술정보통신부가 주최하고 한국메타버스산업협회가 주관하는 교육입니다.
- 최종 합격자 발표 이후 교육과정 무단 불참 및 중도 포기 시, 향후 교육 참여가 제한될 수 있습니다.
- 교육 기간 내 정상적으로 출석을 완료하는 교육생에 한하여 교육 수료증이 발급 가능합니다.
- 과정 진행 시, 참가자의 모습이 촬영될 수 있으며 촬영된 사진 또는 동영상은 공익적 목적의 홍보 콘텐츠로 활용될 수 있습니다.
- 모든 과정은 저작권 보호법에 의하여 허가되지 않은 녹취/녹음/녹화는 금지되며, 이를 위반할 경우 법적 제재를 받을 수 있습니다.
- 프로그램 내용(일정, 진행방법, 장소 등)은 교육 및 현장 이슈에 따라 변경될 수 있습니다.
|