cedis 님의 블로그

  • 홈
  • 태그
  • 방명록

2026/06/05 1

mini GPT 과제 2편 - GPTDataset과 InputEmbedding 구현 리뷰

mini GPT 과제 랩 구현 시리즈 2편GPTDataset과 InputEmbedding 구현 리뷰BPE가 token ID 목록을 만들었다면, `GPTDataset`은 이 목록을 학습 가능한 input/target 쌍으로 잘라낸다. `InputEmbedding`은 그 ID를 Transformer가 계산할 수 있는 벡터로 바꾼다.이번 단계는 코드 양은 많지 않지만, 뒤의 attention과 model shape를 결정한다. 여기서 shape를 잘못 잡으면 나중에 attention에서 에러가 늦게 터진다.테스트 통과 근거tests/test_dataset.py- GPTDataset 길이 계산- __getitem__ input/target shape- DataLoader batch shape- InputEmbe..

카테고리 없음 00:24:34
이전
1
다음
더보기
프로필사진

cedis 님의 블로그

cedis 님의 블로그 입니다.

  • 분류 전체보기 (251) N
    • 크래프톤 정글 (125)
      • 에세이 (1)
      • TIl _ WILL (10)
      • 정글에서 문제풀기 (114)
    • 개발 (54)
      • 공부 기록 (16)
      • REDIS (12)
      • 프로젝트 (26)
    • 활동 (0)
      • 공모전, 대외 활동 (0)
    • 일상 (0)
    • 학습 자료 글 (47)
      • 파이썬 시작하기 (13)
      • 컴퓨터시스템 (19)
      • 딥러닝과 llm (15)

Tag

sk_buff, 크래프톤정글, KAIST Pintos, UnixIO, filedescriptor, 크래프톤정글 #파이썬기초문법 #W3Schools #Python, w3schools, csapp, 크래프톤 정글 # 베이직 1 # 리스트 # 딕셔너리 # Python, 운영체제, ProxyLab, TinyWebServer, File System, # 크래프톤 정글 # 베이직 1 # 배열 # Python, 정글, Pintos Project 4, OS, pintos, Python, Pintos Project 3,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/06   »
일 월 화 수 목 금 토
1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp. All rights reserved.

티스토리툴바