카드

개념 단위로 쪼갠 학습 카드입니다. 카드는 여러 학습 경로에서 재사용됩니다.

• Arithmetic Intensity — FLOPs per byte — 계산 시간과 메모리 시간을 비교하는 하나의 비율.
• FLOPs와 Bytes 계산하기 — 성능 분석을 위해 연산량은 FLOPs로, 데이터 이동량은 bytes로 세는 법을 정리한다.
• GPU/TPU의 두 병목 — 딥러닝 연산은 연산 유닛의 처리량과 HBM의 메모리 대역폭 사이에서 병목이 결정된다.
• Roofline 분석 — 산술 강도와 하드웨어 한계로 달성 가능한 FLOP/s의 상한을 그리는 모델.
• T_compute와 T_memory — 계산 시간과 메모리 이동 시간을 나누어 연산의 실행 시간 하한을 모델링한다.
• Transformer 표기법 — B, T, D, F, N, K, H … Transformer 수학에 쓰는 한 글자 기호들의 의미.
• 블록 행렬 연산 — 큰 행렬곱을 작은 타일로 나누어 같은 입력 원소를 여러 출력 원소 계산에 재사용한다.
• 행렬 곱셈 — 행과 열의 내적으로 새 행렬을 만들고, 연산량과 메모리 이동량을 차원으로 계산한다.