Softmax

Softmax는 실수 벡터를 합이 1인 확률 분포로 바꿉니다. 분류 로짓과 attention weight에 쓰입니다.

수치 안정성을 위해 보통 max를 뺀 뒤 exp합니다: softmax(z)_i = exp(z_i - max) / Σ exp(z_j - max).

아래 연습에서는 소수 네 자리까지 맞으면 정답으로 인정합니다.

기초 5 · 응용 1 · 도전 1 문제.