Блок трансформера
Интерактивное демо «Блок трансформера» — раздел Энциклопедия · Искусственный интеллект.
Блок трансформера
Пошаговый encoder-слой
1
Token + Positional Embedding
ID токена + позиция → вектор d_model.
2
Multi-Head Self-Attention
3
Add & Norm
4
Feed-Forward Network
5
Add & Norm (выход)