Play IT

Блок трансформера

Интерактивное демо «Блок трансформера» — раздел Энциклопедия · Искусственный интеллект.

aiencyclopedia

Блок трансформера

Пошаговый encoder-слой

1
Token + Positional Embedding

ID токена + позиция → вектор d_model.

2
Multi-Head Self-Attention
3
Add & Norm
4
Feed-Forward Network
5
Add & Norm (выход)