Play IT

Self-attention heatmap

Интерактивное демо «Self-attention heatmap» — раздел Энциклопедия · Искусственный интеллект.

aiencyclopedia

Self-attention

Клик по токену — веса внимания на остальные позиции

Машинное42%
обучение18%
учится12%
на8%
данных20%

Query «Машинное» сильнее всего смотрит на «Машинное». В модели: softmax(Q·Kᵀ/√d)·V.