Self-attention heatmap
Интерактивное демо «Self-attention heatmap» — раздел Энциклопедия · Искусственный интеллект.
Self-attention
Клик по токену — веса внимания на остальные позиции
Машинное42%
обучение18%
учится12%
на8%
данных20%
Query «Машинное» сильнее всего смотрит на «Машинное». В модели: softmax(Q·Kᵀ/√d)·V.