Энтропия информации
Интерактивное демо «Энтропия информации» — раздел Энциклопедия · Данные и разметка.
Энтропия Шеннона
Средняя неопределённость символа — нижняя граница сжатия без потерь
H (на символ)
3.893 бит
Макс. для алфавита
4.248 бит
Уникальных символов
19
Мин. объём (оценка)
254 бит
Язык снижает энтропию: частые буквы и слоги — основа словарного сжатия.