Статья 1547

Следовательно, характеристикой числа сообщений, которое может быть передано с помощью двоичного слова, является число двоичных разрядов в слове. Но это число в точности равно логарифму от числа возможных сообщений по основанию 2. Понятно, что это число характеризует вероятность получить одно данное сообщение из всех возможных сообщений при условии их равновероятности.
По аналогии с термодинамикой эту меру вероятности получения одного из возможных сообщений назвали энтропией, так как в термодинамике энтропия есть логарифм вероятности нахождения системы в данном состоянии.
Есть еще ряд глубоких аналогий между информационными понятиями и термодинамикой. Например, при всякой обработке информации, когда проделываются определенные операции над числами и сообщениями, могут выявляться скрытые в имеющихся данных сведения, но нельзя получить новых сведений. Напротив, обработка информации связана с ошибками - малыми, допустимыми, и грубыми, безнадежно искажающими результаты округлениями и тому подобным, - каждый раз часть исходной информации теряется из конечного результата.