Статья 1136

Эта единица называется двоичной единицей или битом.

Итак, при любой неопределенности сужение области выбора вдвое дает одну единицу информации. В физике существует понятие энтропии, которая характеризует степень неупорядоченности хаотичности физической системы. Неупорядоченность может быть интерпретирована в смысле того, насколько мало известно наблюдателю о данной системе. Как только наблюдатель выявил что-нибудь в физической системе, так энтропия системы снизилась, ибо для наблюдателя система стала более упорядоченной.

И если максимум энтропии соответствует абсолютно случайному состоянию системы, то максимум информации характеризует полностью упорядоченную детерминированную систему.

Одним словом, энтропия и информация имеют противоположные знаки, энтропия системы выражает степень ее неупорядоченности, а информация дает меру ее организации.