Статья 1135

Основываясь на идее, что информация устраняет некоторую неопределенность, незнание, описание любого события или объекта формально можно рассматривать как указание на то, в каком из возможных состояний находится описываемый объект. Тогда протекание событий во времени есть не что иное, как смена состояний, выбранных с некоторой вероятностью из числа всех возможных. Чем больше неопределенность выбора, тем больше информации, так как результат выбора имеет большую степень неожиданности. Вот почему в теории информации количество информации является мерой снятия неопределенности одной случайной величины в результате наблюдения за другой. Если величины независимы, то количество информации равно нулю.

информация

информация

Самым простейшим случаем является выбор альтернативы из двух событий, поэтому за единицу информации целесообразно принять количество информации, заключенное в выборе одного из двух равновероятных событий.