Количество информации как мера уменьшения неопределённости знания
Алфавитный подход к определению количества информации
При алфавитном подходе к определению количества информации мы отвлекаемся от содержания информации и рассматриваем информационное сообщение как последовательность знаков определённой знаковой системы.
Формула (1.1) связывает между собой количество возможных информационных сообщений N и количество информации i, которое несёт полученное сообщение. Тогда в рассматриваемой ситуации N — это количество знаков в алфавите знаковой системы, a i — количество информации, которое несёт каждый знак:
N = 2i.
С помощью данной формулы можно, например, определить количество информации, которое несёт знак в двоичной знаковой системе:
A = 2 => 2 = 2i => 21 - 2i => i = l бит.
Таким образом, в двоичной знаковой системе знак несёт 1 бит информации. Интересно, что сама единица измерения количества информации бит (bit) получила свое название от английского словосочетания Binary digiT — «двоичная цифра».
Чем большее количество знаков содержит алфавит знаковой системы, тем большее количество информации несёт один знак.
Следующая страница Вопросы и задания