Урок 32
§2.4. Формула Шеннона
Содержание урока
Формула Шеннона
Задание «Бросание пирамидки»
Выбор правильной стратегии в игре «Угадай число»
Практическое задание «Определение количества информации»
Контрольные вопросы. Задания. Компьютерный практикум
Задание «Бросание пирамидки»
Определить количество информации, которую мы получаем в результате бросания несимметричной и симметричной пирамидок.
При бросании несимметричной четырехгранной пирамидки вероятности отдельных событий равны:
р1 = 1/2, р2 = 1/4, р3 = 1/8, р4 = 1/8.
Количество информации, которую мы получим после бросания несимметричной пирамидки, можно рассчитать по формуле (2.3):
При бросании симметричной четырехгранной пирамидки вероятности отдельных событий равны между собой:
р1 = p2 = p3 = p4 = 1/4
Количество информации, которую мы получим после бросания симметричной пирамидки, можно рассчитать по формуле (2.4):
I = log24 = 2 бита.
Таким образом, при бросании симметричной пирамидки, когда события равновероятны, мы получим большее количество информации (2 бита), чем при бросании несимметричной пирамидки, когда события неравновероятны (1,75 бита).
Количество информации, которую мы получаем, достигает максимального значения, если события равновероятны.
В теории информации доказано, что максимальное количество информации несет сообщение, в котором вероятности появления всех знаков одинаковы.
Количество информации, которое несет знак, зависит от вероятности его получения. Если получатель заранее точно знает, какой знак придет, то полученное количество информации будет равно 0. Наоборот, чем менее вероятно получение знака, тем больше его информационная емкость.
В русской письменной речи частота использования букв в тексте различна, так в среднем на 1000 знаков осмысленного текста приходится 200 букв «а» ив сто раз меньшее количество буквы «ф» (всего 2). Таким образом, с точки зрения теории информации, информационная емкость знаков русского алфавита различна (у буквы «а» она наименьшая, а у буквы «ф» — наибольшая).
Следующая страница 
Выбор правильной стратегии в игре «Угадай число»
Cкачать материалы урока
