Урок 5
Вероятностный (содержательный) подход к измерению количества информации
§ 1.3. Количество информации
Содержание урока
1.3.1. Количество информации как мера уменьшения неопределенности знания
1.3.2. Определение количества информации
1.3.1. Количество информации как мера уменьшения неопределенности знания
Процесс познания окружающего мира приводит к накоплению информации в форме знаний (фактов, научных теорий и т. д.). Получение новой информации приводит к расширению знания или, как иногда говорят, к уменьшению неопределенности знания. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию.
Например, после сдачи зачета или выполнения контрольной работы вы мучаетесь неопределенностью, вы не знаете, какую оценку получили. Наконец, учитель объявляет результаты, и вы получаете одно из двух информационных сообщений: «зачет» или «незачет», а после контрольной работы одно из четырех информационных сообщений: «2», «3», «4» или «5».
Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности вашего знания в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности знания в четыре раза, так как получено одно из четырех возможных информационных сообщений.
Ясно, что чем более неопределенна первоначальная ситуация (возможно большее количество информационных сообщений), тем больше мы получим новой информации при получении информационного сообщения (тем в большее количество раз уменьшится неопределенность знания).
Рассмотренный подход к информации как мере уменьшения неопределенности знания позволяет количественно измерять информацию.
Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационного сообщения.
Существует формула, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение:
N = 2I. (1.1)
Бит. Для количественного выражения любой величины необходимо сначала определить единицу измерения. Так, для измерения длины в качестве единицы выбран метр, для измерения массы — килограмм и т. д. Аналогично, для определения количества информации необходимо ввести единицу измерения.
За единицу количества информации принимается количество информации, содержащееся в информационном сообщении, уменьшающем неопределенность знания в два раза. Такая единица названа бит.
Если вернуться к рассмотренному выше получению информационного сообщения о результатах зачета, то здесь неопределенность как раз уменьшается в два раза и, следовательно, количество информации, которое несет сообщение, равно 1 биту.
Производные единицы измерения количества информации.
Минимальной единицей измерения количества информации является бит, а следующей по величине единицей — байт, причем:
1 байт = 8 битов = 23 битов.
В информатике система образования кратных единиц измерения несколько отличается от принятых в большинстве наук. Традиционные метрические системы единиц, например Международная система единиц СИ, в качестве множителей кратных единиц используют коэффициент 10n, где n = 3, 6, 9, 12, 15, 18 и т. д., что соответствует десятичным приставкам «кило» (103), «мега» (106), «гига» (109), «тера» (1012), «пета» (1015), «экса» (1018) и т. д.
В компьютере информация кодируется с помощью двоичной знаковой системы, поэтому в кратных единицах измерения количества информации используется коэффициент 2n.
Так, кратные байту единицы измерения количества информации вводятся следующим образом:
1 килобайт (Кбайт) = 210 байтов = 1024 байтов;
1 мегабайт (Мбайт) = 210 Кбайт = 1024 Кбайт;
1 гигабайт (Гбайт) = 210 Мбайт = 1024 Мбайт.
1 терабайт (Тбайт) = 210 Гбайт = 1024 Гбайт;
1 петабайт (Пбайт) = 210 Тбайт = 1024 Тбайт;
1 эксабайт (Эбайт) = 210 Пбайт = 1024 Пбайт.
Контрольные вопросы
1. Приведите примеры информационных сообщений, которые приводят к уменьшению неопределенности знания.
2. Приведите примеры информационных сообщений, которые несут 1 бит информации.
Задания для самостоятельного выполнения
1.3. Задание с выборочным ответом. За минимальную единицу измерения количества информации принят:
1) 1 бод
2) 1 пиксель
3) 1 байт
4) 1 бит
1.4. Задание с кратким ответом. Вычислите, какое количество информации в битах содержится в 1 килобайте, 1 мегабайте, 1 гигабайте, 1 терабайте, 1 петабайте и 1 эксабайте.
Cкачать материалы урока
