Понятие количества информации. Подходы к определению количества информации. Единицы измерения


Чтобы посмотреть презентацию с картинками, оформлением и слайдами, скачайте ее файл и откройте в PowerPoint на своем компьютере.
Текстовое содержимое слайдов презентации:

ИНФОРМАЦИЯ Понятие количества информации. Подходы к определению количества информации.Единицы измерения . ЕДИНИЦЫ ИЗМЕРЕНИЯ 1 бит (binary digit, двоичная цифра) – это количество информации, которое мы получаем при выборе одного из двух возможных вариантов (вопрос: «Да» или «Нет»?)Примеры:Эта стена – зеленая? Да.Дверь открыта? Нет.Сегодня выходной? Нет.Это новый автомобиль? Новый.Ты будешь чай или кофе? Кофе. * ЕСЛИ ВАРИАНТОВ БОЛЬШЕ… «Да» или «Нет»? * 2 варианта – 1 бит 4 варианта – 2 бита 8 вариантов – 3 бита ЕСЛИ ВАРИАНТОВ БОЛЬШЕ… Количество вариантов 2 4 8 16 32 64 128 256 512 1024 Количество бит информации 1 2 3 4 5 6 7 8 9 10 * 6 вариантов – между 4 (2 бита) и 8 (3 бита)Ответ: количество информации между 2 и 3 битами ЕДИНИЦЫ ИЗМЕРЕНИЯ 1 байт (bytе) = 8 бит1 Кб (килобайт) = 1024 байта1 Мб (мегабайт) = 1024 Кб1 Гб (гигабайт) = 1024 Мб1 Тб (терабайт) = 1024 Гб1 Пб (петабайт) = 1024 Тб * 210 ЕДИНИЦЫ ИЗМЕРЕНИЯ 1 байт (bytе) – это объем компьютерной памяти, который имеет индивидуальный адрес.Примеры из истории:1 байт = 4 бита1 байт = 6 бит1 байт = 12 битСейчас обычно: * 1 байт = 8 бит * Алфавит – набор знаков, используемых при кодировании информации с помощью некоторого языка.Примеры: АБВГДЕЖЗИКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯ 32 ABCDEFGHIJKLMNOPQRSTUVWXYZ 26 Ч O 2 0123456789 10Мощность алфавита – количество символов. АЛФАВИТНЫЙ ПОДХОД Все символы несут одинаковую информацию: ! мощность алфавита информационная емкость символа АЛФАВИТНЫЙ ПОДХОД Задача. Определить объем информации в сообщенииПРИВЕТВАСЯ для кодирования которого используется русский алфавит (только заглавные буквы). Ответ: 10·5 бит = 50 бит считаем все символы (здесь 10 символов)мощность алфавита – 32 символа (32=25)1 символ несет 5 бит информации Решение: ВЕРОЯТНОСТНЫЙ ПОДХОД * Вероятность события – число от 0 до 1, показывающее, как часто случается это событие в большой серии одинаковых опытов. p = 0событие никогда не происходит (нет неопределенности) p = 0,5 событие происходит в половине случаев (есть неопределенность) p = 1событие происходит всегда (нет неопределенности)Полная система событий: одно из N событий обязательно произойдет (и только одно!). pi – вероятность выбора i-ого варианта (i=1,…,N) ВЕРОЯТНОСТНЫЙ ПОДХОД * Вычисление вероятности Задача. В пруду живут 100 рыб, из них 20 карасей, 30 пескарей, а остальные – окуни. Какова вероятность поймать карася (пескаря, окуня), если все рыбы одинаково голодны? Формула: число «нужных» событий общее число событий Решение: караси пескари окуни Как иначе посчитать p3? ? ВЕРОЯТНОСТНЫЙ ПОДХОД * Как посчитать информацию, если варианты не равновероятны? – вероятность выбора i-ого варианта (i=1,…,N) Идея: если случается менее вероятное событие, мы получаем больше информации. Если произошло событие i, мы получаем информацию Клод Шеннон (1916 —2001) американский математик и электротехник, один из создателей математической теории информации и криптографии. ВЕРОЯТНОСТНЫЙ ПОДХОД * Задача 1. В пруду живут 100 рыб, из них 20 карасей, 30 пескарей, а остальные – окуни. Сколько информации несет сообщение о том, что рыбак поймал карася (пескаря, окуня), если все рыбы одинаково голодны? Формула: Решение: карась пескарь окунь бита бита бит ВЕРОЯТНОСТНЫЙ ПОДХОД * Задача 2. Посчитать, чему равна информация в сообщении «Сейчас идет снег» зимой и летом. Решение: Событие 1 – идет снег, событие 2 – снег не идет. летом зимой летом бита бита зимой бит Что еще нужно для решения? ? * ДВА ПОДХОДА: СРАВНЕНИЕ Задача 3. Отличник Вася Пупкин получил такие оценки по истории за I четверть:4 5 5 3 5 Сколько информации получили в этом сообщении родители? Алфавитный подход:возможны 4 разные оценки: 2, 3, 4 и 5каждая оценка несет 2 бита информации (все одинаково!) Ответ: 5·2 бит = 10 бит Содержание информации не учитывается! ! * ДВА ПОДХОДА: СРАВНЕНИЕ Вероятностный подход:задаем вероятности получения всех оценокинформация при получении 5, 4 и 3: Могло быть > 10 бит? ? бит бит бит бит < 10 бит Ответ: информации в сообщении 4 5 5 3 5 Что еще нужно для решения? ?

Приложенные файлы


Добавить комментарий