Меню Рубрики

Информация с точки зрения объемного подхода

Информация относится к фундаментальным, неопределяемым понятиям науки информатика. Тем не менее смысл этого понятия должен быть разъяснен. Предпримем попытку рассмотреть это понятие с различных позиций.

Термин информация происходит от латинского слова informatio , что означает сведения, разъяснения, изложение . В настоящее время наука пытается найти общие свойства и закономерности, присущие многогранному понятию информация, но пока это понятие во многом остается интуитивным и получает различные смысловые наполнения в различных отраслях человеческой деятельности:

в быту информацией называют любые данные, сведения, знания, которые кого-либо интересуют. Например, сообщение о каких-либо событиях, о чьей-либо деятельности и т.п.;

в технике под информацией понимают сообщения, передаваемые в форме знаков или сигналов (в этом случае есть источник сообщений, получатель (приемник) сообщений, канал связи);

в кибернетике под информацией понимают ту часть знаний, которая используется для ориентирования, активного действия, управления, т.е. в целях сохранения, совершенствования, развития системы;

в теории информации под информацией понимают сведения об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся о них степень неопределенности, неполноты знаний.

Информация может существовать в виде:

текстов, рисунков, чертежей, фотографий;

световых или звуковых сигналов;

электрических и нервных импульсов;

хромосом, посредством которых передаются по наследству признаки и свойства организмов, и т.д.

Свойства информации (с точки зрения бытового подхода к определению);

релевантность — способность информации соответствовать нуждам потребителя;

эргономичность — свойство, характеризующее удобство формы или объема информации с точки зрения данного потребителя.

Информацию следует считать особым видом ресурса.

С этой точки зрения свойства информации:

Фундаментальное свойство информации — преобразуемость. Оно означает, что информация может менять способ и форму своего существования. Копируемость есть разновидность преобразования информации, при котором ее количество не меняется. В общем случае количество информации в процессах преобразования меняется, но возрастать не может. Высшей формой информации, проявляющейся — в управлении в социальных системах, являются знания.

Под информационным понимают процесс, связанный с определенными операциями над информацией в ходе которого может измениться содержание информации или форма ее представления.

В информатике к таким процессам относят:

Любая информация может рассматриваться как уменьшение неопределенности наших знаний об окружающем мире (в теории информации принято говорить именно об уменьшении неопределенности, а не об увеличении объема знаний). Случайность события заключается в том, что реализация того или иного исхода имеет некоторую степень неопределенности. Пусть, например, абсолютно незнакомый нам ученик сдает экзамен, результатом которого может служить получение оценок 2, 3, 4 или 5. Поскольку мы ничего не знаем о данном ученике, то степень неопределенности всех перечисленных результатов сдачи экзамена совершенно одинакова. Напротив, если нам известно, как он учится, то уверенность в некоторых исходах будет больше, чем в других: так, отличник скорее всего сдаст экзамен на пятерку, а получение двойки для него — это нечто почти невероятное. Наиболее просто определить количество информации в случае, когда все исходы события могут реализоваться с равной долей вероятности . В этом случае для вычисления информации используется формула Хартли .

В более сложной ситуации, когда исходы события ожидаются с разной степенью уверенности, требуются более сложные вычисления по формуле Шеннона , которую обычно выносят за рамки школьного курса информатики. Очевидно, что формула Хартли является некоторым частным случаем более общей формулы Шеннона.

Формула Хартли была предложена в 1928 году американским инженером Р.Хартли. Она связывает количество равновероятных состояний N с количеством информации I в сообщении о том, что любое из этих состояний реализовалось.

Наиболее простая форма для данной формулы зафиксируется следующим образом:

Причем обычно значение N известно, а I приходится подбирать, что не совсем удобно. Поэтому те, кто знает математику получше, предпочитают преобразовать данную формулу так, чтобы сразу выразить искомую величину I в явном виде:

Единица информации носит название бит (от англ. Вinary digiT — двоичная цифра); таким образом, 1 бит — это информация о результате опыта с двумя равновероятными исходами.

Чем больше возможных исходов, тем больше информации в сообщении о реализации одного из них.

Пример 1. Из колоды выбрали 16 карт (все “картинки” и тузы) и положили на стол рисунком вниз. Верхнюю карту перевернули (дама пик). Сколько информации будет заключено в сообщении о том, какая именно карта оказалась сверху? Все карты одинаковы, поэтому любая из них могла быть перевернута с одинаковой вероятностью. В таких условиях применима формула Хартли. Событие, заключающееся в открытии верхней карты, для нашего случая могло иметь 16 возможных исходов. Следовательно, информация о реализации одного из них равняется

Примечание. Если вы не любите логарифмы, можно записать формулу Хартли в виде 2 i = 16 и получить ответ, подбирая такое I , которое ей удовлетворяет.

Он заключается в определении количества информации в каждом из знаков дискретного сообщения с последующим подсчетом количества этих знаков в сообщении. Пусть сообщение кодируется с помощью некоторого набора знаков. Заметим, что если для данного набора установлен порядок следования знаков , то он называется алфавитом . Пусть алфавит, с помощью которого записываются все сообщения, состоит из N символов . Для простоты предположим, что все они появляются в тексте с одинаковой вероятностью. Тогда применима формула Хартли для вычисления информации

источник

Подать заявку

Для учеников 1-11 классов и дошкольников

Тестирование №1 «Информация. Измерение информации»

1. С точки зрения нейрофизиологии, информация – это:

а) символы; б) сигналы; в) содержание генетического кода; г) интеллект.

2. С точки зрения алфавитного (объемного) подхода 1 бит — это …

3. Переведите в Килобайты: а) 10240 бит, б) 20 Мбайт

Ста­тья, на­бран­ная на ком­пью­те­ре, со­дер­жит 8 стра­ниц, на каж­дой стра­ни­це 40 строк, в каж­дой стро­ке 64 сим­во­ла. Ин­фор­ма­ци­он­ный объём ста­тьи со­став­ля­ет 25 Кбайт. Опре­де­ли­те, сколь­ко бит па­мя­ти ис­поль­зу­ет­ся для ко­ди­ро­ва­ния каж­до­го сим­во­ла, если из­вест­но, что для пред­став­ле­ния каж­до­го сим­во­ла в ЭВМ от­во­дит­ся оди­на­ко­вый объём па­мя­ти.

5. В не­ко­то­рой стра­не ав­то­мо­биль­ный номер дли­ной 7 сим­во­лов со­став­ля­ют из за­глав­ных букв (за­дей­ство­ва­но 26 раз­лич­ных букв) и де­ся­тич­ных цифр в любом по­ряд­ке.

Каж­дый такой номер в ком­пью­тер­ной про­грам­ме за­пи­сы­ва­ет­ся ми­ни­маль­но воз­мож­ным и оди­на­ко­вым целым ко­ли­че­ством байт (при этом ис­поль­зу­ют по­сим­воль­ное ко­ди­ро­ва­ние и все сим­во­лы ко­ди­ру­ют­ся оди­на­ко­вым и ми­ни­маль­но воз­мож­ным ко­ли­че­ством бит).

Опре­де­ли­те объем па­мя­ти, от­во­ди­мый этой про­грам­мой для за­пи­си 40 но­ме­ров.

1) 120 байт 2) 160 байт 3) 200 байт 4) 240 байт

Тестирование №1 «Информация. Измерение информации»

С точки зрения генетики, информация – это:

а) символы; б) сигналы; в) содержание генетического кода; г) интеллект.

2. С точки зрения содержательного подхода 1 бит — это …

3. Переведите в байты: а) 1024 бита, б) 2,5 Мбайта

4. Ста­тья, на­бран­ная на ком­пью­те­ре, со­дер­жит 64 стра­ни­цы, на каж­дой стра­ни­це 40 строк, в каж­дой стро­ке 64 сим­во­ла. Опре­де­ли­те раз­мер ста­тьи в ко­ди­ров­ке КОИ-8, в ко­то­рой каж­дый сим­вол ко­ди­ру­ет­ся 8 би­та­ми.

1) 160 Кбайт 2) 320 Кбайт 3) 1280 байт 4) 2560 байт

5. В ма­ра­фо­не участ­ву­ют 300 ат­ле­тов. Спе­ци­аль­ное устрой­ство ре­ги­стри­ру­ет про­хож­де­ние каж­дым из участ­ни­ков про­ме­жу­точ­но­го фи­ни­ша, запи­сывая его номер с ис­поль­зо­ва­ни­ем ми­ни­маль­но воз­мож­но­го ко­ли­че­ства бит, оди­на­ко­во­го для каж­до­го спортс­ме­на. Каков ин­фор­ма­ци­он­ный объем со­об­ще­ния, за­пи­сан­но­го устрой­ством, по­сле того как про­ме­жу­точ­ный финиш про­шли 160 спортс­ме­нов?

1) 1600 бит 2) 140 байт 3) 160 байт 4) 180 байт

Тестирование №1 «Информация. Измерение информации»

С точки зрения кибернетического подхода, информация – это:

а) символы (сигналы); б) буквы и цифры в) знания; г) интеллект.

2. С точки зрения алфавитного (объемного) подхода 1 бит — это …

3. Переведите в байты: а) 10240 бит, б) 2,5 Кбайта

4. Глав­ный ре­дак­тор жур­на­ла от­ре­дак­ти­ро­вал ста­тью, и её объём умень­шил­ся на 2 стра­ни­цы. Каж­дая стра­ни­ца со­дер­жит 32 стро­ки, в каж­дой стро­ке 64 сим­во­ла. Ин­фор­ма­ци­он­ный объём ста­тьи до ре­дак­ти­ро­ва­ния был равен 2 Мбайт. Ста­тья пред­став­ле­на в ко­ди­ров­ке Unicode, в ко­то­рой каж­дый сим­вол ко­ди­ру­ет­ся 2 бай­та­ми. Опре­де­ли­те ин­фор­ма­ци­он­ный объём ста­тьи в Кбай­тах в этом ва­ри­ан­те пред­став­ле­ния Unicode после ре­дак­ти­ро­ва­ния.

5. При ре­ги­стра­ции в ком­пью­тер­ной си­сте­ме каж­до­му поль­зо­ва­те­лю выдаётся па­роль, со­сто­я­щий из 14 сим­во­лов и со­дер­жа­щий толь­ко сим­во­лы Е, Г, Э, 2, 0, 1, 4. Каж­дый такой па­роль в ком­пью­тер­ной про­грам­ме за­пи­сы­ва­ет­ся ми­ни­маль­но воз­мож­ным и оди­на­ко­вым целым ко­ли­че­ством байт (при этом ис­поль­зу­ют по­сим­воль­ное ко­ди­ро­ва­ние и все сим­во­лы ко­ди­ру­ют­ся оди­на­ко­вым и ми­ни­маль­но воз­мож­ным ко­ли­че­ством бит).

Опре­де­ли­те объём па­мя­ти, от­во­ди­мый этой про­грам­мой для за­пи­си 30 па­ро­лей.

1) 150 байт 2) 180 байт 3) 210 байт 4) 240 байт

Тестирование №1 «Информация. Измерение информации»

1. С точки зрения генетики, информация – это:

а) символы; б) сигналы; в) содержание генетического кода; г) интеллект.

2. С точки зрения алфавитного (объемного) подхода N — это …

3. Переведите в биты: а) 2048 байта, б) 1,5 Мбайта

4. В одном из из­да­ний книги М.А. Бул­га­ко­ва «Ма­стер и Мар­га­ри­та» 256 стра­ниц. Какой объём па­мя­ти (в Мбай­тах) за­ня­ла бы эта книга, если бы Ми­ха­ил Афа­на­сье­вич на­би­рал её на ком­пью­те­ре и со­хра­нял текст в одном из пред­став­ле­ний Unicode, в ко­то­ром каж­дый сим­вол за­ни­ма­ет 16 бит па­мя­ти? На одной стра­ни­це по­ме­ща­ет­ся 64 стро­ки, а в стро­ке 64 сим­во­ла.

5. В не­ко­то­рой стра­не ав­то­мо­биль­ный номер со­сто­ит из 6 сим­во­лов. В ка­че­стве сим­во­лов ис­поль­зу­ют 33 раз­лич­ные буквы и де­ся­тич­ные цифры в любом по­ряд­ке.

Каж­дый такой номер в ком­пью­тер­ной про­грам­ме за­пи­сы­ва­ет­ся ми­ни­маль­но воз­мож­ным и оди­на­ко­вым целым ко­ли­че­ством бай­тов, при этом ис­поль­зу­ют по­сим­воль­ное ко­ди­ро­ва­ние и все сим­во­лы ко­ди­ру­ют­ся оди­на­ко­вым и ми­ни­маль­но воз­мож­ным ко­ли­че­ством битов. Опре­де­ли­те объем па­мя­ти, от­во­ди­мый этой про­грам­мой для за­пи­си 125 но­ме­ров.

1) 375 байт 2) 750 байт 3) 500 байт 4) 625 байт

Тестирование №1 «Информация. Измерение информации»

С точки зрения теории информации информация – это:

а) символы; б) сигналы; в) содержание генетического кода; г) интеллект.

2. С точки зрения содержательного подхода N – это…

3. Переведите в Килобайты: а) 20480 бит, б) 10 Мбайт

4. Ста­тья, на­бран­ная на ком­пью­те­ре, со­дер­жит 32 стра­ни­цы, на каж­дой стра­ни­це 40 строк, в каж­дой стро­ке 48 сим­во­лов. Опре­де­ли­те раз­мер ста­тьи в ко­ди­ров­ке КОИ-8, в ко­то­рой каж­дый сим­вол ко­ди­ру­ет­ся 8 би­та­ми.

1) 120 Кбайт 2) 480 байт 3) 960 байт 4) 60 Кбайт

5. Для ре­ги­стра­ции на сайте не­ко­то­рой стра­ны поль­зо­ва­те­лю тре­бу­ет­ся при­ду­мать па­роль. Длина па­ро­ля — ровно 6 сим­во­лов. В ка­че­стве сим­во­лов могут быть ис­поль­зо­ва­ны де­ся­тич­ные цифры и 27 раз­лич­ных букв мест­но­го ал­фа­ви­та, причём все буквы ис­поль­зу­ют­ся в двух на­чер­та­ни­ях: как строч­ные, так и про­пис­ные (ре­гистр буквы имеет зна­че­ние!). Под хра­не­ние каж­до­го та­ко­го па­ро­ля на ком­пью­те­ре от­во­дит­ся оди­на­ко­вое и ми­ни­маль­но воз­мож­ное целое ко­ли­че­ство бай­тов. При этом ис­поль­зу­ет­ся по­сим­воль­ное ко­ди­ро­ва­ние, и все сим­во­лы ко­ди­ру­ют­ся оди­на­ко­вым и ми­ни­маль­но воз­мож­ным ко­ли­че­ством битов. Опре­де­ли­те объём па­мя­ти, ко­то­рый ис­поль­зу­ет­ся для хра­не­ния 55 па­ро­лей.

1) 220 байт 2) 275 байт 3) 330 байт 4) 385 байт

Тестирование №1 «Информация. Измерение информации»

С точки зрения кибернетического подхода, информация – это:

а) символы (сигналы); б) буквы и цифры; в) знания; г) интеллект.

2. Расположите алфавиты в порядке убывания их мощности.

2) алфавит таблицы Unicode

3) алфавит записи целых чисел в шестнадцатеричной системе счисления

4) алфавит записи целых чисел в десятичной системе счисления

3. Переведите в байты: а) 2560 бит, б) 2,5 Мбайта

4. Ста­тья, на­бран­ная на ком­пью­те­ре, со­дер­жит 64 стра­ни­цы, на каж­дой стра­ни­це 40 строк, в каж­дой стро­ке 40 сим­во­лов. Опре­де­ли­те раз­мер ста­тьи в ко­ди­ров­ке КОИ-8, в ко­то­рой каж­дый сим­вол ко­ди­ру­ет­ся 8 би­та­ми.

1) 100 Кбайт 2) 1600 байт 3) 800 байт 4) 200 Кбайт

5. В не­ко­то­рой стра­не ав­то­мо­биль­ный номер дли­ной 7 сим­волов со­став­ля­ют из за­глав­ных букв (ис­поль­зу­ют­ся толь­ко 25 раз­лич­ных букв) и де­ся­тич­ных цифр в любом по­ряд­ке. Каж­дый такой номер в ком­пью­тер­ной про­грам­ме за­пи­сы­ва­ется ми­ни­маль­но воз­мож­ным и оди­на­ко­вым целым ко­ли­чест­вом бай­тов (при этом ис­поль­зу­ют по­сим­воль­ное ко­ди­ро­ва­ние и все сим­во­лы ко­ди­ру­ют­ся оди­на­ко­вым и ми­ни­маль­но воз­мож­ным ко­ли­че­ством битов). Опре­де­ли­те объём па­мя­ти, от­во­ди­мый этой про­грам­мой для за­пи­си 50 но­ме­ров.

1) 150 байт 2) 350 байт 3) 250 байт 4) 300 байт

источник

Информация является предметом нашей деятельности: мы ее храним, передаем, принимаем, обрабатываем. Нам часто необходимо знать, достаточно ли места на носителе, чтобы разместить нужную нам информацию, сколько времени потребуется, чтобы передать информацию по каналу связи и т.п. Величина, которая нас в этих ситуациях интересует, называется объемом информации. В таком случае говорят об объемном подходе к измерению информации.

Читайте также:  Вещества с точки зрения зонной теории

Для обмена информацией с другими людьми человек использует естественные языки (русский, английский, китайский и др.), то есть информация представляется с помощью естественных языков. В основе языка лежит алфавит, т.е. набор символов (знаков), которые человек различает по их начертанию. В основе русского языка лежит кириллица, содержащая 33 знака, английский язык использует латиницу (26 знаков), китайский язык использует алфавит из десятков тысяч знаков (иероглифов).

Наряду с естественными языками были разработаны формальные языки (системы счисления, язык алгебры, языки программирования и др.). Основное отличие формальных языков от естественных состоит в наличии строгих правил грамматики и синтаксиса.

Например, системы счисления можно рассматривать как формальные языки, имеющие алфавит (цифры) и позволяющие не только именовать и записывать объекты (числа), но и выполнять над ними арифметические операции по строго определенным правилам.

Некоторые языки используют в качестве знаков не буквы и цифры, а другие символы, например химические формулы, ноты, изображения элементов электрических или логических схем, дорожные знаки, точки и тире (код азбуки Морзе и др.).

Представление информации может осуществляться с помощью языков, которые являются знаковыми системами. Каждая знаковая система строится на основе определенного алфавита и правил выполнения операций над знаками.

Знаки могут иметь различную физическую природу. Например, для представления информации с использованием языка в письменной форме используются знаки, которые являются изображением на бумаге или других носителях; в устной речи в качестве знаков языка используются различные звуки (фонемы), а при обработке текста на компьютере знаки представляются в форме последовательностей электрических импульсов (компьютерных кодов).

При хранении и передаче информации с помощью технических устройств информация рассматривается как последовательность символов – знаков (букв, цифр, кодов цветов точек изображения и т.д.)

Набор символов знаковой системы (алфавит) можно рассматривать как различные возможные состояния (события).

Тогда, если считать, что появление символов в сообщении равновероятно, по формуле

где N– это количество знаков в алфавите знаковой системы, можно рассчитать I – количество информации, которое несет каждый символ.

Информационная емкость знаков зависит от их количества в алфавите. Так, информационная емкость буквы в русском алфавите, если не использовать букву «ё», составляет:

В латинском алфавите 26 букв. Информационная емкость буквы латинского алфавита также 5 битов.

На основании алфавитного подхода можно подсчитать количество информации в сообщении Ic, для этого необходимо умножить количество информации, которое несет один символ I, на количество символов K в сообщении:

Например, в слове «информатика» 11 знаков (К=11), каждый знак в русском алфавите несет информацию 5 битов (I=5), тогда количество информации в слове «информатика» Iс=5х11=55 (битов).

С помощью формулы N = 2 I можно определить количество информации, которое несет знак в двоичной знаковой системе: N=2 Þ 2=2 I Þ 2 1 =2 I Þ I=1 бит

Таким образом, в двоичной знаковой системе 1 знак несет 1 бит информации. При двоичном кодировании объем информации равен длине двоичного кода.

Интересно, что сама единица измерения количества информации бит (bit) получила свое название от английского словосочетания BInary digiТ, т.е. двоичная цифра.

Чем большее количество знаков содержит алфавит знаковой системы, тем большее количество информации несет один знак.

Дата добавления: 2016-03-26 ; просмотров: 1029 | Нарушение авторских прав

источник

Объемный подход к измерению информации применяется в цифровых (компьютерных) системах хранения и передачи информации. В этих системах используется двоичный способ кодирования информации. При объемном подходе для определения количества информации имеет значение лишь размер (объем) хранимого и передаваемого кода. Объемный подход еще называют алфавитным подходом. Из курса информатики 8–9 классов вы знаете, что если с помощью i-разрядного двоичного кода можно закодировать алфавит, состоящий из N символов, то эти величины связаны между собой по формуле:

Число N называется мощностью алфавита. Например, если i = 2, то можно построить 4 двухразрядные комбинации из нулей и единиц, т. е. закодировать 4 символа. При i = 3 существует 8 трехразрядных комбинаций нулей и единиц (кодируется 8 символов):

Английский алфавит содержит 26 букв. Для записи текста нужны еще, как минимум, шесть символов: пробел, точка, запятая, вопросительный знак, восклицательный знак, тире. В сумме получается расширенный алфавит, мощностью в 32 символа.

Поскольку 2 5 =32, то все символы можно закодировать всевозможными пятиразрядными двоичными кодами от 00000 до 11111. Именно пятиразрядный код использовался в телеграфных аппаратах, появившихся еще в XIX веке. Телеграфный аппарат при вводе переводил английский текст в двоичный код, длина которого в 5 раз больше, чем длина исходного текста.

В двоичном коде каждая двоичная цифра несет одну единицу информации, которая называется 1 бит.
Бит является основной единицей измерения информации.

Длина двоичного кода, с помощью которого кодируется символ алфавита, называется информационным весом символа. В рассмотренном выше примере информационный вес символа расширенного английского алфавита оказался равным 5 битам.

Информационный объем текста складывается из информационных весов всех составляющих его символов. Например, английский текст из 1000 символов в телеграфном сообщении будет иметь информационный объем 5000 бит.

Алфавит русского языка включает 33 буквы. Если к нему добавить еще пробел и пять знаков препинания, то получится набор из 39 символов. Для его двоичного кодирования пятиразрядного кода уже не достаточно. Нужен, как минимум, 6-разрядный код. Поскольку 2 6 =64, то остается еще резерв для 25 символов (64-39=25). Его можно использовать для кодирования цифр, всевозможных скобок, знаков математических операций и других символов, встречающихся в русском тексте. Следовательно, информационный вес символов в расширенном русском алфавите будет равен 6 битам. А текст из 1000 символов будет иметь объем 6000 бит.

Если i- информационный вес символа алфавита, а К – число символов в тексте, записанном с помощью этого алфавита, то информационный объем текста (I) выражается формулой:

Идея измерения количества информации в сообщении через длину двоичного кода с этим сообщением принадлежит выдающемуся российскому математику Андрею Николаевичу Колмогорову. Согласно Колмогорову, количество информации, содержащееся в тексте, определяется минимально возможной длиной двоичного кода, необходимого для представления этого текста.

Для определения информационного веса символа полезно представлять себе ряд целых степеней двойки. Вот как он выглядит в диапазоне от 2 1 до 2 10 :

Информационный вес символа из алфавита мощности N определяется по ближайшему значению во второй строке таблицы, не меньшему, чем N. Соответствующее значение i в первой строке равно информационному весу символа.

Пример. Определим информационный вес символа из алфавита, включающего в себя все строчные и прописные русские буквы (66); цифры (10); знаки препинания, скобки, кавычки (10). Всего получается 76 символов.

Поскольку 2 6 7 , следовательно, информационный вес символов данного алфавита равен 7 битам. Это означает, что все 76 символов можно закодировать семиразрядными двоичными кодами.

Из базового курса информатики вам известно, что в компьютерах используется двоичное кодирование информации. Для двоичного представления текстов в компьютере чаще всего применяется восьмиразрядный код. С помощью восьмиразрядного кода можно закодировать алфавит из 256 символов, поскольку 256=2 8 . В стандартную кодовую таблицу (например, ASCII), помещаются все необходимые символы: английские и русские буквы прописные и строчные, цифры, знаки препинания, знаки арифметических операций, всевозможные скобки и пр.

Более крупной единицей измерения информации является байт: 1 байт = 8 бит.

Информационный объем текста в памяти компьютер, измеряется в байтах. При использовании восьмиразрядного кода он равен количеству символов в записи текста

Одна страница текста на листе формата А4 кегля 12 с одинарным интервалом между строками (см. пример выше) в компьютерном представлении будет иметь объем 4000 байтов, так как на ней помещается примерно 4000 знаков.

Помимо бита и байта, для измерения информации используются и более крупные единицы:

1Кб (килобайт) = 2 10 байт=1024 байта;

1Мб (мегабайт) = 2 10 Кб=1024 Кб;

1Гб (гигабайт) = 2 10 Мб=1024 Мб;

1Тб (терабайт) = 2 10 Гб=1024 Гб.

Объем той же страницы текста будет равным приблизительно 3,9Кб. А книга из 500 таких страниц займет в памяти компьютера примерно 1,9 Мб.

В компьютере любые виды информации: тексты, числа, изображения, звук — представляются путем двоичного кодирования

Объем любой информации, выраженный в битах, равен количеству двоичных разрядов в ее представлении в памяти компьютера

Измерение информации – объемный (алфавитный) подход
На бумажных носителях На цифровых носителях и в технических системах передачи информации
Объем текста измеряется в знаках Объем информации равен размеру двоичного кода Основная единица:1 бит – один разряд двоичного кода
Информационный вес символа (i бит) из алфавита, мощностью N , определяется из уравнения: 2 i = M.Где N ≤ M – ближайшая сверху целая степень двойки Информационный объем текста (I), содержащего К символов I=K×i бит
Производные единицы
1 б= 8 бит 1 Кб=1024 б 1 Мб=1024 Кб 1 Гб=1024 Мб 1 Тб=1024 Мб

Не нашли то, что искали? Воспользуйтесь поиском:

Лучшие изречения: Сдача сессии и защита диплома — страшная бессонница, которая потом кажется страшным сном. 8781 — | 7150 — или читать все.

195.133.146.119 © studopedia.ru Не является автором материалов, которые размещены. Но предоставляет возможность бесплатного использования. Есть нарушение авторского права? Напишите нам | Обратная связь.

Отключите adBlock!
и обновите страницу (F5)

очень нужно

источник

Помимо описанного выше вероятностного подхода к измерению информации, состоящего в подсчете неопределенности исходов того или иного события, существует и другой. Его часто называют объемным, и он заключается в определении количества информации в каждом из знаков дискретного сообщения с последующим подсчетом количества этих знаков в сообщении.

Пусть сообщение кодируется с помощью некоторого набора знаков. Заметим, что если для данного набора установлен порядок следования знаков, то он называется алфавитом. Наиболее сложной частью работы при объемном измерении информации является определение количества информации, содержащейся в каждом отдельном символе: остальная часть процедуры весьма проста. Для определения информации в одном символе алфавита можно также использовать вероятностные методы, поскольку появление конкретного знака в конкретном месте текста есть явление случайное.

Самый простой метод подсчета заключается в следующем. Пусть алфавит, с помощью которого записываются все сообщения, состоит из M символов. Для простоты предположим, что все они появляются в тексте с одинаковой вероятностью (конечно, это грубая модель3, но зато очень простая). Тогда в рассматриваемой постановке применима формула Хартли для вычисления информации об одном из исходов события (о появлении любого символа алфавита):

Поскольку все символы “равноправны”, естественно, что объем информации в каждом из них одинаков. Следовательно, остается полученное значение I умножить на количество символов в сообщении, и мы получим общий объем информации в нем. Напомним читателям, что осмысленность сообщения в описанной процедуре нигде не требуется, напротив, именно при отсутствии смысла предположение о равновероятном появлении всех символов выполняется лучше всего!

Примечание. Стоит знать, что описанный простой способ кодирования, когда коды всех символов имеют одинаковую длину, не является единственным. Часто при передаче или архивации информации по соображениям экономичности тем символам, которые встречаются чаще, ставятся в соответствие более короткие коды и наоборот. Мы здесь не будем рассматривать этот весьма интересный и практически важный вопрос. Желающие могут обратиться, например, к известному школьному учебнику информатики [4] (начиная со второго издания) или к более глубокому, но тоже достаточно понятному [5].

Можно показать, что при любом варианте кодирования

(чем экономичнее способ кодирования, тем меньше разница между этими величинами — см. пример 4, приведенный ниже).

Пример 3. Определить информацию, которую несет в себе 1-й символ в кодировках ASCII и Unicode.

В алфавите ASCII предусмотрено 256 различных символов, т.е. M = 256, а

I = log2 256 = 8 бит = 1 байт

В современной кодировке Unicode заложено гораздо большее количество символов. В ней определено 256 алфавитных страниц по 256 символов в каждой. Предполагая для простоты, что все символы используются, получим, что

I = log2 (256 * 256) = 8 + 8 = 16 бит = 2 байта

Пример 4. Текст, сохраненный в коде ASCII, состоит исключительно из арифметических примеров, которые записаны с помощью 10 цифр от 0 до 9, 4 знаков арифметических операций, знака равенства и некоторого служебного кода, разделяющего примеры между собой. Сравните количество информации, которое несет один символ такого текста, применяя вероятностный и алфавитный подходы.

Легко подсчитать, что всего рассматриваемый в задаче текст состоит из N = 16 различных символов. Следовательно, по формуле Хартли

Iвероятностная = log2 16 = 4 бита

В то же время, согласно вычислениям примера 3, для символа ASCII

Двукратный избыток при кодировании символов связан с тем, что далеко не все коды ASCII оказываются в нашем тексте востребованными. В то же время несложно построить вариант специализированной 4-битной кодировки для конкретной задачи4, для которого Iвероятностная и Iалфавитная окажутся равными.

В порядке подведения итогов сравним вероятностный и алфавитный подходы, как того требует вопрос билета. Первый подход позволяет вычислить предельное (минимально возможное) теоретическое значение количества информации, которое несет сообщение о данном исходе события. Второй — каково количество информации на практике с учетом конкретной выбранной кодировки. Очевидно, что первая величина есть однозначная характеристика рассматриваемого события, тогда как вторая зависит еще и от способа кодирования: в “идеальном” случае обе величины совпадают, однако на практике используемый метод кодирования может иметь ту или иную степень избыточности.
С рассмотренной точки зрения вероятностный подход имеет преимущество. Но, с другой стороны, алфавитный способ заметно проще и с некоторых позиций (например, для подсчета требуемого количества памяти) полезнее.

Читайте также:  С точки зрения аристотеля политика была

Примечание. В учебниках информатики обычно ограничиваются описанием обоих подходов и не производится их сравнение. Приведенное выше сопоставление авторы провели исходя из собственных представлений. Возможно, составители билетов имели в виду какие-либо еще преимущества и недостатки.

Вопрос о единицах измерения информации уже возникал при обсуждении вероятностного и алфавитного подходов. В самом деле, трудно изложить способ измерения величины, не упоминая при этом о единицах ее измерения. Поэтому мы уже сформулировали выше, что с теоретической точки зрения 1 бит — это информация, которая сокращает неопределенность наших знаний вдвое (ответ на вопрос типа “да”/“нет”, наличие или отсутствие какого-либо свойства, четность числа и т.д.). С точки зрения практической реализации компьютерных устройств для обработки информации 1 бит — это отдельный двоичный разряд любого из таких устройств. Иначе говоря, в вычислительной технике бит служит конструктивной базой для построения всех цифровых двоичных устройств: регистров, сумматоров и т.п. Отсюда очевидно, что в теории информации количество бит может быть любым, в том числе дробным, в то время как в реальных устройствах оно обязательно целое.

Бит, будучи минимально возможной порцией информации в компьютере, довольно маленькая единица измерения. Поэтому на практике чаще всего используется другая единица, которая называется 1 байт =
8 бит. С точки зрения устройства компьютера байт замечателен тем, что является минимальной адресуемой информацией в компьютере, иначе говоря, считать из памяти часть байта невозможно. В современных компьютерах все устройства памяти имеют байтовую структуру, а внешние устройства также обмениваются информацией байтами или кратными ему порциями. Как следствие все типы данных (числа, символы и др.) представляются в компьютере величинами, кратными байту.

Примечание. Даже логические переменные, для каждой из которых, казалось бы, достаточно 1 бита, обычно занимают в оперативной памяти полный байт (или иногда ради единообразия даже несколько байт, например, LongBool в Паскале).

С целью получения шкалы для измерения объемов информации в широких пределах от байта с помощью стандартных приставок образуется целая система более крупных производных единиц:

1 мегабайт = 1024 килобайта

1 гигабайт = 1024 мегабайта

и т.д. В отличие от общепринятой системы производных единиц (широко используемой, например, в физике) при пересчете применяется множитель 1024, а не 1000. Причина заключается в двоичном характере представления информации в компьютере: 1024 = 210, и, следовательно, лучше подходит к измерению двоичной информации.

Научившись измерять количество информации, можно ставить вопрос, как быстро она передается. Величину, которая равна количеству информации, передаваемому за единицу времени, принято называть скоростью передачи информации. Очевидно, что если за время t по каналу связи передано количество информации I, то скорость передачи вычисляется как отношение I / t.

Примечание. При практической работе с величиной скорости передачи информации следует очень внимательно относиться к тому, что именно понимается под передаваемой информацией I. В частности, в процессе передачи к собственно пользовательской информации может добавляться значительное количество служебных, вспомогательных данных: например, согласно сетевому протоколу UDP (User Datagram Protocol), который является некоторой разновидностью известного протокола TCP (Transmission Control Protocol), из 146 байт стандартного Ethernet-кадра 46 являются служебными [6]. Кроме того, непосредственно перед передачей данные могут сжиматься или шифроваться, что также повлияет на время их передачи.

Скорость передачи данных нельзя сделать сколь угодно большой; ее предельная максимальная величина имеет специальное название — пропускная способность канала связи. Данная характеристика определяется устройством канала и, что не так очевидно, способом передачи сигналов по нему. Иными словами, для разных способов представления данных одна и та же линия связи может иметь разную пропускную способность.

К.Шеннон в созданной им теории информации доказал, что достигнуть при передаче пропускной способности линии можно всегда и путем к этому является повышение эффективности кодирования. Более того, даже при наличии в канале шумов любого уровня всегда можно закодировать сообщение таким образом, чтобы не происходило потери информации [1, 5].

Обе величины — скорость передачи и пропускная способность — по определению измеряются в одних и тех же единицах, являющихся отношением единиц информации и времени: бит/с, байт/с, Кб/с и т.д.

Дополнительное пояснение. Кроме того, существует еще одна родственная единица измерения параметров передачи — бод. Количество бод есть количество изменений информационного параметра в секунду. Скорость передачи в битах в секунду в общем случае не совпадает с количеством бод. В [1] приводится очень наглядный пример, когда скорость в бит/с втрое выше, чем число бод. “Если информационными параметрами являются фаза и амплитуда синусоиды, причем различают 4 состояния фазы (0, 90, 180 и 270) и два значения амплитуды, то информационный сигнал имеет восемь различимых состояний. В этом случае модем, работающий со скоростью 2400 бод (с тактовой частотой 2400 Гц), передает информацию со скоростью 7200 бит/с, так как при одном изменении сигнала передается три бита информации”. Возможно, кстати, и обратное соотношение между величинами в бит/с и бод; в частном случае они могут совпадать.

В качестве примера типичных значений скоростей передачи данных в современных компьютерах ниже приводятся табл. 1 и 2, составленные на основе сведений из известной книги [7].

Таблица 1. Характеристики устройств внешней памяти

Таблица 2. Характеристики шин расширения

Примечание. Хотя проблема пропускной способности каналов связи весьма подробно излагается в специальной литературе, в доступных для учителей и школьников источниках она рассматривается не всегда, а если и рассматривается, то весьма поверхностно. Поэтому на экзамене, по мнению авторов, надо требовать от учеников знания только самых минимальных сведений. Расширенный материал в нашей публикации приведен исключительно для того, чтобы дать некоторую общую ориентировку учителям. Нам кажется, что это один из примеров, когда, прежде чем требовать знания вопроса от учащихся, стоит описать его на нужном уровне в школьных учебниках.

1. Акулов О.А., Медведев Н.В. Информатика: базовый курс. М.: Омега-Л, 2005, 552 с.

2. Бройдо Э.А., Ильина О.П. Архитектура ЭВМ и систем. СПб.: Питер, 2006, 718 с.

3. Информационная культура: Кодирование информации, информационные модели. 9–10-е классы. М.: Дрофа, 2000, 208 с.

4. Семакин И.Г. Информатика. Базовый курс. 7–9-е классы / И.Г. Семакин, Л.А. Залогова, С.В. Русаков, Л.В. Шестакова. 2-е изд. М.: БИНОМ, 2004, 390 с.

5. Стариченко Б.Е. Теоретические основы информатики. М.: Горячая линия — Телеком, 2003, 312 с.

6. Никифоров С.В. Введение в сетевые технологии. М.: Финансы и статистика, 2003, 224 с.

7. Аппаратные средства IBM PC. Энциклопедия. / М.Гук. СПб.: Питер, 2003, 923 с.

Дата добавления: 2015-04-23 ; Просмотров: 1079 ; Нарушение авторских прав? ;

Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет

источник

Общая схема передачи сообщения

Источник сообщения — человек или физический, технический и т.д. процесс. Сообщение может быть закодировано (шифр, преобразование человеческой речи в радио-сигнал, электромагнитные колебания, оптические сигналы и т.д.).

Ø От передатчика до приемника закодированный сигнал передается по каналу связи. В качестве носителя при передаче сообщения по каналу связи чаще всего используют:

w механические движения (механика)

w механическое давление жидкости или газа (гидравлика, пневматика)

w волны давления в жидкостях, газах, твердом теле (акустика)

w электрические токи и напряжения,

w электромагнитные волны (радио, свет).

Пропускная способность канала – количество передаваемой по каналу информации, измеряется в бит/с.

2.6. Измерения информации

Подходы к измерению информации

В информатике используются различные подходы к измерению информации:

Алфавитный (кибернетический, объемный) подход к измерению информациине связывает кол-во информации с содержанием сообщения. Кол-во информации зависит от объема текста и мощности алфавита.

Алфавит – конечное множество различных знаков, символов, для которых определена операция конкатенации (приписывания, присоединения символа к символу или цепочке символов); с ее помощью по определенным правилам соединения символов и слов можно получать слова (цепочки знаков) и словосочетания (цепочки слов) в этом алфавите.

Конечная последовательность букв алфавита называется словом.

Длиной некоторого слова называется число составляющих его символов.

N при алфавитном подходе называют мощностью алфавита. Информационная ёмкость каждого знака зависит от количества знаков в алфавите. Следовательно, каждый из N символов несёт i бит информации.

Остаётся подсчитать количество символов в тексте сообщения k.

Алфавитный подход является объективным способом измерения информации и подходит для работы технических устройств.

Минимальная мощность алфавита, пригодного для передачи информации, равна 2. Такой алфавит называется двоичным алфавитом. Информационный вес символа в двоичном алфавите легко опре­делить. Поскольку 2 i = 2, то i = 1 бит. Итак, один символ двоичного алфавита несет 1 бит информации.

Например, основная физическая единица длины — метр. Но существуют мил­лиметр, сантиметр, километр. Расстояния разного размера удобно выражать через разные единицы. Так же обстоит дело и с измере­нием информации.

1 бит — это исходная единица.

Следующая по величине единица — байт. Байт вводится как информационный вес символа из алфавита мощностью 256. Поскольку 256 = 2 8 , то 1 байт = 8 бит.

Ограничений на max мощность алфавита нет, но есть достаточный алфавит мощностью 256 символов. Этот алфавит используется для представления текстов в компьютере. Поскольку 256=2 8 , то 1 символ несет в тексте 8 бит информации.

Пример: слово «мир» несет 24 бит информации.

Содержательный (энтропийный, вероятностный) подход к измерению информации. Этотподход основан на том, что факт получения информации всегда связан с уменьшением неопределенности (энтропии) системы. Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными. Если сообщение не информативно, то количество информации с точки зрения человека = 0.

Пример: вузовский учебник по высшей математике содержит знания, но они не доступны 1-класснику.

Количество информации — это мера уменьшения неопределенности. В качестве меры неопределенности вводится энтропия Н, а количество информации равно:

I = Hapr – Haps

гдеHapr априорная энтропия о состоянии исследуемой системы или процесса;

Haps – апостериорная энтропия.

Апостериори (от лат. aposteriori – из последующего) – происходящее из опыта (испытания, измерения). Априори (от лат. apriori – из предшествующего) – понятие, характеризующее знание, предшествующее опыту (испытанию) и независимое от него.

В случае, когда в ходе испытания имевшаяся неопределенность снята (получен конкретный результат, то есть Haps = 0), количество полученной информации совпадает с первоначальной энтропией.

Так, американский инженер Р. Хартли (1928 г.) процесс получения информации рассматривает как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определяет как двоичный логарифм N.

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log2100 » 6,644. То есть сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единиц информации.

Приведем другие примеры равновероятных сообщений:

1. при бросании монеты: «выпала решка», «выпал орел»;

2. на странице книги: «количество букв чётное», «количество букв нечётное».

Определим теперь, являются ли равновероятными сообщения «первой выйдет из дверей здания женщина» и «первым выйдет из дверей здания мужчина». Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.

Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Формула Шеннона: I = – ( p1 log2 p1 + p2 log2 p2 + . . . + pN log2 pN ), где pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений. N – количество сообщений

Легко заметить, что если вероятности p1, . pN равны, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли.

Задача1: Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика, если в непрозрачном мешочке находится 50 белых, 25красных, 25 синих шариков

2) вероятности шаров 50/100=1/2, 25/100=1/4, 25/100=1/4

Количество информации достигает max значения, если события равновероятны, поэтому количество информации можно расcчитать по формуле

Читайте также:  Портит ли зрение чтение при плохом освещении

Задача2 : В корзине лежит 16 шаров разного цвета. Сколько информации несет сообщение, что достали белый шар?

т.к. N = 16 шаров, то I = log2 N = log2 16 = 4 бит.

Алгоритмическое измерение информации [2]

Был предложен в 1965 году академиком А.Н. Колмогоровым. Алгоритмическая сложность некоторой последовательности данных определяется как минимальная длина вычислительного алгоритма, который мог бы воспроизвести заданную последовательность.

Например: слово 000000 – простое, слово 01010101 – более сложное, а слово, в котором 0 и 1 выбираются экспериментально при бросании монеты (1 – орел, 0 – решка), еще сложнее.

Компьютерная программа, печатающая первое слово, совсем простая; для получение второго слова нужна более сложная программа, которая будет печатать символ, противоположный предыдущему. Случайная последовательность, не обладающая никакими закономерностями, может быть напечатана программой, в которой каждый очередной символ будет печататься отдельным оператором. То есть длина такой программы будет близка к длине самой последовательности. Следовательно, любому сообщению можно приписать количественную характеристику, отражающую размер программы, которая позволяет ее воспроизвести.

Дата добавления: 2016-05-25 ; просмотров: 11763 ; ЗАКАЗАТЬ НАПИСАНИЕ РАБОТЫ

источник

В информатике используются различные подходы к измерению информации:

Содержательный подход к измерению информации. Сообщение – информативный поток, который в процессе передачи информации поступает к приемнику. Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными Информация — знания человека, сообщение должно быть информативно. Если сообщение не информативно, то количество информации с точки зрения человека = 0. (Пример: вузовский учебник по высшей математике содержит знания, но они не доступны 1-класснику)

Алфавитный подход к измерению информации не связывает кол-во информации с содержанием сообщения. Алфавитный подход — объективный подход к измерению информации. Кол-во информации зависит от объема текста и мощности алфавита. Ограничений на max мощность алфавита нет, но есть достаточный алфавит мощностью 256 символов. Этот алфавит используется для представления текстов в компьютере. Поскольку 256=28, то 1символ несет в тексте 8 бит информации.

Вероятностный подход к измерению информации. Все события происходят с различной вероятностью, но зависимость между вероятностью событий и количеством информации, полученной при совершении того или иного события можно выразить формулой которую в 1948 году предложил Шеннон.

Количество информации — это мера уменьшения неопределенности.

1 БИТ – такое кол-во информации, которое содержит сообщение, уменьшающее неопределенность знаний в два раза. БИТ — это наименьшая единица измерения информации

Единицы измерения информации:

1Кб (килобайт) = 210 байт = 1024 байт

1Мб (мегабайт) = 210 Кб = 1024 Кб

1Гб (гигабайт) = 210 Мб = 1024 Мб

N – количество возможных событий

Pi – вероятности отдельных событий

Задача 1: Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика, если в непрозрачном мешочке находится 50 белых, 25красных, 25 синих шариков

2) вероятности шаров 50/100=1/2, 25/100=1/4, 25/100=1/4

3)I= -(1/2 log21/2 + 1/4 log21/4 + 1/4 log21/4) = -(1/2(0-1) +1/4(0-2) +1/4(0-2)) = 1,5 бит

Количество информации достигает max значения, если события равновероятны, поэтому количество информации можно рассчитать по формуле

Задача 2: В корзине лежит 16 шаров разного цвета. Сколько информации несет сообщение, что достали белый шар?

т. к. N = 16 шаров, то I = log2 N = log2 16 = 4 бит.

Верно ли, что истрепанная книжка, если в ней нет вырванных страниц, несет для Вас ровно столько же информации, сколько такая же новая?

Каменная скрижаль весом в три тонны несет для археологов столько же информации, сколько ее хороший фотоснимок в археологическом журнале. Не так ли?

Когда московская радиостудия передает последние известия, то одну и ту же информацию получает и подмосковный житель и житель Новосибирска. Но поток энергии радиоволн в Новосибирске намного меньше, чем в Москве.

Следовательно, мощность сигнала, также как и размер и вес носителя, не могут служить оценкой количества информации, переносимой сигналом. Как же оценить это количество?

Из курса физики вы знаете, что прежде, чем измерять значение какой-либо физической величины, надо ввести единицу измерения. У информации тоже есть такая единица — бит, но смысл ее различен при разных подходах к определению понятия “информация”.

Неизмеряемость информации в быту (информация как новизна).

Вы получили какое — то сообщение, например, прочитали статью в любимом журнале. В этом сообщении содержится какое-то количество информации. Как оценить, сколько информации Вы получили? Другими словами, как измерить информацию? Можно ли сказать, что чем больше статья, тем больше информации она содержит?

Разные люди, получившие одно и то же сообщение, по-разному оценивают его информационную ёмкость, то есть количество информации, содержащееся в нем. Это происходит оттого, что знания людей о событиях, явлениях, о которых идет речь в сообщении, до получения сообщения были различными. Поэтому те, кто знал об этом мало, сочтут, что получили много информации, те же, кто знал больше, могут сказать, что информации не получили вовсе. Количество информации в сообщении, таким образом, зависит от того, насколько ново это сообщение для получателя.

В таком случае, количество информации в одном и том же сообщении должно определяться отдельно для каждого получателя, то есть иметь субъективный характер. Но субъективные вещи не поддаются сравнению и анализу, для их измерения трудно выбрать одну общую для всех единицу измерения.

Таким образом, с точки зрения информации как новизны, мы не можем однозначно и объективно оценить количество информации, содержащейся даже в простом сообщении. Что же тогда говорить об измерении количества информации, содержащейся в научном открытии, новом музыкальном стиле, новой теории общественного развития.

Поэтому, когда информация рассматривается как новизна сообщения для получателя, не ставится вопрос об измерении количества информации.

Объемный подход. Измерение информации в технике

(информация как сообщения в форме знаков или сигналов, хранимые, передаваемые и обрабатываемые с помощью технических устройств).

В технике, где информацией считается любая хранящаяся, обрабатываемая или передаваемая последовательность знаков, сигналов, часто используют простой способ определения количества информации, который может быть назван объемным. Он основан на подсчете числа символов в сообщении, то есть связан только с длиной сообщения и не учитывает его содержания.

Длина сообщения зависит от числа знаков, употребляемых для записи сообщения. Например, слово “мир” в русском алфавите записывается тремя знаками, в английском — пятью (peace), а в КОИ -8 — двадцатью четырьмя битами (111011011110100111110010).

В вычислительной технике применяются две стандартные единицы измерения: бит и байт.

Конечно, будет правильно, если Вы скажете: “В слове “Рим” содержится 24 бита информации, а в сообщении “Миру мир!” — 72 бита”. Однако прежде чем измерить информацию в битах, Вы определяете количество символов в этом сообщении. Нам привычней работать с символами. Каждый символ в настоящее время в вычислительной технике кодируется 8-битным или 16-битным кодом. Поэтому, для удобства была введена более “крупная” единица информации в технике (преимущественно в вычислительной) — байт. Теперь Вам легче подсчитать количество информации в техническом сообщении — оно совпадает с количеством символов в нем.

Поскольку компьютер предназначен для обработки больших объемов информации, то используют производные единицы – килобайт (Кб), мегабайт (Мб), гигабайт (Гб).

Обычно приставка “кило” означает тысячу, а приставка “мега” — миллион, но в вычислительной технике все “привязывается” к принятой двоичной системе кодирования.

цветных слайдов высочайшего качества

аудиозапись речи видного политического деятеля

музыкальный фрагмент качества CD — стерео

фильм высокого качества записи

протоколы операций с банковским счетом

Измерение информации в теории информации (информация как снятая неопределенность)

Получение информации (ее увеличение) одновременно означает увеличение знания, что, в свою очередь, означает уменьшение знания или информационной неопределенности.

За единицу количества информации принимают выбор одного из двух равновероятных сообщений (“да” или “нет”, “1” или “0”). Она также названа бит. Вопрос ценности этой информации для получателя — это уже из иной области.

Книга лежит на одной из двух полок — верхней или нижней. Сообщение о том, что книга лежит на верхней полке, уменьшает неопределенность ровно вдвое и несет 1 бит информации.

Сообщение о том, как упала монета после броска — “орлом” или “решкой”, несет один бит информации.

В соревновании участвуют 4 команды. Сообщение о том, что третья команда набрала большее количество очков, уменьшает первоначальную неопределенность ровно в четыре раза (дважды по два) и несет два бита информации.

Очень приближенно можно считать, что количество информации в сообщении о каком-то событии совпадает с количеством вопросов, которые необходимо задать и ответом, на которые могут быть лишь “да” или “нет”, чтобы получить ту же информацию. Причем событие, о котором идет речь, должно иметь равновероятные исходы.

Сколько вопросов надо задать, чтобы отгадать одну из 32 карт (колода без шестерок), если ответами могут быть, лишь “да” или “нет”?

Оказывается достаточно всего лишь 5 вопросов, но задавать их надо так, чтобы после каждого ответа можно было “отбрасывать” из рассмотрения, ровно половину карт, среди которых задуманной не может быть. Такими, например, являются вопросы о цвете масти карты (“Задуманная карта красной масти?”), о типе карты (“Задуманная карта — “картинка”?”) и т. п.

То есть сообщение о том, какая карта из 32 задумана, несет 5 бит информации.

Во всех приведенных примерах число равновероятных исходов события, о котором идет речь в сообщении, было кратным степени числа 2 (4 = 22, 32 = 25). Поэтому сообщение “несло” количество бит информации всегда было целым числом. Но в реальной практике могут встречаться самые разные ситуации.

Сообщение о том, что на светофоре красный сигнал, несет в себе информации больше, чем бит. Попробуйте объяснить почему.

Известно, что Иванов живет на улице Весенней. Сообщение о том, что номер его дома есть число четное, уменьшило неопределенность. Получив такую информацию, мы стали знать больше, но информационная неопределенность осталась, хотя и уменьшилась.

Почему в этом случае мы не можем сказать, что первоначальная неопределенность уменьшилась вдвое (иными словами, что мы получили 1 бит информации)? Если Вы не знаете ответа на этот вопрос, представьте себе улицу, на четной стороне которой, например, четыре дома, а на нечетной — двадцать. Такие улицы не такая уж большая редкость.

Последние примеры показывают, что данное выше определение количества информации слишком упрощено. Уточним его. Но прежде разберем еще один пример.

Пылкий влюбленный, находясь в разлуке с объектом своей любви, посылает телеграмму: “Любишь?”. В ответ приходит не менее лаконичная телеграмма: “Да!”. Сколько информации несет ответная телеграмма? Альтернатив здесь две — либо. Да либо Нет. Их можно обозначить символами двоичного кода 1 и 0. Таким образом, ответную телеграмму можно было бы закодировать всего одним двоичным символом.

Можно ли сказать, что ответная телеграмма несет одну единицу информации?

Если влюбленный уверен в положительном ответе, то ответ “да” почти не даст ему никакой новой информации. То же самое относится и к безнадежно влюбленному, уже привыкшему получать отказы. Ответ “нет” также принесет ему очень мало информации. Но внезапный отказ уверенному влюбленному (неожиданное огорчение) или ответ “да” безнадежному влюбленному (нечаянная радость) несет сравнительно много информации, настолько много, что радикально изменяется все дальнейшее поведение влюбленного, а, может быть, его судьба!

Таким образом, с точки зрения на информацию как на снятую неопределенность количество информации зависит от вероятности получения данного сообщения. Причем, чем больше вероятность события, тем меньше количество информации в сообщении о таком событии.

Иными словами, количество информации в сообщении о каком-то событии зависит от вероятности свершения данного события.

к оценке сообщений был предложен еще в 1928 году Р. Хартли. Расчетная формула имеет вид:

где N – количество равновероятных событий (число возможных выборов),

Если N = 2 (выбор из двух возможностей), то I = 1 бит.

Бит, выбран в качестве единицы количества информации потому, что принято считать, что двумя двоичными словами исходной длины k или словом длины 2k можно передать в 2 раза больше информации, чем одним исходным словом. Число возможных равновероятных выборов при этом увеличивается в 2k раз, тогда как I удваивается.

Иногда формула Хартли записывается иначе. Так как наступление каждого из N возможных событий имеет одинаковую вероятность p = 1 / N, то N = 1 / p и формула имеет вид

В технике (теория кодирования и передачи сообщений) под количеством информации понимают количество кодируемых, передаваемых или хранимых символов.

Бит — двоичный знак двоичного алфавита .

Бит — минимальная единица измерения информации.

Байт — единица количества информации в системе СИ.

Байт — это восьмиразрядный двоичный код, с помощью которого можно представить один символ.

Единицы измерения информации в вычислительной технике

источник