Введение в теорию информации

Содержание

1 Обзор
2 Историческая справка
3 Количество информации
- 3.1 Энтропия источника информации
- 3.2 Совместная энтропия
- 3.3 Условная энтропия (двусмысленность)
- 3.4 Взаимная информация (трансинформация)
- 3.5 Расхождение Кульбака – Лейблера (информация усиление)
- 3.6 Другие величины
4 Теория кодирования
- 4.1 Теория источников
- 4.2 Пропускная способность канала
5 Приложения для другие области
- 5.1 Использование разведки и секретные приложения
- 5.2 Генерация псевдослучайных чисел
- 5.3 Сейсморазведка
- 5.4 Семиотика
- 5.5 Разные приложения
6 См. также
- 6.1 Приложения
- 6.2 История
- 6.3 Теория
- 6.4 Концепции
7 Ссылки
- 7.1 Классический труд
- 7.2 Другие журнальные статьи
- 7.3 Учебники по информации теория
- 7.4 Другие книги
- 7.5 MOOC по теории информации
8 Внешние ссылки

Совместная энтропия двух источников

Пусть имеется два дискретных источника с энтропиями H(x) и H(y) и объёмами алфавитов k и l (рис. 2)

Рис. 2

Объединив оба эти источника в один сложный источник и определим совместную энтропию. Элементарное сообщение на выходе системы содержит элементарное сообщение x_i и сообщение y_i. Алфавит сложной системы будет иметь объём K.L, а энтропия будет равна

(15)

или

(16)

По теореме умножения вероятностей

Подставляя эти соотношения в (15), получим (17)

Аналогично можно получить

(18)

Здесь H(x) и H(y) – собственная энтропия источников x и y

(19)

-условная энтропия источника y относительно источника x. Она показывает, какую энтропию имеют сообщения y, когда уже известно сообщения x.

Если источники независимы, то

P(y/x)=P(y) и H(y/x)=H(y). В этом случае H(x,y)=H(x)+H(y).

Если источники частично зависимыми, то H(x,y)<H(x)+H(y).

Если источники полностью зависимыми(x и y – содержат одну и ту же информацию), то H(y/x)=0 и H(x,y)=H(x)=H(y).

1.1. Что такое инфоpматика?

Термин «информатика» (франц. informatique) происходит
от французских слов information (информация) и automatique
(автоматика) и дословно означает «информационная автоматика».

Широко распространён также англоязычный вариант этого термина
«Сomputer science», что означает буквально «компьютерная наука».

Инфоpматика это основанная на
использовании компьютерной техники дисциплина, изучающая
структуру и общие свойства информации, а также закономерности и методы
её создания, хранения, поиска, преобразования, передачи и применения в
различных сферах человеческой деятельности.

В 1978 году международный научный конгресс официально закрепил за понятием
«информатика» области, связанные с разработкой, созданием,
использованием
и материально-техническим обслуживанием систем обработки информации, включая
компьютеры и их программное обеспечение, а также организационные, коммерческие,
административные и социально-политические аспекты компьютеризации
массового
внедрения компьютерной техники во все области жизни людей.

Таким образом, информатика базируется на компьютерной технике и немыслима
без нее.

Инфоpматика комплексная научная дисциплина с широчайшим диапазоном применения. Её
приоритетные направления:

pазpаботка вычислительных систем и пpогpаммного обеспечения;
теоpия инфоpмации, изучающая процессы, связанные с передачей,
приёмом, преобразованием и хранением информации;
математическое моделирование, методы вычислительной и прикладной
математики и их применение к фундаментальным и прикладным исследованиям
в различных областях знаний;
методы искусственного интеллекта, моделирующие методы логического и
аналитического мышления в интеллектуальной деятельности человека
(логический вывод, обучение, понимание речи, визуальное восприятие, игры и др.);
системный анализ, изучающий методологические средства, используемые
для подготовки и обоснования решений по сложным проблемам различного характера;
биоинформатика, изучающая информационные процессы в биологических системах;
социальная информатика, изучающая процессы информатизации общества;
методы машинной графики, анимации, средства мультимедиа;
телекоммуникационные системы и сети, в том числе, глобальные
компьютерные сети, объединяющие всё человечество в единое информационное сообщество;
разнообразные пpиложения, охватывающие производство, науку,
образование, медицину, торговлю, сельское хозяйство и все другие виды
хозяйственной и общественной деятельности.

Российский академик А.А. Дородницин выделяет в информатике три неразрывно
и существенно связанные части технические средства, программные и
алгоритмические.

Роль информатики в развитии общества чрезвычайно велика. С ней связано начало
революции в области накопления, передачи и обработки информации. Эта революция,
следующая за революциями в овладении веществом и энергией, затрагивает
и коренным образом преобразует не только сферу материального производства,
но и интеллектуальную, духовную сферы жизни.

Прогрессивное увеличение возможностей компьютерной техники, развитие
информационных сетей, создание новых информационных технологий приводят к
значительным изменениям во всех сферах общества: в производстве, науке,
образовании, медицине и т.д.

1.4. Как передаётся информация?

Информация передаётся в форме сообщений от некоторого источника информации
к её приёмнику посредством канала связи между ними. Источник
посылает передаваемое сообщение, которое кодируется в передаваемый
сигнал. Этот сигнал посылается по каналу связи. В результате
в приёмнике появляется принимаемый сигнал, который декодируется
и становится принимаемым сообщением.

	канал связи
ИСТОЧНИК	————>	ПРИЁМНИК

Примеры:

Cообщение, содержащее
информацию о прогнозе погоды, передаётся приёмнику (телезрителю) от
источника специалиста-метеоролога посредством канала связи
телевизионной передающей аппаратуры и телевизора.
Живое существо своими органами
чувств (глаз, ухо, кожа, язык и т.д.) воспринимает информацию из
внешнего мира, перерабатывает её в определенную последовательность
нервных импульсов, передает импульсы по нервным волокнам, хранит
в памяти в виде состояния нейронных структур мозга, воспроизводит
в виде звуковых сигналов, движений и т.п., использует в процессе
своей жизнедеятельности.

Передача
информации по каналам связи часто сопровождается воздействием помех,
вызывающих искажение и потерю информации.

1.7. Какими свойствами обладает информация?

Свойства информации:

достоверность;
полнота;
ценность;
своевременность;

понятность;
доступность;
краткость;
и др.

Информация достоверна, если она отражает истинное положение дел.
Недостоверная информация может привести к неправильному пониманию или
принятию неправильных решений.

Достоверная
информация со временем может стать недостоверной, так как она обладает
свойством устаревать, то есть перестаёт отражать истинное положение
дел.

Информация
полна, если её достаточно для понимания и принятия решений. Как неполная,
так и избыточная информация сдерживает принятие решений или может повлечь
ошибки.

Точность
информации определяется степенью ее близости к реальному состоянию
объекта, процесса, явления и т.п.

Ценность
информации зависит от того, насколько она важна для решения задачи,
а также от того, насколько в дальнейшем она найдёт применение в каких-либо
видах деятельности человека.

Только
своевременно полученная информация может принести ожидаемую пользу.
Одинаково нежелательны как преждевременная подача информации (когда
она ещё не может быть усвоена), так и её задержка.

Если
ценная и своевременная информация выражена непонятным образом, она
может стать бесполезной.

Информация
становится понятной, если она выражена языком, на котором говорят
те, кому предназначена эта информация.

Информация
должна преподноситься в доступной (по уровню восприятия) форме. Поэтому
одни и те же вопросы по разному излагаются в школьных учебниках и научных
изданиях.

Информацию по одному и тому же вопросу можно изложить кратко
(сжато, без несущественных деталей) или пространно (подробно,
многословно). Краткость информации необходима в справочниках,
энциклопедиях, учебниках, всевозможных инструкциях.

Энтропия дискретного источника с независимым выбором сообщений

В теории информации чаще всего необходимо знать не количество информации I(x_i) содержащееся в отдельном сообщении, а среднее количество информации в одном сообщении, создаваемом источником сообщений.

Если имеется ансамбль(полная группа) из k сообщений x₁, x₂,… x_i,..x_k с вероятностями P(x₁)…P(x_k), то среднее количество информации, приходящееся на одно сообщение и называемое энтропией источника сообщений H(x) определяется формулой

(2) или

(3)

Размерность энтропии – количество единиц информации на символ. Энтропия характеризует источник сообщений с точки зрения неопределённости выбора того или другого сообщения.

Рассмотрим свойства энтропии.

1. Чем больше неопределённость выбора сообщений, тем больше энтропия. Неопределённость максимальна при равенстве вероятностей выбора каждого сообщения:

В этом случае

(4)

т.е. максимальная энтропия равна логарифму от объёма алфавита.

Например, при k=2(двоичный источник)

бит

2. Неопределённость минимальна, если одна из вероятностей равна единице, а остальные – нулю(выбирается всегда только одно, заранее известное сообщение, например — одна буква):

. В этом случае

Эти свойства энтропии иллюстрируются следующим образом.

Пусть имеется двоичный источник сообщений, т.е. осуществляется выбор из двух букв (k=2): x₁ и x₂ P(x₁)+P(x₂)=1

Тогда

Зависимость H(x) от вероятностей выбора для двоичного источника приведена на рис.1

Рис. 1

3. Укрупним алфавит. Пусть на выходе двоичного источника имеется устройство, которое группирует буквы в слова из n букв. Тогда k=2n слов(объём алфавита). В этом случае

бит

Таким образом, укрупнение алфавита привело к увеличению энтропии в n раз, так как теперь уже слово включает в себя информацию n букв двоичного источника. Тем самым доказывается свойство аддитивности энтропии.

4. Энтропия дискретного источника не может быть отрицательной.

Термин “энтропия” заимствован из термодинамики и применительно к технике связи предложен К. Шеноном, в трудах которого были заложены основы теории информации(математической теории связи).

1.8. Что такое обработка информации?

Обработка информации
получение одних информационных объектов из других информационных объектов
путем выполнения некоторых алгоритмов [].

Обработка является одной из основных операций, выполняемых над информацией, и главным
средством увеличения объёма и разнообразия информации.

Средства обработки информации это всевозможные устройства и системы, созданные
человечеством, и в первую очередь, компьютер универсальная машина
для обработки информации.

Компьютеры обрабатывают информацию путем выполнения некоторых алгоритмов.

Живые организмы и растения обрабатывают информацию с помощью своих органов и
систем.

1.9. Что такое информационные ресурсы и информационные технологии?

Информационные ресурсы
это идеи человечества и указания по их реализации, накопленные в форме,
позволяющей их воспроизводство.

Это книги,
статьи, патенты, диссертации, научно-исследовательская и опытно-конструкторская
документация, технические переводы, данные о передовом производственном
опыте и др. [].

Информационные
ресурсы (в отличие от всех других видов ресурсов трудовых,
энергетических, минеральных и т.д.) тем быстрее растут, чем больше их
расходуют.

Информационная технология это совокупность
методов и устройств, используемых людьми для обработки информации.

Человечество занималось обработкой информации тысячи лет. Первые
информационные технологии основывались на использовании счётов
и письменности. Около пятидесяти лет назад началось исключительно
быстрое развитие этих технологий, что
в первую очередь связано с появлением компьютеров.

В настоящее время термин «информационная технология»
употребляется в связи с использованием компьютеров для обработки
информации. Информационные технологии охватывают всю вычислительную
технику и технику связи и, отчасти, бытовую
электронику, телевидение и радиовещание.

Они находят
применение в промышленности, торговле, управлении, банковской системе,
образовании, здравоохранении, медицине и науке, транспорте и связи, сельском
хозяйстве, системе социального обеспечения, служат подспорьем людям различных
профессий и домохозяйкам.

Народы
развитых стран осознают, что совершенствование информационных технологий
представляетсамую важную, хотя дорогостоящую и трудную задачу.

В настоящее время создание крупномасштабных информационно-технологических
систем является экономически возможным, и это обусловливает появление
национальных исследовательских и образовательных программ, призванных
стимулировать их разработку.

Информационные характеристики сигнала

Система связи служит для передачи сообщений от производителя к получателю. Однако не всякое сообщение содержит информацию. Информация – это совокупность сведений об объекте или явлении, которые увеличивают знания потребителя об этом объекте или явлении.

В математической теории связи(теории информации) исходят из того, что в некотором сообщении xi количество информации I(xi) зависит не от её конкретного содержания, степени важности и т.д., а от того, каким образом выбирается данное сообщение из общей совокупности возможных сообщений. В реальных условиях выбор конкретного сообщения производится с некоторой априорной вероятностью P(xi)

Чем меньше эта вероятность, тем больше информации содержится в данном сообщении

В реальных условиях выбор конкретного сообщения производится с некоторой априорной вероятностью P(x_i). Чем меньше эта вероятность, тем больше информации содержится в данном сообщении.

Вероятностный подход и положен в основу определения меры количества информации.

При определении количества информации исходят из следующих требований:

1. Количественная мера информации должна обладать свойством аддитивности: количество информации в нескольких независимых сообщениях должно равняться сумме количества информации в каждом сообщении.

2. Количество информации о достоверном событии (P(x_i)=1) должно равняться нулю, так как такое сообщение не увеличивает наших знаний о данном объекте или явлении.

Указанным требованиям удовлетворяет логарифмическая мера, определяемая формулой

(1)

Чаще всего логарифм берётся с основанием 2, реже – с основанием e:

двоичных систем информации(бит)

натуральных единиц информации(нит)

Одну единицу информации содержит сообщение, вероятность выбора которого равняется 1/2.

В этом случае

двоичных единиц информации (бит)

При применении натуральных логарифмов одну натуральную единицу информации содержит сообщение, вероятность выбора которого равняется 1/e: натуральных единиц информации (нит)

Учитывая, что в практике передачи и преобразования информации широко применяются двоичные символы, двоичная логика, двоичные источники сообщений и двоичные каналы передачи, наиболее часто используется двоичная единица информации (бит).

Хотя при определении количества информации под сообщениями модно понимать любые фразы или телеграфные сообщения, мы здесь элементарными сообщениями будем называть отдельные буквы или слова. При использовании двухуровневых дискретных сигналов, например, мы будем пользоваться элементарными двоичными сигналами “0” и “1” считая их буквами.

Таким образом, алфавит двоичного источника состоит всего из двух букв, из которых можно строить длинные комбинации, называемые кодовыми словами.

См. также

Алгоритмическая вероятность
Байесовский вывод
Теория коммуникации
Теория конструкторов — обобщение теории информации, которое включает квантовую информацию
Индуктивная вероятность
Инфо-метрики
Минимальная длина сообщения
Minimum description length
Philosophy of information

Applications

Active networking
Cryptanalysis
Cryptography
Cybernetics
Entropy in thermodynamics and information theory
Gambling
Intelligence (information gathering)
Seismic exploration

Theory

Coding theory
Detection theory
Estimation theory
Fisher information
Information algebra
Information asymmetry
Information field theory
Information geometry
Information theory and measure theory
Kolmogorov complexity
List of unsolved problems in information theory
Logic of information
Network coding
Philosophy of information
Quantum information science
Source coding

Concepts

Ban (unit)
Channel capacity
Communication channel
Communication source
Conditional entropy
Covert channel
Data compression
Decoder
Differential entropy
Fungible information
Information fluctuation complexity
Information entropy
Joint entropy
Kullback–Leibler divergence
Mutual information
Pointwise mutual information (PMI)
Receiver (information theory)
Redundancy
Rényi entropy
Self-information
Unicity distance
Variety
Hamming distance

Приложения для других областей

Приложения для разведки и секретности

Концепции теории информации применимы к криптографии и криптоанализу. Информационная единица Тьюринга, запрет, использовалась в проекте Ultra, взломав немецкий код Enigma machine и ускорив окончание Второй мировой войны в Европа. Сам Шеннон определил важную концепцию, которая теперь называется расстоянием единственности. Основываясь на избыточности открытого текста, он пытается предоставить минимальный объем зашифрованного текста, необходимый для обеспечения уникальной дешифрируемости.

Теория информации заставляет нас думать, что хранить секреты намного труднее, чем может показаться на первый взгляд. Атака грубой силой может взломать системы, основанные на алгоритмах с асимметричным ключом или на наиболее часто используемых методах алгоритмов с симметричным ключом (иногда называемых алгоритмами с секретным ключом), например блочные шифры. Безопасность всех таких методов в настоящее время исходит из предположения, что никакая известная атака не сможет взломать их за практическое время.

Теоретическая безопасность информации относится к таким методам, как одноразовый блокнот, которые не уязвимы для таких атак методом грубой силы. В таких случаях положительная условная взаимная информация между открытым текстом и зашифрованным текстом (обусловленная ключом ) может гарантировать правильную передачу, в то время как безусловная взаимная информация между открытым текстом и зашифрованным текстом остается нулевой, что приводит к абсолютно безопасной связи. Другими словами, перехватчик не сможет улучшить свое предположение об открытом тексте, узнав шифротекст, но не ключ

Однако, как и в любой другой криптографической системе, необходимо соблюдать осторожность, чтобы правильно применять даже теоретически безопасные методы; Проект Venona смог взломать одноразовые колодки Советского Союза из-за неправильного повторного использования ключевого материала

Генерация псевдослучайных чисел

Генераторы псевдослучайных чисел широко доступны в библиотеках компьютерных языков и прикладных программах. Они почти всегда не подходят для использования в криптографии, поскольку не уклоняются от детерминированной природы современного компьютерного оборудования и программного обеспечения. Класс улучшенных генераторов случайных чисел называется криптографически безопасными генераторами псевдослучайных чисел, но даже они требуют случайных начальных чисел, внешних по отношению к программному обеспечению, чтобы работать должным образом. Их можно получить с помощью экстракторов, если все сделать аккуратно. Мерой достаточной случайности в экстракторах является мин-энтропия, значение, связанное с энтропией Шеннона через энтропию Реньи ; Энтропия Реньи также используется для оценки случайности в криптографических системах. Несмотря на взаимосвязь, различия между этими показателями означают, что случайная величина с высокой энтропией Шеннона не обязательно удовлетворительна для использования в экстракторе и, следовательно, для использования в криптографии.

Сейсморазведка

Одно из первых коммерческих приложений теории информации было в области сейсмической разведки нефти. Работа в этой области позволила отделить нежелательный шум от полезного сейсмического сигнала. Теория информации и цифровая обработка сигналов предлагают значительное улучшение разрешения и четкости изображения по сравнению с предыдущими аналоговыми методами.

Семиотика

Семиотики Doede Nauta и Винфрид Нёт оба считали Чарльза Сандерса Пирса создателем теории информации в своих работах по семиотике. Наута определил семиотическую теорию информации как исследование «внутренних процессов кодирования, фильтрации и обработки информации».

Такие концепции теории информации, как избыточность и управление кодом, использовались семиотиками, такими как Умберто Эко и Ферруччо Росси-Ланди для объяснения идеологии как формы передачи сообщений, при которой доминирующий социальный класс излучает свое сообщение, используя знаки, которые демонстрируют высокую степень избыточности, так что только одно сообщение декодируется среди выбор конкурирующих.

Энтропия дискретного источника с зависимыми сообщениями

Ранее при определении энтропии предполагалось, что каждое сообщение (буква или слово) выбирается независимым образом. Рассмотрим более сложный случай, когда в источнике сообщений имеются корреляционные связи. В так называемом эргодическом источнике выбор очередной буквы сообщения зависит от каждого числа предшествующих n букв. Математической моделью такого источника является марковская цепь n-го порядка, у которой вероятность выбора очередной буквы зависит от n предшествующих букв и не зависит более ранних, что можно записать в виде следующего равенства:

(7)

где c – произвольное положительное число.

Если объём алфавита источника равен K, а число связанных букв, которые необходимо учитывать при определении вероятности очередной буквы, равно порядку источника n, то каждой букве может предшествовать M=Kn различных сочетаний букв(состояний источника), влияющих на вероятность появления очередной буквы x_i на выходе источника. А вероятность появления в сообщении любой из K возможных букв определяется условной вероятностью (7) с учётом предшествующих букв, т.е. с учётом M возможных состояний. Эти состояния обозначим как q₁, q₂,..q_m.

Рассмотрим два простых примера.

Пример 1. Пусть имеется двоичный источник(объём алфавита k=2), выдающий только буквы a и b; порядок источника n=1. Тогда число состояний источника M=K1=21=2(назовём эти состояния q₁ и q₂). В этом случае вероятности появления букв a и b будут определяться следующими условными вероятностями:

P(a/q₁=a), P(a/q₂=b),

где: q₁=a – 1е состояние источника

q₂=b – 2е состояние источника

т.е. P(q₁)=P(a); P(q₂)=P(b)

Пример 2. Пусть по-прежнему K=2(буквы a и b), однако число связанных букв n=2. Тогда M=22=4(четыре возможных состояния): (a,a)=q₁, (a,b)=q₂, (b,a)=q₃, (b,b)=q₄

В этом случае имеем дело со следующими условными вероятностями

P(a/a,a); P(a/a,b); P(a/b,a); P(a/b,b); P(b/a,a)… и т.д. Вероятности состояний определяются равенствами P(q₁)=P(a,a), P(q₂)=P(a,b), P(q₃)=P(b,a), P(q₄)=P(b,b).

Энтропия эргодического дискретного источника определяется в два этапа:

1) Вычисляется энтропия источника в каждом из M состояний, считая эти состояния известными:

для состояния q₁ q₂

………..……………………………..….… q_m

2) Далее находим H(x) путём усреднения по всем состояниям q;

(8)

При наличии корреляционных связей между буквами в эргодическом источнике энтропия уменьшается, т.к. при этом уменьшается неопределённость выбора букв и в ряде случаев часть букв можно угадать по предыдущим или ближайшим буквам.

Пропускная способность непрерывного канала связи

Если x(t)-сигнал на входе канала связи, а y(t)=x(t)+ς(t) – сигнал на его выходе(ς(t)-аддитивная помеха), то скорость передачи информации по непрерывному каналу связи будет определяться выражением (23), в котором величину 1/τ надо заменить на 2F_max=2F_k

(31)

где, как и ранее, H(y) – это энтропия выходного сообщения, H(y,x) – энтропия шума(почему она так называется, будет видно из дальнейшего изложения).

Пропускная способность равна максимально возможной скорости передачи по каналу связи, когда источник сигнала полностью согласован с характеристиками канала связи:

(32)

Максимум H(y) достигается в случае гаусcовского закона распределения величины y. При этом:

(33)

При учёте влияния помехи необходимо рассматривать наихудший случай, когда помеха распределена также по гаусcовскому закону. Условная вероятность P(y/x) – это попросту плотность вероятности W(y/x) случайной величины y при якобы известном заранее x является случайной. Но, так как, y(t)=x(t)+ξ(t) можно записать

где — дисперсия величины y при известном x, т.е. дисперсия помехи .

Определим условную энтропию H(y/x)

В этом выражении предполагается, что x известно заранее. Таким образом, величина x в приведенном выражении является попросту математическое ожидание величины y. Однако известно, что энтропия непрерывного случайного процесса от математического ожидания не зависит. Тогда получаем

отсюда видно, почему условная энтропия H(y/x) называется энтропией шума.

Для гауссовского закона распределения помехи максимальное значение энтропии шума, в соответствии (30) будет равно

(34)

Подставляя (33) и (34) в (32) получаем

(35)

Перенося число 2 под знак логарифма, получим . В этом выражении — мощность помехи, а , где P_c – мощность сигнала на выходе канала связи. С учётом этого получаем окончательно формулу для вычисления пропускной способности непрерывного канала связи(формулу Шеннона):

(36)

В заключении отметим следующее. Для достижения скорости передачи информации по непрерывному каналу связи, близкой к пропускной способности канала связи, сигнал x(t) по статической структуре должен быть близок к флуктуационной помехе (белому шуму) с гауссовским законом распределения.

Эпсилон-энтропия источника непрерывных сообщений

Сигнал на выходе источника (И) непрерывных сообщений (например, микрофона, телефона, датчика температуры и пр.) представляет собой непрерывный случайный процесс, энтропия которого в любом из сечений в общем случае равна бесконечности. Такое количество информации не может быть передано по реальному каналу связи, пропускная способность которого всегда ограничена. Это и не нужно, так как скорость восприятия информации любым потребителем на выходе канала всегда ограничена его физическими возможностями. Поэтому непрерывный сигнал на выходе канала связи даже без помех отличается от сигнала на входе, так как содержит не всю информацию о нём (причём под каналом связи можно понимать любое преобразование одного ансамбля сигналов в другое: модуляцию, усиление, дискретизацию и пр.). Уже преобразование непрерывного сообщения в сигнал соответствующим устройством (микрофоном или др. датчиком сигнала) связано с потерей части информации, а сигнал отображает сообщении лишь с некоторой точностью

где x(t) — сигнал на входе преобразователя; – сигнал на выходе преобразователя (Пр) или оценка входного сигнала преобразователем, который всегда представляет собой некоторое решающее устройство, работающее по определенному правилу и заданному критерию качества.

Критерий качества, как известно, определяется потребителем информации, например, среднеквадратическое отклонение

или дисперсия ошибки

Эпсилон-энтропией H_ε(x)(ε-энтропией) называется минимальное количество информации, которое должно содержаться в выходном сигнале о входном сигнале x(t), чтобы этот сигнал можно было восстановить с заданной точностью ε_ср.

где

I(x, )-взаимная информация x и ;

h(x) и h(x/ )-соответственно, дифференциальная энтропия сигнала x(t) и условная энтропия x(t), когда известно; min и max берутся по всевозможным условным ФПВ w(x/ ).

В общем случае, когда сигнал (или сообщение) x(t) является гауссовским с дисперсией , ошибка ε(t) также является гауссовской с дисперсией , а с учётом аддитивного характера ошибки ε(t) условная энтропия h(x/ ) полностью определяется дифференциальной энтропией h(ε). Соответственно, maxh(x/ )=maxh(ε)= .

Тогда ε – энтропия одного сечения гауссовского источника(ε – энтропия одного отсчёта)

h_ε(x)= — =0,5 .

Величина показывает отношение мощности(дисперсии) сигнала x(t) к мощности(дисперсии) ошибки, при котором среднеквадратическое отклонение сигналов x(t) и не превышает .

Следовательно, производительность источника непрерывных сообщений можно определить как количество информации, которое необходимо передавать в единицу времени, чтобы восстановить сообщение с заданной точностью.

h_ε(x)=vh_ε(x),

где v=1/ — скорость передачи отсчетов на выходе источника, – интервал между отсчетами.

Для стационарного сигнала с ограниченным спектром =1/(2F_max), тогда h_ε(x)=2F_max h_ε(x).

Если, кроме того, что источник является гауссовским, то

h_ε(x)= F_max.

Количество информации, выдаваемое гауссовским источником за время T_c, равно T_c h_ε(x)= T_cF_max, что совпадает с формулой для объёма сигнала, когда динамический диапазон сигнала

D_c= .

Это значит, что объём сигнала на выходе источника равен количеству информации, которое содержится в сигнале для его воспроизведения с заданной точностью.

Для канала с пропускной способностью C, на выходе которого подключен источник с производительностью h_ε(x), теорема К. Шеннона для канала с шумами принимает вид:

Если при заданном критерии точности источника (например, ) его эпсилон-производительность меньше пропускной способности канала h_ε(x)<C, то существует способ кодирования (преобразования сигнала), при котором неточность воспроизведения сколь угодно близка к ; при h_ε(x)>C такого способа не существует.

Теорема К. Шеннона определяет предельные возможности согласования источника непрерывных сообщений с каналом связи. Практически это достигается применением помехоустойчивых видов модуляции и кодирования.

1.11. Вопросы для самоконтроля

1.1. Что означает термин «информатика» и каково его происхождение?

1.2. Какие области знаний и административно-хозяйственной деятельности
официально закреплены за понятием «информатика» с 1978 года?

1.3. Какие сферы человеческой деятельности и в какой степени
затрагивает информатика?

1.4. Назовите основные составные части информатики и основные
направления её применения.

1.5. Что подразумевается под понятием «информация» в бытовом,
естественно-научном и техническом смыслах?

1.6. Приведите примеры знания фактов и знания правил. Назовите
новые факты и новые правила, которые Вы узнали за сегодняшний день.

1.7. От кого (или чего) человек принимает информацию? Кому передает
информацию?

1.8. Где и как человек хранит информацию?

1.9. Что необходимо добавить в систему «источник информации
приёмник информации», чтобы осуществлять передачу сообщений?

1.10. Какие типы действий выполняет человек с информацией?

1.11. Приведите примеры ситуаций, в которых информация

а) создаётся;	д) копируется;	и) передаётся;
б) обрабатывается;	е) воспринимается;	к) разрушается;
в) запоминается;	ж) измеряется;	л) ищется;
г) делится на части;	з) принимается;	м) упрощается.

1.12. Приведите примеры обработки информации человеком. Что является
результатами этой обработки?

1.13. Приведите примеры информации:

а) достоверной и недостоверной;
б) полной и неполной;
в) ценной и малоценной;
г) своевременной и несвоевременной;
д) понятной и непонятной;
е) доступной и недоступной для усвоения;
ж) краткой и пространной.

1.14. Назовите системы сбора и обработки информации в теле человека.

1.15. Приведите примеры технических устройств и систем, предназначенных
для сбора и обработки информации.

1.16. От чего зависит информативность сообщения, принимаемого человеком?

1.17. Почему количество информации в сообщении удобнее оценивать не
по степени увеличения знания об объекте, а по степени уменьшения
неопределённости наших знаний о нём?

1.18. Как определяется единица измерения количества информации?

1.19. В каких случаях и по какой формуле можно вычислить количество
информации, содержащейся в сообщении?

1.20. Почему в формуле Хартли за основание логарифма взято число 2?

1.21. При каком условии формула Шеннона переходит в формулу Хартли?

1.22. Что определяет термин «бит» в теории информации и в вычислительной
технике?

1.23. Приведите примеры сообщений, информативность которых можно
однозначно определить.

1.24. Приведите примеры сообщений, содержащих один (два, три) бит
информации.