3. ПРОБЛЕМЫ ПЕРЕДАЧИ НЕПРЕРЫВНОЙ ИНФОРМАЦИИ
3.1. Непрерывные сообщения. Квантование и дискретизация.
Теорема Котельникова
3.1.1. Непрерывные сообщения. Квантование и
дискретизация.
В данном разделе мы будем рассматривать источники непрерывных
сообщений , которые в
каждый момент времени могут случайным образом принять одно из бесконечного
множества возможных состояний. Под непрерывным сообщением
будем понимать
некоторую непрерывную случайную величину, однозначно соответствующую состоянию
источника. Вероятностное описание такого сообщения задается его плотностью
распределения. В зависимости от характера изменения во времени переменные
сообщения могут представлять собой либо непрерывные случайные процессы (см. сигналы типа 1 во
введении), либо процессы с дискретным временем, по-другому называемые
случайными последовательностями (см. сигналы типа 2 во
введении). Возможны два подхода к организации передачи непрерывных сообщений
по каналам связи:
1) преобразование непрерывных сообщений в дискретные и
передача их по дискретным каналам;
2) передача по непрерывным каналам.
В данном разделе будут рассмотрены проблемы, возникающие при
реализации каждого из них. Очевидно, что в первом случае неизученными остаются
лишь вопросы, связанные с преобразованием непрерывных сообщений в дискретные.
Остановимся на них более подробно.
Рассмотрим вначале непрерывное сообщение,
представляющее собой процесс
с дискретным временем, т.е. совокупность отсчетов непрерывной случайной величины
Х. Одна из возможных реализаций такого процесса представлена на рисунке 3.1.
Истинные значения сигнала в каждый
момент времени показаны точками. Предположим, что все возможные (или по крайней
мере наиболее вероятные) значения отсчетов процесса сосредоточены в диапазоне от
xmin до xmax. Разобьем весь этот диапазон на конечное
число
(3.1.а) интервалов
и границы этих интервалов
хк-1, хк, хк+1 и т.д. будем считать
разрешенными значениями уровней отсчетов процесса. При этом число разрешенных
уровней Ny=N-1. (3.1.б) Процедура округления истинного значения
отсчета до значения ближайшего разрешенного уровня называется квантованием или
дискретизацией по значению (уровню) (округленные значения
сигнала на рисунке показаны кружочками). Очевидно, что после осуществления
операции квантования непрерывная случайная величина Х превращается в дискретную,
т.е. имеющую конечное число возможных значений, а непрерывное сообщение - в
последовательность элементарных дискретных сообщений источника с объемом алфавита
Nу. Из определения операции квантования следует, что ей присуща
неизбежная потеря информации, обусловленная наличием погрешности квантования
. Анализ этой погрешности
проведем далее, здесь же отметим, что ее значение (а, следовательно, и
количество теряемой из-за нее информации) является контролируемым и может быть
сделано необходимо малым путем выбора достаточного количества Nу
разрешенных уровней шкалы квантования (вследствие соответствующего уменьшения
шага квантования
). Таким
образом, непрерывные сообщения, описываемые процессом с дискретным временем, с
помощью квантования отсчетов процесса с контролируемой точностью могут быть
преобразованы в дискретные.
Рассмотрим теперь другой тип непрерывных
сообщений, описываемый процессами с непрерывным временем. Реализация такого
процесса x(t) показана на рисунке 3.2.
Очевидно, что если осуществить его дискретизацию
, т.е. замену всей совокупности значений процесса отдельными
его мгновенными значениями, выбранными в определенные "разрешенные" моменты
времени
, то он превращается в
уже рассмотренный процесс с дискретным временем X¶(t). На первый взгляд дискретизация приводит к
необратимым существенным потерям информации, обусловленным <отбрасыванием>
большей части мгновенных значений процесса. Однако, как будет видно из
дальнейших рассуждений, дело обстоит не совсем так (почти совсем ни
так).
Ввиду особой важности процедуры дискретизации для процессов передачи и
преобразования непрерывных сообщений рассмотрим ее более подробно.
3.1.2. АИМ - сигнал и его спектр
Практическая реализация процесса дискретизации может быть
осуществлена с помощью упрощенной схемы, показанной на рисунке 3.3.а, временные
диаграммы, характеризующие ее работу даны на рисунке 3.3.б.
Электронный ключ управляется последовательностью
коротких, но имеющих конечную длительность t,
импульсов uу(t), следующих с периодом Dt, равным шагу дискретизации
, т.е. интервалу времени
между соседними выбираемыми в процессе дискретизации значениями сигнала. На время действия
импульса ключ замыкается, и выход схемы оказывается подключенным ко входу. В
результате графики сигналов на входе и выходе схемы будут иметь вид, показанный
на рисунке 3.3.б.
Для математического описания рассмотренного процесса введем
функцию
(3.1), описывающую
коэффициент передачи данной схемы, изменяющейся во времени. И функцию
K1(t), показанную на рисунке 3.4 и описывающую значение
коэффициента передачи для случая, соответствующего подаче на управляющий вход
ключа не последовательности, а одного управляющего импульса.

Как видно из рисунка 3.4.
При этом, если начало
координат на рисунке (3.3.б) сместить по оси времени в середину одного из
управляющих импульсов, в предположении бесконечного времени работы схемы можно
записать:
В итоге с учетом (3.1) и (3.3) выходной сигнал
теперь можно представить в виде:
Функция
, получаемая в результате реально выполнимой
дискретизации (т.е. при конечной длительности t), называется амплитудно-импульсно-модулированным сигналом
(сокращенно АИМ-сигналом).
Как известно, наряду с описанием сигналов
посредством задания их мгновенных значений в виде формул, определяющих
зависимости от времени X¶(t),
и т.д. (т.е. во временной области, т.к. аргумент -
время t), существует и другой способ - спектральное представление сигналов, при
котором сигналы задаются спектрами. При этом каждому виду сигнала
x(t) соответствует свой спектр X(jw), связанный с
x(t) преобразованием Фурье. Таким образом, исходный
x(t) и полученный из него в результате реальной дискретизации АИМ
сигнал
имеют спектры
соответственно X(jw) и
. Используя выражение (3.4), связывающее эти
сигналы, установим, как связаны их спектры. Для этого заменим в (3.4)
K(t) ее разложением в ряд Фурье, а затем воспользуемся свойствами
преобразования Фурье. Поскольку в соответствии с (3.3) и (3.4) K(t)
- четная периодическая функция с периодом Dt она может быть разложена на своем периоде от
до
в ряд Фурье следующем образом:
(3.5), где
, n=0,1,2..., косинус - коэффициенты
ряда Фурье. Поскольку в соответствии с (3.3) на интересующем нас интервале от
до
K(t)=K1(t), последнее
выражение модно записать так:
,
откуда, учитывая (3.2) и
вычисляя интеграл получаем
(3.6). Подставляя ряд (3.5) в первое из равенств (3.4) имеем
(3.7), где
- круговая частота следования отсчетных импульсов
(частота дискретизации).
Как известно, преобразование Фурье обладает
следующими свойствами:
1) Если x(t) имеет преобразование фурье
X(jw), то
, где
C=const имеет
преобразование фурье
|
 |
;
|
2) Преобразование фурье суммы функций времени
равно сумме преобразований фурье от каждой из этих функций;
3) Если
x(t) имеет преобразование фурье X(jw), то
имеет преобразование фурье:
 |
.
|
Вычисляя с учетом этих свойств преобразования Фурье от обеих
частей выражения (3.7), получаем равенство, связывающее спектры
и X(jw)
сигналов |
 |
и |
x(t) |
:
|
(3.8). Полученное выражение показывает, что спектр
АИМ сигнала представляет собой сумму спектра исходного непрерывного сигнала,
умноженного на
, и смещенных
влево
и вправо
копий спектра X(jw),
умноженных на коэффициенты an. При t№0 (импульсы
конечной длительности) слагаемые спектра, соответствующие n>0
затухают с ростом n, так как в соответствии с (3.6) в этом случае затухают
коэффициенты an. Рассмотренный АИМ сигнал тем ближе к
интересующему нас процессу с дискретным временем, чем меньше длительность
управляющих импульсов.
3.1.3. d -
функция. Математическая модель дискретизированного сигнала. Спектр
дискретизированного сигнала
Предположим теперь, что длительность t и коэффициент А передачи ключа в замкнутом состоянии (см. (3.2)) выбраны так, что
. Перейдем к пределу при
t®0, сохраняя произведение
, равное площади импульса, описываемого функцией
K1(t), постоянным, т.е. полагая
. Тогда получим
(3.9), где d(t) - дельта-функция
, математическая абстракция, функция
описывающая импульс бесконечно малой ширины и единичной площади.
В
соответствии с этим определением d
- функция описывается равенствами:
(3.10)
и
(3.11). Выражения (3.10) и (3.11) определяют несмещенную d - функцию. Существует понятие смещенной во времени (задержанной d(t-t0) и опережающей d(t+t0)) d
- функции d(t±
t0), которая определяется так:
(3.12)
или
(3.13). При вычислении интегралов с d - функцией в подинтегральном выражении обычно
пользуются фильтрующим свойством d - функции, которое выражается равенством:
(3.14). Иногда бывает полезной
следующая запись свойства (3.14):
(3.14а), где a=const. С учетом
изложенного вычислим предел при тех же условиях, что и в (3.9), от выражения (3.4), определяющего АИМ сигнал:
(3.15). Первое из равенств (3.15)
означает, что в пределе при t®0 АИМ сигнал превращается в процесс с
дискретным временем или дискретизированный сигнал.
Второе равенство следует из (3.4) с учетом (3.9), а последнее
справедливо, т.к. в силу свойств смещенной d - функции, описываемых (3.12) или (3.13),
во всех точках
произведения
, в точках же
, а
. Выражение (3.15) есть математическая модель
дискретизированного сигнала, представляющая собой произведение непрерывной
функции времени на последовательность смещенных d - функций. Рассмотрим теперь, как связаны спектр
дискретизированного сигнала X¶(jw) и спектр исходной непрерывной функции
X(jw). Для этого вычислим тот же самый предел от обеих частей
выражения (3.8). При этом предельном переходе изменяются лишь коэффициенты
аn
,
поэтому формула (3.8) сразу дает спектр X¶(jw) дискретной функции
, если в нее подставить соответствующие значения
а=const, получающиеся из (3.6) при t®0,
. Из (3.6) находим
; n=0,1,2... после чего (3.8) принимает
вид:
(3.16). Выражение (3.16)
показывает, что спектр дискретизированного сигнала является бесконечным и
периодическим с периодом равным w¶. Эти утверждения иллюстрируются графиками,
представленными на рисунке 3.5.

На рисунке показаны: спектр непрерывного сигнала,
ограниченный частотой wm (рисунок а) и спектры дискретизированного
сигнала, соответствующие различным частотам дискретизации (рисунки б-г).
3.1.4. Теорема Котельникова
Проанализируем результаты, представленные на рисунке 3.5. Как
видно из графиков при выполнении условия
слагаемые спектры дискретизированного
сигнала либо не соприкасаются (рисунок 3.5в), либо примыкают друг к другу
(рисунок 3.5б), но не перекрываются. Перекрытие слагаемых спектров происходит
лишь в том случае, когда условие (3.17) не выполняется и w¶<2Ч wm. Очевидно,
что при выполнении (3.17), используя идеальный фильтр низких частот с частотной
характеристикой вида
(3.18),
где C=const>0, и полагая wгр=wm
можно по дискретизированному сигналу точно восстановить спектр
X(jw) функции x(t), а, следовательно, и саму эту
функцию, отфильтровав все боковые спектры
. Математически это преобразование описывается
следующим образом:
(3.19),
где X*(jw) - спектр сигнала на выходе восстанавливающего
фильтра. Равенство
,
получающееся при
, означает,
что
, где
- сигнал на выходе фильтра, так как одна и та же
спектральная плотность не может соответствовать двум различным временным
функциям. Графическая иллюстрация восстановления показана на рисунке 3.6.
Из
условия
уточним коэффициент
передачи фильтра: так как
,
т.е.
, то
(3.20).
Если неравенство (3.17) не выполняется, то
из-за взаимного перекрытия слагаемых Х[j(w-nw0)]
происходит изменение формы спектра Х¶(jw)
(см. 3.5 г) и точное восстановление Х(jw), а следовательно и x(t)
невозможно. Таким образом, при выполнении неравенства (3.17) процесс с
дискретным временем x¶(t),
являющийся результатом дискретизации непрерывного процесса х(t),
теоретически содержит всю информацию о всех значениях непрерывного процесса
х(t).
Данное утверждение и составляет основное содержание теоремы
Котельникова, которая обычно формируется так: непрерывная
функция времени, не содержащая в своем спектре частот свыше wm,
полностью определяется последовательностью своих дискретных отсчетов
x(kЧ Dt),
следующих с частотой
.
Проведенные рассуждения составляют один из возможных вариантов доказательства
этой теоремы.
3.2. Оценка ошибок дискретизации и квантования
3.2.1. Оценка ошибок дискретизации.
Рассуждения, которые привели нас к теореме Котельникова,
построены на основе трех чисто математических абстракций:
1) Понятия функции с ограниченным спектром (как упрощенной
модели реальных сигналов);
2) Понятия идеального фильтра нижних
частот;
3) Понятия процесса с дискретным временем (как предельного случая
AИM - колебания с импульсами нулевой длительности).
В действительности ни одно из этих предложений не выполняется.
Оценим возникающие за счет этого погрешности.
3.2.1.1. Оценка погрешности дискретизации обусловленной
неограниченностью спектра реального сигнала.
Реальные процессы конечной длительности имеют бесконечно
широкий спектр. При этом процессы дискретизации и восстановления в частотной
области иллюстрируются рисуноком 3.7.
Точность восстановления удобно оценивать отношением
сигнал- шум на выходе фильтра.
(3.21), где Ех - энергия полезного сигнала, Ee - энергия сигнала ошибки (шума). Энергию
Ех можно оценить в соответствии с равенством Парсеваля:
(3.22).
Величину Ee определим исходя из того, что ошибка
e=x*(t)-x(t) вызвана двумя причинами.
Во-первых, в восстановленном сигнале
отсутствуют спектральные составляющие сигнала x(t)
с частотами
- их обрезает
фильтр. Энергию этой части помехи по аналогии с (3.22) можно вычислить как
(3.23). Во-вторых, в сигнале
имеются компоненты "хвостов"
сдвинутых спектров
,
nі1, попадающие в полосу фильтра.
Энергия этой части помехи
(3.24). Точное определение
очень сложно, однако ее можно оценить, заменив процедуру интегрирования
бесконечного числа хвостов в ограниченном частотном диапазоне 0ёwгр интегрированием одного хвоста в
бесконечном диапазоне
(3.25).
Таким образом, с учетом (3.23), (3.25) и (3.21) имеем
, где DEx - энергия функции х(t),
заключенная в спектральном составе на частотах
. Соотношение (3.26) позволяет при заданной форме
x(jw) определить знак
, обеспечивающее необходимую точность
восстановления.
Проведенные рассуждения показывают простой путь двукратного
уменьшения рассмотренной погрешности. Этого можно добиться, включив на входе
дискретизатора идеальный фильтр нижних частот с
. При этом произойдет заведомое искажение сигнала,
характеризуемое величиной
,
зато будут полностью исключены искажения, характеризуемые
, вследствие чего выражение (3.26) примет вид:
.
3.2.1.2. Оценка погрешности дискретизации, обусловленной
неидеальностью интерполирующего фильтра.
Идеальный ФНЧ с частотной характеристикой вида (3.18)
физически нереализуем. АЧХ физически реализуемых фильтров не может быть равна
нулю в диапазоне частот (может быть равна нулю только в точке, т.е. пересекать
ось частот на графике) и не может иметь бесконечно крутого перехода от полосы
пропускания к полосе непропускания. Вместе с тем при увеличении порядка (т.е.
сложности) реального фильтра его АЧХ могут сколь угодно близко приближаться к
АЧХ идеального фильтра, но некогда не будет ей равна.
Природа возникновения
погрешностей, обусловленных этим фактором, иллюстрируется рисуноком 3.8.
Величина энергии сигнала ошибки в этом случае:
(3.27). В этой записи для простоты
под K(jw) понимается нормированная КЧХ интерполированного фильтра, для ФНЧ при
такой нормировке в (3.18) с=1.
Первое слагаемое в (3.27) есть энергия ошибки
за счет искажений ("завала") спектра X(jw) в полосе 0ёw¶ второе слагаемое дает энергию помехи
за счет неполного подавления фильтром "хвостов" сдвинутых спектров. Оценка
второго слагаемого в (3.27) может быть выполнена с помощью формулы (3.25).
Подставив (3.27) и (3.22) в (3.21) можно определить вклад, вносимый в отношение
сигнал-шум этой погрешностью. Увеличивая порядок восстанавливающего фильтра
всегда можно обеспечить его допустимо малое значение.
Другим реальным путем
частичного уменьшения этой погрешности является увеличение частоты дискретизации
. Действительно, при увеличении w¶ вид
графика спектра рис 3.7а изменится и станет похож на рисунок 3.5в (составляющие
спектра <раздвинуться>). Если при этом выбрать частоту среза
восстанавливающего фильтра равной
, то при подлежащем выборе w¶ большая часть неидеальностей частотной характеристики
фильтра придется на участки спектра дисретизированного сигнала
с близким к нулю значением
, в
результате чего анализируемая погрешность станет пренебрежимо малая.
3.2.1.3. Оценка погрешности дискретизации, обусловленной
конечной длительностью отсчетных импульсов.
Длительность от счетных импульсов t
всегда является конечной величиной. При этом, если исходная функция с
ограниченным спектром восстанавливается идеальным ФНЧ по АИМ - сигналу
, полученному показанным на рис 3.3
способом, то длительность от счетных импульсов никакой роли не играет: при любом
длительности tЈDt исходная
x(t) восстанавливается точно. Данное утверждение следует из того,
что, как видно из выражения (3.8) спектр АИМ - сигнала при любом tЈDt имеет такую же структуру, как и спектр
дискретизированного сигнала, т.е. состоит из основного
и боковых спектров
, которые могут быть отфильтрованы восстанавливающим
фильтром.
Однако в реальных условиях АИМ - сигнал, используемый для
восстановления исходной функции, отличен от
. Отличие состоит в том, что этот сигнал (обозначим
его
) является
последовательностью прямоугольных импульсов с плоскими вершинами, тогда как
вершины импульсов сигнала
изменяется, повторяя в своем изменении х(t) (см. рисунок 3.9).
Такой вид
обусловлен реальным способом восстановления: по известному значения отсчета
x(kDt) формируется прямоугольный
импульс длительностью t и высотой
x(kDt), подаваемый затем на фильтр.
Рассмотрим, как влияет данный эффект на точность восстановления
х(t).
Из рисунка 3.9 видно, что X¶ (t) можно определить следующим выражением:

Но соотношение (3.28) совпадает
по форме с выражением, описывающим выходной сигнал фильтра с импульсной реакцией
, на входе которого действует
сигнал
, определяемый (3.15).
Иначе говоря выражение (3.28) позволяет трактовать сигнал
, как выходной сигнал фильтра с импульсной реакцией
h(t), на вход которого подается сигнал
. Поэтому восстановление х(t) по
сигналу
можно иллюстрировать
эквивалентной схемой (рисунок 3.10).
Из рисунка 3.10 видно, что последовательно включенные Ф и
интерполирующий ФНЧ можно заменить эквивалентным восстанавливающим фильтром с
комплексной частотной характеристикой.
|
Кэкв(jw)=
К(jw)Ч Кифнч(jw), |
(3.30)
|
где К(jw) - комплексная частотная
характеристика фильтра Фс импульсной реакцией вида (3.29). Она может
быть определена как
|
|
(3.31)
|
Таким образом, конечной длительности
стробирующих импульсов эквивалентно изменению КЧХ восстанавливающего фильтра в
соответствии с (3.30) и (3.31). Величина этой погрешности может быть оценена
посредством (3.27) в предположении Кинт(jw)=Кэкв(jw) и
необходимым образом уменьшена сокращением длительности t или корректирующим изменением КЧХ и ФНЧ восстанавливающего
фильтра, .... ..... Кэкв(jw) к Кифнч(jw). Другим реальным
эффективным способом уменьшения этой пограшности также как и в предыдущем случае
является увеличение частоты дискретизации по сравнению с нижним пределом,
задаваемым (3.17).
Итак, произведенная оценка погрешностей дискретизации
показывает, что в реальных условиях эффект, утвержденный теоремой Котельникова,
может быть достигнут с требуемой точностью за счет некоторого увеличения частоты
дискретизации wд.
3.2.2. Оценка ошибок квантования
Будем рассматривать квантование с равномерным
шагом Dx=const, т.е. равномерное
квантование.
Как было отмечено в § 3.1.1. в процессе
квантования неизбежно возникает ошибка квантования e.
Последовательность ошибок квантования e(kЧDt), возникающая при квантовании
процесса с дискретным временем, называется шумом квантования. Обычно шум
квантования предполагают стационарным эргодическим случайным процессом.
Чаще
всего интерес представляют максимальное значение ошибки квантования, ее среднее
значение e, равное математическому ожиданию шума и
среднеквадратическое отклонение se, равное
квадратному корню из дисперсии шума (она характеризует
мощность шума квантования). Все эти величины зависят от способа округления,
применяемого при квантовании, кроме того
и se зависят от закона распределения w(e) мгновенных значений сигнала в пределах шага
квантования.
Считая шаг квантования Dx малым по
сравнению с диапазоном изменения сигнала, плотность w(x) в пределах этого шага
можно принять равномерной, т.е.
.
Различают квантование с округлением, с
усечением и с усечением модуля.
При квантовании с округлением истинному
значению отсчета приписывает ближайший разрешенный уровень квантования
независимо от того, находится он сверху или снизу. Очевидно, что при этом

Квантование с округлением требует определенной
сложности в реализации. Проще выполняется квантование с усечением, при котором
истинному значению отсчета приписывается ближайший нижний уровень. При этом
emax=Dx; |
|
т.е. максимальное значение погрешности в 2 раза
больше, а
, что приводит к
накоплению погрешности квантования при дальнейшей обработке квантованной
последовательности.
Промежуточное положение по точности и сложности
реализации занимает квантование с усечением модуля, которое для положительных
отсчетов является таким же, как и квантование с усечением. Отрицательным
отсчетам приписывается ближайший верхний уровень. При этом
то есть накопление погрешностей не происходит, но
в 2 раза увеличивается максимальная погрешность, и в 2 раза - мощность шума
квантования
. Выбирая
достаточно большее число уровней квантования N, шаг квантования.
, а следовательно и все
рассмотренные погрешности можно сделать необходимо малыми. При неравномерном
законе распределения мгновенных значений сигнала квантования с постоянным шагом
не является оптимальным по
критерию минимума среднеквадратической ошибки
. Квантуя участки с менее вероятными значениями
сигнала с большим шагом значение
можно уменьшить, при этом же количестве уровней
квантования.
3.3. Информация в непрерывных сообщениях
Для того, чтобы оценить потенциальные возможности передачи сообщений по непрерывным
каналам, необходимо вести количественные информационные характеристики
непрерывных сообщений и каналов. Обобщим с этой
целью понятие энтропии
и взаимной информации
на ансамбли непрерывных сигналов.
Пусть Х - случайная величина (сечение или
отсчет случайного процесса), определенная в некоторой непрерывной области и ее
распределение вероятностей характеризуется плотностью w(х).
Разобьем область
значений Х на небольшие интервалы протяженностью Dx.
Вероятность Рк того, что хк<x<xк+ Dx, приблизительно равна w(хк) Dx т.е.
|
Рк=Р(
хк<x<xк+Dx) » w(хк)Dx,
|
(3.32)
|
причем приближение тем точнее, чем меньше
интервал Dx. Степень положительности такого
события.

Если заменить
истинные значения Х в пределах интервала Dx значениями
хк в начале интервала, то непрерывный ансамбль заменится дискретным и
его энтропия в соответствии с (1.4) определится, как
или с учетом (3.32)
|
|
(3.33)
|
Будем теперь увеличивать точность
определения значения х, уменьшения интервал Dx. В
пределе при Dx®0 получим
энтропию непрерывной случайной величины.
|
|
(3.34)
|
Второй член в полученном выражении
стремится к
и совершенно не
зависит от распределения вероятностей Х. Это означает, что собственная
информация любой непрерывной случайной величины бесконечно велика. Физический
смысл такого результата становиться понятным, если учесть, что в конечном
диапазоне непрерывная величина может принимать бесконечное множество значений,
поэтому вероятность того, что ее реализация будет точно равна какому-то наперед
заданному конкретному значению является бесконечно малой величиной »0. В результате энтропия, определенная в соответствии с
(1.4), характеризующая среднюю степень неожиданности появления возможных
реализаций для любой непрерывной случайной величины не зависит от ее закона
распределения и всегда равна бесконечности. Поэтому для описания информационных
свойств непрерывных величин необходимо ввести другие характеристики. Это можно
сделать, если обратить внимание на то, что первое слагаемое выражении (3.34)
является конечным и однозначно определяется плотностью распределения вероятности
w(x). Его называют дифференциальной энтропией и обозначают h(x):
|
|
(3.35)
|
Дифференциальная энтропия обладает
следующими свойствами.
1. Дифференциальная энтропия в отличии от обычной энтропии
дискретного источника не является мерой собственной информации, содержащейся в
ансамбле значений случайной величины Х. Она зависит от масштаба Х и может
принимать отрицательные значения. Информационный смысл имеет не сама
дифференциальная энтропия, а разность двух дифференциальных энтропий, чем и
объясняется ее название.
2. Дифференциальная энтропия не меняется при
изменении всех возможных значений случайной величины Х на постоянную величину.
Действительно, масштаб Х при этом не меняется и справедливо равенство
|
|
(3.36)
|
Из этого следует, что h(x) не зависит от
математического ожидания случайной величины, т.к. изменяя все значения Х на С мы
тем самым изменяем на С и ее среднее, то есть математическое ожидание.
3.
Дифференциальная энтропия аддитивна, то есть для объединения ХY независимых
случайный величин Х и Y справедливо:
h(XY)= h(X)+
h(Y).
Доказательство этого свойства аналогично доказательству
(1.8) аддитивности обычной энтропии.
4. Из всех непрерывных величин Х с
фиксированной дисперсией s2 наибольшую
дифференциальную энтропию
имеет величина с гауссовским распределением, т.е.
Доказательство свойства
проведем в два этапа: сначала вычислим h(x) для гауссовского распределения,
задаваемого плотностью.

где м - математическое ожидание,
а затем
докажем неравенство (3.37).
Подставив (3.38) в (3.35) найдем<

Для доказательства неравенства
(3.37) зададимся произвольным распределением w(х) с дисперсией s2 и
математическим ожиданием m и вычислим интеграл J вида
Но в силу неравенства (1.7) с учетом правила
изменения основания логарифмов (log t = log e Ч ln t) имеем:
|
так как подинтегральное
выражение - гауссовская плотность распределения
см.(3.38). |
Таким образом
, откуда
.
Но как только что было показано,
- это дифференциальная энтропия
гауссовского распределения. Доказанное неравенство и означает, что энтропия гауссовского
распределения максимальна.
Попытаемся теперь определить с помощью предельного
перехода взаимную
информацию между двумя непрерывными случайными величинами X и Y. Разбив
области определения Х и Y соответственно на небольшие интервалы Dx и Dy, заменим
эти величины дискретными так же, как это делалось при выводе формулы
(3.34).
Исходя из выражения (1.14) можно определить взаимную информацию между
величинами Х и Y .
|
|
(3.39)
|
При этом предельном переходе
никаких явных бесконечностей не появилось, т.е. взаимная информация оказывается
величиной конечной, имеющей тот же смысл, что и для дискретных сообщений.
С
учетом того, что
равенство (3.39) можно представить в
виде
|
|
(3.40)
|
Здесь h(X) - определенная
выражением (3.35) дифференциальная энтропия Х, а
|
|
(3.41)
|
h(X/Y) - условная дифференциальная
энтропия. Можно показать, что во всех случаях h(X/Y)Јh(X).
Формула (3.40) имеет ту же форму, что и
(1.13), а отличается лишь заменой энтропии дифференциальной энтропией. Легко
убедиться, что основные свойства 1 и 2 (см. пункт 1.3) взаимной информации,
описываемые равенствами (1.15)ё(1.17),
остаются справедливыми и в этом случае.
3.4 e-энтропия и e-производительность источника непрерывных
сообщений
Как было показано в § 3.3, в
одном отсчете любого непрерывного сообщения содержится бесконечное количество
собственной информации. И тем не менее, непрерывные сообщения (телефонные
разговоры, телепередачи) успешно передаются по каналам связи. Это объясняется
тем, что на практике никогда не требуется абсолютно точного воспроизведения
переданного сообщения, а для передачи даже с очень высокой, но ограниченной
точностью, требуется конечное количество информации, также как и при передаче
дискретных сообщений. Данное обстоятельство и положено в основу определения
количественной меры собственной информации, источников непрерывных сообщений. В
качестве такой меры, принимается минимальное количество информации, необходимое
для воспроизведения непрерывного сообщения с заданной точностью. Очевидно, что
при таком подходе собственная информация зависит не только от свойств источника
сообщений, но и от выбора параметра e,
характеризующего точность воспроизведения. Возможны различные подходы к
определению e в зависимости от вида и
назначения передаваемой информации. Наиболее часто в информационной технике в
качестве e используют
среднеквадратическое отклонение между принятым у и переданным х сигналами,
отражающими непрерывные сообщения, т.е.
где Х и Y – ансамбли сигналов, отражающих
исходное и воспроизведенное сообщения.
Два варианта сообщения или сигнала,
различающиеся не более, чем на заданное значение e0, называются эквивалентными. Взаимная информация
I(X,Y) между двумя эквивалентными процессами X(t) и
Y(t) может быть определена в соответствии с (3.40) как
где h(X) и h(X/Y)
– соответственно дифференциальная и условная дифференциальная энтропии.
Из
приведенного выражения видно, что величина I(X,Y) зависит не только
от собственного распределения w(х)
ансамбля Х (см. (3.35)), но и от условного распределения w(x/y) (см. (3.41)), которое определяется способом
преобразования процесса X в Y. Для характеристики собственной информации,
содержащейся в одном отсчете процесса Х, нужно устранить ее зависимость от
способа преобразования сообщения Х в эквивалентное ему сообщение Y. Этого можно
добиться, если под количеством собственной информации или e - энтропией He(Х) процесса Х понимать минимизированную по всем
распределениям w(X/Y) величину
I(X,Y), при которой сообщения Х и Y еще эквивалентны, т.е.
|
. |
(3.43)
|
Таким образом, e - энтропия
определяет минимальное количество информации, содержащейся в одном отсчете непрерывного сообщения,
необходимое для воспроизведения его с заданной верностью.
Если ансамбль
сообщений Х представляет собой процесс с дискретным временем с
непрерывными отсчетами, то под e -
производительностью источника понимают величину
|
, |
(3.44)
|
где uс – количество отсчетов сообщения, выдаваемых в
единицу времени.
В том случае, когда Х - непрерывный случайный процесс с
ограниченным спектром, вся информация, содержащаяся в его значениях,
эквивалентна информации, содержащейся в отсчетах процесса, следующих друг за
другом с интервалом
,
(fm-граничная частота спектра), т.е. со скоростью
При этом e -
производительность источника или процесса по-прежнему
определяется выражением (3.44), где величина uс рассчитывается из условия (3.45).
В том случае,
если следующие друг за другом отсчеты процесса коррелированны (взаимозависимы),
величина Нe(Х) в (3.43)
должна вычисляться с учетом вероятностных связей между отсчетами.
Итак, e - производительность источника непрерывных сообщений
представляет собой минимальное количество информации, которое нужно создать
источнику в единицу времени, для воспроизведения его сообщений с заданной
верностью.
e - производительность называют
также скоростью создания информации при заданном критерии
верности.
Максимально возможная e -
производительность
непрерывного источника Х обеспечивается при гауссовском распределении Х с
дисперсией
(при этом условии
h(X) максимальна (см. (3.37)). Оценим значение
. Рассмотрим случай, когда
непрерывное сообщение X(t) представляет собой стационарный
гауссовский процесс с равномерным энергетическим спектром, ограниченным частотой
Fc, и с заданной мощностью (дисперсией)
Рх, а критерий эквивалентности e задан в виде (3.42). Будем считать, что
заданная верность воспроизведения обусловлена действием аддитивной статистически
не связанной с сигналом помехи e(t)
с математическим ожиданием М[e]=0 и дисперсией (мощностью)
. Исходный сигнал Х рассматриваем как сумму
воспроизводящего сигнала Y и помехи:
При этом, поскольку
w(x/y)= w(y+e/y)= w(e/y)= w(e), то
h(X/Y) полностью определяется шумом воспроизведения e(t). Поэтому max h(X/Y)=max
h(e). Так как шум воспроизведения
имеет фиксированную дисперсию
,
то дифференциальная энтропия имеет максимум (3.37) при гауссовском распределении
шума
. |
В свою
очередь дифференциальная энтропия гауссовского источника с дисперсией
.
.
|
Следовательно, e - энтропия на один отсчет сообщения
|
|
(3.46)
|
Величина
характеризует минимальное отношение сигнал-шум, при
котором сообщения X(t) и Y(t) еще
эквивалентны.
Согласно теореме Котельникова шаг дискретизации
, а uc=2Ч
Fc. При этом равномерность спектра сообщения
обеспечивает некоррелированность отстоящих на Dt
друг от друга отсчетов, а гауссовский характер распределения X(t) -
их независимость. Следовательно, в соответствии с (3.44)
, |
или с
учетом (3.46)
|
. |
(3.47)
|
Количество информации,
выданное таким источником за время Тс
|
. |
(3.48)
|
Интересно отметить, что правая часть
выражения (3.48) совпадает с наиболее общей характеристикой сигнала, называемой
его объемом, если принять динамический диапазон сигнала D=log r 0. Это означает, что объем сигнала равен
максимальному количеству информации, которое может содержаться в сигнале
длительностью Тс.
3.5. Пропускная способность непрерывного канала. Теорема
Шеннона
Пропускная способность непрерывного канала в расчете на один
отсчет передаваемого сигнала, по аналогии с формулой (1.24а), определяется
как
|
. |
(3.49)
|
Здесь Х и Y - случайные величины, отсчеты
процессов X(t) и Y(t) на входе и выходе
канала.
Пропускная способность С определяется как сумма значений
Сотсч, взятая по всем отсчетам за секунду. При этом дифференциальные
энтропии в (3.49) должны вычисляться с учетом вероятностных связей между
отсчетами.
Вычислим пропускную способность
непрерывного канала без памяти с аддитивным белым (т.е. имеющим равномерный
энергетический спектр и полностью некоррелированные несовпадающие отсчеты)
гаусовском шумом, имеющим полосу пропускания F, если средняя мощность сигнала
(дисперсия Х) не превышает заданной величины Рс. Мощность (дисперсию)
шума в полосе F обозначим Рш. Поскольку шум аддитивный, отсчеты
входного Х и выходного Y сигналов и шума N связаны равенством
т.к. N имеет нормальное распределение с
нулевым математическим ожиданием, то и условная плотность вероятности
w(у/x) при фиксированном х будет
также нормальной с математическим ожиданием х и дисперсией
Рш.
Найдем пропускную способность в расчете на один отсчет
(3.49):
|
.
|
Дифференциальная энтропия гауссовского
распределения h(Y/X) в соответствии со своим свойством 2
(§ 3.3) не зависит от математического ожидания
и согласно (3.37) равна
.
Поэтому для определения Сотсч следует найти такую плотность
распределения w(x), при которой
максимизируется h(Y). Из (3.50) учитывая, что X и N-независимые
случайные величины, имеем для дисперсий:
|
D(Y)=D(X)+D(N)=Pc+Pш,
|
(3.51)
|
таким образом, дисперсия Y фиксирована, так
как Рс и Рш заданы. В соответствии со свойством 4
дифференциальной энтропии (§ 3.3) максимальная
дифференциальная энтропия при фиксированной дисперсии обеспечивается гауссовским
распределением. Из (3.50) видно, что при нормальном распределении Х
распределение Y будет также нормальным и, следовательно, обеспечивается максимум
дифференциальной энтропии (4.37):
|
, |
откуда
. Переходя к пропускной способности
С в расчете на секунду, заметим, что количество информации,
содержащейся в следующих друг за другом отсчетах, максимально в том случае,
когда отсчеты независимы. Этого можно достичь, если процесс X(t)
выбрать таким, чтобы его спектральная плотность была равномерной в полосе частот
F. В этом случае отсчеты, разделенные интервалами Dt, кратными 1/(2F), взаимно
некоррелированы, а для гауссовских величин некоррелированность означает
независимость.
Поэтому пропускную способность С
(за секунду) можно найти, сложив пропускные способности (3.52) для
2F независимых отсчетов:
|
. |
(3.53)
|
Она реализуется, если X(t) -
гауссовский процесс с равномерной спектральной плотностью в полосе частот F
(квазибелый шум).
Соотношение (3.53) называют формулой Шеннона. Формула
Шеннона указывает на возможность обмена полосы пропускания на мощность сигнала и
наоборот. Однако поскольку С зависит от F линейно, а от
Рс/Pш – по логарифмическому закону, компенсировать
возможное сокращение полосы пропускания увеличением мощности сигнала, как
правило, не выгодно. Более эффективным является обратный обмен мощности сигнала
на полосу пропускания.
Рассмотрим, как меняется пропускная способность
гауссовского канала с изменением полосы пропускания. Для этого выразим мощность
шума в канале через его одностороннюю спектральную плотность N0.
Имеем Рш=N0Ч F, поэтому
|
. |
(3.54)
|
При увеличении F пропускная способность С
сначала быстро возрастает, а затем асимптотически стремиться к пределу
|
. |
(3.55)
|
Результат (3.55) можно получить, если
учесть, что при |e |<<1 (т.е. при
больших F) ln(1+e)»e.
Зависимость СҐ от F показана на
рисунке.
Исходя из (3.55) можно
показать, что для передачи заданного количества информации по каналу с шумом
отношение энергии сигнала к спектральной плотности шума
должно превысить некоторую пороговую величину.
Действительно, если на передачу сообщения затрачено время Т, то среднее
количество переданной информации
, т.к. пропускная способность канала при любой
полосе F не может превысить предельное значение (3.55). Таким образом
и, следовательно, для передачи
одного бита (т.е.
) информации
необходима энергия сигнала
. |
Эти
рассуждения устанавливают потенциально взаимосвязь между количеством переносимой
сигналом информации и энергией сигнала.
Отметим, что формула Шеннона (3.53)
справедлива только для канала с постоянными параметрами и аддитивным гауссовским
белым или квазибелым шумом. Если аддитивный шум не гауссовский и его спектр
неравномерен в полосе пропускания канала, то его пропускная способность больше,
чем вычисленная по формуле (3.53). Мультипликативные помехи (замирание сигнала),
обычно снижают пропускную способность по сравнению с результатом
(3.53).
Рассмотрим теперь вопрос согласования источника непрерывных сообщений
с непрерывным каналом.
Передача непрерывных сообщений по каналу без помех не
представляет интереса, так как в этом теоретическом случае проблема связи вообще
не возникает. Одним импульсом, амплитуда которого на приемной стороне
воспринимается с неограниченной точностью, может быть передано бесконечно
большое количество информации, однако этот результат не может быть использован в
практике, так как этот импульс нельзя точно измерить.
Для канала с шумом с
пропускной способностью С, на вход которого подключен источник с производительностью
Шеннон доказал следующую
теорему.
Если при заданном критерии эквивалентности сообщений источника
его e-производительность меньше пропускной способности канала
, то существует способ кодирования и
декодирования, при котором неточность воспроизведения сколь угодно близка к
(прямая теорема). При
такого способа не существует
(обратная теорема).
Доказательство теоремы осуществляется аналогично
доказательству основной теоремы кодирования для канала с шумом.
Термин «кодирование» здесь
понимается в широком смысле, так как он определен во введении.
Не доказывая
теорему, поясним возможность осуществления указанного в ней способа
передачи.
Если сообщения должны воспроизводиться с определенной верностью, то
из бесконечного множества непрерывных сообщений длительностью Т передавать
необходимо только конечное подмножество воспроизводящих сообщений.
Процесс
кодирования при этом заключается в отождествлении полученного от источника
сообщения с ближайшим воспроизводящим и сопоставлением ему конкретного сигнала
из множества разрешенных сигналов, специально подобранных для передачи, с учетом
действующей в канале помехи.
При декодировании полученный сигнал
отождествляется с ближайшим разрешенным и ставится в соответствие
воспроизводящему сообщению. Ошибки не произойдет, если при принятый сигнал
попадет в некоторою собственную область соответствующего разрешенного сигнала,
размеры которой зависят от средней мощности помехи. При определенном уровне
средней мощности передаваемых сигналов можно создать ограниченное число
разрешенных сигналов с не перекрывающимися собственными областями. Оно (это
число) и определяет предельную скорость передачи с обеспечением заданного уровня
верности.
Поскольку обычно допускается возможность появления любого значения
помехи, вероятность воспроизведения другого разрешенного сигнала остается
конечной. Однако при доказательстве теоремы показано, что она стремится к нулю
при неограниченном увеличении длительности передаваемых сигналов.
При этом из
теоремы Шеннона следует, что при выполнении условия
, можно преобразовать сообщение в сигнал так, чтобы отношение
сигнал-шум на выходе приемника (декодера) было больше значения r0, обеспечивающего эквивалентность
переданного и принятого сообщений, хотя в канале (т.е. на входе
приемника) отношение сигнал-шум может быть во много раз меньше r0.
Однако до сих пор оптимальное
кодирование непрерывных сообщений (без преобразования в дискретные) в
непрерывном канале не находит приемлемой реализации. Более предпочтительным в
настоящее время представляется преобразование непрерывных сообщений в дискретные
с последующим использованием эффективного и помехоустойчивого
кодирования.