Цифровая обработка изображений
6 Математические аспекты. Статистика и
теория информации
6.1 Случайные сигналы. Определения
Дискретный случайный сигнал или процесс
представляет собой последовательность случайных
(недетерминированных) переменных, характеризующихся
СРЕДНИМ ЗНАЧЕНИЕМ, ДИСПЕРСИЕЙ

? u ? n ? ?? ? n ? ?E ? u ? n ? ?

?

? ? n ? ?? ? n ? ?E u ? n ? ? ? ? n ?
2
u

2

2

?

Цифровая обработка изображений
КОВАРИАЦИЕЙ:

Cov? u ? n ?, u ? n?? ? ?ru ? n, n?? ?r ? n, n?? ?

?

?

??

?E ? u ? n ? ? ? ? n ? ? u ? ? n?? ? ? ? ? n?? .
АВТО_КОРРЕЛЯЦИЕЙ

?

?

auu ? n, n?? ?a? n, n?? ?E u ? n ?u ? ? n?? ?
?r ? n, n?? ? ? ? n ? ? ? n??
?

Цифровая обработка изображений
Кроме того, для двух случайных сигналов вводятся
понятия КРОСС-КОВАРИАЦИИ и КРОСС-КОРРЕЛЯЦИИ

Cov? u ? n ?,? ? n?? ? ?ru? ? n, n?? ?

?

?

?E ? u ? n ? ? ? u ? n ? ? ? ? n?? ? ?? ? n??

?

?

?

?

?
?
au? ? n, n ? ?E u ? n ?? ? n?? ?

?ru? ? n, n?? ? ? u ? n ? ?? ? n??
?

??

Цифровая обработка изображений
Нормальный закон распределения
(закон Гаусса)
2
?
1
? ? u ? ? ??
pu ? u ? ?
exp?
?
2
2
2??
?? 2?
??

если

2

? ?0, ? ?1

то распределение
является СТАНДАРТНЫМ нормальным законом

Цифровая обработка изображений
6.2 Стационарность
Стационарный процесс характеризуется
постоянством основных характеристик
случайного процесса (среднего, дисперсии…)

? u ? l ?, 1 ?l ?k ?
? u ? l ? m ?, 1 ?l ?k ? ?m, k
E ? u ? n ? ? ?? ?const
?
E ? u ? n ?, u ? n?? ? ?r ? n ? n??
r ? n, n?? ?r ? n ? n??

Цифровая обработка изображений
Независимость двух случайных сигналов
означает, что совместная функция плотности
вероятности может быть записана как:

p x , y ? x, y ? ? p x ? x ? p y ? y ?
Два случайных сигнала являются
некоррелированными, если справедливо:

? ?
E ? xy ? ?? E ? x ? E ? y ? ?
E xy ? ?0
?

?

?

?

E ? x ? ? x ? ? y ? ? y ? ?0
?

Цифровая обработка изображений
6.3 Двумерные случайные сигналы
Двумерные случайные сигналы (изображения)
характеризуются моментами 1-го и 2-го порядков
(средним значением и дисперсией)

E ? u ? m, n ? ? ?? ? m, n ?
Cov? u ? m, n ?, u ? m?, n?? ? ?

?

?

??

?E ? u ? m, n ? ? ? ? m, n ? ? u ? m?, n?? ? ? ? m?, n?? ?
?ru ? m, n; m?, n?? ?r ? m, n; m?, n??
?

Цифровая обработка изображений
Для стационарного двумерного сигнала характерно:

? ? m, n ? ?? ?const
ru ? m, n; m?, n?? ?
?ru ? m ? m?, n ? n?? ?r ? m ? m?, n ? n??
т.е. пространственная инвариантность или
инвариантность к смещению

Цифровая обработка изображений
Случайный двумерный сигнал называется
БЕЛЫМ ШУМОМ, если любые два элемента
изображения взаимно некоррелированы,
функция ковариации имеет вид:

rx ? m, n; m?, n?? ?? x2 ? m, n ?? ? m ? m?, n ? n??
Ковариационная функция называется сепарабельной,
если она может быть представлена произведением
ковариаций соответствующих одномерных сигналов:
для нестационарного сигнала

r ? m, n; m?, n?? ?r1 ? m, m?? r2 ? n, n??
для стационарного сигнала

r ? m, n ? ?r1 ? m ? r2 ? n ?

Цифровая обработка изображений
6.4 Примеры случайных сигналов
Пример 1 – разделимая стационарная функция ковариации

r ? m, n ? ?? 2 ?1 ? 2 ,
m

n

?1 ? 1, ? 2 ? 1

при этом дисперсия характеризует
“одношаговую” корреляцию

?1 ?r ?1,0? / ? 2 , ? 2 ?r ? 0,1? / ? 2

Цифровая обработка изображений
Пример 2 - неразделимой ковариационной функции

?

r ? m, n ? ?? 2 exp ? ?1m 2 ? ? 2 n 2

?

?1 ?? 2 ??
то ковариация r ? m, n ?

Если

становится функцией евклидова расстояния
d ? m2 ? n2

r ? m, n ? ?? 2 ? d

? ?exp? ? ? ?

Такая функция называется изотропной и
циркулярно симметричной

Цифровая обработка изображений
На практике расчет среднего и ковариационной
функции проводится по приближенным формулам

1 M N
? ??? ?
u ? m, n ?
??
MN m?1 n ?1
r ? m, n ? ?r?? m, n ? ?
1
?
MN

M ? m N? n

? ? ? u? m?, n?? ? ?? ?? u? m ? m?, n ? n?? ? ?? ?

m??1 n??1

Цифровая обработка изображений
6.5 Краткие сведения из теории информации
Предположим, есть источник, генерирующий
независимые сообщения
(соответствующих некоторым уровням
серого)

rk

с вероятностью

pk , k ?1,..., L

Тогда количество информации, связанной с

rk

определяется по формуле I k ?? log 2 pk , k ?1,..., L
При этом

L

?p
k ?1

k

?1

Цифровая обработка изображений
Энтропия (с точки зрения информационной теории)
определяется как среднее количество информации,
генерируемое источником
L

H ?? ? pk log 2 p k

бит/сообщение

k ?1

Для цифрового изображения, рассматриваемого как
“источник” (ансамбль) независимых пикселей,
энтропию можно оценить по гистограмме.

Цифровая обработка изображений
Для заданного L (количества градаций серого)
энтропия источника принимает максимальное
значение для равномерного (равновероятного)
распределения, т.е.
p k ?1 / L, 1,..., L
L

1
1
log 2 ?log 2 L
L
k ?1 L

max H ?? ?

Например, для источника бинарного изображения
L ?2

p1 ? p,

p2 ?1 ? p,

H ?H ? p ? ?? p log 2 p ? ?1 ? p ? log 2 ?1 ? p ?

Цифровая обработка изображений
Максимальное значение энтропии при равномерном
законе распределения, т.е.

max H ?1 bit ,

p ?1 / 2

Если же появление 0 или 1 неравновероятно, например,

p ?1 / 8 ?

H ? 0.2 bits

и согласно теории информации Шеннона, можно
найти схему кодирования таких сообщений, при
которой потребуется всего 0.2 бита на сообщение






Чтобы не видеть здесь видео-рекламу достаточно стать зарегистрированным пользователем.
Чтобы не видеть никакую рекламу на сайте, нужно стать VIP-пользователем.
Это можно сделать совершенно бесплатно. Читайте подробности тут.