summaryrefslogtreecommitdiff
path: root/sem5/information-theory/lectures/lecture3.tex
blob: 2103c8d26afc962d7a23b042795c2b517fb07172 (plain)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
\subsection{Лекция 3 (16.09.21)}

\subsubsection{Модели случайных сигналов}

Наиболее точной моделью сигнала при изучении вопросов его передачи
является \emph{случайный процесс} для которого детерминированные функции
рассматриваются ка отдельные реализации. Случайным процессом будем
называть функцию $U(t)$, значение которой в каждый момент времени
является случайной величиной. По аналогии, случайные процессы могут быть
непрерывные и дискретные как по времени, так и по множеству состояний.
ТО есть по аналогии с классификацией детерминированных сигналов, можно
выделить один из четырёх типов случайного процесса: - непрерывный
случайный процесс по множеству состояний (континууму), при этом
изменения состояния возможны в любой момент времени; - непрерывная
случайная последовательность --- изменения состояний допускаются лишь в
конечном числе моментов времени; - дискретный случайный процесс ---
множество состояний конечно, но изменения состояний могут происходить в
произвольные моменты времени; - дискретная случайная последовательность
--- состояния из конечного множества могут изменяться в конечном числе
моментов времени.

Для описания свойств случайного процесса мы будем использовать
$n$-мерную плотность вероятности.

\begin{equation*}
  P_N(U_1, U_2, \dots, U_N; t_1, t_2, \dots, t_N) 
\end{equation*} 

$n$-мерную плотность вероятности --- система $N$ случайных величин
$U_1, U_2, \dots, U_N$, где
$U_1 = U(t_1), U_2 = U(t_2), \dots U_N = U(t_N)$ взятых в моменты
времени $t_1, t_2, \dots, t_N$. Как частный случай будет
использоваться одномерная плотность вероятности $P_1(U; t)$, которая
будет характеризовать распределение случайной величины в произвольный
момент времени $t$. Если мы возьмём двумерную плотность вероятности
$P_2(U_1, U_2; t_1, t_2)$, то мы получим вероятность совместных
реализаций значений случайных величин в произвольные моменты времени
$t_1, t_2$. При этом будут иметь место соотношения

\begin{equation*}
  P_1(U; t) = \int_{-\infty}^{\infty} P_2(U_1, U_2; t_1, t_2) d U_2 
\end{equation*}

Работа со случайными величинами высоких порядков является крайне
трудоёмкой вещью, поэтому для характеристики случайного процесса будут
использованы моменты функций первого порядка и второго порядка. (мат
ожидание, дисперсия и корелляционная функция).

Математическим ожиданием случайного процесса $U(t)$ будем называть
неслучайную функцию $m_U(t)$ значение которой в каждый момент времени
равно математическому ожиданию случайной величины в соответствующем
сечении случайного процесса.
\begin{equation*}
  m_U(t) = M\{U(t)\} = \int_{-\infty}^{\infty} U P_1(U; t) dU 
\end{equation*}

Дисперсией случайного процесса $U(t)$ будем называть функция
$D_U(t)$, значение которой в каждый момент времени равно дисперсии
случайной величины в соответсвующем сечении случайного процесса.
\begin{equation*}
  D_U(t) = M\{U^o(t)\} = \int_{-\infty}^\infty U^o(t)^2 P_1(U; t) dU 
\end{equation*}
Где $U^o$ (o над U) --- нызвается центрированной случайной величиной в
сечении $t$ ($U^o(t) = U(t) - m_U$)

Кореляционной функции случайного процесса $U(t)$ называют неслучайную
функцию $R_U(t_1; t_2)$, которая для каждой пары произвольно выбранных
значений $t_1$ и $t_2$ равна кореляционному моменту соответствующих
сечений случайного процесса.
\begin{equation*}
  R_U(t_1; t_2) = M\{U^o(t_1) U^o(t_2)\} = \int_{-\infty}^\infty \int_{-\infty}^\infty U^o(t_1) U^o(t_2) \cdot P_2 (U_1, U_2; t_1, t_2) dU_1 dU_2 
\end{equation*}
Где $U^o(t_1)$ --- нызвается центрированной случайной величиной в
сечении $t_1$ ($U^o(t_1) = U(t_1) - m_U(t_1)$), а $U^o(t_2)$ ---
нызвается центрированной случайной величиной в момент времени $t_2$
($U^o(t_2) = U(t_2) - m_U(t_2)$).

Нормированная автокореляционная функция
\begin{eqnarray}
  \rho_U(t_1; t_2) = \frac{R_U(t_1; t_2)}{\sigma_U(t_1) \sigma_U(t_2)} \\
  \sigma_U(t_1) = \sqrt{D_U(t_1)} \\
  \sigma_U(t_2) = \sqrt{D_U(t_2)}
\end{eqnarray}


Следует отметить, что если произвольные моменты $t_1 = t_2 = t$, то
автокорелляционная функция выражается в дисперсию, а соответствующая ей
нормированная автокореляционная функция будет равна $1$.

Если имеется два случайных процесса, то можно рассматривать функцию
взаимной кореляции: 
\begin{equation*}
  R_{UV}(t_1; t_2) = M\{ U^o (t_1) V^o(t_2) \} 
\end{equation*}

С точки зрения изменчивости указанных характеристик различают
стационарные и нестационарные случайные процессы. Случайный процесс
будет называться в узком смысле, если описывающий его плостности
вероятности не зависят он начала отсчёта времени. Случайный процесс
называют стационарным в широком смысле, если выполняются следующие
соотношения:
\begin{equation*}
  \begin{cases}
    m_U(t) = m_U = const \\
    D_U(t) = D_U = const \\
    R_U(t, t + \tau) = R_U(\tau)
  \end{cases}
\end{equation*}

То есть мат ожидание и дисперсия постоянны, а кореляционная функция не
зависит он начала отсчёта времени и является функцией одного аргумента
(шага по времени). Обычно предполагается, что стационарный процесс
является \emph{эрготическим} (то есть средняя по ансамблю реализация
равно среднему по времени на одной реализации) если мат ожидание
\begin{eqnarray}
  m_u = \lim_{T \to \infty} U(t) dt = U_0 \\
  D_U = \lim_{T \to \infty} \int_0^T (U(t) - U_0)^2 dt \\
  R_U(\tau) = \lim_{T \to \infty} \int_0^T (U(t) - U_0) (U(t + \tau) - U_0) dt
\end{eqnarray}

Эрготичность стационарного сигнала будет перетекать в эрготичность
источника.

\subsubsection{Спектральной представление случайных сигналов}

Аналогично детерминированному сигналу построим для случайного процесса
представление через сумму спектральных составляющих. Для этого будем
использовать так называемое каноническое разложение случайного процесса
$U(t)$, то есть будет представляться в виде:
\begin{equation*}
  U(t) = m_U(t) + \sum_K C_k \phi_k(t) \quad (1B)
\end{equation*} 

$m_U(t)$ --- мат ожидание, $\phi_k(t)$ --- неслучайные (координатные) базисные функции,
$C_k$ --- некореллированные случайные случайные величины с мат
ожиданиями равными нулю и дисперсиями $D_k$, где
\begin{equation*}
  M_k[C_k C_l] = \begin{cases} P_k, k = l \\ 0, k \neq l \end{cases}
\end{equation*}

Слагаемые $C_k * \phi_k(t)$ будут называть элементарным случайным
процессом. Случайность такого процесса будет проявляться только через
величину $C_k$. $C_k$ будут называться коэффициентами канонического
разложения.

Найдём кореляционную функцию случайного процесса $U(t)$, который
представлениследующим элементарным процессом.
\begin{equation*}
  R_U(t_1, t_2) = M\{ \sum_k C_k \phi_k(t_1) \sum_l C_l \phi_l(t_2) \} = \sum_{k, l} M\{ C_k C_l \} \phi_k(t_1) \phi_l(t_2) = 
\end{equation*}

Так как $C_k$ и $C_l$ некореллируемые величины, то для \ldots{}
получим следующее выражение.
\begin{equation*}
  = \sum_k \phi_k(t_1) \phi_k(t_2) D_k \quad (2B) 
\end{equation*}

Такое представление корелляционной функций называют каноническим
разложением кореляционной функции случайного процесса $U(t)$. Всякому
каноническому разложению случайного процесса (1B) соответствует
каноническое разложение (2B). Это утверждение доказывается при этом
будет справедливо и обратное утверждение.

Рассмотрим каноническое разложение корелляционной функции. Пусть
$t_1 = t_2 = t$. Тогда получим формулу:
\begin{equation*}
  = \sum_k D_k(\phi_k(t))^2 
\end{equation*} 

То есть при выбранном наборе
координатной функции центрированный случайный процесс будет
характеризоваться совокупностью дисперсий коэффициентов разложения,
которые можно рассматривать как обобщённый спектр случайного процесса.

Для построения спектра случайного процесса нам необходимо найти все
функции $\phi_k(t)$ и некореллированные случайные величины $C_k$,
что во многих случаях представляется достаточно затруднительной задачей.
Пусть $\phi_k$ являются ортогональными координатными функциями и будет
справедливо следующее представление:
\begin{equation*}
  \int_{-T/2}^{T/2} m_u^2(t) dt < \infty 
\end{equation*}

Тогда неслучайную функцию $m_u(t)$ на интервале $T$ можно разложить следующим образом: 
\begin{equation*}
  m_u(t) = \sum_k m_{uk} \phi_k(t)
\end{equation*}

Здесь $m_{uk} = \int_{-T/2}^{T/2} m_u(t) \phi_k(t) dt$. Тогда
каноническое разложение случайного процесса запишется следующим видом:
\begin{equation*}
  U(t) = \sum_k m_{uk} + C_k) \phi_k(t) \quad (3B) 
\end{equation*} 

Это соотношение
будет называться \emph{обобщённым спектральным представлением для
случайного процесса, которое раскладывается в каноническое
представление}.