Merge branch 'master' of github.com:vasthecat/university-lectures

1 files changed, 198 insertions, 0 deletions

diff --git a/information-theory/lectures/lecture3.tex b/information-theory/lectures/lecture3.tex
new file mode 100644
index 0000000..2103c8d
--- /dev/null
+++ b/information-theory/lectures/lecture3.tex
@@ -0,0 +1,198 @@
+\subsection{Лекция 3 (16.09.21)}
+
+\subsubsection{Модели случайных сигналов}
+
+Наиболее точной моделью сигнала при изучении вопросов его передачи
+является \emph{случайный процесс} для которого детерминированные функции
+рассматриваются ка отдельные реализации. Случайным процессом будем
+называть функцию $U(t)$, значение которой в каждый момент времени
+является случайной величиной. По аналогии, случайные процессы могут быть
+непрерывные и дискретные как по времени, так и по множеству состояний.
+ТО есть по аналогии с классификацией детерминированных сигналов, можно
+выделить один из четырёх типов случайного процесса: - непрерывный
+случайный процесс по множеству состояний (континууму), при этом
+изменения состояния возможны в любой момент времени; - непрерывная
+случайная последовательность --- изменения состояний допускаются лишь в
+конечном числе моментов времени; - дискретный случайный процесс ---
+множество состояний конечно, но изменения состояний могут происходить в
+произвольные моменты времени; - дискретная случайная последовательность
+--- состояния из конечного множества могут изменяться в конечном числе
+моментов времени.
+
+Для описания свойств случайного процесса мы будем использовать
+$n$-мерную плотность вероятности.
+
+\begin{equation*}
+  P_N(U_1, U_2, \dots, U_N; t_1, t_2, \dots, t_N) 
+\end{equation*} 
+
+$n$-мерную плотность вероятности --- система $N$ случайных величин
+$U_1, U_2, \dots, U_N$, где
+$U_1 = U(t_1), U_2 = U(t_2), \dots U_N = U(t_N)$ взятых в моменты
+времени $t_1, t_2, \dots, t_N$. Как частный случай будет
+использоваться одномерная плотность вероятности $P_1(U; t)$, которая
+будет характеризовать распределение случайной величины в произвольный
+момент времени $t$. Если мы возьмём двумерную плотность вероятности
+$P_2(U_1, U_2; t_1, t_2)$, то мы получим вероятность совместных
+реализаций значений случайных величин в произвольные моменты времени
+$t_1, t_2$. При этом будут иметь место соотношения
+
+\begin{equation*}
+  P_1(U; t) = \int_{-\infty}^{\infty} P_2(U_1, U_2; t_1, t_2) d U_2 
+\end{equation*}
+
+Работа со случайными величинами высоких порядков является крайне
+трудоёмкой вещью, поэтому для характеристики случайного процесса будут
+использованы моменты функций первого порядка и второго порядка. (мат
+ожидание, дисперсия и корелляционная функция).
+
+Математическим ожиданием случайного процесса $U(t)$ будем называть
+неслучайную функцию $m_U(t)$ значение которой в каждый момент времени
+равно математическому ожиданию случайной величины в соответствующем
+сечении случайного процесса.
+\begin{equation*}
+  m_U(t) = M\{U(t)\} = \int_{-\infty}^{\infty} U P_1(U; t) dU 
+\end{equation*}
+
+Дисперсией случайного процесса $U(t)$ будем называть функция
+$D_U(t)$, значение которой в каждый момент времени равно дисперсии
+случайной величины в соответсвующем сечении случайного процесса.
+\begin{equation*}
+  D_U(t) = M\{U^o(t)\} = \int_{-\infty}^\infty U^o(t)^2 P_1(U; t) dU 
+\end{equation*}
+Где $U^o$ (o над U) --- нызвается центрированной случайной величиной в
+сечении $t$ ($U^o(t) = U(t) - m_U$)
+
+Кореляционной функции случайного процесса $U(t)$ называют неслучайную
+функцию $R_U(t_1; t_2)$, которая для каждой пары произвольно выбранных
+значений $t_1$ и $t_2$ равна кореляционному моменту соответствующих
+сечений случайного процесса.
+\begin{equation*}
+  R_U(t_1; t_2) = M\{U^o(t_1) U^o(t_2)\} = \int_{-\infty}^\infty \int_{-\infty}^\infty U^o(t_1) U^o(t_2) \cdot P_2 (U_1, U_2; t_1, t_2) dU_1 dU_2 
+\end{equation*}
+Где $U^o(t_1)$ --- нызвается центрированной случайной величиной в
+сечении $t_1$ ($U^o(t_1) = U(t_1) - m_U(t_1)$), а $U^o(t_2)$ ---
+нызвается центрированной случайной величиной в момент времени $t_2$
+($U^o(t_2) = U(t_2) - m_U(t_2)$).
+
+Нормированная автокореляционная функция
+\begin{eqnarray}
+  \rho_U(t_1; t_2) = \frac{R_U(t_1; t_2)}{\sigma_U(t_1) \sigma_U(t_2)} \\
+  \sigma_U(t_1) = \sqrt{D_U(t_1)} \\
+  \sigma_U(t_2) = \sqrt{D_U(t_2)}
+\end{eqnarray}
+
+
+Следует отметить, что если произвольные моменты $t_1 = t_2 = t$, то
+автокорелляционная функция выражается в дисперсию, а соответствующая ей
+нормированная автокореляционная функция будет равна $1$.
+
+Если имеется два случайных процесса, то можно рассматривать функцию
+взаимной кореляции: 
+\begin{equation*}
+  R_{UV}(t_1; t_2) = M\{ U^o (t_1) V^o(t_2) \} 
+\end{equation*}
+
+С точки зрения изменчивости указанных характеристик различают
+стационарные и нестационарные случайные процессы. Случайный процесс
+будет называться в узком смысле, если описывающий его плостности
+вероятности не зависят он начала отсчёта времени. Случайный процесс
+называют стационарным в широком смысле, если выполняются следующие
+соотношения:
+\begin{equation*}
+  \begin{cases}
+    m_U(t) = m_U = const \\
+    D_U(t) = D_U = const \\
+    R_U(t, t + \tau) = R_U(\tau)
+  \end{cases}
+\end{equation*}
+
+То есть мат ожидание и дисперсия постоянны, а кореляционная функция не
+зависит он начала отсчёта времени и является функцией одного аргумента
+(шага по времени). Обычно предполагается, что стационарный процесс
+является \emph{эрготическим} (то есть средняя по ансамблю реализация
+равно среднему по времени на одной реализации) если мат ожидание
+\begin{eqnarray}
+  m_u = \lim_{T \to \infty} U(t) dt = U_0 \\
+  D_U = \lim_{T \to \infty} \int_0^T (U(t) - U_0)^2 dt \\
+  R_U(\tau) = \lim_{T \to \infty} \int_0^T (U(t) - U_0) (U(t + \tau) - U_0) dt
+\end{eqnarray}
+
+Эрготичность стационарного сигнала будет перетекать в эрготичность
+источника.
+
+\subsubsection{Спектральной представление случайных сигналов}
+
+Аналогично детерминированному сигналу построим для случайного процесса
+представление через сумму спектральных составляющих. Для этого будем
+использовать так называемое каноническое разложение случайного процесса
+$U(t)$, то есть будет представляться в виде:
+\begin{equation*}
+  U(t) = m_U(t) + \sum_K C_k \phi_k(t) \quad (1B)
+\end{equation*} 
+
+$m_U(t)$ --- мат ожидание, $\phi_k(t)$ --- неслучайные (координатные) базисные функции,
+$C_k$ --- некореллированные случайные случайные величины с мат
+ожиданиями равными нулю и дисперсиями $D_k$, где
+\begin{equation*}
+  M_k[C_k C_l] = \begin{cases} P_k, k = l \\ 0, k \neq l \end{cases}
+\end{equation*}
+
+Слагаемые $C_k * \phi_k(t)$ будут называть элементарным случайным
+процессом. Случайность такого процесса будет проявляться только через
+величину $C_k$. $C_k$ будут называться коэффициентами канонического
+разложения.
+
+Найдём кореляционную функцию случайного процесса $U(t)$, который
+представлениследующим элементарным процессом.
+\begin{equation*}
+  R_U(t_1, t_2) = M\{ \sum_k C_k \phi_k(t_1) \sum_l C_l \phi_l(t_2) \} = \sum_{k, l} M\{ C_k C_l \} \phi_k(t_1) \phi_l(t_2) = 
+\end{equation*}
+
+Так как $C_k$ и $C_l$ некореллируемые величины, то для \ldots{}
+получим следующее выражение.
+\begin{equation*}
+  = \sum_k \phi_k(t_1) \phi_k(t_2) D_k \quad (2B) 
+\end{equation*}
+
+Такое представление корелляционной функций называют каноническим
+разложением кореляционной функции случайного процесса $U(t)$. Всякому
+каноническому разложению случайного процесса (1B) соответствует
+каноническое разложение (2B). Это утверждение доказывается при этом
+будет справедливо и обратное утверждение.
+
+Рассмотрим каноническое разложение корелляционной функции. Пусть
+$t_1 = t_2 = t$. Тогда получим формулу:
+\begin{equation*}
+  = \sum_k D_k(\phi_k(t))^2 
+\end{equation*} 
+
+То есть при выбранном наборе
+координатной функции центрированный случайный процесс будет
+характеризоваться совокупностью дисперсий коэффициентов разложения,
+которые можно рассматривать как обобщённый спектр случайного процесса.
+
+Для построения спектра случайного процесса нам необходимо найти все
+функции $\phi_k(t)$ и некореллированные случайные величины $C_k$,
+что во многих случаях представляется достаточно затруднительной задачей.
+Пусть $\phi_k$ являются ортогональными координатными функциями и будет
+справедливо следующее представление:
+\begin{equation*}
+  \int_{-T/2}^{T/2} m_u^2(t) dt < \infty 
+\end{equation*}
+
+Тогда неслучайную функцию $m_u(t)$ на интервале $T$ можно разложить следующим образом: 
+\begin{equation*}
+  m_u(t) = \sum_k m_{uk} \phi_k(t)
+\end{equation*}
+
+Здесь $m_{uk} = \int_{-T/2}^{T/2} m_u(t) \phi_k(t) dt$. Тогда
+каноническое разложение случайного процесса запишется следующим видом:
+\begin{equation*}
+  U(t) = \sum_k m_{uk} + C_k) \phi_k(t) \quad (3B) 
+\end{equation*} 
+
+Это соотношение
+будет называться \emph{обобщённым спектральным представлением для
+случайного процесса, которое раскладывается в каноническое
+представление}.
\ No newline at end of file