Merge branch 'master' of github.com:vasthecat/university-lectures

1 files changed, 0 insertions, 198 deletions

diff --git a/sem5/information-theory/lectures/lecture3.tex b/sem5/information-theory/lectures/lecture3.tex
deleted file mode 100644
index 2103c8d..0000000
--- a/sem5/information-theory/lectures/lecture3.tex
+++ /dev/null
@@ -1,198 +0,0 @@
-\subsection{Лекция 3 (16.09.21)}
-
-\subsubsection{Модели случайных сигналов}
-
-Наиболее точной моделью сигнала при изучении вопросов его передачи
-является \emph{случайный процесс} для которого детерминированные функции
-рассматриваются ка отдельные реализации. Случайным процессом будем
-называть функцию $U(t)$, значение которой в каждый момент времени
-является случайной величиной. По аналогии, случайные процессы могут быть
-непрерывные и дискретные как по времени, так и по множеству состояний.
-ТО есть по аналогии с классификацией детерминированных сигналов, можно
-выделить один из четырёх типов случайного процесса: - непрерывный
-случайный процесс по множеству состояний (континууму), при этом
-изменения состояния возможны в любой момент времени; - непрерывная
-случайная последовательность --- изменения состояний допускаются лишь в
-конечном числе моментов времени; - дискретный случайный процесс ---
-множество состояний конечно, но изменения состояний могут происходить в
-произвольные моменты времени; - дискретная случайная последовательность
---- состояния из конечного множества могут изменяться в конечном числе
-моментов времени.
-
-Для описания свойств случайного процесса мы будем использовать
-$n$-мерную плотность вероятности.
-
-\begin{equation*}
-  P_N(U_1, U_2, \dots, U_N; t_1, t_2, \dots, t_N) 
-\end{equation*} 
-
-$n$-мерную плотность вероятности --- система $N$ случайных величин
-$U_1, U_2, \dots, U_N$, где
-$U_1 = U(t_1), U_2 = U(t_2), \dots U_N = U(t_N)$ взятых в моменты
-времени $t_1, t_2, \dots, t_N$. Как частный случай будет
-использоваться одномерная плотность вероятности $P_1(U; t)$, которая
-будет характеризовать распределение случайной величины в произвольный
-момент времени $t$. Если мы возьмём двумерную плотность вероятности
-$P_2(U_1, U_2; t_1, t_2)$, то мы получим вероятность совместных
-реализаций значений случайных величин в произвольные моменты времени
-$t_1, t_2$. При этом будут иметь место соотношения
-
-\begin{equation*}
-  P_1(U; t) = \int_{-\infty}^{\infty} P_2(U_1, U_2; t_1, t_2) d U_2 
-\end{equation*}
-
-Работа со случайными величинами высоких порядков является крайне
-трудоёмкой вещью, поэтому для характеристики случайного процесса будут
-использованы моменты функций первого порядка и второго порядка. (мат
-ожидание, дисперсия и корелляционная функция).
-
-Математическим ожиданием случайного процесса $U(t)$ будем называть
-неслучайную функцию $m_U(t)$ значение которой в каждый момент времени
-равно математическому ожиданию случайной величины в соответствующем
-сечении случайного процесса.
-\begin{equation*}
-  m_U(t) = M\{U(t)\} = \int_{-\infty}^{\infty} U P_1(U; t) dU 
-\end{equation*}
-
-Дисперсией случайного процесса $U(t)$ будем называть функция
-$D_U(t)$, значение которой в каждый момент времени равно дисперсии
-случайной величины в соответсвующем сечении случайного процесса.
-\begin{equation*}
-  D_U(t) = M\{U^o(t)\} = \int_{-\infty}^\infty U^o(t)^2 P_1(U; t) dU 
-\end{equation*}
-Где $U^o$ (o над U) --- нызвается центрированной случайной величиной в
-сечении $t$ ($U^o(t) = U(t) - m_U$)
-
-Кореляционной функции случайного процесса $U(t)$ называют неслучайную
-функцию $R_U(t_1; t_2)$, которая для каждой пары произвольно выбранных
-значений $t_1$ и $t_2$ равна кореляционному моменту соответствующих
-сечений случайного процесса.
-\begin{equation*}
-  R_U(t_1; t_2) = M\{U^o(t_1) U^o(t_2)\} = \int_{-\infty}^\infty \int_{-\infty}^\infty U^o(t_1) U^o(t_2) \cdot P_2 (U_1, U_2; t_1, t_2) dU_1 dU_2 
-\end{equation*}
-Где $U^o(t_1)$ --- нызвается центрированной случайной величиной в
-сечении $t_1$ ($U^o(t_1) = U(t_1) - m_U(t_1)$), а $U^o(t_2)$ ---
-нызвается центрированной случайной величиной в момент времени $t_2$
-($U^o(t_2) = U(t_2) - m_U(t_2)$).
-
-Нормированная автокореляционная функция
-\begin{eqnarray}
-  \rho_U(t_1; t_2) = \frac{R_U(t_1; t_2)}{\sigma_U(t_1) \sigma_U(t_2)} \\
-  \sigma_U(t_1) = \sqrt{D_U(t_1)} \\
-  \sigma_U(t_2) = \sqrt{D_U(t_2)}
-\end{eqnarray}
-
-
-Следует отметить, что если произвольные моменты $t_1 = t_2 = t$, то
-автокорелляционная функция выражается в дисперсию, а соответствующая ей
-нормированная автокореляционная функция будет равна $1$.
-
-Если имеется два случайных процесса, то можно рассматривать функцию
-взаимной кореляции: 
-\begin{equation*}
-  R_{UV}(t_1; t_2) = M\{ U^o (t_1) V^o(t_2) \} 
-\end{equation*}
-
-С точки зрения изменчивости указанных характеристик различают
-стационарные и нестационарные случайные процессы. Случайный процесс
-будет называться в узком смысле, если описывающий его плостности
-вероятности не зависят он начала отсчёта времени. Случайный процесс
-называют стационарным в широком смысле, если выполняются следующие
-соотношения:
-\begin{equation*}
-  \begin{cases}
-    m_U(t) = m_U = const \\
-    D_U(t) = D_U = const \\
-    R_U(t, t + \tau) = R_U(\tau)
-  \end{cases}
-\end{equation*}
-
-То есть мат ожидание и дисперсия постоянны, а кореляционная функция не
-зависит он начала отсчёта времени и является функцией одного аргумента
-(шага по времени). Обычно предполагается, что стационарный процесс
-является \emph{эрготическим} (то есть средняя по ансамблю реализация
-равно среднему по времени на одной реализации) если мат ожидание
-\begin{eqnarray}
-  m_u = \lim_{T \to \infty} U(t) dt = U_0 \\
-  D_U = \lim_{T \to \infty} \int_0^T (U(t) - U_0)^2 dt \\
-  R_U(\tau) = \lim_{T \to \infty} \int_0^T (U(t) - U_0) (U(t + \tau) - U_0) dt
-\end{eqnarray}
-
-Эрготичность стационарного сигнала будет перетекать в эрготичность
-источника.
-
-\subsubsection{Спектральной представление случайных сигналов}
-
-Аналогично детерминированному сигналу построим для случайного процесса
-представление через сумму спектральных составляющих. Для этого будем
-использовать так называемое каноническое разложение случайного процесса
-$U(t)$, то есть будет представляться в виде:
-\begin{equation*}
-  U(t) = m_U(t) + \sum_K C_k \phi_k(t) \quad (1B)
-\end{equation*} 
-
-$m_U(t)$ --- мат ожидание, $\phi_k(t)$ --- неслучайные (координатные) базисные функции,
-$C_k$ --- некореллированные случайные случайные величины с мат
-ожиданиями равными нулю и дисперсиями $D_k$, где
-\begin{equation*}
-  M_k[C_k C_l] = \begin{cases} P_k, k = l \\ 0, k \neq l \end{cases}
-\end{equation*}
-
-Слагаемые $C_k * \phi_k(t)$ будут называть элементарным случайным
-процессом. Случайность такого процесса будет проявляться только через
-величину $C_k$. $C_k$ будут называться коэффициентами канонического
-разложения.
-
-Найдём кореляционную функцию случайного процесса $U(t)$, который
-представлениследующим элементарным процессом.
-\begin{equation*}
-  R_U(t_1, t_2) = M\{ \sum_k C_k \phi_k(t_1) \sum_l C_l \phi_l(t_2) \} = \sum_{k, l} M\{ C_k C_l \} \phi_k(t_1) \phi_l(t_2) = 
-\end{equation*}
-
-Так как $C_k$ и $C_l$ некореллируемые величины, то для \ldots{}
-получим следующее выражение.
-\begin{equation*}
-  = \sum_k \phi_k(t_1) \phi_k(t_2) D_k \quad (2B) 
-\end{equation*}
-
-Такое представление корелляционной функций называют каноническим
-разложением кореляционной функции случайного процесса $U(t)$. Всякому
-каноническому разложению случайного процесса (1B) соответствует
-каноническое разложение (2B). Это утверждение доказывается при этом
-будет справедливо и обратное утверждение.
-
-Рассмотрим каноническое разложение корелляционной функции. Пусть
-$t_1 = t_2 = t$. Тогда получим формулу:
-\begin{equation*}
-  = \sum_k D_k(\phi_k(t))^2 
-\end{equation*} 
-
-То есть при выбранном наборе
-координатной функции центрированный случайный процесс будет
-характеризоваться совокупностью дисперсий коэффициентов разложения,
-которые можно рассматривать как обобщённый спектр случайного процесса.
-
-Для построения спектра случайного процесса нам необходимо найти все
-функции $\phi_k(t)$ и некореллированные случайные величины $C_k$,
-что во многих случаях представляется достаточно затруднительной задачей.
-Пусть $\phi_k$ являются ортогональными координатными функциями и будет
-справедливо следующее представление:
-\begin{equation*}
-  \int_{-T/2}^{T/2} m_u^2(t) dt < \infty 
-\end{equation*}
-
-Тогда неслучайную функцию $m_u(t)$ на интервале $T$ можно разложить следующим образом: 
-\begin{equation*}
-  m_u(t) = \sum_k m_{uk} \phi_k(t)
-\end{equation*}
-
-Здесь $m_{uk} = \int_{-T/2}^{T/2} m_u(t) \phi_k(t) dt$. Тогда
-каноническое разложение случайного процесса запишется следующим видом:
-\begin{equation*}
-  U(t) = \sum_k m_{uk} + C_k) \phi_k(t) \quad (3B) 
-\end{equation*} 
-
-Это соотношение
-будет называться \emph{обобщённым спектральным представлением для
-случайного процесса, которое раскладывается в каноническое
-представление}.
\ No newline at end of file