Merge branch 'master' of github.com:vasthecat/university-lectures

1 files changed, 234 insertions, 0 deletions

diff --git a/information-theory/lectures/lecture4.tex b/information-theory/lectures/lecture4.tex
new file mode 100644
index 0000000..0c2d14f
--- /dev/null
+++ b/information-theory/lectures/lecture4.tex
@@ -0,0 +1,234 @@
+\subsection{Лекция 4 (23.09.21)}
+
+\subsubsection{Частотное представление стационарных сигналов. Дискретные
+спектры.}
+
+Предположим, что случайный процесс задан на интервале $[-T; T]$. Тогда
+соответствующая ему корреляционная функция $R_u(\tau)$ должна
+рассматриваться на интервале \ldots{} . При этом должно выполняться
+равенство $\tau \in [-2T; 2T]$. Будем считать корреляционную функцию
+$R_u(\tau)$ условно продолжающейся с периодом $4T$. Тогда для неё
+можно записать пару преобразований Фурье:
+
+\begin{equation*}
+  R_u(\tau) = \frac{1}{2} \sum_{k = -\infty}^\infty D_k e^{jk\omega_1 \tau} 
+\end{equation*}
+Где
+\begin{equation*}
+  D_k = \frac{1}{2T} \int_{-2T}^{2T} R_u(\tau) e^{-jk\omega_1 \tau} d\tau 
+\end{equation*}
+и 
+\begin{equation*}
+  \omega_1 = \frac{2\pi}{4T} = \frac{\pi}{2T} 
+\end{equation*}
+
+Учитывая то, что корреляционная функция является функцией чётной, то
+$D_k$ можно представить на полупериоде, то
+\begin{equation*}
+  D_k = \frac{1}{2T} \int_{0}^{2T} R_u(\tau) e^{-jk\omega_1 \tau} d\tau 
+\end{equation*}
+
+Пусть $\tau = t_1 - t_2$. Тогда корелляционная функция будет
+представляться следующим образом:
+\begin{equation*}
+  R_u(t_1 - t_2) = \frac{1}{2} \sum_{k = -\infty}^\infty D_k e^{jk\omega_1 t_1} e^{-jk\omega_1 t_1}
+\end{equation*}
+
+Сравнивая с данным разложением корелляционной функции с каноническим
+разложением кореляционной функции можно заметить, что $\phi_k(t_1)$ и
+$\phi_k(t_2)$ будут представляться через экспоненциальные функции.
+$\phi_k(t_1) = e^{jk\omega_1 t_1}$, $\phi_k(t_2) = e^{-jk\omega_1 t_2}$
+
+Возьмём соответствующее этому каноническое разложение центрированного
+случайного процесса, то есть
+\begin{equation*}
+  U^o (t) = \frac{1}{2} \sum_{k = -\infty}^\infty C_k e^{jk\omega_1 t} 
+\end{equation*}
+
+добавим для обобщения мат ожидание стационарного случайного процесса. В
+результате при объединении экспоненциальных составляющих с одинаковыми
+по абсолютной величине индексами разных знаков стационарный случайный
+процесс на ограниченном интеравале времени будет представляться суммой
+гармоник. То есть
+\begin{equation*}
+  U(t) = m_u + \sum_k (a_k \cos (\omega_1 t) + b_k \sin(\omega_1 t))) 
+\end{equation*}
+
+где $\omega_1 = \frac{\pi}{2T}$, $m_u$ --- мат ожидание
+стационарного процесса, $a_k$ и $b_k$ --- неслучайные величины.
+
+Эта форма показывает, что получившиеся спектры являются линейчатыми, то
+есть каждой гармонике на спектральной диаграмме будет соответствовать
+вертикальный отрезок, длина которого пропорциональна дисперсии амплитуд.
+
+\#\#\# Частотное представление стационарных случайных сигналов.
+Непрерывные спектры.
+
+Для описания случайного стационарного сигнала возьмём интервал
+$(-\infty; \infty)$ и построим его интегральное каноническое
+разложение. Для этого немного изменим для кореляционной функции.
+\begin{equation*}
+  R_u(\tau) = \frac{1}{2} \sum_{k = -\infty}^\infty \frac{D_k}{\Delta \omega} e^{jk\omega_1 \tau} \Delta \omega 
+\end{equation*}
+
+Где $\Delta \omega$ --- шаг по частоте и он равен
+$\omega_{k + 1} - \omega_k = \frac{\pi}{2T}$. \ldots{} характеризующий
+интервал частот между соседними гармониками.
+
+Обозначим через
+\begin{equation*}
+  S_u(k \omega_1) = \frac{D_k}{\Delta \omega} = \frac{2T D_k}{\pi} 
+\end{equation*}
+
+Функция $S_u(k \omega_1)$ будет называться \textbf{средней плотностью
+дисперсии стационарного процесса}. По сути своей данная функция является
+дисперсией, которая приходится на единицу длины частотного интервала.
+
+С учётом сделанных обозначений формула для кореляции будет иметь
+следующий вид:
+\begin{equation*}
+  R_u(\tau) = \frac{1}{2} \sum_{k = -\infty}^\infty S_u(k\omega_1) e^{jk\omega_1 \tau} \Delta \omega 
+\end{equation*}
+
+С учётом \ldots{} можем записать в следующем виде
+
+\begin{equation*}
+  S_u(k \omega_1) = \frac{1}{\pi} \int_{-2T}^{2T} R_u(\tau) e^{-jk\omega_1 \tau} d\tau 
+\end{equation*}
+
+Осуществим предельный переходи при $t \to \infty$. Получим:
+$S_u(k \omega_1) \to S_u(\omega)$, $k\omega_1 \to \omega$,
+$\Delta \omega \to d\omega$
+
+Тогда получим для кореляции: 
+
+\begin{equation*}
+  \begin{cases}
+    R_u(\tau) = \frac{1}{2} \int_{-\infty}^\infty S_u(\omega) e^{j\omega\tau} d\omega \\
+    S_u(\omega) = \frac{1}{\pi} \int_{-infty}^\infty R_u(\tau) e^{-j\omega\tau} d\tau
+  \end{cases}
+\end{equation*}
+
+Величина $S_u(\omega) d\omega$ по смыслу \ldots{} представляет собой
+дисперсию, приходящуюся на спектр частот
+
+Функция $S_u(\omega)$ характеризует распределение дисперсии случайного
+процесса по частотам и называется \emph{спектральной плотностью
+стационарного случайного процесса}. Аналогично вышеизл мат. если мы для
+кореляционной функции применим каноническое разложение, то получим
+следующую формулу:
+\begin{equation*}
+  R_u(\tau) = \frac{1}{2} \int_{-\infty}^\infty S_u(\omega) e^{j\omega\tau_1} e^{-j\omega\tau_2} d\omega 
+\end{equation*}
+
+Согласно данному каноническому представлению дисперсии построим
+каноническое распределение случайного процесса. Для этого
+\begin{equation*}
+  U^o(t) = \frac{1}{2} \sum_{k = -\infty}^\infty \frac{C_k}{\Delta \omega} e^{jk\omega_1 t} \Delta \omega 
+\end{equation*}
+
+Введём обозначение $G_u(\omega_k) = \frac{C_k}{\Delta \omega}$ и
+осуществим предельный переход. Тогда центрированный случайный процесс
+будет иметь следующий вид:
+\begin{equation*}
+  U^o(t) = \frac{1}{2} \int_{-\infty}^\infty G_u(\omega) e^{j\omega t} d\omega 
+\end{equation*}
+
+В силу сделанных обозначений очевидно, что функция
+$G_u(\omega) d\omega$ является случайной функцией с дисперсией
+$S_u(\omega) d\omega$ приходящейся на спектральную составляющую .
+
+\subsubsection{Спектральная плотность мощности.}
+
+Перейдём к одностороннему спектру для положительных частот. Для функции
+$S_u(\omega)$ применим формулу Эйлера и представим её \ldots{}
+\begin{equation*}
+  S_u(\omega) = \frac{1}{\pi} \int_{-\infty}^\infty R_u(\tau) \cos(\omega \tau) d\tau - \frac{j}{\pi} \int_{-\infty}^\infty R_u(\tau) \cdot \sin (\omega \tau) d\tau 
+\end{equation*}
+
+В силу чётности \ldots{} а первый интеграл мы можем записать для
+положительных частот:
+\begin{equation*}
+  S_u(\omega) = \frac{2}{\pi} \int_0^\infty R_u(\tau) \cos(\omega \tau) d \tau 
+\end{equation*}
+
+Отсюда следует, что $S_u(\omega)$ также является действительной и
+чётной функцией, а след. таким же образом мы можем ограничить и корел.
+функиц.
+\begin{equation*}
+  R_u(\tau) = \int_0^\infty S_u(\omega) \cos(\omega\tau) d\omega 
+\end{equation*}
+
+Если в данном выражении $\tau$ положить $0$, то мы получим формулу
+для дисперсии. \begin{equation*}
+  R_u(0) = D_k = \int_0^\infty S_u(\omega) d\omega
+\end{equation*}
+
+Соответственно дисперсия будет характеризовать мощность сигнала, поэтому
+функцию $S_u(\omega)$ называют \emph{спектральной плотностью
+мощности}.
+
+\subsubsection{Преобразование непрерывных сигналов в дискретные.}
+
+\paragraph{Формулировка задачи дискретизации}
+
+Дискретизация сигнала --- это первообразные функции непрерывного
+аргумента в функцию дискретного времени. То есть дискретизация
+заключается в замене непрерывного сигнала $U(t)$ совокупностью
+координат $[c_1, c_2, \dots, c_n] = A[u(t)]$, где $A[.]$ ---
+некоторый оператор.
+
+С точки зрения простоты реализации целесообразно использовать линейные
+операторы, в частности для определения координат сигнала удобно
+использовать соотношение
+\begin{equation*}
+  C_i = A[u(t)] = \int_T \phi_i(t) u(t) dt \quad (1) 
+\end{equation*} 
+
+Где $\phi_i(t)$ --- набор базисных функций (как правило ортогональных).
+
+При последующем использовании дискретного сигнала для цели управления им
+обычно осуществляется его восстановление с использованием другого
+заданного оператора: 
+\begin{equation*}
+  U^*(t) = B[c_1, c_2, \dots, c_n] 
+\end{equation*}
+
+Если у нас дискретизация осуществлялась помощью оператора (1), то для
+восстановления будет использован следующий оператор:
+\begin{equation*}
+  U^*(t) = \sum_{i = 1}^N c_i \phi_i(t) 
+\end{equation*}
+
+Следует отметить \ldots{} в следствии применения операции интегрирования
+будет обладать высокой помехоустойчивостью, но при этом будет иметь
+место задержка сигнала на интервал интегрирования $T$, поэтому
+наиболее часть дискретизация сводится к замене сигнала совокупностью его
+мгновенных значений в отведённые моменты времени. При этом эта
+совокупность будет называться \textbf{выборкой мгновенных значений}. Это
+достигается использованием дельта-функций в качестве набора базисных
+функций. В результате получится некоторая решётчатая функция с
+координатами $c_i = u(t_i)$. При этом если шаг дискретизации будет
+постоянным, то дискретизация будет называться \textbf{равномерной}.
+
+При восстановлении таких непрерывных сигналов для обеспечения простоты
+реализации широго применяются неортогональные базисные функции, в
+частности используются степенные алгебраические полиномы.
+Восстановленный сигнал будет в этом случае:
+\begin{equation*}
+  U^*(t) = \sum_{i = 0}^N a_i t^i 
+\end{equation*}
+
+Представление непрерывного сигнала некоторой совокупностью
+равноотстоящих отсчётов является наиболее распространённым способом
+дискретизации. Обычно она осуществляется для дальнейшего преобразования
+сигнала в цифорвую форму. В результате цифрового кодирования дискретного
+сигнала происходит его квантование, то есть замена в соответствующие
+моменты времени мгновенных значений ближайшими разрешёнными. При этом
+сигнал оказывается дискретным как по множеству значений, так и по
+времени. Преимуществом такого представления сигнала состоит в том, что
+множество уровней квантования можно представить небольшим количеством
+разрядов. Кроме того при цифровом представлении сигнала для его
+обработки могут быть использованы сложные алгоритмы, в том чистле
+алгоритм поиска и исправления ошибок при передаче.
+