path: root/information-theory/lectures/lecture4.tex

\subsection{Лекция 4 (23.09.21)}

\subsubsection{Частотное представление стационарных сигналов. Дискретные
спектры.}

Предположим, что случайный процесс задан на интервале $[-T; T]$. Тогда
соответствующая ему корреляционная функция $R_u(\tau)$ должна
рассматриваться на интервале \ldots{} . При этом должно выполняться
равенство $\tau \in [-2T; 2T]$. Будем считать корреляционную функцию
$R_u(\tau)$ условно продолжающейся с периодом $4T$. Тогда для неё
можно записать пару преобразований Фурье:

\begin{equation*}
  R_u(\tau) = \frac{1}{2} \sum_{k = -\infty}^\infty D_k e^{jk\omega_1 \tau} 
\end{equation*}
Где
\begin{equation*}
  D_k = \frac{1}{2T} \int_{-2T}^{2T} R_u(\tau) e^{-jk\omega_1 \tau} d\tau 
\end{equation*}
и 
\begin{equation*}
  \omega_1 = \frac{2\pi}{4T} = \frac{\pi}{2T} 
\end{equation*}

Учитывая то, что корреляционная функция является функцией чётной, то
$D_k$ можно представить на полупериоде, то
\begin{equation*}
  D_k = \frac{1}{2T} \int_{0}^{2T} R_u(\tau) e^{-jk\omega_1 \tau} d\tau 
\end{equation*}

Пусть $\tau = t_1 - t_2$. Тогда корелляционная функция будет
представляться следующим образом:
\begin{equation*}
  R_u(t_1 - t_2) = \frac{1}{2} \sum_{k = -\infty}^\infty D_k e^{jk\omega_1 t_1} e^{-jk\omega_1 t_1}
\end{equation*}

Сравнивая с данным разложением корелляционной функции с каноническим
разложением кореляционной функции можно заметить, что $\phi_k(t_1)$ и
$\phi_k(t_2)$ будут представляться через экспоненциальные функции.
$\phi_k(t_1) = e^{jk\omega_1 t_1}$, $\phi_k(t_2) = e^{-jk\omega_1 t_2}$

Возьмём соответствующее этому каноническое разложение центрированного
случайного процесса, то есть
\begin{equation*}
  U^o (t) = \frac{1}{2} \sum_{k = -\infty}^\infty C_k e^{jk\omega_1 t} 
\end{equation*}

добавим для обобщения мат ожидание стационарного случайного процесса. В
результате при объединении экспоненциальных составляющих с одинаковыми
по абсолютной величине индексами разных знаков стационарный случайный
процесс на ограниченном интеравале времени будет представляться суммой
гармоник. То есть
\begin{equation*}
  U(t) = m_u + \sum_k (a_k \cos (\omega_1 t) + b_k \sin(\omega_1 t))) 
\end{equation*}

где $\omega_1 = \frac{\pi}{2T}$, $m_u$ --- мат ожидание
стационарного процесса, $a_k$ и $b_k$ --- неслучайные величины.

Эта форма показывает, что получившиеся спектры являются линейчатыми, то
есть каждой гармонике на спектральной диаграмме будет соответствовать
вертикальный отрезок, длина которого пропорциональна дисперсии амплитуд.

\#\#\# Частотное представление стационарных случайных сигналов.
Непрерывные спектры.

Для описания случайного стационарного сигнала возьмём интервал
$(-\infty; \infty)$ и построим его интегральное каноническое
разложение. Для этого немного изменим для кореляционной функции.
\begin{equation*}
  R_u(\tau) = \frac{1}{2} \sum_{k = -\infty}^\infty \frac{D_k}{\Delta \omega} e^{jk\omega_1 \tau} \Delta \omega 
\end{equation*}

Где $\Delta \omega$ --- шаг по частоте и он равен
$\omega_{k + 1} - \omega_k = \frac{\pi}{2T}$. \ldots{} характеризующий
интервал частот между соседними гармониками.

Обозначим через
\begin{equation*}
  S_u(k \omega_1) = \frac{D_k}{\Delta \omega} = \frac{2T D_k}{\pi} 
\end{equation*}

Функция $S_u(k \omega_1)$ будет называться \textbf{средней плотностью
дисперсии стационарного процесса}. По сути своей данная функция является
дисперсией, которая приходится на единицу длины частотного интервала.

С учётом сделанных обозначений формула для кореляции будет иметь
следующий вид:
\begin{equation*}
  R_u(\tau) = \frac{1}{2} \sum_{k = -\infty}^\infty S_u(k\omega_1) e^{jk\omega_1 \tau} \Delta \omega 
\end{equation*}

С учётом \ldots{} можем записать в следующем виде

\begin{equation*}
  S_u(k \omega_1) = \frac{1}{\pi} \int_{-2T}^{2T} R_u(\tau) e^{-jk\omega_1 \tau} d\tau 
\end{equation*}

Осуществим предельный переходи при $t \to \infty$. Получим:
$S_u(k \omega_1) \to S_u(\omega)$, $k\omega_1 \to \omega$,
$\Delta \omega \to d\omega$

Тогда получим для кореляции: 

\begin{equation*}
  \begin{cases}
    R_u(\tau) = \frac{1}{2} \int_{-\infty}^\infty S_u(\omega) e^{j\omega\tau} d\omega \\
    S_u(\omega) = \frac{1}{\pi} \int_{-infty}^\infty R_u(\tau) e^{-j\omega\tau} d\tau
  \end{cases}
\end{equation*}

Величина $S_u(\omega) d\omega$ по смыслу \ldots{} представляет собой
дисперсию, приходящуюся на спектр частот

Функция $S_u(\omega)$ характеризует распределение дисперсии случайного
процесса по частотам и называется \emph{спектральной плотностью
стационарного случайного процесса}. Аналогично вышеизл мат. если мы для
кореляционной функции применим каноническое разложение, то получим
следующую формулу:
\begin{equation*}
  R_u(\tau) = \frac{1}{2} \int_{-\infty}^\infty S_u(\omega) e^{j\omega\tau_1} e^{-j\omega\tau_2} d\omega 
\end{equation*}

Согласно данному каноническому представлению дисперсии построим
каноническое распределение случайного процесса. Для этого
\begin{equation*}
  U^o(t) = \frac{1}{2} \sum_{k = -\infty}^\infty \frac{C_k}{\Delta \omega} e^{jk\omega_1 t} \Delta \omega 
\end{equation*}

Введём обозначение $G_u(\omega_k) = \frac{C_k}{\Delta \omega}$ и
осуществим предельный переход. Тогда центрированный случайный процесс
будет иметь следующий вид:
\begin{equation*}
  U^o(t) = \frac{1}{2} \int_{-\infty}^\infty G_u(\omega) e^{j\omega t} d\omega 
\end{equation*}

В силу сделанных обозначений очевидно, что функция
$G_u(\omega) d\omega$ является случайной функцией с дисперсией
$S_u(\omega) d\omega$ приходящейся на спектральную составляющую .

\subsubsection{Спектральная плотность мощности.}

Перейдём к одностороннему спектру для положительных частот. Для функции
$S_u(\omega)$ применим формулу Эйлера и представим её \ldots{}
\begin{equation*}
  S_u(\omega) = \frac{1}{\pi} \int_{-\infty}^\infty R_u(\tau) \cos(\omega \tau) d\tau - \frac{j}{\pi} \int_{-\infty}^\infty R_u(\tau) \cdot \sin (\omega \tau) d\tau 
\end{equation*}

В силу чётности \ldots{} а первый интеграл мы можем записать для
положительных частот:
\begin{equation*}
  S_u(\omega) = \frac{2}{\pi} \int_0^\infty R_u(\tau) \cos(\omega \tau) d \tau 
\end{equation*}

Отсюда следует, что $S_u(\omega)$ также является действительной и
чётной функцией, а след. таким же образом мы можем ограничить и корел.
функиц.
\begin{equation*}
  R_u(\tau) = \int_0^\infty S_u(\omega) \cos(\omega\tau) d\omega 
\end{equation*}

Если в данном выражении $\tau$ положить $0$, то мы получим формулу
для дисперсии. \begin{equation*}
  R_u(0) = D_k = \int_0^\infty S_u(\omega) d\omega
\end{equation*}

Соответственно дисперсия будет характеризовать мощность сигнала, поэтому
функцию $S_u(\omega)$ называют \emph{спектральной плотностью
мощности}.

\subsubsection{Преобразование непрерывных сигналов в дискретные.}

\paragraph{Формулировка задачи дискретизации}

Дискретизация сигнала --- это первообразные функции непрерывного
аргумента в функцию дискретного времени. То есть дискретизация
заключается в замене непрерывного сигнала $U(t)$ совокупностью
координат $[c_1, c_2, \dots, c_n] = A[u(t)]$, где $A[.]$ ---
некоторый оператор.

С точки зрения простоты реализации целесообразно использовать линейные
операторы, в частности для определения координат сигнала удобно
использовать соотношение
\begin{equation*}
  C_i = A[u(t)] = \int_T \phi_i(t) u(t) dt \quad (1) 
\end{equation*} 

Где $\phi_i(t)$ --- набор базисных функций (как правило ортогональных).

При последующем использовании дискретного сигнала для цели управления им
обычно осуществляется его восстановление с использованием другого
заданного оператора: 
\begin{equation*}
  U^*(t) = B[c_1, c_2, \dots, c_n] 
\end{equation*}

Если у нас дискретизация осуществлялась помощью оператора (1), то для
восстановления будет использован следующий оператор:
\begin{equation*}
  U^*(t) = \sum_{i = 1}^N c_i \phi_i(t) 
\end{equation*}

Следует отметить \ldots{} в следствии применения операции интегрирования
будет обладать высокой помехоустойчивостью, но при этом будет иметь
место задержка сигнала на интервал интегрирования $T$, поэтому
наиболее часть дискретизация сводится к замене сигнала совокупностью его
мгновенных значений в отведённые моменты времени. При этом эта
совокупность будет называться \textbf{выборкой мгновенных значений}. Это
достигается использованием дельта-функций в качестве набора базисных
функций. В результате получится некоторая решётчатая функция с
координатами $c_i = u(t_i)$. При этом если шаг дискретизации будет
постоянным, то дискретизация будет называться \textbf{равномерной}.

При восстановлении таких непрерывных сигналов для обеспечения простоты
реализации широго применяются неортогональные базисные функции, в
частности используются степенные алгебраические полиномы.
Восстановленный сигнал будет в этом случае:
\begin{equation*}
  U^*(t) = \sum_{i = 0}^N a_i t^i 
\end{equation*}

Представление непрерывного сигнала некоторой совокупностью
равноотстоящих отсчётов является наиболее распространённым способом
дискретизации. Обычно она осуществляется для дальнейшего преобразования
сигнала в цифорвую форму. В результате цифрового кодирования дискретного
сигнала происходит его квантование, то есть замена в соответствующие
моменты времени мгновенных значений ближайшими разрешёнными. При этом
сигнал оказывается дискретным как по множеству значений, так и по
времени. Преимуществом такого представления сигнала состоит в том, что
множество уровней квантования можно представить небольшим количеством
разрядов. Кроме того при цифровом представлении сигнала для его
обработки могут быть использованы сложные алгоритмы, в том чистле
алгоритм поиска и исправления ошибок при передаче.