diff options
Diffstat (limited to 'sem5/information-theory/lectures')
| -rw-r--r-- | sem5/information-theory/lectures/lecture1.tex | 188 | ||||
| -rw-r--r-- | sem5/information-theory/lectures/lecture2.tex | 178 | ||||
| -rw-r--r-- | sem5/information-theory/lectures/lecture3.tex | 198 | ||||
| -rw-r--r-- | sem5/information-theory/lectures/lecture4.tex | 234 | ||||
| -rw-r--r-- | sem5/information-theory/lectures/lecture5.tex | 3 |
5 files changed, 801 insertions, 0 deletions
diff --git a/sem5/information-theory/lectures/lecture1.tex b/sem5/information-theory/lectures/lecture1.tex new file mode 100644 index 0000000..4a0c03d --- /dev/null +++ b/sem5/information-theory/lectures/lecture1.tex @@ -0,0 +1,188 @@ +\subsection{Лекция 1 (02.09.21)} + +Данные, полученные человеком будут называться сообщениями. Информацией +становятся те сообщения, которые используются для принятия каких-либо +решений, то есть снимается неопределённость, которая существовала до их +поступления. + +Следует отметить, что теория информации занимается изучением количества +информации безотносительно какого-то содержания сообщения. Все сообщения +в теории информации формализуются и изучается процесс формирования таких +сообщений и способов их передачи. + +Предметом изучения теории информации являются вероятностные +характеристики исследуемых объектов и явлений. + +Теория информации делится на: + +\begin{itemize} + \item + теорию передачи информации (предметом изучения являются оптимальные методы передачи сообщений); +\end{itemize} + +\textbf{рис. 1} + +Сигналом принято считать некоторую физическую хар-ку, изменяющуюся во +времени. Например, изменение напряжения во времени. + +В общем случае сигналом может быть любое изменение начального состояния +объекта, которое способно вызвать реакцию человека или принимающего +прибора. + +Различают сигналы: +\begin{itemize} + \item зрительные + \item звуковые + \item радиоэлектрические + \item радиосигналы +\end{itemize} + +Следует отметить, что одни сигналы могут как преобразовываться в другие, +так и сами являться источниками формирования новых сигналов. С точки +зрения изменения сигнала с течением времени различают \emph{статические} +и \emph{динамические}. + +Статические --- это сигналы, которые изменяют устойчивое изменение +состояния объекта. Динаические --- это сигналы, отображающие +непрерывные изменения некоторого объекта, либо процесса при переходе от +одного устойчивого состояния к другому. К динамическим относятся все +виды электромагнитных колебаний, а также распространения звука в воде и +твёрдых предметах. + +По струкруте сообщения сигналы делятся на \emph{непрерывные} и +\emph{дискретные}. Сигналы могут быть непрерывными и дискретными как по +времени, так и по множеству значений. Возможен один из четырёх видов +сигналов: - полностью непрерывный сигнал (по времени \& множеству +значений) - непрерывный по множеству значений и дискретным по времени - +дискретный по множеству значений и непрерывным по времени - полностью +дискретный + +Носителем сигнала всегда является объект или процесс. Однако если +абстрагироваться от его физической природы, то существенными с точки +зрения теории информации будут только его вероятностные характеристики и +другие важные черты с точки зрения данного изучаемого процесса. + +\textbf{В теории информации математическая модель сигнала может +противоречить реальной физической структуре.} Допустим, в теории инф мы +предполагаем, что структура сигнала известна приёмнику. + +\subsubsection{Обобщённое спектральное представление детерминированных +сигналов} + +Чтобы изучать непрерывные сигналы для начала изучаются детерминированные +сигналы, при этом они рассматриваются как некоторый ансамбль \ldots{} . + +Мы будем использовать некоторую функцию + +\begin{equation} + u(t) = \sum_{k = 1}^{}n C_k \phi_k(t) \quad (1) +\end{equation} + +Искусственно ограничиваем $t$ некоторым \emph{промежутком времени} +(?). Данная модель называется \textbf{линейной моделью сигнала}. Здесь +$\phi_k(t)$ --- базисные функции, а $C_k$ --- безразмерный +коэффициент. Если заданы все базисные функции, то функция $u(t)$ будет +определяться только коэффициентами $C_k$. Эти коэффициенты будут +называться дискретным спектром сигнала. За пределами интервала +$t \in [t_1; t_2]$ времени сигнал считается \emph{всегда} +\textbf{условно продолжающимся}. + +В некоторых задачах такое представление является неприемлемым, поэтому +для сигналов конечной длительности существуе другое представление: + +\begin{equation*} + u(t) = \int_{-\infty}^{}\infty S(\alpha) \phi(\alpha, t) ; d\alpha \quad (2) +\end{equation*} + +Здесь $s(\alpha)$ называется \emph{спектральной плотностью}, а +$\phi(\alpha, t)$. Это модель \emph{непрерывного} сигнала. + +Раздел теории информации, который изучает сигналы в данных +представлениях, называется \textbf{спектральной теорией сигналов}. + +В связи с этим обычно используют набор ортогональных базисных функций, +которые удовлетворяют следующему условию: + + +\begin{equation*} + \int_{t_1}^{}{t_2} \phi_k(t) \phi_l(t) d t = + \begin{cases} 0, &k \neq l \\ 1, &k = l \end{cases} + \quad (3) +\end{equation*} + +То есть если умножить все $\phi_l$ на данном интервале на коэффициент +$\frac{1}{\sqrt{\mu}}$, то мы получим ортонормированную функцию, то +есть +\begin{equation*} + \int_{t_1}^{}{t_2} \phi_k(t) \phi_l(t) dt = 1, \quad k = l +\end{equation*} + +Пусть имеется модель, удовлетворяющая условию ортонормированности. +Возьмём модель (1), обе части данной модели умножим на $\phi_l(t)$ и +\ldots{} . Получим + +\begin{equation*} + \int_{t_1}^{t_2} u(t) \phi_l(t) dt = + \int_{t_1}^{t_2} \sum_{k = 1}^n C_k \phi_k(t) \phi_l(t) dt = + \sum_{k = 1}^n C_k \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt +\end{equation*} + +Получаем +\begin{equation*} + C_k = \int_{t_1}^{t_2} \phi(t) \phi_k(t) dt +\end{equation*} + +Исходя из этого получаем: +\begin{enumerate} + \item Каждый коэффициент $C_k$ может вычисляться независимо друг от друга + \item + Сложность их вычисления будет зависеть только от сложности вычисления + базисной функции, поэтому для изучения сигналов применяются системы + ортогональных функций, в частности применяются + \begin{enumerate} + \item Системы тригонометрических функций + \item Системы функций Хаара + \item Полиномы Лежандра + \item Полиномы Чебышева + \item Полиномы Лагерра + \item Полиномы Эрмита + \end{enumerate} +\end{enumerate} + +\subsubsection{Временная форма представления сигналов} + +Возьмём произвольную непрерывную функцию $u(t)$. Будем считать, что +непрерывная функция представляет собой набор функций примыкающих друг к +другу импульсов бесконечно малых длительности с амплитудой равной +значению сигнала в конретный момент времени. То есть получим новую +модель, которая записывается через некоторую дельта-функцию. + + +\begin{equation*} + u(t) = \int_{-\infty}^{}\infty u(\tau) \delta(\tau - t) d\tau \quad (4) +\end{equation*} + +\begin{equation*} + \delta = \begin{cases} \infty, &t = \tau \\ 0, &t \neq \tau \end{cases} +\end{equation*} + +Ортонормируем дельта-функцию: +\begin{equation*} + \int_{-\infty}^{}\infty \delta(\tau - t) d \tau = 1 +\end{equation*} + +Как видно, модель (4) является обобщённым случаем модели (2), базисной +функцией которого является дельта-функция. Таким же образом мы можем с +помощью этой модели мы можем построить дискретную модель, которая будет +называться \textbf{решётчатой} функцией: + +\begin{equation*} + u_l(t) = \sum_{k = -\infty}^{}\infty u(t) \delta(\tau - t), \quad \tau = \Delta t k +\end{equation*} + +$\Delta t$ --- период импульса. + +Пределы суммы могут быть как конечными, так и бесконечными исходя из +физической реальности. + +Эти две модели могут называться временными. diff --git a/sem5/information-theory/lectures/lecture2.tex b/sem5/information-theory/lectures/lecture2.tex new file mode 100644 index 0000000..9992bdc --- /dev/null +++ b/sem5/information-theory/lectures/lecture2.tex @@ -0,0 +1,178 @@ +\subsection{Лекция 2 (09.09.21)} + +\subsubsection{Частотное представление периодических сигналов} + +\textbf{ЗАМЕНИТЬ $l$ на $e$ !!!} + +Рассмотрим детерминированный сигнал. В качестве базисной функции примем +$\phi(t) = l^{Pt}, \quad P = \pm j \omega$. Такое представление +функции базисными сигналами будет называться преобразованием Фурье. +Удобно: - применяя формулу Эйлера данное представление даёт возможность +представить в виде суммы гармоний. Формула Эйлера: +\[\cos \omega t = \frac{ l^{j\omega t} + l^{-j \omega t} }{ 2 }\] + +Предположим, что функция $u(t)$, которой описывается детерминируемый +сигнал реализуется на интервали $[t_1; t_2]$ и удовлетворяет условию +Дирихле. \emph{Условие Дирихле} означает, что функция непрерывна или +имеет конечное число точек разрыва первого рода, а также имеет конечное +число экстремумов. Определим период повторения $T = t_2 - t_1$. При +этом предполагая, что функция продолжается на всём интервале времени. +Тогда формула сигнала $u(t)$ будет иметь следующий вид: \[ +\begin{cases} + u(t) = \frac{1}{2} \sum_{k = -\infty}^\infty A(j k \omega) l^{j k \omega_1 t} \\ + A(j k \omega_1) = \frac{2}{T} \int_{t_1}^{t_2} u(t) l^{-j k \omega t} dt +\end{cases} +\] A\_j\_k называют комплексным спектром данного сигнала $u(t)$, а +значение этой функции для каждого конкретного $k$ будут называться +\emph{комплексной амплитудой}. + +Пусть $k \omega_1 = \omega$ то есть для данного коплексного спектра мы +попробуем построить огибающую. Тогда +\[ A(j \omega) = \frac{2}{T} \int_{t_1}^{t_2} u(t) l^{-j \omega t} dt \] + +Показательная форма: +\[ A(j k \omega_1) = A(k \omega_1) l^{j \phi(k \omega_1)} \] Функция +$A(k \omega_1)$ --- спектр амплитуд, $l^{j \phi(k \omega_1)}$ --- +спектр фаз. \textbf{Оба они дискретны}. Вторая форма: +\[ A(j k \omega_1) = A_k - j B_k \] +\[ A_k = \frac{2}{T} \int_{t_1}^{t_2} u(t) \cos(k \omega_1 t) dt \] +\[ B_k = \frac{2}{T} \int_{t_1}^{t_2} u(t) \sin(k \omega_1 t) dt \] +Отсюда видно, что \[ A(j \omega_1) = \sqrt{A_k^2 + B_k^2} \] +\[ \phi(k \omega_1) = \arctan \left( \frac{B_k}{A_k} \right) \] Если в +данных формулах положить $k = 0$, то получится равенство для +постоянной (огибающей) состовляющей сигнала: +\[ \frac{A_0}{2} = \frac{1}{T} \int_{t_1}^{t_2} u(t) dt \] + +Отсюда: +\[ u(t) = \frac{A_0}{2} + \frac{1}{2} \sum_{k = 1}^\infty (A(j k \omega_1) e^{j k \omega_1 t} + A(-j k \omega_1) e^{-j k \omega_1 t}) = \frac{A_0}{2} + \sum_{k = 1}^\infty A(k\omega_1) \cos (k \omega_1 t - \phi(k \omega_1))\] + +Спектр амплитуд и спектр фаз согласно данному представлению могут быть +представлены в виде совокупности линий, каждая из которых соответствует +определённой частоте. Поэтому эти спектры называют \emph{линейчатыми}. +Сигналы, линейчатые спектры которых включают гарминоки некоторых частот, +которые не кратны, называют \emph{почти периодическими}. + +Согласно этому представлению построим распеределение энергии в спектре +этого сигнала. ??? + +\subsubsection{Распределение энергии в спектре периодических сигналов} + +Пусть имеется период $T$. Тогда Распределение энергии в спектре +периодических сигналов будет определятся интегралом: +\[\int_{0}^{T} |u(t)|^2 dt = \int_{0}^{T} \left| \frac{A_0}{2} + \frac{1}{2} \sum_{k = 1}^\infty (A(j k \omega_1) e^{j k \omega_1 t} + A(-j k \omega_1) e^{-j k \omega_1 t}) \right|^2 dt = \] +\[ += \frac{A_0^2}{4} \int_{0}^{T} dt + +\left( +\frac{A_0}{2} \sum_{k=1}^\infty A(jk\omega_1) \int_0^T e^{jk\omega_1 t} dt + \frac{A_0}{2} \sum_{k = 1}^\infty A(-j k \omega_1) \int_0^T e^{-j k\omega_1 t} dt + +\right) \] +\[ + \frac{1}{2} \sum\sum A(j k \omega_1) A(-j l \omega_1) \int_0^T e^{j k \omega_1 t} e^{-j k \omega_1 t} dt\] + +\ldots{} +\[ \int_0^T e^{jk\omega_1 t} dt = \int_0^T e^{-j k \omega_1 t} dt = 0 \] +Эти два интеграла будут равны 0, если $k$ + +\[ \int_0^T e^{j \omega_1 t (k - l)} dt = \begin{cases} + T, k = l \\ + 0, k \neq l +\end{cases}\] + +В результате этого у нас останется +\[ \int_0^T |u(t)|^2 dt = \frac{A_0^2}{2} * \frac{T}{2} \sum_{k = 1}^{\infty} | A(j k \omega_1) |^2 \] + +Вывод: согласно данному представлению получаем, что средняя за период +энергия будет равна сумме средних энергий, выделяемых каждой гармоникой. + +\subsubsection{Частотное представление непериодических сигналов} + +Предположим, что соответствующая реальному непериодическому сигналу +$u(t)$ удовлетворяет условию Дирихле и абсолютно интегрируема. Тогда +спектральное представление непериодич сигнала $u(t)$ можно строить +путём увеличения периода периодического сигнала до бесконечности. + +С учётом того, что использовался период $\frac{2\pi}{\omega_1}$ будет +иметь представление: +\[ u(t) = \frac{1}{2} \sum_{k = -\infty}^{\infty} \left( \frac{\omega_1}{\pi} \int_{t_1}^{t_2} u(t) e^{-j k \omega_1 t} dt \right) e^{jk \omega_1 t} \] + +Осуществим предельный переход, при этом $T \to \infty$. При этом сумма +перейдёт в интеграл, $\omega_1 = \Delta \omega \to d \omega$, +$k\omega_1 \to \omega$. В результате этих преобразований $u(t)$ +Будет иметь вид: +\[ u(t) = \frac{1}{2\pi} \int_{-\infty}^{\infty} ( \int_{-\infty}^\infty u(t) * e^{-j \omega t} dt) e^{j \omega t} d\omega \] + +Обозначим за $j\omega$ Получим: +\[ u(t) = \frac{1}{2\pi} \int_{-\infty}^\infty S(j\omega) e^{j\omega t} d\omega \] +\[ S(j\omega) = \int_{-\infty}^\infty u(t) e^{-j\omega t} dt \] + +Эта пара называется парой преобразования Фурье для непериодического +сигнала. + +Функция $Sj\omega$ называется комплексной спектральной плотностью или +спектральной характеристикой непериодического сигнала. По аналогии с +период сигн, спектр харка имеет следующие представления: Показательная +форма: \[ S(j \omega) = S(\omega) e^{-j\phi(\omega)} \] + +$S(\omega)$ -- амплитуда\ldots{} , Спектр фаз --- $e^{-j\phi(\omega)}$. + +\[ e^{-j\omega t} = \cos(\omega t) - j \sin(\omega t)\] +\[ S(j \omega) = A(\omega) * j B(\omega) \] +\[ A(\omega) = \int_{-\infty}^{\infty} u(t) \cos(\omega t) dt \] +\[ B(\omega) = \int_{-\infty}^\infty u(t) \sin(\omega t) dt \] + +При этом \[ S(\omega) = \sqrt{|A(\omega)|^2 + |B(\omega)|^2} \] +\[ \phi(\omega) = \arctan \frac{B(\omega)}{A(\omega)} \] + +\ldots{} + +\[ S(\omega) = |S(j \omega)| \] + +\ldots{} + +\[ u(t) = \frac{1}{2\pi} \int_{-\infty}^{\infty} S(\omega) e^{j(\omega t - \phi(\omega))} d\omega = +\frac{1}{2 \pi} \int_{-\infty}^\infty S(\omega) \cos(\omega t) - \phi(\omega)) d\omega + j \int_{-\infty}^\infty S(\omega) * \sin(\omega t * \phi(\omega) d \omega) \] + +А первый в силу \ldots{} можно записать только ???. Таким обр мы получим +тригонометрическую форму ряда фурье. +\[ u(t) = \frac{1}{\pi} \int_0^\infty S(\omega) \cos(\omega t - \phi(\omega)) d\omega \] + +\ldots{} ограничить функцию \ldots{} + +\[ S(j \omega) = \int_{t_1}^{t_2} u(t) e^{-j\omega t} dt \] + +Получим \[ A(j \omega) = \frac{2}{T} S(j \omega) \] + +Если у непериодического сигнала взять единичный импульс можно построить +линейчатый спектр его периодической последовательности. + +\subsubsection{Распределение энергии в спектре непериодического сигнала} + +Выражение для величины характеризующей \ldots{} запишем след образом: +\[ \int_{-\infty}^\infty |u(t)|^2 dt = \int_{-\infty}^\infty u(t) (\frac{1}{2\pi} \int_{-\infty}^\infty S(j\omega) e^{-j\omega t} d\omega ) dt = \] +\[ = \frac{1}{2\pi} \int_{-\infty}^\infty S(j\omega) (\int_{-\infty}^\infty u(t) e^{j \omega t} dt) d\omega = \] +\[ = \frac{1}{2\pi} \int_{-\infty}^\infty S(j\omega) S(-j\omega) d\omega = \frac{1}{2\pi} \int_{-\infty}^\infty |S(j\omega)|^2 d\omega \] + +Согласно равенству персиваля +\[ = \frac{1}{\pi} \int_0^\infty |S(j \omega)|^2 d\omega \] В соотвии с +этим равенством энергия выделяемая непериодическим сигналом за всё время +его существования можно определить интегрируя квадрат модуля +спектральной харки в интервале частот. + +Определим соотношение между длительностью сигнала и шириной его спектра. +Предположим, что сигнал $u(t)$ имеет определённую продолжительность и +имеет спектральную характеристику $S(j\omega)$. Увеличим длительность +сигнала в некоторую $\lambda$ раз и найдём соответствующаю +спектральную характеристику +\[ S_\lambda (j\omega) = \int_{-\infty}^\infty u(\lambda t) e^{-j \omega t} dt = \] +Пусть есть некоторое $\tau = \lambda t$. Тогда +\[ = \frac{1}{\lambda} \int_{-\infty}^\infty u(\tau) e^{-j \omega \tau / \lambda} d\tau = \frac{1}{\lambda} S(j \frac{\omega}{\lambda}) \] + +Из данного равенства видно, что спектр удлиннённого или укороченного в +$\lambda$ раз будет в $\lambda$ уже или шире, при этом коэффициент в +$\frac{1}{\lambda}$ изменяет только амплитуды гармоник и не влияет на +ширину спектра. Это связяно с тем, что переменные $t$ и $\omega$ +находятся показатель степени экспоненциальной функции как прямого преобр +фурье, так и обратного. Из этого следует, что длительность сигнала и +ширина его спектра не могут быть одновременно ограничены конечными +интервалами. В частности, имеет место соотношение +$\Delta t : \Delta f = const$, где $\Delta t$ --- длительность +импульса, а $\Delta f$ --- ширина. + diff --git a/sem5/information-theory/lectures/lecture3.tex b/sem5/information-theory/lectures/lecture3.tex new file mode 100644 index 0000000..2103c8d --- /dev/null +++ b/sem5/information-theory/lectures/lecture3.tex @@ -0,0 +1,198 @@ +\subsection{Лекция 3 (16.09.21)} + +\subsubsection{Модели случайных сигналов} + +Наиболее точной моделью сигнала при изучении вопросов его передачи +является \emph{случайный процесс} для которого детерминированные функции +рассматриваются ка отдельные реализации. Случайным процессом будем +называть функцию $U(t)$, значение которой в каждый момент времени +является случайной величиной. По аналогии, случайные процессы могут быть +непрерывные и дискретные как по времени, так и по множеству состояний. +ТО есть по аналогии с классификацией детерминированных сигналов, можно +выделить один из четырёх типов случайного процесса: - непрерывный +случайный процесс по множеству состояний (континууму), при этом +изменения состояния возможны в любой момент времени; - непрерывная +случайная последовательность --- изменения состояний допускаются лишь в +конечном числе моментов времени; - дискретный случайный процесс --- +множество состояний конечно, но изменения состояний могут происходить в +произвольные моменты времени; - дискретная случайная последовательность +--- состояния из конечного множества могут изменяться в конечном числе +моментов времени. + +Для описания свойств случайного процесса мы будем использовать +$n$-мерную плотность вероятности. + +\begin{equation*} + P_N(U_1, U_2, \dots, U_N; t_1, t_2, \dots, t_N) +\end{equation*} + +$n$-мерную плотность вероятности --- система $N$ случайных величин +$U_1, U_2, \dots, U_N$, где +$U_1 = U(t_1), U_2 = U(t_2), \dots U_N = U(t_N)$ взятых в моменты +времени $t_1, t_2, \dots, t_N$. Как частный случай будет +использоваться одномерная плотность вероятности $P_1(U; t)$, которая +будет характеризовать распределение случайной величины в произвольный +момент времени $t$. Если мы возьмём двумерную плотность вероятности +$P_2(U_1, U_2; t_1, t_2)$, то мы получим вероятность совместных +реализаций значений случайных величин в произвольные моменты времени +$t_1, t_2$. При этом будут иметь место соотношения + +\begin{equation*} + P_1(U; t) = \int_{-\infty}^{\infty} P_2(U_1, U_2; t_1, t_2) d U_2 +\end{equation*} + +Работа со случайными величинами высоких порядков является крайне +трудоёмкой вещью, поэтому для характеристики случайного процесса будут +использованы моменты функций первого порядка и второго порядка. (мат +ожидание, дисперсия и корелляционная функция). + +Математическим ожиданием случайного процесса $U(t)$ будем называть +неслучайную функцию $m_U(t)$ значение которой в каждый момент времени +равно математическому ожиданию случайной величины в соответствующем +сечении случайного процесса. +\begin{equation*} + m_U(t) = M\{U(t)\} = \int_{-\infty}^{\infty} U P_1(U; t) dU +\end{equation*} + +Дисперсией случайного процесса $U(t)$ будем называть функция +$D_U(t)$, значение которой в каждый момент времени равно дисперсии +случайной величины в соответсвующем сечении случайного процесса. +\begin{equation*} + D_U(t) = M\{U^o(t)\} = \int_{-\infty}^\infty U^o(t)^2 P_1(U; t) dU +\end{equation*} +Где $U^o$ (o над U) --- нызвается центрированной случайной величиной в +сечении $t$ ($U^o(t) = U(t) - m_U$) + +Кореляционной функции случайного процесса $U(t)$ называют неслучайную +функцию $R_U(t_1; t_2)$, которая для каждой пары произвольно выбранных +значений $t_1$ и $t_2$ равна кореляционному моменту соответствующих +сечений случайного процесса. +\begin{equation*} + R_U(t_1; t_2) = M\{U^o(t_1) U^o(t_2)\} = \int_{-\infty}^\infty \int_{-\infty}^\infty U^o(t_1) U^o(t_2) \cdot P_2 (U_1, U_2; t_1, t_2) dU_1 dU_2 +\end{equation*} +Где $U^o(t_1)$ --- нызвается центрированной случайной величиной в +сечении $t_1$ ($U^o(t_1) = U(t_1) - m_U(t_1)$), а $U^o(t_2)$ --- +нызвается центрированной случайной величиной в момент времени $t_2$ +($U^o(t_2) = U(t_2) - m_U(t_2)$). + +Нормированная автокореляционная функция +\begin{eqnarray} + \rho_U(t_1; t_2) = \frac{R_U(t_1; t_2)}{\sigma_U(t_1) \sigma_U(t_2)} \\ + \sigma_U(t_1) = \sqrt{D_U(t_1)} \\ + \sigma_U(t_2) = \sqrt{D_U(t_2)} +\end{eqnarray} + + +Следует отметить, что если произвольные моменты $t_1 = t_2 = t$, то +автокорелляционная функция выражается в дисперсию, а соответствующая ей +нормированная автокореляционная функция будет равна $1$. + +Если имеется два случайных процесса, то можно рассматривать функцию +взаимной кореляции: +\begin{equation*} + R_{UV}(t_1; t_2) = M\{ U^o (t_1) V^o(t_2) \} +\end{equation*} + +С точки зрения изменчивости указанных характеристик различают +стационарные и нестационарные случайные процессы. Случайный процесс +будет называться в узком смысле, если описывающий его плостности +вероятности не зависят он начала отсчёта времени. Случайный процесс +называют стационарным в широком смысле, если выполняются следующие +соотношения: +\begin{equation*} + \begin{cases} + m_U(t) = m_U = const \\ + D_U(t) = D_U = const \\ + R_U(t, t + \tau) = R_U(\tau) + \end{cases} +\end{equation*} + +То есть мат ожидание и дисперсия постоянны, а кореляционная функция не +зависит он начала отсчёта времени и является функцией одного аргумента +(шага по времени). Обычно предполагается, что стационарный процесс +является \emph{эрготическим} (то есть средняя по ансамблю реализация +равно среднему по времени на одной реализации) если мат ожидание +\begin{eqnarray} + m_u = \lim_{T \to \infty} U(t) dt = U_0 \\ + D_U = \lim_{T \to \infty} \int_0^T (U(t) - U_0)^2 dt \\ + R_U(\tau) = \lim_{T \to \infty} \int_0^T (U(t) - U_0) (U(t + \tau) - U_0) dt +\end{eqnarray} + +Эрготичность стационарного сигнала будет перетекать в эрготичность +источника. + +\subsubsection{Спектральной представление случайных сигналов} + +Аналогично детерминированному сигналу построим для случайного процесса +представление через сумму спектральных составляющих. Для этого будем +использовать так называемое каноническое разложение случайного процесса +$U(t)$, то есть будет представляться в виде: +\begin{equation*} + U(t) = m_U(t) + \sum_K C_k \phi_k(t) \quad (1B) +\end{equation*} + +$m_U(t)$ --- мат ожидание, $\phi_k(t)$ --- неслучайные (координатные) базисные функции, +$C_k$ --- некореллированные случайные случайные величины с мат +ожиданиями равными нулю и дисперсиями $D_k$, где +\begin{equation*} + M_k[C_k C_l] = \begin{cases} P_k, k = l \\ 0, k \neq l \end{cases} +\end{equation*} + +Слагаемые $C_k * \phi_k(t)$ будут называть элементарным случайным +процессом. Случайность такого процесса будет проявляться только через +величину $C_k$. $C_k$ будут называться коэффициентами канонического +разложения. + +Найдём кореляционную функцию случайного процесса $U(t)$, который +представлениследующим элементарным процессом. +\begin{equation*} + R_U(t_1, t_2) = M\{ \sum_k C_k \phi_k(t_1) \sum_l C_l \phi_l(t_2) \} = \sum_{k, l} M\{ C_k C_l \} \phi_k(t_1) \phi_l(t_2) = +\end{equation*} + +Так как $C_k$ и $C_l$ некореллируемые величины, то для \ldots{} +получим следующее выражение. +\begin{equation*} + = \sum_k \phi_k(t_1) \phi_k(t_2) D_k \quad (2B) +\end{equation*} + +Такое представление корелляционной функций называют каноническим +разложением кореляционной функции случайного процесса $U(t)$. Всякому +каноническому разложению случайного процесса (1B) соответствует +каноническое разложение (2B). Это утверждение доказывается при этом +будет справедливо и обратное утверждение. + +Рассмотрим каноническое разложение корелляционной функции. Пусть +$t_1 = t_2 = t$. Тогда получим формулу: +\begin{equation*} + = \sum_k D_k(\phi_k(t))^2 +\end{equation*} + +То есть при выбранном наборе +координатной функции центрированный случайный процесс будет +характеризоваться совокупностью дисперсий коэффициентов разложения, +которые можно рассматривать как обобщённый спектр случайного процесса. + +Для построения спектра случайного процесса нам необходимо найти все +функции $\phi_k(t)$ и некореллированные случайные величины $C_k$, +что во многих случаях представляется достаточно затруднительной задачей. +Пусть $\phi_k$ являются ортогональными координатными функциями и будет +справедливо следующее представление: +\begin{equation*} + \int_{-T/2}^{T/2} m_u^2(t) dt < \infty +\end{equation*} + +Тогда неслучайную функцию $m_u(t)$ на интервале $T$ можно разложить следующим образом: +\begin{equation*} + m_u(t) = \sum_k m_{uk} \phi_k(t) +\end{equation*} + +Здесь $m_{uk} = \int_{-T/2}^{T/2} m_u(t) \phi_k(t) dt$. Тогда +каноническое разложение случайного процесса запишется следующим видом: +\begin{equation*} + U(t) = \sum_k m_{uk} + C_k) \phi_k(t) \quad (3B) +\end{equation*} + +Это соотношение +будет называться \emph{обобщённым спектральным представлением для +случайного процесса, которое раскладывается в каноническое +представление}.
\ No newline at end of file diff --git a/sem5/information-theory/lectures/lecture4.tex b/sem5/information-theory/lectures/lecture4.tex new file mode 100644 index 0000000..0c2d14f --- /dev/null +++ b/sem5/information-theory/lectures/lecture4.tex @@ -0,0 +1,234 @@ +\subsection{Лекция 4 (23.09.21)} + +\subsubsection{Частотное представление стационарных сигналов. Дискретные +спектры.} + +Предположим, что случайный процесс задан на интервале $[-T; T]$. Тогда +соответствующая ему корреляционная функция $R_u(\tau)$ должна +рассматриваться на интервале \ldots{} . При этом должно выполняться +равенство $\tau \in [-2T; 2T]$. Будем считать корреляционную функцию +$R_u(\tau)$ условно продолжающейся с периодом $4T$. Тогда для неё +можно записать пару преобразований Фурье: + +\begin{equation*} + R_u(\tau) = \frac{1}{2} \sum_{k = -\infty}^\infty D_k e^{jk\omega_1 \tau} +\end{equation*} +Где +\begin{equation*} + D_k = \frac{1}{2T} \int_{-2T}^{2T} R_u(\tau) e^{-jk\omega_1 \tau} d\tau +\end{equation*} +и +\begin{equation*} + \omega_1 = \frac{2\pi}{4T} = \frac{\pi}{2T} +\end{equation*} + +Учитывая то, что корреляционная функция является функцией чётной, то +$D_k$ можно представить на полупериоде, то +\begin{equation*} + D_k = \frac{1}{2T} \int_{0}^{2T} R_u(\tau) e^{-jk\omega_1 \tau} d\tau +\end{equation*} + +Пусть $\tau = t_1 - t_2$. Тогда корелляционная функция будет +представляться следующим образом: +\begin{equation*} + R_u(t_1 - t_2) = \frac{1}{2} \sum_{k = -\infty}^\infty D_k e^{jk\omega_1 t_1} e^{-jk\omega_1 t_1} +\end{equation*} + +Сравнивая с данным разложением корелляционной функции с каноническим +разложением кореляционной функции можно заметить, что $\phi_k(t_1)$ и +$\phi_k(t_2)$ будут представляться через экспоненциальные функции. +$\phi_k(t_1) = e^{jk\omega_1 t_1}$, $\phi_k(t_2) = e^{-jk\omega_1 t_2}$ + +Возьмём соответствующее этому каноническое разложение центрированного +случайного процесса, то есть +\begin{equation*} + U^o (t) = \frac{1}{2} \sum_{k = -\infty}^\infty C_k e^{jk\omega_1 t} +\end{equation*} + +добавим для обобщения мат ожидание стационарного случайного процесса. В +результате при объединении экспоненциальных составляющих с одинаковыми +по абсолютной величине индексами разных знаков стационарный случайный +процесс на ограниченном интеравале времени будет представляться суммой +гармоник. То есть +\begin{equation*} + U(t) = m_u + \sum_k (a_k \cos (\omega_1 t) + b_k \sin(\omega_1 t))) +\end{equation*} + +где $\omega_1 = \frac{\pi}{2T}$, $m_u$ --- мат ожидание +стационарного процесса, $a_k$ и $b_k$ --- неслучайные величины. + +Эта форма показывает, что получившиеся спектры являются линейчатыми, то +есть каждой гармонике на спектральной диаграмме будет соответствовать +вертикальный отрезок, длина которого пропорциональна дисперсии амплитуд. + +\#\#\# Частотное представление стационарных случайных сигналов. +Непрерывные спектры. + +Для описания случайного стационарного сигнала возьмём интервал +$(-\infty; \infty)$ и построим его интегральное каноническое +разложение. Для этого немного изменим для кореляционной функции. +\begin{equation*} + R_u(\tau) = \frac{1}{2} \sum_{k = -\infty}^\infty \frac{D_k}{\Delta \omega} e^{jk\omega_1 \tau} \Delta \omega +\end{equation*} + +Где $\Delta \omega$ --- шаг по частоте и он равен +$\omega_{k + 1} - \omega_k = \frac{\pi}{2T}$. \ldots{} характеризующий +интервал частот между соседними гармониками. + +Обозначим через +\begin{equation*} + S_u(k \omega_1) = \frac{D_k}{\Delta \omega} = \frac{2T D_k}{\pi} +\end{equation*} + +Функция $S_u(k \omega_1)$ будет называться \textbf{средней плотностью +дисперсии стационарного процесса}. По сути своей данная функция является +дисперсией, которая приходится на единицу длины частотного интервала. + +С учётом сделанных обозначений формула для кореляции будет иметь +следующий вид: +\begin{equation*} + R_u(\tau) = \frac{1}{2} \sum_{k = -\infty}^\infty S_u(k\omega_1) e^{jk\omega_1 \tau} \Delta \omega +\end{equation*} + +С учётом \ldots{} можем записать в следующем виде + +\begin{equation*} + S_u(k \omega_1) = \frac{1}{\pi} \int_{-2T}^{2T} R_u(\tau) e^{-jk\omega_1 \tau} d\tau +\end{equation*} + +Осуществим предельный переходи при $t \to \infty$. Получим: +$S_u(k \omega_1) \to S_u(\omega)$, $k\omega_1 \to \omega$, +$\Delta \omega \to d\omega$ + +Тогда получим для кореляции: + +\begin{equation*} + \begin{cases} + R_u(\tau) = \frac{1}{2} \int_{-\infty}^\infty S_u(\omega) e^{j\omega\tau} d\omega \\ + S_u(\omega) = \frac{1}{\pi} \int_{-infty}^\infty R_u(\tau) e^{-j\omega\tau} d\tau + \end{cases} +\end{equation*} + +Величина $S_u(\omega) d\omega$ по смыслу \ldots{} представляет собой +дисперсию, приходящуюся на спектр частот + +Функция $S_u(\omega)$ характеризует распределение дисперсии случайного +процесса по частотам и называется \emph{спектральной плотностью +стационарного случайного процесса}. Аналогично вышеизл мат. если мы для +кореляционной функции применим каноническое разложение, то получим +следующую формулу: +\begin{equation*} + R_u(\tau) = \frac{1}{2} \int_{-\infty}^\infty S_u(\omega) e^{j\omega\tau_1} e^{-j\omega\tau_2} d\omega +\end{equation*} + +Согласно данному каноническому представлению дисперсии построим +каноническое распределение случайного процесса. Для этого +\begin{equation*} + U^o(t) = \frac{1}{2} \sum_{k = -\infty}^\infty \frac{C_k}{\Delta \omega} e^{jk\omega_1 t} \Delta \omega +\end{equation*} + +Введём обозначение $G_u(\omega_k) = \frac{C_k}{\Delta \omega}$ и +осуществим предельный переход. Тогда центрированный случайный процесс +будет иметь следующий вид: +\begin{equation*} + U^o(t) = \frac{1}{2} \int_{-\infty}^\infty G_u(\omega) e^{j\omega t} d\omega +\end{equation*} + +В силу сделанных обозначений очевидно, что функция +$G_u(\omega) d\omega$ является случайной функцией с дисперсией +$S_u(\omega) d\omega$ приходящейся на спектральную составляющую . + +\subsubsection{Спектральная плотность мощности.} + +Перейдём к одностороннему спектру для положительных частот. Для функции +$S_u(\omega)$ применим формулу Эйлера и представим её \ldots{} +\begin{equation*} + S_u(\omega) = \frac{1}{\pi} \int_{-\infty}^\infty R_u(\tau) \cos(\omega \tau) d\tau - \frac{j}{\pi} \int_{-\infty}^\infty R_u(\tau) \cdot \sin (\omega \tau) d\tau +\end{equation*} + +В силу чётности \ldots{} а первый интеграл мы можем записать для +положительных частот: +\begin{equation*} + S_u(\omega) = \frac{2}{\pi} \int_0^\infty R_u(\tau) \cos(\omega \tau) d \tau +\end{equation*} + +Отсюда следует, что $S_u(\omega)$ также является действительной и +чётной функцией, а след. таким же образом мы можем ограничить и корел. +функиц. +\begin{equation*} + R_u(\tau) = \int_0^\infty S_u(\omega) \cos(\omega\tau) d\omega +\end{equation*} + +Если в данном выражении $\tau$ положить $0$, то мы получим формулу +для дисперсии. \begin{equation*} + R_u(0) = D_k = \int_0^\infty S_u(\omega) d\omega +\end{equation*} + +Соответственно дисперсия будет характеризовать мощность сигнала, поэтому +функцию $S_u(\omega)$ называют \emph{спектральной плотностью +мощности}. + +\subsubsection{Преобразование непрерывных сигналов в дискретные.} + +\paragraph{Формулировка задачи дискретизации} + +Дискретизация сигнала --- это первообразные функции непрерывного +аргумента в функцию дискретного времени. То есть дискретизация +заключается в замене непрерывного сигнала $U(t)$ совокупностью +координат $[c_1, c_2, \dots, c_n] = A[u(t)]$, где $A[.]$ --- +некоторый оператор. + +С точки зрения простоты реализации целесообразно использовать линейные +операторы, в частности для определения координат сигнала удобно +использовать соотношение +\begin{equation*} + C_i = A[u(t)] = \int_T \phi_i(t) u(t) dt \quad (1) +\end{equation*} + +Где $\phi_i(t)$ --- набор базисных функций (как правило ортогональных). + +При последующем использовании дискретного сигнала для цели управления им +обычно осуществляется его восстановление с использованием другого +заданного оператора: +\begin{equation*} + U^*(t) = B[c_1, c_2, \dots, c_n] +\end{equation*} + +Если у нас дискретизация осуществлялась помощью оператора (1), то для +восстановления будет использован следующий оператор: +\begin{equation*} + U^*(t) = \sum_{i = 1}^N c_i \phi_i(t) +\end{equation*} + +Следует отметить \ldots{} в следствии применения операции интегрирования +будет обладать высокой помехоустойчивостью, но при этом будет иметь +место задержка сигнала на интервал интегрирования $T$, поэтому +наиболее часть дискретизация сводится к замене сигнала совокупностью его +мгновенных значений в отведённые моменты времени. При этом эта +совокупность будет называться \textbf{выборкой мгновенных значений}. Это +достигается использованием дельта-функций в качестве набора базисных +функций. В результате получится некоторая решётчатая функция с +координатами $c_i = u(t_i)$. При этом если шаг дискретизации будет +постоянным, то дискретизация будет называться \textbf{равномерной}. + +При восстановлении таких непрерывных сигналов для обеспечения простоты +реализации широго применяются неортогональные базисные функции, в +частности используются степенные алгебраические полиномы. +Восстановленный сигнал будет в этом случае: +\begin{equation*} + U^*(t) = \sum_{i = 0}^N a_i t^i +\end{equation*} + +Представление непрерывного сигнала некоторой совокупностью +равноотстоящих отсчётов является наиболее распространённым способом +дискретизации. Обычно она осуществляется для дальнейшего преобразования +сигнала в цифорвую форму. В результате цифрового кодирования дискретного +сигнала происходит его квантование, то есть замена в соответствующие +моменты времени мгновенных значений ближайшими разрешёнными. При этом +сигнал оказывается дискретным как по множеству значений, так и по +времени. Преимуществом такого представления сигнала состоит в том, что +множество уровней квантования можно представить небольшим количеством +разрядов. Кроме того при цифровом представлении сигнала для его +обработки могут быть использованы сложные алгоритмы, в том чистле +алгоритм поиска и исправления ошибок при передаче. + diff --git a/sem5/information-theory/lectures/lecture5.tex b/sem5/information-theory/lectures/lecture5.tex new file mode 100644 index 0000000..a202dd5 --- /dev/null +++ b/sem5/information-theory/lectures/lecture5.tex @@ -0,0 +1,3 @@ +\subsection{Лекция 5 ()} + +\subsubsection{Критерий качества восстановления непрерывного сигнала} |