Добавил лекции по Теории информации

6 files changed, 817 insertions, 0 deletions

diff --git a/sem5/information-theory/information-theory.tex b/sem5/information-theory/information-theory.tex
new file mode 100644
index 0000000..09c41dc
--- /dev/null
+++ b/sem5/information-theory/information-theory.tex
@@ -0,0 +1,16 @@
+\documentclass{../Lecture}
+\usepackage{../preamble}
+
+\begin{document}
+
+\author{Андрей гущин}
+\title{Теория информации}
+\maketitle
+
+\include{lectures/lecture1.tex}
+\include{lectures/lecture2.tex}
+\include{lectures/lecture3.tex}
+\include{lectures/lecture4.tex}
+\include{lectures/lecture5.tex}
+
+\end{document}
diff --git a/sem5/information-theory/lectures/lecture1.tex b/sem5/information-theory/lectures/lecture1.tex
new file mode 100644
index 0000000..4a0c03d
--- /dev/null
+++ b/sem5/information-theory/lectures/lecture1.tex
@@ -0,0 +1,188 @@
+\subsection{Лекция 1 (02.09.21)}
+
+Данные, полученные человеком будут называться сообщениями. Информацией
+становятся те сообщения, которые используются для принятия каких-либо
+решений, то есть снимается неопределённость, которая существовала до их
+поступления.
+
+Следует отметить, что теория информации занимается изучением количества
+информации безотносительно какого-то содержания сообщения. Все сообщения
+в теории информации формализуются и изучается процесс формирования таких
+сообщений и способов их передачи.
+
+Предметом изучения теории информации являются вероятностные
+характеристики исследуемых объектов и явлений.
+
+Теория информации делится на:
+
+\begin{itemize}
+  \item
+    теорию передачи информации (предметом изучения являются оптимальные методы передачи сообщений);
+\end{itemize}
+
+\textbf{рис. 1}
+
+Сигналом принято считать некоторую физическую хар-ку, изменяющуюся во
+времени. Например, изменение напряжения во времени.
+
+В общем случае сигналом может быть любое изменение начального состояния
+объекта, которое способно вызвать реакцию человека или принимающего
+прибора.
+
+Различают сигналы:
+\begin{itemize}
+  \item зрительные
+  \item звуковые
+  \item радиоэлектрические
+  \item радиосигналы
+\end{itemize}
+
+Следует отметить, что одни сигналы могут как преобразовываться в другие,
+так и сами являться источниками формирования новых сигналов. С точки
+зрения изменения сигнала с течением времени различают \emph{статические}
+и \emph{динамические}.
+
+Статические --- это сигналы, которые изменяют устойчивое изменение
+состояния объекта. Динаические --- это сигналы, отображающие
+непрерывные изменения некоторого объекта, либо процесса при переходе от
+одного устойчивого состояния к другому. К динамическим относятся все
+виды электромагнитных колебаний, а также распространения звука в воде и
+твёрдых предметах.
+
+По струкруте сообщения сигналы делятся на \emph{непрерывные} и
+\emph{дискретные}. Сигналы могут быть непрерывными и дискретными как по
+времени, так и по множеству значений. Возможен один из четырёх видов
+сигналов: - полностью непрерывный сигнал (по времени \& множеству
+значений) - непрерывный по множеству значений и дискретным по времени -
+дискретный по множеству значений и непрерывным по времени - полностью
+дискретный
+
+Носителем сигнала всегда является объект или процесс. Однако если
+абстрагироваться от его физической природы, то существенными с точки
+зрения теории информации будут только его вероятностные характеристики и
+другие важные черты с точки зрения данного изучаемого процесса.
+
+\textbf{В теории информации математическая модель сигнала может
+противоречить реальной физической структуре.} Допустим, в теории инф мы
+предполагаем, что структура сигнала известна приёмнику.
+
+\subsubsection{Обобщённое спектральное представление детерминированных
+сигналов}
+
+Чтобы изучать непрерывные сигналы для начала изучаются детерминированные
+сигналы, при этом они рассматриваются как некоторый ансамбль \ldots{} .
+
+Мы будем использовать некоторую функцию
+
+\begin{equation}
+  u(t) = \sum_{k = 1}^{}n C_k \phi_k(t) \quad (1)
+\end{equation}
+
+Искусственно ограничиваем $t$ некоторым \emph{промежутком времени}
+(?). Данная модель называется \textbf{линейной моделью сигнала}. Здесь
+$\phi_k(t)$ --- базисные функции, а $C_k$ --- безразмерный
+коэффициент. Если заданы все базисные функции, то функция $u(t)$ будет
+определяться только коэффициентами $C_k$. Эти коэффициенты будут
+называться дискретным спектром сигнала. За пределами интервала
+$t \in [t_1; t_2]$ времени сигнал считается \emph{всегда}
+\textbf{условно продолжающимся}.
+
+В некоторых задачах такое представление является неприемлемым, поэтому
+для сигналов конечной длительности существуе другое представление:
+
+\begin{equation*}
+  u(t) = \int_{-\infty}^{}\infty S(\alpha) \phi(\alpha, t) ; d\alpha \quad (2)
+\end{equation*}
+
+Здесь $s(\alpha)$ называется \emph{спектральной плотностью}, а
+$\phi(\alpha, t)$. Это модель \emph{непрерывного} сигнала.
+
+Раздел теории информации, который изучает сигналы в данных
+представлениях, называется \textbf{спектральной теорией сигналов}.
+
+В связи с этим обычно используют набор ортогональных базисных функций,
+которые удовлетворяют следующему условию:
+
+
+\begin{equation*}
+  \int_{t_1}^{}{t_2} \phi_k(t) \phi_l(t) d t =
+  \begin{cases} 0, &k \neq l  \\ 1, &k = l \end{cases}
+  \quad (3)
+\end{equation*}
+
+То есть если умножить все $\phi_l$ на данном интервале на коэффициент
+$\frac{1}{\sqrt{\mu}}$, то мы получим ортонормированную функцию, то
+есть
+\begin{equation*}
+  \int_{t_1}^{}{t_2} \phi_k(t) \phi_l(t) dt = 1, \quad k = l
+\end{equation*}
+
+Пусть имеется модель, удовлетворяющая условию ортонормированности.
+Возьмём модель (1), обе части данной модели умножим на $\phi_l(t)$ и
+\ldots{} . Получим
+
+\begin{equation*}
+  \int_{t_1}^{t_2} u(t) \phi_l(t) dt = 
+  \int_{t_1}^{t_2} \sum_{k = 1}^n C_k \phi_k(t) \phi_l(t) dt =
+  \sum_{k = 1}^n C_k \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt
+\end{equation*}
+
+Получаем
+\begin{equation*}
+  C_k = \int_{t_1}^{t_2} \phi(t) \phi_k(t) dt 
+\end{equation*}
+
+Исходя из этого получаем:
+\begin{enumerate}
+  \item Каждый коэффициент $C_k$ может вычисляться независимо друг от друга
+  \item
+    Сложность их вычисления будет зависеть только от сложности вычисления
+    базисной функции, поэтому для изучения сигналов применяются системы
+    ортогональных функций, в частности применяются
+    \begin{enumerate}
+      \item Системы тригонометрических функций
+      \item Системы функций Хаара
+      \item Полиномы Лежандра
+      \item Полиномы Чебышева
+      \item Полиномы Лагерра
+      \item Полиномы Эрмита
+    \end{enumerate}
+\end{enumerate}
+
+\subsubsection{Временная форма представления сигналов}
+
+Возьмём произвольную непрерывную функцию $u(t)$. Будем считать, что
+непрерывная функция представляет собой набор функций примыкающих друг к
+другу импульсов бесконечно малых длительности с амплитудой равной
+значению сигнала в конретный момент времени. То есть получим новую
+модель, которая записывается через некоторую дельта-функцию.
+
+
+\begin{equation*}
+  u(t) = \int_{-\infty}^{}\infty u(\tau) \delta(\tau - t) d\tau \quad (4)
+\end{equation*}
+
+\begin{equation*}
+  \delta = \begin{cases} \infty, &t = \tau \\ 0, &t \neq \tau \end{cases}
+\end{equation*}
+
+Ортонормируем дельта-функцию:
+\begin{equation*}
+  \int_{-\infty}^{}\infty \delta(\tau - t) d \tau = 1
+\end{equation*}
+
+Как видно, модель (4) является обобщённым случаем модели (2), базисной
+функцией которого является дельта-функция. Таким же образом мы можем с
+помощью этой модели мы можем построить дискретную модель, которая будет
+называться \textbf{решётчатой} функцией:
+
+\begin{equation*}
+  u_l(t) = \sum_{k = -\infty}^{}\infty u(t) \delta(\tau - t), \quad \tau = \Delta t k
+\end{equation*}
+
+$\Delta t$ --- период импульса.
+
+Пределы суммы могут быть как конечными, так и бесконечными исходя из
+физической реальности.
+
+Эти две модели могут называться временными.
diff --git a/sem5/information-theory/lectures/lecture2.tex b/sem5/information-theory/lectures/lecture2.tex
new file mode 100644
index 0000000..9992bdc
--- /dev/null
+++ b/sem5/information-theory/lectures/lecture2.tex
@@ -0,0 +1,178 @@
+\subsection{Лекция 2 (09.09.21)}
+
+\subsubsection{Частотное представление периодических сигналов}
+
+\textbf{ЗАМЕНИТЬ $l$ на $e$ !!!}
+
+Рассмотрим детерминированный сигнал. В качестве базисной функции примем
+$\phi(t) = l^{Pt}, \quad P = \pm j \omega$. Такое представление
+функции базисными сигналами будет называться преобразованием Фурье.
+Удобно: - применяя формулу Эйлера данное представление даёт возможность
+представить в виде суммы гармоний. Формула Эйлера:
+\[\cos \omega t = \frac{ l^{j\omega t} + l^{-j \omega t} }{ 2 }\]
+
+Предположим, что функция $u(t)$, которой описывается детерминируемый
+сигнал реализуется на интервали $[t_1; t_2]$ и удовлетворяет условию
+Дирихле. \emph{Условие Дирихле} означает, что функция непрерывна или
+имеет конечное число точек разрыва первого рода, а также имеет конечное
+число экстремумов. Определим период повторения $T = t_2 - t_1$. При
+этом предполагая, что функция продолжается на всём интервале времени.
+Тогда формула сигнала $u(t)$ будет иметь следующий вид: \[
+\begin{cases}
+    u(t) = \frac{1}{2} \sum_{k = -\infty}^\infty A(j k \omega) l^{j k \omega_1 t} \\
+    A(j k \omega_1) = \frac{2}{T} \int_{t_1}^{t_2} u(t) l^{-j k \omega t} dt
+\end{cases}
+\] A\_j\_k называют комплексным спектром данного сигнала $u(t)$, а
+значение этой функции для каждого конкретного $k$ будут называться
+\emph{комплексной амплитудой}.
+
+Пусть $k \omega_1 = \omega$ то есть для данного коплексного спектра мы
+попробуем построить огибающую. Тогда
+\[ A(j \omega) = \frac{2}{T} \int_{t_1}^{t_2} u(t) l^{-j \omega t} dt \]
+
+Показательная форма:
+\[ A(j k \omega_1) = A(k \omega_1) l^{j \phi(k \omega_1)} \] Функция
+$A(k \omega_1)$ --- спектр амплитуд, $l^{j \phi(k \omega_1)}$ ---
+спектр фаз. \textbf{Оба они дискретны}. Вторая форма:
+\[ A(j k \omega_1) = A_k - j B_k \]
+\[ A_k = \frac{2}{T} \int_{t_1}^{t_2} u(t) \cos(k \omega_1 t) dt \]
+\[ B_k = \frac{2}{T} \int_{t_1}^{t_2} u(t) \sin(k \omega_1 t) dt \]
+Отсюда видно, что \[ A(j \omega_1) = \sqrt{A_k^2 + B_k^2} \]
+\[ \phi(k \omega_1) = \arctan \left( \frac{B_k}{A_k} \right) \] Если в
+данных формулах положить $k = 0$, то получится равенство для
+постоянной (огибающей) состовляющей сигнала:
+\[ \frac{A_0}{2} = \frac{1}{T} \int_{t_1}^{t_2} u(t) dt \]
+
+Отсюда:
+\[ u(t) = \frac{A_0}{2} + \frac{1}{2} \sum_{k = 1}^\infty (A(j k \omega_1) e^{j k \omega_1 t} + A(-j k \omega_1) e^{-j k \omega_1 t}) = \frac{A_0}{2} + \sum_{k = 1}^\infty A(k\omega_1) \cos (k \omega_1 t - \phi(k \omega_1))\]
+
+Спектр амплитуд и спектр фаз согласно данному представлению могут быть
+представлены в виде совокупности линий, каждая из которых соответствует
+определённой частоте. Поэтому эти спектры называют \emph{линейчатыми}.
+Сигналы, линейчатые спектры которых включают гарминоки некоторых частот,
+которые не кратны, называют \emph{почти периодическими}.
+
+Согласно этому представлению построим распеределение энергии в спектре
+этого сигнала. ???
+
+\subsubsection{Распределение энергии в спектре периодических сигналов}
+
+Пусть имеется период $T$. Тогда Распределение энергии в спектре
+периодических сигналов будет определятся интегралом:
+\[\int_{0}^{T} |u(t)|^2 dt = \int_{0}^{T} \left| \frac{A_0}{2} + \frac{1}{2} \sum_{k = 1}^\infty (A(j k \omega_1) e^{j k \omega_1 t} + A(-j k \omega_1) e^{-j k \omega_1 t}) \right|^2 dt = \]
+\[
+= \frac{A_0^2}{4} \int_{0}^{T} dt + 
+\left( 
+\frac{A_0}{2} \sum_{k=1}^\infty A(jk\omega_1) \int_0^T e^{jk\omega_1 t} dt + \frac{A_0}{2} \sum_{k = 1}^\infty A(-j k \omega_1) \int_0^T e^{-j k\omega_1 t} dt +
+\right) \]
+\[ + \frac{1}{2} \sum\sum A(j k \omega_1) A(-j l \omega_1) \int_0^T e^{j k \omega_1 t} e^{-j k \omega_1 t} dt\]
+
+\ldots{}
+\[ \int_0^T e^{jk\omega_1 t} dt = \int_0^T e^{-j k \omega_1 t} dt = 0 \]
+Эти два интеграла будут равны 0, если $k$
+
+\[ \int_0^T e^{j \omega_1 t (k - l)} dt = \begin{cases}
+    T, k = l \\
+    0, k \neq l
+\end{cases}\]
+
+В результате этого у нас останется
+\[ \int_0^T |u(t)|^2 dt = \frac{A_0^2}{2} * \frac{T}{2} \sum_{k = 1}^{\infty} | A(j k \omega_1) |^2 \]
+
+Вывод: согласно данному представлению получаем, что средняя за период
+энергия будет равна сумме средних энергий, выделяемых каждой гармоникой.
+
+\subsubsection{Частотное представление непериодических сигналов}
+
+Предположим, что соответствующая реальному непериодическому сигналу
+$u(t)$ удовлетворяет условию Дирихле и абсолютно интегрируема. Тогда
+спектральное представление непериодич сигнала $u(t)$ можно строить
+путём увеличения периода периодического сигнала до бесконечности.
+
+С учётом того, что использовался период $\frac{2\pi}{\omega_1}$ будет
+иметь представление:
+\[ u(t) = \frac{1}{2} \sum_{k = -\infty}^{\infty} \left( \frac{\omega_1}{\pi} \int_{t_1}^{t_2} u(t) e^{-j k \omega_1 t} dt \right) e^{jk \omega_1 t} \]
+
+Осуществим предельный переход, при этом $T \to \infty$. При этом сумма
+перейдёт в интеграл, $\omega_1 = \Delta \omega \to d \omega$,
+$k\omega_1 \to \omega$. В результате этих преобразований $u(t)$
+Будет иметь вид:
+\[ u(t) = \frac{1}{2\pi} \int_{-\infty}^{\infty} ( \int_{-\infty}^\infty u(t) * e^{-j \omega t} dt) e^{j \omega t} d\omega \]
+
+Обозначим за $j\omega$ Получим:
+\[ u(t) = \frac{1}{2\pi} \int_{-\infty}^\infty S(j\omega) e^{j\omega t} d\omega \]
+\[ S(j\omega) = \int_{-\infty}^\infty u(t) e^{-j\omega t} dt \]
+
+Эта пара называется парой преобразования Фурье для непериодического
+сигнала.
+
+Функция $Sj\omega$ называется комплексной спектральной плотностью или
+спектральной характеристикой непериодического сигнала. По аналогии с
+период сигн, спектр харка имеет следующие представления: Показательная
+форма: \[ S(j \omega) = S(\omega) e^{-j\phi(\omega)} \] 
+
+$S(\omega)$ -- амплитуда\ldots{} , Спектр фаз --- $e^{-j\phi(\omega)}$.
+
+\[ e^{-j\omega t} = \cos(\omega t) - j \sin(\omega t)\]
+\[ S(j \omega) = A(\omega) * j B(\omega) \]
+\[ A(\omega) = \int_{-\infty}^{\infty} u(t) \cos(\omega t) dt \]
+\[ B(\omega) = \int_{-\infty}^\infty u(t) \sin(\omega t) dt \]
+
+При этом \[ S(\omega) = \sqrt{|A(\omega)|^2 + |B(\omega)|^2} \]
+\[ \phi(\omega) = \arctan \frac{B(\omega)}{A(\omega)} \]
+
+\ldots{}
+
+\[ S(\omega) = |S(j \omega)| \]
+
+\ldots{}
+
+\[ u(t) = \frac{1}{2\pi} \int_{-\infty}^{\infty} S(\omega) e^{j(\omega t - \phi(\omega))} d\omega =
+\frac{1}{2 \pi} \int_{-\infty}^\infty S(\omega) \cos(\omega t) - \phi(\omega)) d\omega + j \int_{-\infty}^\infty S(\omega) * \sin(\omega t * \phi(\omega) d \omega) \]
+
+А первый в силу \ldots{} можно записать только ???. Таким обр мы получим
+тригонометрическую форму ряда фурье.
+\[ u(t) = \frac{1}{\pi} \int_0^\infty S(\omega) \cos(\omega t - \phi(\omega)) d\omega \]
+
+\ldots{} ограничить функцию \ldots{}
+
+\[ S(j \omega) = \int_{t_1}^{t_2} u(t) e^{-j\omega t} dt \]
+
+Получим \[ A(j \omega) = \frac{2}{T} S(j \omega) \]
+
+Если у непериодического сигнала взять единичный импульс можно построить
+линейчатый спектр его периодической последовательности.
+
+\subsubsection{Распределение энергии в спектре непериодического сигнала}
+
+Выражение для величины характеризующей \ldots{} запишем след образом:
+\[ \int_{-\infty}^\infty |u(t)|^2 dt = \int_{-\infty}^\infty u(t) (\frac{1}{2\pi} \int_{-\infty}^\infty S(j\omega) e^{-j\omega t} d\omega ) dt = \]
+\[ = \frac{1}{2\pi} \int_{-\infty}^\infty S(j\omega) (\int_{-\infty}^\infty u(t) e^{j \omega t} dt) d\omega = \]
+\[ = \frac{1}{2\pi} \int_{-\infty}^\infty S(j\omega) S(-j\omega) d\omega = \frac{1}{2\pi} \int_{-\infty}^\infty |S(j\omega)|^2 d\omega \]
+
+Согласно равенству персиваля
+\[ = \frac{1}{\pi} \int_0^\infty |S(j \omega)|^2 d\omega \] В соотвии с
+этим равенством энергия выделяемая непериодическим сигналом за всё время
+его существования можно определить интегрируя квадрат модуля
+спектральной харки в интервале частот.
+
+Определим соотношение между длительностью сигнала и шириной его спектра.
+Предположим, что сигнал $u(t)$ имеет определённую продолжительность и
+имеет спектральную характеристику $S(j\omega)$. Увеличим длительность
+сигнала в некоторую $\lambda$ раз и найдём соответствующаю
+спектральную характеристику
+\[ S_\lambda (j\omega) = \int_{-\infty}^\infty u(\lambda t) e^{-j \omega t} dt = \]
+Пусть есть некоторое $\tau = \lambda t$. Тогда
+\[ = \frac{1}{\lambda} \int_{-\infty}^\infty u(\tau) e^{-j \omega \tau / \lambda} d\tau = \frac{1}{\lambda} S(j \frac{\omega}{\lambda}) \]
+
+Из данного равенства видно, что спектр удлиннённого или укороченного в
+$\lambda$ раз будет в $\lambda$ уже или шире, при этом коэффициент в
+$\frac{1}{\lambda}$ изменяет только амплитуды гармоник и не влияет на
+ширину спектра. Это связяно с тем, что переменные $t$ и $\omega$
+находятся показатель степени экспоненциальной функции как прямого преобр
+фурье, так и обратного. Из этого следует, что длительность сигнала и
+ширина его спектра не могут быть одновременно ограничены конечными
+интервалами. В частности, имеет место соотношение
+$\Delta t : \Delta f = const$, где $\Delta t$ --- длительность
+импульса, а $\Delta f$ --- ширина.
+
diff --git a/sem5/information-theory/lectures/lecture3.tex b/sem5/information-theory/lectures/lecture3.tex
new file mode 100644
index 0000000..2103c8d
--- /dev/null
+++ b/sem5/information-theory/lectures/lecture3.tex
@@ -0,0 +1,198 @@
+\subsection{Лекция 3 (16.09.21)}
+
+\subsubsection{Модели случайных сигналов}
+
+Наиболее точной моделью сигнала при изучении вопросов его передачи
+является \emph{случайный процесс} для которого детерминированные функции
+рассматриваются ка отдельные реализации. Случайным процессом будем
+называть функцию $U(t)$, значение которой в каждый момент времени
+является случайной величиной. По аналогии, случайные процессы могут быть
+непрерывные и дискретные как по времени, так и по множеству состояний.
+ТО есть по аналогии с классификацией детерминированных сигналов, можно
+выделить один из четырёх типов случайного процесса: - непрерывный
+случайный процесс по множеству состояний (континууму), при этом
+изменения состояния возможны в любой момент времени; - непрерывная
+случайная последовательность --- изменения состояний допускаются лишь в
+конечном числе моментов времени; - дискретный случайный процесс ---
+множество состояний конечно, но изменения состояний могут происходить в
+произвольные моменты времени; - дискретная случайная последовательность
+--- состояния из конечного множества могут изменяться в конечном числе
+моментов времени.
+
+Для описания свойств случайного процесса мы будем использовать
+$n$-мерную плотность вероятности.
+
+\begin{equation*}
+  P_N(U_1, U_2, \dots, U_N; t_1, t_2, \dots, t_N) 
+\end{equation*} 
+
+$n$-мерную плотность вероятности --- система $N$ случайных величин
+$U_1, U_2, \dots, U_N$, где
+$U_1 = U(t_1), U_2 = U(t_2), \dots U_N = U(t_N)$ взятых в моменты
+времени $t_1, t_2, \dots, t_N$. Как частный случай будет
+использоваться одномерная плотность вероятности $P_1(U; t)$, которая
+будет характеризовать распределение случайной величины в произвольный
+момент времени $t$. Если мы возьмём двумерную плотность вероятности
+$P_2(U_1, U_2; t_1, t_2)$, то мы получим вероятность совместных
+реализаций значений случайных величин в произвольные моменты времени
+$t_1, t_2$. При этом будут иметь место соотношения
+
+\begin{equation*}
+  P_1(U; t) = \int_{-\infty}^{\infty} P_2(U_1, U_2; t_1, t_2) d U_2 
+\end{equation*}
+
+Работа со случайными величинами высоких порядков является крайне
+трудоёмкой вещью, поэтому для характеристики случайного процесса будут
+использованы моменты функций первого порядка и второго порядка. (мат
+ожидание, дисперсия и корелляционная функция).
+
+Математическим ожиданием случайного процесса $U(t)$ будем называть
+неслучайную функцию $m_U(t)$ значение которой в каждый момент времени
+равно математическому ожиданию случайной величины в соответствующем
+сечении случайного процесса.
+\begin{equation*}
+  m_U(t) = M\{U(t)\} = \int_{-\infty}^{\infty} U P_1(U; t) dU 
+\end{equation*}
+
+Дисперсией случайного процесса $U(t)$ будем называть функция
+$D_U(t)$, значение которой в каждый момент времени равно дисперсии
+случайной величины в соответсвующем сечении случайного процесса.
+\begin{equation*}
+  D_U(t) = M\{U^o(t)\} = \int_{-\infty}^\infty U^o(t)^2 P_1(U; t) dU 
+\end{equation*}
+Где $U^o$ (o над U) --- нызвается центрированной случайной величиной в
+сечении $t$ ($U^o(t) = U(t) - m_U$)
+
+Кореляционной функции случайного процесса $U(t)$ называют неслучайную
+функцию $R_U(t_1; t_2)$, которая для каждой пары произвольно выбранных
+значений $t_1$ и $t_2$ равна кореляционному моменту соответствующих
+сечений случайного процесса.
+\begin{equation*}
+  R_U(t_1; t_2) = M\{U^o(t_1) U^o(t_2)\} = \int_{-\infty}^\infty \int_{-\infty}^\infty U^o(t_1) U^o(t_2) \cdot P_2 (U_1, U_2; t_1, t_2) dU_1 dU_2 
+\end{equation*}
+Где $U^o(t_1)$ --- нызвается центрированной случайной величиной в
+сечении $t_1$ ($U^o(t_1) = U(t_1) - m_U(t_1)$), а $U^o(t_2)$ ---
+нызвается центрированной случайной величиной в момент времени $t_2$
+($U^o(t_2) = U(t_2) - m_U(t_2)$).
+
+Нормированная автокореляционная функция
+\begin{eqnarray}
+  \rho_U(t_1; t_2) = \frac{R_U(t_1; t_2)}{\sigma_U(t_1) \sigma_U(t_2)} \\
+  \sigma_U(t_1) = \sqrt{D_U(t_1)} \\
+  \sigma_U(t_2) = \sqrt{D_U(t_2)}
+\end{eqnarray}
+
+
+Следует отметить, что если произвольные моменты $t_1 = t_2 = t$, то
+автокорелляционная функция выражается в дисперсию, а соответствующая ей
+нормированная автокореляционная функция будет равна $1$.
+
+Если имеется два случайных процесса, то можно рассматривать функцию
+взаимной кореляции: 
+\begin{equation*}
+  R_{UV}(t_1; t_2) = M\{ U^o (t_1) V^o(t_2) \} 
+\end{equation*}
+
+С точки зрения изменчивости указанных характеристик различают
+стационарные и нестационарные случайные процессы. Случайный процесс
+будет называться в узком смысле, если описывающий его плостности
+вероятности не зависят он начала отсчёта времени. Случайный процесс
+называют стационарным в широком смысле, если выполняются следующие
+соотношения:
+\begin{equation*}
+  \begin{cases}
+    m_U(t) = m_U = const \\
+    D_U(t) = D_U = const \\
+    R_U(t, t + \tau) = R_U(\tau)
+  \end{cases}
+\end{equation*}
+
+То есть мат ожидание и дисперсия постоянны, а кореляционная функция не
+зависит он начала отсчёта времени и является функцией одного аргумента
+(шага по времени). Обычно предполагается, что стационарный процесс
+является \emph{эрготическим} (то есть средняя по ансамблю реализация
+равно среднему по времени на одной реализации) если мат ожидание
+\begin{eqnarray}
+  m_u = \lim_{T \to \infty} U(t) dt = U_0 \\
+  D_U = \lim_{T \to \infty} \int_0^T (U(t) - U_0)^2 dt \\
+  R_U(\tau) = \lim_{T \to \infty} \int_0^T (U(t) - U_0) (U(t + \tau) - U_0) dt
+\end{eqnarray}
+
+Эрготичность стационарного сигнала будет перетекать в эрготичность
+источника.
+
+\subsubsection{Спектральной представление случайных сигналов}
+
+Аналогично детерминированному сигналу построим для случайного процесса
+представление через сумму спектральных составляющих. Для этого будем
+использовать так называемое каноническое разложение случайного процесса
+$U(t)$, то есть будет представляться в виде:
+\begin{equation*}
+  U(t) = m_U(t) + \sum_K C_k \phi_k(t) \quad (1B)
+\end{equation*} 
+
+$m_U(t)$ --- мат ожидание, $\phi_k(t)$ --- неслучайные (координатные) базисные функции,
+$C_k$ --- некореллированные случайные случайные величины с мат
+ожиданиями равными нулю и дисперсиями $D_k$, где
+\begin{equation*}
+  M_k[C_k C_l] = \begin{cases} P_k, k = l \\ 0, k \neq l \end{cases}
+\end{equation*}
+
+Слагаемые $C_k * \phi_k(t)$ будут называть элементарным случайным
+процессом. Случайность такого процесса будет проявляться только через
+величину $C_k$. $C_k$ будут называться коэффициентами канонического
+разложения.
+
+Найдём кореляционную функцию случайного процесса $U(t)$, который
+представлениследующим элементарным процессом.
+\begin{equation*}
+  R_U(t_1, t_2) = M\{ \sum_k C_k \phi_k(t_1) \sum_l C_l \phi_l(t_2) \} = \sum_{k, l} M\{ C_k C_l \} \phi_k(t_1) \phi_l(t_2) = 
+\end{equation*}
+
+Так как $C_k$ и $C_l$ некореллируемые величины, то для \ldots{}
+получим следующее выражение.
+\begin{equation*}
+  = \sum_k \phi_k(t_1) \phi_k(t_2) D_k \quad (2B) 
+\end{equation*}
+
+Такое представление корелляционной функций называют каноническим
+разложением кореляционной функции случайного процесса $U(t)$. Всякому
+каноническому разложению случайного процесса (1B) соответствует
+каноническое разложение (2B). Это утверждение доказывается при этом
+будет справедливо и обратное утверждение.
+
+Рассмотрим каноническое разложение корелляционной функции. Пусть
+$t_1 = t_2 = t$. Тогда получим формулу:
+\begin{equation*}
+  = \sum_k D_k(\phi_k(t))^2 
+\end{equation*} 
+
+То есть при выбранном наборе
+координатной функции центрированный случайный процесс будет
+характеризоваться совокупностью дисперсий коэффициентов разложения,
+которые можно рассматривать как обобщённый спектр случайного процесса.
+
+Для построения спектра случайного процесса нам необходимо найти все
+функции $\phi_k(t)$ и некореллированные случайные величины $C_k$,
+что во многих случаях представляется достаточно затруднительной задачей.
+Пусть $\phi_k$ являются ортогональными координатными функциями и будет
+справедливо следующее представление:
+\begin{equation*}
+  \int_{-T/2}^{T/2} m_u^2(t) dt < \infty 
+\end{equation*}
+
+Тогда неслучайную функцию $m_u(t)$ на интервале $T$ можно разложить следующим образом: 
+\begin{equation*}
+  m_u(t) = \sum_k m_{uk} \phi_k(t)
+\end{equation*}
+
+Здесь $m_{uk} = \int_{-T/2}^{T/2} m_u(t) \phi_k(t) dt$. Тогда
+каноническое разложение случайного процесса запишется следующим видом:
+\begin{equation*}
+  U(t) = \sum_k m_{uk} + C_k) \phi_k(t) \quad (3B) 
+\end{equation*} 
+
+Это соотношение
+будет называться \emph{обобщённым спектральным представлением для
+случайного процесса, которое раскладывается в каноническое
+представление}.
\ No newline at end of file
diff --git a/sem5/information-theory/lectures/lecture4.tex b/sem5/information-theory/lectures/lecture4.tex
new file mode 100644
index 0000000..0c2d14f
--- /dev/null
+++ b/sem5/information-theory/lectures/lecture4.tex
@@ -0,0 +1,234 @@
+\subsection{Лекция 4 (23.09.21)}
+
+\subsubsection{Частотное представление стационарных сигналов. Дискретные
+спектры.}
+
+Предположим, что случайный процесс задан на интервале $[-T; T]$. Тогда
+соответствующая ему корреляционная функция $R_u(\tau)$ должна
+рассматриваться на интервале \ldots{} . При этом должно выполняться
+равенство $\tau \in [-2T; 2T]$. Будем считать корреляционную функцию
+$R_u(\tau)$ условно продолжающейся с периодом $4T$. Тогда для неё
+можно записать пару преобразований Фурье:
+
+\begin{equation*}
+  R_u(\tau) = \frac{1}{2} \sum_{k = -\infty}^\infty D_k e^{jk\omega_1 \tau} 
+\end{equation*}
+Где
+\begin{equation*}
+  D_k = \frac{1}{2T} \int_{-2T}^{2T} R_u(\tau) e^{-jk\omega_1 \tau} d\tau 
+\end{equation*}
+и 
+\begin{equation*}
+  \omega_1 = \frac{2\pi}{4T} = \frac{\pi}{2T} 
+\end{equation*}
+
+Учитывая то, что корреляционная функция является функцией чётной, то
+$D_k$ можно представить на полупериоде, то
+\begin{equation*}
+  D_k = \frac{1}{2T} \int_{0}^{2T} R_u(\tau) e^{-jk\omega_1 \tau} d\tau 
+\end{equation*}
+
+Пусть $\tau = t_1 - t_2$. Тогда корелляционная функция будет
+представляться следующим образом:
+\begin{equation*}
+  R_u(t_1 - t_2) = \frac{1}{2} \sum_{k = -\infty}^\infty D_k e^{jk\omega_1 t_1} e^{-jk\omega_1 t_1}
+\end{equation*}
+
+Сравнивая с данным разложением корелляционной функции с каноническим
+разложением кореляционной функции можно заметить, что $\phi_k(t_1)$ и
+$\phi_k(t_2)$ будут представляться через экспоненциальные функции.
+$\phi_k(t_1) = e^{jk\omega_1 t_1}$, $\phi_k(t_2) = e^{-jk\omega_1 t_2}$
+
+Возьмём соответствующее этому каноническое разложение центрированного
+случайного процесса, то есть
+\begin{equation*}
+  U^o (t) = \frac{1}{2} \sum_{k = -\infty}^\infty C_k e^{jk\omega_1 t} 
+\end{equation*}
+
+добавим для обобщения мат ожидание стационарного случайного процесса. В
+результате при объединении экспоненциальных составляющих с одинаковыми
+по абсолютной величине индексами разных знаков стационарный случайный
+процесс на ограниченном интеравале времени будет представляться суммой
+гармоник. То есть
+\begin{equation*}
+  U(t) = m_u + \sum_k (a_k \cos (\omega_1 t) + b_k \sin(\omega_1 t))) 
+\end{equation*}
+
+где $\omega_1 = \frac{\pi}{2T}$, $m_u$ --- мат ожидание
+стационарного процесса, $a_k$ и $b_k$ --- неслучайные величины.
+
+Эта форма показывает, что получившиеся спектры являются линейчатыми, то
+есть каждой гармонике на спектральной диаграмме будет соответствовать
+вертикальный отрезок, длина которого пропорциональна дисперсии амплитуд.
+
+\#\#\# Частотное представление стационарных случайных сигналов.
+Непрерывные спектры.
+
+Для описания случайного стационарного сигнала возьмём интервал
+$(-\infty; \infty)$ и построим его интегральное каноническое
+разложение. Для этого немного изменим для кореляционной функции.
+\begin{equation*}
+  R_u(\tau) = \frac{1}{2} \sum_{k = -\infty}^\infty \frac{D_k}{\Delta \omega} e^{jk\omega_1 \tau} \Delta \omega 
+\end{equation*}
+
+Где $\Delta \omega$ --- шаг по частоте и он равен
+$\omega_{k + 1} - \omega_k = \frac{\pi}{2T}$. \ldots{} характеризующий
+интервал частот между соседними гармониками.
+
+Обозначим через
+\begin{equation*}
+  S_u(k \omega_1) = \frac{D_k}{\Delta \omega} = \frac{2T D_k}{\pi} 
+\end{equation*}
+
+Функция $S_u(k \omega_1)$ будет называться \textbf{средней плотностью
+дисперсии стационарного процесса}. По сути своей данная функция является
+дисперсией, которая приходится на единицу длины частотного интервала.
+
+С учётом сделанных обозначений формула для кореляции будет иметь
+следующий вид:
+\begin{equation*}
+  R_u(\tau) = \frac{1}{2} \sum_{k = -\infty}^\infty S_u(k\omega_1) e^{jk\omega_1 \tau} \Delta \omega 
+\end{equation*}
+
+С учётом \ldots{} можем записать в следующем виде
+
+\begin{equation*}
+  S_u(k \omega_1) = \frac{1}{\pi} \int_{-2T}^{2T} R_u(\tau) e^{-jk\omega_1 \tau} d\tau 
+\end{equation*}
+
+Осуществим предельный переходи при $t \to \infty$. Получим:
+$S_u(k \omega_1) \to S_u(\omega)$, $k\omega_1 \to \omega$,
+$\Delta \omega \to d\omega$
+
+Тогда получим для кореляции: 
+
+\begin{equation*}
+  \begin{cases}
+    R_u(\tau) = \frac{1}{2} \int_{-\infty}^\infty S_u(\omega) e^{j\omega\tau} d\omega \\
+    S_u(\omega) = \frac{1}{\pi} \int_{-infty}^\infty R_u(\tau) e^{-j\omega\tau} d\tau
+  \end{cases}
+\end{equation*}
+
+Величина $S_u(\omega) d\omega$ по смыслу \ldots{} представляет собой
+дисперсию, приходящуюся на спектр частот
+
+Функция $S_u(\omega)$ характеризует распределение дисперсии случайного
+процесса по частотам и называется \emph{спектральной плотностью
+стационарного случайного процесса}. Аналогично вышеизл мат. если мы для
+кореляционной функции применим каноническое разложение, то получим
+следующую формулу:
+\begin{equation*}
+  R_u(\tau) = \frac{1}{2} \int_{-\infty}^\infty S_u(\omega) e^{j\omega\tau_1} e^{-j\omega\tau_2} d\omega 
+\end{equation*}
+
+Согласно данному каноническому представлению дисперсии построим
+каноническое распределение случайного процесса. Для этого
+\begin{equation*}
+  U^o(t) = \frac{1}{2} \sum_{k = -\infty}^\infty \frac{C_k}{\Delta \omega} e^{jk\omega_1 t} \Delta \omega 
+\end{equation*}
+
+Введём обозначение $G_u(\omega_k) = \frac{C_k}{\Delta \omega}$ и
+осуществим предельный переход. Тогда центрированный случайный процесс
+будет иметь следующий вид:
+\begin{equation*}
+  U^o(t) = \frac{1}{2} \int_{-\infty}^\infty G_u(\omega) e^{j\omega t} d\omega 
+\end{equation*}
+
+В силу сделанных обозначений очевидно, что функция
+$G_u(\omega) d\omega$ является случайной функцией с дисперсией
+$S_u(\omega) d\omega$ приходящейся на спектральную составляющую .
+
+\subsubsection{Спектральная плотность мощности.}
+
+Перейдём к одностороннему спектру для положительных частот. Для функции
+$S_u(\omega)$ применим формулу Эйлера и представим её \ldots{}
+\begin{equation*}
+  S_u(\omega) = \frac{1}{\pi} \int_{-\infty}^\infty R_u(\tau) \cos(\omega \tau) d\tau - \frac{j}{\pi} \int_{-\infty}^\infty R_u(\tau) \cdot \sin (\omega \tau) d\tau 
+\end{equation*}
+
+В силу чётности \ldots{} а первый интеграл мы можем записать для
+положительных частот:
+\begin{equation*}
+  S_u(\omega) = \frac{2}{\pi} \int_0^\infty R_u(\tau) \cos(\omega \tau) d \tau 
+\end{equation*}
+
+Отсюда следует, что $S_u(\omega)$ также является действительной и
+чётной функцией, а след. таким же образом мы можем ограничить и корел.
+функиц.
+\begin{equation*}
+  R_u(\tau) = \int_0^\infty S_u(\omega) \cos(\omega\tau) d\omega 
+\end{equation*}
+
+Если в данном выражении $\tau$ положить $0$, то мы получим формулу
+для дисперсии. \begin{equation*}
+  R_u(0) = D_k = \int_0^\infty S_u(\omega) d\omega
+\end{equation*}
+
+Соответственно дисперсия будет характеризовать мощность сигнала, поэтому
+функцию $S_u(\omega)$ называют \emph{спектральной плотностью
+мощности}.
+
+\subsubsection{Преобразование непрерывных сигналов в дискретные.}
+
+\paragraph{Формулировка задачи дискретизации}
+
+Дискретизация сигнала --- это первообразные функции непрерывного
+аргумента в функцию дискретного времени. То есть дискретизация
+заключается в замене непрерывного сигнала $U(t)$ совокупностью
+координат $[c_1, c_2, \dots, c_n] = A[u(t)]$, где $A[.]$ ---
+некоторый оператор.
+
+С точки зрения простоты реализации целесообразно использовать линейные
+операторы, в частности для определения координат сигнала удобно
+использовать соотношение
+\begin{equation*}
+  C_i = A[u(t)] = \int_T \phi_i(t) u(t) dt \quad (1) 
+\end{equation*} 
+
+Где $\phi_i(t)$ --- набор базисных функций (как правило ортогональных).
+
+При последующем использовании дискретного сигнала для цели управления им
+обычно осуществляется его восстановление с использованием другого
+заданного оператора: 
+\begin{equation*}
+  U^*(t) = B[c_1, c_2, \dots, c_n] 
+\end{equation*}
+
+Если у нас дискретизация осуществлялась помощью оператора (1), то для
+восстановления будет использован следующий оператор:
+\begin{equation*}
+  U^*(t) = \sum_{i = 1}^N c_i \phi_i(t) 
+\end{equation*}
+
+Следует отметить \ldots{} в следствии применения операции интегрирования
+будет обладать высокой помехоустойчивостью, но при этом будет иметь
+место задержка сигнала на интервал интегрирования $T$, поэтому
+наиболее часть дискретизация сводится к замене сигнала совокупностью его
+мгновенных значений в отведённые моменты времени. При этом эта
+совокупность будет называться \textbf{выборкой мгновенных значений}. Это
+достигается использованием дельта-функций в качестве набора базисных
+функций. В результате получится некоторая решётчатая функция с
+координатами $c_i = u(t_i)$. При этом если шаг дискретизации будет
+постоянным, то дискретизация будет называться \textbf{равномерной}.
+
+При восстановлении таких непрерывных сигналов для обеспечения простоты
+реализации широго применяются неортогональные базисные функции, в
+частности используются степенные алгебраические полиномы.
+Восстановленный сигнал будет в этом случае:
+\begin{equation*}
+  U^*(t) = \sum_{i = 0}^N a_i t^i 
+\end{equation*}
+
+Представление непрерывного сигнала некоторой совокупностью
+равноотстоящих отсчётов является наиболее распространённым способом
+дискретизации. Обычно она осуществляется для дальнейшего преобразования
+сигнала в цифорвую форму. В результате цифрового кодирования дискретного
+сигнала происходит его квантование, то есть замена в соответствующие
+моменты времени мгновенных значений ближайшими разрешёнными. При этом
+сигнал оказывается дискретным как по множеству значений, так и по
+времени. Преимуществом такого представления сигнала состоит в том, что
+множество уровней квантования можно представить небольшим количеством
+разрядов. Кроме того при цифровом представлении сигнала для его
+обработки могут быть использованы сложные алгоритмы, в том чистле
+алгоритм поиска и исправления ошибок при передаче.
+
diff --git a/sem5/information-theory/lectures/lecture5.tex b/sem5/information-theory/lectures/lecture5.tex
new file mode 100644
index 0000000..a202dd5
--- /dev/null
+++ b/sem5/information-theory/lectures/lecture5.tex
@@ -0,0 +1,3 @@
+\subsection{Лекция 5 ()}
+
+\subsubsection{Критерий качества восстановления непрерывного сигнала}