Merge branch 'master' of github.com:vasthecat/university-lectures

7 files changed, 1218 insertions, 0 deletions

diff --git a/information-theory/lectures/lecture1.tex b/information-theory/lectures/lecture1.tex
new file mode 100644
index 0000000..5cf5dc7
--- /dev/null
+++ b/information-theory/lectures/lecture1.tex
@@ -0,0 +1,194 @@
+\subsection{Лекция 1 (02.09.21)}
+
+Данные, полученные человеком будут называться сообщениями. Информацией
+становятся те сообщения, которые используются для принятия каких-либо
+решений, то есть снимается неопределённость, которая существовала до их
+поступления.
+
+Следует отметить, что теория информации занимается изучением количества
+информации безотносительно какого-то содержания сообщения. Все сообщения
+в теории информации формализуются и изучается процесс формирования таких
+сообщений и способов их передачи.
+
+Предметом изучения теории информации являются вероятностные
+характеристики исследуемых объектов и явлений.
+
+Теория информации делится на:
+
+\begin{itemize}
+  \item
+    теорию передачи информации (предметом изучения являются оптимальные методы передачи сообщений);
+\end{itemize}
+
+\textbf{рис. 1}
+
+Сигналом принято считать некоторую физическую хар-ку, изменяющуюся во
+времени. Например, изменение напряжения во времени.
+
+В общем случае сигналом может быть любое изменение начального состояния
+объекта, которое способно вызвать реакцию человека или принимающего
+прибора.
+
+Различают сигналы:
+\begin{itemize}
+  \item зрительные
+  \item звуковые
+  \item радиоэлектрические
+  \item радиосигналы
+\end{itemize}
+
+Следует отметить, что одни сигналы могут как преобразовываться в другие,
+так и сами являться источниками формирования новых сигналов. С точки
+зрения изменения сигнала с течением времени различают \emph{статические}
+и \emph{динамические}.
+
+Статические --- это сигналы, которые отображают устойчивое изменение
+состояния объекта. Динамические --- это сигналы, отображающие
+непрерывные изменения некоторого объекта, либо процесса при переходе от
+одного устойчивого состояния к другому. К динамическим относятся все
+виды электромагнитных колебаний, а также распространения звука в воде и
+твёрдых предметах.
+
+По структуре сообщения сигналы делятся на \emph{непрерывные} и
+\emph{дискретные}. Сигналы могут быть непрерывными и дискретными как по
+времени, так и по множеству значений. Возможен один из четырёх видов
+сигналов:
+\begin{itemize}
+  \item полностью непрерывный сигнал (по времени и множеству значений)
+  \item непрерывный по множеству значений и дискретным по времени
+  \item дискретный по множеству значений и непрерывным по времени
+  \item полностью дискретный
+\end{itemize}
+
+Носителем сигнала всегда является объект или процесс. Однако если
+абстрагироваться от его физической природы, то существенными с точки
+зрения теории информации будут только его вероятностные характеристики и
+другие важные черты с точки зрения данного изучаемого процесса/сигнала.
+
+\textbf{В теории информации математическая модель сигнала может
+противоречить реальной физической структуре.} Допустим, в теории инф мы
+предполагаем, что структура сигнала известна приёмнику.
+
+\subsubsection{Обобщённое спектральное представление детерминированных
+сигналов}
+
+Чтобы изучать непрерывные сигналы для начала изучаются детерминированные
+сигналы, при этом они рассматриваются как некоторый ансамбль реализации \ldots{}.
+
+Мы будем использовать некоторую функцию
+
+\begin{equation}
+  u(t) = \sum_{k = 1}^{n} C_k \phi_k(t) \quad (1)
+\end{equation}
+
+Искусственно ограничиваем $t$ некоторым \emph{промежутком времени}
+$[t_1; t_2]$. Данная модель называется \textbf{линейной моделью сигнала}. Здесь
+$\phi_k(t)$ --- базисные функции, а $C_k$ --- безразмерный
+коэффициент. Если заданы все базисные функции, то функция $u(t)$ будет
+определяться только коэффициентами $C_k$. Эти коэффициенты будут
+называться \textbf{дискретным спектром сигнала}. За пределами интервала
+$t \in [t_1; t_2]$ времени сигнал считается \emph{всегда}
+\textbf{условно продолжающимся}.
+
+В некоторых задачах такое представление является неприемлемым, поэтому
+для сигналов конечной длительности существует другое представление:
+
+\begin{equation*}
+  u(t) = \int_{-\infty}^{\infty} S(\alpha) \phi(\alpha, t) ; d\alpha \quad (2)
+\end{equation*}
+
+Здесь $S(\alpha)$ называется \emph{спектральной плотностью}, а
+$\phi(\alpha, t)$ \emph{базисной функцией}. Это модель \emph{непрерывного} сигнала.
+
+Раздел теории информации, который изучает сигналы в данных
+представлениях, называется \textbf{спектральной теорией сигналов}.
+
+Чем сложнее базисная функция, тем реальнее и сложнее модель.
+
+В связи с этим обычно используют набор ортогональных базисных функций,
+которые удовлетворяют следующему условию:
+
+
+\begin{equation*}
+  \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) d t =
+  \begin{cases} 0, &k \neq l  \\ \mu, &k = l \end{cases}
+  \quad (3)
+\end{equation*}
+
+То есть если умножить все $\phi_l (t)$ на данном интервале на коэффициент
+$\frac{1}{\sqrt{\mu}}$, то мы получим ортонормированную функцию, то
+есть
+\begin{equation*}
+  \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt = 1, \quad k = l
+\end{equation*}
+
+Пусть имеется модель, удовлетворяющая условию ортонормированности.
+Возьмём модель (1), обе части данной модели умножим на $\phi_l(t)$ и
+проинтегрируем на интервале от $t_1$ до $t_2$. Получим
+
+\begin{equation*}
+  \int_{t_1}^{t_2} u(t) \phi_l(t) dt = 
+  \int_{t_1}^{t_2} \sum_{k = 1}^{n} C_k \phi_k(t) \phi_l(t) dt =
+  \sum_{k = 1}^{n} C_k \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt
+\end{equation*}
+
+Получаем
+\begin{equation*}
+  C_k = \int_{t_1}^{t_2} u(t) \phi_k(t) dt 
+\end{equation*}
+
+Исходя из этого получаем:
+\begin{enumerate}
+  \item Каждый коэффициент $C_k$ может вычисляться независимо друг от друга
+  \item
+    Сложность их вычисления будет зависеть только от сложности вычисления
+    базисных функций, поэтому для изучения сигналов применяются системы
+    ортогональных функций, в частности применяются
+    \begin{enumerate}
+      \item Системы тригонометрических функций
+      \item Системы функций Хаара
+      \item Полиномы Лежандра
+      \item Полиномы Чебышева
+      \item Полиномы Лагерра
+      \item Полиномы Эрмита
+    \end{enumerate}
+\end{enumerate}
+
+\subsubsection{Временная форма представления сигналов}
+
+Возьмём произвольную непрерывную функцию $u(t)$. Будем считать, что
+непрерывная функция представляет собой набор функций примыкающих друг к
+другу импульсов бесконечно малой длительности с амплитудой равной
+значению сигнала в конкретный момент времени, то есть получим новую
+модель, которая записывается через некоторую дельта-функцию.
+
+
+\begin{equation*}
+  u(t) = \int_{-\infty}^{\infty} u(\tau) \delta(\tau - t) d\tau \quad (4)
+\end{equation*}
+
+\begin{equation*}
+  \delta = \begin{cases} \infty, &t = \tau \\ 0, &t \neq \tau \end{cases}
+\end{equation*}
+
+Ортонормируем дельта-функцию:
+
+\begin{equation*}
+  \int_{-\infty}^{\infty} \delta(\tau - t) d \tau = 1
+\end{equation*}
+
+Как видно, модель (4) является обобщённым спектральным представлением модели (2),
+базисной функцией которого является дельта-функция. Таким же образом с
+помощью этой модели мы можем построить дискретную модель, которая будет
+называться \textbf{решётчатой} функцией:
+
+\begin{equation*}
+  u_l(t) = \sum_{k = -\infty}^{\infty} u(t) \delta(\tau - t), \quad \tau = \Delta t k
+\end{equation*}
+
+$\Delta t$ --- период импульса.
+
+Пределы суммы могут быть как конечными, так и бесконечными исходя из
+физической реальности.
+
+Эти две модели могут называться временными.
diff --git a/information-theory/lectures/lecture2.tex b/information-theory/lectures/lecture2.tex
new file mode 100644
index 0000000..5c4e598
--- /dev/null
+++ b/information-theory/lectures/lecture2.tex
@@ -0,0 +1,180 @@
+\subsection{Лекция 2 (09.09.21)}
+
+\subsubsection{Частотное представление периодических сигналов}
+
+\textbf{ЗАМЕНИТЬ $l$ на $e$ !!!}
+
+Рассмотрим детерминированный сигнал. В качестве базисной функции примем
+$\phi(t) = e^{Pt}, \quad P = \pm j \omega$. Такое представление
+функции базисных сигналов будет называться преобразованием Фурье.
+Удобно: - применяя формулу Эйлера данное представление даёт возможность
+представить в виде суммы гармоник. Формула Эйлера:
+\[\cos \omega t = \frac{ e^{j \omega t} + e^{-j \omega t} }{ 2 }\]
+
+Предположим, что функция $u(t)$, которой описывается детерминируемый
+сигнал реализуется на интервале $[t_1; t_2]$ и удовлетворяет условию
+Дирихле. \emph{Условие Дирихле} означает, что функция непрерывна или
+имеет конечное число точек разрыва первого рода, а также имеет конечное
+число экстремумов. Определим период повторения функции как $T = t_2 - t_1$, при
+этом предполагая, что функция продолжается на всём интервале времени.
+Тогда формула сигнала $u(t)$ будет иметь следующий вид: \[
+\begin{cases}
+    u(t) = \frac{1}{2} \sum_{k = -\infty}^{\infty} A(j k \omega) e^{j k \omega_1 t} \\
+    A(j k \omega_1) = \frac{2}{T} \int_{t_1}^{t_2} u(t) e^{-j k \omega_1 t} dt
+\end{cases}
+\], а период вычисляется как \[T = t_2 - t_1 = \frac{2 \pi}{\omega_1}\]. 
+A\_j\_k называют комплексным спектром периодического сигнала $u(t)$, а
+значение этой функции для каждого конкретного $k$ будут называться
+\emph{комплексной амплитудой}.
+
+Пусть $k \omega_1 = \omega$ то есть для данного комплексного спектра мы
+попробуем построить огибающую. Тогда
+\[ A(j \omega) = \frac{2}{T} \int_{t_1}^{t_2} u(t) e^{-j \omega t} dt \]
+
+Показательная форма:
+\[ A(j k \omega_1) = A(k \omega_1) e^{j \phi(k \omega_1)} \] Функция
+$A(k \omega_1)$ --- спектр амплитуд, $e^{j \phi(k \omega_1)}$ ---
+спектр фаз. \textbf{Оба они дискретны}. Вторая форма:
+\[ A(j k \omega_1) = A_k - j B_k \]
+\[ A_k = \frac{2}{T} \int_{t_1}^{t_2} u(t) \cos(k \omega_1 t) dt \]
+\[ B_k = \frac{2}{T} \int_{t_1}^{t_2} u(t) \sin(k \omega_1 t) dt \]
+Отсюда видно, что \[ A(j \omega_1) = \sqrt{A_k^2 + B_k^2} \]
+\[ \phi(k \omega_1) = \arctan \left( \frac{B_k}{A_k} \right) \] Если в
+данных формулах положить $k = 0$, то получится равенство для
+постоянной (огибающей) составляющей сигнала:
+\[ \frac{A_0}{2} = \frac{1}{T} \int_{t_1}^{t_2} u(t) dt \]
+
+Отсюда:
+\[ u(t) = \frac{A_0}{2} + \frac{1}{2} \sum_{k = 1}^{\infty} (A(j k \omega_1) e^{j k \omega_1 t} + A(-j k \omega_1) e^{-j k \omega_1 t}) = \frac{A_0}{2} + \sum_{k = 1}^{\infty} A(k \omega_1) \cos (k \omega_1 t - \phi(k \omega_1))\]
+
+Спектр амплитуд $A (k \omega_1)$ и спектр фаз $\phi (k \omega_1)$ согласно данному представлению могут быть
+представлены в виде совокупности линий, каждая из которых соответствует
+определённой частоте. Поэтому эти спектры называют \emph{линейчатыми}.
+Сигналы, линейчатые спектры которых включают гармоники некоторых частот,
+которые не кратны, называют \emph{почти периодическими}.
+
+Согласно этому представлению построим распределение энергии в спектре
+периодического сигнала.
+
+\subsubsection{Распределение энергии в спектре периодических сигналов}
+
+Пусть имеется период $T$, сигнал периодический. Тогда распределение энергии в спектре
+периодических сигналов будет определятся интегралом:
+\[\int_{0}^{T} |u(t)|^2 dt = \int_{0}^{T} \left| \frac{A_0}{2} + \frac{1}{2} \sum_{k = 1}^{\infty} (A(j k \omega_1) e^{j k \omega_1 t} + A(-j k \omega_1) e^{-j k \omega_1 t}) \right|^2 dt = \]
+\[
+= \frac{A_0^2}{4} \int_{0}^{T} dt + 
+\left( 
+\frac{A_0}{2} \sum_{k=1}^{\infty} A(jk\omega_1) \int_0^T e^{jk\omega_1 t} dt + \frac{A_0}{2} \sum_{k = 1}^\infty A(-j k \omega_1) \int_0^T e^{-j k\omega_1 t} dt +
+\right) \]
+\[ + \frac{1}{2} \sum_k \sum_l A(j k \omega_1) A(-j l \omega_1) \int_0^T e^{j k \omega_1 t} e^{-j k \omega_1 t} dt\]
+
+\[ \int_0^T e^{jk\omega_1 t} dt = \int_0^T e^{-j k \omega_1 t} dt = 0 \]
+Эти два интеграла будут равны 0, если $k$
+
+\[ \int_0^T e^{j \omega_1 t (k - l)} dt = \begin{cases}
+    T, k = l \\
+    0, k \neq l
+\end{cases}\]
+
+В результате этого у нас останется
+\[ \int_0^T |u(t)|^2 dt = \frac{A_0^2}{2} * \frac{T}{2} + \frac{T}{2} \sum_{k = 1}^{\infty} | A(j k \omega_1) |^2 \]
+
+Вывод: согласно данному представлению получаем, что средняя за период
+энергия будет равна сумме средних энергий, выделяемых каждой гармоникой.
+
+\subsubsection{Частотное представление непериодических сигналов}
+
+Предположим, что соответствующая реальному непериодическому сигналу
+$u(t)$ удовлетворяет условию Дирихле и абсолютно интегрируема. Тогда
+спектральное представление непериодического сигнала $u(t)$ можно строить
+путём увеличения периода периодического сигнала до бесконечности.
+
+С учётом того, что использовался период $\frac{2\pi}{\omega_1}$ будет
+иметь представление:
+\[ u(t) = \frac{1}{2} \sum_{k = -\infty}^{\infty} \left( \frac{\omega_1}{\pi} \int_{t_1}^{t_2} u(t) e^{-j k \omega_1 t} dt \right) e^{jk \omega_1 t} \]
+
+Осуществим предельный переход, при этом $T \to \infty$. При этом сумма
+перейдёт в интеграл, $\omega_1 = \Delta \omega \to d \omega$,
+$k\omega_1 \to \omega$. В результате этих преобразований $u(t)$
+Будет иметь вид:
+\[ u(t) = \frac{1}{2\pi} \int_{-\infty}^{\infty} ( \int_{-\infty}^\infty u(t) * e^{-j \omega t} dt) e^{j \omega t} d\omega \]
+
+Обозначим за $S(j\omega)$ выражение $\int_{-\infty}^\infty u(t) * e^{-j \omega t} dt$, получим:
+\[ u(t) = \frac{1}{2\pi} \int_{-\infty}^\infty S(j\omega) e^{j\omega t} d\omega \]
+\[ S(j\omega) = \int_{-\infty}^\infty u(t) e^{-j\omega t} dt \]
+
+Эта пара называется парой преобразования Фурье для непериодического
+сигнала.
+
+Функция $S (j\omega)$ называется комплексной спектральной плотностью или
+спектральной характеристикой непериодического сигнала. По аналогии с
+период сигналом, спектральная характеристика имеет следующие два представления: Показательная
+форма: \[ S(j \omega) = S(\omega) e^{-j\phi(\omega)} \] 
+
+$S(\omega)$ -- спектральная плотность амплитуд, Спектр фаз --- $e^{-j\phi(\omega)}$.
+
+Построим алгебраическую форму:
+
+\[ e^{-j\omega t} = \cos(\omega t) - j \sin(\omega t)\]
+\[ S(j \omega) = A(\omega) - j B(\omega) \], где
+\[ A(\omega) = \int_{-\infty}^{\infty} u(t) \cos(\omega t) dt \]
+\[ B(\omega) = \int_{-\infty}^{\infty} u(t) \sin(\omega t) dt \]
+
+При этом $S(j \omega)$ будет представлена через \[ S(\omega) = \sqrt{|A(\omega)|^2 + |B(\omega)|^2} \]
+\[ \phi(\omega) = \arctan \frac{B(\omega)}{A(\omega)} \]
+
+\ldots{}
+
+\[ S(\omega) = |S(j \omega)| \]
+
+\ldots{}
+
+\[ u(t) = \frac{1}{2\pi} \int_{-\infty}^{\infty} S(\omega) e^{j(\omega t - \phi(\omega))} d\omega =
+\frac{1}{2 \pi} \int_{-\infty}^\infty S(\omega) \cos(\omega t) - \phi(\omega)) d\omega + j \int_{-\infty}^\infty S(\omega) * \sin(\omega t * \phi(\omega) d \omega) \]
+
+Второй интеграл будет = 0 в силу четности, а первый в силу \ldots{} можно записать только ???. Таким образом мы получим
+тригонометрическую форму ряда фурье.
+\[ u(t) = \frac{1}{\pi} \int_0^\infty S(\omega) \cos(\omega t - \phi(\omega)) d\omega \]
+
+Если ограничить функцию $u(t)$ интервалом времени от $t1$ до $t2$, то можно записать функцию
+
+\[ S(j \omega) = \int_{t_1}^{t_2} u(t) e^{-j\omega t} dt \]
+
+Обращаясь к предыдущим вычислениям, получим \[ A(j \omega) = \frac{2}{T} S(j \omega) \]
+
+Если у непериодического сигнала взять единичный импульс, можно построить
+линейчатый спектр его периодической последовательности.
+
+\subsubsection{Распределение энергии в спектре непериодического сигнала}
+
+Выражение для величины, характеризующей энергию для \ldots{} запишем след образом:
+\[ \int_{-\infty}^{\infty} |u(t)|^2 dt = \int_{-\infty}^{\infty} u(t) (\frac{1}{2\pi} \int_{-\infty}^{\infty} S(j\omega) e^{-j\omega t} d\omega ) dt = \]
+\[ = \frac{1}{2\pi} \int_{-\infty}^{\infty} S(j\omega) (\int_{-\infty}^\infty u(t) e^{j \omega t} dt) d\omega = \]
+\[ = \frac{1}{2\pi} \int_{-\infty}^{\infty} S(j\omega) S(-j\omega) d\omega = \frac{1}{2\pi} \int_{-\infty}^\infty |S(j\omega)|^2 d\omega \]
+
+Согласно равенству Персиваля
+\[ = \frac{1}{\pi} \int_0^\infty |S(j \omega)|^2 d\omega \] В соответствии с
+этим равенством энергия выделяемая непериодическим сигналом за всё время
+его существования можно определить, интегрируя квадрат модуля
+спектральной характеристики в интервале частот.
+
+Определим соотношение между длительностью сигнала и шириной его спектра.
+Предположим, что сигнал $u(t)$ имеет определённую продолжительность и
+имеет спектральную характеристику $S(j\omega)$. Увеличим длительность
+сигнала в некоторую $\lambda$ раз и найдём соответствущую
+спектральную характеристику
+\[ S_\lambda (j\omega) = \int_{-\infty}^\infty u(\lambda t) e^{-j \omega t} dt = \]
+Пусть есть некоторое $\tau = \lambda t$. Тогда
+\[ = \frac{1}{\lambda} \int_{-\infty}^\infty u(\tau) e^{-j \omega \tau / \lambda} d\tau = \frac{1}{\lambda} S(j \frac{\omega}{\lambda}) \]
+
+Из данного равенства видно, что спектр удлиннённого или укороченного в
+$\lambda$ раз будет в $\lambda$ уже или шире, при этом коэффициент в
+$\frac{1}{\lambda}$ изменяет только амплитуды гармоник и не влияет на
+ширину спектра. Это связано с тем, что переменные $t$ и $\omega$
+находятся в показателе степени экспоненциальной функции как прямого преобразования
+Фурье, так и обратного. Из этого следует, что длительность сигнала и
+ширина его спектра не могут быть одновременно ограничены конечными
+интервалами. В частности, имеет место соотношение
+$\Delta t : \Delta f = const$, где $\Delta t$ --- длительность
+импульса, а $\Delta f$ --- ширина.
+
diff --git a/information-theory/lectures/lecture3.tex b/information-theory/lectures/lecture3.tex
new file mode 100644
index 0000000..2103c8d
--- /dev/null
+++ b/information-theory/lectures/lecture3.tex
@@ -0,0 +1,198 @@
+\subsection{Лекция 3 (16.09.21)}
+
+\subsubsection{Модели случайных сигналов}
+
+Наиболее точной моделью сигнала при изучении вопросов его передачи
+является \emph{случайный процесс} для которого детерминированные функции
+рассматриваются ка отдельные реализации. Случайным процессом будем
+называть функцию $U(t)$, значение которой в каждый момент времени
+является случайной величиной. По аналогии, случайные процессы могут быть
+непрерывные и дискретные как по времени, так и по множеству состояний.
+ТО есть по аналогии с классификацией детерминированных сигналов, можно
+выделить один из четырёх типов случайного процесса: - непрерывный
+случайный процесс по множеству состояний (континууму), при этом
+изменения состояния возможны в любой момент времени; - непрерывная
+случайная последовательность --- изменения состояний допускаются лишь в
+конечном числе моментов времени; - дискретный случайный процесс ---
+множество состояний конечно, но изменения состояний могут происходить в
+произвольные моменты времени; - дискретная случайная последовательность
+--- состояния из конечного множества могут изменяться в конечном числе
+моментов времени.
+
+Для описания свойств случайного процесса мы будем использовать
+$n$-мерную плотность вероятности.
+
+\begin{equation*}
+  P_N(U_1, U_2, \dots, U_N; t_1, t_2, \dots, t_N) 
+\end{equation*} 
+
+$n$-мерную плотность вероятности --- система $N$ случайных величин
+$U_1, U_2, \dots, U_N$, где
+$U_1 = U(t_1), U_2 = U(t_2), \dots U_N = U(t_N)$ взятых в моменты
+времени $t_1, t_2, \dots, t_N$. Как частный случай будет
+использоваться одномерная плотность вероятности $P_1(U; t)$, которая
+будет характеризовать распределение случайной величины в произвольный
+момент времени $t$. Если мы возьмём двумерную плотность вероятности
+$P_2(U_1, U_2; t_1, t_2)$, то мы получим вероятность совместных
+реализаций значений случайных величин в произвольные моменты времени
+$t_1, t_2$. При этом будут иметь место соотношения
+
+\begin{equation*}
+  P_1(U; t) = \int_{-\infty}^{\infty} P_2(U_1, U_2; t_1, t_2) d U_2 
+\end{equation*}
+
+Работа со случайными величинами высоких порядков является крайне
+трудоёмкой вещью, поэтому для характеристики случайного процесса будут
+использованы моменты функций первого порядка и второго порядка. (мат
+ожидание, дисперсия и корелляционная функция).
+
+Математическим ожиданием случайного процесса $U(t)$ будем называть
+неслучайную функцию $m_U(t)$ значение которой в каждый момент времени
+равно математическому ожиданию случайной величины в соответствующем
+сечении случайного процесса.
+\begin{equation*}
+  m_U(t) = M\{U(t)\} = \int_{-\infty}^{\infty} U P_1(U; t) dU 
+\end{equation*}
+
+Дисперсией случайного процесса $U(t)$ будем называть функция
+$D_U(t)$, значение которой в каждый момент времени равно дисперсии
+случайной величины в соответсвующем сечении случайного процесса.
+\begin{equation*}
+  D_U(t) = M\{U^o(t)\} = \int_{-\infty}^\infty U^o(t)^2 P_1(U; t) dU 
+\end{equation*}
+Где $U^o$ (o над U) --- нызвается центрированной случайной величиной в
+сечении $t$ ($U^o(t) = U(t) - m_U$)
+
+Кореляционной функции случайного процесса $U(t)$ называют неслучайную
+функцию $R_U(t_1; t_2)$, которая для каждой пары произвольно выбранных
+значений $t_1$ и $t_2$ равна кореляционному моменту соответствующих
+сечений случайного процесса.
+\begin{equation*}
+  R_U(t_1; t_2) = M\{U^o(t_1) U^o(t_2)\} = \int_{-\infty}^\infty \int_{-\infty}^\infty U^o(t_1) U^o(t_2) \cdot P_2 (U_1, U_2; t_1, t_2) dU_1 dU_2 
+\end{equation*}
+Где $U^o(t_1)$ --- нызвается центрированной случайной величиной в
+сечении $t_1$ ($U^o(t_1) = U(t_1) - m_U(t_1)$), а $U^o(t_2)$ ---
+нызвается центрированной случайной величиной в момент времени $t_2$
+($U^o(t_2) = U(t_2) - m_U(t_2)$).
+
+Нормированная автокореляционная функция
+\begin{eqnarray}
+  \rho_U(t_1; t_2) = \frac{R_U(t_1; t_2)}{\sigma_U(t_1) \sigma_U(t_2)} \\
+  \sigma_U(t_1) = \sqrt{D_U(t_1)} \\
+  \sigma_U(t_2) = \sqrt{D_U(t_2)}
+\end{eqnarray}
+
+
+Следует отметить, что если произвольные моменты $t_1 = t_2 = t$, то
+автокорелляционная функция выражается в дисперсию, а соответствующая ей
+нормированная автокореляционная функция будет равна $1$.
+
+Если имеется два случайных процесса, то можно рассматривать функцию
+взаимной кореляции: 
+\begin{equation*}
+  R_{UV}(t_1; t_2) = M\{ U^o (t_1) V^o(t_2) \} 
+\end{equation*}
+
+С точки зрения изменчивости указанных характеристик различают
+стационарные и нестационарные случайные процессы. Случайный процесс
+будет называться в узком смысле, если описывающий его плостности
+вероятности не зависят он начала отсчёта времени. Случайный процесс
+называют стационарным в широком смысле, если выполняются следующие
+соотношения:
+\begin{equation*}
+  \begin{cases}
+    m_U(t) = m_U = const \\
+    D_U(t) = D_U = const \\
+    R_U(t, t + \tau) = R_U(\tau)
+  \end{cases}
+\end{equation*}
+
+То есть мат ожидание и дисперсия постоянны, а кореляционная функция не
+зависит он начала отсчёта времени и является функцией одного аргумента
+(шага по времени). Обычно предполагается, что стационарный процесс
+является \emph{эрготическим} (то есть средняя по ансамблю реализация
+равно среднему по времени на одной реализации) если мат ожидание
+\begin{eqnarray}
+  m_u = \lim_{T \to \infty} U(t) dt = U_0 \\
+  D_U = \lim_{T \to \infty} \int_0^T (U(t) - U_0)^2 dt \\
+  R_U(\tau) = \lim_{T \to \infty} \int_0^T (U(t) - U_0) (U(t + \tau) - U_0) dt
+\end{eqnarray}
+
+Эрготичность стационарного сигнала будет перетекать в эрготичность
+источника.
+
+\subsubsection{Спектральной представление случайных сигналов}
+
+Аналогично детерминированному сигналу построим для случайного процесса
+представление через сумму спектральных составляющих. Для этого будем
+использовать так называемое каноническое разложение случайного процесса
+$U(t)$, то есть будет представляться в виде:
+\begin{equation*}
+  U(t) = m_U(t) + \sum_K C_k \phi_k(t) \quad (1B)
+\end{equation*} 
+
+$m_U(t)$ --- мат ожидание, $\phi_k(t)$ --- неслучайные (координатные) базисные функции,
+$C_k$ --- некореллированные случайные случайные величины с мат
+ожиданиями равными нулю и дисперсиями $D_k$, где
+\begin{equation*}
+  M_k[C_k C_l] = \begin{cases} P_k, k = l \\ 0, k \neq l \end{cases}
+\end{equation*}
+
+Слагаемые $C_k * \phi_k(t)$ будут называть элементарным случайным
+процессом. Случайность такого процесса будет проявляться только через
+величину $C_k$. $C_k$ будут называться коэффициентами канонического
+разложения.
+
+Найдём кореляционную функцию случайного процесса $U(t)$, который
+представлениследующим элементарным процессом.
+\begin{equation*}
+  R_U(t_1, t_2) = M\{ \sum_k C_k \phi_k(t_1) \sum_l C_l \phi_l(t_2) \} = \sum_{k, l} M\{ C_k C_l \} \phi_k(t_1) \phi_l(t_2) = 
+\end{equation*}
+
+Так как $C_k$ и $C_l$ некореллируемые величины, то для \ldots{}
+получим следующее выражение.
+\begin{equation*}
+  = \sum_k \phi_k(t_1) \phi_k(t_2) D_k \quad (2B) 
+\end{equation*}
+
+Такое представление корелляционной функций называют каноническим
+разложением кореляционной функции случайного процесса $U(t)$. Всякому
+каноническому разложению случайного процесса (1B) соответствует
+каноническое разложение (2B). Это утверждение доказывается при этом
+будет справедливо и обратное утверждение.
+
+Рассмотрим каноническое разложение корелляционной функции. Пусть
+$t_1 = t_2 = t$. Тогда получим формулу:
+\begin{equation*}
+  = \sum_k D_k(\phi_k(t))^2 
+\end{equation*} 
+
+То есть при выбранном наборе
+координатной функции центрированный случайный процесс будет
+характеризоваться совокупностью дисперсий коэффициентов разложения,
+которые можно рассматривать как обобщённый спектр случайного процесса.
+
+Для построения спектра случайного процесса нам необходимо найти все
+функции $\phi_k(t)$ и некореллированные случайные величины $C_k$,
+что во многих случаях представляется достаточно затруднительной задачей.
+Пусть $\phi_k$ являются ортогональными координатными функциями и будет
+справедливо следующее представление:
+\begin{equation*}
+  \int_{-T/2}^{T/2} m_u^2(t) dt < \infty 
+\end{equation*}
+
+Тогда неслучайную функцию $m_u(t)$ на интервале $T$ можно разложить следующим образом: 
+\begin{equation*}
+  m_u(t) = \sum_k m_{uk} \phi_k(t)
+\end{equation*}
+
+Здесь $m_{uk} = \int_{-T/2}^{T/2} m_u(t) \phi_k(t) dt$. Тогда
+каноническое разложение случайного процесса запишется следующим видом:
+\begin{equation*}
+  U(t) = \sum_k m_{uk} + C_k) \phi_k(t) \quad (3B) 
+\end{equation*} 
+
+Это соотношение
+будет называться \emph{обобщённым спектральным представлением для
+случайного процесса, которое раскладывается в каноническое
+представление}.
\ No newline at end of file
diff --git a/information-theory/lectures/lecture4.tex b/information-theory/lectures/lecture4.tex
new file mode 100644
index 0000000..0c2d14f
--- /dev/null
+++ b/information-theory/lectures/lecture4.tex
@@ -0,0 +1,234 @@
+\subsection{Лекция 4 (23.09.21)}
+
+\subsubsection{Частотное представление стационарных сигналов. Дискретные
+спектры.}
+
+Предположим, что случайный процесс задан на интервале $[-T; T]$. Тогда
+соответствующая ему корреляционная функция $R_u(\tau)$ должна
+рассматриваться на интервале \ldots{} . При этом должно выполняться
+равенство $\tau \in [-2T; 2T]$. Будем считать корреляционную функцию
+$R_u(\tau)$ условно продолжающейся с периодом $4T$. Тогда для неё
+можно записать пару преобразований Фурье:
+
+\begin{equation*}
+  R_u(\tau) = \frac{1}{2} \sum_{k = -\infty}^\infty D_k e^{jk\omega_1 \tau} 
+\end{equation*}
+Где
+\begin{equation*}
+  D_k = \frac{1}{2T} \int_{-2T}^{2T} R_u(\tau) e^{-jk\omega_1 \tau} d\tau 
+\end{equation*}
+и 
+\begin{equation*}
+  \omega_1 = \frac{2\pi}{4T} = \frac{\pi}{2T} 
+\end{equation*}
+
+Учитывая то, что корреляционная функция является функцией чётной, то
+$D_k$ можно представить на полупериоде, то
+\begin{equation*}
+  D_k = \frac{1}{2T} \int_{0}^{2T} R_u(\tau) e^{-jk\omega_1 \tau} d\tau 
+\end{equation*}
+
+Пусть $\tau = t_1 - t_2$. Тогда корелляционная функция будет
+представляться следующим образом:
+\begin{equation*}
+  R_u(t_1 - t_2) = \frac{1}{2} \sum_{k = -\infty}^\infty D_k e^{jk\omega_1 t_1} e^{-jk\omega_1 t_1}
+\end{equation*}
+
+Сравнивая с данным разложением корелляционной функции с каноническим
+разложением кореляционной функции можно заметить, что $\phi_k(t_1)$ и
+$\phi_k(t_2)$ будут представляться через экспоненциальные функции.
+$\phi_k(t_1) = e^{jk\omega_1 t_1}$, $\phi_k(t_2) = e^{-jk\omega_1 t_2}$
+
+Возьмём соответствующее этому каноническое разложение центрированного
+случайного процесса, то есть
+\begin{equation*}
+  U^o (t) = \frac{1}{2} \sum_{k = -\infty}^\infty C_k e^{jk\omega_1 t} 
+\end{equation*}
+
+добавим для обобщения мат ожидание стационарного случайного процесса. В
+результате при объединении экспоненциальных составляющих с одинаковыми
+по абсолютной величине индексами разных знаков стационарный случайный
+процесс на ограниченном интеравале времени будет представляться суммой
+гармоник. То есть
+\begin{equation*}
+  U(t) = m_u + \sum_k (a_k \cos (\omega_1 t) + b_k \sin(\omega_1 t))) 
+\end{equation*}
+
+где $\omega_1 = \frac{\pi}{2T}$, $m_u$ --- мат ожидание
+стационарного процесса, $a_k$ и $b_k$ --- неслучайные величины.
+
+Эта форма показывает, что получившиеся спектры являются линейчатыми, то
+есть каждой гармонике на спектральной диаграмме будет соответствовать
+вертикальный отрезок, длина которого пропорциональна дисперсии амплитуд.
+
+\#\#\# Частотное представление стационарных случайных сигналов.
+Непрерывные спектры.
+
+Для описания случайного стационарного сигнала возьмём интервал
+$(-\infty; \infty)$ и построим его интегральное каноническое
+разложение. Для этого немного изменим для кореляционной функции.
+\begin{equation*}
+  R_u(\tau) = \frac{1}{2} \sum_{k = -\infty}^\infty \frac{D_k}{\Delta \omega} e^{jk\omega_1 \tau} \Delta \omega 
+\end{equation*}
+
+Где $\Delta \omega$ --- шаг по частоте и он равен
+$\omega_{k + 1} - \omega_k = \frac{\pi}{2T}$. \ldots{} характеризующий
+интервал частот между соседними гармониками.
+
+Обозначим через
+\begin{equation*}
+  S_u(k \omega_1) = \frac{D_k}{\Delta \omega} = \frac{2T D_k}{\pi} 
+\end{equation*}
+
+Функция $S_u(k \omega_1)$ будет называться \textbf{средней плотностью
+дисперсии стационарного процесса}. По сути своей данная функция является
+дисперсией, которая приходится на единицу длины частотного интервала.
+
+С учётом сделанных обозначений формула для кореляции будет иметь
+следующий вид:
+\begin{equation*}
+  R_u(\tau) = \frac{1}{2} \sum_{k = -\infty}^\infty S_u(k\omega_1) e^{jk\omega_1 \tau} \Delta \omega 
+\end{equation*}
+
+С учётом \ldots{} можем записать в следующем виде
+
+\begin{equation*}
+  S_u(k \omega_1) = \frac{1}{\pi} \int_{-2T}^{2T} R_u(\tau) e^{-jk\omega_1 \tau} d\tau 
+\end{equation*}
+
+Осуществим предельный переходи при $t \to \infty$. Получим:
+$S_u(k \omega_1) \to S_u(\omega)$, $k\omega_1 \to \omega$,
+$\Delta \omega \to d\omega$
+
+Тогда получим для кореляции: 
+
+\begin{equation*}
+  \begin{cases}
+    R_u(\tau) = \frac{1}{2} \int_{-\infty}^\infty S_u(\omega) e^{j\omega\tau} d\omega \\
+    S_u(\omega) = \frac{1}{\pi} \int_{-infty}^\infty R_u(\tau) e^{-j\omega\tau} d\tau
+  \end{cases}
+\end{equation*}
+
+Величина $S_u(\omega) d\omega$ по смыслу \ldots{} представляет собой
+дисперсию, приходящуюся на спектр частот
+
+Функция $S_u(\omega)$ характеризует распределение дисперсии случайного
+процесса по частотам и называется \emph{спектральной плотностью
+стационарного случайного процесса}. Аналогично вышеизл мат. если мы для
+кореляционной функции применим каноническое разложение, то получим
+следующую формулу:
+\begin{equation*}
+  R_u(\tau) = \frac{1}{2} \int_{-\infty}^\infty S_u(\omega) e^{j\omega\tau_1} e^{-j\omega\tau_2} d\omega 
+\end{equation*}
+
+Согласно данному каноническому представлению дисперсии построим
+каноническое распределение случайного процесса. Для этого
+\begin{equation*}
+  U^o(t) = \frac{1}{2} \sum_{k = -\infty}^\infty \frac{C_k}{\Delta \omega} e^{jk\omega_1 t} \Delta \omega 
+\end{equation*}
+
+Введём обозначение $G_u(\omega_k) = \frac{C_k}{\Delta \omega}$ и
+осуществим предельный переход. Тогда центрированный случайный процесс
+будет иметь следующий вид:
+\begin{equation*}
+  U^o(t) = \frac{1}{2} \int_{-\infty}^\infty G_u(\omega) e^{j\omega t} d\omega 
+\end{equation*}
+
+В силу сделанных обозначений очевидно, что функция
+$G_u(\omega) d\omega$ является случайной функцией с дисперсией
+$S_u(\omega) d\omega$ приходящейся на спектральную составляющую .
+
+\subsubsection{Спектральная плотность мощности.}
+
+Перейдём к одностороннему спектру для положительных частот. Для функции
+$S_u(\omega)$ применим формулу Эйлера и представим её \ldots{}
+\begin{equation*}
+  S_u(\omega) = \frac{1}{\pi} \int_{-\infty}^\infty R_u(\tau) \cos(\omega \tau) d\tau - \frac{j}{\pi} \int_{-\infty}^\infty R_u(\tau) \cdot \sin (\omega \tau) d\tau 
+\end{equation*}
+
+В силу чётности \ldots{} а первый интеграл мы можем записать для
+положительных частот:
+\begin{equation*}
+  S_u(\omega) = \frac{2}{\pi} \int_0^\infty R_u(\tau) \cos(\omega \tau) d \tau 
+\end{equation*}
+
+Отсюда следует, что $S_u(\omega)$ также является действительной и
+чётной функцией, а след. таким же образом мы можем ограничить и корел.
+функиц.
+\begin{equation*}
+  R_u(\tau) = \int_0^\infty S_u(\omega) \cos(\omega\tau) d\omega 
+\end{equation*}
+
+Если в данном выражении $\tau$ положить $0$, то мы получим формулу
+для дисперсии. \begin{equation*}
+  R_u(0) = D_k = \int_0^\infty S_u(\omega) d\omega
+\end{equation*}
+
+Соответственно дисперсия будет характеризовать мощность сигнала, поэтому
+функцию $S_u(\omega)$ называют \emph{спектральной плотностью
+мощности}.
+
+\subsubsection{Преобразование непрерывных сигналов в дискретные.}
+
+\paragraph{Формулировка задачи дискретизации}
+
+Дискретизация сигнала --- это первообразные функции непрерывного
+аргумента в функцию дискретного времени. То есть дискретизация
+заключается в замене непрерывного сигнала $U(t)$ совокупностью
+координат $[c_1, c_2, \dots, c_n] = A[u(t)]$, где $A[.]$ ---
+некоторый оператор.
+
+С точки зрения простоты реализации целесообразно использовать линейные
+операторы, в частности для определения координат сигнала удобно
+использовать соотношение
+\begin{equation*}
+  C_i = A[u(t)] = \int_T \phi_i(t) u(t) dt \quad (1) 
+\end{equation*} 
+
+Где $\phi_i(t)$ --- набор базисных функций (как правило ортогональных).
+
+При последующем использовании дискретного сигнала для цели управления им
+обычно осуществляется его восстановление с использованием другого
+заданного оператора: 
+\begin{equation*}
+  U^*(t) = B[c_1, c_2, \dots, c_n] 
+\end{equation*}
+
+Если у нас дискретизация осуществлялась помощью оператора (1), то для
+восстановления будет использован следующий оператор:
+\begin{equation*}
+  U^*(t) = \sum_{i = 1}^N c_i \phi_i(t) 
+\end{equation*}
+
+Следует отметить \ldots{} в следствии применения операции интегрирования
+будет обладать высокой помехоустойчивостью, но при этом будет иметь
+место задержка сигнала на интервал интегрирования $T$, поэтому
+наиболее часть дискретизация сводится к замене сигнала совокупностью его
+мгновенных значений в отведённые моменты времени. При этом эта
+совокупность будет называться \textbf{выборкой мгновенных значений}. Это
+достигается использованием дельта-функций в качестве набора базисных
+функций. В результате получится некоторая решётчатая функция с
+координатами $c_i = u(t_i)$. При этом если шаг дискретизации будет
+постоянным, то дискретизация будет называться \textbf{равномерной}.
+
+При восстановлении таких непрерывных сигналов для обеспечения простоты
+реализации широго применяются неортогональные базисные функции, в
+частности используются степенные алгебраические полиномы.
+Восстановленный сигнал будет в этом случае:
+\begin{equation*}
+  U^*(t) = \sum_{i = 0}^N a_i t^i 
+\end{equation*}
+
+Представление непрерывного сигнала некоторой совокупностью
+равноотстоящих отсчётов является наиболее распространённым способом
+дискретизации. Обычно она осуществляется для дальнейшего преобразования
+сигнала в цифорвую форму. В результате цифрового кодирования дискретного
+сигнала происходит его квантование, то есть замена в соответствующие
+моменты времени мгновенных значений ближайшими разрешёнными. При этом
+сигнал оказывается дискретным как по множеству значений, так и по
+времени. Преимуществом такого представления сигнала состоит в том, что
+множество уровней квантования можно представить небольшим количеством
+разрядов. Кроме того при цифровом представлении сигнала для его
+обработки могут быть использованы сложные алгоритмы, в том чистле
+алгоритм поиска и исправления ошибок при передаче.
+
diff --git a/information-theory/lectures/lecture5.tex b/information-theory/lectures/lecture5.tex
new file mode 100644
index 0000000..a202dd5
--- /dev/null
+++ b/information-theory/lectures/lecture5.tex
@@ -0,0 +1,3 @@
+\subsection{Лекция 5 ()}
+
+\subsubsection{Критерий качества восстановления непрерывного сигнала}
diff --git a/information-theory/lectures/lecture6.tex b/information-theory/lectures/lecture6.tex
new file mode 100644
index 0000000..1907f9d
--- /dev/null
+++ b/information-theory/lectures/lecture6.tex
@@ -0,0 +1,154 @@
+% Лекция (14.10.21)
+\begin{enumerate}
+  \item 
+    Критерий равномерного приближения
+    $$\max_{t \in T} |u(t) - u^*(t)| \leq \xi_{\text{доп}}$$
+    $$sup_{u_i(t) \in U} |u_i(t) - u^*_i(t)| \leq \xi_\text{доп}$$
+  \item
+    Критерий среднеквадратичного отклонения
+    $$\sigma = \sqrt{\frac{1}{T} \int_T|u(t) - u^*(t)|^2 dt} \leq \sigma_\text{доп}$$
+    $$\sigma_\Sigma = \Sigma_{i = 1}^N$$
+  \item
+    Интегральный критерий
+    $$\varepsilon = \frac{1}{T} \int_T |u(t) - u^*(t)| dt$$
+
+    Интегральный критерий для ансамбля вычисляют путём усреднения по ансамблю.
+  \item
+    Допустимый уровень вероятности того, что ошибка не превысит допустимое значение
+
+\end{enumerate}
+
+Использование каждого из критериев будет зависеть от требований, предъявляемых к системе.
+
+\subsection{Теорема Котельникова}
+Как отмечалось ранее, наиболее широкое применение имеет линейная дискретизация,
+при этом для выбора величины шага дискретизации используется модель сигнала в
+виде эргодического случайного процесса, при этом каждая реализация которого
+представляет собой функцию с ограниченным спектром. Теоретической основой для
+такого подходя является теорема Котельникова.
+
+\begin{theorem}[Теорема Котельникова]
+  Любая функция $u(t)$, допускающая преобразование Фурье и имеющая непрерывный
+  спектр, ограниченная полосой частот $[0; \frac{\omega}{2\pi}]$ полностью
+  определяется дискретным рядом своих мгновенных значений, отсчитанный через
+  интервал времени $\Delta t = \frac{1}{2f_c} = \frac{\pi}{\omega}$
+\end{theorem}
+\begin{proof}
+  Поскольку по предложению теоремы функция $u(t)$ имеет ограниченный спектр, то
+  есть $S(j \omega) = 0 \quad \omega > \omega_c$, то функцию $u(t)$ мы можем
+  записать следующим видом:
+
+  \begin{equation*}
+    u(t) = \frac{1}{2\pi} \int_{-\omega_c}^{\omega_c} S(j\omega) e^{j\omega t} d\omega
+  \end{equation*}
+
+  Тогда функцию $S(j \omega)$ на интервале $[-\omega_c; \omega_c]$ можно
+  разложить в ряд Фурье.
+
+  Тогда пару преобразования Фурье запишем, полагая, что $S(j\omega)$ условно
+  продолжающаяся с периодом $2\omega_c$.
+
+  \begin{equation*}
+    \begin{cases}
+      S(j\omega) = \frac{1}{2} \sum_{-\infty}^\infty H_k e^{jk\omega \Delta t} \\
+      A_k = \frac{1}{\omega_c} \int_{-\infty}^\infty S(j\omega) e^{-jk \Delta t \omega} d\omega
+    \end{cases}
+  \end{equation*}
+
+  Используя данную пару преобразования Фурье, предварительно предположив, что
+  $t_k = k \Delta t$, будет иметь следующий вид:
+  \begin{equation*}
+    u(k \Delta t) = \frac{1}{2\pi} \int_{-\infty}^\infty S(j\omega) e^{jk\Delta t \omega} d \omega
+  \end{equation*}
+
+  \begin{equation*}
+    A_k = \frac{2\pi}{\omega_c} u(-k \Delta t)
+  \end{equation*}
+
+  \begin{equation*}
+    S(j\omega) = \frac{\pi}{\omega_c} \sum u(-k \Delta t) e^{jk \Delta t \omega}
+  \end{equation*}
+
+  В последнем равенстве знак - перед $k$ мы можем поменять на обратный, так 
+  как суммирование ведётся как по положительным, так и по отрицательным числам.
+  Подставив ... получим:
+  \begin{equation*}
+    u(t) = \frac{1}{2\omega_c} \int_{-\infty}^\infty |\sum_{-\infty}^\infty u(k\Delta t) e^{-j k \Delta t \omega}|
+  \end{equation*}
+
+  Проинтегрировав последнюю часть данного равенства получим следующую функцию.
+  \begin{equation*}
+    u(t) = \sum_{-\infty}^\infty u(k \Delta t) \frac{\sin \omega_c (t - k\Delta t)}{\omega_c (t - k \Delta t)}
+  \end{equation*}
+
+  Таким образом мы выразили функцию $u(t)$ через её дискретные значения взятые в моменты
+  $k \Delta t$. Предположим, что время $t$ будет выражаться как $n \Delta t, \quad n \in \N$.
+  Тогда $\omega_c(n\Delta t - k \Delta t) = \omega_c \Delta t (n - k)$.
+
+  Так как $\Delta t = \frac{\pi}{\omega_c} \implies \omega_c \Delta t (n - k) = (n - k) \pi$
+
+  Таким образом, данная часть функции будет равна единице, если $t = k \Delta t$. 
+  И 0, если $t = n \Delta t, \, n \neq k$. Это означает, что функция $u(t)$
+  в момент времени $[t_k; k \Delta t]$ представляет собой ни что иное, как
+  отсчёты. То есть функция ограничена спектром и может быть представлена рядом,
+  коэффициенты которого представляют собой отсчёты значения функции взятые через
+  интервал времени $\Delta t$
+\end{proof}
+
+На основании этой теоремы строится общая схема приёма и передачи сигнала. на
+передающей стороне мгновенные значения сигнала передаются через интервал времени
+$\Delta t = \frac{\pi}{\omega_c}$, на принимающей стороне последовательность
+импульсов пропускается через идеальный фильтр с частотой среза
+$\frac{\omega_c}{2\pi}$. Тогда при длительной передаче на выходе фильтров будет
+точное воспроизведение переданного непрерывного сигнала.
+
+В реальности сигнал всегда имеет конечную длину и, следовательно, его спектр не
+ограничен. При этом ошибка возникает не только из-за искусственного ограничения
+спектра, но и из-за конечного числа отсчётов, которые в соответствии с теоремой
+будут вычисляться как $N = 2 f_c T$. При этом представление сигнала с
+ограниченным спектром исключает возможность сигнала переносить информацию.
+
+
+\section{Квантование сигнала}
+
+Физически реализуемые непрерывный сигнал всегда ограничен диапазон $[u_{min};
+u_{max}]$. В добавок устройство может воспроизводить лишь конечное число
+значений сигнала из этого диапазона, в частности, вся непрерывная шкала
+амплитудных  значений может быть разита на $N$ одинаковых сигналов. А
+разрешённые значения равноотстоять друг от друга. Тогда мы можем говорить о
+равномерном квантовании. Если же постоянная интервала не соблюдается, то
+квантование будет неравномерно, а соответственно постоянная будет
+
+Из множества мгновенных значений принадлежащих $i$-му шагу квантования только
+одно значение $u(t)$ является разрешённым, а любые другие округляются до него.
+
+Пусть имеется равномерное с шагом $\Delta = \frac{|u_{max} - u_{min}|}{n}$
+И предположим, что при данном равномерном квантовании уровни квантования $u_i$
+размешаются ровно в середине каждого шага. Тогда ошибка квантования будет минимальная
+и не будет превышать $0.5 \Delta$. При этом среднеквадратичная ошибка квантования
+будет определяться следующим образом:
+\begin{equation*}
+  \sigma_i = \sqrt{\int_{u_{i-1}}^{u_i} (u(t) - u_i)^2 p(u) du}
+\end{equation*}
+
+где $p(u)$ --- функция плотности вероятности мгновенных значений сигнала $u$.
+
+Если шаг квантования сигнала мал по сравнению с диапазоном значения, то в
+пределах каждого шага плотность вероятности можно считать постоянной и равной
+величине $P(u_i)$. Тогда данную ошибку можно написать следующим образом:
+\begin{equation*}
+  \sigma_i = \sqrt{P(u_i) \frac{\Delta_i^2}{12}}
+\end{equation*}
+
+С учётом того, что плотность вероятности $p(u_i) > 0$ и $\Delta_i > 0$
+для всех $i = 1, n$ можно записать дисперсию ошибки квантования, которая будет равна
+\begin{equation*}
+  \sigma_i^2 = p(u_i) \frac{\Delta_i^2}{12}
+\end{equation*}
+
+Дисперсия полной ошибки квантования будет определяться как мат ожидание 
+дисперсии на каждом шаге квантования и будет равна $\sigma^2 = \frac{\Delta^2}{12}$
+
+Если на квантуемый сигнал воздействует помеха, то он может попасть в интервал
+соответствующий другому уровню квантования и соответственно предсказать сигнал
+будет невозможно.
\ No newline at end of file
diff --git a/information-theory/lectures/lecture7.tex b/information-theory/lectures/lecture7.tex
new file mode 100644
index 0000000..21c1f00
--- /dev/null
+++ b/information-theory/lectures/lecture7.tex
@@ -0,0 +1,255 @@
+% Лекция (21.11.21)
+\section{Каналы передачи информации}
+Классической теорией информации является теория Шеннона. В основе её лежит
+понятие, что человек принимает информацию к сведению постоянно устраняя
+некоторую неопределённость. То есть чем больше случайных событий, снимающих
+неопределённость системы, тем больше информации они несут.
+
+Дадим определение источника информации. Самым простым источником информации
+является дискретный источник информации без памяти. Простейший дискретный
+источник без памяти $X$ в каждый момент времени выдаёт некоторый символ $X_i$ из
+конечного алфавита $X = \{x_1, x_2, \dots, x_n\}$ с вероятностью $P(x_i) = p_i$.
+Как правило дискретные источники без памяти выбор символов производится
+независимо друг от друга. Распределение информации при этом как правило
+равномерное. В качестве примера можем привести источник без памяти двоичной
+системы. $X = \{ x_1 = 0, x_2 = 1 \}$. Соответственно вероятность $0 \leq p_1
+\leq 1$, $p_2 = 1 - p_1$. При этом в данном источнике выбор очередной цифры
+будет производиться независимо от прежних последовательностей и схематически
+данный источник можно изобразить следующим образом: **рисунок**.
+
+Для определения количества информации такого источника используются следующие
+три аксиомы.
+
+\begin{axiom}
+  Информация одиночного события $x_i \in X$ происходящего с вероятностью $p_i$
+  имеет положительное значение.
+\end{axiom}
+
+\begin{axiom}
+  Совместная информация двух независимых событий $x_i, x_j \in X$ с совместной
+  вероятностью $P_{ij}$ равно сумме их информаций.
+  \begin{equation*}
+    P(x_i, x_j) = P_{ij} = P_i \cdot P_j, \, I(P_{ij}) = I(P_i) + I(P_j)
+  \end{equation*}
+\end{axiom}
+
+\begin{axiom}
+  Информация является непрерывной функцией от вероятности события.
+\end{axiom}
+
+Следует отметить, что акс 1 и 2 утверждают то, что информация нескольких событий
+не может взаимно уничтожаться. Акс 2 вводит понятие совместной информации
+событий. Аксиома 3 говорит о том, что небольшое изменение вероятности событий
+приводит к небольшому изменению её информации. Аксиома 2 определяет информацию
+двух независимых событий.
+
+Согласно аксиоме 2 можно заключить, что информация события определяется
+как логарифмическая функция её вероятности. Информация события происходящая
+с вероятностью $P$ будет равна $I(P) = -\log(P)$. Причём основание логарифма
+будет определять алфавит события и единицы измерения информации.
+
+Наряду с двоичным логарифмом наиболее часто используют натуральный логарифм,
+при этом единицы измерения называются ``наты''.
+
+Исходя из аксиомы 3 можно заключить, что информация постоянно происходящего
+события будет равна нулю. Соответственно информация для невозможного события
+стремится к бесконечности.
+
+\subsection{Энтропия и избыточность}
+
+Рассмотрим источник события. Для его описания будем использовать информацию,
+которую несут происходящие в нём события. По аналогии с термодинамикой
+введём понятие \textbf{энтропии} как меры неопределённости.
+
+\textbf{Энтропия} --- это функция, которая возрастает, когда неопределённость
+системы возрастает. Неупорядоченность системы. Таким образом, используя
+информацию отдельных событий в источнике выразим энтропию следующим образом.
+
+Энтропия простейшего источник без памяти с алфавитом $X = \{ x_1, x_2, \dots,
+x_n \}$ и  соответствующими вероятностями $P = \{ p_1, \dots, p_n \}$ будет
+обозначаться 
+\begin{equation*}
+  H = \sum_{i}^n -P_i \log(P_i)
+\end{equation*}
+
+Предположим эргодичность источника (постоянство поведения). Будем рассматривать
+эргодичность во времени. Если провести аналогию с теорией вероятности, то
+процесс эргодичности предполагается когда мы бросаем кубик или монетку.
+При этом с ростом числа испытаний среднее значение информации источника будет
+вычисляться следующим образом:
+\begin{equation*}
+  \overline{I} = \lim_{N \to \infty} \frac{1}{N} \sum_{n = 0}^{N - 1} I(n)
+\end{equation*}
+
+Устремив данное выражение к математическому ожиданию мы получим, что данная
+формула будет стремиться к формуле энтропии. Проводя аналогичные рассуждения
+Шеннон положил в определение энтропии три следующих аксиомы:
+
+\begin{axiom}
+  Энтропия является непрерывной функцией вероятности. Для источников, в которых
+  события равновероятны и вероятность каждого события равна единица делить на
+  количество событий.
+\end{axiom}
+
+\begin{axiom}
+  Энтропия будет возрастать с ростом числа событий.
+\end{axiom}
+
+\begin{axiom}
+  Разложение процедуры выбора событий на несколько этапов не изменяет энтропию.
+\end{axiom}
+
+Определим максимальную энтропию источника. Для этого воспользуемся теоремой
+Шеннона.
+
+\begin{theorem}
+  Энтропия простейшего дискретного источника без памяти максимальна, если все
+  события в нём имеют одинаковую вероятность и в этом случае энтропия будет
+  равна логарифму от числа событий. $H_0 = \log N$
+\end{theorem}
+\begin{proof}
+  Пусть имеется два дискретных источника $P = \{ p_i \}$ и $Q = \{ q_i \}$
+  каждый из которых генерирует свои события. Всего есть $N$ событий . Для
+  доказательства теоремы нам понадобится верхняя оценка логарифмической функции:
+  $\ln x \leq x - 1$ Используя оценку получаем, что
+  \begin{equation*}
+    \ln q_i - \ln p_i = \ln \frac{q_i}{p_i} \leq \frac{q_i}{p_i} - 1
+  \end{equation*}
+
+  Умножив обе части данного равенства на вероятность $p_i$ и просуммировав по
+  всем событиям $N$ мы получим 
+  \begin{equation*}
+    \sum_{i = 1}^N p_i (\ln q_i - \ln p_i) \leq \sum_{i = 1}^N p_i(\frac{q_i}{p_i} - 1)
+  \end{equation*}
+
+  Получаем
+  \begin{equation*}
+    H(P) + \sum_{i = 1}^N p_i \ln q_i \leq \sum_{i = 1}^N q_i - \sum_{i = 1}^N p_i = 0
+  \end{equation*}
+
+  Таким образом, можем заключить, что энтропия равна
+  \begin{equation*}
+    H(P) \leq -\sum_{i = 1}^N p_i \ln q_i =
+  \end{equation*}
+
+  Если предположить, что источник $Q$ содержит только равновероятные события,
+  то эта сумма будет равна
+  \begin{equation*}
+    = -\sum_{i = 1}^N p_i \ln \frac{1}{N} = \ln N \sum_{i = 1}^N p_i = \ln N
+  \end{equation*}
+  
+  Таким образом при доказательстве на источник $P$ не накладывались никакие
+  ограничения, то данное неравенство имеет место для любого дискретного
+  источника без памяти, который содержит $N$ событий.
+
+  Получаем \begin{equation*}
+    H(x) \leq \log N
+  \end{equation*}
+\end{proof}
+
+Соответственно максимум достигается тогда, когда имеются одинаковые события.
+
+\begin{corollary}
+  Любой источник, содержащий $N$ событий не все из которых имеют одинаковую
+  вероятность обладает энтропией меньшей, чем $\log N$  
+\end{corollary}
+
+\begin{definition}
+  Рассмотрим источник событий, который имеет ёмкость $H_0 = \log N$. ДАнный
+  источник будет являться резервуаром, который никогда не переполняется
+  и зависит только от количества событий.
+
+  Пусть есть источник $X$ в котором не все события равновероятны, который также
+  состоит из $N$ событий.
+
+  Разность $R = H_0 - H(X)$ называется \textbf{избыточностью источника}.
+\end{definition}
+
+\begin{equation*}
+  r = \frac{R}{H_0} = 1 - \frac{H(X)}{H_0}
+\end{equation*}
+
+\begin{definition}
+  Введём понятие функции Шеннона. Пусть задан двоичный алфавит и есть
+  источник событий. $P_0 = P$, $P_1 = 1 - P_0$. Выбор символа производится
+  независимо, соответственно энтропия данного источника будет называться
+  функцией Шеннона и будет зависеть только от вероятности $P$.  
+
+  \begin{equation*}
+    H(P) = -P \log P - (1 - P) \log(1 - P)
+  \end{equation*}
+
+  Функция Шеннона всегда положительна и симметрична относительно значения $0.5$.
+  **рисунок**
+\end{definition}
+
+\subsection{Энтропия связанных источников. Понятие взаимной и условной информации.}
+
+При аксиономическом ... . Рассмотрим это понятие более подробно. Пусть у нас
+есть два источника: $X$ и $Y$. Пусть эти источники связаны между собой.
+Результатом работы данных источников будет пара $(x_i, y_i)$.
+Если два источника связаны между собой, то события одного источника будут
+влиять на события другого источника. То есть по событиям источника $X$ мы
+можем предсказать события источника $Y$, то есть в терминах теории информации,
+можно определить, что из-за влияния источника $X$ снижается неопределённость
+источника $Y$. $P(x_i, y_i) \neq P(x_i) + P(y_i)$
+
+То есть данные источники обмениваются какой-то дополнительной информации. Для
+определения данной информации введём понятие условной вероятности. Введём
+совместную вероятность через их априорные условные вероятности.
+
+\begin{equation*}
+  P(x_i, y_i) = P(x_i / y_i) P(y_i) = P(y_i / x_i) P(x_i)
+\end{equation*}
+
+\begin{equation*}
+  \log P(x_i, y_i) = \log P(x_i / y_i) + \log P(y_i) = \log P(x_i / y_i) + -I(y_i)
+\end{equation*}
+
+То есть
+\begin{equation*}
+  I(x_i, y_i) = I(y_i) - \log P(x_i / y_i) = I(x_i) - \log P(y_i / x_i)
+\end{equation*}
+
+Прибавляя и одновременно вычитая в первой части $I(x_i)$, а во второй части
+$I(y_i)$ мы получим следующую формулу:
+\begin{equation*}
+  I(x_i, y_i) = I(x_i) + I(y_i) - \log \frac{P(x_i / y_i)}{P(x_i)} =
+  I(x_i) + I(y_i) - \log \frac{P(y_i/x_y)}{P(y_i)}
+\end{equation*}
+
+Таким образом если источники связаны, то информация пары $(x_i, y_i)$
+определяется суммой информаций этих событий за вычетом некоторой неотрицательной
+величины, которая также снимает неопределённость и, следовательно, тоже является
+информацией. Такую информацию называют взаимной информацией пары событий.
+Обозначается 
+\begin{equation*}
+  I(x_i, y_i) = \log \frac{P(x_i/y_i)}{P(y_i)} = \log \frac{P(y_i/x_i)}{P(x_i)}
+\end{equation*}
+
+Следует отметить, что $I(x_i, y_i)$ всегда положительная и является симметричной
+относительно источников. Симметричность относительно источников показывает,
+что источники обмениваются взаимной информацией друг с другом, а не в
+одностороннем порядке. Возможны два граничных случая:
+\begin{enumerate}
+  \item
+    Источники независимы. Тогда совместная информация равна нулю (источники не
+    обмениваются информацией).
+  \item
+    Источники жёстко связаны между собой. То есть события одного источника
+    однозначно определяют события другого источника. То есть условная
+    вероятность будет равна единице. В этом случае взаимная информация будет
+    равна информации первого источника и также равна информации второго
+    источника.
+\end{enumerate}
+
+Введём понятие условной информации. Условная информация будет называться 
+информация $I(x_i / y_i) = -\log P(x_i / y_i)$. Тогда взаимная информация
+через условную будет выражаться следующим образом:
+\begin{equation*}
+  I(x_i, y_i) = I(x_i) + I(y_i / x_i) = I(y_i) + I(x_i / y_i)
+\end{equation*}
+
+То есть информацию пары событий можно определить как сумму информаций событий
+источника $Y$ и информации источника событий $X$ при условии, что события
+$Y$ уже известно, или наоборот.
\ No newline at end of file