1 files changed, 194 insertions, 0 deletions
diff --git a/information-theory/lectures/lecture1.tex b/information-theory/lectures/lecture1.tex
new file mode 100644
index 0000000..5cf5dc7
--- /dev/null
+++ b/information-theory/lectures/lecture1.tex
@@ -0,0 +1,194 @@
+\subsection{Лекция 1 (02.09.21)}
+
+Данные, полученные человеком будут называться сообщениями. Информацией
+становятся те сообщения, которые используются для принятия каких-либо
+решений, то есть снимается неопределённость, которая существовала до их
+поступления.
+
+Следует отметить, что теория информации занимается изучением количества
+информации безотносительно какого-то содержания сообщения. Все сообщения
+в теории информации формализуются и изучается процесс формирования таких
+сообщений и способов их передачи.
+
+Предметом изучения теории информации являются вероятностные
+характеристики исследуемых объектов и явлений.
+
+Теория информации делится на:
+
+\begin{itemize}
+  \item
+    теорию передачи информации (предметом изучения являются оптимальные методы передачи сообщений);
+\end{itemize}
+
+\textbf{рис. 1}
+
+Сигналом принято считать некоторую физическую хар-ку, изменяющуюся во
+времени. Например, изменение напряжения во времени.
+
+В общем случае сигналом может быть любое изменение начального состояния
+объекта, которое способно вызвать реакцию человека или принимающего
+прибора.
+
+Различают сигналы:
+\begin{itemize}
+  \item зрительные
+  \item звуковые
+  \item радиоэлектрические
+  \item радиосигналы
+\end{itemize}
+
+Следует отметить, что одни сигналы могут как преобразовываться в другие,
+так и сами являться источниками формирования новых сигналов. С точки
+зрения изменения сигнала с течением времени различают \emph{статические}
+и \emph{динамические}.
+
+Статические --- это сигналы, которые отображают устойчивое изменение
+состояния объекта. Динамические --- это сигналы, отображающие
+непрерывные изменения некоторого объекта, либо процесса при переходе от
+одного устойчивого состояния к другому. К динамическим относятся все
+виды электромагнитных колебаний, а также распространения звука в воде и
+твёрдых предметах.
+
+По структуре сообщения сигналы делятся на \emph{непрерывные} и
+\emph{дискретные}. Сигналы могут быть непрерывными и дискретными как по
+времени, так и по множеству значений. Возможен один из четырёх видов
+сигналов:
+\begin{itemize}
+  \item полностью непрерывный сигнал (по времени и множеству значений)
+  \item непрерывный по множеству значений и дискретным по времени
+  \item дискретный по множеству значений и непрерывным по времени
+  \item полностью дискретный
+\end{itemize}
+
+Носителем сигнала всегда является объект или процесс. Однако если
+абстрагироваться от его физической природы, то существенными с точки
+зрения теории информации будут только его вероятностные характеристики и
+другие важные черты с точки зрения данного изучаемого процесса/сигнала.
+
+\textbf{В теории информации математическая модель сигнала может
+противоречить реальной физической структуре.} Допустим, в теории инф мы
+предполагаем, что структура сигнала известна приёмнику.
+
+\subsubsection{Обобщённое спектральное представление детерминированных
+сигналов}
+
+Чтобы изучать непрерывные сигналы для начала изучаются детерминированные
+сигналы, при этом они рассматриваются как некоторый ансамбль реализации \ldots{}.
+
+Мы будем использовать некоторую функцию
+
+\begin{equation}
+  u(t) = \sum_{k = 1}^{n} C_k \phi_k(t) \quad (1)
+\end{equation}
+
+Искусственно ограничиваем $t$ некоторым \emph{промежутком времени}
+$[t_1; t_2]$. Данная модель называется \textbf{линейной моделью сигнала}. Здесь
+$\phi_k(t)$ --- базисные функции, а $C_k$ --- безразмерный
+коэффициент. Если заданы все базисные функции, то функция $u(t)$ будет
+определяться только коэффициентами $C_k$. Эти коэффициенты будут
+называться \textbf{дискретным спектром сигнала}. За пределами интервала
+$t \in [t_1; t_2]$ времени сигнал считается \emph{всегда}
+\textbf{условно продолжающимся}.
+
+В некоторых задачах такое представление является неприемлемым, поэтому
+для сигналов конечной длительности существует другое представление:
+
+\begin{equation*}
+  u(t) = \int_{-\infty}^{\infty} S(\alpha) \phi(\alpha, t) ; d\alpha \quad (2)
+\end{equation*}
+
+Здесь $S(\alpha)$ называется \emph{спектральной плотностью}, а
+$\phi(\alpha, t)$ \emph{базисной функцией}. Это модель \emph{непрерывного} сигнала.
+
+Раздел теории информации, который изучает сигналы в данных
+представлениях, называется \textbf{спектральной теорией сигналов}.
+
+Чем сложнее базисная функция, тем реальнее и сложнее модель.
+
+В связи с этим обычно используют набор ортогональных базисных функций,
+которые удовлетворяют следующему условию:
+
+
+\begin{equation*}
+  \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) d t =
+  \begin{cases} 0, &k \neq l  \\ \mu, &k = l \end{cases}
+  \quad (3)
+\end{equation*}
+
+То есть если умножить все $\phi_l (t)$ на данном интервале на коэффициент
+$\frac{1}{\sqrt{\mu}}$, то мы получим ортонормированную функцию, то
+есть
+\begin{equation*}
+  \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt = 1, \quad k = l
+\end{equation*}
+
+Пусть имеется модель, удовлетворяющая условию ортонормированности.
+Возьмём модель (1), обе части данной модели умножим на $\phi_l(t)$ и
+проинтегрируем на интервале от $t_1$ до $t_2$. Получим
+
+\begin{equation*}
+  \int_{t_1}^{t_2} u(t) \phi_l(t) dt = 
+  \int_{t_1}^{t_2} \sum_{k = 1}^{n} C_k \phi_k(t) \phi_l(t) dt =
+  \sum_{k = 1}^{n} C_k \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt
+\end{equation*}
+
+Получаем
+\begin{equation*}
+  C_k = \int_{t_1}^{t_2} u(t) \phi_k(t) dt 
+\end{equation*}
+
+Исходя из этого получаем:
+\begin{enumerate}
+  \item Каждый коэффициент $C_k$ может вычисляться независимо друг от друга
+  \item
+    Сложность их вычисления будет зависеть только от сложности вычисления
+    базисных функций, поэтому для изучения сигналов применяются системы
+    ортогональных функций, в частности применяются
+    \begin{enumerate}
+      \item Системы тригонометрических функций
+      \item Системы функций Хаара
+      \item Полиномы Лежандра
+      \item Полиномы Чебышева
+      \item Полиномы Лагерра
+      \item Полиномы Эрмита
+    \end{enumerate}
+\end{enumerate}
+
+\subsubsection{Временная форма представления сигналов}
+
+Возьмём произвольную непрерывную функцию $u(t)$. Будем считать, что
+непрерывная функция представляет собой набор функций примыкающих друг к
+другу импульсов бесконечно малой длительности с амплитудой равной
+значению сигнала в конкретный момент времени, то есть получим новую
+модель, которая записывается через некоторую дельта-функцию.
+
+
+\begin{equation*}
+  u(t) = \int_{-\infty}^{\infty} u(\tau) \delta(\tau - t) d\tau \quad (4)
+\end{equation*}
+
+\begin{equation*}
+  \delta = \begin{cases} \infty, &t = \tau \\ 0, &t \neq \tau \end{cases}
+\end{equation*}
+
+Ортонормируем дельта-функцию:
+
+\begin{equation*}
+  \int_{-\infty}^{\infty} \delta(\tau - t) d \tau = 1
+\end{equation*}
+
+Как видно, модель (4) является обобщённым спектральным представлением модели (2),
+базисной функцией которого является дельта-функция. Таким же образом с
+помощью этой модели мы можем построить дискретную модель, которая будет
+называться \textbf{решётчатой} функцией:
+
+\begin{equation*}
+  u_l(t) = \sum_{k = -\infty}^{\infty} u(t) \delta(\tau - t), \quad \tau = \Delta t k
+\end{equation*}
+
+$\Delta t$ --- период импульса.
+
+Пределы суммы могут быть как конечными, так и бесконечными исходя из
+физической реальности.
+
+Эти две модели могут называться временными.