\subsection{Лекция 1 (02.09.21)} Данные, полученные человеком будут называться сообщениями. Информацией становятся те сообщения, которые используются для принятия каких-либо решений, то есть снимается неопределённость, которая существовала до их поступления. Следует отметить, что теория информации занимается изучением количества информации безотносительно какого-то содержания сообщения. Все сообщения в теории информации формализуются и изучается процесс формирования таких сообщений и способов их передачи. Предметом изучения теории информации являются вероятностные характеристики исследуемых объектов и явлений. Теория информации делится на: \begin{itemize} \item теорию передачи информации (предметом изучения являются оптимальные методы передачи сообщений); \end{itemize} \textbf{рис. 1} Сигналом принято считать некоторую физическую хар-ку, изменяющуюся во времени. Например, изменение напряжения во времени. В общем случае сигналом может быть любое изменение начального состояния объекта, которое способно вызвать реакцию человека или принимающего прибора. Различают сигналы: \begin{itemize} \item зрительные \item звуковые \item радиоэлектрические \item радиосигналы \end{itemize} Следует отметить, что одни сигналы могут как преобразовываться в другие, так и сами являться источниками формирования новых сигналов. С точки зрения изменения сигнала с течением времени различают \emph{статические} и \emph{динамические}. Статические --- это сигналы, которые отображают устойчивое изменение состояния объекта. Динамические --- это сигналы, отображающие непрерывные изменения некоторого объекта, либо процесса при переходе от одного устойчивого состояния к другому. К динамическим относятся все виды электромагнитных колебаний, а также распространения звука в воде и твёрдых предметах. По структуре сообщения сигналы делятся на \emph{непрерывные} и \emph{дискретные}. Сигналы могут быть непрерывными и дискретными как по времени, так и по множеству значений. Возможен один из четырёх видов сигналов: - полностью непрерывный сигнал (по времени \& множеству значений) - непрерывный по множеству значений и дискретный по времени - дискретный по множеству значений и непрерывный по времени - полностью дискретный Носителем сигнала всегда является объект или процесс. Однако если абстрагироваться от его физической природы, то существенными с точки зрения теории информации будут только его вероятностные характеристики и другие важные черты с точки зрения данного изучаемого процесса/сигнала. \textbf{В теории информации математическая модель сигнала может противоречить реальной физической структуре.} Допустим, в теории инф мы предполагаем, что структура сигнала известна приёмнику. \subsubsection{Обобщённое спектральное представление детерминированных сигналов} Чтобы изучать непрерывные сигналы для начала изучаются детерминированные сигналы, при этом они рассматриваются как некоторый ансамбль реализации \ldots{}. Мы будем использовать некоторую функцию \begin{equation} u(t) = \sum_{k = 1}^{n} C_k \phi_k(t) \quad (1) \end{equation} Искусственно ограничиваем $t$ некоторым \emph{промежутком времени} $[t_1; t_2]$. Данная модель называется \textbf{линейной моделью сигнала}. Здесь $\phi_k(t)$ --- базисные функции, а $C_k$ --- безразмерный коэффициент. Если заданы все базисные функции, то функция $u(t)$ будет определяться только коэффициентами $C_k$. Эти коэффициенты будут называться \textbf{дискретным спектром сигнала}. За пределами интервала $t \in [t_1; t_2]$ времени сигнал считается \emph{всегда} \textbf{условно продолжающимся}. В некоторых задачах такое представление является неприемлемым, поэтому для сигналов конечной длительности существует другое представление: \begin{equation*} u(t) = \int_{-\infty}^{\infty} S(\alpha) \phi(\alpha, t) ; d\alpha \quad (2) \end{equation*} Здесь $S(\alpha)$ называется \emph{спектральной плотностью}, а $\phi(\alpha, t)$ \emph{базисной функцией}. Это модель \emph{непрерывного} сигнала. Раздел теории информации, который изучает сигналы в данных представлениях, называется \textbf{спектральной теорией сигналов}. Чем сложнее базисная функция, тем реальнее и сложнее модель. В связи с этим обычно используют набор ортогональных базисных функций, которые удовлетворяют следующему условию: \begin{equation*} \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) d t = \begin{cases} 0, &k \neq l \\ 1, &k = l \end{cases} \quad (3) \end{equation*} То есть если умножить все $\phi_l (t)$ на данном интервале на коэффициент $\frac{1}{\sqrt{\mu}}$, то мы получим ортонормированную функцию, то есть \begin{equation*} \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt = 1, \quad k = l \end{equation*} Пусть имеется модель, удовлетворяющая условию ортонормированности. Возьмём модель (1), обе части данной модели умножим на $\phi_l(t)$ и \ldots{} . Получим \begin{equation*} \int_{t_1}^{t_2} u(t) \phi_l(t) dt = \int_{t_1}^{t_2} \sum_{k = 1}^{n} C_k \phi_k(t) \phi_l(t) dt = \sum_{k = 1}^{n} C_k \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt \end{equation*} Получаем \begin{equation*} C_k = \int_{t_1}^{t_2} u(t) \phi_k(t) dt \end{equation*} Исходя из этого получаем: \begin{enumerate} \item Каждый коэффициент $C_k$ может вычисляться независимо друг от друга \item Сложность их вычисления будет зависеть только от сложности вычисления базисных функций, поэтому для изучения сигналов применяются системы ортогональных функций, в частности применяются \begin{enumerate} \item Системы тригонометрических функций \item Системы функций Хаара \item Полиномы Лежандра \item Полиномы Чебышева \item Полиномы Лагерра \item Полиномы Эрмита \end{enumerate} \end{enumerate} \subsubsection{Временная форма представления сигналов} Возьмём произвольную непрерывную функцию $u(t)$. Будем считать, что непрерывная функция представляет собой набор функций примыкающих друг к другу импульсов бесконечно малой длительности с амплитудой равной значению сигнала в конкретный момент времени, то есть получим новую модель, которая записывается через некоторую дельта-функцию. \begin{equation*} u(t) = \int_{-\infty}^{\infty} u(\tau) \delta(\tau - t) d\tau \quad (4) \end{equation*} \begin{equation*} \delta = \begin{cases} \infty, &t = \tau \\ 0, &t \neq \tau \end{cases} \end{equation*} Ортонормируем дельта-функцию: \begin{equation*} \int_{-\infty}^{\infty} \delta(\tau - t) d \tau = 1 \end{equation*} Как видно, модель (4) является обобщённым спектральным представлением модели (2), базисной функцией которого является дельта-функция. Таким же образом с помощью этой модели мы можем построить дискретную модель, которая будет называться \textbf{решётчатой} функцией: \begin{equation*} u_l(t) = \sum_{k = -\infty}^{\infty} u(t) \delta(\tau - t), \quad \tau = \Delta t k \end{equation*} $\Delta t$ --- период импульса. Пределы суммы могут быть как конечными, так и бесконечными исходя из физической реальности. Эти две модели могут называться временными.