\subsection{Лекция 1 (02.09.21)}

Данные, полученные человеком будут называться сообщениями. Информацией
становятся те сообщения, которые используются для принятия каких-либо
решений, то есть снимается неопределённость, которая существовала до их
поступления.

Следует отметить, что теория информации занимается изучением количества
информации безотносительно какого-то содержания сообщения. Все сообщения
в теории информации формализуются и изучается процесс формирования таких
сообщений и способов их передачи.

Предметом изучения теории информации являются вероятностные
характеристики исследуемых объектов и явлений.

Теория информации делится на:

\begin{itemize}
  \item
    теорию передачи информации (предметом изучения являются оптимальные методы передачи сообщений);
\end{itemize}

\textbf{рис. 1}

Сигналом принято считать некоторую физическую хар-ку, изменяющуюся во
времени. Например, изменение напряжения во времени.

В общем случае сигналом может быть любое изменение начального состояния
объекта, которое способно вызвать реакцию человека или принимающего
прибора.

Различают сигналы:
\begin{itemize}
  \item зрительные
  \item звуковые
  \item радиоэлектрические
  \item радиосигналы
\end{itemize}

Следует отметить, что одни сигналы могут как преобразовываться в другие,
так и сами являться источниками формирования новых сигналов. С точки
зрения изменения сигнала с течением времени различают \emph{статические}
и \emph{динамические}.

Статические --- это сигналы, которые отображают устойчивое изменение
состояния объекта. Динамические --- это сигналы, отображающие
непрерывные изменения некоторого объекта, либо процесса при переходе от
одного устойчивого состояния к другому. К динамическим относятся все
виды электромагнитных колебаний, а также распространения звука в воде и
твёрдых предметах.

По структуре сообщения сигналы делятся на \emph{непрерывные} и
\emph{дискретные}. Сигналы могут быть непрерывными и дискретными как по
времени, так и по множеству значений. Возможен один из четырёх видов
сигналов: - полностью непрерывный сигнал (по времени \& множеству
значений) - непрерывный по множеству значений и дискретный по времени -
дискретный по множеству значений и непрерывный по времени - полностью
дискретный

Носителем сигнала всегда является объект или процесс. Однако если
абстрагироваться от его физической природы, то существенными с точки
зрения теории информации будут только его вероятностные характеристики и
другие важные черты с точки зрения данного изучаемого процесса/сигнала.

\textbf{В теории информации математическая модель сигнала может
противоречить реальной физической структуре.} Допустим, в теории инф мы
предполагаем, что структура сигнала известна приёмнику.

\subsubsection{Обобщённое спектральное представление детерминированных
сигналов}

Чтобы изучать непрерывные сигналы для начала изучаются детерминированные
сигналы, при этом они рассматриваются как некоторый ансамбль реализации \ldots{}.

Мы будем использовать некоторую функцию

\begin{equation}
  u(t) = \sum_{k = 1}^{n} C_k \phi_k(t) \quad (1)
\end{equation}

Искусственно ограничиваем $t$ некоторым \emph{промежутком времени}
$[t_1; t_2]$. Данная модель называется \textbf{линейной моделью сигнала}. Здесь
$\phi_k(t)$ --- базисные функции, а $C_k$ --- безразмерный
коэффициент. Если заданы все базисные функции, то функция $u(t)$ будет
определяться только коэффициентами $C_k$. Эти коэффициенты будут
называться \textbf{дискретным спектром сигнала}. За пределами интервала
$t \in [t_1; t_2]$ времени сигнал считается \emph{всегда}
\textbf{условно продолжающимся}.

В некоторых задачах такое представление является неприемлемым, поэтому
для сигналов конечной длительности существует другое представление:

\begin{equation*}
  u(t) = \int_{-\infty}^{\infty} S(\alpha) \phi(\alpha, t) ; d\alpha \quad (2)
\end{equation*}

Здесь $S(\alpha)$ называется \emph{спектральной плотностью}, а
$\phi(\alpha, t)$ \emph{базисной функцией}. Это модель \emph{непрерывного} сигнала.

Раздел теории информации, который изучает сигналы в данных
представлениях, называется \textbf{спектральной теорией сигналов}.

Чем сложнее базисная функция, тем реальнее и сложнее модель.

В связи с этим обычно используют набор ортогональных базисных функций,
которые удовлетворяют следующему условию:


\begin{equation*}
  \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) d t =
  \begin{cases} 0, &k \neq l  \\ 1, &k = l \end{cases}
  \quad (3)
\end{equation*}

То есть если умножить все $\phi_l (t)$ на данном интервале на коэффициент
$\frac{1}{\sqrt{\mu}}$, то мы получим ортонормированную функцию, то
есть
\begin{equation*}
  \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt = 1, \quad k = l
\end{equation*}

Пусть имеется модель, удовлетворяющая условию ортонормированности.
Возьмём модель (1), обе части данной модели умножим на $\phi_l(t)$ и
\ldots{} . Получим

\begin{equation*}
  \int_{t_1}^{t_2} u(t) \phi_l(t) dt = 
  \int_{t_1}^{t_2} \sum_{k = 1}^{n} C_k \phi_k(t) \phi_l(t) dt =
  \sum_{k = 1}^{n} C_k \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt
\end{equation*}

Получаем
\begin{equation*}
  C_k = \int_{t_1}^{t_2} u(t) \phi_k(t) dt 
\end{equation*}

Исходя из этого получаем:
\begin{enumerate}
  \item Каждый коэффициент $C_k$ может вычисляться независимо друг от друга
  \item
    Сложность их вычисления будет зависеть только от сложности вычисления
    базисных функций, поэтому для изучения сигналов применяются системы
    ортогональных функций, в частности применяются
    \begin{enumerate}
      \item Системы тригонометрических функций
      \item Системы функций Хаара
      \item Полиномы Лежандра
      \item Полиномы Чебышева
      \item Полиномы Лагерра
      \item Полиномы Эрмита
    \end{enumerate}
\end{enumerate}

\subsubsection{Временная форма представления сигналов}

Возьмём произвольную непрерывную функцию $u(t)$. Будем считать, что
непрерывная функция представляет собой набор функций примыкающих друг к
другу импульсов бесконечно малой длительности с амплитудой равной
значению сигнала в конкретный момент времени, то есть получим новую
модель, которая записывается через некоторую дельта-функцию.


\begin{equation*}
  u(t) = \int_{-\infty}^{\infty} u(\tau) \delta(\tau - t) d\tau \quad (4)
\end{equation*}

\begin{equation*}
  \delta = \begin{cases} \infty, &t = \tau \\ 0, &t \neq \tau \end{cases}
\end{equation*}

Ортонормируем дельта-функцию:
\begin{equation*}
  \int_{-\infty}^{\infty} \delta(\tau - t) d \tau = 1
\end{equation*}

Как видно, модель (4) является обобщённым спектральным представлением модели (2),
базисной функцией которого является дельта-функция. Таким же образом с
помощью этой модели мы можем построить дискретную модель, которая будет
называться \textbf{решётчатой} функцией:

\begin{equation*}
  u_l(t) = \sum_{k = -\infty}^{\infty} u(t) \delta(\tau - t), \quad \tau = \Delta t k
\end{equation*}

$\Delta t$ --- период импульса.

Пределы суммы могут быть как конечными, так и бесконечными исходя из
физической реальности.

Эти две модели могут называться временными.
