From b782fe9a251cf07e30525aac7fdc8c780a232dee Mon Sep 17 00:00:00 2001 From: Andrew Guschin Date: Sat, 2 Apr 2022 08:18:10 +0400 Subject: =?UTF-8?q?=D0=9F=D0=B5=D1=80=D0=B5=D0=BC=D0=B5=D1=81=D1=82=D0=B8?= =?UTF-8?q?=D0=BB=20=D0=B2=D1=81=D0=B5=20=D0=BB=D0=B5=D0=BA=D1=86=D0=B8?= =?UTF-8?q?=D0=B8=20=D0=BF=D1=8F=D1=82=D0=BE=D0=B3=D0=BE=20=D1=81=D0=B5?= =?UTF-8?q?=D0=BC=D0=B5=D1=81=D1=82=D1=80=D0=B0=20=D0=B2=20=D0=BA=D0=BE?= =?UTF-8?q?=D1=80=D0=B5=D0=BD=D1=8C=20=D0=BF=D1=80=D0=BE=D0=B5=D0=BA=D1=82?= =?UTF-8?q?=D0=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- information-theory/lectures/lecture1.tex | 194 +++++++++++++++++++++++++++++++ 1 file changed, 194 insertions(+) create mode 100644 information-theory/lectures/lecture1.tex (limited to 'information-theory/lectures/lecture1.tex') diff --git a/information-theory/lectures/lecture1.tex b/information-theory/lectures/lecture1.tex new file mode 100644 index 0000000..5cf5dc7 --- /dev/null +++ b/information-theory/lectures/lecture1.tex @@ -0,0 +1,194 @@ +\subsection{Лекция 1 (02.09.21)} + +Данные, полученные человеком будут называться сообщениями. Информацией +становятся те сообщения, которые используются для принятия каких-либо +решений, то есть снимается неопределённость, которая существовала до их +поступления. + +Следует отметить, что теория информации занимается изучением количества +информации безотносительно какого-то содержания сообщения. Все сообщения +в теории информации формализуются и изучается процесс формирования таких +сообщений и способов их передачи. + +Предметом изучения теории информации являются вероятностные +характеристики исследуемых объектов и явлений. + +Теория информации делится на: + +\begin{itemize} + \item + теорию передачи информации (предметом изучения являются оптимальные методы передачи сообщений); +\end{itemize} + +\textbf{рис. 1} + +Сигналом принято считать некоторую физическую хар-ку, изменяющуюся во +времени. Например, изменение напряжения во времени. + +В общем случае сигналом может быть любое изменение начального состояния +объекта, которое способно вызвать реакцию человека или принимающего +прибора. + +Различают сигналы: +\begin{itemize} + \item зрительные + \item звуковые + \item радиоэлектрические + \item радиосигналы +\end{itemize} + +Следует отметить, что одни сигналы могут как преобразовываться в другие, +так и сами являться источниками формирования новых сигналов. С точки +зрения изменения сигнала с течением времени различают \emph{статические} +и \emph{динамические}. + +Статические --- это сигналы, которые отображают устойчивое изменение +состояния объекта. Динамические --- это сигналы, отображающие +непрерывные изменения некоторого объекта, либо процесса при переходе от +одного устойчивого состояния к другому. К динамическим относятся все +виды электромагнитных колебаний, а также распространения звука в воде и +твёрдых предметах. + +По структуре сообщения сигналы делятся на \emph{непрерывные} и +\emph{дискретные}. Сигналы могут быть непрерывными и дискретными как по +времени, так и по множеству значений. Возможен один из четырёх видов +сигналов: +\begin{itemize} + \item полностью непрерывный сигнал (по времени и множеству значений) + \item непрерывный по множеству значений и дискретным по времени + \item дискретный по множеству значений и непрерывным по времени + \item полностью дискретный +\end{itemize} + +Носителем сигнала всегда является объект или процесс. Однако если +абстрагироваться от его физической природы, то существенными с точки +зрения теории информации будут только его вероятностные характеристики и +другие важные черты с точки зрения данного изучаемого процесса/сигнала. + +\textbf{В теории информации математическая модель сигнала может +противоречить реальной физической структуре.} Допустим, в теории инф мы +предполагаем, что структура сигнала известна приёмнику. + +\subsubsection{Обобщённое спектральное представление детерминированных +сигналов} + +Чтобы изучать непрерывные сигналы для начала изучаются детерминированные +сигналы, при этом они рассматриваются как некоторый ансамбль реализации \ldots{}. + +Мы будем использовать некоторую функцию + +\begin{equation} + u(t) = \sum_{k = 1}^{n} C_k \phi_k(t) \quad (1) +\end{equation} + +Искусственно ограничиваем $t$ некоторым \emph{промежутком времени} +$[t_1; t_2]$. Данная модель называется \textbf{линейной моделью сигнала}. Здесь +$\phi_k(t)$ --- базисные функции, а $C_k$ --- безразмерный +коэффициент. Если заданы все базисные функции, то функция $u(t)$ будет +определяться только коэффициентами $C_k$. Эти коэффициенты будут +называться \textbf{дискретным спектром сигнала}. За пределами интервала +$t \in [t_1; t_2]$ времени сигнал считается \emph{всегда} +\textbf{условно продолжающимся}. + +В некоторых задачах такое представление является неприемлемым, поэтому +для сигналов конечной длительности существует другое представление: + +\begin{equation*} + u(t) = \int_{-\infty}^{\infty} S(\alpha) \phi(\alpha, t) ; d\alpha \quad (2) +\end{equation*} + +Здесь $S(\alpha)$ называется \emph{спектральной плотностью}, а +$\phi(\alpha, t)$ \emph{базисной функцией}. Это модель \emph{непрерывного} сигнала. + +Раздел теории информации, который изучает сигналы в данных +представлениях, называется \textbf{спектральной теорией сигналов}. + +Чем сложнее базисная функция, тем реальнее и сложнее модель. + +В связи с этим обычно используют набор ортогональных базисных функций, +которые удовлетворяют следующему условию: + + +\begin{equation*} + \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) d t = + \begin{cases} 0, &k \neq l \\ \mu, &k = l \end{cases} + \quad (3) +\end{equation*} + +То есть если умножить все $\phi_l (t)$ на данном интервале на коэффициент +$\frac{1}{\sqrt{\mu}}$, то мы получим ортонормированную функцию, то +есть +\begin{equation*} + \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt = 1, \quad k = l +\end{equation*} + +Пусть имеется модель, удовлетворяющая условию ортонормированности. +Возьмём модель (1), обе части данной модели умножим на $\phi_l(t)$ и +проинтегрируем на интервале от $t_1$ до $t_2$. Получим + +\begin{equation*} + \int_{t_1}^{t_2} u(t) \phi_l(t) dt = + \int_{t_1}^{t_2} \sum_{k = 1}^{n} C_k \phi_k(t) \phi_l(t) dt = + \sum_{k = 1}^{n} C_k \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt +\end{equation*} + +Получаем +\begin{equation*} + C_k = \int_{t_1}^{t_2} u(t) \phi_k(t) dt +\end{equation*} + +Исходя из этого получаем: +\begin{enumerate} + \item Каждый коэффициент $C_k$ может вычисляться независимо друг от друга + \item + Сложность их вычисления будет зависеть только от сложности вычисления + базисных функций, поэтому для изучения сигналов применяются системы + ортогональных функций, в частности применяются + \begin{enumerate} + \item Системы тригонометрических функций + \item Системы функций Хаара + \item Полиномы Лежандра + \item Полиномы Чебышева + \item Полиномы Лагерра + \item Полиномы Эрмита + \end{enumerate} +\end{enumerate} + +\subsubsection{Временная форма представления сигналов} + +Возьмём произвольную непрерывную функцию $u(t)$. Будем считать, что +непрерывная функция представляет собой набор функций примыкающих друг к +другу импульсов бесконечно малой длительности с амплитудой равной +значению сигнала в конкретный момент времени, то есть получим новую +модель, которая записывается через некоторую дельта-функцию. + + +\begin{equation*} + u(t) = \int_{-\infty}^{\infty} u(\tau) \delta(\tau - t) d\tau \quad (4) +\end{equation*} + +\begin{equation*} + \delta = \begin{cases} \infty, &t = \tau \\ 0, &t \neq \tau \end{cases} +\end{equation*} + +Ортонормируем дельта-функцию: + +\begin{equation*} + \int_{-\infty}^{\infty} \delta(\tau - t) d \tau = 1 +\end{equation*} + +Как видно, модель (4) является обобщённым спектральным представлением модели (2), +базисной функцией которого является дельта-функция. Таким же образом с +помощью этой модели мы можем построить дискретную модель, которая будет +называться \textbf{решётчатой} функцией: + +\begin{equation*} + u_l(t) = \sum_{k = -\infty}^{\infty} u(t) \delta(\tau - t), \quad \tau = \Delta t k +\end{equation*} + +$\Delta t$ --- период импульса. + +Пределы суммы могут быть как конечными, так и бесконечными исходя из +физической реальности. + +Эти две модели могут называться временными. -- cgit v1.2.3