From c88de23029043dd4956e69c764e66319fc15a5c4 Mon Sep 17 00:00:00 2001 From: Ivan <55015345+QQQiwi@users.noreply.github.com> Date: Wed, 10 Nov 2021 15:45:51 +0400 Subject: =?UTF-8?q?=D0=98=D1=81=D0=BF=D1=80=D0=B0=D0=B2=D0=B8=D0=BB=20?= =?UTF-8?q?=D0=BF=D0=B5=D1=80=D0=B2=D1=8B=D0=B5=20=D0=B4=D0=B2=D0=B5=20?= =?UTF-8?q?=D0=BB=D0=B5=D0=BA=D1=86=D0=B8=D0=B8=20(#1)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- sem5/information-theory/lectures/lecture1.tex | 61 ++++++++++++++------------- 1 file changed, 32 insertions(+), 29 deletions(-) (limited to 'sem5/information-theory/lectures/lecture1.tex') diff --git a/sem5/information-theory/lectures/lecture1.tex b/sem5/information-theory/lectures/lecture1.tex index 2b112fa..5cf5dc7 100644 --- a/sem5/information-theory/lectures/lecture1.tex +++ b/sem5/information-theory/lectures/lecture1.tex @@ -42,14 +42,14 @@ зрения изменения сигнала с течением времени различают \emph{статические} и \emph{динамические}. -Статические --- это сигналы, которые изменяют устойчивое изменение -состояния объекта. Динаические --- это сигналы, отображающие +Статические --- это сигналы, которые отображают устойчивое изменение +состояния объекта. Динамические --- это сигналы, отображающие непрерывные изменения некоторого объекта, либо процесса при переходе от одного устойчивого состояния к другому. К динамическим относятся все виды электромагнитных колебаний, а также распространения звука в воде и твёрдых предметах. -По струкруте сообщения сигналы делятся на \emph{непрерывные} и +По структуре сообщения сигналы делятся на \emph{непрерывные} и \emph{дискретные}. Сигналы могут быть непрерывными и дискретными как по времени, так и по множеству значений. Возможен один из четырёх видов сигналов: @@ -63,7 +63,7 @@ Носителем сигнала всегда является объект или процесс. Однако если абстрагироваться от его физической природы, то существенными с точки зрения теории информации будут только его вероятностные характеристики и -другие важные черты с точки зрения данного изучаемого процесса. +другие важные черты с точки зрения данного изучаемого процесса/сигнала. \textbf{В теории информации математическая модель сигнала может противоречить реальной физической структуре.} Допустим, в теории инф мы @@ -73,66 +73,68 @@ сигналов} Чтобы изучать непрерывные сигналы для начала изучаются детерминированные -сигналы, при этом они рассматриваются как некоторый ансамбль \ldots{} . +сигналы, при этом они рассматриваются как некоторый ансамбль реализации \ldots{}. Мы будем использовать некоторую функцию \begin{equation} - u(t) = \sum_{k = 1}^{}n C_k \phi_k(t) \quad (1) + u(t) = \sum_{k = 1}^{n} C_k \phi_k(t) \quad (1) \end{equation} Искусственно ограничиваем $t$ некоторым \emph{промежутком времени} -(?). Данная модель называется \textbf{линейной моделью сигнала}. Здесь +$[t_1; t_2]$. Данная модель называется \textbf{линейной моделью сигнала}. Здесь $\phi_k(t)$ --- базисные функции, а $C_k$ --- безразмерный коэффициент. Если заданы все базисные функции, то функция $u(t)$ будет определяться только коэффициентами $C_k$. Эти коэффициенты будут -называться дискретным спектром сигнала. За пределами интервала +называться \textbf{дискретным спектром сигнала}. За пределами интервала $t \in [t_1; t_2]$ времени сигнал считается \emph{всегда} \textbf{условно продолжающимся}. В некоторых задачах такое представление является неприемлемым, поэтому -для сигналов конечной длительности существуе другое представление: +для сигналов конечной длительности существует другое представление: \begin{equation*} - u(t) = \int_{-\infty}^{}\infty S(\alpha) \phi(\alpha, t) ; d\alpha \quad (2) + u(t) = \int_{-\infty}^{\infty} S(\alpha) \phi(\alpha, t) ; d\alpha \quad (2) \end{equation*} -Здесь $s(\alpha)$ называется \emph{спектральной плотностью}, а -$\phi(\alpha, t)$. Это модель \emph{непрерывного} сигнала. +Здесь $S(\alpha)$ называется \emph{спектральной плотностью}, а +$\phi(\alpha, t)$ \emph{базисной функцией}. Это модель \emph{непрерывного} сигнала. Раздел теории информации, который изучает сигналы в данных представлениях, называется \textbf{спектральной теорией сигналов}. +Чем сложнее базисная функция, тем реальнее и сложнее модель. + В связи с этим обычно используют набор ортогональных базисных функций, которые удовлетворяют следующему условию: \begin{equation*} - \int_{t_1}^{}{t_2} \phi_k(t) \phi_l(t) d t = - \begin{cases} 0, &k \neq l \\ 1, &k = l \end{cases} + \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) d t = + \begin{cases} 0, &k \neq l \\ \mu, &k = l \end{cases} \quad (3) \end{equation*} -То есть если умножить все $\phi_l$ на данном интервале на коэффициент +То есть если умножить все $\phi_l (t)$ на данном интервале на коэффициент $\frac{1}{\sqrt{\mu}}$, то мы получим ортонормированную функцию, то есть \begin{equation*} - \int_{t_1}^{}{t_2} \phi_k(t) \phi_l(t) dt = 1, \quad k = l + \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt = 1, \quad k = l \end{equation*} Пусть имеется модель, удовлетворяющая условию ортонормированности. Возьмём модель (1), обе части данной модели умножим на $\phi_l(t)$ и -\ldots{} . Получим +проинтегрируем на интервале от $t_1$ до $t_2$. Получим \begin{equation*} - \int_{t_1}^{t_2} u(t) \phi_l(t) dt = - \int_{t_1}^{t_2} \sum_{k = 1}^n C_k \phi_k(t) \phi_l(t) dt = - \sum_{k = 1}^n C_k \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt + \int_{t_1}^{t_2} u(t) \phi_l(t) dt = + \int_{t_1}^{t_2} \sum_{k = 1}^{n} C_k \phi_k(t) \phi_l(t) dt = + \sum_{k = 1}^{n} C_k \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt \end{equation*} Получаем \begin{equation*} - C_k = \int_{t_1}^{t_2} \phi(t) \phi_k(t) dt + C_k = \int_{t_1}^{t_2} u(t) \phi_k(t) dt \end{equation*} Исходя из этого получаем: @@ -140,7 +142,7 @@ $\frac{1}{\sqrt{\mu}}$, то мы получим ортонормированн \item Каждый коэффициент $C_k$ может вычисляться независимо друг от друга \item Сложность их вычисления будет зависеть только от сложности вычисления - базисной функции, поэтому для изучения сигналов применяются системы + базисных функций, поэтому для изучения сигналов применяются системы ортогональных функций, в частности применяются \begin{enumerate} \item Системы тригонометрических функций @@ -156,13 +158,13 @@ $\frac{1}{\sqrt{\mu}}$, то мы получим ортонормированн Возьмём произвольную непрерывную функцию $u(t)$. Будем считать, что непрерывная функция представляет собой набор функций примыкающих друг к -другу импульсов бесконечно малых длительности с амплитудой равной -значению сигнала в конретный момент времени. То есть получим новую +другу импульсов бесконечно малой длительности с амплитудой равной +значению сигнала в конкретный момент времени, то есть получим новую модель, которая записывается через некоторую дельта-функцию. \begin{equation*} - u(t) = \int_{-\infty}^{}\infty u(\tau) \delta(\tau - t) d\tau \quad (4) + u(t) = \int_{-\infty}^{\infty} u(\tau) \delta(\tau - t) d\tau \quad (4) \end{equation*} \begin{equation*} @@ -170,17 +172,18 @@ $\frac{1}{\sqrt{\mu}}$, то мы получим ортонормированн \end{equation*} Ортонормируем дельта-функцию: + \begin{equation*} - \int_{-\infty}^{}\infty \delta(\tau - t) d \tau = 1 + \int_{-\infty}^{\infty} \delta(\tau - t) d \tau = 1 \end{equation*} -Как видно, модель (4) является обобщённым случаем модели (2), базисной -функцией которого является дельта-функция. Таким же образом мы можем с +Как видно, модель (4) является обобщённым спектральным представлением модели (2), +базисной функцией которого является дельта-функция. Таким же образом с помощью этой модели мы можем построить дискретную модель, которая будет называться \textbf{решётчатой} функцией: \begin{equation*} - u_l(t) = \sum_{k = -\infty}^{}\infty u(t) \delta(\tau - t), \quad \tau = \Delta t k + u_l(t) = \sum_{k = -\infty}^{\infty} u(t) \delta(\tau - t), \quad \tau = \Delta t k \end{equation*} $\Delta t$ --- период импульса. -- cgit v1.2.3 From b782fe9a251cf07e30525aac7fdc8c780a232dee Mon Sep 17 00:00:00 2001 From: Andrew Guschin Date: Sat, 2 Apr 2022 08:18:10 +0400 Subject: =?UTF-8?q?=D0=9F=D0=B5=D1=80=D0=B5=D0=BC=D0=B5=D1=81=D1=82=D0=B8?= =?UTF-8?q?=D0=BB=20=D0=B2=D1=81=D0=B5=20=D0=BB=D0=B5=D0=BA=D1=86=D0=B8?= =?UTF-8?q?=D0=B8=20=D0=BF=D1=8F=D1=82=D0=BE=D0=B3=D0=BE=20=D1=81=D0=B5?= =?UTF-8?q?=D0=BC=D0=B5=D1=81=D1=82=D1=80=D0=B0=20=D0=B2=20=D0=BA=D0=BE?= =?UTF-8?q?=D1=80=D0=B5=D0=BD=D1=8C=20=D0=BF=D1=80=D0=BE=D0=B5=D0=BA=D1=82?= =?UTF-8?q?=D0=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- sem5/information-theory/lectures/lecture1.tex | 194 -------------------------- 1 file changed, 194 deletions(-) delete mode 100644 sem5/information-theory/lectures/lecture1.tex (limited to 'sem5/information-theory/lectures/lecture1.tex') diff --git a/sem5/information-theory/lectures/lecture1.tex b/sem5/information-theory/lectures/lecture1.tex deleted file mode 100644 index 5cf5dc7..0000000 --- a/sem5/information-theory/lectures/lecture1.tex +++ /dev/null @@ -1,194 +0,0 @@ -\subsection{Лекция 1 (02.09.21)} - -Данные, полученные человеком будут называться сообщениями. Информацией -становятся те сообщения, которые используются для принятия каких-либо -решений, то есть снимается неопределённость, которая существовала до их -поступления. - -Следует отметить, что теория информации занимается изучением количества -информации безотносительно какого-то содержания сообщения. Все сообщения -в теории информации формализуются и изучается процесс формирования таких -сообщений и способов их передачи. - -Предметом изучения теории информации являются вероятностные -характеристики исследуемых объектов и явлений. - -Теория информации делится на: - -\begin{itemize} - \item - теорию передачи информации (предметом изучения являются оптимальные методы передачи сообщений); -\end{itemize} - -\textbf{рис. 1} - -Сигналом принято считать некоторую физическую хар-ку, изменяющуюся во -времени. Например, изменение напряжения во времени. - -В общем случае сигналом может быть любое изменение начального состояния -объекта, которое способно вызвать реакцию человека или принимающего -прибора. - -Различают сигналы: -\begin{itemize} - \item зрительные - \item звуковые - \item радиоэлектрические - \item радиосигналы -\end{itemize} - -Следует отметить, что одни сигналы могут как преобразовываться в другие, -так и сами являться источниками формирования новых сигналов. С точки -зрения изменения сигнала с течением времени различают \emph{статические} -и \emph{динамические}. - -Статические --- это сигналы, которые отображают устойчивое изменение -состояния объекта. Динамические --- это сигналы, отображающие -непрерывные изменения некоторого объекта, либо процесса при переходе от -одного устойчивого состояния к другому. К динамическим относятся все -виды электромагнитных колебаний, а также распространения звука в воде и -твёрдых предметах. - -По структуре сообщения сигналы делятся на \emph{непрерывные} и -\emph{дискретные}. Сигналы могут быть непрерывными и дискретными как по -времени, так и по множеству значений. Возможен один из четырёх видов -сигналов: -\begin{itemize} - \item полностью непрерывный сигнал (по времени и множеству значений) - \item непрерывный по множеству значений и дискретным по времени - \item дискретный по множеству значений и непрерывным по времени - \item полностью дискретный -\end{itemize} - -Носителем сигнала всегда является объект или процесс. Однако если -абстрагироваться от его физической природы, то существенными с точки -зрения теории информации будут только его вероятностные характеристики и -другие важные черты с точки зрения данного изучаемого процесса/сигнала. - -\textbf{В теории информации математическая модель сигнала может -противоречить реальной физической структуре.} Допустим, в теории инф мы -предполагаем, что структура сигнала известна приёмнику. - -\subsubsection{Обобщённое спектральное представление детерминированных -сигналов} - -Чтобы изучать непрерывные сигналы для начала изучаются детерминированные -сигналы, при этом они рассматриваются как некоторый ансамбль реализации \ldots{}. - -Мы будем использовать некоторую функцию - -\begin{equation} - u(t) = \sum_{k = 1}^{n} C_k \phi_k(t) \quad (1) -\end{equation} - -Искусственно ограничиваем $t$ некоторым \emph{промежутком времени} -$[t_1; t_2]$. Данная модель называется \textbf{линейной моделью сигнала}. Здесь -$\phi_k(t)$ --- базисные функции, а $C_k$ --- безразмерный -коэффициент. Если заданы все базисные функции, то функция $u(t)$ будет -определяться только коэффициентами $C_k$. Эти коэффициенты будут -называться \textbf{дискретным спектром сигнала}. За пределами интервала -$t \in [t_1; t_2]$ времени сигнал считается \emph{всегда} -\textbf{условно продолжающимся}. - -В некоторых задачах такое представление является неприемлемым, поэтому -для сигналов конечной длительности существует другое представление: - -\begin{equation*} - u(t) = \int_{-\infty}^{\infty} S(\alpha) \phi(\alpha, t) ; d\alpha \quad (2) -\end{equation*} - -Здесь $S(\alpha)$ называется \emph{спектральной плотностью}, а -$\phi(\alpha, t)$ \emph{базисной функцией}. Это модель \emph{непрерывного} сигнала. - -Раздел теории информации, который изучает сигналы в данных -представлениях, называется \textbf{спектральной теорией сигналов}. - -Чем сложнее базисная функция, тем реальнее и сложнее модель. - -В связи с этим обычно используют набор ортогональных базисных функций, -которые удовлетворяют следующему условию: - - -\begin{equation*} - \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) d t = - \begin{cases} 0, &k \neq l \\ \mu, &k = l \end{cases} - \quad (3) -\end{equation*} - -То есть если умножить все $\phi_l (t)$ на данном интервале на коэффициент -$\frac{1}{\sqrt{\mu}}$, то мы получим ортонормированную функцию, то -есть -\begin{equation*} - \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt = 1, \quad k = l -\end{equation*} - -Пусть имеется модель, удовлетворяющая условию ортонормированности. -Возьмём модель (1), обе части данной модели умножим на $\phi_l(t)$ и -проинтегрируем на интервале от $t_1$ до $t_2$. Получим - -\begin{equation*} - \int_{t_1}^{t_2} u(t) \phi_l(t) dt = - \int_{t_1}^{t_2} \sum_{k = 1}^{n} C_k \phi_k(t) \phi_l(t) dt = - \sum_{k = 1}^{n} C_k \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt -\end{equation*} - -Получаем -\begin{equation*} - C_k = \int_{t_1}^{t_2} u(t) \phi_k(t) dt -\end{equation*} - -Исходя из этого получаем: -\begin{enumerate} - \item Каждый коэффициент $C_k$ может вычисляться независимо друг от друга - \item - Сложность их вычисления будет зависеть только от сложности вычисления - базисных функций, поэтому для изучения сигналов применяются системы - ортогональных функций, в частности применяются - \begin{enumerate} - \item Системы тригонометрических функций - \item Системы функций Хаара - \item Полиномы Лежандра - \item Полиномы Чебышева - \item Полиномы Лагерра - \item Полиномы Эрмита - \end{enumerate} -\end{enumerate} - -\subsubsection{Временная форма представления сигналов} - -Возьмём произвольную непрерывную функцию $u(t)$. Будем считать, что -непрерывная функция представляет собой набор функций примыкающих друг к -другу импульсов бесконечно малой длительности с амплитудой равной -значению сигнала в конкретный момент времени, то есть получим новую -модель, которая записывается через некоторую дельта-функцию. - - -\begin{equation*} - u(t) = \int_{-\infty}^{\infty} u(\tau) \delta(\tau - t) d\tau \quad (4) -\end{equation*} - -\begin{equation*} - \delta = \begin{cases} \infty, &t = \tau \\ 0, &t \neq \tau \end{cases} -\end{equation*} - -Ортонормируем дельта-функцию: - -\begin{equation*} - \int_{-\infty}^{\infty} \delta(\tau - t) d \tau = 1 -\end{equation*} - -Как видно, модель (4) является обобщённым спектральным представлением модели (2), -базисной функцией которого является дельта-функция. Таким же образом с -помощью этой модели мы можем построить дискретную модель, которая будет -называться \textbf{решётчатой} функцией: - -\begin{equation*} - u_l(t) = \sum_{k = -\infty}^{\infty} u(t) \delta(\tau - t), \quad \tau = \Delta t k -\end{equation*} - -$\Delta t$ --- период импульса. - -Пределы суммы могут быть как конечными, так и бесконечными исходя из -физической реальности. - -Эти две модели могут называться временными. -- cgit v1.2.3