diff options
Diffstat (limited to 'sem5/information-theory/lectures')
| -rw-r--r-- | sem5/information-theory/lectures/lecture1.tex | 194 | ||||
| -rw-r--r-- | sem5/information-theory/lectures/lecture2.tex | 180 | ||||
| -rw-r--r-- | sem5/information-theory/lectures/lecture3.tex | 198 | ||||
| -rw-r--r-- | sem5/information-theory/lectures/lecture4.tex | 234 | ||||
| -rw-r--r-- | sem5/information-theory/lectures/lecture5.tex | 3 | ||||
| -rw-r--r-- | sem5/information-theory/lectures/lecture6.tex | 154 | ||||
| -rw-r--r-- | sem5/information-theory/lectures/lecture7.tex | 255 |
7 files changed, 0 insertions, 1218 deletions
diff --git a/sem5/information-theory/lectures/lecture1.tex b/sem5/information-theory/lectures/lecture1.tex deleted file mode 100644 index 5cf5dc7..0000000 --- a/sem5/information-theory/lectures/lecture1.tex +++ /dev/null @@ -1,194 +0,0 @@ -\subsection{Лекция 1 (02.09.21)} - -Данные, полученные человеком будут называться сообщениями. Информацией -становятся те сообщения, которые используются для принятия каких-либо -решений, то есть снимается неопределённость, которая существовала до их -поступления. - -Следует отметить, что теория информации занимается изучением количества -информации безотносительно какого-то содержания сообщения. Все сообщения -в теории информации формализуются и изучается процесс формирования таких -сообщений и способов их передачи. - -Предметом изучения теории информации являются вероятностные -характеристики исследуемых объектов и явлений. - -Теория информации делится на: - -\begin{itemize} - \item - теорию передачи информации (предметом изучения являются оптимальные методы передачи сообщений); -\end{itemize} - -\textbf{рис. 1} - -Сигналом принято считать некоторую физическую хар-ку, изменяющуюся во -времени. Например, изменение напряжения во времени. - -В общем случае сигналом может быть любое изменение начального состояния -объекта, которое способно вызвать реакцию человека или принимающего -прибора. - -Различают сигналы: -\begin{itemize} - \item зрительные - \item звуковые - \item радиоэлектрические - \item радиосигналы -\end{itemize} - -Следует отметить, что одни сигналы могут как преобразовываться в другие, -так и сами являться источниками формирования новых сигналов. С точки -зрения изменения сигнала с течением времени различают \emph{статические} -и \emph{динамические}. - -Статические --- это сигналы, которые отображают устойчивое изменение -состояния объекта. Динамические --- это сигналы, отображающие -непрерывные изменения некоторого объекта, либо процесса при переходе от -одного устойчивого состояния к другому. К динамическим относятся все -виды электромагнитных колебаний, а также распространения звука в воде и -твёрдых предметах. - -По структуре сообщения сигналы делятся на \emph{непрерывные} и -\emph{дискретные}. Сигналы могут быть непрерывными и дискретными как по -времени, так и по множеству значений. Возможен один из четырёх видов -сигналов: -\begin{itemize} - \item полностью непрерывный сигнал (по времени и множеству значений) - \item непрерывный по множеству значений и дискретным по времени - \item дискретный по множеству значений и непрерывным по времени - \item полностью дискретный -\end{itemize} - -Носителем сигнала всегда является объект или процесс. Однако если -абстрагироваться от его физической природы, то существенными с точки -зрения теории информации будут только его вероятностные характеристики и -другие важные черты с точки зрения данного изучаемого процесса/сигнала. - -\textbf{В теории информации математическая модель сигнала может -противоречить реальной физической структуре.} Допустим, в теории инф мы -предполагаем, что структура сигнала известна приёмнику. - -\subsubsection{Обобщённое спектральное представление детерминированных -сигналов} - -Чтобы изучать непрерывные сигналы для начала изучаются детерминированные -сигналы, при этом они рассматриваются как некоторый ансамбль реализации \ldots{}. - -Мы будем использовать некоторую функцию - -\begin{equation} - u(t) = \sum_{k = 1}^{n} C_k \phi_k(t) \quad (1) -\end{equation} - -Искусственно ограничиваем $t$ некоторым \emph{промежутком времени} -$[t_1; t_2]$. Данная модель называется \textbf{линейной моделью сигнала}. Здесь -$\phi_k(t)$ --- базисные функции, а $C_k$ --- безразмерный -коэффициент. Если заданы все базисные функции, то функция $u(t)$ будет -определяться только коэффициентами $C_k$. Эти коэффициенты будут -называться \textbf{дискретным спектром сигнала}. За пределами интервала -$t \in [t_1; t_2]$ времени сигнал считается \emph{всегда} -\textbf{условно продолжающимся}. - -В некоторых задачах такое представление является неприемлемым, поэтому -для сигналов конечной длительности существует другое представление: - -\begin{equation*} - u(t) = \int_{-\infty}^{\infty} S(\alpha) \phi(\alpha, t) ; d\alpha \quad (2) -\end{equation*} - -Здесь $S(\alpha)$ называется \emph{спектральной плотностью}, а -$\phi(\alpha, t)$ \emph{базисной функцией}. Это модель \emph{непрерывного} сигнала. - -Раздел теории информации, который изучает сигналы в данных -представлениях, называется \textbf{спектральной теорией сигналов}. - -Чем сложнее базисная функция, тем реальнее и сложнее модель. - -В связи с этим обычно используют набор ортогональных базисных функций, -которые удовлетворяют следующему условию: - - -\begin{equation*} - \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) d t = - \begin{cases} 0, &k \neq l \\ \mu, &k = l \end{cases} - \quad (3) -\end{equation*} - -То есть если умножить все $\phi_l (t)$ на данном интервале на коэффициент -$\frac{1}{\sqrt{\mu}}$, то мы получим ортонормированную функцию, то -есть -\begin{equation*} - \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt = 1, \quad k = l -\end{equation*} - -Пусть имеется модель, удовлетворяющая условию ортонормированности. -Возьмём модель (1), обе части данной модели умножим на $\phi_l(t)$ и -проинтегрируем на интервале от $t_1$ до $t_2$. Получим - -\begin{equation*} - \int_{t_1}^{t_2} u(t) \phi_l(t) dt = - \int_{t_1}^{t_2} \sum_{k = 1}^{n} C_k \phi_k(t) \phi_l(t) dt = - \sum_{k = 1}^{n} C_k \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt -\end{equation*} - -Получаем -\begin{equation*} - C_k = \int_{t_1}^{t_2} u(t) \phi_k(t) dt -\end{equation*} - -Исходя из этого получаем: -\begin{enumerate} - \item Каждый коэффициент $C_k$ может вычисляться независимо друг от друга - \item - Сложность их вычисления будет зависеть только от сложности вычисления - базисных функций, поэтому для изучения сигналов применяются системы - ортогональных функций, в частности применяются - \begin{enumerate} - \item Системы тригонометрических функций - \item Системы функций Хаара - \item Полиномы Лежандра - \item Полиномы Чебышева - \item Полиномы Лагерра - \item Полиномы Эрмита - \end{enumerate} -\end{enumerate} - -\subsubsection{Временная форма представления сигналов} - -Возьмём произвольную непрерывную функцию $u(t)$. Будем считать, что -непрерывная функция представляет собой набор функций примыкающих друг к -другу импульсов бесконечно малой длительности с амплитудой равной -значению сигнала в конкретный момент времени, то есть получим новую -модель, которая записывается через некоторую дельта-функцию. - - -\begin{equation*} - u(t) = \int_{-\infty}^{\infty} u(\tau) \delta(\tau - t) d\tau \quad (4) -\end{equation*} - -\begin{equation*} - \delta = \begin{cases} \infty, &t = \tau \\ 0, &t \neq \tau \end{cases} -\end{equation*} - -Ортонормируем дельта-функцию: - -\begin{equation*} - \int_{-\infty}^{\infty} \delta(\tau - t) d \tau = 1 -\end{equation*} - -Как видно, модель (4) является обобщённым спектральным представлением модели (2), -базисной функцией которого является дельта-функция. Таким же образом с -помощью этой модели мы можем построить дискретную модель, которая будет -называться \textbf{решётчатой} функцией: - -\begin{equation*} - u_l(t) = \sum_{k = -\infty}^{\infty} u(t) \delta(\tau - t), \quad \tau = \Delta t k -\end{equation*} - -$\Delta t$ --- период импульса. - -Пределы суммы могут быть как конечными, так и бесконечными исходя из -физической реальности. - -Эти две модели могут называться временными. diff --git a/sem5/information-theory/lectures/lecture2.tex b/sem5/information-theory/lectures/lecture2.tex deleted file mode 100644 index 5c4e598..0000000 --- a/sem5/information-theory/lectures/lecture2.tex +++ /dev/null @@ -1,180 +0,0 @@ -\subsection{Лекция 2 (09.09.21)} - -\subsubsection{Частотное представление периодических сигналов} - -\textbf{ЗАМЕНИТЬ $l$ на $e$ !!!} - -Рассмотрим детерминированный сигнал. В качестве базисной функции примем -$\phi(t) = e^{Pt}, \quad P = \pm j \omega$. Такое представление -функции базисных сигналов будет называться преобразованием Фурье. -Удобно: - применяя формулу Эйлера данное представление даёт возможность -представить в виде суммы гармоник. Формула Эйлера: -\[\cos \omega t = \frac{ e^{j \omega t} + e^{-j \omega t} }{ 2 }\] - -Предположим, что функция $u(t)$, которой описывается детерминируемый -сигнал реализуется на интервале $[t_1; t_2]$ и удовлетворяет условию -Дирихле. \emph{Условие Дирихле} означает, что функция непрерывна или -имеет конечное число точек разрыва первого рода, а также имеет конечное -число экстремумов. Определим период повторения функции как $T = t_2 - t_1$, при -этом предполагая, что функция продолжается на всём интервале времени. -Тогда формула сигнала $u(t)$ будет иметь следующий вид: \[ -\begin{cases} - u(t) = \frac{1}{2} \sum_{k = -\infty}^{\infty} A(j k \omega) e^{j k \omega_1 t} \\ - A(j k \omega_1) = \frac{2}{T} \int_{t_1}^{t_2} u(t) e^{-j k \omega_1 t} dt -\end{cases} -\], а период вычисляется как \[T = t_2 - t_1 = \frac{2 \pi}{\omega_1}\]. -A\_j\_k называют комплексным спектром периодического сигнала $u(t)$, а -значение этой функции для каждого конкретного $k$ будут называться -\emph{комплексной амплитудой}. - -Пусть $k \omega_1 = \omega$ то есть для данного комплексного спектра мы -попробуем построить огибающую. Тогда -\[ A(j \omega) = \frac{2}{T} \int_{t_1}^{t_2} u(t) e^{-j \omega t} dt \] - -Показательная форма: -\[ A(j k \omega_1) = A(k \omega_1) e^{j \phi(k \omega_1)} \] Функция -$A(k \omega_1)$ --- спектр амплитуд, $e^{j \phi(k \omega_1)}$ --- -спектр фаз. \textbf{Оба они дискретны}. Вторая форма: -\[ A(j k \omega_1) = A_k - j B_k \] -\[ A_k = \frac{2}{T} \int_{t_1}^{t_2} u(t) \cos(k \omega_1 t) dt \] -\[ B_k = \frac{2}{T} \int_{t_1}^{t_2} u(t) \sin(k \omega_1 t) dt \] -Отсюда видно, что \[ A(j \omega_1) = \sqrt{A_k^2 + B_k^2} \] -\[ \phi(k \omega_1) = \arctan \left( \frac{B_k}{A_k} \right) \] Если в -данных формулах положить $k = 0$, то получится равенство для -постоянной (огибающей) составляющей сигнала: -\[ \frac{A_0}{2} = \frac{1}{T} \int_{t_1}^{t_2} u(t) dt \] - -Отсюда: -\[ u(t) = \frac{A_0}{2} + \frac{1}{2} \sum_{k = 1}^{\infty} (A(j k \omega_1) e^{j k \omega_1 t} + A(-j k \omega_1) e^{-j k \omega_1 t}) = \frac{A_0}{2} + \sum_{k = 1}^{\infty} A(k \omega_1) \cos (k \omega_1 t - \phi(k \omega_1))\] - -Спектр амплитуд $A (k \omega_1)$ и спектр фаз $\phi (k \omega_1)$ согласно данному представлению могут быть -представлены в виде совокупности линий, каждая из которых соответствует -определённой частоте. Поэтому эти спектры называют \emph{линейчатыми}. -Сигналы, линейчатые спектры которых включают гармоники некоторых частот, -которые не кратны, называют \emph{почти периодическими}. - -Согласно этому представлению построим распределение энергии в спектре -периодического сигнала. - -\subsubsection{Распределение энергии в спектре периодических сигналов} - -Пусть имеется период $T$, сигнал периодический. Тогда распределение энергии в спектре -периодических сигналов будет определятся интегралом: -\[\int_{0}^{T} |u(t)|^2 dt = \int_{0}^{T} \left| \frac{A_0}{2} + \frac{1}{2} \sum_{k = 1}^{\infty} (A(j k \omega_1) e^{j k \omega_1 t} + A(-j k \omega_1) e^{-j k \omega_1 t}) \right|^2 dt = \] -\[ -= \frac{A_0^2}{4} \int_{0}^{T} dt + -\left( -\frac{A_0}{2} \sum_{k=1}^{\infty} A(jk\omega_1) \int_0^T e^{jk\omega_1 t} dt + \frac{A_0}{2} \sum_{k = 1}^\infty A(-j k \omega_1) \int_0^T e^{-j k\omega_1 t} dt + -\right) \] -\[ + \frac{1}{2} \sum_k \sum_l A(j k \omega_1) A(-j l \omega_1) \int_0^T e^{j k \omega_1 t} e^{-j k \omega_1 t} dt\] - -\[ \int_0^T e^{jk\omega_1 t} dt = \int_0^T e^{-j k \omega_1 t} dt = 0 \] -Эти два интеграла будут равны 0, если $k$ - -\[ \int_0^T e^{j \omega_1 t (k - l)} dt = \begin{cases} - T, k = l \\ - 0, k \neq l -\end{cases}\] - -В результате этого у нас останется -\[ \int_0^T |u(t)|^2 dt = \frac{A_0^2}{2} * \frac{T}{2} + \frac{T}{2} \sum_{k = 1}^{\infty} | A(j k \omega_1) |^2 \] - -Вывод: согласно данному представлению получаем, что средняя за период -энергия будет равна сумме средних энергий, выделяемых каждой гармоникой. - -\subsubsection{Частотное представление непериодических сигналов} - -Предположим, что соответствующая реальному непериодическому сигналу -$u(t)$ удовлетворяет условию Дирихле и абсолютно интегрируема. Тогда -спектральное представление непериодического сигнала $u(t)$ можно строить -путём увеличения периода периодического сигнала до бесконечности. - -С учётом того, что использовался период $\frac{2\pi}{\omega_1}$ будет -иметь представление: -\[ u(t) = \frac{1}{2} \sum_{k = -\infty}^{\infty} \left( \frac{\omega_1}{\pi} \int_{t_1}^{t_2} u(t) e^{-j k \omega_1 t} dt \right) e^{jk \omega_1 t} \] - -Осуществим предельный переход, при этом $T \to \infty$. При этом сумма -перейдёт в интеграл, $\omega_1 = \Delta \omega \to d \omega$, -$k\omega_1 \to \omega$. В результате этих преобразований $u(t)$ -Будет иметь вид: -\[ u(t) = \frac{1}{2\pi} \int_{-\infty}^{\infty} ( \int_{-\infty}^\infty u(t) * e^{-j \omega t} dt) e^{j \omega t} d\omega \] - -Обозначим за $S(j\omega)$ выражение $\int_{-\infty}^\infty u(t) * e^{-j \omega t} dt$, получим: -\[ u(t) = \frac{1}{2\pi} \int_{-\infty}^\infty S(j\omega) e^{j\omega t} d\omega \] -\[ S(j\omega) = \int_{-\infty}^\infty u(t) e^{-j\omega t} dt \] - -Эта пара называется парой преобразования Фурье для непериодического -сигнала. - -Функция $S (j\omega)$ называется комплексной спектральной плотностью или -спектральной характеристикой непериодического сигнала. По аналогии с -период сигналом, спектральная характеристика имеет следующие два представления: Показательная -форма: \[ S(j \omega) = S(\omega) e^{-j\phi(\omega)} \] - -$S(\omega)$ -- спектральная плотность амплитуд, Спектр фаз --- $e^{-j\phi(\omega)}$. - -Построим алгебраическую форму: - -\[ e^{-j\omega t} = \cos(\omega t) - j \sin(\omega t)\] -\[ S(j \omega) = A(\omega) - j B(\omega) \], где -\[ A(\omega) = \int_{-\infty}^{\infty} u(t) \cos(\omega t) dt \] -\[ B(\omega) = \int_{-\infty}^{\infty} u(t) \sin(\omega t) dt \] - -При этом $S(j \omega)$ будет представлена через \[ S(\omega) = \sqrt{|A(\omega)|^2 + |B(\omega)|^2} \] -\[ \phi(\omega) = \arctan \frac{B(\omega)}{A(\omega)} \] - -\ldots{} - -\[ S(\omega) = |S(j \omega)| \] - -\ldots{} - -\[ u(t) = \frac{1}{2\pi} \int_{-\infty}^{\infty} S(\omega) e^{j(\omega t - \phi(\omega))} d\omega = -\frac{1}{2 \pi} \int_{-\infty}^\infty S(\omega) \cos(\omega t) - \phi(\omega)) d\omega + j \int_{-\infty}^\infty S(\omega) * \sin(\omega t * \phi(\omega) d \omega) \] - -Второй интеграл будет = 0 в силу четности, а первый в силу \ldots{} можно записать только ???. Таким образом мы получим -тригонометрическую форму ряда фурье. -\[ u(t) = \frac{1}{\pi} \int_0^\infty S(\omega) \cos(\omega t - \phi(\omega)) d\omega \] - -Если ограничить функцию $u(t)$ интервалом времени от $t1$ до $t2$, то можно записать функцию - -\[ S(j \omega) = \int_{t_1}^{t_2} u(t) e^{-j\omega t} dt \] - -Обращаясь к предыдущим вычислениям, получим \[ A(j \omega) = \frac{2}{T} S(j \omega) \] - -Если у непериодического сигнала взять единичный импульс, можно построить -линейчатый спектр его периодической последовательности. - -\subsubsection{Распределение энергии в спектре непериодического сигнала} - -Выражение для величины, характеризующей энергию для \ldots{} запишем след образом: -\[ \int_{-\infty}^{\infty} |u(t)|^2 dt = \int_{-\infty}^{\infty} u(t) (\frac{1}{2\pi} \int_{-\infty}^{\infty} S(j\omega) e^{-j\omega t} d\omega ) dt = \] -\[ = \frac{1}{2\pi} \int_{-\infty}^{\infty} S(j\omega) (\int_{-\infty}^\infty u(t) e^{j \omega t} dt) d\omega = \] -\[ = \frac{1}{2\pi} \int_{-\infty}^{\infty} S(j\omega) S(-j\omega) d\omega = \frac{1}{2\pi} \int_{-\infty}^\infty |S(j\omega)|^2 d\omega \] - -Согласно равенству Персиваля -\[ = \frac{1}{\pi} \int_0^\infty |S(j \omega)|^2 d\omega \] В соответствии с -этим равенством энергия выделяемая непериодическим сигналом за всё время -его существования можно определить, интегрируя квадрат модуля -спектральной характеристики в интервале частот. - -Определим соотношение между длительностью сигнала и шириной его спектра. -Предположим, что сигнал $u(t)$ имеет определённую продолжительность и -имеет спектральную характеристику $S(j\omega)$. Увеличим длительность -сигнала в некоторую $\lambda$ раз и найдём соответствущую -спектральную характеристику -\[ S_\lambda (j\omega) = \int_{-\infty}^\infty u(\lambda t) e^{-j \omega t} dt = \] -Пусть есть некоторое $\tau = \lambda t$. Тогда -\[ = \frac{1}{\lambda} \int_{-\infty}^\infty u(\tau) e^{-j \omega \tau / \lambda} d\tau = \frac{1}{\lambda} S(j \frac{\omega}{\lambda}) \] - -Из данного равенства видно, что спектр удлиннённого или укороченного в -$\lambda$ раз будет в $\lambda$ уже или шире, при этом коэффициент в -$\frac{1}{\lambda}$ изменяет только амплитуды гармоник и не влияет на -ширину спектра. Это связано с тем, что переменные $t$ и $\omega$ -находятся в показателе степени экспоненциальной функции как прямого преобразования -Фурье, так и обратного. Из этого следует, что длительность сигнала и -ширина его спектра не могут быть одновременно ограничены конечными -интервалами. В частности, имеет место соотношение -$\Delta t : \Delta f = const$, где $\Delta t$ --- длительность -импульса, а $\Delta f$ --- ширина. - diff --git a/sem5/information-theory/lectures/lecture3.tex b/sem5/information-theory/lectures/lecture3.tex deleted file mode 100644 index 2103c8d..0000000 --- a/sem5/information-theory/lectures/lecture3.tex +++ /dev/null @@ -1,198 +0,0 @@ -\subsection{Лекция 3 (16.09.21)} - -\subsubsection{Модели случайных сигналов} - -Наиболее точной моделью сигнала при изучении вопросов его передачи -является \emph{случайный процесс} для которого детерминированные функции -рассматриваются ка отдельные реализации. Случайным процессом будем -называть функцию $U(t)$, значение которой в каждый момент времени -является случайной величиной. По аналогии, случайные процессы могут быть -непрерывные и дискретные как по времени, так и по множеству состояний. -ТО есть по аналогии с классификацией детерминированных сигналов, можно -выделить один из четырёх типов случайного процесса: - непрерывный -случайный процесс по множеству состояний (континууму), при этом -изменения состояния возможны в любой момент времени; - непрерывная -случайная последовательность --- изменения состояний допускаются лишь в -конечном числе моментов времени; - дискретный случайный процесс --- -множество состояний конечно, но изменения состояний могут происходить в -произвольные моменты времени; - дискретная случайная последовательность ---- состояния из конечного множества могут изменяться в конечном числе -моментов времени. - -Для описания свойств случайного процесса мы будем использовать -$n$-мерную плотность вероятности. - -\begin{equation*} - P_N(U_1, U_2, \dots, U_N; t_1, t_2, \dots, t_N) -\end{equation*} - -$n$-мерную плотность вероятности --- система $N$ случайных величин -$U_1, U_2, \dots, U_N$, где -$U_1 = U(t_1), U_2 = U(t_2), \dots U_N = U(t_N)$ взятых в моменты -времени $t_1, t_2, \dots, t_N$. Как частный случай будет -использоваться одномерная плотность вероятности $P_1(U; t)$, которая -будет характеризовать распределение случайной величины в произвольный -момент времени $t$. Если мы возьмём двумерную плотность вероятности -$P_2(U_1, U_2; t_1, t_2)$, то мы получим вероятность совместных -реализаций значений случайных величин в произвольные моменты времени -$t_1, t_2$. При этом будут иметь место соотношения - -\begin{equation*} - P_1(U; t) = \int_{-\infty}^{\infty} P_2(U_1, U_2; t_1, t_2) d U_2 -\end{equation*} - -Работа со случайными величинами высоких порядков является крайне -трудоёмкой вещью, поэтому для характеристики случайного процесса будут -использованы моменты функций первого порядка и второго порядка. (мат -ожидание, дисперсия и корелляционная функция). - -Математическим ожиданием случайного процесса $U(t)$ будем называть -неслучайную функцию $m_U(t)$ значение которой в каждый момент времени -равно математическому ожиданию случайной величины в соответствующем -сечении случайного процесса. -\begin{equation*} - m_U(t) = M\{U(t)\} = \int_{-\infty}^{\infty} U P_1(U; t) dU -\end{equation*} - -Дисперсией случайного процесса $U(t)$ будем называть функция -$D_U(t)$, значение которой в каждый момент времени равно дисперсии -случайной величины в соответсвующем сечении случайного процесса. -\begin{equation*} - D_U(t) = M\{U^o(t)\} = \int_{-\infty}^\infty U^o(t)^2 P_1(U; t) dU -\end{equation*} -Где $U^o$ (o над U) --- нызвается центрированной случайной величиной в -сечении $t$ ($U^o(t) = U(t) - m_U$) - -Кореляционной функции случайного процесса $U(t)$ называют неслучайную -функцию $R_U(t_1; t_2)$, которая для каждой пары произвольно выбранных -значений $t_1$ и $t_2$ равна кореляционному моменту соответствующих -сечений случайного процесса. -\begin{equation*} - R_U(t_1; t_2) = M\{U^o(t_1) U^o(t_2)\} = \int_{-\infty}^\infty \int_{-\infty}^\infty U^o(t_1) U^o(t_2) \cdot P_2 (U_1, U_2; t_1, t_2) dU_1 dU_2 -\end{equation*} -Где $U^o(t_1)$ --- нызвается центрированной случайной величиной в -сечении $t_1$ ($U^o(t_1) = U(t_1) - m_U(t_1)$), а $U^o(t_2)$ --- -нызвается центрированной случайной величиной в момент времени $t_2$ -($U^o(t_2) = U(t_2) - m_U(t_2)$). - -Нормированная автокореляционная функция -\begin{eqnarray} - \rho_U(t_1; t_2) = \frac{R_U(t_1; t_2)}{\sigma_U(t_1) \sigma_U(t_2)} \\ - \sigma_U(t_1) = \sqrt{D_U(t_1)} \\ - \sigma_U(t_2) = \sqrt{D_U(t_2)} -\end{eqnarray} - - -Следует отметить, что если произвольные моменты $t_1 = t_2 = t$, то -автокорелляционная функция выражается в дисперсию, а соответствующая ей -нормированная автокореляционная функция будет равна $1$. - -Если имеется два случайных процесса, то можно рассматривать функцию -взаимной кореляции: -\begin{equation*} - R_{UV}(t_1; t_2) = M\{ U^o (t_1) V^o(t_2) \} -\end{equation*} - -С точки зрения изменчивости указанных характеристик различают -стационарные и нестационарные случайные процессы. Случайный процесс -будет называться в узком смысле, если описывающий его плостности -вероятности не зависят он начала отсчёта времени. Случайный процесс -называют стационарным в широком смысле, если выполняются следующие -соотношения: -\begin{equation*} - \begin{cases} - m_U(t) = m_U = const \\ - D_U(t) = D_U = const \\ - R_U(t, t + \tau) = R_U(\tau) - \end{cases} -\end{equation*} - -То есть мат ожидание и дисперсия постоянны, а кореляционная функция не -зависит он начала отсчёта времени и является функцией одного аргумента -(шага по времени). Обычно предполагается, что стационарный процесс -является \emph{эрготическим} (то есть средняя по ансамблю реализация -равно среднему по времени на одной реализации) если мат ожидание -\begin{eqnarray} - m_u = \lim_{T \to \infty} U(t) dt = U_0 \\ - D_U = \lim_{T \to \infty} \int_0^T (U(t) - U_0)^2 dt \\ - R_U(\tau) = \lim_{T \to \infty} \int_0^T (U(t) - U_0) (U(t + \tau) - U_0) dt -\end{eqnarray} - -Эрготичность стационарного сигнала будет перетекать в эрготичность -источника. - -\subsubsection{Спектральной представление случайных сигналов} - -Аналогично детерминированному сигналу построим для случайного процесса -представление через сумму спектральных составляющих. Для этого будем -использовать так называемое каноническое разложение случайного процесса -$U(t)$, то есть будет представляться в виде: -\begin{equation*} - U(t) = m_U(t) + \sum_K C_k \phi_k(t) \quad (1B) -\end{equation*} - -$m_U(t)$ --- мат ожидание, $\phi_k(t)$ --- неслучайные (координатные) базисные функции, -$C_k$ --- некореллированные случайные случайные величины с мат -ожиданиями равными нулю и дисперсиями $D_k$, где -\begin{equation*} - M_k[C_k C_l] = \begin{cases} P_k, k = l \\ 0, k \neq l \end{cases} -\end{equation*} - -Слагаемые $C_k * \phi_k(t)$ будут называть элементарным случайным -процессом. Случайность такого процесса будет проявляться только через -величину $C_k$. $C_k$ будут называться коэффициентами канонического -разложения. - -Найдём кореляционную функцию случайного процесса $U(t)$, который -представлениследующим элементарным процессом. -\begin{equation*} - R_U(t_1, t_2) = M\{ \sum_k C_k \phi_k(t_1) \sum_l C_l \phi_l(t_2) \} = \sum_{k, l} M\{ C_k C_l \} \phi_k(t_1) \phi_l(t_2) = -\end{equation*} - -Так как $C_k$ и $C_l$ некореллируемые величины, то для \ldots{} -получим следующее выражение. -\begin{equation*} - = \sum_k \phi_k(t_1) \phi_k(t_2) D_k \quad (2B) -\end{equation*} - -Такое представление корелляционной функций называют каноническим -разложением кореляционной функции случайного процесса $U(t)$. Всякому -каноническому разложению случайного процесса (1B) соответствует -каноническое разложение (2B). Это утверждение доказывается при этом -будет справедливо и обратное утверждение. - -Рассмотрим каноническое разложение корелляционной функции. Пусть -$t_1 = t_2 = t$. Тогда получим формулу: -\begin{equation*} - = \sum_k D_k(\phi_k(t))^2 -\end{equation*} - -То есть при выбранном наборе -координатной функции центрированный случайный процесс будет -характеризоваться совокупностью дисперсий коэффициентов разложения, -которые можно рассматривать как обобщённый спектр случайного процесса. - -Для построения спектра случайного процесса нам необходимо найти все -функции $\phi_k(t)$ и некореллированные случайные величины $C_k$, -что во многих случаях представляется достаточно затруднительной задачей. -Пусть $\phi_k$ являются ортогональными координатными функциями и будет -справедливо следующее представление: -\begin{equation*} - \int_{-T/2}^{T/2} m_u^2(t) dt < \infty -\end{equation*} - -Тогда неслучайную функцию $m_u(t)$ на интервале $T$ можно разложить следующим образом: -\begin{equation*} - m_u(t) = \sum_k m_{uk} \phi_k(t) -\end{equation*} - -Здесь $m_{uk} = \int_{-T/2}^{T/2} m_u(t) \phi_k(t) dt$. Тогда -каноническое разложение случайного процесса запишется следующим видом: -\begin{equation*} - U(t) = \sum_k m_{uk} + C_k) \phi_k(t) \quad (3B) -\end{equation*} - -Это соотношение -будет называться \emph{обобщённым спектральным представлением для -случайного процесса, которое раскладывается в каноническое -представление}.
\ No newline at end of file diff --git a/sem5/information-theory/lectures/lecture4.tex b/sem5/information-theory/lectures/lecture4.tex deleted file mode 100644 index 0c2d14f..0000000 --- a/sem5/information-theory/lectures/lecture4.tex +++ /dev/null @@ -1,234 +0,0 @@ -\subsection{Лекция 4 (23.09.21)} - -\subsubsection{Частотное представление стационарных сигналов. Дискретные -спектры.} - -Предположим, что случайный процесс задан на интервале $[-T; T]$. Тогда -соответствующая ему корреляционная функция $R_u(\tau)$ должна -рассматриваться на интервале \ldots{} . При этом должно выполняться -равенство $\tau \in [-2T; 2T]$. Будем считать корреляционную функцию -$R_u(\tau)$ условно продолжающейся с периодом $4T$. Тогда для неё -можно записать пару преобразований Фурье: - -\begin{equation*} - R_u(\tau) = \frac{1}{2} \sum_{k = -\infty}^\infty D_k e^{jk\omega_1 \tau} -\end{equation*} -Где -\begin{equation*} - D_k = \frac{1}{2T} \int_{-2T}^{2T} R_u(\tau) e^{-jk\omega_1 \tau} d\tau -\end{equation*} -и -\begin{equation*} - \omega_1 = \frac{2\pi}{4T} = \frac{\pi}{2T} -\end{equation*} - -Учитывая то, что корреляционная функция является функцией чётной, то -$D_k$ можно представить на полупериоде, то -\begin{equation*} - D_k = \frac{1}{2T} \int_{0}^{2T} R_u(\tau) e^{-jk\omega_1 \tau} d\tau -\end{equation*} - -Пусть $\tau = t_1 - t_2$. Тогда корелляционная функция будет -представляться следующим образом: -\begin{equation*} - R_u(t_1 - t_2) = \frac{1}{2} \sum_{k = -\infty}^\infty D_k e^{jk\omega_1 t_1} e^{-jk\omega_1 t_1} -\end{equation*} - -Сравнивая с данным разложением корелляционной функции с каноническим -разложением кореляционной функции можно заметить, что $\phi_k(t_1)$ и -$\phi_k(t_2)$ будут представляться через экспоненциальные функции. -$\phi_k(t_1) = e^{jk\omega_1 t_1}$, $\phi_k(t_2) = e^{-jk\omega_1 t_2}$ - -Возьмём соответствующее этому каноническое разложение центрированного -случайного процесса, то есть -\begin{equation*} - U^o (t) = \frac{1}{2} \sum_{k = -\infty}^\infty C_k e^{jk\omega_1 t} -\end{equation*} - -добавим для обобщения мат ожидание стационарного случайного процесса. В -результате при объединении экспоненциальных составляющих с одинаковыми -по абсолютной величине индексами разных знаков стационарный случайный -процесс на ограниченном интеравале времени будет представляться суммой -гармоник. То есть -\begin{equation*} - U(t) = m_u + \sum_k (a_k \cos (\omega_1 t) + b_k \sin(\omega_1 t))) -\end{equation*} - -где $\omega_1 = \frac{\pi}{2T}$, $m_u$ --- мат ожидание -стационарного процесса, $a_k$ и $b_k$ --- неслучайные величины. - -Эта форма показывает, что получившиеся спектры являются линейчатыми, то -есть каждой гармонике на спектральной диаграмме будет соответствовать -вертикальный отрезок, длина которого пропорциональна дисперсии амплитуд. - -\#\#\# Частотное представление стационарных случайных сигналов. -Непрерывные спектры. - -Для описания случайного стационарного сигнала возьмём интервал -$(-\infty; \infty)$ и построим его интегральное каноническое -разложение. Для этого немного изменим для кореляционной функции. -\begin{equation*} - R_u(\tau) = \frac{1}{2} \sum_{k = -\infty}^\infty \frac{D_k}{\Delta \omega} e^{jk\omega_1 \tau} \Delta \omega -\end{equation*} - -Где $\Delta \omega$ --- шаг по частоте и он равен -$\omega_{k + 1} - \omega_k = \frac{\pi}{2T}$. \ldots{} характеризующий -интервал частот между соседними гармониками. - -Обозначим через -\begin{equation*} - S_u(k \omega_1) = \frac{D_k}{\Delta \omega} = \frac{2T D_k}{\pi} -\end{equation*} - -Функция $S_u(k \omega_1)$ будет называться \textbf{средней плотностью -дисперсии стационарного процесса}. По сути своей данная функция является -дисперсией, которая приходится на единицу длины частотного интервала. - -С учётом сделанных обозначений формула для кореляции будет иметь -следующий вид: -\begin{equation*} - R_u(\tau) = \frac{1}{2} \sum_{k = -\infty}^\infty S_u(k\omega_1) e^{jk\omega_1 \tau} \Delta \omega -\end{equation*} - -С учётом \ldots{} можем записать в следующем виде - -\begin{equation*} - S_u(k \omega_1) = \frac{1}{\pi} \int_{-2T}^{2T} R_u(\tau) e^{-jk\omega_1 \tau} d\tau -\end{equation*} - -Осуществим предельный переходи при $t \to \infty$. Получим: -$S_u(k \omega_1) \to S_u(\omega)$, $k\omega_1 \to \omega$, -$\Delta \omega \to d\omega$ - -Тогда получим для кореляции: - -\begin{equation*} - \begin{cases} - R_u(\tau) = \frac{1}{2} \int_{-\infty}^\infty S_u(\omega) e^{j\omega\tau} d\omega \\ - S_u(\omega) = \frac{1}{\pi} \int_{-infty}^\infty R_u(\tau) e^{-j\omega\tau} d\tau - \end{cases} -\end{equation*} - -Величина $S_u(\omega) d\omega$ по смыслу \ldots{} представляет собой -дисперсию, приходящуюся на спектр частот - -Функция $S_u(\omega)$ характеризует распределение дисперсии случайного -процесса по частотам и называется \emph{спектральной плотностью -стационарного случайного процесса}. Аналогично вышеизл мат. если мы для -кореляционной функции применим каноническое разложение, то получим -следующую формулу: -\begin{equation*} - R_u(\tau) = \frac{1}{2} \int_{-\infty}^\infty S_u(\omega) e^{j\omega\tau_1} e^{-j\omega\tau_2} d\omega -\end{equation*} - -Согласно данному каноническому представлению дисперсии построим -каноническое распределение случайного процесса. Для этого -\begin{equation*} - U^o(t) = \frac{1}{2} \sum_{k = -\infty}^\infty \frac{C_k}{\Delta \omega} e^{jk\omega_1 t} \Delta \omega -\end{equation*} - -Введём обозначение $G_u(\omega_k) = \frac{C_k}{\Delta \omega}$ и -осуществим предельный переход. Тогда центрированный случайный процесс -будет иметь следующий вид: -\begin{equation*} - U^o(t) = \frac{1}{2} \int_{-\infty}^\infty G_u(\omega) e^{j\omega t} d\omega -\end{equation*} - -В силу сделанных обозначений очевидно, что функция -$G_u(\omega) d\omega$ является случайной функцией с дисперсией -$S_u(\omega) d\omega$ приходящейся на спектральную составляющую . - -\subsubsection{Спектральная плотность мощности.} - -Перейдём к одностороннему спектру для положительных частот. Для функции -$S_u(\omega)$ применим формулу Эйлера и представим её \ldots{} -\begin{equation*} - S_u(\omega) = \frac{1}{\pi} \int_{-\infty}^\infty R_u(\tau) \cos(\omega \tau) d\tau - \frac{j}{\pi} \int_{-\infty}^\infty R_u(\tau) \cdot \sin (\omega \tau) d\tau -\end{equation*} - -В силу чётности \ldots{} а первый интеграл мы можем записать для -положительных частот: -\begin{equation*} - S_u(\omega) = \frac{2}{\pi} \int_0^\infty R_u(\tau) \cos(\omega \tau) d \tau -\end{equation*} - -Отсюда следует, что $S_u(\omega)$ также является действительной и -чётной функцией, а след. таким же образом мы можем ограничить и корел. -функиц. -\begin{equation*} - R_u(\tau) = \int_0^\infty S_u(\omega) \cos(\omega\tau) d\omega -\end{equation*} - -Если в данном выражении $\tau$ положить $0$, то мы получим формулу -для дисперсии. \begin{equation*} - R_u(0) = D_k = \int_0^\infty S_u(\omega) d\omega -\end{equation*} - -Соответственно дисперсия будет характеризовать мощность сигнала, поэтому -функцию $S_u(\omega)$ называют \emph{спектральной плотностью -мощности}. - -\subsubsection{Преобразование непрерывных сигналов в дискретные.} - -\paragraph{Формулировка задачи дискретизации} - -Дискретизация сигнала --- это первообразные функции непрерывного -аргумента в функцию дискретного времени. То есть дискретизация -заключается в замене непрерывного сигнала $U(t)$ совокупностью -координат $[c_1, c_2, \dots, c_n] = A[u(t)]$, где $A[.]$ --- -некоторый оператор. - -С точки зрения простоты реализации целесообразно использовать линейные -операторы, в частности для определения координат сигнала удобно -использовать соотношение -\begin{equation*} - C_i = A[u(t)] = \int_T \phi_i(t) u(t) dt \quad (1) -\end{equation*} - -Где $\phi_i(t)$ --- набор базисных функций (как правило ортогональных). - -При последующем использовании дискретного сигнала для цели управления им -обычно осуществляется его восстановление с использованием другого -заданного оператора: -\begin{equation*} - U^*(t) = B[c_1, c_2, \dots, c_n] -\end{equation*} - -Если у нас дискретизация осуществлялась помощью оператора (1), то для -восстановления будет использован следующий оператор: -\begin{equation*} - U^*(t) = \sum_{i = 1}^N c_i \phi_i(t) -\end{equation*} - -Следует отметить \ldots{} в следствии применения операции интегрирования -будет обладать высокой помехоустойчивостью, но при этом будет иметь -место задержка сигнала на интервал интегрирования $T$, поэтому -наиболее часть дискретизация сводится к замене сигнала совокупностью его -мгновенных значений в отведённые моменты времени. При этом эта -совокупность будет называться \textbf{выборкой мгновенных значений}. Это -достигается использованием дельта-функций в качестве набора базисных -функций. В результате получится некоторая решётчатая функция с -координатами $c_i = u(t_i)$. При этом если шаг дискретизации будет -постоянным, то дискретизация будет называться \textbf{равномерной}. - -При восстановлении таких непрерывных сигналов для обеспечения простоты -реализации широго применяются неортогональные базисные функции, в -частности используются степенные алгебраические полиномы. -Восстановленный сигнал будет в этом случае: -\begin{equation*} - U^*(t) = \sum_{i = 0}^N a_i t^i -\end{equation*} - -Представление непрерывного сигнала некоторой совокупностью -равноотстоящих отсчётов является наиболее распространённым способом -дискретизации. Обычно она осуществляется для дальнейшего преобразования -сигнала в цифорвую форму. В результате цифрового кодирования дискретного -сигнала происходит его квантование, то есть замена в соответствующие -моменты времени мгновенных значений ближайшими разрешёнными. При этом -сигнал оказывается дискретным как по множеству значений, так и по -времени. Преимуществом такого представления сигнала состоит в том, что -множество уровней квантования можно представить небольшим количеством -разрядов. Кроме того при цифровом представлении сигнала для его -обработки могут быть использованы сложные алгоритмы, в том чистле -алгоритм поиска и исправления ошибок при передаче. - diff --git a/sem5/information-theory/lectures/lecture5.tex b/sem5/information-theory/lectures/lecture5.tex deleted file mode 100644 index a202dd5..0000000 --- a/sem5/information-theory/lectures/lecture5.tex +++ /dev/null @@ -1,3 +0,0 @@ -\subsection{Лекция 5 ()} - -\subsubsection{Критерий качества восстановления непрерывного сигнала} diff --git a/sem5/information-theory/lectures/lecture6.tex b/sem5/information-theory/lectures/lecture6.tex deleted file mode 100644 index 1907f9d..0000000 --- a/sem5/information-theory/lectures/lecture6.tex +++ /dev/null @@ -1,154 +0,0 @@ -% Лекция (14.10.21) -\begin{enumerate} - \item - Критерий равномерного приближения - $$\max_{t \in T} |u(t) - u^*(t)| \leq \xi_{\text{доп}}$$ - $$sup_{u_i(t) \in U} |u_i(t) - u^*_i(t)| \leq \xi_\text{доп}$$ - \item - Критерий среднеквадратичного отклонения - $$\sigma = \sqrt{\frac{1}{T} \int_T|u(t) - u^*(t)|^2 dt} \leq \sigma_\text{доп}$$ - $$\sigma_\Sigma = \Sigma_{i = 1}^N$$ - \item - Интегральный критерий - $$\varepsilon = \frac{1}{T} \int_T |u(t) - u^*(t)| dt$$ - - Интегральный критерий для ансамбля вычисляют путём усреднения по ансамблю. - \item - Допустимый уровень вероятности того, что ошибка не превысит допустимое значение - -\end{enumerate} - -Использование каждого из критериев будет зависеть от требований, предъявляемых к системе. - -\subsection{Теорема Котельникова} -Как отмечалось ранее, наиболее широкое применение имеет линейная дискретизация, -при этом для выбора величины шага дискретизации используется модель сигнала в -виде эргодического случайного процесса, при этом каждая реализация которого -представляет собой функцию с ограниченным спектром. Теоретической основой для -такого подходя является теорема Котельникова. - -\begin{theorem}[Теорема Котельникова] - Любая функция $u(t)$, допускающая преобразование Фурье и имеющая непрерывный - спектр, ограниченная полосой частот $[0; \frac{\omega}{2\pi}]$ полностью - определяется дискретным рядом своих мгновенных значений, отсчитанный через - интервал времени $\Delta t = \frac{1}{2f_c} = \frac{\pi}{\omega}$ -\end{theorem} -\begin{proof} - Поскольку по предложению теоремы функция $u(t)$ имеет ограниченный спектр, то - есть $S(j \omega) = 0 \quad \omega > \omega_c$, то функцию $u(t)$ мы можем - записать следующим видом: - - \begin{equation*} - u(t) = \frac{1}{2\pi} \int_{-\omega_c}^{\omega_c} S(j\omega) e^{j\omega t} d\omega - \end{equation*} - - Тогда функцию $S(j \omega)$ на интервале $[-\omega_c; \omega_c]$ можно - разложить в ряд Фурье. - - Тогда пару преобразования Фурье запишем, полагая, что $S(j\omega)$ условно - продолжающаяся с периодом $2\omega_c$. - - \begin{equation*} - \begin{cases} - S(j\omega) = \frac{1}{2} \sum_{-\infty}^\infty H_k e^{jk\omega \Delta t} \\ - A_k = \frac{1}{\omega_c} \int_{-\infty}^\infty S(j\omega) e^{-jk \Delta t \omega} d\omega - \end{cases} - \end{equation*} - - Используя данную пару преобразования Фурье, предварительно предположив, что - $t_k = k \Delta t$, будет иметь следующий вид: - \begin{equation*} - u(k \Delta t) = \frac{1}{2\pi} \int_{-\infty}^\infty S(j\omega) e^{jk\Delta t \omega} d \omega - \end{equation*} - - \begin{equation*} - A_k = \frac{2\pi}{\omega_c} u(-k \Delta t) - \end{equation*} - - \begin{equation*} - S(j\omega) = \frac{\pi}{\omega_c} \sum u(-k \Delta t) e^{jk \Delta t \omega} - \end{equation*} - - В последнем равенстве знак - перед $k$ мы можем поменять на обратный, так - как суммирование ведётся как по положительным, так и по отрицательным числам. - Подставив ... получим: - \begin{equation*} - u(t) = \frac{1}{2\omega_c} \int_{-\infty}^\infty |\sum_{-\infty}^\infty u(k\Delta t) e^{-j k \Delta t \omega}| - \end{equation*} - - Проинтегрировав последнюю часть данного равенства получим следующую функцию. - \begin{equation*} - u(t) = \sum_{-\infty}^\infty u(k \Delta t) \frac{\sin \omega_c (t - k\Delta t)}{\omega_c (t - k \Delta t)} - \end{equation*} - - Таким образом мы выразили функцию $u(t)$ через её дискретные значения взятые в моменты - $k \Delta t$. Предположим, что время $t$ будет выражаться как $n \Delta t, \quad n \in \N$. - Тогда $\omega_c(n\Delta t - k \Delta t) = \omega_c \Delta t (n - k)$. - - Так как $\Delta t = \frac{\pi}{\omega_c} \implies \omega_c \Delta t (n - k) = (n - k) \pi$ - - Таким образом, данная часть функции будет равна единице, если $t = k \Delta t$. - И 0, если $t = n \Delta t, \, n \neq k$. Это означает, что функция $u(t)$ - в момент времени $[t_k; k \Delta t]$ представляет собой ни что иное, как - отсчёты. То есть функция ограничена спектром и может быть представлена рядом, - коэффициенты которого представляют собой отсчёты значения функции взятые через - интервал времени $\Delta t$ -\end{proof} - -На основании этой теоремы строится общая схема приёма и передачи сигнала. на -передающей стороне мгновенные значения сигнала передаются через интервал времени -$\Delta t = \frac{\pi}{\omega_c}$, на принимающей стороне последовательность -импульсов пропускается через идеальный фильтр с частотой среза -$\frac{\omega_c}{2\pi}$. Тогда при длительной передаче на выходе фильтров будет -точное воспроизведение переданного непрерывного сигнала. - -В реальности сигнал всегда имеет конечную длину и, следовательно, его спектр не -ограничен. При этом ошибка возникает не только из-за искусственного ограничения -спектра, но и из-за конечного числа отсчётов, которые в соответствии с теоремой -будут вычисляться как $N = 2 f_c T$. При этом представление сигнала с -ограниченным спектром исключает возможность сигнала переносить информацию. - - -\section{Квантование сигнала} - -Физически реализуемые непрерывный сигнал всегда ограничен диапазон $[u_{min}; -u_{max}]$. В добавок устройство может воспроизводить лишь конечное число -значений сигнала из этого диапазона, в частности, вся непрерывная шкала -амплитудных значений может быть разита на $N$ одинаковых сигналов. А -разрешённые значения равноотстоять друг от друга. Тогда мы можем говорить о -равномерном квантовании. Если же постоянная интервала не соблюдается, то -квантование будет неравномерно, а соответственно постоянная будет - -Из множества мгновенных значений принадлежащих $i$-му шагу квантования только -одно значение $u(t)$ является разрешённым, а любые другие округляются до него. - -Пусть имеется равномерное с шагом $\Delta = \frac{|u_{max} - u_{min}|}{n}$ -И предположим, что при данном равномерном квантовании уровни квантования $u_i$ -размешаются ровно в середине каждого шага. Тогда ошибка квантования будет минимальная -и не будет превышать $0.5 \Delta$. При этом среднеквадратичная ошибка квантования -будет определяться следующим образом: -\begin{equation*} - \sigma_i = \sqrt{\int_{u_{i-1}}^{u_i} (u(t) - u_i)^2 p(u) du} -\end{equation*} - -где $p(u)$ --- функция плотности вероятности мгновенных значений сигнала $u$. - -Если шаг квантования сигнала мал по сравнению с диапазоном значения, то в -пределах каждого шага плотность вероятности можно считать постоянной и равной -величине $P(u_i)$. Тогда данную ошибку можно написать следующим образом: -\begin{equation*} - \sigma_i = \sqrt{P(u_i) \frac{\Delta_i^2}{12}} -\end{equation*} - -С учётом того, что плотность вероятности $p(u_i) > 0$ и $\Delta_i > 0$ -для всех $i = 1, n$ можно записать дисперсию ошибки квантования, которая будет равна -\begin{equation*} - \sigma_i^2 = p(u_i) \frac{\Delta_i^2}{12} -\end{equation*} - -Дисперсия полной ошибки квантования будет определяться как мат ожидание -дисперсии на каждом шаге квантования и будет равна $\sigma^2 = \frac{\Delta^2}{12}$ - -Если на квантуемый сигнал воздействует помеха, то он может попасть в интервал -соответствующий другому уровню квантования и соответственно предсказать сигнал -будет невозможно.
\ No newline at end of file diff --git a/sem5/information-theory/lectures/lecture7.tex b/sem5/information-theory/lectures/lecture7.tex deleted file mode 100644 index 21c1f00..0000000 --- a/sem5/information-theory/lectures/lecture7.tex +++ /dev/null @@ -1,255 +0,0 @@ -% Лекция (21.11.21) -\section{Каналы передачи информации} -Классической теорией информации является теория Шеннона. В основе её лежит -понятие, что человек принимает информацию к сведению постоянно устраняя -некоторую неопределённость. То есть чем больше случайных событий, снимающих -неопределённость системы, тем больше информации они несут. - -Дадим определение источника информации. Самым простым источником информации -является дискретный источник информации без памяти. Простейший дискретный -источник без памяти $X$ в каждый момент времени выдаёт некоторый символ $X_i$ из -конечного алфавита $X = \{x_1, x_2, \dots, x_n\}$ с вероятностью $P(x_i) = p_i$. -Как правило дискретные источники без памяти выбор символов производится -независимо друг от друга. Распределение информации при этом как правило -равномерное. В качестве примера можем привести источник без памяти двоичной -системы. $X = \{ x_1 = 0, x_2 = 1 \}$. Соответственно вероятность $0 \leq p_1 -\leq 1$, $p_2 = 1 - p_1$. При этом в данном источнике выбор очередной цифры -будет производиться независимо от прежних последовательностей и схематически -данный источник можно изобразить следующим образом: **рисунок**. - -Для определения количества информации такого источника используются следующие -три аксиомы. - -\begin{axiom} - Информация одиночного события $x_i \in X$ происходящего с вероятностью $p_i$ - имеет положительное значение. -\end{axiom} - -\begin{axiom} - Совместная информация двух независимых событий $x_i, x_j \in X$ с совместной - вероятностью $P_{ij}$ равно сумме их информаций. - \begin{equation*} - P(x_i, x_j) = P_{ij} = P_i \cdot P_j, \, I(P_{ij}) = I(P_i) + I(P_j) - \end{equation*} -\end{axiom} - -\begin{axiom} - Информация является непрерывной функцией от вероятности события. -\end{axiom} - -Следует отметить, что акс 1 и 2 утверждают то, что информация нескольких событий -не может взаимно уничтожаться. Акс 2 вводит понятие совместной информации -событий. Аксиома 3 говорит о том, что небольшое изменение вероятности событий -приводит к небольшому изменению её информации. Аксиома 2 определяет информацию -двух независимых событий. - -Согласно аксиоме 2 можно заключить, что информация события определяется -как логарифмическая функция её вероятности. Информация события происходящая -с вероятностью $P$ будет равна $I(P) = -\log(P)$. Причём основание логарифма -будет определять алфавит события и единицы измерения информации. - -Наряду с двоичным логарифмом наиболее часто используют натуральный логарифм, -при этом единицы измерения называются ``наты''. - -Исходя из аксиомы 3 можно заключить, что информация постоянно происходящего -события будет равна нулю. Соответственно информация для невозможного события -стремится к бесконечности. - -\subsection{Энтропия и избыточность} - -Рассмотрим источник события. Для его описания будем использовать информацию, -которую несут происходящие в нём события. По аналогии с термодинамикой -введём понятие \textbf{энтропии} как меры неопределённости. - -\textbf{Энтропия} --- это функция, которая возрастает, когда неопределённость -системы возрастает. Неупорядоченность системы. Таким образом, используя -информацию отдельных событий в источнике выразим энтропию следующим образом. - -Энтропия простейшего источник без памяти с алфавитом $X = \{ x_1, x_2, \dots, -x_n \}$ и соответствующими вероятностями $P = \{ p_1, \dots, p_n \}$ будет -обозначаться -\begin{equation*} - H = \sum_{i}^n -P_i \log(P_i) -\end{equation*} - -Предположим эргодичность источника (постоянство поведения). Будем рассматривать -эргодичность во времени. Если провести аналогию с теорией вероятности, то -процесс эргодичности предполагается когда мы бросаем кубик или монетку. -При этом с ростом числа испытаний среднее значение информации источника будет -вычисляться следующим образом: -\begin{equation*} - \overline{I} = \lim_{N \to \infty} \frac{1}{N} \sum_{n = 0}^{N - 1} I(n) -\end{equation*} - -Устремив данное выражение к математическому ожиданию мы получим, что данная -формула будет стремиться к формуле энтропии. Проводя аналогичные рассуждения -Шеннон положил в определение энтропии три следующих аксиомы: - -\begin{axiom} - Энтропия является непрерывной функцией вероятности. Для источников, в которых - события равновероятны и вероятность каждого события равна единица делить на - количество событий. -\end{axiom} - -\begin{axiom} - Энтропия будет возрастать с ростом числа событий. -\end{axiom} - -\begin{axiom} - Разложение процедуры выбора событий на несколько этапов не изменяет энтропию. -\end{axiom} - -Определим максимальную энтропию источника. Для этого воспользуемся теоремой -Шеннона. - -\begin{theorem} - Энтропия простейшего дискретного источника без памяти максимальна, если все - события в нём имеют одинаковую вероятность и в этом случае энтропия будет - равна логарифму от числа событий. $H_0 = \log N$ -\end{theorem} -\begin{proof} - Пусть имеется два дискретных источника $P = \{ p_i \}$ и $Q = \{ q_i \}$ - каждый из которых генерирует свои события. Всего есть $N$ событий . Для - доказательства теоремы нам понадобится верхняя оценка логарифмической функции: - $\ln x \leq x - 1$ Используя оценку получаем, что - \begin{equation*} - \ln q_i - \ln p_i = \ln \frac{q_i}{p_i} \leq \frac{q_i}{p_i} - 1 - \end{equation*} - - Умножив обе части данного равенства на вероятность $p_i$ и просуммировав по - всем событиям $N$ мы получим - \begin{equation*} - \sum_{i = 1}^N p_i (\ln q_i - \ln p_i) \leq \sum_{i = 1}^N p_i(\frac{q_i}{p_i} - 1) - \end{equation*} - - Получаем - \begin{equation*} - H(P) + \sum_{i = 1}^N p_i \ln q_i \leq \sum_{i = 1}^N q_i - \sum_{i = 1}^N p_i = 0 - \end{equation*} - - Таким образом, можем заключить, что энтропия равна - \begin{equation*} - H(P) \leq -\sum_{i = 1}^N p_i \ln q_i = - \end{equation*} - - Если предположить, что источник $Q$ содержит только равновероятные события, - то эта сумма будет равна - \begin{equation*} - = -\sum_{i = 1}^N p_i \ln \frac{1}{N} = \ln N \sum_{i = 1}^N p_i = \ln N - \end{equation*} - - Таким образом при доказательстве на источник $P$ не накладывались никакие - ограничения, то данное неравенство имеет место для любого дискретного - источника без памяти, который содержит $N$ событий. - - Получаем \begin{equation*} - H(x) \leq \log N - \end{equation*} -\end{proof} - -Соответственно максимум достигается тогда, когда имеются одинаковые события. - -\begin{corollary} - Любой источник, содержащий $N$ событий не все из которых имеют одинаковую - вероятность обладает энтропией меньшей, чем $\log N$ -\end{corollary} - -\begin{definition} - Рассмотрим источник событий, который имеет ёмкость $H_0 = \log N$. ДАнный - источник будет являться резервуаром, который никогда не переполняется - и зависит только от количества событий. - - Пусть есть источник $X$ в котором не все события равновероятны, который также - состоит из $N$ событий. - - Разность $R = H_0 - H(X)$ называется \textbf{избыточностью источника}. -\end{definition} - -\begin{equation*} - r = \frac{R}{H_0} = 1 - \frac{H(X)}{H_0} -\end{equation*} - -\begin{definition} - Введём понятие функции Шеннона. Пусть задан двоичный алфавит и есть - источник событий. $P_0 = P$, $P_1 = 1 - P_0$. Выбор символа производится - независимо, соответственно энтропия данного источника будет называться - функцией Шеннона и будет зависеть только от вероятности $P$. - - \begin{equation*} - H(P) = -P \log P - (1 - P) \log(1 - P) - \end{equation*} - - Функция Шеннона всегда положительна и симметрична относительно значения $0.5$. - **рисунок** -\end{definition} - -\subsection{Энтропия связанных источников. Понятие взаимной и условной информации.} - -При аксиономическом ... . Рассмотрим это понятие более подробно. Пусть у нас -есть два источника: $X$ и $Y$. Пусть эти источники связаны между собой. -Результатом работы данных источников будет пара $(x_i, y_i)$. -Если два источника связаны между собой, то события одного источника будут -влиять на события другого источника. То есть по событиям источника $X$ мы -можем предсказать события источника $Y$, то есть в терминах теории информации, -можно определить, что из-за влияния источника $X$ снижается неопределённость -источника $Y$. $P(x_i, y_i) \neq P(x_i) + P(y_i)$ - -То есть данные источники обмениваются какой-то дополнительной информации. Для -определения данной информации введём понятие условной вероятности. Введём -совместную вероятность через их априорные условные вероятности. - -\begin{equation*} - P(x_i, y_i) = P(x_i / y_i) P(y_i) = P(y_i / x_i) P(x_i) -\end{equation*} - -\begin{equation*} - \log P(x_i, y_i) = \log P(x_i / y_i) + \log P(y_i) = \log P(x_i / y_i) + -I(y_i) -\end{equation*} - -То есть -\begin{equation*} - I(x_i, y_i) = I(y_i) - \log P(x_i / y_i) = I(x_i) - \log P(y_i / x_i) -\end{equation*} - -Прибавляя и одновременно вычитая в первой части $I(x_i)$, а во второй части -$I(y_i)$ мы получим следующую формулу: -\begin{equation*} - I(x_i, y_i) = I(x_i) + I(y_i) - \log \frac{P(x_i / y_i)}{P(x_i)} = - I(x_i) + I(y_i) - \log \frac{P(y_i/x_y)}{P(y_i)} -\end{equation*} - -Таким образом если источники связаны, то информация пары $(x_i, y_i)$ -определяется суммой информаций этих событий за вычетом некоторой неотрицательной -величины, которая также снимает неопределённость и, следовательно, тоже является -информацией. Такую информацию называют взаимной информацией пары событий. -Обозначается -\begin{equation*} - I(x_i, y_i) = \log \frac{P(x_i/y_i)}{P(y_i)} = \log \frac{P(y_i/x_i)}{P(x_i)} -\end{equation*} - -Следует отметить, что $I(x_i, y_i)$ всегда положительная и является симметричной -относительно источников. Симметричность относительно источников показывает, -что источники обмениваются взаимной информацией друг с другом, а не в -одностороннем порядке. Возможны два граничных случая: -\begin{enumerate} - \item - Источники независимы. Тогда совместная информация равна нулю (источники не - обмениваются информацией). - \item - Источники жёстко связаны между собой. То есть события одного источника - однозначно определяют события другого источника. То есть условная - вероятность будет равна единице. В этом случае взаимная информация будет - равна информации первого источника и также равна информации второго - источника. -\end{enumerate} - -Введём понятие условной информации. Условная информация будет называться -информация $I(x_i / y_i) = -\log P(x_i / y_i)$. Тогда взаимная информация -через условную будет выражаться следующим образом: -\begin{equation*} - I(x_i, y_i) = I(x_i) + I(y_i / x_i) = I(y_i) + I(x_i / y_i) -\end{equation*} - -То есть информацию пары событий можно определить как сумму информаций событий -источника $Y$ и информации источника событий $X$ при условии, что события -$Y$ уже известно, или наоборот.
\ No newline at end of file |