From c88de23029043dd4956e69c764e66319fc15a5c4 Mon Sep 17 00:00:00 2001
From: Ivan <55015345+QQQiwi@users.noreply.github.com>
Date: Wed, 10 Nov 2021 15:45:51 +0400
Subject: =?UTF-8?q?=D0=98=D1=81=D0=BF=D1=80=D0=B0=D0=B2=D0=B8=D0=BB=20?=
 =?UTF-8?q?=D0=BF=D0=B5=D1=80=D0=B2=D1=8B=D0=B5=20=D0=B4=D0=B2=D0=B5=20?=
 =?UTF-8?q?=D0=BB=D0=B5=D0=BA=D1=86=D0=B8=D0=B8=20(#1)?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

---
 sem5/information-theory/lectures/lecture1.tex | 61 ++++++++++++++-------------
 1 file changed, 32 insertions(+), 29 deletions(-)

(limited to 'sem5/information-theory/lectures/lecture1.tex')

diff --git a/sem5/information-theory/lectures/lecture1.tex b/sem5/information-theory/lectures/lecture1.tex
index 2b112fa..5cf5dc7 100644
--- a/sem5/information-theory/lectures/lecture1.tex
+++ b/sem5/information-theory/lectures/lecture1.tex
@@ -42,14 +42,14 @@
 зрения изменения сигнала с течением времени различают \emph{статические}
 и \emph{динамические}.
 
-Статические --- это сигналы, которые изменяют устойчивое изменение
-состояния объекта. Динаические --- это сигналы, отображающие
+Статические --- это сигналы, которые отображают устойчивое изменение
+состояния объекта. Динамические --- это сигналы, отображающие
 непрерывные изменения некоторого объекта, либо процесса при переходе от
 одного устойчивого состояния к другому. К динамическим относятся все
 виды электромагнитных колебаний, а также распространения звука в воде и
 твёрдых предметах.
 
-По струкруте сообщения сигналы делятся на \emph{непрерывные} и
+По структуре сообщения сигналы делятся на \emph{непрерывные} и
 \emph{дискретные}. Сигналы могут быть непрерывными и дискретными как по
 времени, так и по множеству значений. Возможен один из четырёх видов
 сигналов:
@@ -63,7 +63,7 @@
 Носителем сигнала всегда является объект или процесс. Однако если
 абстрагироваться от его физической природы, то существенными с точки
 зрения теории информации будут только его вероятностные характеристики и
-другие важные черты с точки зрения данного изучаемого процесса.
+другие важные черты с точки зрения данного изучаемого процесса/сигнала.
 
 \textbf{В теории информации математическая модель сигнала может
 противоречить реальной физической структуре.} Допустим, в теории инф мы
@@ -73,66 +73,68 @@
 сигналов}
 
 Чтобы изучать непрерывные сигналы для начала изучаются детерминированные
-сигналы, при этом они рассматриваются как некоторый ансамбль \ldots{} .
+сигналы, при этом они рассматриваются как некоторый ансамбль реализации \ldots{}.
 
 Мы будем использовать некоторую функцию
 
 \begin{equation}
-  u(t) = \sum_{k = 1}^{}n C_k \phi_k(t) \quad (1)
+  u(t) = \sum_{k = 1}^{n} C_k \phi_k(t) \quad (1)
 \end{equation}
 
 Искусственно ограничиваем $t$ некоторым \emph{промежутком времени}
-(?). Данная модель называется \textbf{линейной моделью сигнала}. Здесь
+$[t_1; t_2]$. Данная модель называется \textbf{линейной моделью сигнала}. Здесь
 $\phi_k(t)$ --- базисные функции, а $C_k$ --- безразмерный
 коэффициент. Если заданы все базисные функции, то функция $u(t)$ будет
 определяться только коэффициентами $C_k$. Эти коэффициенты будут
-называться дискретным спектром сигнала. За пределами интервала
+называться \textbf{дискретным спектром сигнала}. За пределами интервала
 $t \in [t_1; t_2]$ времени сигнал считается \emph{всегда}
 \textbf{условно продолжающимся}.
 
 В некоторых задачах такое представление является неприемлемым, поэтому
-для сигналов конечной длительности существуе другое представление:
+для сигналов конечной длительности существует другое представление:
 
 \begin{equation*}
-  u(t) = \int_{-\infty}^{}\infty S(\alpha) \phi(\alpha, t) ; d\alpha \quad (2)
+  u(t) = \int_{-\infty}^{\infty} S(\alpha) \phi(\alpha, t) ; d\alpha \quad (2)
 \end{equation*}
 
-Здесь $s(\alpha)$ называется \emph{спектральной плотностью}, а
-$\phi(\alpha, t)$. Это модель \emph{непрерывного} сигнала.
+Здесь $S(\alpha)$ называется \emph{спектральной плотностью}, а
+$\phi(\alpha, t)$ \emph{базисной функцией}. Это модель \emph{непрерывного} сигнала.
 
 Раздел теории информации, который изучает сигналы в данных
 представлениях, называется \textbf{спектральной теорией сигналов}.
 
+Чем сложнее базисная функция, тем реальнее и сложнее модель.
+
 В связи с этим обычно используют набор ортогональных базисных функций,
 которые удовлетворяют следующему условию:
 
 
 \begin{equation*}
-  \int_{t_1}^{}{t_2} \phi_k(t) \phi_l(t) d t =
-  \begin{cases} 0, &k \neq l  \\ 1, &k = l \end{cases}
+  \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) d t =
+  \begin{cases} 0, &k \neq l  \\ \mu, &k = l \end{cases}
   \quad (3)
 \end{equation*}
 
-То есть если умножить все $\phi_l$ на данном интервале на коэффициент
+То есть если умножить все $\phi_l (t)$ на данном интервале на коэффициент
 $\frac{1}{\sqrt{\mu}}$, то мы получим ортонормированную функцию, то
 есть
 \begin{equation*}
-  \int_{t_1}^{}{t_2} \phi_k(t) \phi_l(t) dt = 1, \quad k = l
+  \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt = 1, \quad k = l
 \end{equation*}
 
 Пусть имеется модель, удовлетворяющая условию ортонормированности.
 Возьмём модель (1), обе части данной модели умножим на $\phi_l(t)$ и
-\ldots{} . Получим
+проинтегрируем на интервале от $t_1$ до $t_2$. Получим
 
 \begin{equation*}
-  \int_{t_1}^{t_2} u(t) \phi_l(t) dt =
-  \int_{t_1}^{t_2} \sum_{k = 1}^n C_k \phi_k(t) \phi_l(t) dt =
-  \sum_{k = 1}^n C_k \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt
+  \int_{t_1}^{t_2} u(t) \phi_l(t) dt = 
+  \int_{t_1}^{t_2} \sum_{k = 1}^{n} C_k \phi_k(t) \phi_l(t) dt =
+  \sum_{k = 1}^{n} C_k \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt
 \end{equation*}
 
 Получаем
 \begin{equation*}
-  C_k = \int_{t_1}^{t_2} \phi(t) \phi_k(t) dt
+  C_k = \int_{t_1}^{t_2} u(t) \phi_k(t) dt 
 \end{equation*}
 
 Исходя из этого получаем:
@@ -140,7 +142,7 @@ $\frac{1}{\sqrt{\mu}}$, то мы получим ортонормированн
   \item Каждый коэффициент $C_k$ может вычисляться независимо друг от друга
   \item
     Сложность их вычисления будет зависеть только от сложности вычисления
-    базисной функции, поэтому для изучения сигналов применяются системы
+    базисных функций, поэтому для изучения сигналов применяются системы
     ортогональных функций, в частности применяются
     \begin{enumerate}
       \item Системы тригонометрических функций
@@ -156,13 +158,13 @@ $\frac{1}{\sqrt{\mu}}$, то мы получим ортонормированн
 
 Возьмём произвольную непрерывную функцию $u(t)$. Будем считать, что
 непрерывная функция представляет собой набор функций примыкающих друг к
-другу импульсов бесконечно малых длительности с амплитудой равной
-значению сигнала в конретный момент времени. То есть получим новую
+другу импульсов бесконечно малой длительности с амплитудой равной
+значению сигнала в конкретный момент времени, то есть получим новую
 модель, которая записывается через некоторую дельта-функцию.
 
 
 \begin{equation*}
-  u(t) = \int_{-\infty}^{}\infty u(\tau) \delta(\tau - t) d\tau \quad (4)
+  u(t) = \int_{-\infty}^{\infty} u(\tau) \delta(\tau - t) d\tau \quad (4)
 \end{equation*}
 
 \begin{equation*}
@@ -170,17 +172,18 @@ $\frac{1}{\sqrt{\mu}}$, то мы получим ортонормированн
 \end{equation*}
 
 Ортонормируем дельта-функцию:
+
 \begin{equation*}
-  \int_{-\infty}^{}\infty \delta(\tau - t) d \tau = 1
+  \int_{-\infty}^{\infty} \delta(\tau - t) d \tau = 1
 \end{equation*}
 
-Как видно, модель (4) является обобщённым случаем модели (2), базисной
-функцией которого является дельта-функция. Таким же образом мы можем с
+Как видно, модель (4) является обобщённым спектральным представлением модели (2),
+базисной функцией которого является дельта-функция. Таким же образом с
 помощью этой модели мы можем построить дискретную модель, которая будет
 называться \textbf{решётчатой} функцией:
 
 \begin{equation*}
-  u_l(t) = \sum_{k = -\infty}^{}\infty u(t) \delta(\tau - t), \quad \tau = \Delta t k
+  u_l(t) = \sum_{k = -\infty}^{\infty} u(t) \delta(\tau - t), \quad \tau = \Delta t k
 \end{equation*}
 
 $\Delta t$ --- период импульса.
-- 
cgit v1.2.3


From b782fe9a251cf07e30525aac7fdc8c780a232dee Mon Sep 17 00:00:00 2001
From: Andrew Guschin <guschin.drew@gmail.com>
Date: Sat, 2 Apr 2022 08:18:10 +0400
Subject: =?UTF-8?q?=D0=9F=D0=B5=D1=80=D0=B5=D0=BC=D0=B5=D1=81=D1=82=D0=B8?=
 =?UTF-8?q?=D0=BB=20=D0=B2=D1=81=D0=B5=20=D0=BB=D0=B5=D0=BA=D1=86=D0=B8?=
 =?UTF-8?q?=D0=B8=20=D0=BF=D1=8F=D1=82=D0=BE=D0=B3=D0=BE=20=D1=81=D0=B5?=
 =?UTF-8?q?=D0=BC=D0=B5=D1=81=D1=82=D1=80=D0=B0=20=D0=B2=20=D0=BA=D0=BE?=
 =?UTF-8?q?=D1=80=D0=B5=D0=BD=D1=8C=20=D0=BF=D1=80=D0=BE=D0=B5=D0=BA=D1=82?=
 =?UTF-8?q?=D0=B0?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

---
 sem5/information-theory/lectures/lecture1.tex | 194 --------------------------
 1 file changed, 194 deletions(-)
 delete mode 100644 sem5/information-theory/lectures/lecture1.tex

(limited to 'sem5/information-theory/lectures/lecture1.tex')

diff --git a/sem5/information-theory/lectures/lecture1.tex b/sem5/information-theory/lectures/lecture1.tex
deleted file mode 100644
index 5cf5dc7..0000000
--- a/sem5/information-theory/lectures/lecture1.tex
+++ /dev/null
@@ -1,194 +0,0 @@
-\subsection{Лекция 1 (02.09.21)}
-
-Данные, полученные человеком будут называться сообщениями. Информацией
-становятся те сообщения, которые используются для принятия каких-либо
-решений, то есть снимается неопределённость, которая существовала до их
-поступления.
-
-Следует отметить, что теория информации занимается изучением количества
-информации безотносительно какого-то содержания сообщения. Все сообщения
-в теории информации формализуются и изучается процесс формирования таких
-сообщений и способов их передачи.
-
-Предметом изучения теории информации являются вероятностные
-характеристики исследуемых объектов и явлений.
-
-Теория информации делится на:
-
-\begin{itemize}
-  \item
-    теорию передачи информации (предметом изучения являются оптимальные методы передачи сообщений);
-\end{itemize}
-
-\textbf{рис. 1}
-
-Сигналом принято считать некоторую физическую хар-ку, изменяющуюся во
-времени. Например, изменение напряжения во времени.
-
-В общем случае сигналом может быть любое изменение начального состояния
-объекта, которое способно вызвать реакцию человека или принимающего
-прибора.
-
-Различают сигналы:
-\begin{itemize}
-  \item зрительные
-  \item звуковые
-  \item радиоэлектрические
-  \item радиосигналы
-\end{itemize}
-
-Следует отметить, что одни сигналы могут как преобразовываться в другие,
-так и сами являться источниками формирования новых сигналов. С точки
-зрения изменения сигнала с течением времени различают \emph{статические}
-и \emph{динамические}.
-
-Статические --- это сигналы, которые отображают устойчивое изменение
-состояния объекта. Динамические --- это сигналы, отображающие
-непрерывные изменения некоторого объекта, либо процесса при переходе от
-одного устойчивого состояния к другому. К динамическим относятся все
-виды электромагнитных колебаний, а также распространения звука в воде и
-твёрдых предметах.
-
-По структуре сообщения сигналы делятся на \emph{непрерывные} и
-\emph{дискретные}. Сигналы могут быть непрерывными и дискретными как по
-времени, так и по множеству значений. Возможен один из четырёх видов
-сигналов:
-\begin{itemize}
-  \item полностью непрерывный сигнал (по времени и множеству значений)
-  \item непрерывный по множеству значений и дискретным по времени
-  \item дискретный по множеству значений и непрерывным по времени
-  \item полностью дискретный
-\end{itemize}
-
-Носителем сигнала всегда является объект или процесс. Однако если
-абстрагироваться от его физической природы, то существенными с точки
-зрения теории информации будут только его вероятностные характеристики и
-другие важные черты с точки зрения данного изучаемого процесса/сигнала.
-
-\textbf{В теории информации математическая модель сигнала может
-противоречить реальной физической структуре.} Допустим, в теории инф мы
-предполагаем, что структура сигнала известна приёмнику.
-
-\subsubsection{Обобщённое спектральное представление детерминированных
-сигналов}
-
-Чтобы изучать непрерывные сигналы для начала изучаются детерминированные
-сигналы, при этом они рассматриваются как некоторый ансамбль реализации \ldots{}.
-
-Мы будем использовать некоторую функцию
-
-\begin{equation}
-  u(t) = \sum_{k = 1}^{n} C_k \phi_k(t) \quad (1)
-\end{equation}
-
-Искусственно ограничиваем $t$ некоторым \emph{промежутком времени}
-$[t_1; t_2]$. Данная модель называется \textbf{линейной моделью сигнала}. Здесь
-$\phi_k(t)$ --- базисные функции, а $C_k$ --- безразмерный
-коэффициент. Если заданы все базисные функции, то функция $u(t)$ будет
-определяться только коэффициентами $C_k$. Эти коэффициенты будут
-называться \textbf{дискретным спектром сигнала}. За пределами интервала
-$t \in [t_1; t_2]$ времени сигнал считается \emph{всегда}
-\textbf{условно продолжающимся}.
-
-В некоторых задачах такое представление является неприемлемым, поэтому
-для сигналов конечной длительности существует другое представление:
-
-\begin{equation*}
-  u(t) = \int_{-\infty}^{\infty} S(\alpha) \phi(\alpha, t) ; d\alpha \quad (2)
-\end{equation*}
-
-Здесь $S(\alpha)$ называется \emph{спектральной плотностью}, а
-$\phi(\alpha, t)$ \emph{базисной функцией}. Это модель \emph{непрерывного} сигнала.
-
-Раздел теории информации, который изучает сигналы в данных
-представлениях, называется \textbf{спектральной теорией сигналов}.
-
-Чем сложнее базисная функция, тем реальнее и сложнее модель.
-
-В связи с этим обычно используют набор ортогональных базисных функций,
-которые удовлетворяют следующему условию:
-
-
-\begin{equation*}
-  \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) d t =
-  \begin{cases} 0, &k \neq l  \\ \mu, &k = l \end{cases}
-  \quad (3)
-\end{equation*}
-
-То есть если умножить все $\phi_l (t)$ на данном интервале на коэффициент
-$\frac{1}{\sqrt{\mu}}$, то мы получим ортонормированную функцию, то
-есть
-\begin{equation*}
-  \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt = 1, \quad k = l
-\end{equation*}
-
-Пусть имеется модель, удовлетворяющая условию ортонормированности.
-Возьмём модель (1), обе части данной модели умножим на $\phi_l(t)$ и
-проинтегрируем на интервале от $t_1$ до $t_2$. Получим
-
-\begin{equation*}
-  \int_{t_1}^{t_2} u(t) \phi_l(t) dt = 
-  \int_{t_1}^{t_2} \sum_{k = 1}^{n} C_k \phi_k(t) \phi_l(t) dt =
-  \sum_{k = 1}^{n} C_k \int_{t_1}^{t_2} \phi_k(t) \phi_l(t) dt
-\end{equation*}
-
-Получаем
-\begin{equation*}
-  C_k = \int_{t_1}^{t_2} u(t) \phi_k(t) dt 
-\end{equation*}
-
-Исходя из этого получаем:
-\begin{enumerate}
-  \item Каждый коэффициент $C_k$ может вычисляться независимо друг от друга
-  \item
-    Сложность их вычисления будет зависеть только от сложности вычисления
-    базисных функций, поэтому для изучения сигналов применяются системы
-    ортогональных функций, в частности применяются
-    \begin{enumerate}
-      \item Системы тригонометрических функций
-      \item Системы функций Хаара
-      \item Полиномы Лежандра
-      \item Полиномы Чебышева
-      \item Полиномы Лагерра
-      \item Полиномы Эрмита
-    \end{enumerate}
-\end{enumerate}
-
-\subsubsection{Временная форма представления сигналов}
-
-Возьмём произвольную непрерывную функцию $u(t)$. Будем считать, что
-непрерывная функция представляет собой набор функций примыкающих друг к
-другу импульсов бесконечно малой длительности с амплитудой равной
-значению сигнала в конкретный момент времени, то есть получим новую
-модель, которая записывается через некоторую дельта-функцию.
-
-
-\begin{equation*}
-  u(t) = \int_{-\infty}^{\infty} u(\tau) \delta(\tau - t) d\tau \quad (4)
-\end{equation*}
-
-\begin{equation*}
-  \delta = \begin{cases} \infty, &t = \tau \\ 0, &t \neq \tau \end{cases}
-\end{equation*}
-
-Ортонормируем дельта-функцию:
-
-\begin{equation*}
-  \int_{-\infty}^{\infty} \delta(\tau - t) d \tau = 1
-\end{equation*}
-
-Как видно, модель (4) является обобщённым спектральным представлением модели (2),
-базисной функцией которого является дельта-функция. Таким же образом с
-помощью этой модели мы можем построить дискретную модель, которая будет
-называться \textbf{решётчатой} функцией:
-
-\begin{equation*}
-  u_l(t) = \sum_{k = -\infty}^{\infty} u(t) \delta(\tau - t), \quad \tau = \Delta t k
-\end{equation*}
-
-$\Delta t$ --- период импульса.
-
-Пределы суммы могут быть как конечными, так и бесконечными исходя из
-физической реальности.
-
-Эти две модели могут называться временными.
-- 
cgit v1.2.3

