Merge branch 'master' of github.com:vasthecat/university-lectures

1 files changed, 154 insertions, 0 deletions

diff --git a/information-theory/lectures/lecture6.tex b/information-theory/lectures/lecture6.tex
new file mode 100644
index 0000000..1907f9d
--- /dev/null
+++ b/information-theory/lectures/lecture6.tex
@@ -0,0 +1,154 @@
+% Лекция (14.10.21)
+\begin{enumerate}
+  \item 
+    Критерий равномерного приближения
+    $$\max_{t \in T} |u(t) - u^*(t)| \leq \xi_{\text{доп}}$$
+    $$sup_{u_i(t) \in U} |u_i(t) - u^*_i(t)| \leq \xi_\text{доп}$$
+  \item
+    Критерий среднеквадратичного отклонения
+    $$\sigma = \sqrt{\frac{1}{T} \int_T|u(t) - u^*(t)|^2 dt} \leq \sigma_\text{доп}$$
+    $$\sigma_\Sigma = \Sigma_{i = 1}^N$$
+  \item
+    Интегральный критерий
+    $$\varepsilon = \frac{1}{T} \int_T |u(t) - u^*(t)| dt$$
+
+    Интегральный критерий для ансамбля вычисляют путём усреднения по ансамблю.
+  \item
+    Допустимый уровень вероятности того, что ошибка не превысит допустимое значение
+
+\end{enumerate}
+
+Использование каждого из критериев будет зависеть от требований, предъявляемых к системе.
+
+\subsection{Теорема Котельникова}
+Как отмечалось ранее, наиболее широкое применение имеет линейная дискретизация,
+при этом для выбора величины шага дискретизации используется модель сигнала в
+виде эргодического случайного процесса, при этом каждая реализация которого
+представляет собой функцию с ограниченным спектром. Теоретической основой для
+такого подходя является теорема Котельникова.
+
+\begin{theorem}[Теорема Котельникова]
+  Любая функция $u(t)$, допускающая преобразование Фурье и имеющая непрерывный
+  спектр, ограниченная полосой частот $[0; \frac{\omega}{2\pi}]$ полностью
+  определяется дискретным рядом своих мгновенных значений, отсчитанный через
+  интервал времени $\Delta t = \frac{1}{2f_c} = \frac{\pi}{\omega}$
+\end{theorem}
+\begin{proof}
+  Поскольку по предложению теоремы функция $u(t)$ имеет ограниченный спектр, то
+  есть $S(j \omega) = 0 \quad \omega > \omega_c$, то функцию $u(t)$ мы можем
+  записать следующим видом:
+
+  \begin{equation*}
+    u(t) = \frac{1}{2\pi} \int_{-\omega_c}^{\omega_c} S(j\omega) e^{j\omega t} d\omega
+  \end{equation*}
+
+  Тогда функцию $S(j \omega)$ на интервале $[-\omega_c; \omega_c]$ можно
+  разложить в ряд Фурье.
+
+  Тогда пару преобразования Фурье запишем, полагая, что $S(j\omega)$ условно
+  продолжающаяся с периодом $2\omega_c$.
+
+  \begin{equation*}
+    \begin{cases}
+      S(j\omega) = \frac{1}{2} \sum_{-\infty}^\infty H_k e^{jk\omega \Delta t} \\
+      A_k = \frac{1}{\omega_c} \int_{-\infty}^\infty S(j\omega) e^{-jk \Delta t \omega} d\omega
+    \end{cases}
+  \end{equation*}
+
+  Используя данную пару преобразования Фурье, предварительно предположив, что
+  $t_k = k \Delta t$, будет иметь следующий вид:
+  \begin{equation*}
+    u(k \Delta t) = \frac{1}{2\pi} \int_{-\infty}^\infty S(j\omega) e^{jk\Delta t \omega} d \omega
+  \end{equation*}
+
+  \begin{equation*}
+    A_k = \frac{2\pi}{\omega_c} u(-k \Delta t)
+  \end{equation*}
+
+  \begin{equation*}
+    S(j\omega) = \frac{\pi}{\omega_c} \sum u(-k \Delta t) e^{jk \Delta t \omega}
+  \end{equation*}
+
+  В последнем равенстве знак - перед $k$ мы можем поменять на обратный, так 
+  как суммирование ведётся как по положительным, так и по отрицательным числам.
+  Подставив ... получим:
+  \begin{equation*}
+    u(t) = \frac{1}{2\omega_c} \int_{-\infty}^\infty |\sum_{-\infty}^\infty u(k\Delta t) e^{-j k \Delta t \omega}|
+  \end{equation*}
+
+  Проинтегрировав последнюю часть данного равенства получим следующую функцию.
+  \begin{equation*}
+    u(t) = \sum_{-\infty}^\infty u(k \Delta t) \frac{\sin \omega_c (t - k\Delta t)}{\omega_c (t - k \Delta t)}
+  \end{equation*}
+
+  Таким образом мы выразили функцию $u(t)$ через её дискретные значения взятые в моменты
+  $k \Delta t$. Предположим, что время $t$ будет выражаться как $n \Delta t, \quad n \in \N$.
+  Тогда $\omega_c(n\Delta t - k \Delta t) = \omega_c \Delta t (n - k)$.
+
+  Так как $\Delta t = \frac{\pi}{\omega_c} \implies \omega_c \Delta t (n - k) = (n - k) \pi$
+
+  Таким образом, данная часть функции будет равна единице, если $t = k \Delta t$. 
+  И 0, если $t = n \Delta t, \, n \neq k$. Это означает, что функция $u(t)$
+  в момент времени $[t_k; k \Delta t]$ представляет собой ни что иное, как
+  отсчёты. То есть функция ограничена спектром и может быть представлена рядом,
+  коэффициенты которого представляют собой отсчёты значения функции взятые через
+  интервал времени $\Delta t$
+\end{proof}
+
+На основании этой теоремы строится общая схема приёма и передачи сигнала. на
+передающей стороне мгновенные значения сигнала передаются через интервал времени
+$\Delta t = \frac{\pi}{\omega_c}$, на принимающей стороне последовательность
+импульсов пропускается через идеальный фильтр с частотой среза
+$\frac{\omega_c}{2\pi}$. Тогда при длительной передаче на выходе фильтров будет
+точное воспроизведение переданного непрерывного сигнала.
+
+В реальности сигнал всегда имеет конечную длину и, следовательно, его спектр не
+ограничен. При этом ошибка возникает не только из-за искусственного ограничения
+спектра, но и из-за конечного числа отсчётов, которые в соответствии с теоремой
+будут вычисляться как $N = 2 f_c T$. При этом представление сигнала с
+ограниченным спектром исключает возможность сигнала переносить информацию.
+
+
+\section{Квантование сигнала}
+
+Физически реализуемые непрерывный сигнал всегда ограничен диапазон $[u_{min};
+u_{max}]$. В добавок устройство может воспроизводить лишь конечное число
+значений сигнала из этого диапазона, в частности, вся непрерывная шкала
+амплитудных  значений может быть разита на $N$ одинаковых сигналов. А
+разрешённые значения равноотстоять друг от друга. Тогда мы можем говорить о
+равномерном квантовании. Если же постоянная интервала не соблюдается, то
+квантование будет неравномерно, а соответственно постоянная будет
+
+Из множества мгновенных значений принадлежащих $i$-му шагу квантования только
+одно значение $u(t)$ является разрешённым, а любые другие округляются до него.
+
+Пусть имеется равномерное с шагом $\Delta = \frac{|u_{max} - u_{min}|}{n}$
+И предположим, что при данном равномерном квантовании уровни квантования $u_i$
+размешаются ровно в середине каждого шага. Тогда ошибка квантования будет минимальная
+и не будет превышать $0.5 \Delta$. При этом среднеквадратичная ошибка квантования
+будет определяться следующим образом:
+\begin{equation*}
+  \sigma_i = \sqrt{\int_{u_{i-1}}^{u_i} (u(t) - u_i)^2 p(u) du}
+\end{equation*}
+
+где $p(u)$ --- функция плотности вероятности мгновенных значений сигнала $u$.
+
+Если шаг квантования сигнала мал по сравнению с диапазоном значения, то в
+пределах каждого шага плотность вероятности можно считать постоянной и равной
+величине $P(u_i)$. Тогда данную ошибку можно написать следующим образом:
+\begin{equation*}
+  \sigma_i = \sqrt{P(u_i) \frac{\Delta_i^2}{12}}
+\end{equation*}
+
+С учётом того, что плотность вероятности $p(u_i) > 0$ и $\Delta_i > 0$
+для всех $i = 1, n$ можно записать дисперсию ошибки квантования, которая будет равна
+\begin{equation*}
+  \sigma_i^2 = p(u_i) \frac{\Delta_i^2}{12}
+\end{equation*}
+
+Дисперсия полной ошибки квантования будет определяться как мат ожидание 
+дисперсии на каждом шаге квантования и будет равна $\sigma^2 = \frac{\Delta^2}{12}$
+
+Если на квантуемый сигнал воздействует помеха, то он может попасть в интервал
+соответствующий другому уровню квантования и соответственно предсказать сигнал
+будет невозможно.
\ No newline at end of file