summaryrefslogtreecommitdiff
path: root/sem5/information-theory/lectures/lecture6.tex
blob: 1907f9d1e6b10e1c40b1861cbbc21ee8fc0cb081 (plain)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
% Лекция (14.10.21)
\begin{enumerate}
  \item 
    Критерий равномерного приближения
    $$\max_{t \in T} |u(t) - u^*(t)| \leq \xi_{\text{доп}}$$
    $$sup_{u_i(t) \in U} |u_i(t) - u^*_i(t)| \leq \xi_\text{доп}$$
  \item
    Критерий среднеквадратичного отклонения
    $$\sigma = \sqrt{\frac{1}{T} \int_T|u(t) - u^*(t)|^2 dt} \leq \sigma_\text{доп}$$
    $$\sigma_\Sigma = \Sigma_{i = 1}^N$$
  \item
    Интегральный критерий
    $$\varepsilon = \frac{1}{T} \int_T |u(t) - u^*(t)| dt$$

    Интегральный критерий для ансамбля вычисляют путём усреднения по ансамблю.
  \item
    Допустимый уровень вероятности того, что ошибка не превысит допустимое значение

\end{enumerate}

Использование каждого из критериев будет зависеть от требований, предъявляемых к системе.

\subsection{Теорема Котельникова}
Как отмечалось ранее, наиболее широкое применение имеет линейная дискретизация,
при этом для выбора величины шага дискретизации используется модель сигнала в
виде эргодического случайного процесса, при этом каждая реализация которого
представляет собой функцию с ограниченным спектром. Теоретической основой для
такого подходя является теорема Котельникова.

\begin{theorem}[Теорема Котельникова]
  Любая функция $u(t)$, допускающая преобразование Фурье и имеющая непрерывный
  спектр, ограниченная полосой частот $[0; \frac{\omega}{2\pi}]$ полностью
  определяется дискретным рядом своих мгновенных значений, отсчитанный через
  интервал времени $\Delta t = \frac{1}{2f_c} = \frac{\pi}{\omega}$
\end{theorem}
\begin{proof}
  Поскольку по предложению теоремы функция $u(t)$ имеет ограниченный спектр, то
  есть $S(j \omega) = 0 \quad \omega > \omega_c$, то функцию $u(t)$ мы можем
  записать следующим видом:

  \begin{equation*}
    u(t) = \frac{1}{2\pi} \int_{-\omega_c}^{\omega_c} S(j\omega) e^{j\omega t} d\omega
  \end{equation*}

  Тогда функцию $S(j \omega)$ на интервале $[-\omega_c; \omega_c]$ можно
  разложить в ряд Фурье.

  Тогда пару преобразования Фурье запишем, полагая, что $S(j\omega)$ условно
  продолжающаяся с периодом $2\omega_c$.

  \begin{equation*}
    \begin{cases}
      S(j\omega) = \frac{1}{2} \sum_{-\infty}^\infty H_k e^{jk\omega \Delta t} \\
      A_k = \frac{1}{\omega_c} \int_{-\infty}^\infty S(j\omega) e^{-jk \Delta t \omega} d\omega
    \end{cases}
  \end{equation*}

  Используя данную пару преобразования Фурье, предварительно предположив, что
  $t_k = k \Delta t$, будет иметь следующий вид:
  \begin{equation*}
    u(k \Delta t) = \frac{1}{2\pi} \int_{-\infty}^\infty S(j\omega) e^{jk\Delta t \omega} d \omega
  \end{equation*}

  \begin{equation*}
    A_k = \frac{2\pi}{\omega_c} u(-k \Delta t)
  \end{equation*}

  \begin{equation*}
    S(j\omega) = \frac{\pi}{\omega_c} \sum u(-k \Delta t) e^{jk \Delta t \omega}
  \end{equation*}

  В последнем равенстве знак - перед $k$ мы можем поменять на обратный, так 
  как суммирование ведётся как по положительным, так и по отрицательным числам.
  Подставив ... получим:
  \begin{equation*}
    u(t) = \frac{1}{2\omega_c} \int_{-\infty}^\infty |\sum_{-\infty}^\infty u(k\Delta t) e^{-j k \Delta t \omega}|
  \end{equation*}

  Проинтегрировав последнюю часть данного равенства получим следующую функцию.
  \begin{equation*}
    u(t) = \sum_{-\infty}^\infty u(k \Delta t) \frac{\sin \omega_c (t - k\Delta t)}{\omega_c (t - k \Delta t)}
  \end{equation*}

  Таким образом мы выразили функцию $u(t)$ через её дискретные значения взятые в моменты
  $k \Delta t$. Предположим, что время $t$ будет выражаться как $n \Delta t, \quad n \in \N$.
  Тогда $\omega_c(n\Delta t - k \Delta t) = \omega_c \Delta t (n - k)$.

  Так как $\Delta t = \frac{\pi}{\omega_c} \implies \omega_c \Delta t (n - k) = (n - k) \pi$

  Таким образом, данная часть функции будет равна единице, если $t = k \Delta t$. 
  И 0, если $t = n \Delta t, \, n \neq k$. Это означает, что функция $u(t)$
  в момент времени $[t_k; k \Delta t]$ представляет собой ни что иное, как
  отсчёты. То есть функция ограничена спектром и может быть представлена рядом,
  коэффициенты которого представляют собой отсчёты значения функции взятые через
  интервал времени $\Delta t$
\end{proof}

На основании этой теоремы строится общая схема приёма и передачи сигнала. на
передающей стороне мгновенные значения сигнала передаются через интервал времени
$\Delta t = \frac{\pi}{\omega_c}$, на принимающей стороне последовательность
импульсов пропускается через идеальный фильтр с частотой среза
$\frac{\omega_c}{2\pi}$. Тогда при длительной передаче на выходе фильтров будет
точное воспроизведение переданного непрерывного сигнала.

В реальности сигнал всегда имеет конечную длину и, следовательно, его спектр не
ограничен. При этом ошибка возникает не только из-за искусственного ограничения
спектра, но и из-за конечного числа отсчётов, которые в соответствии с теоремой
будут вычисляться как $N = 2 f_c T$. При этом представление сигнала с
ограниченным спектром исключает возможность сигнала переносить информацию.


\section{Квантование сигнала}

Физически реализуемые непрерывный сигнал всегда ограничен диапазон $[u_{min};
u_{max}]$. В добавок устройство может воспроизводить лишь конечное число
значений сигнала из этого диапазона, в частности, вся непрерывная шкала
амплитудных  значений может быть разита на $N$ одинаковых сигналов. А
разрешённые значения равноотстоять друг от друга. Тогда мы можем говорить о
равномерном квантовании. Если же постоянная интервала не соблюдается, то
квантование будет неравномерно, а соответственно постоянная будет

Из множества мгновенных значений принадлежащих $i$-му шагу квантования только
одно значение $u(t)$ является разрешённым, а любые другие округляются до него.

Пусть имеется равномерное с шагом $\Delta = \frac{|u_{max} - u_{min}|}{n}$
И предположим, что при данном равномерном квантовании уровни квантования $u_i$
размешаются ровно в середине каждого шага. Тогда ошибка квантования будет минимальная
и не будет превышать $0.5 \Delta$. При этом среднеквадратичная ошибка квантования
будет определяться следующим образом:
\begin{equation*}
  \sigma_i = \sqrt{\int_{u_{i-1}}^{u_i} (u(t) - u_i)^2 p(u) du}
\end{equation*}

где $p(u)$ --- функция плотности вероятности мгновенных значений сигнала $u$.

Если шаг квантования сигнала мал по сравнению с диапазоном значения, то в
пределах каждого шага плотность вероятности можно считать постоянной и равной
величине $P(u_i)$. Тогда данную ошибку можно написать следующим образом:
\begin{equation*}
  \sigma_i = \sqrt{P(u_i) \frac{\Delta_i^2}{12}}
\end{equation*}

С учётом того, что плотность вероятности $p(u_i) > 0$ и $\Delta_i > 0$
для всех $i = 1, n$ можно записать дисперсию ошибки квантования, которая будет равна
\begin{equation*}
  \sigma_i^2 = p(u_i) \frac{\Delta_i^2}{12}
\end{equation*}

Дисперсия полной ошибки квантования будет определяться как мат ожидание 
дисперсии на каждом шаге квантования и будет равна $\sigma^2 = \frac{\Delta^2}{12}$

Если на квантуемый сигнал воздействует помеха, то он может попасть в интервал
соответствующий другому уровню квантования и соответственно предсказать сигнал
будет невозможно.