From b782fe9a251cf07e30525aac7fdc8c780a232dee Mon Sep 17 00:00:00 2001 From: Andrew Guschin Date: Sat, 2 Apr 2022 08:18:10 +0400 Subject: =?UTF-8?q?=D0=9F=D0=B5=D1=80=D0=B5=D0=BC=D0=B5=D1=81=D1=82=D0=B8?= =?UTF-8?q?=D0=BB=20=D0=B2=D1=81=D0=B5=20=D0=BB=D0=B5=D0=BA=D1=86=D0=B8?= =?UTF-8?q?=D0=B8=20=D0=BF=D1=8F=D1=82=D0=BE=D0=B3=D0=BE=20=D1=81=D0=B5?= =?UTF-8?q?=D0=BC=D0=B5=D1=81=D1=82=D1=80=D0=B0=20=D0=B2=20=D0=BA=D0=BE?= =?UTF-8?q?=D1=80=D0=B5=D0=BD=D1=8C=20=D0=BF=D1=80=D0=BE=D0=B5=D0=BA=D1=82?= =?UTF-8?q?=D0=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- information-theory/lectures/lecture3.tex | 198 +++++++++++++++++++++++++++++++ 1 file changed, 198 insertions(+) create mode 100644 information-theory/lectures/lecture3.tex (limited to 'information-theory/lectures/lecture3.tex') diff --git a/information-theory/lectures/lecture3.tex b/information-theory/lectures/lecture3.tex new file mode 100644 index 0000000..2103c8d --- /dev/null +++ b/information-theory/lectures/lecture3.tex @@ -0,0 +1,198 @@ +\subsection{Лекция 3 (16.09.21)} + +\subsubsection{Модели случайных сигналов} + +Наиболее точной моделью сигнала при изучении вопросов его передачи +является \emph{случайный процесс} для которого детерминированные функции +рассматриваются ка отдельные реализации. Случайным процессом будем +называть функцию $U(t)$, значение которой в каждый момент времени +является случайной величиной. По аналогии, случайные процессы могут быть +непрерывные и дискретные как по времени, так и по множеству состояний. +ТО есть по аналогии с классификацией детерминированных сигналов, можно +выделить один из четырёх типов случайного процесса: - непрерывный +случайный процесс по множеству состояний (континууму), при этом +изменения состояния возможны в любой момент времени; - непрерывная +случайная последовательность --- изменения состояний допускаются лишь в +конечном числе моментов времени; - дискретный случайный процесс --- +множество состояний конечно, но изменения состояний могут происходить в +произвольные моменты времени; - дискретная случайная последовательность +--- состояния из конечного множества могут изменяться в конечном числе +моментов времени. + +Для описания свойств случайного процесса мы будем использовать +$n$-мерную плотность вероятности. + +\begin{equation*} + P_N(U_1, U_2, \dots, U_N; t_1, t_2, \dots, t_N) +\end{equation*} + +$n$-мерную плотность вероятности --- система $N$ случайных величин +$U_1, U_2, \dots, U_N$, где +$U_1 = U(t_1), U_2 = U(t_2), \dots U_N = U(t_N)$ взятых в моменты +времени $t_1, t_2, \dots, t_N$. Как частный случай будет +использоваться одномерная плотность вероятности $P_1(U; t)$, которая +будет характеризовать распределение случайной величины в произвольный +момент времени $t$. Если мы возьмём двумерную плотность вероятности +$P_2(U_1, U_2; t_1, t_2)$, то мы получим вероятность совместных +реализаций значений случайных величин в произвольные моменты времени +$t_1, t_2$. При этом будут иметь место соотношения + +\begin{equation*} + P_1(U; t) = \int_{-\infty}^{\infty} P_2(U_1, U_2; t_1, t_2) d U_2 +\end{equation*} + +Работа со случайными величинами высоких порядков является крайне +трудоёмкой вещью, поэтому для характеристики случайного процесса будут +использованы моменты функций первого порядка и второго порядка. (мат +ожидание, дисперсия и корелляционная функция). + +Математическим ожиданием случайного процесса $U(t)$ будем называть +неслучайную функцию $m_U(t)$ значение которой в каждый момент времени +равно математическому ожиданию случайной величины в соответствующем +сечении случайного процесса. +\begin{equation*} + m_U(t) = M\{U(t)\} = \int_{-\infty}^{\infty} U P_1(U; t) dU +\end{equation*} + +Дисперсией случайного процесса $U(t)$ будем называть функция +$D_U(t)$, значение которой в каждый момент времени равно дисперсии +случайной величины в соответсвующем сечении случайного процесса. +\begin{equation*} + D_U(t) = M\{U^o(t)\} = \int_{-\infty}^\infty U^o(t)^2 P_1(U; t) dU +\end{equation*} +Где $U^o$ (o над U) --- нызвается центрированной случайной величиной в +сечении $t$ ($U^o(t) = U(t) - m_U$) + +Кореляционной функции случайного процесса $U(t)$ называют неслучайную +функцию $R_U(t_1; t_2)$, которая для каждой пары произвольно выбранных +значений $t_1$ и $t_2$ равна кореляционному моменту соответствующих +сечений случайного процесса. +\begin{equation*} + R_U(t_1; t_2) = M\{U^o(t_1) U^o(t_2)\} = \int_{-\infty}^\infty \int_{-\infty}^\infty U^o(t_1) U^o(t_2) \cdot P_2 (U_1, U_2; t_1, t_2) dU_1 dU_2 +\end{equation*} +Где $U^o(t_1)$ --- нызвается центрированной случайной величиной в +сечении $t_1$ ($U^o(t_1) = U(t_1) - m_U(t_1)$), а $U^o(t_2)$ --- +нызвается центрированной случайной величиной в момент времени $t_2$ +($U^o(t_2) = U(t_2) - m_U(t_2)$). + +Нормированная автокореляционная функция +\begin{eqnarray} + \rho_U(t_1; t_2) = \frac{R_U(t_1; t_2)}{\sigma_U(t_1) \sigma_U(t_2)} \\ + \sigma_U(t_1) = \sqrt{D_U(t_1)} \\ + \sigma_U(t_2) = \sqrt{D_U(t_2)} +\end{eqnarray} + + +Следует отметить, что если произвольные моменты $t_1 = t_2 = t$, то +автокорелляционная функция выражается в дисперсию, а соответствующая ей +нормированная автокореляционная функция будет равна $1$. + +Если имеется два случайных процесса, то можно рассматривать функцию +взаимной кореляции: +\begin{equation*} + R_{UV}(t_1; t_2) = M\{ U^o (t_1) V^o(t_2) \} +\end{equation*} + +С точки зрения изменчивости указанных характеристик различают +стационарные и нестационарные случайные процессы. Случайный процесс +будет называться в узком смысле, если описывающий его плостности +вероятности не зависят он начала отсчёта времени. Случайный процесс +называют стационарным в широком смысле, если выполняются следующие +соотношения: +\begin{equation*} + \begin{cases} + m_U(t) = m_U = const \\ + D_U(t) = D_U = const \\ + R_U(t, t + \tau) = R_U(\tau) + \end{cases} +\end{equation*} + +То есть мат ожидание и дисперсия постоянны, а кореляционная функция не +зависит он начала отсчёта времени и является функцией одного аргумента +(шага по времени). Обычно предполагается, что стационарный процесс +является \emph{эрготическим} (то есть средняя по ансамблю реализация +равно среднему по времени на одной реализации) если мат ожидание +\begin{eqnarray} + m_u = \lim_{T \to \infty} U(t) dt = U_0 \\ + D_U = \lim_{T \to \infty} \int_0^T (U(t) - U_0)^2 dt \\ + R_U(\tau) = \lim_{T \to \infty} \int_0^T (U(t) - U_0) (U(t + \tau) - U_0) dt +\end{eqnarray} + +Эрготичность стационарного сигнала будет перетекать в эрготичность +источника. + +\subsubsection{Спектральной представление случайных сигналов} + +Аналогично детерминированному сигналу построим для случайного процесса +представление через сумму спектральных составляющих. Для этого будем +использовать так называемое каноническое разложение случайного процесса +$U(t)$, то есть будет представляться в виде: +\begin{equation*} + U(t) = m_U(t) + \sum_K C_k \phi_k(t) \quad (1B) +\end{equation*} + +$m_U(t)$ --- мат ожидание, $\phi_k(t)$ --- неслучайные (координатные) базисные функции, +$C_k$ --- некореллированные случайные случайные величины с мат +ожиданиями равными нулю и дисперсиями $D_k$, где +\begin{equation*} + M_k[C_k C_l] = \begin{cases} P_k, k = l \\ 0, k \neq l \end{cases} +\end{equation*} + +Слагаемые $C_k * \phi_k(t)$ будут называть элементарным случайным +процессом. Случайность такого процесса будет проявляться только через +величину $C_k$. $C_k$ будут называться коэффициентами канонического +разложения. + +Найдём кореляционную функцию случайного процесса $U(t)$, который +представлениследующим элементарным процессом. +\begin{equation*} + R_U(t_1, t_2) = M\{ \sum_k C_k \phi_k(t_1) \sum_l C_l \phi_l(t_2) \} = \sum_{k, l} M\{ C_k C_l \} \phi_k(t_1) \phi_l(t_2) = +\end{equation*} + +Так как $C_k$ и $C_l$ некореллируемые величины, то для \ldots{} +получим следующее выражение. +\begin{equation*} + = \sum_k \phi_k(t_1) \phi_k(t_2) D_k \quad (2B) +\end{equation*} + +Такое представление корелляционной функций называют каноническим +разложением кореляционной функции случайного процесса $U(t)$. Всякому +каноническому разложению случайного процесса (1B) соответствует +каноническое разложение (2B). Это утверждение доказывается при этом +будет справедливо и обратное утверждение. + +Рассмотрим каноническое разложение корелляционной функции. Пусть +$t_1 = t_2 = t$. Тогда получим формулу: +\begin{equation*} + = \sum_k D_k(\phi_k(t))^2 +\end{equation*} + +То есть при выбранном наборе +координатной функции центрированный случайный процесс будет +характеризоваться совокупностью дисперсий коэффициентов разложения, +которые можно рассматривать как обобщённый спектр случайного процесса. + +Для построения спектра случайного процесса нам необходимо найти все +функции $\phi_k(t)$ и некореллированные случайные величины $C_k$, +что во многих случаях представляется достаточно затруднительной задачей. +Пусть $\phi_k$ являются ортогональными координатными функциями и будет +справедливо следующее представление: +\begin{equation*} + \int_{-T/2}^{T/2} m_u^2(t) dt < \infty +\end{equation*} + +Тогда неслучайную функцию $m_u(t)$ на интервале $T$ можно разложить следующим образом: +\begin{equation*} + m_u(t) = \sum_k m_{uk} \phi_k(t) +\end{equation*} + +Здесь $m_{uk} = \int_{-T/2}^{T/2} m_u(t) \phi_k(t) dt$. Тогда +каноническое разложение случайного процесса запишется следующим видом: +\begin{equation*} + U(t) = \sum_k m_{uk} + C_k) \phi_k(t) \quad (3B) +\end{equation*} + +Это соотношение +будет называться \emph{обобщённым спектральным представлением для +случайного процесса, которое раскладывается в каноническое +представление}. \ No newline at end of file -- cgit v1.2.3