Теория вероятностей и математическая статистика

СУПЕР-ШПАРГАЛКА ПО ТЕОРИИ ВЕРОЯТНОСТЕЙ И МАТЕМАТИЧЕСКОЙ СТАТИСТИКЕ

(Для студентов МИФИ, МФТИ, МГУ на основе учебников Е.С. Вентцель, Б.В. Гнеденко, А.А. Боровкова, В.С. Пугачёва)

Краткий справочник символов и обозначений

1. КОМБИНАТОРИКА

1.1. Основные правила и формулы

Определения

1. Правило суммы: Если элемент $A$ можно выбрать $n$ способами, элемент $B$ — $m$ способами, причём выборы взаимно исключают друг друга, то выбор «$A$ или $B$» можно осуществить $n+m$ способами.
2. Правило произведения: Если $A$ выбирается $n$ способами и после каждого такого выбора $B$ можно выбрать $m$ способами, то упорядоченную пару $(A,B)$ можно выбрать $n \cdot m$ способами.
3. Принцип включения-исключения: $|A \cup B| = |A| + |B| - |A \cap B|$. Для $n$ множеств: $$ \left|\bigcup_{i=1}^n A_i\right| = \sum_{i} |A_i| - \sum_{i

Основные понятия комбинаторики

Свойства биномиальных коэффициентов

1. Симметрия: $\binom{n}{k} = \binom{n}{n-k}$.
2. Рекуррентное соотношение (треугольник Паскаля): $\binom{n}{k} = \binom{n-1}{k-1} + \binom{n-1}{k}$.
3. Бином Ньютона: $(x+y)^n = \sum_{k=0}^n \binom{n}{k} x^{n-k} y^k$.
4. Сумма биномиальных коэффициентов: $\sum_{k=0}^n \binom{n}{k} = 2^n$.
5. Знакопеременная сумма: $\sum_{k=0}^n (-1)^k \binom{n}{k} = 0$ (при $n \ge 1$).
6. Свёртка Вандермонда: $\sum_{k=0}^r \binom{m}{k}\binom{n}{r-k} = \binom{m+n}{r}$.
7. Мультиномиальная теорема: $(x_1 + \dots + x_m)^n = \sum_{k_1+\dots+k_m = n} \frac{n!}{k_1! \dots k_m!} x_1^{k_1} \dots x_m^{k_m}$.

Формула Стирлинга (асимптотика факториала)

$$ n! \sim \sqrt{2\pi n}\, \left(\frac{n}{e}\right)^n, \quad n \to \infty. $$ Более точное неравенство: $\sqrt{2\pi n}\,(n/e)^n e^{1/(12n+1)} < n! < \sqrt{2\pi n}\,(n/e)^n e^{1/(12n)}$.

Типовые задачи и алгоритмы решения

► Задача 1. Подсчёт числа способов (выборки). Алгоритм: Ответьте на 3 вопроса:

1. Важен ли порядок? Да → размещения (или перестановки). Нет → сочетания.
2. Элементы могут повторяться? Да → формулы с повторениями. Нет → без повторений.
3. Выбираем все элементы или часть? Все → перестановки. Часть → размещения/сочетания.

Пример: Сколькими способами можно выбрать 3 книги из 10? Порядок неважен, повторений нет → $C_{10}^3 = 120$.

► Задача 2. Принцип включения-исключения. Алгоритм: Для подсчёта $|A \cup B \cup C|$:

1. Складываем мощности по отдельности: $|A| + |B| + |C|$.
2. Вычитаем попарные пересечения: $-|A \cap B| - |A \cap C| - |B \cap C|$.
3. Прибавляем тройное пересечение: $+|A \cap B \cap C|$.

Частая схема: «Студенты, изучающие языки». Среди 100 студентов 60 изучают английский, 50 — немецкий, 30 — оба. Сколько не изучают ни одного? Ответ: $100 - (60 + 50 - 30) = 20$.

► Задача 3. Перестановки с повторениями. Алгоритм: Считаем общее число элементов $n$, определяем $k_i$ — число одинаковых элементов типа $i$. Формула: $P_n(k_1,\dots,k_m) = \frac{n!}{k_1! \cdots k_m!}$.

Пример: Сколько «слов» можно составить из букв слова «МАТЕМАТИКА»? $n=10$, М:2, А:3, Т:2, Е:1, И:1, К:1. Ответ: $10!/(2! \cdot 3! \cdot 2!) = 151200$.

Типовые ошибки

⚠ Ошибка 1. Путаница между $A_n^k$ и $C_n^k$. Размещения учитывают порядок, сочетания — нет. Если вы выбираете «президиум из 3 человек» — это сочетания. Если «президента, вице-президента и секретаря» — размещения.

⚠ Ошибка 2. Забывают, что $0! = 1$. Часто пишут $0! = 0$, что ломает все формулы. Запомните: $0! = 1$ по определению (пустое произведение).

⚠ Ошибка 3. Двойной счёт в задачах на включение-исключение. Если не вычитать пересечения — получаем завышенный результат. Классический пример: подсчёт студентов, изучающих языки, без вычитания пересечения.

⚠ Ошибка 4. Неверное определение «повторений». В формуле $\widetilde{C}_n^k = C_{n+k-1}^k$ «повторения» означает, что элемент МОЖЕТ быть выбран несколько раз, а не что он ОБЯЗАТЕЛЬНО повторяется.

⚠ Ошибка 5. Путаница в задаче о беспорядках. Субфакториал $!n$ — это когда НИ ОДИН элемент не на своём месте. Если «ровно $k$ элементов на своих местах» — ответ: $C_n^k \cdot !(n-k)$.

Мнемонические правила и лайфхаки

☞ «Порядок важен — размещения, порядок неважен — сочетания». Универсальное мнемоническое правило. Если в задаче есть слова «выбрать», «отобрать» — сочетания. Если «расставить», «распределить по местам», «составить расписание» — размещения.

☞ Треугольник Паскаля — быстрый способ нахождения $C_n^k$. Постройте таблицу: каждая строка — $n$, каждый столбец — $k$. $C_n^k = C_{n-1}^{k-1} + C_{n-1}^k$. Для $n \le 10$ быстрее нарисовать треугольник, чем считать факториалы.

☞ Бином Ньютона — помним про степени. $(x+y)^n$: показатель степени при $x$ убывает от $n$ до $0$, при $y$ — растёт от $0$ до $n$. Коэффициенты симметричны: $C_n^k = C_n^{n-k}$.

☞ Формула Стирлинга для оценок. Если нужно быстро оценить $n!$ для больших $n$ (скажем, $n > 10$): $n! \approx \sqrt{2\pi n}\,(n/e)^n$. Полезно при сравнении вероятностей в схеме Бернулли.

Приложения

В комбинаторике слов: подсчёт числа паролей заданной длины в заданном алфавите (размещения с повторениями). В криптографии: оценка стойкости перебором (число возможных ключей). В статистике: число различных выборок заданного объёма. В теории информации: число различных сообщений фиксированной длины. В биологии: число возможных последовательностей ДНК/РНК заданной длины.

2. АКСИОМАТИКА ТЕОРИИ ВЕРОЯТНОСТЕЙ

2.1. Пространство элементарных исходов и события

Определения

1. Пространство элементарных исходов ($\Omega$): Множество всех возможных взаимоисключающих исходов данного эксперимента. Пример: при подбрасывании монеты $\Omega = \{\text{О, Р}\}$.
2. Элементарный исход ($\omega$): Элемент $\Omega$. Точка в вероятностном пространстве.
3. Событие ($A$): Подмножество $\Omega$, принадлежащее $\sigma$-алгебре $\mathcal{F}$. Событие произошло, если реализовался $\omega \in A$.
4. Достоверное событие ($\Omega$): Происходит всегда. $P(\Omega) = 1$.
5. Невозможное событие ($\varnothing$): Не происходит никогда. $P(\varnothing) = 0$.
6. Несовместные события: $A$ и $B$ несовместны, если $A \cap B = \varnothing$ (не могут произойти одновременно).
7. Противоположное событие ($\overline{A}$): $A$ не произошло. $\overline{A} = \Omega \setminus A$, $P(\overline{A}) = 1 - P(A)$.
8. Полная группа событий: Набор $\{H_1, \dots, H_n\}$ такой, что $H_i \cap H_j = \varnothing$ при $i \neq j$ и $\bigcup_i H_i = \Omega$.
9. $\sigma$-алгебра событий ($\mathcal{F}$): Система подмножеств $\Omega$ такая, что:
   • $\Omega \in \mathcal{F}$;
   • Если $A \in \mathcal{F}$, то $\overline{A} \in \mathcal{F}$;
   • Если $A_1, A_2, \dots \in \mathcal{F}$, то $\bigcup_{n=1}^\infty A_n \in \mathcal{F}$.

Аксиомы теории вероятностей (аксиоматика Колмогорова)

Аксиома 1 (Неотрицательность): $\forall A \in \mathcal{F}: \ P(A) \ge 0$.

Аксиома 2 (Нормированность): $P(\Omega) = 1$.

Аксиома 3 (Счётная аддитивность): Для любой последовательности попарно несовместных событий $\{A_n\}_{n=1}^\infty$: $$ > P\left(\bigcup_{n=1}^\infty A_n\right) = \sum_{n=1}^\infty P(A_n). > $$

Следствия из аксиом

Классическое определение вероятности

Если $\Omega$ конечно и все исходы равновозможны: $$ P(A) = \frac{|A|}{|\Omega|} = \frac{\text{число благоприятных исходов}}{\text{общее число исходов}}. $$

Геометрическая вероятность

Если $\Omega \subset \mathbb{R}^n$ — область с конечной мерой Лебега $\mu(\Omega)$, то: $$ P(A) = \frac{\mu(A)}{\mu(\Omega)}. $$ Пример (задача Бюффона): игла длины $l$ бросается на плоскость, разлинованную параллельными прямыми на расстоянии $d > l$. Вероятность пересечения: $P = \frac{2l}{\pi d}$. Отсюда — вероятностный метод вычисления $\pi$.

2.2. Условная вероятность и независимость

Определения

1. Условная вероятность: $P(A \mid B) = \dfrac{P(A \cap B)}{P(B)}$, $P(B) > 0$.
2. Независимость событий: $A$ и $B$ независимы, если $P(A \cap B) = P(A) \cdot P(B)$.
3. Независимость в совокупности ($n$ событий): $A_1, \dots, A_n$ независимы в совокупности, если для любого подмножества индексов $I \subset \{1,\dots,n\}$: $$P\left(\bigcap_{i \in I} A_i\right) = \prod_{i \in I} P(A_i).$$ Важно: попарная независимость не влечёт независимость в совокупности (пример С.Н. Бернштейна с тетраэдром).

Основные теоремы

1. Формула умножения вероятностей: $$P(A_1 A_2 \dots A_n) = P(A_1) \cdot P(A_2 \mid A_1) \cdot P(A_3 \mid A_1 A_2) \cdots P(A_n \mid A_1 \dots A_{n-1}).$$

2. Формула полной вероятности: Если $\{H_1, \dots, H_n\}$ — полная группа гипотез ($P(H_i) > 0$), то: $$P(A) = \sum_{i=1}^n P(A \mid H_i) \cdot P(H_i).$$

3. Формула Байеса: При тех же условиях: $$P(H_i \mid A) = \frac{P(A \mid H_i) \cdot P(H_i)}{\sum_{j=1}^n P(A \mid H_j) \cdot P(H_j)} = \frac{P(A \mid H_i) P(H_i)}{P(A)}.$$ $P(H_i)$ — априорная вероятность гипотезы; $P(H_i \mid A)$ — апостериорная (после опыта).

Типовые задачи и алгоритмы решения

► Задача 1. Классическая вероятность (кости, карты, шары). Алгоритм:

1. Определить пространство элементарных исходов $\Omega$ и его мощность $|\Omega|$.
2. Описать событие $A$ как подмножество $\Omega$.
3. $P(A) = |A|/|\Omega|$ (если исходы равновозможны).

Пример (две кости): Бросаем два кубика. $|\Omega| = 36$. Событие $A$ = «сумма очков = 7». Благоприятные: $(1,6),(2,5),(3,4),(4,3),(5,2),(6,1)$. $|A|=6$. $P(A)=6/36=1/6$.

► Задача 2. Геометрическая вероятность. Алгоритм:

1. Определяем область $\Omega$ (отрезок, площадь, объём).
2. Находим меру $\mu(\Omega)$.
3. Находим меру подобласти $A \subset \Omega$, соответствующей событию.
4. $P(A) = \mu(A)/\mu(\Omega)$.

Пример (встреча): Два человека договорились встретиться между 12:00 и 13:00. Пришедший первым ждёт 15 минут. Какова вероятность встречи? $\Omega = [0,60] \times [0,60]$, $A = \{(x,y): |x-y| \le 15\}$. $P(A) = 1 - (45/60)^2 = 1 - 9/16 = 7/16$.

► Задача 3. Формула полной вероятности и Байеса. Алгоритм:

1. Выделить полную группу гипотез $\{H_i\}$ (они должны быть несовместны и покрывать $\Omega$).
2. Записать априорные вероятности $P(H_i)$.
3. Записать условные вероятности $P(A \mid H_i)$.
4. $P(A) = \sum_i P(H_i) \cdot P(A \mid H_i)$.
5. Для Байеса: $P(H_i \mid A) = P(H_i) \cdot P(A \mid H_i) / P(A)$.

Пример (диагностика): Тест на болезнь даёт положительный результат с вероятностью 0.95 для больного и 0.05 для здорового. Болезнь встречается у 1% населения. Какова вероятность, что человек с положительным тестом действительно болен? $H_1$ = «болен», $H_2$ = «здоров». $P(H_1)=0.01$, $P(H_2)=0.99$. $P(+|H_1)=0.95$, $P(+|H_2)=0.05$. $P(+)=0.01\cdot0.95+0.99\cdot0.05=0.059$. $P(H_1|+)=0.01\cdot0.95/0.059\approx0.161$. Парадокс: только 16% — из-за редкости болезни!

► Задача 4. Проверка независимости событий. Алгоритм:

1. Вычислить $P(A)$, $P(B)$, $P(A \cap B)$.
2. Если $P(A \cap B) = P(A) \cdot P(B)$ — события независимы.
3. Альтернатива для условной вероятности: $P(A \mid B) = P(A)$ (если $P(B)>0$).

Важно: Не путать несовместность ($A \cap B = \varnothing$) и независимость! Несовместные события с ненулевыми вероятностями НЕ могут быть независимы (кроме случая $P(A)=0$ или $P(B)=0$).

Типовые ошибки

⚠ Ошибка 1. $P(A \cup B) = P(A) + P(B)$ без проверки несовместности. Это верно ТОЛЬКО для несовместных событий. Для любых событий: $P(A \cup B) = P(A) + P(B) - P(A \cap B)$. Классический пример: бросаем кубик, $A$ = «чётное», $B$ = «$\ge 3$». $P(A \cup B) = 1/2 + 2/3 - 1/3 = 5/6$, а не $1/2+2/3=7/6$ (что больше 1 — абсурд).

⚠ Ошибка 2. Путаница $P(A \mid B)$ и $P(B \mid A)$. Это разные величины! Классический пример: $P(\text{дождь} \mid \text{зонт}) \neq P(\text{зонт} \mid \text{дождь})$. Вероятность дождя при наличии зонта мала (люди носят зонты не только в дождь), а вероятность зонта при дожде велика.

⚠ Ошибка 3. «Ошибка Даламбера» — неправильный подсчёт элементарных исходов. При бросании двух монет Даламбер считал только 3 исхода: ГГ, ГР, РР — упуская, что ГР и РГ — разные исходы. Выход: всегда рассматривать упорядоченные исходы или помечать объекты (монета №1, монета №2).

⚠ Ошибка 4. Применение формулы Байеса без учёта априорных вероятностей. В медицинской диагностике игнорирование редкости болезни («base rate fallacy») приводит к драматической переоценке вероятности болезни при положительном тесте.

⚠ Ошибка 5. Попарная независимость ≠ независимость в совокупности. Пример Бернштейна с тетраэдром: три грани окрашены в два цвета каждая — все события попарно независимы, но не независимы в совокупности. Для независимости в совокупности нужно проверить ВСЕ $2^n - n - 1$ условий (не только попарные).

Мнемонические правила

☞ Формула умножения: «Вероятность цепочки = произведение вероятностей каждого шага при условии, что все предыдущие уже произошли». $P(A_1 A_2 A_3) = P(A_1) \cdot P(A_2 \mid A_1) \cdot P(A_3 \mid A_1 A_2)$.

☞ Полная вероятность: «Разбей на случаи и просуммируй». Представьте дерево: от корня идут ветви-гипотезы, от каждой — ветвь события $A$. $P(A)$ = сумма вероятностей всех путей, ведущих к $A$.

☞ Формула Байеса: «Апостериор = априор × правдоподобие / нормировка». Используется для «переоценки» вероятностей гипотез после получения новых данных. В числителе — путь через нужную гипотезу, в знаменателе — сумма всех путей.

☞ Независимость vs Несовместность: «Независимые — могут произойти вместе, несовместные — не могут». Мнемоника: независимые события «не мешают» друг другу, несовместные — «мешают» (исключают).

Приложения

Байесовский спам-фильтр: $P(\text{спам} \mid \text{слова}) \propto P(\text{слова} \mid \text{спам}) \cdot P(\text{спам})$. Медицинская диагностика: переоценка вероятности болезни после теста. Надёжность систем: вероятность отказа сложной системы через вероятности отказов компонент (параллельное/последовательное соединение). Теория информации: условная энтропия и взаимная информация базируются на условных вероятностях.

3. СХЕМА БЕРНУЛЛИ И ДИСКРЕТНЫЕ РАСПРЕДЕЛЕНИЯ

3.1. Схема Бернулли

Определения

1. Испытание Бернулли: Опыт с двумя исходами: «успех» (вероятность $p$) и «неудача» (вероятность $q = 1-p$).
2. Схема Бернулли (биномиальная схема): Последовательность $n$ независимых испытаний Бернулли с одинаковой вероятностью успеха $p$.
3. Наивероятнейшее число успехов ($k_0$): Значение $k$, максимизирующее $P(\xi_n = k)$. Определяется неравенством: $$np - q \le k_0 \le np + p.$$

Формулы

1. Формула Бернулли: $P(\xi_n = k) = \binom{n}{k} p^k q^{n-k}$.
2. Вероятность хотя бы одного успеха: $P(\xi_n \ge 1) = 1 - q^n$.
3. Формула для числа неудач до $m$-го успеха (отрицательно-биномиальная схема): Вероятность того, что $m$-й успех наступит на $(k+m)$-м испытании: $$P = \binom{k+m-1}{m-1} p^m q^k.$$

Предельные теоремы для схемы Бернулли (локальные и интегральные)

1. Локальная теорема Муавра–Лапласа: При $n \to \infty$ и фиксированном $p \in (0,1)$: $$P(\xi_n = k) \approx \frac{1}{\sqrt{2\pi n p q}} \exp\left(-\frac{(k - np)^2}{2npq}\right),$$ если $x_k = \frac{k - np}{\sqrt{npq}}$ ограничено. Точность: $\approx \frac{1}{\sqrt{npq}} \varphi(x_k)$, где $\varphi(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2}$.

2. Интегральная теорема Муавра–Лапласа: Для любых $a < b$: $$P\left(a \le \frac{\xi_n - np}{\sqrt{npq}} \le b\right) \xrightarrow{n\to\infty} \Phi_0(b) - \Phi_0(a),$$ где $\Phi_0(x) = \frac{1}{\sqrt{2\pi}}\int_{-\infty}^x e^{-t^2/2}\,dt$ — функция стандартного нормального распределения.

3. Теорема Пуассона (закон редких событий): Если $n \to \infty$, $p \to 0$, причём $np \to \lambda > 0$, то: $$\binom{n}{k} p^k q^{n-k} \to \frac{\lambda^k}{k!} e^{-\lambda}.$$ Практический критерий: применимо при $n \ge 100$, $p \le 0.05$, $np \le 10$.

Типовые задачи и алгоритмы решения

► Задача 1. Формула Бернулли (точное число успехов). Алгоритм:

1. Определить $n$ (число испытаний), $p$ (вероятность успеха), $k$ (требуемое число успехов).
2. Если $n$ мало ($n \le 20$): $P = C_n^k p^k q^{n-k}$.
3. Если $n$ велико и $p$ не слишком мало: используем локальную теорему Муавра–Лапласа.
4. Если $n$ велико и $p$ мало ($np \le 10$): используем теорему Пуассона.

Пример: Монета бросается 10 раз. Вероятность ровно 5 орлов: $P = C_{10}^5 \cdot 0.5^{10} \approx 0.246$.

► Задача 2. Наивероятнейшее число успехов. Алгоритм: Решить неравенство $np - q \le k_0 \le np + p$. $k_0$ — целое число (или два соседних целых).

Пример: $n=100$, $p=0.3$. $np - q = 30 - 0.7 = 29.3$, $np + p = 30 + 0.3 = 30.3$. $k_0 = 30$.

► Задача 3. Приближённое вычисление: что выбрать?

Условия	Метод	Погрешность
$n \le 20$	Точная формула Бернулли	0
$n \ge 100, p \le 0.05, np \le 10$	Пуассон ($\lambda = np$)	Мала
$n$ велико, $npq \ge 10$	Муавр–Лаплас (локальная)	Приемлема
$n$ велико, $npq \ge 20$	Муавр–Лаплас (интегральная)	Хороша

3.2. Таблица основных дискретных распределений

Типовые ошибки в схеме Бернулли

⚠ Ошибка 1. Применение формулы Бернулли к зависимым испытаниям. Схема Бернулли требует НЕЗАВИСИМОСТИ испытаний. Выборка без возвращения (гипергеометрическая схема) — это НЕ схема Бернулли.

⚠ Ошибка 2. Границы применимости приближений. Пуассоновское приближение даёт большую ошибку при $np > 10$. Локальная теорема Муавра–Лапласа требует $npq \ge 10$ для приемлемой точности.

⚠ Ошибка 3. Забывают поправку на непрерывность. В интегральной теореме Муавра–Лапласа: $P(a \le S_n \le b) \approx \Phi_0(\frac{b+0.5-np}{\sqrt{npq}}) - \Phi_0(\frac{a-0.5-np}{\sqrt{npq}})$. Без $\pm 0.5$ погрешность выше.

⚠ Ошибка 4. Геометрическое распределение: путают число испытаний ДО успеха и ВКЛЮЧАЯ успех. $P(\xi = k) = q^{k-1}p$ — это вероятность, что успех наступит ровно на $k$-м испытании (т.е. $k-1$ неудач ДО успеха). Некоторые учебники определяют геометрическое как число неудач ДО первого успеха — тогда $P(\xi = k) = q^k p$.

4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ. ОБЩАЯ ТЕОРИЯ

4.1. Определения и способы задания

Определения

1. Случайная величина (СВ): Измеримая функция $\xi: \Omega \to \mathbb{R}$, т.е. $\forall x \in \mathbb{R}: \{\omega: \xi(\omega) < x\} \in \mathcal{F}$.
2. Функция распределения (ФР): $F_\xi(x) = P(\xi < x)$, $x \in \mathbb{R}$. Альтернатива: $F(x) = P(\xi \le x)$ — зависит от школы; проверьте конвенцию вашего лектора.
3. Дискретная СВ: Принимает не более чем счётное множество значений $\{x_k\}$, задаётся рядом распределения: $p_k = P(\xi = x_k)$, $\sum_k p_k = 1$.
4. Абсолютно непрерывная СВ: Существует плотность $f_\xi(x) \ge 0$ такая, что $F(x) = \int_{-\infty}^x f(t)\,dt$ и $\int_{-\infty}^\infty f(x)\,dx = 1$.
5. Сингулярная СВ: ФР непрерывна, но производная почти всюду равна нулю (пример: канторова лестница). На практике почти не встречается.
6. Смешанная СВ: ФР = выпуклая комбинация дискретной и абсолютно непрерывной компонент.

Свойства функции распределения

1. Неубывание: $x_1 < x_2 \Rightarrow F(x_1) \le F(x_2)$.
2. Пределы: $\lim_{x \to -\infty} F(x) = 0$, $\lim_{x \to +\infty} F(x) = 1$.
3. Непрерывность слева: $\lim_{x \to x_0-0} F(x) = F(x_0)$ (при определении $F(x) = P(\xi < x)$).
4. Наличие предела справа: $F(x_0+0) = P(\xi \le x_0)$; скачок в точке $x_0$: $F(x_0+0) - F(x_0) = P(\xi = x_0)$.
5. Любая функция со свойствами 1–3 является функцией распределения некоторой СВ (теорема Лебега–Колмогорова).

4.2. Числовые характеристики случайных величин

Определения

Свойства математического ожидания

1. $M(c) = c$ для константы $c$.
2. Линейность: $M(a\xi + b\eta) = a M\xi + b M\eta$.
3. $M(\xi \cdot \eta) = M\xi \cdot M\eta$, если $\xi$ и $\eta$ независимы.
4. Если $\xi \ge 0$ п.н., то $M\xi \ge 0$.
5. $|M\xi| \le M|\xi|$ (неравенство треугольника).
6. Неравенство Маркова: Если $\xi \ge 0$, то $P(\xi \ge \varepsilon) \le \dfrac{M\xi}{\varepsilon}$ для любого $\varepsilon > 0$.
7. Неравенство Чебышёва: $P(|\xi - M\xi| \ge \varepsilon) \le \dfrac{D\xi}{\varepsilon^2}$.
8. $M g(\xi) = \sum_k g(x_k) p_k$ (дискретный) или $\int g(x) f(x)\,dx$ (непрерывный).

Свойства дисперсии

1. $D\xi = M(\xi^2) - (M\xi)^2$ (удобная формула для вычислений).
2. $D(c) = 0$.
3. $D(c\xi) = c^2 D\xi$.
4. $D(\xi \pm \eta) = D\xi + D\eta \pm 2\operatorname{cov}(\xi, \eta)$.
5. $D(\xi \pm \eta) = D\xi + D\eta$, если $\xi$ и $\eta$ независимы (или некоррелированы).

Неравенства

Типовые задачи и алгоритмы решения

► Задача 1. Построение функции распределения. Алгоритм:

1. Для дискретной СВ: отсортировать значения $x_k$ по возрастанию. $F(x) = \sum_{x_k < x} p_k$. Функция кусочно-постоянна со скачками в точках $x_k$.
2. Для непрерывной СВ: $F(x) = \int_{-\infty}^x f(t)\,dt$.
3. Свойства для проверки: $F(-\infty)=0$, $F(+\infty)=1$, неубывание.

Пример (дискретная): $\xi$ принимает значения $-1, 0, 2$ с вероятностями $0.3, 0.5, 0.2$. $F(x) = 0$ при $x \le -1$; $F(x)=0.3$ при $-1 < x \le 0$; $F(x)=0.8$ при $0 < x \le 2$; $F(x)=1$ при $x > 2$.

► Задача 2. Вычисление числовых характеристик. Алгоритм (дискретный):

1. $M\xi = \sum_k x_k p_k$ — матожидание.
2. $M\xi^2 = \sum_k x_k^2 p_k$ — второй начальный момент.
3. $D\xi = M\xi^2 - (M\xi)^2$ — дисперсия (удобная формула!).
4. $\sigma = \sqrt{D\xi}$ — СКО.

Алгоритм (непрерывный): Заменить суммы на интегралы: $M\xi = \int x f(x)\,dx$, $M\xi^2 = \int x^2 f(x)\,dx$, $D\xi = M\xi^2 - (M\xi)^2$.

► Задача 3. Применение неравенства Чебышёва. Алгоритм:

1. Найти $M\xi$ и $D\xi$.
2. Оценить $P(|\xi - M\xi| \ge \varepsilon) \le D\xi / \varepsilon^2$.

Пример: $M\xi = 100$, $D\xi = 25$. Оценить $P(|\xi - 100| \ge 10)$: $P \le 25/100 = 0.25$. Фактическая вероятность может быть значительно меньше — это лишь верхняя граница.

Типовые ошибки

⚠ Ошибка 1. Матожидание существует не всегда. Распределение Коши: $f(x) = 1/[\pi(1+x^2)]$, интеграл $\int |x| f(x)\,dx$ расходится — матожидания НЕТ. Нельзя писать $M\xi = 0$ для Коши (хотя распределение симметрично относительно нуля).

⚠ Ошибка 2. $D(a\xi + b) = a D\xi + b$. Это НЕВЕРНО! Правильно: $D(a\xi + b) = a^2 D\xi$. Константа $b$ не влияет на дисперсию (сдвиг не меняет разброс).

⚠ Ошибка 3. $M(\xi\eta) = M\xi \cdot M\eta$ без проверки независимости. Это верно ТОЛЬКО для независимых СВ. В общем случае $M(\xi\eta) = M\xi \cdot M\eta + \operatorname{cov}(\xi,\eta)$. Контрпример: $\xi = \eta$, тогда $M(\xi^2) \neq (M\xi)^2$ (разница = $D\xi$).

⚠ Ошибка 4. Неравенство Чебышёва даёт грубую оценку. При $\varepsilon \le \sigma$ правая часть $\ge 1$ — оценка тривиальна и бесполезна. Неравенство работает только для «хвостов» ($\varepsilon$ велико относительно $\sigma$).

⚠ Ошибка 5. Путаница между медианой и матожиданием. Для симметричных распределений они совпадают, для асимметричных — нет. Пример: экспоненциальное распределение: $M\xi = 1/\lambda$, медиана $Me = \ln 2 / \lambda$.

Мнемонические правила

☞ Дисперсия — «средний квадрат минус квадрат среднего»: $D\xi = M(\xi^2) - (M\xi)^2$. Самая удобная формула для вычислений!

☞ Линейность матожидания: «Матожидание суммы = сумма матожиданий». Это работает ВСЕГДА, даже для зависимых СВ. Не требует независимости!

☞ Неравенство Маркова: «Вероятность больших значений не больше среднего, делённого на порог». Если средний доход 1000 руб, то доля людей с доходом > 10000 руб не больше 10%.

☞ Правило «трёх сигм» для нормального распределения: $P(|\xi - M\xi| \le 3\sigma) \approx 0.997$. Для любого распределения по Чебышёву: $P(|\xi - M\xi| \le 3\sigma) \ge 1 - 1/9 \approx 0.889$.

Приложения

Финансы: матожидание доходности, дисперсия как мера риска (портфельная теория Марковица). Страхование: расчёт нетто-премии как матожидания убытка. Контроль качества: неравенство Чебышёва для оценки доли дефектных изделий. Физика: центр масс (матожидание), момент инерции (дисперсия).

5. АБСОЛЮТНО НЕПРЕРЫВНЫЕ РАСПРЕДЕЛЕНИЯ

5.1. Таблица основных непрерывных распределений

5.2. Преобразования случайных величин

Формула для плотности функции от СВ

Если $y = g(x)$ — строго монотонная дифференцируемая функция на области значений $\xi$, $x = g^{-1}(y) = h(y)$, то: $$ f_\eta(y) = f_\xi(h(y)) \cdot |h'(y)|. $$

Для немонотонной функции: разбить область на интервалы монотонности и просуммировать.

Линейное преобразование

Если $\eta = a\xi + b$, то:

• $F_\eta(y) = F_\xi\left(\frac{y - b}{a}\right)$ при $a > 0$;
• $f_\eta(y) = \frac{1}{|a|} f_\xi\left(\frac{y-b}{a}\right)$;
• $M\eta = a M\xi + b$;
• $D\eta = a^2 D\xi$.

Стандартизация (центрирование-нормирование)

$$ \eta = \frac{\xi - M\xi}{\sqrt{D\xi}} \ \Rightarrow \ M\eta = 0,\ D\eta = 1. $$

Вероятностное интегральное преобразование

Если $F(x)$ — непрерывная строго монотонная ФР, то СВ $\eta = F(\xi)$ распределена равномерно на $[0,1]$. Используется в методе обратной функции для моделирования СВ.

Типовые задачи и алгоритмы решения

► Задача 1. «Узнать распределение по описанию».

Описание	Распределение
Время между событиями в пуассоновском потоке	$\operatorname{Exp}(\lambda)$
Сумма большого числа независимых СВ (ЦПТ)	$\mathcal{N}(a, \sigma^2)$
Ошибки измерений	$\mathcal{N}(0, \sigma^2)$
Равномерное случайное число на $[0,1]$	$U[0,1]$
Сумма квадратов $n$ стандартных нормальных	$\chi^2(n)$
Отношение нормальной к корню из хи-квадрат	$t(n)$
Срок службы устройства без износа	$\operatorname{Exp}(\lambda)$
Логарифм величины, распределённой нормально	$\operatorname{LN}(a, \sigma^2)$

► Задача 2. Преобразование случайных величин. Алгоритм для монотонной функции $y = g(x)$:

1. Найти обратную функцию $x = h(y) = g^{-1}(y)$.
2. Вычислить производную $h'(y)$.
3. $f_\eta(y) = f_\xi(h(y)) \cdot |h'(y)|$.

Пример: $\xi \sim U[0,1]$, $\eta = -\ln \xi$. $h(y) = e^{-y}$, $h'(y) = -e^{-y}$, $|h'| = e^{-y}$. $f_\eta(y) = 1 \cdot e^{-y} = e^{-y}$ при $y \ge 0$ — экспоненциальное распределение с $\lambda = 1$.

► Задача 3. Стандартизация. Алгоритм: Замена $\eta = \frac{\xi - M\xi}{\sqrt{D\xi}}$ приводит к СВ с $M\eta = 0$, $D\eta = 1$. Это используется для вычисления вероятностей через таблицы $\mathcal{N}(0,1)$.

Пример: $\xi \sim \mathcal{N}(5, 4)$. $P(\xi \le 3) = P(\frac{\xi-5}{2} \le \frac{3-5}{2}) = \Phi_0(-1) = 1 - \Phi_0(1) \approx 0.159$.

Типовые ошибки

⚠ Ошибка 1. Путаница параметров нормального распределения. $\mathcal{N}(a, \sigma^2)$: второй параметр — ДИСПЕРСИЯ, а не СКО. Многие учебники используют $\mathcal{N}(\mu, \sigma)$ со СКО — проверьте нотацию вашего лектора!

⚠ Ошибка 2. Экспоненциальное распределение: «отсутствие памяти». $P(\xi > t + s \mid \xi > t) = P(\xi > s)$. Это свойство есть ТОЛЬКО у экспоненциального распределения среди непрерывных. Не применяйте к другим распределениям.

⚠ Ошибка 3. Забывают модуль производной в формуле замены. $f_\eta(y) = f_\xi(h(y)) \cdot |h'(y)|$, а не $h'(y)$. Без модуля плотность может стать отрицательной.

⚠ Ошибка 4. Нормальное распределение — не для всего. Не все данные распределены нормально! Многие реальные распределения имеют «тяжёлые хвосты» (финансы, интернет-трафик) — для них нормальное приближение даёт заниженную оценку вероятности экстремальных событий.

⚠ Ошибка 5. Коши: не существует ни матожидания, ни дисперсии. Закон больших чисел для Коши НЕ работает — среднее арифметическое выборки из Коши само распределено по Коши и не сходится к константе.

Мнемонические правила

☞ Нормальное распределение: «Колокол». Правило $1\sigma$ ($68\%$), $2\sigma$ ($95\%$), $3\sigma$ ($99.7\%$). Полезно для быстрых оценок без таблиц.

☞ Экспоненциальное: «$\lambda$ — интенсивность». Чем больше $\lambda$, тем быстрее происходят события, тем меньше среднее время ожидания ($1/\lambda$).

☞ Гамма-распределение: «Сумма $\alpha$ независимых экспоненциальных с параметром $\beta$». Мнемоника: $\alpha$ — форма, $\beta$ — масштаб (rate).

☞ Равномерное на $[a,b]$: $M\xi$ — середина отрезка, $D\xi = (b-a)^2/12$. «Разброс растёт как квадрат длины, делённый на 12».

Приложения

Нормальное: ошибки измерений, рост людей, интеллект (IQ), шум в электронике. Экспоненциальное: время между звонками в колл-центр, срок службы электронных компонент. Логнормальное: доходы населения, цены акций, размер файлов в интернете. Коши: распределение отношения двух нормальных СВ, физика резонанса. Равномерное: генераторы псевдослучайных чисел, ошибки округления.

6. МНОГОМЕРНЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ

6.1. Определения и способы задания

Определения

1. Случайный вектор: $\vec{\xi} = (\xi_1, \dots, \xi_n): \Omega \to \mathbb{R}^n$ с покоординатно измеримыми компонентами.
2. Совместная функция распределения: $F_{\vec{\xi}}(x_1, \dots, x_n) = P(\xi_1 < x_1, \dots, \xi_n < x_n)$.
3. Совместная плотность (для абсолютно непрерывного случая): $f(x_1, \dots, x_n) = \frac{\partial^n F}{\partial x_1 \cdots \partial x_n}$.
4. Маргинальные (частные) распределения:
   • $F_{\xi_1}(x_1) = \lim_{x_2,\dots,x_n \to +\infty} F_{\vec{\xi}}(x_1, \dots, x_n)$;
   • $f_{\xi_1}(x_1) = \int_{-\infty}^\infty \cdots \int_{-\infty}^\infty f(x_1, \dots, x_n)\,dx_2\cdots dx_n$.

Свойства совместной ФР

1. $0 \le F \le 1$.
2. Неубывание по каждому аргументу.
3. Непрерывность слева по совокупности.
4. $F(+\infty, \dots, +\infty) = 1$.
5. $\lim_{x_i \to -\infty} F(x_1, \dots, x_n) = 0$ (по любому аргументу).

6.2. Независимость случайных величин

Определение

СВ $\xi_1, \dots, \xi_n$ независимы (в совокупности), если $\forall x_1, \dots, x_n$: $$ F_{\vec{\xi}}(x_1, \dots, x_n) = \prod_{i=1}^n F_{\xi_i}(x_i). $$ Эквивалентное условие (для абсолютно непрерывного случая): $f(x_1, \dots, x_n) = \prod_{i=1}^n f_{\xi_i}(x_i)$.

Критерий независимости (дискретный случай)

$\xi$ и $\eta$ независимы $\Leftrightarrow$ $p_{ij} = P(\xi = x_i, \eta = y_j) = p_i^\xi \cdot p_j^\eta$ для всех $i,j$.

6.3. Числовые характеристики многомерных СВ

Определения

Свойства ковариации и корреляции

1. $\operatorname{cov}(\xi, \xi) = D\xi$.
2. $\operatorname{cov}(\xi, \eta) = \operatorname{cov}(\eta, \xi)$.
3. $\operatorname{cov}(a\xi + b, c\eta + d) = ac \cdot \operatorname{cov}(\xi, \eta)$.
4. $|\rho| \le 1$ (следствие неравенства Коши–Буняковского).
5. $\rho = \pm 1$ $\Leftrightarrow$ $\eta = a\xi + b$ п.н. (линейная зависимость).
6. $\rho = 0$ $\Rightarrow$ $\xi$ и $\eta$ некоррелированы. Из независимости следует некоррелированность; обратное — неверно (кроме нормального случая).
7. Ковариационная матрица неотрицательно определена. В невырожденном случае — положительно определена.

6.4. Условные распределения

Определения

1. Условная функция распределения: $F_{\xi \mid \eta}(x \mid y) = P(\xi < x \mid \eta = y)$.
2. Условная плотность: $f_{\xi \mid \eta}(x \mid y) = \frac{f_{\xi, \eta}(x, y)}{f_\eta(y)}$, $f_\eta(y) > 0$.
3. Условное математическое ожидание: $M(\xi \mid \eta = y) = \int_{-\infty}^\infty x f_{\xi \mid \eta}(x \mid y)\,dx$.

Формулы

1. Полное мат. ожидание (tower property): $M\xi = M[M(\xi \mid \eta)]$.
2. Полная дисперсия: $D\xi = M[D(\xi \mid \eta)] + D[M(\xi \mid \eta)]$.

Двумерное нормальное распределение

СВ $(\xi, \eta)$ имеет двумерное нормальное распределение с параметрами $(a_1, a_2, \sigma_1, \sigma_2, \rho)$, если совместная плотность: $$ f(x,y) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}} \exp\left(-\frac{1}{2(1-\rho^2)}\left[\frac{(x-a_1)^2}{\sigma_1^2} - 2\rho\frac{(x-a_1)(y-a_2)}{\sigma_1\sigma_2} + \frac{(y-a_2)^2}{\sigma_2^2}\right]\right). $$

Ключевое свойство: для нормального вектора некоррелированность $\Leftrightarrow$ независимость.

Формула свёртки (распределение суммы)

Если $\xi$ и $\eta$ независимы с плотностями $f_\xi$, $f_\eta$, то плотность суммы $\zeta = \xi + \eta$: $$ f_\zeta(z) = \int_{-\infty}^\infty f_\xi(x) f_\eta(z-x)\,dx = (f_\xi * f_\eta)(z). $$ Для дискретного случая: $P(\xi+\eta = k) = \sum_i P(\xi = i) P(\eta = k-i)$ — формула свёртки.

Типовые задачи и алгоритмы решения

► Задача 1. Нахождение маргинальных плотностей. Алгоритм: $f_\xi(x) = \int_{-\infty}^\infty f_{\xi,\eta}(x,y)\,dy$. Интегрируем совместную плотность по «лишней» переменной.

Пример: $f(x,y) = 6xy^2$ на $0 \le x \le 1$, $0 \le y \le 1$. $f_\xi(x) = \int_0^1 6xy^2\,dy = 2x$. $f_\eta(y) = \int_0^1 6xy^2\,dx = 3y^2$.

► Задача 2. Проверка независимости СВ. Алгоритм: Проверить, что $f_{\xi,\eta}(x,y) = f_\xi(x) \cdot f_\eta(y)$ для всех $x, y$. Если равенство нарушается хотя бы в одной точке — СВ зависимы.

Критерий для нормального вектора: $\rho = 0 \Leftrightarrow$ независимость. Для других распределений из $\rho = 0$ независимость НЕ следует!

► Задача 3. Ковариационная матрица. Алгоритм:

1. Найти $M\xi_i$ для каждой компоненты.
2. $\Sigma_{ij} = M(\xi_i \xi_j) - M\xi_i \cdot M\xi_j$.
3. Диагональ $\Sigma_{ii} = D\xi_i$, матрица симметрична.

Свойства: Неотрицательно определена ($x^T \Sigma x \ge 0$). $\det \Sigma = 0$ $\Leftrightarrow$ компоненты линейно зависимы.

Типовые ошибки

⚠ Ошибка 1. Из $\rho = 0$ не следует независимость (кроме нормального случая). Классический пример: $\xi \sim \mathcal{N}(0,1)$, $\eta = \xi^2$. Тогда $M\xi = 0$, $M\xi^3 = 0$, $\operatorname{cov}(\xi, \xi^2) = M\xi^3 - M\xi \cdot M\xi^2 = 0$, но СВ функционально зависимы!

⚠ Ошибка 2. Ковариация не инвариантна к масштабу. $\operatorname{cov}(a\xi, b\eta) = ab \cdot \operatorname{cov}(\xi,\eta)$. Коэффициент корреляции $\rho$ уже нормирован: $|\rho| \le 1$, $\rho(a\xi + b, c\eta + d) = \pm \rho(\xi, \eta)$.

⚠ Ошибка 3. $D(\xi + \eta) = D\xi + D\eta$ — только при независимости (или некоррелированности). В общем случае: $D(\xi + \eta) = D\xi + D\eta + 2\operatorname{cov}(\xi, \eta)$.

⚠ Ошибка 4. Формула свёртки — ТОЛЬКО для суммы. Для разности, произведения, частного — другие формулы. $f_{\xi-\eta}(z) = \int f_\xi(x) f_\eta(x-z)\,dx$ (свёртка с отражением).

Мнемонические правила

☞ Ковариация: «Насколько две величины "ходят вместе"». Положительная — вместе растут/падают, отрицательная — одна растёт, другая падает, нулевая — связь отсутствует (линейно).

☞ Корреляция измеряет ЛИНЕЙНУЮ связь. Если $\rho \approx 0$, это не значит, что связи нет — может быть сильная нелинейная связь (например, квадратичная).

☞ Свёртка — «размазывание». Плотность суммы — это «свёртка» плотностей слагаемых. Для независимых СВ слагаемые «размывают» друг друга: сумма имеет больший разброс.

7. ХАРАКТЕРИСТИЧЕСКИЕ И ПРОИЗВОДЯЩИЕ ФУНКЦИИ

7.1. Характеристическая функция

Определение

$$ \varphi_\xi(t) = M e^{it\xi} = \begin{cases} \sum_k e^{it x_k} p_k, & \text{дискретный случай} \\ \int_{-\infty}^\infty e^{itx} f(x)\,dx, & \text{непрерывный случай} \end{cases} $$

Характеристическая функция (ХФ) существует для любой СВ, так как $|e^{it\xi}| = 1$.

Свойства

1. $\varphi(0) = 1$, $|\varphi(t)| \le 1$.
2. $\varphi_{- \xi}(t) = \varphi_\xi(-t) = \overline{\varphi_\xi(t)}$.
3. Равномерная непрерывность на $\mathbb{R}$.
4. Положительная определённость: $\sum_{j,k} \varphi(t_j - t_k) z_j \overline{z}_k \ge 0$.
5. $\varphi_{a\xi + b}(t) = e^{itb} \varphi_\xi(at)$.
6. $\varphi_{\xi + \eta}(t) = \varphi_\xi(t) \cdot \varphi_\eta(t)$, если $\xi$ и $\eta$ независимы.
7. Моменты: если $M|\xi|^n < \infty$, то $\varphi_\xi^{(k)}(0) = i^k M\xi^k$, $k \le n$. Отсюда: $$M\xi^k = (-i)^k \varphi_\xi^{(k)}(0).$$
8. Формула обращения: Если $\int |\varphi(t)|\,dt < \infty$, то $$f(x) = \frac{1}{2\pi} \int_{-\infty}^\infty e^{-itx} \varphi(t)\,dt.$$

Теорема единственности

Характеристическая функция однозначно определяет распределение: $\varphi_\xi(t) = \varphi_\eta(t)\ \forall t \ \Leftrightarrow \ F_\xi = F_\eta$.

Теорема непрерывности (Леви–Крамера)

$F_n \xrightarrow{d} F$ $\Leftrightarrow$ $\varphi_n(t) \to \varphi(t)$ для всех $t$, где $\varphi$ — ХФ, соответствующая $F$, причём $\varphi(t)$ непрерывна в нуле.

7.2. Производящая функция (для целочисленных СВ)

Определение

Для СВ $\xi$, принимающей целые неотрицательные значения: $$ \psi_\xi(s) = M s^\xi = \sum_{k=0}^\infty s^k p_k, \quad |s| \le 1. $$

Свойства

1. $\psi(1) = 1$.
2. $\psi'(1) = M\xi$, $\psi''(1) = M\xi(\xi - 1)$.
3. $D\xi = \psi''(1) + \psi'(1) - [\psi'(1)]^2$.
4. $\psi_{\xi+\eta}(s) = \psi_\xi(s) \cdot \psi_\eta(s)$ при независимости.
5. $p_k = \frac{\psi^{(k)}(0)}{k!}$.

8. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ

8.1. Типы сходимости случайных величин

Связь между типами сходимости

$$ \text{п.н.} \ \Longrightarrow \ P \ \Longleftarrow \ L_p \ (p \ge 1) $$ $$ P \ \Longrightarrow \ d $$

Важно: Из сходимости по вероятности не следует сходимость почти наверное (но можно выделить подпоследовательность, сходящуюся п.н.). Из сходимости по распределению к константе следует сходимость по вероятности.

8.2. Закон больших чисел (ЗБЧ)

Слабый ЗБЧ (теорема Чебышёва)

Пусть $\xi_1, \dots, \xi_n$ — попарно независимые СВ с $D\xi_i \le C < \infty$. Тогда: $$ \frac{1}{n}\sum_{i=1}^n \xi_i - \frac{1}{n}\sum_{i=1}^n M\xi_i \xrightarrow{P} 0. $$

Усиленный ЗБЧ (теорема Колмогорова)

Пусть $\xi_1, \dots, \xi_n, \dots$ — независимые одинаково распределённые СВ. Тогда $\frac{1}{n}\sum \xi_i \xrightarrow{\text{п.н.}} a$ тогда и только тогда, когда $M|\xi_1| < \infty$, причём $a = M\xi_1$.

Сводка ЗБЧ

8.3. Центральная предельная теорема (ЦПТ)

Классическая ЦПТ (Линдеберга–Леви)

Пусть $\xi_1, \dots, \xi_n$ — независимые одинаково распределённые СВ с $M\xi_1 = a$, $D\xi_1 = \sigma^2 \in (0, \infty)$. Тогда: $$ \frac{S_n - na}{\sigma\sqrt{n}} \xrightarrow{d} \mathcal{N}(0, 1), $$ где $S_n = \sum_{i=1}^n \xi_i$. Эквивалентно: при больших $n$: $S_n \overset{\text{approx}}{\sim} \mathcal{N}(na, n\sigma^2)$.

ЦПТ Ляпунова

Пусть $\xi_1, \dots, \xi_n$ — независимые СВ с $M\xi_i = a_i$, $D\xi_i = \sigma_i^2 > 0$, и для некоторого $\delta > 0$ выполнено условие Ляпунова: $$ \frac{\sum_{i=1}^n M|\xi_i - a_i|^{2+\delta}}{\left(\sum_{i=1}^n \sigma_i^2\right)^{1 + \delta/2}} \xrightarrow{n \to \infty} 0. $$ Тогда $\frac{S_n - M S_n}{\sqrt{D S_n}} \xrightarrow{d} \mathcal{N}(0,1)$.

Интегральная теорема Муавра–Лапласа (частный случай ЦПТ)

Для $S_n \sim \operatorname{Bin}(n, p)$: $$ P(a \le S_n \le b) \approx \Phi_0\!\left(\frac{b - np + 0.5}{\sqrt{npq}}\right) - \Phi_0\!\left(\frac{a - np - 0.5}{\sqrt{npq}}\right), $$ где $\pm 0.5$ — поправка на непрерывность (поправка Йетса).

8.4. Выборочные аналоги и асимптотика

Выборочное среднее

При $n \to \infty$ и независимой выборке из распределения с $M = a$, $D = \sigma^2$: $$ \overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_i \sim \mathcal{N}\!\left(a, \frac{\sigma^2}{n}\right) \ \text{(приближённо, по ЦПТ)}. $$

Дельта-метод

Если $\sqrt{n}(\overline{X}_n - a) \xrightarrow{d} \mathcal{N}(0, \sigma^2)$ и функция $g$ дифференцируема в точке $a$, то: $$ \sqrt{n}\big(g(\overline{X}_n) - g(a)\big) \xrightarrow{d} \mathcal{N}\!\big(0, [g'(a)]^2 \sigma^2\big). $$

Типовые задачи и алгоритмы решения

► Задача 1. Применение ЦПТ. Алгоритм:

1. Проверить условия: СВ независимы и одинаково распределены (или условие Ляпунова).
2. Найти $a = M\xi_1$, $\sigma^2 = D\xi_1$.
3. $S_n = \sum \xi_i \overset{\text{approx}}{\sim} \mathcal{N}(na, n\sigma^2)$.
4. Стандартизовать: $\frac{S_n - na}{\sigma\sqrt{n}} \overset{\text{approx}}{\sim} \mathcal{N}(0,1)$.

Пример: 100 независимых СВ, каждая $U[0,1]$. $M\xi_1 = 0.5$, $D\xi_1 = 1/12$. $S_{100} \sim \mathcal{N}(50, 100/12)$. $P(S_{100} \le 55) \approx \Phi_0(\frac{55-50}{\sqrt{100/12}}) = \Phi_0(1.73) \approx 0.958$.

► Задача 2. Выбор между ЗБЧ и ЦПТ.

• Нужно показать сходимость среднего к константе → ЗБЧ (слабый или усиленный).
• Нужно оценить вероятность отклонения → ЦПТ (даёт нормальное приближение).
• Нужно показать существование предела почти наверное → УЗБЧ Колмогорова.

► Задача 3. Дельта-метод (практическое применение). Пример: $\overline{X}_n$ — среднее выборки из распределения с $M = a$. Оценить асимптотическую дисперсию $1/\overline{X}_n$. $g(x) = 1/x$, $g'(a) = -1/a^2$. $\sqrt{n}(1/\overline{X}_n - 1/a) \xrightarrow{d} \mathcal{N}(0, \sigma^2/a^4)$.

Типовые ошибки

⚠ Ошибка 1. Применение ЦПТ без проверки существования дисперсии. ЦПТ требует конечной дисперсии. Для распределения Коши дисперсия не существует — ЦПТ НЕ применима. Среднее выборки из Коши не сходится к нормальному.

⚠ Ошибка 2. ЦПТ даёт приближение, а не точное распределение. При малых $n$ нормальное приближение может быть плохим. Практическое правило: $n \ge 30$ для «хороших» распределений, больше — для асимметричных.

⚠ Ошибка 3. Смешивание типов сходимости. Из сходимости по вероятности НЕ следует сходимость почти наверное. Иерархия: п.н. $\Rightarrow$ по вероятности $\Rightarrow$ по распределению. Обратные импликации неверны.

⚠ Ошибка 4. ЗБЧ не говорит о скорости сходимости. «Среднее сходится к матожиданию» — но насколько быстро? При каких $n$ отклонение станет меньше $\varepsilon$? Для этого нужны неравенства (Чебышёв, Хёфдинг) или ЦПТ.

⚠ Ошибка 5. Путаница между слабым и усиленным ЗБЧ. Слабый ЗБЧ: сходимость по вероятности (менее сильное утверждение, более слабые условия). Усиленный ЗБЧ: сходимость почти наверное (более сильное утверждение, требует независимости и одинаковой распределённости).

Мнемонические правила

☞ ЦПТ: «Сумма многих независимых СВ приближённо нормальна, независимо от их распределения». В этом универсальность и важность нормального распределения.

☞ ЗБЧ: «При большом числе испытаний частота события приближается к его вероятности» (теорема Бернулли — исторически первый ЗБЧ). Это интуитивное основание всей теории вероятностей.

☞ Связь ЗБЧ и ЦПТ: «ЗБЧ говорит, что среднее СТРЕМИТСЯ к матожиданию. ЦПТ говорит, что отклонение среднего от матожидания, умноженное на $\sqrt{n}$, приближённо нормально». ЗБЧ — качественное утверждение, ЦПТ — количественное.

Приложения

Опросы общественного мнения: погрешность оценки доли $\approx z_{\alpha/2} \sqrt{p(1-p)/n}$. При $n=1000$, $p=0.5$ погрешность $\approx 3\%$. Страхование: расчёт резервов через ЦПТ. Финансы: модель ценообразования опционов (Блэк-Шоулз) основана на броуновском движении как пределе случайного блуждания. Физика: броуновское движение, диффузия, тепловой шум.

9. ЦЕПИ МАРКОВА

9.1. Определения и классификация

Определения

1. Случайный процесс в дискретном времени: $\{\xi_n\}_{n \ge 0}$ на $(\Omega, \mathcal{F}, P)$.
2. Цепь Маркова (с дискретным временем): Процесс со значениями в конечном или счётном множестве $S$, обладающий марковским свойством: $$P(\xi_{n+1} = j \mid \xi_0 = i_0, \dots, \xi_n = i_n) = P(\xi_{n+1} = j \mid \xi_n = i_n).$$ «Будущее не зависит от прошлого при известном настоящем».
3. Однородная цепь Маркова: $P(\xi_{n+1} = j \mid \xi_n = i) = p_{ij}$ — не зависит от $n$.
4. Матрица переходных вероятностей: $P = (p_{ij})$, где $p_{ij} \ge 0$, $\sum_j p_{ij} = 1$ (стохастическая матрица).
5. Распределение на шаге $n$: $\vec{\pi}^{(n)} = (\pi_1^{(n)}, \dots, \pi_N^{(n)})$, $\pi_i^{(n)} = P(\xi_n = i)$. $$\vec{\pi}^{(n)} = \vec{\pi}^{(0)} \cdot P^n.$$

Уравнение Чепмена–Колмогорова

$$ p_{ij}^{(n+m)} = \sum_{k \in S} p_{ik}^{(n)} p_{kj}^{(m)}, $$ где $p_{ij}^{(n)} = P(\xi_n = j \mid \xi_0 = i)$ — вероятность перехода за $n$ шагов. В матричной форме: $P^{(n+m)} = P^{(n)} \cdot P^{(m)} = P^{n+m}$.

Вероятность первого достижения и возвращения

1. Вероятность первого попадания: $f_{ij}^{(n)} = P(\xi_n = j, \xi_k \neq j, 1 \le k < n \mid \xi_0 = i)$.
2. Вероятность возвращения: $f_{ii} = \sum_{n=1}^\infty f_{ii}^{(n)}$.
3. Классификация состояний:
   • Состояние $i$ возвратно, если $f_{ii} = 1$; невозвратно, если $f_{ii} < 1$.
   • Возвратное состояние $i$ эргодично (положительно), если среднее время возврата $\mu_i = \sum n f_{ii}^{(n)} < \infty$; иначе — нулевое.

Стационарное распределение

Вектор $\vec{\pi}$ — стационарное распределение, если $\vec{\pi} = \vec{\pi} P$, $\sum_i \pi_i = 1$, $\pi_i \ge 0$.

Эргодическая теорема для цепей Маркова

Для неприводимой, апериодической, положительно возвратной цепи Маркова существует единственное стационарное распределение $\vec{\pi}$, и $$ \lim_{n \to \infty} p_{ij}^{(n)} = \pi_j \quad \forall i, j. $$

10. МАТЕМАТИЧЕСКАЯ СТАТИСТИКА: ОСНОВНЫЕ ПОНЯТИЯ

10.1. Выборка и её характеристики

Определения

1. Генеральная совокупность: Множество всех объектов, изучаемых в эксперименте.
2. Выборка: $n$ независимых наблюдений $X_1, \dots, X_n$ над СВ $\xi$ с ФР $F(x)$.
3. Репрезентативная выборка: Правильно отражает свойства генеральной совокупности (достигается случайным отбором).
4. Статистика: Любая измеримая функция от выборки $T = T(X_1, \dots, X_n)$, не зависящая от неизвестных параметров.
5. Вариационный ряд: Упорядоченные по возрастанию элементы выборки: $X_{(1)} \le X_{(2)} \le \dots \le X_{(n)}$.
6. Порядковые статистики: $X_{(k)}$ — $k$-я порядковая статистика. $X_{(1)}$ — минимум, $X_{(n)}$ — максимум, $X_{(n)} - X_{(1)}$ — размах.

Эмпирическая функция распределения (ЭФР)

$$ F_n^*(x) = \frac{1}{n} \sum_{i=1}^n \mathbf{1}_{\{X_i < x\}} = \frac{\text{число } X_i < x}{n}. $$

Теорема Гливенко–Кантелли: $\sup_x |F_n^*(x) - F(x)| \xrightarrow{\text{п.н.}} 0$.

Теорема Колмогорова: Если $F(x)$ непрерывна, то $\sqrt{n} \sup_x |F_n^*(x) - F(x)| \xrightarrow{d} K$, где $K$ — распределение Колмогорова.

Основные выборочные характеристики

Распределения выборочных характеристик (нормальная выборка)

Если $X_i \sim \mathcal{N}(a, \sigma^2)$ независимы:

11. ТОЧЕЧНОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ

11.1. Определения и свойства оценок

Определения

1. Параметрическая модель: $\mathcal{F} = \{F_\theta(x) \mid \theta \in \Theta \subset \mathbb{R}^k\}$.
2. Оценка: $\hat{\theta}_n = T(X_1, \dots, X_n)$ — статистика, используемая для приближения $\theta$.
3. Несмещённость: $M_\theta \hat{\theta}_n = \theta$ для всех $\theta \in \Theta$.
4. Асимптотическая несмещённость: $\lim_{n\to\infty} M_\theta \hat{\theta}_n = \theta$.
5. Состоятельность: $\hat{\theta}_n \xrightarrow{P} \theta$ при $n \to \infty$ (для всех $\theta$).
6. Эффективность: Оценка $\hat{\theta}$ эффективна в классе $K$, если $D\hat{\theta} \le D\tilde{\theta}$ для любой другой оценки $\tilde{\theta} \in K$.

Неравенство Крамера–Рао (нижняя граница дисперсии)

В условиях регулярности (носитель не зависит от $\theta$, можно дифференцировать под знаком интеграла): $$ D_\theta \hat{\theta}_n \ge \frac{1}{n I(\theta)}, $$ где $I(\theta)$ — информационное количество Фишера: $$ I(\theta) = M_\theta \left[\frac{\partial \ln f(X, \theta)}{\partial \theta}\right]^2 = -M_\theta \frac{\partial^2 \ln f(X, \theta)}{\partial \theta^2}. $$

Оценка, достигающая границы Крамера–Рао, называется эффективной.

11.2. Методы построения оценок

Метод моментов

Приравниваем $k$ первых теоретических моментов к выборочным и решаем систему: $$ \alpha_r(\theta) = A_r, \quad r = 1, \dots, k. $$

Пример (нормальное распределение): $\hat{a} = \overline{X}$, $\hat{\sigma}^2 = S^2$.

Метод максимального правдоподобия (ММП)

Функция правдоподобия: $L(\theta) = \prod_{i=1}^n f(X_i, \theta)$ (или $\prod p(X_i, \theta)$ в дискретном случае).

Логарифмическая функция правдоподобия: $\ell(\theta) = \ln L(\theta) = \sum_{i=1}^n \ln f(X_i, \theta)$.

Оценка максимального правдоподобия (ОМП): $\hat{\theta}_{\text{МП}} = \arg\max_\theta L(\theta)$.

Необходимое условие: $\frac{\partial \ell}{\partial \theta} = 0$ — уравнение правдоподобия.

Свойства ОМП

1. Состоятельность: $\hat{\theta}_{\text{МП}} \xrightarrow{P} \theta$ (при условиях регулярности).
2. Асимптотическая нормальность: $\sqrt{n}(\hat{\theta}_{\text{МП}} - \theta) \xrightarrow{d} \mathcal{N}(0, 1/I(\theta))$.
3. Асимптотическая эффективность: ОМП асимптотически достигает границы Крамера–Рао.
4. Инвариантность: если $\tau = g(\theta)$, то $\hat{\tau}_{\text{МП}} = g(\hat{\theta}_{\text{МП}})$.

Таблица ОМП для основных распределений

12. ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ

12.1. Определения и метод построения

Определения

1. Доверительный интервал уровня $\gamma = 1 - \alpha$: Случайный интервал $[L(X), R(X)]$ такой, что $P_\theta(L \le \theta \le R) = \gamma$.
2. Центральная статистика (pivot): Функция $G(X_1, \dots, X_n, \theta)$, распределение которой не зависит от неизвестных параметров.

Метод построения доверительных интервалов

1. Найти центральную статистику $G(X, \theta)$ с известным распределением.
2. Выбрать $g_1, g_2$ из условия $P(g_1 \le G \le g_2) = \gamma$.
3. Разрешить неравенство $g_1 \le G(X, \theta) \le g_2$ относительно $\theta$ $\Rightarrow$ $[L, R]$.

12.2. Стандартные доверительные интервалы (нормальная модель)

Предположение: $X_i \sim \mathcal{N}(a, \sigma^2)$ независимы.

Обозначения: $z_{p} = \Phi_0^{-1}(p)$ — $p$-квантиль $\mathcal{N}(0,1)$, $t_{p}(\nu)$ — $p$-квантиль распределения Стьюдента, $\chi^2_{p}(\nu)$ — $p$-квантиль хи-квадрат.

13. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ

13.1. Основные понятия

Определения

1. Статистическая гипотеза: Утверждение о распределении генеральной совокупности.
2. Нулевая гипотеза ($H_0$): Основное проверяемое предположение.
3. Альтернативная гипотеза ($H_1$): Противоречит $H_0$ (может быть односторонней или двусторонней).
4. Критерий: Правило, по которому $H_0$ принимается или отвергается на основе выборки.
5. Критическая область $K$: Множество значений статистики критерия, при которых $H_0$ отвергается.
6. Ошибка I рода: Отвергнуть $H_0$, когда она верна. $\alpha = P_{H_0}(\text{отвергнуть } H_0)$ — уровень значимости.
7. Ошибка II рода: Принять $H_0$, когда верна $H_1$. $\beta = P_{H_1}(\text{принять } H_0)$.
8. Мощность критерия: $W = 1 - \beta = P_{H_1}(\text{отвергнуть } H_0)$.
9. $p$-value (достигаемый уровень значимости): Наименьший уровень значимости, при котором $H_0$ отвергается при данном значении статистики. Правило: если $p\text{-value} < \alpha$, $H_0$ отвергается.

Лемма Неймана–Пирсона (для простых гипотез)

Наиболее мощный критерий уровня $\alpha$ для проверки $H_0: \theta = \theta_0$ против $H_1: \theta = \theta_1$ задаётся отношением правдоподобия: $$ \Lambda(x) = \frac{L(\theta_1)}{L(\theta_0)} > c_\alpha, $$ где $c_\alpha$ выбирается из условия $P_{H_0}(\Lambda > c_\alpha) = \alpha$.

Критерий отношения правдоподобия (для сложных гипотез)

$$ \Lambda = \frac{\sup_{\theta \in \Theta_0} L(\theta)}{\sup_{\theta \in \Theta} L(\theta)}. $$ При $H_0$ и условиях регулярности: $-2\ln\Lambda \xrightarrow{d} \chi^2(r)$, где $r = \dim\Theta - \dim\Theta_0$.

13.2. Критерии согласия (проверка типа распределения)

Критерий $\chi^2$ Пирсона

$H_0$: выборка из распределения $F_0(x)$. Разбиваем на $m$ интервалов. Пусть $n_i$ — эмпирические частоты, $np_i$ — теоретические.

Статистика: $$ \chi^2 = \sum_{i=1}^m \frac{(n_i - np_i)^2}{np_i}. $$

При $H_0$: $\chi^2 \xrightarrow{d} \chi^2(m - 1 - k)$, где $k$ — число оценённых по выборке параметров.

Критерий Колмогорова–Смирнова

Статистика: $D_n = \sup_x |F_n^*(x) - F_0(x)|$. При $H_0$: $\sqrt{n} D_n \xrightarrow{d} K$ (распределение Колмогорова).

Применение: только для непрерывных распределений; параметры распределения должны быть полностью известны (не оцениваются по выборке).

13.3. Критерии для нормальных выборок

13.4. Непараметрические критерии

Типовые задачи по матстатистике и алгоритмы решения

► Задача 1. Построение доверительного интервала для среднего. Алгоритм:

1. Вычислить $\overline{X}$ и $s$ по выборке.
2. Выбрать уровень доверия $\gamma = 1 - \alpha$ (обычно $0.95$).
3. Если $\sigma$ известна: $\overline{X} \pm z_{1-\alpha/2} \cdot \sigma/\sqrt{n}$.
4. Если $\sigma$ неизвестна: $\overline{X} \pm t_{1-\alpha/2}(n-1) \cdot s/\sqrt{n}$.

Интерпретация: «С вероятностью 0.95 истинное среднее лежит в интервале $[L, R]$». Это НЕ значит, что «среднее с вероятностью 0.95 попадает в интервал» — среднее фиксировано, интервал случаен!

► Задача 2. Проверка гипотезы о среднем ($t$-тест). Алгоритм:

1. $H_0: a = a_0$, $H_1: a \neq a_0$ (двусторонняя) или $a > a_0$ (правосторонняя).
2. Вычислить $T = (\overline{X} - a_0)/(s/\sqrt{n})$.
3. Сравнить $|T|$ с $t_{1-\alpha/2}(n-1)$ (для двусторонней).
4. Если $|T| > t_{\text{крит}}$, отвергаем $H_0$.

Пример: Выборка $n=16$, $\overline{X}=105$, $s=10$, $a_0=100$. $T = (105-100)/(10/4) = 2.0$. $t_{0.975}(15)=2.131$. $|T|=2.0 < 2.131$ — НЕ отвергаем $H_0$ на уровне $\alpha=0.05$.

► Задача 3. Критерий хи-квадрат Пирсона. Алгоритм:

1. Разбить данные на $m$ интервалов (категорий).
2. $O_i$ — наблюдаемая частота, $E_i$ — ожидаемая при $H_0$.
3. $\chi^2 = \sum (O_i - E_i)^2/E_i$.
4. Сравнить с $\chi^2_{1-\alpha}(m-1-k)$.

Важно: $E_i \ge 5$ для каждого интервала (объединять интервалы при необходимости).

► Задача 4. ОМП vs Метод моментов.

Свойство	ОМП	Метод моментов
Состоятельность	Да (при регулярности)	Да
Асимптотическая эффективность	Да (достигает границы Крамера–Рао)	Нет (в общем случае)
Сложность вычисления	Требует оптимизации	Решение системы уравнений
Инвариантность	$\widehat{g(\theta)} = g(\hat{\theta})$	Нет

Типовые ошибки в матстатистике

⚠ Ошибка 1. Неправильная интерпретация доверительного интервала. «Вероятность того, что $\theta$ лежит в $[L, R]$, равна 0.95» — НЕВЕРНО! $\theta$ — не случайная величина. Правильно: «Если мы повторим эксперимент много раз, в 95% случаев интервал накроет истинное $\theta$».

⚠ Ошибка 2. $p$-value — это НЕ вероятность $H_0$. Маленькое $p$-value ($< 0.05$) означает: «Если $H_0$ верна, вероятность получить такие или более экстремальные данные мала». Это НЕ «вероятность того, что $H_0$ верна».

⚠ Ошибка 3. Принятие $H_0$ вместо «не отвергаем $H_0$». Статистический критерий не доказывает $H_0$. Если $|T| < t_{\text{крит}}$, мы говорим «недостаточно свидетельств против $H_0$», а не «$H_0$ верна».

⚠ Ошибка 4. Множественное тестирование без поправок. Проверка 20 гипотез на уровне $\alpha=0.05$ даёт $\approx 1$ ложное отвержение $H_0$ в среднем. Используйте поправку Бонферрони: $\alpha_{\text{скорр}} = \alpha/m$.

⚠ Ошибка 5. Смешивание смещённой и несмещённой дисперсии. $S^2 = \frac{1}{n}\sum(X_i - \overline{X})^2$ (смещённая), $s^2 = \frac{1}{n-1}\sum(X_i - \overline{X})^2$ (несмещённая). В $t$-тесте и доверительных интервалах используется $s^2$ (несмещённая).

⚠ Ошибка 6. Применение $t$-теста к ненормальным данным. $t$-тест предполагает нормальность выборки. Для больших выборок ($n \ge 30$) работает ЦПТ. Для малых выборок из ненормального распределения используйте непараметрические критерии (Уилкоксон, Манн-Уитни).

⚠ Ошибка 7. Корреляция ≠ причинность. Высокий коэффициент корреляции между $X$ и $Y$ НЕ означает, что $X$ вызывает $Y$. Классический пример: корреляция между продажами мороженого и числом утоплений (общий фактор — жаркая погода).

Мнемонические правила

☞ Доверительный интервал: «Точечная оценка ± квантиль × стандартная ошибка». Универсальный шаблон: $\hat{\theta} \pm q_{1-\alpha/2} \cdot SE(\hat{\theta})$.

☞ $p$-value: «Вероятность данных при условии $H_0$». Правило: $p < \alpha$ → отвергаем $H_0$. Мнемоника: «P is low, null must go».

☞ Ошибки I и II рода: «Ошибка I рода — ложная тревога (здорового признали больным). Ошибка II рода — пропуск цели (больного признали здоровым)». Уровень значимости $\alpha$ контролирует ошибку I рода.

☞ Степени свободы: В $t$-тесте для одной выборки $df = n-1$. Для двух выборок $df = n_1 + n_2 - 2$. «Сколько элементов могут варьироваться свободно при фиксированной сумме».

Приложения матстатистики

A/B тестирование: сравнение двух версий сайта через $t$-тест. Медицина: клинические испытания (контрольная группа vs лечение). Экономика: эконометрические модели, проверка гипотез о коэффициентах. Машинное обучение: оценка качества моделей, бутстреп-доверительные интервалы. Контроль качества: контрольные карты Шухарта (выход за $3\sigma$ — сигнал к действию).

14. КОРРЕЛЯЦИОННЫЙ И РЕГРЕССИОННЫЙ АНАЛИЗ

14.1. Корреляционный анализ

Выборочный коэффициент корреляции Пирсона

$$ r = \frac{\sum_{i=1}^n (X_i - \overline{X})(Y_i - \overline{Y})}{\sqrt{\sum (X_i - \overline{X})^2 \sum (Y_i - \overline{Y})^2}} = \frac{\widehat{\operatorname{cov}}(X,Y)}{s_X s_Y}. $$

Свойства $r$

1. $|r| \le 1$.
2. $r \approx \pm 1$ — сильная линейная связь.
3. $r \approx 0$ — отсутствие линейной связи (но возможна нелинейная!).
4. $r$ — состоятельная оценка $\rho$, но смещена при малых $n$.

Проверка значимости корреляции

$H_0: \rho = 0$. При $H_0$ и предположении нормальности: $$ T = \frac{r\sqrt{n-2}}{\sqrt{1 - r^2}} \sim t(n-2). $$

14.2. Линейная регрессия

Модель простой линейной регрессии

$$ Y_i = \beta_0 + \beta_1 x_i + \varepsilon_i, \quad \varepsilon_i \sim \mathcal{N}(0, \sigma^2) \ \text{независимы}. $$

Метод наименьших квадратов (МНК)

Минимизируем сумму квадратов остатков: $Q = \sum_{i=1}^n (Y_i - \beta_0 - \beta_1 x_i)^2 \to \min$.

МНК-оценки

$$ \hat{\beta}_1 = \frac{\sum (x_i - \overline{x})(Y_i - \overline{Y})}{\sum (x_i - \overline{x})^2} = r \cdot \frac{s_Y}{s_X}, $$ $$ \hat{\beta}_0 = \overline{Y} - \hat{\beta}_1 \overline{x}. $$

Основные соотношения

1. $M\hat{\beta}_1 = \beta_1$, $D\hat{\beta}_1 = \frac{\sigma^2}{\sum (x_i - \overline{x})^2}$.
2. $M\hat{\beta}_0 = \beta_0$, $D\hat{\beta}_0 = \sigma^2 \left(\frac{1}{n} + \frac{\overline{x}^2}{\sum (x_i - \overline{x})^2}\right)$.
3. Несмещённая оценка $\sigma^2$: $S^2_{\text{ост}} = \frac{\sum (Y_i - \hat{Y}_i)^2}{n-2}$.
4. Разложение дисперсии: $TSS = RSS + ESS$: $$ \sum (Y_i - \overline{Y})^2 = \sum (\hat{Y}_i - \overline{Y})^2 + \sum (Y_i - \hat{Y}_i)^2. $$
5. Коэффициент детерминации: $R^2 = \frac{RSS}{TSS} = 1 - \frac{ESS}{TSS} = r^2$.

Доверительные интервалы для коэффициентов регрессии

$$ \hat{\beta}_j \pm t_{1-\alpha/2}(n-2) \cdot SE(\hat{\beta}_j), \quad j = 0, 1. $$

Доверительный интервал для прогноза $Y$ при $x = x_0$

$$ \hat{Y}_0 \pm t_{1-\alpha/2}(n-2) \cdot S_{\text{ост}} \sqrt{1 + \frac{1}{n} + \frac{(x_0 - \overline{x})^2}{\sum (x_i - \overline{x})^2}}. $$

14.3. Множественная линейная регрессия

Модель (матричная форма)

$$ \mathbf{Y} = \mathbf{X} \boldsymbol{\beta} + \boldsymbol{\varepsilon}, \quad \boldsymbol{\varepsilon} \sim \mathcal{N}(\mathbf{0}, \sigma^2 \mathbf{I}). $$

где $\mathbf{Y}$ — $n \times 1$, $\mathbf{X}$ — $n \times (p+1)$ (столбец единиц + $p$ предикторов), $\boldsymbol{\beta}$ — $(p+1) \times 1$.

МНК-оценки

$$ \hat{\boldsymbol{\beta}} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{Y}. $$

Условие: матрица $\mathbf{X}^T \mathbf{X}$ обратима (нет мультиколлинеарности).

Свойства

1. $M\hat{\boldsymbol{\beta}} = \boldsymbol{\beta}$ (несмещённость).
2. $\operatorname{Cov}(\hat{\boldsymbol{\beta}}) = \sigma^2 (\mathbf{X}^T \mathbf{X})^{-1}$.
3. Теорема Гаусса–Маркова: При предположениях $M\boldsymbol{\varepsilon} = \mathbf{0}$, $\operatorname{Cov}(\boldsymbol{\varepsilon}) = \sigma^2 \mathbf{I}$ (без нормальности), МНК-оценки — BLUE (Best Linear Unbiased Estimators) — наилучшие в классе линейных несмещённых оценок.

Скорректированный $R^2$

$$ R_{\text{adj}}^2 = 1 - \frac{(1-R^2)(n-1)}{n-p-1}. $$

$F$-тест на значимость регрессии

$H_0: \beta_1 = \dots = \beta_p = 0$. Статистика: $$ F = \frac{R^2 / p}{(1-R^2)/(n-p-1)} \sim F(p, n-p-1) \ \text{при } H_0. $$

$t$-тесты на значимость отдельных коэффициентов

$H_0: \beta_j = 0$. $T_j = \frac{\hat{\beta}_j}{SE(\hat{\beta}_j)} \sim t(n-p-1)$ при $H_0$.

15. ОДНОФАКТОРНЫЙ ДИСПЕРСИОННЫЙ АНАЛИЗ (ANOVA)

15.1. Модель и проверка гипотезы

Модель

Имеется $k$ групп (уровней фактора), в каждой $n_i$ наблюдений: $$ Y_{ij} = \mu + \alpha_i + \varepsilon_{ij}, \quad i = 1,\dots,k, \ j = 1,\dots,n_i, $$ где $\varepsilon_{ij} \sim \mathcal{N}(0, \sigma^2)$ независимы, $\sum_{i=1}^k n_i \alpha_i = 0$ (контраст).

$H_0$: $\alpha_1 = \dots = \alpha_k = 0$ (нет эффекта фактора). $H_1$: хотя бы одно $\alpha_i \neq 0$.

Разложение вариации

$$ SS_T = SS_B + SS_W, $$ где:

$N = \sum n_i$, $\overline{Y}$ — общее среднее, $\overline{Y}_i$ — групповое среднее.

$F$-критерий Фишера

$$ F = \frac{MS_B}{MS_W} = \frac{SS_B / (k-1)}{SS_W / (N-k)} \sim F(k-1, N-k) \ \text{при } H_0. $$

Если $F > F_{\text{крит}} = F_{1-\alpha}(k-1, N-k)$, $H_0$ отвергается.

16. СЛУЧАЙНЫЕ ПРОЦЕССЫ (ОСНОВЫ)

16.1. Определения и классификация

Определения

1. Случайный процесс: Семейство СВ $\{\xi(t), t \in T\}$, где $T$ — множество индексов (обычно $T \subset \mathbb{R}$ — время).
2. Реализация (траектория): $\xi(t, \omega)$ при фиксированном $\omega$ — функция от $t$.
3. Сечение процесса: $\xi(t)$ при фиксированном $t$ — случайная величина.
4. Конечномерные распределения: Совместные ФР $F_{t_1, \dots, t_n}(x_1, \dots, x_n)$ для любого конечного набора моментов времени.
5. Гауссовский (нормальный) процесс: Все конечномерные распределения нормальны.

Основные характеристики

1. Математическое ожидание: $m(t) = M\xi(t)$.
2. Ковариационная функция: $K(t_1, t_2) = \operatorname{cov}(\xi(t_1), \xi(t_2)) = M[(\xi(t_1)-m(t_1))(\xi(t_2)-m(t_2))]$.
3. Дисперсионная функция: $D(t) = K(t, t)$.

16.2. Стационарные процессы

Определения

1. Стационарный в узком смысле: Все конечномерные распределения инвариантны относительно сдвига по времени: $F_{t_1+\tau,\dots,t_n+\tau} = F_{t_1,\dots,t_n}$.
2. Стационарный в широком смысле (по Хинчину):
   • $m(t) = m = \text{const}$;
   • $K(t_1, t_2) = K(t_1 - t_2)$ — зависит только от разности аргументов. Обозначают $K(\tau) = \operatorname{cov}(\xi(t), \xi(t+\tau))$.

Свойства ковариационной функции стационарного процесса

1. $K(0) = D\xi(t) \ge 0$.
2. $K(-\tau) = K(\tau)$ (чётность для вещественных процессов).
3. $|K(\tau)| \le K(0)$.
4. $K(\tau)$ — положительно определённая функция (теорема Бохнера–Хинчина).

Спектральная плотность (теорема Винера–Хинчина)

Если $K(\tau)$ — ковариационная функция стационарного процесса, то существует спектральная плотность: $$ S(\omega) = \frac{1}{2\pi} \int_{-\infty}^\infty K(\tau) e^{-i\omega \tau}\,d\tau, \quad K(\tau) = \int_{-\infty}^\infty S(\omega) e^{i\omega \tau}\,d\omega. $$

16.3. Пуассоновский процесс

Определение

Однородный пуассоновский процесс $\{N(t), t \ge 0\}$ — это процесс с независимыми приращениями, такой что $N(0) = 0$ и для любых $0 \le s < t$: $$ P(N(t) - N(s) = k) = \frac{[\lambda (t-s)]^k}{k!} e^{-\lambda(t-s)}. $$

Свойства

1. $M N(t) = \lambda t$, $D N(t) = \lambda t$.
2. Времена между последовательными событиями $\tau_i$ независимы и $\tau_i \sim \operatorname{Exp}(\lambda)$.
3. Корреляционная функция: $K(s, t) = \lambda \min(s, t)$.
4. Принцип суперпозиции: сумма независимых пуассоновских процессов — пуассоновский процесс.

16.4. Винеровский процесс (броуновское движение)

Определение

$\{W(t), t \ge 0\}$ — процесс с независимыми стационарными гауссовскими приращениями:

1. $W(0) = 0$ п.н.
2. Приращения $W(t) - W(s) \sim \mathcal{N}(0, t - s)$ при $t > s$.
3. Приращения на непересекающихся интервалах независимы.
4. Траектории непрерывны п.н.

Свойства

1. $M W(t) = 0$, $D W(t) = t$.
2. $K(s, t) = \min(s, t)$.
3. Траектории нигде не дифференцируемы (п.н.).
4. Процесс автомоделен: $W(at) \sim \sqrt{a}\,W(t)$ (в смысле равенства распределений).

ПРИЛОЖЕНИЕ A: ТАБЛИЦЫ ОСНОВНЫХ РАСПРЕДЕЛЕНИЙ

A.1. Дискретные распределения (сводная таблица)

A.2. Непрерывные распределения (сводная таблица)

ПРИЛОЖЕНИЕ B: ТАБЛИЦЫ КРИТИЧЕСКИХ ЗНАЧЕНИЙ

B.1. Квантили стандартного нормального распределения $\Phi_0^{-1}(p) = z_p$

Пояснение: $z_p$ — односторонний $p$-квантиль: $P(Z \le z_p) = p$. Двусторонний $z_{1-\alpha/2}$: $P(|Z| \le z_{1-\alpha/2}) = 1 - \alpha$. Стандартные $\alpha$: $0.10 \to 1.645$, $0.05 \to 1.960$, $0.01 \to 2.576$.

B.2. Квантили распределения Стьюдента $t_{1-\alpha}(n)$ (односторонние)

Для двустороннего критерия используйте $t_{1-\alpha/2}(n)$.

B.3. Квантили распределения хи-квадрат $\chi^2_{1-\alpha}(n)$ (правосторонние)

B.4. Квантили распределения Фишера $F_{1-\alpha}(m, n)$ ($\alpha = 0.05$)

Правосторонние критические значения для уровня значимости $\alpha = 0.05$.

Примечание: $m$ — число степеней свободы числителя, $n$ — знаменателя. Для двустороннего критерия уровня $\alpha$ используются $F_{1-\alpha/2}$ и $F_{\alpha/2} = 1/F_{1-\alpha/2}(n, m)$.

ПРИЛОЖЕНИЕ C: ШПАРГАЛКА ПО ФОРМУЛАМ (QUICK REFERENCE)

C.1. Основные формулы теории вероятностей

C.2. Основные формулы математической статистики

C.3. Предельные теоремы (кратко)

C.4. Доверительные интервалы (кратко)

ПРИЛОЖЕНИЕ D: БИБЛИОГРАФИЯ И РЕСУРСЫ

D.1. Классические учебники

D.2. Задачники и справочники

D.3. Онлайн-ресурсы и материалы

Связанные статьи на сайте

• Комбинаторика: формулы, задачи, применения
• Формула Байеса: интуиция, примеры, парадоксы
• Схема Бернулли: 10 задач с решениями
• Математическое ожидание: от монетки до инвестиций