Конспект: нормальная модель, пределы и правдоподобие

Понятия

Стандартная нормаль Z~N(0,1) имеет плотность exp(−z²/2)/√(2π). Нормаль N(μ,σ²) получается как μ+σZ; второй параметр - дисперсия. MGF M(t)=E[exp(tX)] кодирует экспоненциальные моменты. Характеристическая функция E[exp(itX)] существует и без конечной MGF.

Совместная нормальность задаётся X=AZ+μ с независимыми стандартными Z. Ковариация Σ=AAᵀ описывает общий разброс и связь координат. MLE максимизирует правдоподобие заданной модели при фиксированных данных. EM чередует вероятности скрытых типов и обучение взвешенных компонент.

Что унести

Стандартизация: z=(x-μ)/σ, не (x-μ)/σ²
P(a≤X≤b)=Φ((b-μ)/σ)-Φ((a-μ)/σ)
M(t)=exp(μt+σ²t²/2)
При независимой сумме нормалей складываются средние и дисперсии.
При a≥0: P(|X-μ|≥aσ)≤min(1,2exp(-a²/2)).

Ошибку знака S+Y при S∈{−1,+1} и независимом Y~N(0,σ²) считай по условным событиям с весами S. Она равна 1−Φ(1/σ). Число 2[1−Φ(1/σ)] - вероятность |Y|≥1, другой вопрос.

Предельные законы

При Xi независимых, одинаково распределённых, с конечным средним μ и 0<σ²<∞:

(ΣXi-nμ)/(σ√n) сходится по распределению к N(0,1)
E[среднего]=μ, Var(среднего)=σ²/n

Для Bin(n,p) среднее np, дисперсия np(1−p). Формула Стирлинга даёт локальную нормальную массу около np. Поправка порога на 0,5 учитывает целочисленные ячейки, но остаётся приближением.

При конечном третьем абсолютном центральном моменте ρ3 Берри-Эссеен даёт ошибку C·ρ3/(σ³√n), где C универсальна. Конечная дисперсия сама по себе не даёт этой скорости. План n=385 для погрешности 0,05 и коэффициента 1,96 основан на нормальной аппроксимации, а не точной конечной гарантии для всех p.

Векторы и генерация

Σ симметрична и cᵀΣc≥0. При обратимой Σ обычная плотность:

f(x)=exp(-(x-μ)ᵀΣ⁻¹(x-μ)/2)/sqrt((2π)^d detΣ)
условное среднее Xi при Xj=xj:
    μi+Σij Σjj⁻¹(xj-μj)
условная ковариация:
    Σii-Σij Σjj⁻¹ Σji

Нужна обратимость Σjj. Нулевая перекрёстная ковариация даёт независимость для совместно нормального вектора; нормальности отдельных координат мало. При вырожденной Σ носитель имеет меньшую размерность, формула с обратной матрицей не применяется.

Бокс-Мюллер: R=√(−2ln U1), θ=2πU2, затем Rcosθ,Rsinθ. Полярный метод: a,b равномерны в (−1,1), принять 0<s=a²+b²<1; вернуть a√(−2ln(s)/s), b√(−2ln(s)/s). Вероятность принятия π/4. Сумма 12 равномерных минус 6 имеет два нужных момента, но ограниченный диапазон и потому лишь приближает нормаль.

Оценивание и EM

При положительном наблюдаемом разбросе нормальная MLE:

μhat=среднее x
vhat=сумма (xi-μhat)² / n
E[vhat]=(n-1)σ²/n
несмещённая оценка дисперсии делит ту же сумму на n-1, n≥2

При нулевом разбросе максимум нормального правдоподобия с v>0 не достигается: плотность растёт при v→0. MLE не является вероятностью параметра после наблюдения данных.

Смесь: p(x)=сумма αj fj(x)
E-шаг: rij=αj fj(xi)/p(xi)
Wj=сумма_i rij
M-шаг: αj=Wj/n
       μj=сумма_i rij*xi / Wj
       vj=сумма_i rij*(xi-μj)² / Wj

M-шаг максимизирует Q с фиксированными rij. Йенсен даёт касающуюся нижнюю границу и монотонность наблюдаемого лог-правдоподобия. Это не гарантирует глобальный максимум, конечную остановку или отсутствие седловых точек. Без ограничения дисперсий смесь может иметь неограниченное правдоподобие. Одинаковый старт компонент способен сохранить симметрию.

Ловушки джокера

Нормальные маргинальные законы выдать за совместную нормаль. Пара X=Z,Y=BZ с независимым случайным знаком B имеет нормальные координаты, нулевую ковариацию и явную зависимость |X|=|Y|.

MGF считать всегда существующей. Общая ЦПТ с конечной дисперсией не требует MGF около нуля; характеристические функции закрывают этот случай.

MLE делить на n−1. Это меняет оптимизационную цель на требование несмещённости.

Рост правдоподобия считать успехом модели. Возможны вырождение, разные стационарные точки и неограниченная цель; нужны условия и проверки.