Биномиальный предел и центральная предельная теорема

Если выводишь масштаб σ√n, различаешь предел и конечную гарантию и можешь объяснить биномиальную поправку 0,5, переходи к «Теперь сам».

Как думаешь, что становится нормальным при усреднении

У каждого наблюдения среднее μ и дисперсия σ². У суммы n независимых наблюдений среднее nμ и дисперсия nσ². У среднего дисперсия σ²/n: оно становится всё теснее вокруг μ. Значит само среднее не стремится к колоколу фиксированной ширины. Нужно сначала вычесть μ и разделить на σ/√n.

Сумма ста зависимых копий одного и того же случайного Z ведёт себя иначе: среднее остаётся Z. Одинаковое распределение каждого слагаемого не заменяет независимости. Нормальная форма не возникает только потому, что в выражении написан большой знак суммы.

На что это похоже

Чтобы сравнить изображения одной точки с разной точностью, сначала совмещают их центры, затем растягивают маленький разброс до общего масштаба. Центрирование убирает накопленный сдвиг nμ, деление на σ√n уравнивает дисперсию суммы.

После этого можно сравнивать форму распределений при разных n. Слишком сильное деление сожмёт всё к нулю, слишком слабое оставит разброс расти. Корень из n появляется из сложения независимых дисперсий, а не из догадки о форме графика.

Механизм: локальный биномиальный предел

Пусть S~Bin(n,p), p фиксировано между 0 и 1, q=1−p. Вероятность S=k равна C(n,k)p^kq^(n−k). Формула Стирлинга m!≈√(2πm)(m/e)^m означает, что отношение правой и левой частей стремится к 1 при m→∞. Подстановка для n!,k!, (n−k)! объясняет нормальную форму около np.

Положим r=k/n. В логарифме вероятности главным показателем будет −n[r ln(r/p)+(1−r)ln((1−r)/q)]. В квадратных скобках при r=p значение и линейная поправка нулевые. Из ln(1+x)=x−x²/2+O(x³) получаем для r=p+δ δ²/(2pq)+O(δ³). Если k=np+z√(npq) и z ограничен, δ имеет порядок 1/√n, поэтому nδ³→0. Нормировка Стирлинга даёт P(S=k)≈exp(−z²/2)/√(2πnpq). Это высота стандартного колокола, умноженная на ширину одного целочисленного шага 1/√(npq) в масштабе z.

Правило

Если Xi независимы, одинаково распределены, E[Xi]=μ, Var(Xi)=σ² с 0<σ²<∞, то Zₙ=(ΣXi−nμ)/(σ√n) имеет CDF, стремящийся к Φ в каждой вещественной точке. При дополнительном условии ρ₃=E|Xi−μ|³<∞ существует универсальная константа C, такая что supₓ|P(Zₙ≤x)−Φ(x)|≤Cρ₃/(σ³√n).

Первое утверждение - центральная предельная теорема, второе - оценка Берри-Эссеена. Их условия различаются. Одна конечная дисперсия даёт предел, но не эту скорость 1/√n с конечной указанной константой. ЦПТ не обещает равенства распределений при любом конечном размере выборки.

Разбор: почему предел зависит от первых двух моментов

Объясним механизм для общего закона без предположения о конечной MGF. У стандартированного X среднее 0 и дисперсия 1. Его характеристическая функция ψ(t)=E[exp(itX)], где i²=−1 и exp(iu)=cos(u)+i sin(u), всегда существует: это средняя точка единичной окружности, её модуль не больше 1. Средние действительной и мнимой частей считаются по отдельности.

Локальное разложение exp(iu)=1+iu−u²/2+u²r(u) имеет ограниченный остаток r(u), стремящийся к нулю при u→0. Поэтому ψ(h)=1−h²/2+o(h²). Обмен среднего и малой поправки здесь оправдывает конечный второй момент: сначала отсекаем хвост с малым E[X²] за большим порогом, затем на ограниченном участке r(hX) равномерно стремится к нулю. Так среднее остатка X²r(hX) исчезает.

Независимость даёт характеристическую функцию суммы как произведение: ψZₙ(t)=[ψ(t/√n)]^n→exp(−t²/2). Это характеристическая функция стандартной нормали. Её можно проверить интегрированием нормальной плотности. Штрих обозначает производную, скорость изменения функции по аргументу. У g(t)=E[exp(itZ)] имеем g'(t)=iE[Zexp(itZ)]. Для плотности φ'(z)=−zφ(z). Формула интегрирования по частям ∫u v'=uv−∫u'v при u=exp(itz), v=φ(z) даёт ∫zφ(z)exp(itz)dz=it∫φ(z)exp(itz)dz: граничный член исчезает, поскольку φ убывает к нулю. Значит g'=-tg, а g(0)=1 даёт g(t)=exp(−t²/2).

Стандартная теорема непрерывности для характеристических функций связывает этот предел с распределением: если функции сходятся к характеристической функции закона, непрерывной при нуле, то распределения сходятся к этому закону; CDF сходятся в его точках непрерывности. Здесь предельная Φ непрерывна всюду. Это и завершает вывод ЦПТ. MGF даёт похожее доказательство, когда она конечна около нуля, но такое дополнительное условие не следует из одной конечной дисперсии.

import math


def phi(z):
    return 0.5 * (1 + math.erf(z / math.sqrt(2)))


n, p, cutoff = 100, 0.4, 45
mean = n * p
sd = math.sqrt(n * p * (1 - p))
exact = sum(math.comb(n, k) * p ** k * (1 - p) ** (n - k)
            for k in range(cutoff + 1))
plain = phi((cutoff - mean) / sd)
corrected = phi((cutoff + 0.5 - mean) / sd)
print("точное P(S<=45) =", f"{exact:.6f}")
print("нормальное без поправки =", f"{plain:.6f}")
print("с поправкой 0.5 =", f"{corrected:.6f}")
for p in [0.5, 0.01, 0.001]:
    moment_ratio = ((1 - p) ** 2 + p ** 2) / math.sqrt(p * (1 - p))
    print("p", p, "множитель третьего момента =",
          f"{moment_ratio:.6f}")
print("план выборки по нормальному приближению =",
      math.ceil(1.96 ** 2 / (4 * 0.05 ** 2)))

точное P(S<=45) = 0.868910
нормальное без поправки = 0.846283
с поправкой 0.5 = 0.869214
p 0.5 множитель третьего момента = 1.000000
p 0.01 множитель третьего момента = 9.851381
p 0.001 множитель третьего момента = 31.575386
план выборки по нормальному приближению = 385

Для Bin(100,0,4) программа сравнивает точную конечную сумму с двумя нормальными приближениями. Порог 45,5 лучше представляет ячейки целочисленных значений до 45: нормальная плотность непрерывна, а биномиальная масса лежит в отдельных целых точках. Такая поправка непрерывности полезна в примере, но не превращает приближение в доказанную точную вероятность.

Разбор: план выборки и предел его обещания

У доли успехов p среднее выборки имеет дисперсию p(1−p)/n. Нормальное приближение даёт около 95% массы в пределах 1,96√(p(1−p)/n) от p. Для погрешности 0,05 используем p(1−p)≤1/4: n≥1,96²/(4·0,05²)=384,16, округляем до 385. Это план на основе аппроксимации, а не безусловная точная гарантия покрытия для каждого p при n=385.

Почему нельзя объявить n=30 достаточным всегда? Для Бернулли отношение третьего абсолютного момента к σ³ равно [(1−p)²+p²]/√(p(1−p)). При p=1/2 оно равно 1, при p=0,001 примерно 31,58. Одинаковый n даёт разные оценки ошибки, а при малом np сумма часто близка к нулю и далека от симметричного колокола. Для строгой конечной гарантии используй подходящую неасимптотическую оценку, например Хёфдинга, с её собственными условиями.

Что ломается без этого

Забывают центрировать сумму или делят на nσ вместо σ√n. Первый вариант сохраняет растущий сдвиг, второй сжимает разброс к нулю. Также нельзя проверять только похожие гистограммы: зависимые наблюдения или бесконечная дисперсия могут нарушать условия теоремы.

Ещё одна ошибка - превратить нормальный интервал в утверждение, что фиксированный неизвестный параметр после опыта имеет 95% вероятность лежать внутри конкретного интервала без дополнительной байесовской модели. В частотном смысле 95% относится к повторениям всей процедуры: случайны получающиеся интервалы при одном истинном параметре.

Зачем это в работе

ЦПТ объясняет нормальный масштаб случайной суммы и помогает планировать оценку средней нагрузки по независимым наблюдениям. Условия и оценка скорости подсказывают, когда грубое приближение опасно: редкие успехи, сильная зависимость или тяжёлые хвосты. Для алгоритмической гарантии конечного размера выбирай результат, который действительно ограничивает ошибку при этом размере.

Теперь сам

У Xi среднее 5 и стандартное отклонение 4, наблюдений 64. Найди среднее и стандартное отклонение суммы, затем среднего. Достаточно ли этих чисел, чтобы обещать точность нормальной аппроксимации 0,01?