Максимальное правдоподобие и смещение оценки дисперсии

Если отличаешь правдоподобие от вероятности параметра и можешь вывести знаменатели n и n−1, переходи к «Теперь сам».

Как думаешь, почему две оценки дисперсии различаются

Наблюдения равны 0 и 2. Среднее равно 1, сумма квадратов отклонений равна 2. Одно правило делит её на n=2 и получает 1, другое на n−1=1 и получает 2. Какое значение правильно?

Ответ зависит от цели. Максимум правдоподобия нормальной модели выбирает 1. Несмещённая оценка генеральной дисперсии выбирает 2, чтобы её среднее по повторным выборкам совпадало с истинным параметром. Нельзя объявить один знаменатель опечаткой, не назвав задачу оценки.

На что это похоже

Несколько настроек прибора объясняют одни и те же показания с разной относительной убедительностью. Правдоподобие сравнивает эти настройки при уже записанных данных. Оно не раздаёт вероятности настройкам само по себе: параметр в частотной модели неизвестен, но фиксирован.

Если нужна вероятность параметра после данных, нужно дополнительно задать априорное распределение и байесовскую модель. Тогда максимизируется уже произведение правдоподобия и априорной плотности. Равномерная априорная плотность на выбранной области параметров может дать тот же максимум, но это отдельное предположение, а не часть определения MLE.

Механизм: фиксируем данные и меняем параметр

Пусть x₁,…,xₙ независимы и имеют один закон с параметром θ. Для дискретного закона правдоподобие L(θ)=∏ᵢPθ(X=xᵢ), для модели с плотностью L(θ)=∏ᵢfθ(xᵢ). Оценка максимального правдоподобия, MLE, выбирает θ, где эта функция достигает максимума, если максимум в допустимой области существует.

Почему плотности разрешены, хотя точные непрерывные значения имеют вероятность ноль? Сравни одинаковые маленькие окна вокруг наблюдений. Их совместная вероятность приблизительно равна произведению плотностей на произведение ширин. Общие ширины сокращаются при сравнении параметров. Это объясняет относительный смысл правдоподобия, а не превращает плотность отдельной точки в положительную вероятность этой точки.

Логарифм строго возрастает, поэтому максимум положительного L совпадает с максимумом ℓ(θ)=ln L(θ)=Σln fθ(xᵢ). Это удобнее для алгебры и вычислений: очень маленькие множители не обнуляют произведение при округлении. Нулевая плотность делает лог-правдоподобие равным −∞.

Правило

Для независимой выборки невырожденной нормальной модели при положительном разбросе μ̂=(Σxᵢ)/n, v̂=(Σ(xᵢ−μ̂)²)/n. Здесь v̂ - MLE дисперсии, σ̂=√v̂ - оценка стандартного отклонения. При n≥2 величина (Σ(xᵢ−μ̂)²)/(n−1) несмещённо оценивает дисперсию любого одинакового независимого закона с конечной дисперсией. Эти два свойства не являются одним требованием.

Оценка сама случайна до наблюдения данных, потому что зависит от выборки. Несмещённость означает E[θ̂]=θ при повторении выборок с истинным θ. Асимптотическая несмещённость означает лишь стремление этого среднего к θ с ростом n. Она не гарантирует отсутствия смещения при конечном n.

Разбор: монета и нормальное среднее

У n независимых Бернулли с k успехами зависимость от p равна p^k(1−p)^(n−k). Если хранить только число успехов, появляется множитель C(n,k), который от p не зависит и не меняет максимум. При 0<k<n логарифм имеет скорость изменения k/p−(n−k)/(1−p): она положительна левее k/n и отрицательна правее. Поэтому MLE p=k/n. При k=0 максимум на границе p=0, при k=n - на границе p=1.

Для нормальной модели обозначим m=(Σxᵢ)/n. Раскрытие квадратов даёт Σ(xᵢ−μ)²=Σ(xᵢ−m)²+n(μ−m)², потому что сумма xᵢ−m равна нулю. При фиксированной положительной дисперсии минимум суммы квадратов и максимум правдоподобия находятся при μ=m. Это утверждение для всей прямой μ, а не только для точки, где формально обнулилась производная.

from fractions import Fraction

for values in [[0, 2], [1, 2, 5], [3, 3, 3]]:
    n = len(values)
    mean = Fraction(sum(values), n)
    squares = sum((x - mean) ** 2 for x in values)
    mle_variance = squares / n
    unbiased = squares / (n - 1)
    print("данные", values, "среднее", mean,
          "средний квадрат", mle_variance, "несмещённая", unbiased)
    if mle_variance == 0:
        print("при v>0 максимум не достигается:",
              "плотность растёт при v->0")
print("Bernoulli: 3 успеха из 5, MLE p =", Fraction(3, 5))

данные [0, 2] среднее 1 средний квадрат 1 несмещённая 2
данные [1, 2, 5] среднее 8/3 средний квадрат 26/9 несмещённая 13/3
данные [3, 3, 3] среднее 3 средний квадрат 0 несмещённая 0
при v>0 максимум не достигается: плотность растёт при v->0
Bernoulli: 3 успеха из 5, MLE p = 3/5

В первых двух строках программа показывает оценки с разными знаменателями. Для 1,2,5 среднее 8/3, средний квадрат 26/9, несмещённая оценка 13/3. Третья выборка имеет нулевой разброс; это отдельная граница существования максимума, разобранная ниже.

Разбор: максимум по дисперсии и поправка смещения

Пусть s²=(Σ(xᵢ−m)²)/n>0. После выбора μ=m лог-правдоподобие, с точностью до постоянных, равно −(n/2)ln v−ns²/(2v). Сравним его с v=s². Если r=s²/v, разность равна (n/2)(ln r−r+1). Неравенство ln r≤r−1 при r>0 показывает, что разность не положительна и равна нулю только при r=1. Отсюда v̂=s². Неравенство следует из вогнутости логарифма и касательной в точке 1, либо из площади под 1/x.

Теперь допустим, истинные параметры μ,σ², а Xi независимы и одинаково распределены. Тождество сумм квадратов при истинном μ даёт Σ(Xi−X̄)²=Σ(Xi−μ)²−n(X̄−μ)². Среднее первой суммы nσ², а E[(X̄−μ)²]=σ²/n, поскольку выборочное среднее несмещено и его дисперсия σ²/n. Итак, среднее суммы отклонений от X̄ равно (n−1)σ². Деление на n даёт смещение множителем (n−1)/n; деление на n−1 убирает его. Для этого вычисления нормальность не понадобилась.

Если s²=0, все данные совпали. При μ=m и v→0 плотность в каждом наблюдении растёт без ограничения, так что в области v>0 конечного максимума нет. Запись «MLE дисперсии 0» здесь описывает вырожденную границу, а не допустимую положительную дисперсию обычной нормальной плотности.

Что ломается без этого

Считают, что MLE автоматически несмещена или что несмещённая оценка должна максимизировать правдоподобие на каждой выборке. Первое - свойство среднего по повторениям, второе - оптимизация при фиксированных данных. Различие уже видно на двух точках 0 и 2.

Также нельзя найти стационарную точку и забыть границы параметров. У Бернулли возможен граничный максимум 0 или 1, у нормальной выборки нулевого разброса максимум с v>0 вообще не достигается. Допустимая область нужна до оптимизации.

Зачем это в работе

Оценка параметров связывает вероятностную модель с наблюдаемыми данными. Правдоподобие даёт точную цель для сравнения настроек, а анализ смещения объясняет, почему статистические библиотеки могут предлагать разные делители в вычислении дисперсии. Выбирай их по задаче, проверяя модель независимой выборки, существование максимума и нужное свойство оценки.

Теперь сам

Выборка равна 1,1,4. Найди MLE среднего и дисперсии, а также несмещённую оценку дисперсии. Может ли нулевая наблюдённая MLE-дисперсия доказать, что истинная дисперсия нулевая?