Плотность и распределение: вероятность как площадь

Если отличаешь плотность от вероятности и можешь получить среднее из площади под хвостом, переходи к «Теперь сам».

Как думаешь, можно ли увидеть событие вероятности ноль

Таймер выбирает момент внутри одной секунды. Идеальная модель различает любые вещественные моменты, без ограничения точности. Если приписать каждой точке одинаковую положительную вероятность p, уже достаточно много разных точек дадут суммарную вероятность больше 1. Поэтому у равномерной модели вероятность каждого отдельного момента равна нулю.

Но таймер всё же сработает в какой-то момент. Бесконечное множество называют счётным, если его элементы можно перечислить: первый, второй, третий и так далее. Вероятности складываются для конечного или счётного набора непересекающихся событий. Вещественные точки интервала так перечислить нельзя.

Почему нельзя? Предположим, список всех точек [0,1] существует. Запишем их десятичные разложения без бесконечного хвоста девяток. Построим новое число: его n-я цифра равна 1, если n-я цифра n-го числа списка не 1, и 2 иначе. Оно отличается от каждого элемента списка хотя бы одной цифрой и не имеет двойственной записи с хвостом девяток. Значит список неполон. В интервале несчётно много точек, и правило сложения вероятностей по списку не разрешает просуммировать все их нулевые массы. Утверждение «имеет вероятность ноль» в такой модели не означает «вообще не является возможным исходом». И наоборот, вероятность 1 не обязательно означает, что событие содержит каждый исход.

На что это похоже

Высота насыпанного песка не равна массе участка. Массу получишь, учитывая и высоту, и ширину полоски, а затем складывая полоски. Плотность вероятности играет роль высоты; весь песок нормирован так, чтобы его масса равнялась 1.

Если сжать равномерную массу в интервал длины четверть секунды, высота станет 4. Число 4 не нарушает ограничение вероятности: площадь всего прямоугольника 4·1/4=1. При изменении единиц времени числовая высота тоже меняется: плотность «на секунду» отличается от плотности «на миллисекунду», тогда как вероятность одного и того же физического промежутка сохраняется.

Механизм: накопленная площадь

Функция распределения, или CDF, определяется для любой вещественной случайной величины: F(x)=P(X≤x). Она не убывает, лежит между 0 и 1 и стремится к 0 слева и к 1 справа. В этом разделе рассматриваем модели, у которых есть плотность f: F(x)=∫₋∞ˣ f(t)dt, где f(t)≥0, а вся площадь равна 1.

Не надо путать это предположение с одним лишь непрерывным графиком F: существуют непрерывные распределения без обычной плотности. Здесь все конкретные модели заданы плотностями. Также мы не смешиваем их с распределением, в котором в отдельных точках есть положительная масса.

Разность накопленных площадей даёт P(a<X≤b)=F(b)−F(a) при a≤b. В моделях с плотностью границы можно включать или исключать: точки массы не имеют. На коротком интервале ширины h около точки непрерывности f вероятность примерно равна f(x)h. Приближение улучшается при уменьшении h, но для большого интервала нужно учитывать изменение высоты, а не умножать одну произвольную высоту на ширину.

Правило

Плотность нормирована интегралом, а не суммой её значений в отдельных точках. Вероятность области - интеграл плотности по ней. Для функции g среднее равно E[g(X)]=∫g(x)f(x)dx, когда оно определено; в частности, Var(X)=E[X²]−E[X]² при конечном втором моменте. Для X≥0 также E[X]=∫₀∞P(X>t)dt, с возможным значением +∞.

Почему последнее равенство верно? У фиксированного исхода X=x отрезок от 0 до x имеет длину x. Представь его набором горизонтальных отметок t. Усредняя длину, можно сначала для каждой отметки посчитать вероятность, что X находится выше неё, а затем сложить по высоте. Все слагаемые неотрицательны, поэтому такой обмен порядка суммирования и интегрирования допустим даже для бесконечного среднего.

Разбор: две полосы разной ширины

Пусть ненормированные высоты равны 4 на [0,1] и 1 на [1,4]. Полная площадь равна 4·1+1·3=7. Поэтому настоящие плотности равны 4/7 и 1/7. Первый интервал получает вероятность 4/7, второй 3/7. Сумма высот 5 не является нужной нормировкой: она потеряла ширину второй полосы.

Для x между 1 и 4 функция распределения равна (4+(x−1))/7. Например, F(2)=5/7, и вероятность интервала [1,2] равна 1/7. Среднее можно получить по площадям с центрами полос: E[X]=(4·1·1/2+1·3·5/2)/7=19/14. Здесь внутри каждой полосы плотность постоянна, поэтому её среднее находится ровно посередине.

from fractions import Fraction

bounds = [0, 1, 4]
heights = [4, 1]
area = sum(h * (b - a) for a, b, h
           in zip(bounds, bounds[1:], heights))


def cdf(t):
    mass = sum(h * max(0, min(t, b) - a)
               for a, b, h in zip(bounds, bounds[1:], heights))
    return Fraction(mass, area)


for t in [-1, 0, 1, 2, 4, 8]:
    print("F", t, "=", cdf(t))
mean = sum(Fraction(h * (b * b - a * a), 2 * area)
           for a, b, h in zip(bounds, bounds[1:], heights))
print("P(1 <= X <= 2) =", cdf(2) - cdf(1))
print("среднее =", mean)
print("плотность первой полосы =", Fraction(4, area))

F -1 = 0
F 0 = 0
F 1 = 4/7
F 2 = 5/7
F 4 = 1
F 8 = 1
P(1 <= X <= 2) = 1/7
среднее = 19/14
плотность первой полосы = 4/7

Fraction из стандартной библиотеки хранит точные рациональные числа; это объясняет дроби в выводе. Полная функция F за пределами носителя становится 0 или 1. Выражение с max и min берёт длину нужной части полосы, а не добавляет отрицательную площадь для x левее её начала.

Разбор: возрастающая плотность и среднее из хвоста

Плотность f(x)=2x на [0,1] нормирована: площадь треугольника равна 1. До точки a площадь равна F(a)=a², поэтому P(X≤1/2)=1/4, а не 1/2. При этом f(1)=2: высота больше 1 снова допустима.

Первый момент равен ∫₀¹x·2x dx=2/3. Через хвост получаем тот же результат: P(X>t)=1−t² при 0≤t≤1, дальше хвост нулевой, а площадь равна ∫₀¹(1−t²)dt=1−1/3=2/3. Второй момент ∫₀¹2x³dx=1/2, значит дисперсия 1/2−4/9=1/18. Такие две независимые формы вычисления помогают найти потерянную нормировку или неверную границу интеграла.

Что ломается без этого

Считывают высоту гистограммы как вероятность полосы, хотя полосы разной ширины. Тогда сумма «вероятностей» может стать больше 1. Или считают вероятность точного значения положительной, потому что функция f там ненулевая. В обоих случаях исчезла ширина области, без которой плотность не превращается в вероятность.

Измеренное время, округлённое до миллисекунд, имеет положительную вероятность конкретной записи вроде 120. Это уже вероятность целой ячейки округления, а не математической точки 0,120 секунды. Модель измерения и модель идеального времени дают разные случайные величины.

Зачем это в работе

В генераторах задержек, оценке времени ответа и моделях отказов данные лежат на временной шкале, а не только в конечном наборе исходов. Плотность позволяет найти долю запросов в диапазоне и среднюю задержку одной моделью. Перед использованием проверь, есть ли точечные события: например, масса мгновенных ответов из кеша потребовала бы смешанной модели, а не одной гладкой плотности.

Теперь сам

Плотность постоянна на [2,6] и равна нулю вне. Найди её высоту, вероятность [3,5] и среднее. Может ли вероятность X=4 равняться найденной высоте?