Конспект: сжатие видео: движение, зависимости и формат

Понятия

Предсказание P берётся из согласованной восстановленной опоры. Остаток E=X−P; реконструкция Xhat=P+Ehat.

SAD - сумма модулей разностей. Учебная цена J=SAD+λR учитывает заданную цену параметров R; полный кодировщик оценивает также режим и остаток.

GOP - группа кадров с заданной структурой зависимостей. В закрытой модели нужные опоры находятся внутри группы.

Поле - строки одной чётности, снятые в отдельный момент чересстрочной съёмки. Два поля движущегося объекта не равны одному прогрессивному снимку.

Что унести

оригинал -> остаток -> преобразование -> квантование -> коды
                                                   |
                     локальное восстановление остатка
                                                   |
                   прибавить предсказание -> новая опора

Обе стороны продолжают из согласованной реконструкции. Использование оригинала вместо восстановленной опоры создаёт дрейф.

Вектор в соглашении урока адресует ref(x+dx,y+dy). При движении объекта вправо источник в прежнем кадре обычно левее, dx<0. Физическое движение и результат поиска предсказания не обязаны совпадать.

Для блока B пикселов и окна радиуса r полный поиск требует O(B·(2r+1)²) сравнений. Дробные векторы требуют согласованной интерполяции.

Показ I0,B1,B2,P3 допускает декодирование I0,P3,B1,B2. Это не единственный порядок независимых B; в упражнении ничья разрешена явно. Не переносить ограничение «B не опора» классической схемы на все стандарты.

Картинка удерживается, пока нужна для будущего предсказания или отложенного показа. PTS и DTS относятся к разным событиям; задержка включает также вычисления и очереди. Если средняя скорость входа превышает канал, очередь растёт независимо от быстроты декодера.

Форматы и совместимость

Motion-JPEG кодирует кадры независимо. MPEG-1 использует классические межкадровые опоры. H.261 - схема видеотелефонии, H.263 развивает её с опциями. MPEG-2Video/H.262 учитывает также чересстрочные поля. Это исторические семейства книги, а не рейтинг актуальных реализаций.

Профиль задаёт инструменты, уровень - ограничения ресурсов согласно стандарту. Опция в описании семейства не является обязательной для каждого потока.

Контейнер хранит дорожки, метки времени и метаданные; кодек определяет восстановление конкретного кодированного представления. MPEG-4Part2 и Part10/AVC различаются. Имя.mp4 не определяет кодек видеодорожки. Объектная сцена требует общих ресурсов, правил композиции и параметров модели.

Ловушки джокера

Минимальный SAD даёт минимальный файл. Вектор, режим и остаток тоже стоят биты.

Исходная опора лучше восстановленной. У декодера нет исходной; разные опоры нарушают общий контур.

Будущая опора означает невозможное декодирование. Её передают раньше, а показывают позже; нужны буфер и задержка.

Поля - просто две половины одного момента. Они могут относиться к разным моментам движения; простое сплетение даёт гребёнку.

Постобработка всегда улучшает точность. Сглаживание способно убрать настоящую деталь; применение к опоре должно быть согласовано.

Все части MPEG4 поддержаны одним кодеком. Семейство включает разные представления и системные средства; проверяется реальный контракт потока.