UA126480C2 - Поліпшення граничного примусового розділення - Google Patents

Abstract

Даний винахід стосується розбиття зображення або фрагмента зображення. Зокрема, зображення або фрагмент зображення ділять на ціле число модулів дерева кодування як у вертикальному, так і у горизонтальному напрямках. Потім решту граничної частини, щонайменше частково, примусово ділять так, що найглибший рівень розбиття є результатом двійкового розбиття, тобто включає модуль кодування, який з однієї сторони є довшим, ніж з іншої сторони. Довша сторона паралельна або сходиться із зображенням або границею фрагмента зображення. 45

Description

То Мо 180 190 120 130 140 ! а ща ! / - і ; ! ух 7 рай / "Залишко Й

Модуль | Відеоблок /7 / -, ВИЙ блок Модуль Модуль розд / / (.рР-- трансформа квантування і ня (| | нії ! і, модуль ! і Н внутріш.- | ! і і Модуль капрового і і : вибору прогнозув. і і пежиму І Квантовані і і режим - І ї : ІЗ У можете Блок ' залишкові і Н -ж) міжкадров прогнозування ! коефіцієнти ! Н прогнозува і : ння І! х | 150 ! . | | ще і ре Е | Модуль і 195 ! і ентропійно! г і ро Буфер і кодування : ! по кадру ! і о (опорні : , х й і і і зображення: Відно вленимй о) лекодов і і Н з блок аний і і Моненжедтт рення | залитшко ретро ренеут няння і ! Модуль вий блок! Модуль Модуль і і коктурної й зворотньсі зворотнього ! / Віхпфільтровнан фільтрації рек трансформа- квантування і ий маних півнннвннни щи М і т вілновлений / й пт рт кодованни су відеоблоко и 125 о ел бітовий потік

Н Н / 179 160 135 145

Фіг. 1

Даний винахід стосується кодування і декодування зображення і/або відео і, зокрема, розділення зображення на пакети кодування.

Рівень техніки

Сучасні блочні гібридні відеокодеки використовують кодування з прогнозуванням.

Зображення з відеопослідовності розділяється на блоки пікселів, а ці блоки потім кодуються.

Замість попіксельного кодування блока, прогнозується увесь блок з використанням вже кодованих пікселів в просторовій або часовій близькості до блока. Додатково кодер обробляє тільки відмінності між блоком і його прогнозом. Додаткове оброблення звичайно включає перетворення пікселів блока в коефіцієнти в ділянці перетворення. В подальшому коефіцієнти можна додатково стискати (наприклад, за допомогою квантування) і додатково ущільнювати (наприклад, за допомогою ентропійного кодування) для формування бітового потоку. Бітовий потік може додатково включати будь-яку сигнальну інформацію, яка дозволяє декодеру декодувати кодоване відео. Наприклад, сигнал може включати параметри, які відносяться до параметрів кодера, таких, як розмір вхідного зображення, частота кадрів, відображення етапу квантування, застосовуване до блоків зображень прогнозування або подібні.

Відмінності між блоком і його прогнозуванням відомі як залишок блока. Більш конкретно, кожен піксель блока має залишок, який являє собою відмінність між рівнем інтенсивності цього пікселя і його прогнозованим рівнем інтенсивності. Рівень інтенсивності пікселя називається піксельним значенням або значенням пікселя. Залишки всіх пікселів блока називаються разом залишком блока. Іншими словами, блок має залишок, який представляє собою сукупність або матрицю, що складається із залишків усіх пікселів блока. Потім залишки перетворюються, квантуються і кодуються разом із сигнальною інформацією. Кодування може включати різні форми кодування з фіксованою і змінною довжиною, включаючи арифметичне кодування або інші типи ентропійного кодування.

У блочному гібридному відеокодуванні кожне зображення розбивають на блоки зразків і множину блоків в межах зображення об'єднуються для формування фрагментів як незалежно декодованих об'єктів. Блоки, до яких застосовуються прогнозування і/або перетворення, називаються модуль кодування (содіпуд чпії, СО) або блок кодування (содіпд ріоскК, СВ). Модулі кодування можуть мати різні розміри.

Наприклад, за стандартом високоефективного відеокодування (Нідп-ЕнНісіепсу Мідео Содіпа,

НЕМС, також відомий як Н.265), відеокадр розділяється на модулі кодового дерева (содіпд ігее пії5, СТ, які також називаються блоками кодового дерева, СТВ). СТВ являє собою роз'єднані квадратні блоки однакового розміру, наприклад 64х64 зразків. Кожен СТВ виступає як корінь структури квадродерева для розбиття блока - кодового дерева. Блоки СТВ можна додатково підрозділяти вздовж структури кодового дерева кодування на блоки кодування. Для блоків кодування визначається тип прогнозування. Блоки кодування можна додатково поділяти на менші блоки перетворення, до яких застосовують перетворення і квантування.

Подробиці стосовно розбиття за стандартом НЕМС можна знайти в роботі "Високоефективне відеокодування НЕМС: алгоритми і архітектури", за авторством М.57е і інших авторів, видавництво Спрінгер (Зргіпдег), 2014 рік, розділ 3.2.

Додатково, публікація УМО 2016/090568 ілюструє структуру двійкового дерева для розбиття модуля на чисельні менші модулі з використанням квадродерева у поєднанні зі структурою двійкового дерева. Відповідно, кореневий модуль спершу розбивають на структуру квадродерева, а потім листковий вузол квадродерева додатково розбивають на структуру двійкового дерева.

Суть винаходу

За стандартом НЕМС модулі СТИ і модулі СИ, розміщені на фрагменті або граничних лініях зображення, будуть примусово поділені за допомогою розбиття квадродерева, поки правий нижній зразок листкового вузла розташується в межах фрагменту або граничної лінії зображення. Примусовому розбиттю квадродерева не потрібно надавати сигнали у бітовому потоці за умови, що правила розділення зафіксовані (попередньо задані). Метою примусового розбиття є сприяння кодеру і декодеру у обробці зображень і фрагментів, які мають горизонтальний і/або вертикальний розмір, який не є цілим кратним відповідного горизонтального і/або вертикального розміру модуля СТИ.

За стандартом НЕМС, як і за публікацією УУО 2016/090568, процес примусового розбиття поділяє модулі СТИ і модулі СІ, ієрархічно розташовані на граничній частині кадру, методом квадродерева без оптимізації коефіцієнта спотворення (гаїе-аібіопіоп, КС) до моменту, коли увесь поточний модуль СИ лежить всередині фрагменту або граничної лінії зображення. Таким примусовим розділам не потрібно надавати сигнали у бітовому потоці. Однак розділення на 60 занадто малі модулі кодування може вносити додаткове ускладнення і необхідність сигналізування, пов'язані з окремою подальшою обробкою (кодування, декодування) малих модулів кодування.

За даним винаходом, примусове розбиття застосовує розділення двійкового дерева, щонайменше, на найглибшому ієрархічному рівні розбиття або, щонайменше, на рівні розбиття, відмінному від найглибшого ієрархічного рівня розбиття, в якому модуль кодування перебуває не в повному обсязі в межах граничної частини.

Таке розділення забезпечує більш високу ефективність, оскільки він призводить до меншої кількості модулів кодування в найглибшому ієрархічному рівні.

За ознакою винаходу, запропоновано прилад для розділення частини зображення на модулі кодування, який включає схему обробки, яка під час виконання розділяє частину зображення на ціле число модулів кодового дерева із заданим розміром і граничну частину з розміром, меншим, ніж заданий розмір, щонайменше, в першому напрямку, який є або горизонтальним, або вертикальним напрямком, а також розбиває ієрархічно граничну частину на модулі кодування, включаючи найглибший модуль кодування з різними розмірами у відповідних горизонтальних і вертикальних напрямках, причому найглибший модуль кодування є меншим в першому напрямку.

Перевага такого методу полягає у виключенні занадто великої кількості малих модулів СУ на граничній лінії зображення, що може також призвести до більш ефективного кодування граничної частини.

За прикладом, схема обробки виконана так, щоб розбивати граничну частину за допомогою розділення двійкового дерева, щонайменше, на найглибшому рівні розбиття.

Додатково, або як альтернатива розбиття двійкового дерева, схема обробки може бути виконана з можливістю розбивати граничну частину також за допомогою розділення квадродерева.

За одним прикладом, схема обробки, під час виконання, розбиває граничну частину за допомогою розділення квадродерева на М найкоротших рівнів, причому М є цілим числом, яке більше або дорівнює нулю і менше, ніж кількість ієрархічних рівнів розбиття; і розбиває граничну частину за допомогою розділення двійкового дерева на ієрархічних рівнях розбивання, що залишилися.

Зо Цей метод забезпечує більшу гнучкість в конфігуруванні і також гарантує, що гранична ділянка кодується ефективно шляхом виключення значної кількості малих модулів СИ прямокутної граничної ділянки.

В одному варіанті здійснення винаходу схема обробки, під час виконання, розбиває граничну частину до моменту, коли модуль кодування найглибшого рівня перебуватиме повністю в межах граничної частини.

В одному варіанті здійснення винаходу схема обробки, під час виконання, розбиває граничну частину за допомогою розділення двійкового дерева в горизонтальному ії у вертикальному напрямках.

Додатково або альтернативно, схема обробки, під час виконання, розбиває у кожному ієрархічному рівні кутову частину граничної частини за допомогою розділення квадродерева.

Замість змішування розділення квадродерева і двійкового дерева для граничної частини модуля СМ, схема обробки може бути виконана з можливістю розбивати граничну частину на всіх рівнях розбиття за допомогою розділення двійкового дерева.

За ознакою винаходу, запропоновано прилад для кодування зображення відеопослідовності, причому прилад містить пристрій для розділення частини зображення на модулі кодування за будь-яким з вищеописаних прикладів і варіантів здійснення; модуль кодування зображення виконаний з можливістю кодувати модулі кодування; а модуль формування бітового потоку виконаний з можливістю генерувати бітовий потік, включаючи кодовані модулі кодування, і інформацію розбиття, яка вказує, як розбиті модулі кодованого дерева.

Наприклад, кодер додатково містить модуль оптимізації коефіцієнта спотворення, виконаний з можливістю визначати ієрархічне розбиття граничної частини відповідно до оптимізації коефіцієнту спотворення для будь-якого з рівнів розбиття, окрім найглибшого рівня.

Ще одна ознака даного винаходу включає прилад для декодування зображення відеопослідовності, який містить: пристрій для визначення розділення частини зображення, що підлягає декодуванню, на модулі кодування за будь-яким з вищеописаних прикладів і варіантів здійснення винаходу; синтаксичний аналізатор бітового потоку для синтаксичного аналізу бітового потоку, включаючи кодовані модулі кодування і інформацію про розбиття, яка вказує, як розбиті модулі дерева кодування, і який грунтується на визначеному розділенні частини зображення; а також модуль декодування зображення для декодування кодованих модулів

Гс10) кодування.

За зразковим варіантом здійснення винаходу, розділення граничної частини на модулі кодування являє собою попередньо заданий розділення, а інформація про розбиття не відноситься до розділення граничної частини.

Схема обробки пристрою для декодування і/або пристрою для кодування може бути виконана з можливістю розбивати граничну частину за допомогою розділення квадродерева на

М найкоротших рівнів, причому М є цілим числом, більшим або рівним нулю, і меншим, ніж кількість ієрархічних рівнів розділення; а також розбивати граничну частину за допомогою розділення двійкового дерева на решту ієрархічних рівнів розбиття. Більше того, в зразковому варіанті здійснення винаходу, інформація розбиття включає число М, або М отримують на основі типу прогнозування, яке застосовується для кодування оброблюваного зображення. М можна отримувати на основі розміру граничної частини, яка має розмір менший, ніж попередньо визначений розмір в горизонтальному або вертикальному напрямку.

За ознакою даного винаходу, запропоновано спосіб для розділення частини зображення на модулі кодування, включаючи етапи розділення частини зображення на ціле число модулів кодового дерева із попередньо визначеним розміром і граничну частину з розміром, меншим, ніж попередньо визначений розмір, щонайменше, в першому напрямку, який є або горизонтальним, або вертикальним напрямком; а також ієрархічного розбиття граничної частини на модулі кодування, включаючи найглибший модуль кодування з різними розмірами у відповідних горизонтальних і вертикальних напрямках, причому найглибший модуль кодування є меншим у першому напрямку.

В одному зразковому варіанті здійснення, розбиття граничної частини додатково включає наступні етапи: починають з поточного рівня розбиття, який є найкоротшим рівнем розбиття; послідовно ділять граничну частину на модулі кодування поточного рівня розбиття до моменту, коли граничні модулі кодування поточного рівня розбиття потраплять повністю всередину граничної частини; а якщо модуль кодування поточного рівня розбиття не потрапляє всередину граничної частини, збільшують рівень розбиття і додатково розбивають згаданий модуль кодування, при чому розбиття квадродерева використовується для М найкоротших рівнів розбиття, і розбиття двійкового дерева використовується інакше, М є цілим числом, яке більше або дорівнює нулю і менше ніж число ієрархічних рівнів розбиття.

За іншою ознакою даного винаходу, запропоновано спосіб для кодування зображення відеопослідовності, який містить етапи: розділення частини зображення на модулі кодування за будь-яким із способів, зазначених вище; кодування модулів кодування; і генерації бітового потоку, включаючи кодовані модулі кодування і інформацію розбиття, яка вказує, як розбиті модулі дерева кодування.

За іншою ознакою даного винаходу, спосіб декодування зображення відеопослідовності містить: визначення розділення частини зображення, що підлягає декодуванню в модулі кодування за будь-яким зі способів, вказаних вище; синтаксичний аналіз бітового потоку, включаючи кодовані модулі кодування і інформацію розбиття, яка вказує, як розбиті модулі дерева кодування, і грунтуються на визначеному розділенні частини зображення; а також декодування кодованих модулів кодування.

За одним з прикладів, етап розбиття розбиває граничну частину за допомогою розділення двійкового дерева, щонайменше, на найглибшому рівні розбиття.

Додатково або як альтернативу розбиттю двійкового дерева, етап розбиття може розбивати граничну частину також за допомогою розділення квадродерева.

За одним з прикладів, етап розбиття розбиває граничну частину за допомогою розділення квадродерева на М найкоротших рівнів, причому М є цілим числом, більшим або рівним нулю, і меншим, ніж число ієрархічних рівнів розбиття; і розбиває граничну частину за допомогою розділення двійкового дерева на ієрархічних рівнях розділення, що залишилися.

В одному варіанті здійснення етап розбиття розбиває граничну частину до моменту, коли модуль кодування найглибшого рівня повністю перебуває в межах граничної частини.

В одному варіанті здійснення винаходу схема обробки, під час виконання, розбиває граничну частину за допомогою розділення двійкового дерева в горизонтальному і у вертикальному напрямках.

Додатково або альтернативно, етап обробки розбиває на кожному ієрархічному рівні кутову частину граничної частини шляхом розділення квадродерева.

Альтернативно, для змішати розділення квадродерева і двійкового дерева для граничної частини модуля СТИ, етап розбиття може розбивати граничну частину на всіх рівнях розбиття шляхом розділення двійкового дерева.

За іншою ознакою даного винаходу, запропоновано машинозчитуваний носій, який зберігає бо інструкції, які під час виконання процесором змушують процесор виконувати спосіб за будь-

якими ознаками і прикладами, вказаними вище.

Короткий опис креслень

В нижченаведеному зразкові варіанти здійснення винаходу описані більш детально, з посиланням на прикладені фігури і креслення, на яких:

Фігура 1 є блок-схемою, яка показує зразкову структуру відеокодера.

Фігура 2 є блок-схемою, яка показує зразкову структуру відеодекодера.

Фігура З є схематичним кресленням, яке ілюструє приклад розбивання квадродерева, використаного за стандартом НЕМС.

Фігура 4 є схематичним кресленням, яке ілюструє приклад розбивання квадродерева/двійкового дерева.

Фігура 5 є схематичним кресленням, яке ілюструє примусове розділення квадродерева граничної частини.

Фігура 6 є блок-схемою, яка ілюструє приклад пристрою, який може функціонувати як модуль розділення в кодері або декодері.

Фігура 7 є схематичним кресленням, яке ілюструє розділення граничної частини.

Фігура 8 є схематичним кресленням, яке показує приклади примусового розділення двійкового дерева вертикальної граничної частини.

Фігура 9 є схематичним кресленням, яке ілюструє приклади розбиття граничної частини по вертикалі, горизонталі і комбіновано.

Фігура 10 є функціонально схемою, яка показує зразкові рішення синтаксису розбиття.

Детальний опис варіантів здійснення винаходу

Даний винахід стосується розділення зображення на модулі меншого розміру для подальшої обробки. Таке розділення можна ефективно використовувати у кодуванні і декодуванні статичного зображення або відеозображення. Надалі описані зразкові відеокодер і декодер, які можуть здійснювати розділення за даним винаходом.

На Фіг. 1 показаний кодер 100, який містить пристрій введення для отримання ввідних блоків кадрів або зображень відеопотоку і пристрій виведення для забезпечення бітового потоку кодованого відео. Термін "кадр" в даному описі використовується як синонім терміну "зображення". Однак потрібно зазначити, що даний винахід також можливо застосовувати в

Зо галузях, де використовують через-рядкову розгортку. Взагалі, зображення включає п пікселів т разів. Вони відповідають зразкам зображення і кожне може містити один або більше колірних компонентів. З метою спрощення, у подальшому описі терму "пікселі" надається значення "сигнали яскравості". Однак потрібно зазначити, що метод розділення за даним винаходом можна застосовувати до будь-якого колірного компоненту, включаючи хроматичність або такі компоненти колірного простору, як КОВ (Кей, ОСгееп, Віне, - адитивна колірна модель "червоний, зелений, синій") або подібні. З іншого боку, може бути вигідно виконувати розділення лише для одного компонента і застосовувати визначений розділення до більшості (або усіх) компонентів, що залишилися.

Кодер 100 виконаний з можливістю застосовувати розбиття, прогнозування, перетворення, квантування і ентропійне кодування для відеопотоку.

У модулі 110 розділення ввідний відеокадр додатково ділять перед кодуванням. Блоки, що підлягають кодуванню, не обов'язково мають однаковий розмір. Одне зображення може включати блоки різних розмірів, а блокові растри різних зображень відеопослідовності також можуть відрізнятися. Зокрема, кожне відеозображення (зображення) спочатку розділяється на модулі СТО однакового фіксованого розміру. Розмір СТО може бути зафіксованим і попередньо заданим, наприклад, у стандарті. У стандарті НЕМС використовується розмір 64х64. Однак, даний винахід не обмежується стандартизованими і фіксованими розмірами. Може бути вигідно забезпечити СТО розмір, який можна встановлювати в кодері і забезпечувати в якості сигнального параметра в бітовому потоці. Наприклад, різні розміри СТО можуть бути корисні для відповідних різних розмірів зображення і/або типів контенту. Розмір СТО може сприймати сигнал на будь-якому сигнальному рівні, наприклад, він може бути загальним для всієї відеопослідовності або для її частин (тобто множини зображень) або індивідуальним для зображення. Відповідно, він може сприймати сигнал, наприклад, у складі набору параметрів зображення (РР5, Рісішге Рагатеїег Зе) або у складі набору параметрів епізоду (5Р5,

Зедшиепсе Рагатеїйег 5е) або у складі набору параметрів відео (МР5, Мідео Рагатегег 5ей, які представлені у сучасних кодеках (Н.264/АМС, Н.265/НЕМС), або наборів з подібними параметрами. Альтернативно, він може бути заданий в заголовку фрагмента або на будь-якому іншому рівні. Розмір СТО може приймати значення, відмінні від 64х64. Величина зразків може бути, наприклад, 128х128. Взагалі, з метою виконувати ієрархічний розділення по двійковому 60 дереву або квадродереву, може бути корисним забезпечити СТУ розмір у подвійному ступені,

тобто у форматі 27п, де п є цілим числом, більшим ніж 2.

Розбиття зображень на модулі СТИ і розбиття СТИ на модулі СИ показані на Фіг. З у роботі "Високоефективне відеокодування НЕМС: алгоритми і архітектури", за авторством М.57е і інших авторів, видавництво Спрінгер (Зргіпдег), 2014 рік. Розбиття дотримується структури квадродерева, щоб адаптуватися до різноманітних локальних характеристик. З лівої сторони

Фіг. З показано модуль СТИ, ієрархічно поділений відповідно до структури квадродерева, яке показане з правої сторони. Зокрема, дерево кодування визначає синтаксис, який регламентує розділення модуля СТИ на модулі СО. Подібно до СТИ, модуль СИ складається з прямокутного блока зразків і синтаксису, пов'язаного з цими вибірковими блоками. Таким чином, розбиття виконується ієрархічно, починаючи з модуля СТИ (глибина ієрархії 0), який може бути, але не повинен бути поділений на чотири (в квадродереві) модулі СО з глибиною ієрархії 1. На фіг. 3,

СТИ поділено на СИ 8 ії 16 по першій глибині ієрархії (рівню), які додатково не поділяються і, таким чином, утворюють листки квадродерева, а також на два додаткових Су, які додатково поділені на СО по глибині ієрархії 2 (глибина-2 СІ). Зокрема, верхній лівий СО глибини-1 додатково розділяється на модулі 1,2,7 СО глибини-2, формуючи листки квадродерева і ще один СИ, який додатково поділяється на модулі 3, 4, 5 і 6 С глибини-3 і всі вони є листками.

Аналогічно, нижній лівий СО глибини-1 додатково поділений на модулі 13, 14 і 15 СІ глибини-2, які також є листками квадродерева і залишковий СИ, який додатково поділяється на модулі СО 9, 10, 11 ї 12 рівня-3, і всі вони є листками, і тому додатково не поділяються.

Зразковий синтаксис для розділення квадродерева в НЕМС показаний нижче в таблиці 1.

Таблиця 1: Синтаксис для покажчиків розділення СТО собЧте дчафтес( х0, у0, юв2СЬ5Іле, саферів ) хо (1-х о82СбБІле) -- ріс ха шї фЇшта затрігї у (1 к« |ов2СЬ5ІЛе) -- ріс Пе пп Ішта заптрієз КАК

Іов2СЬБіло » МіаСбІ ов25172У ) 5рік си Паві хо || 0

МЩ си ар Чена епабісє!д Пав КА ювр2СЬвВіге 5- Гоб2МіпСпОрОекавіге) Її шити

ВСснОрренаСодей -0 шиї

СнОрОгнама - 0 шиї 3

Щ си спгота др ойїзеї епарігі Паб КЕ іов2СЬ5іле У- Говб2МіпСиСПготаОроОйеї5іле )

ВСеСпготаОрОйзесодей - 0 шиї

І 5рій ся Пас! хО ЦД Уб) ї шиї хі-хО (1 «к« (1ор2Сб58122- 13) шиї уг-уб (І «хо (ПороСЬБіге - 13) ши содте Фиафнтее( хО, у0. іов2СЬБіле - 1, сфер 1) шити

ЩохіІ сріс ма іп Їйта затріев ) шиї собіпе Фдфоаднееі хі. уб. ов2СЬБіге - 1, саЮерфт 1) шиї

Щоуї! сріс Веїоїн іп о Їйта затрієв ) шити собор оцадігтес( ХО. уі, Іор2СьЬвіле - 1, со грф 1) шиї іЩохі сріс ху іп Інша хапіріев «5 у! «рю Бе іп Цнла взатріев ) содіпе дизінее( х1, у! ов2Сб5іле - 1, саберфт 1) ши. 220207-,- - ЛЯ ь- -т- («21 л «Щ--щ- («« Х «ЛІ ЛО сойте шик хо, у0, ов2СЬ5Іі7е ) ши. нн шншш

Зокрема, на рівні СТО в бітовий потік включається покажчик, названий 5рій си Пйад, який вказує, чи цілісний СТО формує СИ, чи він поділяється на чотири блоки однакового розміру, які відповідають квадратним вибірковим блокам. Якщо СТІ поділяється, то для кожного із результатних блоків передається інший покажчик 5рій си ПЯад, який регламентує, чи блок відображає СИ, чи він додатково поділяється на чотири блоки однакового розміру. Це ієрархічне розділення триває до моменту, коли додатково не розділяється жоден з отриманих блоків. У наборі параметрів епізоду з'являється сигнал щодо мінімального розміру модулів СО; він може складатися в діапазоні від 8 х 8 вибірок яскравості до розміру модуля СТУ включно.

Коли мінімальний розмір СО досягнуто в процесі ієрархічного розділення, жодні покажчики розділення не передаються для відповідних блоків; натомість робиться висновок, що ці блоки додатково не поділяються. У типових налаштуваннях НЕМС-кодера максимальний діапазон підтримуваних розмірів СО використовується так, щоб можна було використовувати СО в діапазоні від 8х8 до 64х64 вибірок. Модулі СО всередині СТО кодуються в порядку "спочатку в глибину". Цей порядок кодування називається також 7-скан (7-прохід). Він гарантує, що для кожного СИ, за винятком тих, які розміщені на верхній або лівій граничній частині фрагмента, всі вибірки над СИ і зліва від СО вже кодовані, так що відповідні вибірки можуть використовуватися для внутрішньо-кадрового прогнозування, а пов'язані параметри кодування можуть використовуватися для прогнозування параметрів кодування поточного С.

Іншими словами, покажчик 5рій си йад |хО| ГУб| регламентує, чи поділений модуль кодування на модулі кодування з напів-горизонтальним і вертикальним розміром. Індекси масиву х0, у0 регламентують місце розміщення (х0, у) вибірки лівого верхнього сигналу яскравості розглянутого блока кодування відносно лівої верхньої вибірки яскравості зображення. Коли 5рій си ЙПасд (ХО) (УСІ не наявний, в декодері застосовується наступне: - Якщо Іюод2СЬБ5Зіге (параметр регламентує розмір блока кодування) є більшим, ніж

МіпсСбрі од25і2еї (параметр регламентує мінімальний, з можливістю налаштування, розмір модуля кодування), значення 5рій си Пад ЇхО) (Уд| приймається таким, що дорівнює 1. - Інакше (0д2Ср5і2е дорівнює МіпСбрі од25і27еу), значення 5рій си Пад |ЇХхО) (Уд| приймається таким, що дорівнює 0.

Масив Сіерій Гх) (У| регламентує глибину кодового дерева для блока кодування яскравості, який охоплює ці координати (х, у). Якщо 5рій си Пазд (|хОї| ІУ0)|Ї дорівнює 0, то СЮЮерій хі) ГУ приймається таким, що дорівнює сдіОерій для х-х0...хО-пСрЗ-1 і у-у0б... убпСЬ5-1.

Фігура 4 показує розбиття спільних квадродерева і двійкового дерева. Розбиття квадродерева показане суцільними лініями, в той час як розбиття двійкового дерева показане штриховими лініями. Мітки 1 або 0 на вузлах, які відображають елементи кодування, які підлягають додатковому розділення двійковим деревом, вказують, відповідно, чи застосовується двійкове розділення по вертикалі, чи по горизонталі.

Горизонтальний і вертикальний розмір відеозображення у вибірках яскравості повинен бути числом цілим, кратним мінімальному розміру СО, в вибірках яскравості, переданих в наборі параметрів послідовності, але він не обов'язково повинен бути цілим числом, кратним розміру

СТИ. Якщо горизонтальний або вертикальний розмір відеозображень не відображає ціле кратне розміру СТО, то вважається, що елементи СТИ біля країв поділялються до моменту, коли граничні ділянки підсумкових блоків співпадають з межею зображення. Для цього примусового розділення не передаються покажчики розділення, але підсумкові блоки можуть бути додатково поділені з використанням синтаксису квадродерева, описаного вище. Елементи СИ, які знаходяться поза площею зображення, не кодуються.

Таке розділення показано на фігурі 5. Зокрема, фігура 5 показує межу кадру, вище якої 56 рядків (128 вибірок в довжину) представляють собою граничну ділянку фрагмента зображення.

Частина СТО нижче межі кадру може належати іншому фрагменту або може не бути присутньою взагалі, наприклад, якщо межа кадру є нижньою межею зображення. Як можна бачити, примусове розділення квадродерева застосовується до вибірок 128х56.

За стандартом НЕМС розділення блоків СТВ кольоровості завжди співпадає з відповідними блоками СТВ яскравості. потрібно зазначити, що даний винахід може обробляти компоненти кольоровості аналогічним чином, але не обмежуючись ним. Також може існувати незалежний розділення різних колірних компонентів.

Після виконання розділення зображення в модулі 110 розділення, перетворення, квантування і ентропійне кодування виконуються, відповідно, модулем 130 перетворення, модулем 140 квантування і модулем 150 ентропійного кодування з метою формування кодованого відеопотоку в якості вивідного сигналу.

Відеопотік може включати множину кадрів. Блоки, наприклад, першого кадру відеопотоку є внутрішньо-кодовані за допомогою модуля 190 внутрішньо-кадрового прогнозування.

Внутрішній кадр кодується з використанням інформації лише з цього кадру, тому він може декодуватися незалежно від інших кадрів. Внутрішній кадр може, таким чином, надавати точку вводу в бітовий потік, наприклад, для довільного доступу. Блоки інших кадрів відеопотоку бо можуть бути між-кодованими за допомогою модуля 195 між-кадрового прогнозування: кожен блок між-кодованого кадру передбачається від блока в іншому кадрі (опорному кадрі), наприклад, попередньо кодованому кадрі. Модуль 180 вибору режиму виконаний з можливістю вибирати, чи блок кадру потрібно внутрішньо-кадрово прогнозувати, чи між-кадрово прогнозувати, тобто чи він буде оброблятися модулем 190 внутрішньо-кадрового прогнозування, чи модулем 195 між-кадрового прогнозування. Модуль 180 вибору режиму також контролює параметри між-кадрового або внутрішньо-кадрового прогнозування. Щоб забезпечити можливість оновлення інформації зображення, між-кадрово кодований кадр може містити не тільки між-кодовані блоки, але також один або більше між-кодованих блоків. На відміну від цього, внутрішні кадри містять тільки внутрішньо-кодовані і не містять між-кодовані блоки. Внутрішні кадри можуть бути вставлені у відеопослідовність (наприклад, регулярно, тобто щоразу після певної кількості між-кадрів) для забезпечення точок вводу для декодування, тобто точок, де декодер може почати декодування без використання інформації з попередніх кадрів.

Модуль 190 внутрішньо-кадрового прогнозування є модулем прогнозування блока. Для виконання просторового або часового прогнозування кодовані блоки можна додатково обробляти модулем 145 зворотного квантування і модулем 135 зворотного перетворення. Після відновлення блока за допомогою відновника 125, може бути застосований модуль 160 контурної фільтрації для додаткового поліпшення якості декодованого зображення. Відновлювач 125 додає декодовані залишки до засобу прогнозування, щоб отримати відновлений блок. Потім відфільтровані блоки формують опорні кадри, які потім зберігаються в кадровому буфері 170.

Такий контур (декодер) декодування на стороні кодера забезпечує перевагу в отриманні опорних кадрів, які є такими ж, що і опорні зображення, відновлені на стороні декодера.

Відповідно, сторони кодера і декодера працюють узгодженим чином. Термін "відновлення" в даному документі стосується отримання відновленого блока шляхом додавання блока декодованого залишкового блока до блока прогнозування.

Модуль 195 між-кадрового прогнозування отримує в якості ввідних даних блок поточного кадру або зображення, що підлягає між-кадровому кодуванню, і один або декілька опорних кадрів або зображень від буфера 170 кадрів. Оцінка руху та компенсація руху виконуються модулем 195 між-кадрового прогнозування. Оцінка руху використовується для отримання

Зо вектора руху і опорного кадру, наприклад, на основі функції втрат. Потім компенсація руху описує поточний блок поточного кадру, виходячи з перетворення опорного блока опорного кадру в поточний кадр, тобто за допомогою вектора руху. Модуль 195 між-кадрового прогнозування вибирає блок прогнозування (тобто засіб прогнозування) для поточного блока з набору кандидатних блоків (тобто кандидатних засобів прогнозування) в одному або декількох опорних кадрах такий, що блок прогнозування мінімізує функцію вартості. Іншими словами, кандидатний блок, для якого функція вартості є мінімальною, буде використано в якості блока прогнозування для поточного блока.

Наприклад, функція вартості може бути мірою різниці між поточним блоком і кандидатним блоком, тобто мірою залишку поточного блока відносно кандидатного блока. Наприклад, функція вартості може бути сумою абсолютних різниць (ЗАЮ, 5цт ої абзоїше айегепсев5) між усіма пікселями (вибірками) поточного блока і всіма пікселями кандидатного блока в кандидатному опорному зображенні. Однак, взагалі може використовуватися будь-який показник подібності, такий як середньоквадратична помилка (М5Е, теап 5диаге еїтог) або індекс структурної подібності (551ІМ, зігисіигаї! вітйПатгйну теїгіс).

Однак, функція вартості може також бути числом бітів, які необхідні для кодування такого між-кадрового блока і/або спотворення, що виникає в результаті такого кодування. Таким чином, можна використовувати процедуру оптимізації масштабу-дисторсії, щоб прийняти рішення про вибір вектора руху і/або в цілому про параметри кодування, такі як використання між- або внутрішньо-кадрового прогнозування для блока, і з якими параметрами налаштування.

Модуль 190 внутрішньо-кадрового прогнозування приймає в якості ввідних даних блок поточного кадру або зображення, що підлягає внутрішньому кодуванню і один або декілька опорних вибірок з уже відновленої ділянки поточного кадру. Потім внутрішнє прогнозування описує пікселі поточного блока поточного кадру виходячи з функції опорних вибірок поточного кадру. Модуль 190 внутрішньо-кадрового прогнозування вводить блок прогнозування для поточного блока, причому згаданий блок прогнозування переважно мінімізує різницю між поточним блоком, що підлягає кодуванню, і його блоком прогнозування, тобто він мінімізує залишковий блок. Мінімізація залишкового блока може грунтуватися, наприклад, на процедурі оптимізації масштабу-дисторсії. Зокрема, блок прогнозування отримують у вигляді спрямованої інтерполяції опорних вибірок. Напрямок може бути визначено за допомогою оптимізації 60 масштабу-дисторсії і/або шляхом обчислення ступеня подібності, як згадано вище стосовно між-

кадрового прогнозування.

Різниця між поточним блоком і його прогнозуванням, тобто залишковий блок, потім перетворюється за допомогою модуля 130 перетворення. Коефіцієнти перетворення квантуються модулем 140 квантування і ентропійно кодуються модулем 150 ентропійного кодування. Згенерований таким чином кодований відеопотік містить внутрішньо-кодовані блоки і між-кодовані блоки, а також відповідні сигнали (такі, як відображення режиму, відображення вектора руху і/або напрямок внутрішнього прогнозування). Модуль 130 перетворення може застосовувати лінійне перетворення, таке як Перетворення Фур'є (ЕБошпег Тгапетоптайоп, ОЕТ) або Дискретне косинусне перетворення (ЮОізсгеїе Совзіпе Тгапеіоптайоп, ОСТ). Таке перетворення в ділянку просторової частоти забезпечує ту перевагу, що остаточні коефіцієнти зазвичай мають більш високі значення на більш низьких частотах. Таким чином, після ефективного сканування коефіцієнтів (такого як зиг-заг) і квантування, остаточна послідовність значень зазвичай має кілька більш високих значень на початку, а закінчується послідовністю нулів. Це забезпечує подальше ефективне кодування. Модуль 140 квантування виконує фактичне стискання з втратами за допомогою зменшення роздільності значень коефіцієнтів.

Потім модуль 150 ентропійного кодування присвоює значенням коефіцієнтів двійкові кодові комбінації. Кодові слова записуються в бітовий потік, згадуваний як кодований бітовий потік.

Модуль ентропійного кодування також кодує сигнальну інформацію (не відображено на Фіг. 1), яка може включати кодування згідно синтаксису покажчика розділення, показаному вище.

Фіг. 2 показує приклад відеодекодера 200. Відеодекодер 200 містить, зокрема, буфер 270 опорного зображення і модуль 290 внутрішнього прогнозування, який є модулем прогнозування блока. Буфер 270 опорного зображення виконано з можливістю зберігання, щонайменше, одного опорного кадру, відновленого з кодованого бітового потоку кодованого відеопотоку.

Модуль 290 внутрішнього прогнозування виконаний з можливістю генерувати блок прогнозування, який є оцінкою блока, що підлягає декодуванню. Модуль 290 внутрішнього прогнозування виконаний з можливістю генерувати це прогнозування, грунтуючись на опорних вибірках, які отримані з буфера 270 опорного зображення.

Декодер 200 виконаний з можливістю декодування кодованого відеопотоку, згенерованого відео-кодером 100, і переважно як декодер 200, так і кодер 100 генерують ідентичні прогнози для відповідного блока, який підлягає кодуванню/декодуванню. Особливості буфера 270 опорного зображення і модуля 290 внутрішнього прогнозування є аналогічні особливостям буфера 170 опорного зображення і модуля 190 внутрішнього прогнозування на фіг. 1.

Відеодекодер 200 містить додаткові модулі, які також присутні і відеокодері 100, як, наприклад, модуль 240 зворотного квантування, модуль 230 зворотного перетворення і модуль 260 контурної фільтрації, які, відповідають модулю 140 зворотного квантування, модулю 150 зворотного перетворення і модулю 160 контурної фільтрації відеокодера 100.

Синтаксичний аналіз бітового потоку, ентропійне декодування і модуль 250 розділення виконаний з можливістю виконувати синтаксичний аналіз і декодувати отриманий бітовий потік кодованого відео, щоб отримати коефіцієнти перетворення квантованих залишків і сигнальну інформацію. Коефіцієнти перетворення квантованих залишків подаються в модуль 240 зворотного квантування і модуль 230 зворотного перетворення для формування залишкового блока. Залишковий блок додається до блока прогнозування у відновлювачі 225, а результуюча сума подається в модуль 260 контурної фільтрації для отримання декодованого відеоблока.

Кадри декодованого відео можуть зберігатися в буфері 270 опорних зображень і служать в якості опорних кадрів для міжкадрового прогнозування. Сигнальна інформація, синтаксично проаналізована і декодована з бітового потоку, може взагалі включати контрольну інформацію, що відноситься до розбиття кадру. З метою додаткового правильного синтаксичного аналізу і декодування зображення, контрольна інформація використовується для відновлення розділення зображення на модулі кодування для того, щоб правильно призначити наступні декодовані дані відповідним модулям кодування.

Взагалі, модулі 190 ї 290 внутрішньо-кадрового прогнозування на Фіг. 1 і 2 можуть використовувати опорні вибірки з уже кодованої ділянки для генерації сигналів прогнозування для блоків, які потрібно кодувати або потрібно декодувати.

Синтаксичний аналіз бітового потоку, ентропійне кодування і модуль 250 розділення приймає в якості свого вводу кодований бітовий потік Спочатку може бути проведений синтаксичний аналіз бітового потоку, тобто сигнальні параметри і залишки витягуються з бітового потоку. Синтаксис і семантика бітового потоку можуть бути визначені стандартом, і тому кодери і декодери можуть працювати в режимі взаємодії.

Даний винахід представляє новий підхід до примусового розбивання граничної частини у бо блоковому гібридному відеокодуванні. Зокрема, примусове розбиття граничної частини виконується, щонайменше, частково, з використанням структури двійкового дерева (ВТ, Бріпагу їгеє). Оскільки, відповідно до спостережень авторів винаходу, більшість граничних блоків можуть використовувати один і той самий режим прогнозування, то не завжди виникає потреба у розбитті примусового квадродерева (ОТ, диад-ігеє) для модулів СТО на граничних частинах кадру. Замість примусового розбиття ОТ, у одному варіанті здійснення вводять примусове горизонтальне ВТ для нижньої граничної частини і/або примусове вертикальне ВТ для правою граничної частини (припускаючи, що верхня і ліва сусідні частини вже відновлені в порядку обробки СТИ зліва направо і зверху вниз).

Зокрема, як показано на фігурі 6, за варіантом здійснення, прилад 600 (який може бути впроваджений в модулях 110, 250, описаних вище) для розділення 610 частини зображення на модулі кодування, включаючи схему обробки, яка під час виконання розділяє частину зображення на ціле число модулів дерева кодування із попередньо заданим розміром і граничну частину з розміром, меншим, ніж попередньо заданий розмір, щонайменше, в першому напрямку, який є або горизонтальним, або вертикальним. Більше того, схема обробки, під час виконання, ієрархічно розбиває 630 граничну частину на модулі кодування, включаючи найглибший модуль кодування з різними розмірами в відповідних горизонтальних і вертикальних напрямках, причому найглибший модуль кодування є меншим в першому напрямку.

Модулі СТО, отримані за допомогою розділення 610 кадру, можуть додатково ієрархічно розбиватися 620. Це розбиття може виконуватися будь-яким чином, наприклад, як показано на фігурах З і 4 і описано вище, з посиланням на них.

Фігура 6 показує внутрішню будову схеми пристрою 600. Ця схема може являти собою будь- який тип апаратного і програмного забезпечення з функціональними модулями 610, 620 і 630 для відповідного розділення кадру на модулі СТИ, розбиття СТИ і розбиття граничної частини.

Ці модулі можуть бути впроваджені, наприклад, в єдиному процесорі. Однак, винахід не обмежується таким застосуванням і ці модулі можуть бути також впроваджені за допомогою відокремлених апаратних частин.

Гранична частина може розміщуватися лише по вертикальній грані (якщо розмір зображення у вертикальному напрямку не є цілим кратним вертикальному розміру СТІ) або

Зо лише по горизонтальній грані (якщо розмір зображення у горизонтальному напрямку не є цілим кратним горизонтальному розміру СТ) або по обох, вертикальній і горизонтальній грані (якщо розмір зображення як у горизонтальному, так і у вертикальному напрямку не є цілим кратним відповідним горизонтальному і вертикальному розмірам СТО).

Звичайні зображення, які підлягають кодуванню, мають розмір, кратний модулям СТИ.

Фігура 7 візуалізує приклад нижньої грані 700 зображення і відповідної граничної частини 710 (заштрихована). Частина 750 ілюструє решту частини зображення із розміром у цілому кратному числі модулів СТО по вертикалі і горизонталі. Зокрема, вертикальний розмір СТО позначено як 770ОМ, тоді як горизонтальний розмір СТО позначено як 770ОН. Як видно на фігурі 7, гранична частина у цьому прикладі є цілим кратним розміру СТО в горизонтальному напрямку.

Однак, у вертикальному напрямку гранична частина 710 має розмір частки після ділення вертикального розміру зображення на вертикальний розмір 770М СТО. Частина 720 є лише віртуальною і показує різницю між висотою граничної частини і розміром СТО. Потрібно зазначити, що в даних варіантах здійснення СТИ є квадратним і тому розміри 770ОН ії 770М є однакові. Однак, даний винахід не обмежується цим, а вертикальні і горизонтальні розміри СТО можуть відрізнятися.

З метою кодувати (і відповідно декодувати) граничну частину, гранична частина 710 на фігурі 7 поділена на незавершені СТИ, тобто на частини, які мають горизонтальний розмір СТО 77ОН ї вертикальний розмір менший за СТО розмір 770М. Ці незавершені СТО додатково примусово розбиті, як показано на фігурі 8.

Фігура 8 показує приклади, в яких гранична частина розміщена по горизонтальній грані, і тому розділення виконано у вертикальному напрямку. Зокрема, на лівій стороні фігури 7 гранична частина показана аналогічною до ширини СТИ (у цьому прикладі це є 128 вибірок), але у висоту меншою, ніж висота СТО (лише 58 вибірок). Вертикальна грань примусово розбита шляхом розділення двійкового дерева. Зокрема, найбільший розмір модуля, який вміщується в довжину 56 вибірок є модуль глибини-2 розміром 32 вибірки, оскільки модуль глибини-1 з 64 вибірками не вміщується в висоту 56 вибірок граничної частини. Решта 24 вибірки додатково ділять на модуль глибини-3 розміром 16 вибірок і решту частини з 8 вибірок (аналогічні розміру

СИ глибини-4), які досягають до грані зображення, і тому відсутня необхідність додаткового розділення. У цьому прикладі до горизонтальної грані жодного розділення не застосовується. В бо підсумку, модуль граничної частини з розміром СТО в одному напрямку і меншим розміром у іншому напрямку розбивається за допомогою розділення двійкового дерева, тобто за допомогою ієрархічного ділення модуля граничної частини на дві частини, з яких одна має розмір наступного найкоротшого СИ, який вміщається у найменший розмір, і решту частини, яка додатково поділяється, до моменту, коли найглибший СИ досягне грані кадру. Розбиття частини

СТО величиною 128х56 призводить тут до З модулів кодування граничної частини з відповідними розмірами 128х32, 128х16 і 128х8.

В підсумку, за варіантом здійснення, схема обробки виконана з можливістю розбивати граничну частину на усіх рівнях розділення шляхом розділення двійкового дерева.

На правій стороні Фігури 8 показаний приклад розбиття, в якому спочатку застосовується розбиття квадродерева на ієрархічну глибину 1 (ієрархічна глибина 0, аналогічна розміру СТ), що в результаті дає два СИ розміром 64х56, які додатково поділяються на двійкові дерева на відповідні пари 64х32, б4х16 і 64х8 великих СИ.

Приклади на Фіг. 8 показують розбиття нижньої грані. Однак, даний винахід в рівній мірі може бути застосований до розділення будь-якої іншої грані, такої як права грань. Якщо підрозділ зображення на СТО виконується зліва направо і зверху вниз, то граничні частини будуть знаходитися внизу і/або на правій стороні зображення. Однак розбиття може також виконуватися знизу вгору і справа наліво, і в цьому випадку верхня і ліва грань повинні бути поділені, що можливо у той самий спосіб, який описано з посиланням на Фіг. 8. Аналогічно, вищенаведений приклад показує розбивання незавершеного СТИ, починаючи з верхівки такого

СТУ. Проте, взагалі, також можливо поділяти незавершені СТИ від грані зображення (кадру) до верхівки.

Як показано на правій стороні Фігури 8, розділення незавершеного СТО Може являти собою змішане Розділення ОТ і ВТ. Схема обробки може бути виконана так, щоб розбивати граничну частину за допомогою розділення двійкового дерева, щонайменше, на найглибшому рівні розділення. Це забезпечує перевагу, яка полягає в тому, що більша грань, яка співпадає з гранню кадру, не повинна поділятися на найменші модулі. Занадто багато занадто малих СИ на грані кадру може привести до більшої складності кодування, а також до більшого бітового потоку. Потрібно зазначити, що в цьому варіанті здійснення, оскільки найглибший СИ має одну сторону більшу за іншу сторону (тобто у результаті розбиття двійкового дерева), решту ієрархій у глибину можна визначати будь-яким чином і не обов'язково виконувати примусово у заданому режимі. Навпаки, розбиття може виконуватися за допомогою КО-оптимізації (оптимізація коефіцієнта спотворення, Наїе-аі5іогпіоп орійпігайоп, КСО) і супроводжуватися відповідною контрольною інформацією, що дозволяє декодеру відновити те саме розбиття. Розбиття може бути також частково примусовим і частково доступним для КО-оптимізації.

Іншими словами, схема обробки може бути виконана так, щоб розбивати граничну частини також шляхом розділення квадродерева. Таким чином, може виконуватися примусове ОТ або

ВТ розбиття, попередньо визначене для кожної глибини, визначеної за стандартом або сконфігурованої за допомогою контрольної інформації, включеної в бітовий потік.

Наприклад, примусове ВТ розбиття виконується лише після певного числа примусово виконаних ОТ рівнів. Це може бути досягнуто тим, що схема обробки виконана з можливістю розбивати граничну частину за допомогою розділення квадродерева на М найкоротших рівнів, причому М є цілим числом, яке більше або дорівнює нулю і менше числа рівнів ієрархії розбиття. Схема обробки додатково виконана з можливістю розбивати граничну частину шляхом розділення двійкового дерева в решті рівнів ієрархії розбиття. Посилаючись на фіг. 8, на її лівій стороні видно, що ОТ розділення не виконується.

Контрольна інформація в бітовому потоці може, таким чином, включати індикатор ОТ/ВТ, який регламентує, чи застосовується ОТ, і, у випадку підтвердження, кількість рівнів ОТ- розділення. Такий індикатор ОТ/ВТ може аналогічно приймати множину значень, таких як значення 0, якщо не застосовується розділення ОТ (як показано на Фіг. 8 зліва), і значень, аналогічних М. Такі сигнали, коротші, ніж сигнали для кожного СО на кожному рівні, де застосовується ОТ, ВТ або жодне розбиття не застосовується. Однак, даний винахід може використовувати будь-який тип сигналів.

Альтернативно або у поєднанні із контрольними сигналами, рівні примусового ОТ можуть бути вибиратися адаптивно за тимчасовим ідентифікатором (ІБ) або типом фрагменту. Цей підхід забезпечує перевагу в тому, що не потрібно явної сигналізації (або потрібна явна сигналізація у меншому обсязі). Крім того, примусове розбиття може бути встановлено адаптивно, щонайменше, з посиланням на тип прогнозування.

НЕМС регламентує тимчасовий ідентифікатор (ІС), який вказує рівень в ієрархічній структурі часового прогнозування (залежність серед кадрів між-кадрового прогнозування). Тип фрагменту бо може бути таким, як фрагмент внутрішньо-прогнозований, фрагмент між-прогнозований із застосуванням лише прогнозування на основі одного опорного зображення, фрагмент між- прогнозований із застосуванням двонаправленого прогнозування або подібним.

Наприклад, якщо часовий ідентифікатор становить 0 (означає І-зображення), або якщо типом фрагменту є фрагмент внутрішньо-прогнозований, розбиття має бути більш точним, ніж для більш високого часового ідентифікатора (між-прогнозоване зображення) або для Р/В фрагментів (між-прогнозовані фрагменти).

Зазначені вище параметри часового ідентифікатора або типу фрагмента наведені лише як приклад. Загалом, можуть бути застосовані додаткові і/або відмінні параметри кодування.

Більше того, замість типу розділення, режим прогнозування СО у сусідньому СТО може використовуватися для визначення розбиття границі, на основі СТО (неповного граничного

СТИ).

З іншого боку, сигналізація розбиття може забезпечити більшу свободу вибору відповідного розділення так, щоб загальна ефективність кодування збільшувалася. Наприклад, розбиття можна регулювати шляхом оптимізації функції вартості (наприклад, шляхом КО-оптимізації) і сигналізувати в бітовому потоці, щоб вказати, скільки рівнів примусового ОТ використовується для декодера (тобто сигналізування, чи використовується повністю ОТ, або сигналізування М, як згадується вище).

Альтернативно, граничні (неповні) модулі СТО спочатку розбиваються шляхом КО- оптимізації до передостаннього ієрархічного рівня (глибини) або до сигнального ієрархічного рівня М. Решта блоків найглибшого рівня, розташована на границі кадру, потім використовує примусове ВТ розбиття або поєднання розбиття примусового ОТ і примусового ВТ.

Фігура 9 показує три приклади, щонайменше часткового, примусового граничного розбиття.

Коли модуль СТШ/СИ знаходиться на нижній границі, горизонтальне прискорене розбиття

ВТ може використовуватися без КО-оптимізації і без рекурсивної сигналізації покажчика розбиття (шляхом розділення вертикальної границі). Примусове розбиття горизонтального ВТ закінчується, коли права нижня вибірка листових вузлів знаходиться в межах нижньої границі фрагмента/зображення. Після примусового розбиття горизонтального ВТ, примусово розділені модулі Си з граничного СТИ по можливості додатково поділяються, грунтуючись на КО-втрат в кодері, і додатково поділений покажчик може сигналізуватися від кодера до декодера. Фігура 9,

Зо частина (а) показує приклад нижньої границі вибірок 128 х 56, розбитого примусовим горизонтальним ВТ (тобто розділенням вертикальної границі).

Аналогічно, для модуля СТШ/СИ, розташованого на правій границі, використовуються розділи вертикального примусового ВТ по можливості, без перевірки втрат КО і без рекурсивного сигналу покажчика розділення до моменту, коли права нижня вибірка листових вузлів розташується в правій границі фрагмента/зображення. Після примусового розбиття вертикального ВТ (горизонтальній границі), примусово розділені модулі СО з граничного СТО по можливості додатково поділяються, шляхом КО-оптимізації в кодері, і додатково поділений покажчик сигналізується від кодера до декодера. Фігура 8, частина (б) показує приклад поздовжнього правої границі вибірок 56 х 128, розбитого примусовим горизонтальним ВТ.

За ще одним прикладом, для правого нижнього кутової границі, розташованого в модулі

СТИО/СИ, спочатку використовується примусове ієрархічне розбивання ОТ, без будь-якого сигналізування, рекурсивно. Коли права нижня вибірка поточного СИ знаходиться на нижній або правій границі, додаткове примусове розбивання горизонтального або вертикального ВТ виконується рекурсивно до моменту, коли праві нижні вибірки листових вузлів будуть розташовані всередині границі фрагмента/зображення. В іншому випадку, коли права нижня вибірка поточного СО все ще розташована на кутовій границі, додаткове примусове розбивання

ОТ буде використане до моменту, коли праві нижні вибірки листових вузлів будуть знаходитись всередині кадру фрагменту/зображення. Примусово розбиті СО, отримані шляхом відділення від граничного СТО, додатково можуть бути відділені шляхом КО-оптимізації в кодері, і додатковий покажчик відділення можна сигналізувати від кодера до декодера. Фігура 9, частина (с) показує приклад границі правого нижнього кута з 56х56 вибірок, розбитий примусовим ОТ і

ВТ.

Зокрема, на фігурі 9, частина (с), показано неповний кутовий граничний СТО із 56х56 вибірок. Перший глибинний рівень з вибірками 64х64 після ОТ відділення не знаходиться всередині граничної частини. Другий глибинний рівень з вибірками 32х32 після ОТ знаходиться всередині граничної частини, але залишає горизонтальну (лівий нижній СО з вибірками 32х24), вертикальну (правий верхній Си з вибірками 24х32) і ще одну кутову частину (правий нижній СО з вибірками 24х24) для подальшого відділення.

У цьому прикладі модулі СО з вертикальною і горизонтальною границею додатково 60 відділяються на двійкові дерева так, що модулі найглибшого рівня мають довшу сторону вздовж границі зображення/фрагменту. Кутова частина може бути додатково відділятися таким самим чином, як описано вище для кутової частини з більш високим рівнем, тобто шляхом відділення квадродерева.

Іншими словами, схема обробки, під час виконання, може розбивати граничну частину шляхом відділення двійкового дерева в горизонтальному і у вертикальному напрямку.

Особливим є випадок, якщо гранична частина сягає вздовж границь як зображення, так і фрагмента, по вертикалі і по горизонталі, і включає кутову частину.

У випадку з кутом, схема обробки, під час виконання, розбиває на кожному ієрархічному рівні кутову частину граничної частини шляхом відділення квадродерева. Наприклад, на фігурі 9, частина (с), кут з обох сторін має розмір 56 вибірок; для кутового граничного СО 960 необхідне примусове ОТ з чотирьох рівнів (ОТ відділяє від 128х128 СТИ, в результаті чого з'являється чотири 64х64 СИ з верхнім лівим СО, що включає кут 56х56; ОТ відділяє ліву верхівку 64х64 СИ, в результаті чого з'являється чотири 32х32 С з нижнім правим СИ, який включає кут 24х24; ОТ відділяє праву нижню частину 32х32 СИ, в результаті чого з'являються

СО 16х16, в яких права нижня частина включає кут 8х8, і заключний етап розділення ОТ нижньої правої частини 16х1б6 неповного СО до чотирьох СИ 8х8, тобто до розділень мінімального розміру, серед яких верхній лівий розділ знаходиться в зображенні, в той час як інші не знаходяться.

З іншого боку, для нижнього граничного СО 950 необхідні два рівня примусового ОТ і після цього два рівня примусового ВТ (ОТ відділяє 128 х 128 СТИ, ОТ відділяє ліву верхівку 64 х 64

Су, двійково відділяє 32 х 32 С, включаючи 32 х 24 граничну частину до двох 32 х 16 СИ на нижній границі, і як заключний етап ВТ поділяє нижню частину 32 х 16 СО на два 32 х 8 СУ, серед яких тільки верхній знаходиться всередині границі зображення.

Для кутового СО 960 заданий М рівень ОТ не буде прийматися до уваги, і кут СО буде примусово поділений на ОТ у всіх ієрархічних рівнях. Зокрема, у випадку з кутом, якщо права нижня вибірка листового вузла (неповний СИ, тобто розташований частково всередині граничної частини) знаходиться за межами як правої границі, так і нижньої межі, і цей поточний неповний СИ буде виражено як БСогпег (фігура 10, етап 1050, "Так"). Якщо БСотег є істинним для поточного СИ, то поточний СО буде додатково поділено з використанням примусового ОТ.

Зо Розбивання закінчується, коли листовий вузол, отриманий в результаті розділення, знаходиться повністю всередині граничної частини, або якщо кутова частина стає нижнім або правим граничним кейсом (БВойт, БКідпо, що означає, що права нижня границя поточного СИ розташована або тільки поза нижньою, або поза правою границею граничної частини, тобто зображення або фрагменту.

У цьому прикладі, якщо М-0 або 1, або 2, схема примусового розділення ОТ буде однаковою, оскільки СО 960 завжди вимагає примусової ОТ, а СО 950 буде поділений шляхом

ОТ на перших двох рівнях, будь-яким чином. Це обумовлено тим, що СО глибини 0 (СТІ), СО глибини 1 (64х64 вибірок) є все ще кутовими СИ. Тільки після розділення 64х64 С на глибину 2, є чотири С, один з яких абсолютно не є граничним СИ (верхній лівий), два являють собою

СИ нижньої границі і правої границі, і тільки один є кутовим СИ.

Якщо М-3, буде потрібне ще одне примусове ОТ, а потім схема примусового розділення буде змінена для СИ 950 так, що нижній лівий 32х32 СИ буде додатково поділено ОТ замість розділення ВТ. Розділення СИ 960 залишається тим самим.

За даним винаходом, може використовуватися поєднання примусового ОТ і примусового

ВТ, як уже коротко описано вище. Зокрема, для дещо складної текстури або руху на граничній частині, для якості зображення може бути корисним деталізоване розбиття. Тому поєднане примусове розбиття шляхом ОТ і ВТ також пропонується. Зокрема, в одному поєднанні здійснення примусового ОТ і примусового ВТ, розбивання примусовим ВТ застосовується тільки після певного числа М примусових рівнів ОТ. Якщо в іншому завданні розбиття ОТ дозволяється після розбиття ВТ, то примусове розбиття ОТ можливе після примусового ВТ.

У поєднаному здійсненні примусового ВТ і примусового ОТ існує декілька способів визначення числа примусових рівнів СТ. Якщо використовується попередньо визначений примусовий рівень ОТ, то всі граничні СТО спочатку будуть примусово розбиті з однаковою структурою ОТВТ, а додаткове розбиття можливе, грунтуючись на КО-оптимізації. Фігура 8 з правого боку ілюструє приклад одного рівня ОТ і трьох рівнів ВТ розбиття нижньої границі по 128х56 вибірок в неповному 128х128 СТИ.

Рівні примусового ОТ можуть адаптивно вибиратися за допомогою параметрів кодера, таких як тимчасовий ІЮ або тип фрагмента. Певний тип фрагмента або нижнього часового ІЮ може зажадати більш деталізованого розбиття. Більше того, рівні примусового ОТ можуть бути бо скориговані за допомогою оптимізації коефіцієнта спотворення і сигналізовані в бітовому потоці для індикації того, скільки рівнів примусового ОТ використовується. Сигналізація про номер рівня на рівні СТО може використовуватися для індикації того, скільки рівнів примусового ОТ вже використано для СТО. Додатково, сигналізація про номер рівня у заголовку фрагмента може використовуватися для індикації того, скільки рівнів примусового ОТ вже використано для поточного фрагмента. Сигналізація про номер рівня в 5Р5 може використовуватися для індикації того, скільки рівнів примусового ОТ вже використано для кодованої відеопослідовності.

Сигналізація про номер рівня в РР5 може використовуватися для індикації того, скільки рівнів примусового ОТ вже використано для кодованого зображення.

Кількість рівнів примусового СТ також може бути визначено шляхом будь-якого іншого підходу. Наприклад, можна використовувати ентропію оригінальних вибірок в межах фрагмент/кадру/границі. Ентропію обчислюють підсумовуванням значень р і-І0д2 (р )пої, де рі - це ймовірність значення | інтенсивності вибірки на певній ділянці. Знак «"» означає множення, "Іод 2" означає логарифм за основою 2. Що вище ентропія, то вірогідніша присутність структури на ділянці фрагмента/кадру/границі і, таким чином, менший модуль СО можна отримувати. Однак, це лише приклади і, в принципі, даний винахід не обмежується будь-яким конкретним способом, в якому визначається число примусових рівнів ОТ. Можуть бути використані будь-які інші заходи, такі як дисперсія присутності країв.

Схема обробки, під час виконання, розбиває граничну частину до моменту, коли модуль кодування найглибшого рівня повністю перебуває в межах граничної частини.

За даним винаходом, пропонується спосіб для розділення частини зображення на модулі кодування. Спосіб включає розділення частини зображення на ціле число модулів дерева кодування із заданим розміром і граничну частину з розміром меншим, ніж заданий розмір, щонайменше, в першому напрямку, який є або горизонтальним, або вертикальним напрямком.

Потім виконується ієрархічне розбивання граничної частини на модулі кодування, включаючи найглибший модуль кодування з різними розмірами в відповідних горизонтальних і вертикальних напрямках, причому найглибший модуль кодування є меншим в першому напрямку.

В одному варіанті здійснення, розбивання граничної частини додатково включає наступні етапи: початок з поточного рівня розбивання, який є найкоротшим рівнем розбивання;

Зо послідовне розділення граничної частини на модулі кодування поточного рівня розбивання на протязі часу, коли модуль кодування поточного рівня розбивання ще не потрапив у граничну частину; якщо модуль кодування поточного рівня розбивання не потрапляє всередину граничної частини, збільшують рівень розбивання і додатково розбивають згаданий модуль кодування, при чому розбивання квадродерева використовується для М найкоротших рівнів розбивання, і розділення двійкового дерева використовується іншим способом.

Послідовне розділення означає, що розділення виконується від найкоротшого рівня до найглибшого рівня. Зокрема, примусове розділення виконується на кожному ієрархічному рівні для модуля кодування, який розташований на границі (границя С), ії означає, що такий СО включає вибірки всередині границі зображення/фрагмента (в межах граничної частини), і частину, розташовану поза межами зображення/фрагмента. У даному документі термін СО відноситься до СИ з розміром, отриманим від розбиття, яке, однак, є неповним, оскільки воно включає менше вибірок, ніж задано його розміром, тобто він частково розташований за межами розбитого зображення/вибірки.

Таким чином, примусове розділення виконують з метою розбити граничну частину приблизно від найбілиших СО до найменших СИ так, щоб поділити всю граничну частину.

Інформація про розбивання не потрібна для примусового розділення, його можна попередньо визначити, як вже обговорювалося вище. М можна сигналізувати або попередньо визначити, якщо мається декілька примусових рівнів ОТ. Попередньо визначений М означає, що і кодер, і декодер мають інформацію про таке М, яке можна визначати, наприклад, за стандартом.

Однак, після виконання примусового розділення, модулі СО примусово поділеної граничної частини можуть бути додатково розбиті. Це може виконуватися на основі оптимізації коефіцієнту спотворення і, таким чином, також сигналізуватися у бітовому потоці. Зокрема, для модулів СИ у граничній частині, які більші, ніж мінімальний розмір СО, може сигналізуватися покажчик розділення або множина покажчиків розділення, які вказують, чи може такий СО бути додатково розбитим і яким чином.

Потрібно зазначити, що інформація про розбиття, включена в бітовий потік, може містити покажчик розділення СТ і/або покажчик розділення ВТ. Розділення ОТ і ВТ також можна змішувати до моменту, коли сигналізується або виводиться, який з двох видів розділення використовується. На стороні декодера, після примусового розділення, подальше розбивання бо виконується на основі декодованої інформації розбиття, такої як ді 5рій си Пад і

БІ берій си ПЯЧад. Фігура 10 показує детальний зразковий варіант здійснення граничного розбиття і, зокрема, примусового ВТ, а також поєднання варіанту здійснення примусового ОТ і примусового ВТ. Змінні величини, застосовані на фігурі, мають таке значення: - БНижня (рВойот) вказує, чи права нижня вибірка поточного СТО, чи СО розташована за межами нижньої границі. - БПрава (бВойот) вказує, чи права нижня вибірка поточного СТО, чи СО розташована за межами правої границі. - БКутова (бВойот) вказує, чи права нижня вибірка поточного СТО, чи СО розташована за межами правої нижньої кутової границі. - ЕОТ ІМ вказує рівні примусового ОТ до того, як буде виконано примусове ВТ (відповідає

М, описаному вище). - піГлибина (прерій) вказує ієрархічний рівень поточного розбиття.

Як вказано вище, рівні примусового ОТ могли бути попередньо визначені, адаптивно вибрані на основі параметрів кодера, таких як тип фрагмента/часовий ІЮ або на основі ВО втрат.

Зокрема, на етапі 1010 починається розбиття граничної частини СТИ (рівень 0). Якщо СТО являє собою СТИ на нижній або правій границі (але не на кутовій границі) на етапі 1020 і якщо ціГлибина не є більшою за РОТ ІМ-1, то СТИ ділять на етапі 1040 за допомогою примусового

ВТ. Інакше застосовують етап 1060 розбиття примусового ОТ. Розділення продовжується додатковим розділенням модулів СО граничної частини. Наприклад, у прикладі на фігурі 8 (Б) показник РОТ ЇМ для СТИ дорівнює 1. Оскільки піГлибина-:0 дорівнює РОТ |М-1-0, то на етапі 1030 неповний СТИ буде примусово поділено за допомогою ОТ на етапі 1060, що в результаті дасть два Си (верхній правий і лівий), які потребують додаткового розділення. Кожен з цих СУ будуть додатково рекурсивно розбиті. Правий верхній СО (рівень 1) все ще є неповний і тому є

Си граничної частини. Як нижній граничний СИ на етапі 1020, і оскільки піГлибина-1 є більшою за РОТ ГМУ-1-0 на етапі 1030, то примусове ВТ буде застосовано на етапі 1040 до верхнього лівого СО. Верхній правий СИ буде розбито таким самим чином. Модулі СО граничної частини (неповні) (64х24) будуть додатково поділені на рівні 2 за допомогою ВТ на етапі 1040.

Залишений 64х8 СИ на рівні З досягне границі зображення і цим приведе до позначки "Ні" на етапах 1020 їі 1050. Розділ розміру 8, як мінімальний розділ, не буде додатково поділятися на етапі 1070, але скоріше за все, приведе до позначки "Так" на етапі 1080 і, тим самим, припинить розбивання на етапі 1090. Другий СИ 64 х 24 буде поділено таким самим чином.

З іншого боку, СТО 56х56, що в частині (с) фігури 9, є кутовим СТИ. На етапі 1020 (рівень 0)

СТИ перейде до етапу 1050 і, як кутовий СІ, буде розбитий за допомогою ОТ на етапі 1060. На рівні 1 верхній лівий СО 56х56 буде проведений так само, з отриманням в результаті трьох граничних модулів СО (нижній лівий, верхній правий і кутовий). Приймаючи РОТ ЇЇ М-0, що означає, що для модулів СО БНижній і бПравий не виконується розділення примусовим ОТ, то нижній лівий і верхній правий модулі СО будуть поділені за допомогою примусового ВТ на етапі 1040 (після "так" на етапі 1020 і "ні" на етапі 1030). Кутовий 24х24 СИ (рівень 2) перейде з етапу 1020 до етапу 1050 і буде розбитий за допомогою ОТ на етапі 1060, що знову приведе до трьох граничних Си з розмірами 16х8, 8х8 і вх16, які додатково не потрібно розбивати, і пройде етап 1020 у напрямку "ні", етап 1050 у напрямку "ні" і через етап 1070 - до кінцевої умови 1080 і до кінця 1090. Кінцева умова може мати, наприклад, мінімальний розмір, - у даному прикладі рівний 8.

Далі Таблиця 2 показує зразковий синтаксис, який дозволяє сигналізувати покажчик розділення ОТ для нормальних (не граничних) модулів СО. Додатково, покажчик розділення ВТ може сигналізуватися для модулів СИ інакше, ніж гранична частина модулів СО. Синтаксис по содіпуд диадігеє є рекурсивним, тобто розбиття є ієрархічним. Розбиття виконується, якщо наступні умови є вірними:

БО хОчсиМуіа «- ріс млі іп шта затріев5 і уб--сиНеїдні «- ріс Неідні іп їшта 5атрієв.

Іншими словами, як довго нижній правий кут поточного СО (тобто СО, що в даний момент обробляється шляхом розділення) перебуває в межах зображення, так довго СТИО/С поділяється за допомогою квадродерева або двійкового дерева. Потрібно зазначити, що такий синтаксис є лише зразком і що даний винахід можна застосовувати в інших випадках, таких як використання лише ОТ, або ВТ, або вибіркові типи додаткового розбиття для модулів СТИ, які є повністю в межах зображення/фрагмента. Значення симіпВтТ5ї2, сиМахвт5і2е і сиМмахВТОерій, застосовані в синтаксисі, є заданими значеннями. бо У вище викладених умовах хо і у0 регламентують розміщення верхньої лівої кутової вибірки поточного СИ, сиумідн ї сиНеіїдні регламентують горизонтальний і вертикальний розмір СИ, а параметри ріс м/п іп їшта 5атріев5 і ріс м/« іп Ішта 5атріев5 регламентують горизонтальний і вертикальний озмір зображення. Потрібно зазначити, що у даному прикладі розбито усю площу зображення. Однак, аналогічний підхід можна використовувати до незалежно декодованих частин зображення, таких як фрагменти, плитки або інші частини зображення із границями.

Подібно до стандарту НЕМС, коли ді 5рій си ПйаоіхОМЦУО|Ї не є в наявності (граничний випадок), то засосовується наступне (в кодері і декодері): - Якщо сиумідй (ширина СИ поточного рівня) більша, ніж МіпоОТ5і27е (мінімальний розмір ОТ, в даному випадку - 8) і сиНеіїдйї (висота СО поточного рівня) більша, ніж МіпоОТ5їі2е, то приймається, що значення ді 5рій си ПаоіхО|УО| дорівнює 1. Іншими словами, границю примусово ділять. - Інакше (0д2Ср5і2е дорівнює МіпСрі од25і2еу), значення 5рій си Паяд ЇхО) (УФ) приймається таким, що дорівнює 0. Іншими словами, якщо поточний СО має мінімально допустимий розмір

МіпсСбрі од25і2еу, то декодер допускає, що СИ більше не поділяється.

Подібно до випадку за Таблицею 1, що вище.

Таблиця 2: Зразковий синтаксис винаходу примусового ВІ їі примусового ОТ плюс примусовий ВТ, що трунтується на синтаксису із Таблиці / (виділено сірим). сойфпо диадітеє( хО, 0, саферф, сич, сиНеїювбо) Дескри птор нс

СТО Іде я» саберій - сим ка шуй - шНеїрПуї

Н(хо соц - ріс ж іп Пітта 5атрівє Кк уйсиНеївн я- ріс Беірб іп та вашрієв)ї

ЧЕ 5рік си Пав хО | УС нини ПИ п я ПОЛ

Що зрін си Пав хо || у0 ке ЦЬВВоппдагу | ВКВонадагу)? саферійй - БОТ ГМ-1: дме 3) Її хі-хОо сим 1 ШИ уі-уб нечНеївіц 221 в соЧте дипафтеє( хО, у0, саферій я 1, смій і1, сиНеївй 221) в

Щохі «ріс хв то Їнта затрієв ) І содіпе дпадітеє( хі, х0, сашШерій 1, сині, сиНгівій 251)

Шу! ріс Неірій ші нта 5затріев) ШИ софпе одпафнтеє( хо, у!, саферій З 1, сила, сиНеївін 21)

і хі сріс ха її Ішта затрісв ке оу ріс Неісінм іп НПита 5аптрієв) соФфше днафтеє хі, у1, саШерій 1, сиди, есиНеївім 21)

Р віхе Я ( (сиНаївін » сіМівВТ 5172 || силу ід » си МіпВІТ5і7е) кА сиійф -- сиМах ВТ 5172 кв сиНеїів ні - сиМАХВТ5Іге г сиВТОерів с сиМахВТОерій)) «»ВВоподагу | БК Вонпаатгу)? саерій х ОТ ГУ-1 : ї8Ї5е 334

ЧИ (ЬВВоппдагу || ВКВонпдату)) ШИ

ТІ 5рій сн Пав хО || у (БЕ 5рНЄ си Пав хо ЦД Ууб 1-134 ШИ у1-уб і сиНеівін з 1 ШИ софпе дпайтес( хО, уд, саберіб, сила, сиНеїві 221) ШИ

Що у1 ріс Неї пп Їшта затріев) ШИ содіпр дпафтесі( хО, уі, саферій, силу. сиНеїві 21) ШИ реве ( бі рі си Пав хо Цоу0О | -231 ШИ хі-х0Оо симво 1 ШИ софпе диайтесе( хо. уд, сафері. сила, сиНеїені) ШИ

Щохі1 с ріс ху їй Цнпа «атрівв ) ШИ содіпе днадітее( хі, у0, себерф, сим йше 1, сиНеїрій) ШИ нн нний соб т хо, у0, юр2СьЬБіге ) ШИ пнннинининининнннннишншй

Як видно, покажчик Бі 5рій си Пад може сигналізуватися. Цей покажчик сигналізується, коли

ВТ розділення модуля СТИ сконфігуровано для СТО/СИ не на границі (умова Її ((БВВоипаагу

БКВоипаагу))). У випадку з границею, примусове розділення не потребує додаткових покажчиків, тому що значення покажчика виводиться. Зокрема, коли рі 5рій си ПадіхО|УОдІ не є в наявності, (у випадку границі), застосовується наступне: - Якщо бВВоипаагу (означає, що поточний СО/СТИ знаходиться на нижній границі) є вірним і в той же час симу/ідій є більшим за МіпВТ5ї2е або сиНеїдні є більшим за МіпВтТ5і2е (поточний

СО/СТ не має мінімального розміру і тому може бути, в принципі, додатково поділений), значення Бі 5рій си ПадіхОГЦУдІ| приймається таким, що дорівнює 1 (означає, що виконується додатковий двійковий розділення, а саме розділення двійкового дерева, в результаті якого довша сторона поділеного СО стає паралельною/сходиться з низом, тобто горизонтальною границею). - ОВВошипаагу (означає, що поточний СО/СТИи знаходиться на правій границі) є вірним і в той же час сиумід( є більшим за МіпВТбіле або сиНеїднпі є більшим за МіпВтТ5і2е, значення

БІ 5рій си ПЯадіхОЦУдІ| приймається таким, що дорівнює 2 (означає, що виконується додатковий двійковий розділення, а саме розділення двійкового дерева, в результаті якого довша сторона поділеного СІ стає паралельною/сходиться з правою стороною, тобто вертикальною границею). - В іншому випадку, значення Бі 5рій си ПадіхоЦУд| приймається таким, що дорівнює 0, і означає, що ніякого двійкового розділення не виконується.

Знаходження на границі означає, що не існує С на поточному ієрархічному рівні розбиття або нижче між поточним СИ і границею, іншими словами, поточний СО належить до граничної частини в поточному ієрархічному рівні (відповідно якщо БВВоипаагу є вірним або БКВипаагу є вірним). Розділення ВТ використовується у випадку, якщо примусово не виконується ОТ (сдіЮерій » РОТ ІМ-1), і покажчик ВТ включається в бітовий потік, якщо поточний СО не є граничним СИ.

Прикладами значень варіанту винаходу компанії УЕМ є симіпВТ5і2е для між-кадру, що має значення 4, СиИМмМАХВТ5Іі2е для між-кадру, рівного 128, і сиИмМАХВТОерій рівного 3. Однак даний винахід не обмежений цими розмірами і може бути застосований до будь-яких вибраних значень.

Потрібно зазначити, що описаний вище синтаксис наведено лише як приклад і що він приймає відомості про змінну ОТ ГМ, яка вказує число примусових рівнів розділення ОТ. Якщо значення РОТ ЇМ дорівнює нулю, то не існує рівнів примусового ОТ, і повне примусове граничне розділення виконується розділенням двійкового дерева. Синтаксис і семантика можуть бути реалізовані по-різному без відхилення від даного винаходу.

Ще одне рішення, засноване на програмному забезпеченні "ЕМ (ОЕМ 5 ї 6), може бути призначене для визначення наступної семантики. Коли ді 5рій си ПадіхОГУдІ| не є присутнім (граничний випадок), значення ді 5рій си ПадіхОГЦУу0| приймається таким, що дорівнює 1, що означає подальше ОТ розділення у випадку кутового СУ або примусового ОТ (якщо сдіОерій «-

ЕОТ ІМ-1).

Коли рі 5рій си ПасдіхОГУОд| не є присутнім, (граничний випадок), застосовується наступне: - якщо БВВоипдагу є вірним, значення Бі 5рій си ПаоїхОЦУО| приймається таким, що дорівнює 1, що означає, що нижній граничний СО поділяється двійковим розділенням у вертикальному напрямку, тобто для створення двох горизонтальних СИ (тобто модулі СО довші у горизонтальному напрямку, ніж у вертикальному напрямку). - якщо БВВоипдагу є вірним, значення Бі 5рій си ПаоїхОЦУО| приймається таким, що дорівнює 2, що означає, що правий граничний СО поділяється двійковим розділенням у горизонтальному напрямку, тобто для створення двох вертикальних СИ (тобто модулі СО довші у вертикальному напрямку, ніж у горизонтальному напрямку).

Наведений вище приклад показує примусове розділення з параметром, що визначає число рівнів примусового ОТ до того, як буде застосовано розділення ВТ. Семантичні правила визначають розділення, який потрібно прийняти у випадку, коли покажчик розділення не присутній, тобто на границі. Однак, даний винахід не обмежується таким підходом.

Альтернативно, граничні (неповні) СТО можуть спочатку розбиватися за допомогою КО- оптимізації, а блок, що залишився, розташований на границі кадру, може потім використовувати примусовий ВТ розділення або поєднання примусового ОТ і примусового ВТ розбиття. Розбиття за допомогою КО-оптимізації означає, що покажчики розділення сигналізуються в бітовому потоці для відповідних СО. Розбиття за допомогою КО може визначатися (тобто за стандартом чи за допомогою сигналізування, загалом для послідовності зображень або для зображення), як

Зо ОТ або визначатися як ВТ, так що вибір між ВТ і ОТ не потребував сигналізування для кожного

СИ. З іншого боку, покажчик розділення може бути розширений, щоб не тільки вказувати, поділяється чи ні даний СИ, але також, чи поділяється він за допомогою ОТ, чи ВТ.

На стороні декодера примусове розбиття буде опрацьоване на граничних СТО/СИ. Для примусового розбиття ВТ, примусове горизонтальне ВТ (розділення у вертикальному напрямку для формування горизонтальних розділень) буде використане на модулях СТИШ/СИу, розташованих на нижній границі, до моменту, коли праві нижні вибірки листових вузлів знаходяться всередині нижньої границі фрагмента/зображення. Примусове вертикальне ВТ буде використане на модулях СТШО/СИ, розташованих на правій границі, допоки праві нижні вибірки листових вузлів знаходяться всередині правої границі фрагмента/зображення. Модулі

СТО/СО правого нижнього кута будуть розбиватися з використанням примусового ОТ, до моменту, коли праві нижні вибірки листового вузла знаходяться всередині границі фрагмента/зображення або листові вузли стають правою/нижньою границею. Додаткове розбиття виконується, грунтуючись на декодованому покажчику розділення, який може бути ОТ або ВТ покажчиком розділення в залежності від того, чи визначене число рівнів розбиття примусового ОТ, як вже описано вище з посиланням на синтаксис. Елементи синтаксису генеруються кодером і обробляються декодером, як пояснюється вище.

Для поєднання примусового СОТ і примусового ВТ, число рівнів примусового ОТ для граничного СТО (відповідно до параметрів РОТ ЇМ) може вибиратися адаптивно за часовим типом ідентифікатора/фрагмента або декодуватися з бітового потоку. Декодований рівень примусового ОТ можна було б витягнути із заголовка фрагмента, набору параметрів 5РЗ або

РРБ5. Граничні СТШО/СО розбиваються за допомогою примусового ВТ лише після розбиття примусовим ОТ. Коли праві нижні вибірки листкового вузла знаходяться в межах границі, примусове розділення буде скасовано. Додаткове розбиття виконується на основі декодованого покажчика розділення.

Іншими словами, за варіантом здійснення, в декодері, якщо СТО розташовано на границі фрагмента/зображення, розбиття двійковим деревом виконується без індикатора розбиття двійковим деревом (покажчика) і/або індикатора типу розбиття двійковим деревом (індикація того, чи виконується ВТ чи ОТ). Двійкове розбиття скасовується, коли права нижня вибірка листкового вузла розташована всередині границі фрагмента/зображення (тобто не перетинає 60 границю зображення).

Таким чином, замість граничного розбиття примусовим ОТ, пропонується примусове ВТ для граничних СТО. Впроваджується примусове горизонтальне ВТ для нижньої границі і примусове вертикальне ВТ для правої границі. Для правої нижньої кутової границі примусове ОТ буде використовуватися, допоки поточне СІ) більше не потребуватиме примусового розбиття (оскільки досягнуто мінімальний розмір), або поточний СО знаходитиметься на нижній або правій границі.

В ще одному варіанті здійснення даного винаходу можливе також поєднання розбиття примусовим ОТ і примусовим ВТ. Наприклад, розбиття примусовим ВТ виконується лише після певного числа рівнів примусового ОТ. Для поєднання розбиття примусовим ОТ і примусовим

ВТ, рівні примусового ОТ можуть адаптивно вибиратися за допомогою часового ідентифікатора або типу фрагмента. Альтернативно, рівні примусового ОТ можуть бути скориговані за допомогою спотворення і вкладені у бітовий потік для індикації того, скільки рівнів примусового

ОТ використовується для декодера.

Ще більша гнучкість досягається, коли граничні СТО вперше розбиваються за допомогою

ВО-оптимізації і лише решта блоків, розташованих на границі кадру (тобто неповні С, які розташовані частково всередині зображення і частково за межами зображення) можуть використовувати запропоноване розбиття примусовим ВТ або поєднання розбиття примусовим

ОТ і примусовим ВТ, як описано вище.

Розбиття, що описувалося до даного моменту, можна застосовувати у нерухомому зображенні або відеокодуванні. Зокрема, розбиття можна застосовувати в кодері і в декодері, які показані на Фігурах 1 і 2, в модулі 110 розділення і модулі 250 розділення, відповідно.

Таким чином, даний винахід також передбачає пристрій для кодування зображення відеопослідовності, який містить: пристрій (модуль розділення) 110 для розділення частини зображення на модулі кодування за будь-яким прикладом, описаним вище, модуль 120-145, 160-195 кодування зображення, виконаний з можливістю кодувати модулі кодування, а також модуль 150 формування бітового потоку, виконаний з можливістю генерувати бітовий потік, включаючи кодовані модулі кодування і інформацію розбиття, яка вказує, як розбиваються модулі кодованого дерева.

Додатково кодер можу містити модуль оптимізації коефіцієнта спотворення (не показаний на

Зо Фігурі 1), виконаний з можливістю визначати ієрархічне розбиття граничної частини відповідно до оптимізації коефіцієнта спотворення для будь-яких рівнів розбиття за виключенням найглибшого рівня. Модуль КО-оптимізації може виконувати кодування з використанням різних налаштувань кодера, відповідно до розбиття, а також вибирати налаштування, які в результаті дають мінімальну функцію втрат. Функція втрат може мати мінімальний коефіцієнт для заданого рівня дисторсії або подібності між прогнозуванням і оригінальним блоком, який підлягає кодуванню чи подібному.

Більше того, передбачається пристрій для декодування зображення відеопослідовності, який містить: пристрій 250 для визначення розділення частини зображення, яка підлягає декодуванню в модулі кодування, як описано вище; синтаксичний аналізатор 250 бітового потоку для синтаксичного аналізу бітового потоку, включаючи кодовані модулі кодування і інформацію розбиття, яка вказує, як розбиті модулі дерева кодування і грунтується на визначеному розділенні частини зображення; і модуль 225-240, 260-295 декодування зображення для декодування кодованих модулів кодування.

Потрібно зазначити, що розділення і синтаксичний аналіз виконуються рекурсивно спільно: синтаксичний аналіз включає відділяння від бітового потоку для поточного СО необхідної контрольної інформації, а розділення використовує інформацію синтаксичного аналізу і/або семантичні відомості для отримання місць розташування СИ, розмірів і даних. Зокрема, синтаксичний аналіз може передати покажчик розділення, а на основі цього засіб розділення або додатково поділяє поточний СИ, або фіксує його розмір. Залежно також від покажчика розділення, синтаксичний аналіз або додатково аналізує інформацію розділення модулів СИ додаткової глибини, або аналізує інформацію розділення для інших СИ тієї ж глибини, або аналізує дані, які потрібно декодувати для модулів СО. Більше того, засіб розділення виконаний з можливістю розбивати граничну частину, як описано вище, навіть без додаткового сигналізування бітового потоку відповідно до правил примусового розбиття.

Іншими словами, кодер і/або декодер можуть обидва застосовувати розділення граничної частини на модулі кодування, як попередньо визначений розділення. До того ж, інформація розбиття у бітовому потоці не відноситься повністю до розділення граничної частини. Це той випадок, коли границя поділяється попередньо визначеним чином, який звичайно може включати отримання розділення на основі інших налаштувань кодера, таких як тип бо зображення/часовий ідентифікатор/тип фрагмента.

Альтернативно, кодер і/або декодер можуть додатково бути виконані з можливістю розбивати граничну частину за допомогою розділення квадродерева на М найкоротших рівнів, причому М є цілим числом, більшим або рівним нулю, і меншим, ніж число ієрархічних рівнів розбиття; а також розбивати граничну частину за допомогою розділення двійкового дерева на ієрархічних рівнях розбиття, що залишилися, а також інформація розбиття включає індикацію М.

Інформація розбиття може додатково включати покажчик розділення для вказівки, чи повинні модулі СТШО/СІИ граничної частини поділятися і/або у який спосіб розділення (може включати двійкове дерево або квадродерево і/або інші опції). Покажчик полілу може сигналізуватися для всіх розділень (СУ) або лише для тих, які не розташовані на границі свого ієрархічного рівня.

Кодер і/або декодер можуть бути впроваджені (вбудовані) в мікросхему або засобами програмного забезпечення. Однак, кодер і/або декодер можуть також бути впроваджені на багатьох компонентах апаратного і програмного забезпечення.

Вище обговорювалися, в основному, два типи розділення, - розділення квадродерева і розділення двійкового дерева. Однак, засноване на вартості або попередньо визначене граничне примусове розбиття, запропоноване даним винаходом, також підходить для іншої структури примусового розбиття, а не тільки для примусового ОТ або примусового ВТ.

Вище описаний, в основному, випадок, в якому найглибший СО в примусовому розділенні граничної частини є прямокутним, а не квадратним СИ, тобто С з однієї стороною більшою, ніж інша сторона.

Однак, взагалі, гранична частина може бути розбита шляхом розділення двійкового дерева, щонайменше, на один з рівнів розбиття, в якому граничний модуль кодування залишається не в повному обсязі в межах граничної частини. Іншими словами, за даним винаходом, пристрій для розділення частини зображення на модулі кодування може включати схему обробки, яка, під час виконання, розділяє частину зображення на ціле число модулів дерева кодування із заданим розміром і граничну частину з розміром, меншим, ніж заданий розмір в, щонайменше, першому напрямку, який є або горизонтальним, або вертикальним; а також розбиває граничну частину ієрархічно на модулі кодування, включаючи модуль кодування з різними розмірами у відповідних горизонтальному і вертикальному напрямках, причому модуль кодування частково розташований в граничній частини і частково зовні частини зображення. Зокрема, розділення

Зо двійкового дерева може використовуватися для будь-яких граничних СИ.

Потрібно зазначити, що гранична частина, зображена на Фіг. 7, включає кілька модулів СТИ.

Описані вище зразкові варіанти здійснення і впровадження винаходу були описані для розбиття одного СТО. Це пояснюється тим, що навіть якщо тільки один з (неповних) СТИ в граничній частині є розбитий, як описано вище, це може бути вигідним і приводити до кращих результатів з точки зору ефективності кодування і/або складності. Проте, більш ніж один СТИ граничної частини може бути розбитий, як описано вище. Розбиття може виконуватися послідовно, СТО після СО. У деяких варіантах, може бути вигідно виконувати розбиття паралельно для різних

СТО. Паралельна обробка може зменшити затримку кодування/декодування, якщо вона використовується, відповідно, кодером/декодером.

Іншими словами, може бути вигідно застосовувати описане вище розбиття до всіх СТУ граничної частини. З іншого боку, даний винахід не обмежений цим, і розбиття може бути застосоване до одного або більше граничних СТО. Решта СТИ можуть бути поділені будь-яким іншим розбиттям, наприклад, тільки ОТ або подібним.

Також пропонується відповідний спосіб розбиття. Відповідні пристрої кодування і декодування і способи, які застосовують таке розбиття, додатково надаються.

Даний винахід може бути впроваджено в пристрої. Такий пристрій може бути поєднанням програмного забезпечення та апаратних засобів. Наприклад, внутрішньо-кадрове прогнозування і антиблокова фільтрація можуть виконуватися мікросхемою, такою як процесор загального призначення, або процесор цифрових сигналів (О5Р, адідна! відпа! ргосев5ог), або програмована користувачем вентильна матриця (ЕРСА, йеїй ргодгаттабіе дае агау) або подібне. Однак даний винахід не обмежується впровадженням на програмованому апаратному забезпеченні Він може бути впроваджений на інтегральній схемі специфічного застосування (АБІС) або за допомогою поєднання вищезгаданих апаратних компонентів.

Внутрішньо-кадрове прогнозування і аналіз антиблокової фільтрації можуть також впроваджуватися програмними інструкціями, збереженими на машиночитаному носії, який під час запуску на комп'ютері виконує етапи способу, описаного вище. Машиночитаний носій може бути будь-яким носієм, на якому зберігається програма, таким як ОМО (Оідйа! Мегзаше бівс, цифровий багатоцільовий диск), СО (сотрасі адібс, компакт-диск), ОВ (Пазі) агіме (058 (Павп, флеш-накопичувач) накопичувач), жорсткий диск, серверне сховище, доступне через мережу і (516) т.п.

Кодер і/або декодер можуть впроваджуватися у різноманітних приладах, включаючи телевізор, телевізійну приставку, ПК, планшет, смартфон або інше. Це може бути програмне забезпечення, програма, яка впроваджує етапи способу.

У підсумку, даний винахід стосується розбиття зображення або фрагменту зображення.

Зокрема, зображення або фрагмент зображення ділять на ціле число модулів дерева кодування як у вертикальному, так і у горизонтальному напрямках. Потім решту граничної частини, щонайменше частково, примусово ділять так, що найглибший рівень розбиття є результатом двійкового розбиття, тобто включає модуль кодування, який з однієї сторони є довшим, ніж з іншої сторони. Довша сторона паралельна або сходиться із зображенням або границею фрагменту зображення.

Claims (16)

ФОРМУЛА ВИНАХОДУ

1. Пристрій для розділення частини зображення на блоки кодування, причому пристрій включає схему обробки, причому схема обробки виконана з можливістю: підрозділення частини зображення на цілу кількість блоків дерева кодування із заданим розміром і граничний блок дерева кодування, розташований на границі зображення, причому граничний блок дерева кодування містить частину, розташовану всередині зображення, з розміром, меншим, ніж заданий розмір, в щонайменше першому напрямку, який є або горизонтальним, або вертикальним напрямком, і частину, розташовану зовні зображення, ієрархічного розділення граничного блока дерева кодування згідно з заданим розділенням на блоки кодування, включаючи блок кодування найглибшого рівня з різними розмірами у відповідних горизонтальних і вертикальних напрямках, причому блок кодування найглибшого рівня є меншим в першому напрямку; причому задане розділення включає: якщо граничний блок дерева кодування розташований на нижній границі зображення, розділення граничного блока дерева кодування рекурсивно з використанням тільки горизонтального розділення за допомогою двійкового дерева для розділення за допомогою двійкового дерева доти, доки блок кодування найглибшого рівня розташований повністю в Зо границях зображення, причому перший напрямок є вертикальним напрямком, і, якщо граничний блок дерева кодування розташований на правій границі зображення, розділення граничного блока дерева кодування рекурсивно з використанням тільки вертикального розділення за допомогою двійкового дерева для розділення за допомогою двійкового дерева доти, доки блок кодування найглибшого рівня розташований повністю в границях зображення, причому перший напрямок є горизонтальним напрямком.

2. Пристрій за п. 1, в якому схема обробки виконана з можливістю розділення граничного блока дерева кодування за допомогою розділення двійкового дерева, щонайменше на найглибшому рівні розділення.

3. Пристрій за п. 1 або 2, в якому схема обробки виконана з можливістю розділення граничного блока дерева кодування також за допомогою розділення квадродерева.

4. Пристрій за п. 3, в якому схема обробки виконана з можливістю: розділення граничного блока дерева кодування за допомогою розділення квадродерева на М найменш глибоких рівнів, причому М є цілим числом, яке є більшим ніж або дорівнює нулю і меншим, ніж кількість ієрархічних рівнів розділення; і розділення граничного блока дерева кодування шляхом розділення двійкового дерева в решті ієрархічних рівнів розділення.

5. Пристрій за будь-яким з пп. 1-4, в якому схема обробки, під час виконання, розділяє на кожному ієрархічному рівні кутову частину граничного блока дерева кодування шляхом розділення квадродерева.

6. Пристрій за будь-яким з пп. 1-2, в якому схема обробки виконана з можливістю розділення граничного блока дерева кодування на усіх рівнях розділення шляхом розділення двійкового дерева.

7. Пристрій (100) для кодування зображення відеопослідовності, який містить: пристрій для розділення частини зображення на блоки кодування за будь-яким з пп. 1-6; блок кодування зображення, виконаний з можливістю кодування блоків кодування; і блок формування бітового потоку, виконаний з можливістю генерування бітового потоку, включаючи кодовані блоки кодування і інформацію про розділення, яка вказує, як розділені блоки дерева кодування.

8. Пристрій (100) за п. 7, який додатково містить блок оптимізації коефіцієнта спотворення, бо виконаний з можливістю визначати ієрархічне розділення граничного блока дерева кодування відповідно до оптимізації коефіцієнта спотворення для будь-яких рівнів розділення за виключенням найглибшого рівня.

9. Пристрій (200) для декодування зображення відеопослідовності, який містить: пристрій для визначення розділення частини зображення, яке потрібно декодувати в блоки кодування за будь-яким з пп. 1-6; синтаксичний аналізатор бітового потоку для синтаксичного аналізу бітового потоку, включаючи кодовані блоки кодування і інформацію розділення, яка вказує, як блоки дерева кодування розділені і грунтуються на визначеному розділенні частини зображення; блок декодування зображення для декодування кодованих блоків кодування.

10. Пристрій за будь-яким з пп. 7-9, в якому інформація про розділення не пов'язана з розділенням граничного блока дерева кодування.

11. Пристрій за будь-яким з пп. 7-9, в якому схема обробки виконана з можливістю розділення граничного блока дерева кодування за допомогою розділення квадродерева на М найменш глибоких рівнів, причому М є цілим числом, яке є більшим ніж або дорівнює нулю і меншим, ніж кількість ієрархічних рівнів розділення; а також розділення граничного блока дерева кодування за допомогою розділення двійкового дерева на решті ієрархічних рівнів розділення, інформація про розділення включає М, або М отримують на основі типу прогнозування, застосованого до кодування оброблюваного зображення.

12. Спосіб розділення частини зображення на блоки кодування, причому спосіб включає етапи, на яких: підрозділяють частину зображення на цілу кількість блоків дерева кодування із заданим розміром і граничний блок дерева кодування, розташований на границі зображення, причому граничний блок дерева кодування містить частину, розташовану всередині зображення, з розміром, меншим, ніж заданий розмір, щонайменше в першому напрямку, який є або горизонтальним, або вертикальним напрямком, і частину, розташовану зовні зображення, ієрархічно розділяють граничний блок дерева кодування згідно з заданим розділенням на блоки кодування, включаючи блок кодування найглибшого рівня з різними розмірами у відповідних горизонтальних і вертикальних напрямках, причому блок кодування найглибшого рівня є меншим в першому напрямку; Зо причому задане розділення включає: якщо граничний блок дерева кодування розташований на нижній границі зображення, розділення граничного блока дерева кодування рекурсивно з використанням тільки горизонтального розділення за допомогою двійкового дерева для розділення за допомогою двійкового дерева доти, доки блок кодування найглибшого рівня розташований повністю в границях зображення, причому перший напрямок є вертикальним напрямком, і, якщо граничний блок дерева кодування розташований на правій границі зображення, розділення граничного блока дерева кодування рекурсивно з використанням тільки вертикального розділення за допомогою двійкового дерева для розділення за допомогою двійкового дерева доти, доки блок кодування найглибшого рівня розташований повністю в границях зображення, причому перший напрямок є горизонтальним напрямком.

13. Спосіб за п. 12, в якому розділення граничного блока дерева кодування додатково включає етапи, на яких: починають з поточного рівня розділення, який є найменш глибоким рівнем розділення; послідовно розділяють граничний блок дерева кодування на блоки кодування поточного рівня розділення доти, доки блок кодування поточного рівня розділення повністю потрапляє у границі зображення; як тільки блок кодування поточного рівня розділення не потрапляє у границі зображення, підвищують рівень розділення і далі розділяють згаданий блок кодування, причому розділення квадродерева використовується для М найменш глибоких рівнів розділення, а інакше використовується розділення двійкового дерева, причому М є цілим числом, яке є більшим ніж або дорівнює нулю і меншим, ніж кількість ієрархічних рівнів розділення.

14. Спосіб кодування зображення відеопослідовності, який включає етапи, на яких: розділяють частини зображення на блоки кодування за будь-яким з пп. 12-13; кодують блоки кодування; і генерують бітовий потік, включаючи кодовані блоки кодування і інформацію про розділення, яка вказує, як розділені блоки дерева кодування.

15. Спосіб декодування зображення відеопослідовності, який включає етапи, на яких: визначають розділення частини зображення, яке підлягає декодуванню на блоки кодування за будь-яким з пп. 12-13;

здійснюють синтаксичний аналіз бітового потоку, включаючи кодовані блоки кодування і інформацію розділення, яка вказує, як блоки дерева кодування розділені і грунтуються на визначеному розділенні частини зображення; декодують кодовані блоки кодування.

16. Машинозчитуваний носій, який зберігає інструкції, які під час виконання процесором змушують процесор виконувати спосіб за будь-яким з пп. 12-13. 100 130 140 УЮ о 180 т90 120 ! й тат відвовнок р р / Зазишко і Модуль | Відеоблок , / А вий ло Модуль Модуль Н роздіен | й нн я -- у трансформа | ві квантування 1------ Я ня | І ції Й і ! модуль і внутріні- і Модуль кадрового | і вибору прогнозув. ! і жим Квантовані /! режиму лок ва і Ммолучь п отнозування Залишкові пж маккадров.! 000000 Р миши коефтієнти Я прогнозува | ї вну | о150 х ри йо Модуль и 195 ентропійно й ми та ЩЕ Буфер кодування апорні : - Й ! зображення Вімовлений шини ї т т СоМодульо ко СОКодулЬ ооМодудь / контурної УВНИ блок зв оротньої зворотнього р в інфільтрован фільтрації жи трансформа: квантування і ин 5 / відновлений ел ше ПИ ни І окодованиц і відеоблок и 1 25 В, и / Опов оОУТК ї ! ! 7 / 170 150 135 5

Фіг. 1

250 290 то і І Й ій ! хо о Синтаке. / реніну Кодован і аналізатор. / ро Молуль -- 6 Нй оо ентроп. 300 -7 у зворотнього біговий і декодув., - квантування потік Й Й розділення / Я І Опорні п. ЛИШ і зразки модуль І 000 ВНУТ | ! Я кадрового Я ! прогнозув ще ! "Опорний : РІШНН ! 295 : р Модуль : : є ' Сун 0 ОНОК | міжкадр., | Її Ммаштль | Й ОО прогнозу (0001 долу /-280 Пенн й | і зворотної: 047 ще вання | ' трансфор с Буфер їі опорного ! | і ит Ре І прогнозування / ! 200 Н ня і - І, і ; і і Залишко- і нишннн чи о | вни Я і Модуль ту блок контурної «457 4------ ' Н : г у и ' : фільтрації В, Декодоване при й і а відео / 225 Відеодекодер

7 . с-к Н 200 Ж і РКО

Фіг. 2 й Кн, ! и х х ве З : : ї й рей й хх ше ха

3. з і : Е: М г у і ух т Ел й ї і Ка 7 з -ЯяЯ їй сі » Ж з с Ж Х К АК Аа яв 3 Ї сннннн Е ЕН ях зах ' її ТА Хх іх Е гтіх ер ИН ШК рух Ах тт ГЕ хх ях ай» ; і я а Б 8 ОО 312

Фіг. З ПЕК КН и тт ПОШЕ ї ї тт р у птн п прання Я -е- 0 реа Шк МЕШЧЕООЕ ї ! ях Кох не ПЕВНЕ ї ї Ще х ОХ нн ние ван ПО ї Ї и У що х шт В ех КІФЕКОТОЯ ї ї 27 У М 3 т ї з Я Ох С» Є м ї ПЛИТІ з Я К їй Ко їй м Кк ї у ї з Я Ки хо 7 хо Кі ко ї : 1 Я У : МЕНЯ ї Ох

Фіг. 4

Х8 Х8 В ш

ІЧ. ІН шов нн ! :

І. - Х8 х8 ; І ї мк: Її З З в Границя НІ і ; і ге кадру аа фе кекксуккку соку я оком соку вия жи жи ж ШЕ я дру НІ К ж ЗЕ ЗЕ ЗИ З ЗИ ЖЕ і і Я Яо МАЕ МКК Ж ВИК АК М В ЗА В ЯНА Я : і « 1 і ! ! і з ' ! | і : : ' ра Н і ' ! « 5 0 а пл жлечно ні піт е неточно аптечні чі п

Фіг. 5 «во

1. стул : ! : кі) Возділення кадру зх і ; 5 І ь І4 Е Ї ' Е і и Е Е ' Е ЖИ кр о Розбаимя СТО ; ; 20 ; ' з ь і. І ; нина плини: : КІ и - і: : Граничне ' Е разбнття ! : 630 ; : ; ІЗ Н и Є : : Ж фіг. о -- тон пн а Пенн І 1 Й І Пт ДТ ТТ ТтЕ ТЕТ КУ ОК В М КМ М М М КК Х з 5 пе І Шана / 1 їі З і ' ' І 720 790 .

Фіг. 7

32 32 56 5в і 16 16 ва І раниця , В фдттттнтттттттттяттттттттттттнтттттнтннн кадру итиннтнтннтнннкитютки ння І І і І І НЕ І І І в І (2) Примусове ВТ з (В) Примусове ВІ з примусовим ОЇ рівня 0 примусовим О1 рівня

Фіг. 8 рома пи і рт вв- ! : ' ! ' ! ! І і І Е пн аа кейнкоааннаавтюлакювантяятиї ів! 55 128 рентні ннн А о пнннннннтнннтнннннннння во ще І

! о. і (3

Фіг. 9 то / й Початок ХХ Мо розбнтя й 1629 М тво су н щит я У сх Щи нах, ВІ Нормальне - Ммова ек, ««д ВБовох пон т» Вботиг ий розбиття «пропуску Ше" Н х ія вп х у 1090 1550 1070 | Р у рий Ше Ши ( Стоп У чоза обо розбиття Ще

К. й ва Шини «ет Цоювек кот Й Мо Примусове " й ше ОТ М зо й Примусове 7

Фіг. 10