UA128232C2 - Спосіб і пристрій для розбивання зображення - Google Patents
Спосіб і пристрій для розбивання зображення Download PDFInfo
- Publication number
- UA128232C2 UA128232C2 UAA202101567A UAA202101567A UA128232C2 UA 128232 C2 UA128232 C2 UA 128232C2 UA A202101567 A UAA202101567 A UA A202101567A UA A202101567 A UAA202101567 A UA A202101567A UA 128232 C2 UA128232 C2 UA 128232C2
- Authority
- UA
- Ukraine
- Prior art keywords
- current node
- mode
- block
- node
- partitioning
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000005192 partition Methods 0.000 title claims abstract description 16
- 238000000638 solvent extraction Methods 0.000 claims abstract description 240
- 238000012545 processing Methods 0.000 claims description 93
- 230000006854 communication Effects 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 26
- 238000004458 analytical method Methods 0.000 claims description 19
- 238000012805 post-processing Methods 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims 1
- 230000000903 blocking effect Effects 0.000 claims 1
- 230000015556 catabolic process Effects 0.000 claims 1
- 230000008447 perception Effects 0.000 claims 1
- 238000013316 zoning Methods 0.000 claims 1
- 230000033001 locomotion Effects 0.000 description 72
- 238000013139 quantization Methods 0.000 description 66
- 230000009466 transformation Effects 0.000 description 46
- 239000013598 vector Substances 0.000 description 28
- 238000006243 chemical reaction Methods 0.000 description 27
- 239000012634 fragment Substances 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 11
- 238000006073 displacement reaction Methods 0.000 description 11
- 238000007781 pre-processing Methods 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 6
- 101100460147 Sarcophaga bullata NEMS gene Proteins 0.000 description 5
- 238000003491 array Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- YPMOAQISONSSNL-UHFFFAOYSA-N 8-hydroxyoctyl 2-methylprop-2-enoate Chemical compound CC(=C)C(=O)OCCCCCCCCO YPMOAQISONSSNL-UHFFFAOYSA-N 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Варіанти здійснення даного винаходу пропонують спосіб і пристрій для розбивання зображення. Спосіб включає визначення режиму розбивання поточного вузла, причому поточний вузол містить блок яскравості і блок кольоровості; визначення на основі режиму розбивання поточного вузла і розміру поточного вузла, що блок кольоровості поточного вузла додатково не розбивається, і коли блок кольоровості поточного вузла додатково не розбивається, розбивання блока яскравості поточного вузла на основі режиму розбивання поточного вузла. Коли блок кольоровості поточного вузла додатково не розбивається, спосіб може бути застосований для розбивання лише блока яскравості поточного вузла, тим самим покращуючи ефективність кодування і декодування, зменшуючи максимальну пропускну здатність кодека і полегшуючи реалізацію кодека.
Description
покращуючи ефективність кодування і декодування, зменшуючи максимальну пропускну здатність кодека і полегшуючи реалізацію кодека. 9ю ; Старт 901 510 т Визначення, чи Нв Синтаксичний аналіз в поточний вузол інформації про блок розбивається кодування о ит
Фо, Так
Пристрій декодування відео здійснює снитаксичний аналіз бітового дотоку з метою отримання режиму розбивання поточного вузла я 908
Св - изначення за основі режиму Розбивання цеточного вузна и розбивання поточного вузла з розміру Так| на дочірні вузни, де кожен « поточного вузла, чи здійснюється дочірній вузол містить блок ве блока кольоровості яскравості Годок поточного вузла кольоровості пе рий кт об - Ні
Розбивання блока яскравості поточного вузла на основі режиму розбивання поточного вузла
Фіг. 9
Ця заявка стосується галузі кодування відео, зокрема способу і пристрою для розбивання зображення.
РІВЕНЬ ТЕХНІКИ
В умовах стрімкого розвитку інтернет-технологій і постійного збагачення матеріальної і духовної культури людей зростає потреба у використанні відео, особливо відео високої чіткості, в інтернеті. Однак відео високої чіткості має досить великий об'єм даних. Для передачі відео високої чіткості в інтернеті з обмеженою пропускною здатністю проблемою, яку потрібно спочатку вирішити, є кодування і декодування відео. Кодування відео використовується в широкому діапазоні цифрових відеопрограм, наприклад, широкомовне цифрове телебачення, передача відео через інтернет і мобільні мережі, розмовні застосунки у режимі реального часу, такі як відеочати і відеоконференції, диски ЮМО і Віи-гау, системи збору і редагування відеоконтенту, а також програми безпеки відеокамер.
Кожне зображення відеопослідовності, як правило, розбивається на набір блоків, які не перекриваються, і кодування зазвичай виконується на рівні блоків. Так, наприклад, блок прогнозування генерується через просторове (всередині зображення) прогнозування і/або часове (між зображеннями) прогнозування. Відповідно, режим прогнозування може включати режим внутрішнього прогнозування (просторове прогнозування) і режим міжкадрового прогнозування (часове прогнозування). Набір режимів внутрішнього прогнозування може включати 35 різних режимів внутрішнього прогнозування, наприклад, нескеровані режими, такі як режим постійного струму (або середнього значення) і площинний режим, або скеровані режими, визначені в Н.265; або може включати 67 різних режимів внутрішнього прогнозування, наприклад, нескеровані режими, такі як режим постійного струму (або середнього значення) і площинний режим, або скеровані режими, визначені у Н.26б, що знаходиться на стадії розробки. Набір режимів міжкадрового прогнозування залежить від доступного опорного зображення і іншого параметра міжкадрового прогнозування, наприклад, залежно від того, чи використовується ціле опорне зображення або лише частина опорного зображення.
Існуюче відео, як правило, є кольоровим відео і включає компонент кольоровості на додаток до компонента яскравості. Отже, окрім кодування і декодування компонента яскравості компонент кольоровості також необхідно кодувати і декодувати. Однак при застосуванні традиційних технологій ефективність кодування і декодування є порівняно низькою.
КОРОТКИЙ ОПИС ВИНАХОДУ
Варіанти здійснення даного винаходу (або даного опису) пропонують пристрій і спосіб розбивання зображення.
Згідно з першим аспектом варіант здійснення даного винаходу стосується способу розбивання зображення. Спосіб здійснюють пристроєм декодування або кодування відеопотоку.
Спосіб включає: визначення режиму розбивання поточного вузла, де поточний вузол містить блок яскравості і блок кольоровості; визначення на основі режиму розбивання поточного вузла і розміру поточного вузла, що блок кольоровості поточного вузла більше не розбивається; і коли блок кольоровості поточного вузла додатково не розбивається, розбивання блока яскравості поточного вузла на основі режиму розбивання поточного вузла.
Згідно зі способом першого аспекту, коли блок кольоровості поточного вузла додатково не розбивається, може бути розбитий лише блок яскравості поточного вузла, що дозволяє таким способом підвищити ефективність кодування і декодування, зменшити максимальну пропускну здатність кодека і полегшити реалізацію кодека.
Згідно з другим аспектом варіант здійснення даного винаходу стосується пристрою декодування потоку відеоданих, який містить процесор і пам'ять. У пам'яті зберігається команда, а команда дозволяє процесору здійснювати спосіб згідно з першим аспектом.
Згідно з третім аспектом варіант здійснення даного винаходу стосується пристрою кодування потоку відеоданих, який містить процесор і пам'ять. У пам'яті зберігається команда, а команда дозволяє процесору здійснювати спосіб згідно з першим аспектом.
Згідно з четвертим аспектом запропонований машинозчитуваний носій даних. На машинозчитуваному носії даних зберігається команда; і при виконанні команди один або декілька процесорів можуть кодувати відеодані. Команда дозволяє одному або декільком процесорам здійснювати спосіб згідно з будь-яким можливим варіантом здійснення першого аспекту.
Згідно з п'ятим аспектом варіант здійснення даного винаходу стосується комп'ютерної програми, яка містить програмний код. При виконанні програмного коду на комп'ютері спосіб здійснюється згідно з будь-яким можливим варіантом здійснення першого аспекту.
Один або декілька варіантів здійснення більш детально описані на доданих кресленнях і у 60 наведеному нижче описі. Інші ознаки, об'єкти і переваги стануть очевидними із опису, креслень і формули винаходу.
КОРОТКИЙ ОПИС КРЕСЛЕНЬ
Для більш чіткого опису технічних рішень у варіантах здійснення даного винаходу або передумов створення винаходу нижче наведений опис доданих креслень з метою представлення варіантів здійснення даного винаходу або передумов створення винаходу.
На фіг. ТА представлена блок-схема прикладу системи кодування відео для реалізації варіанта здійснення даного винаходу;
На фіг. 18 представлена блок-схема прикладу системи кодування відео, включаючи один із або обидва кодер 20 згідно з фіг. 2 і декодер 30 згідно з фіг. 3;
На фіг. 2 представлена блок-схема, яка демонструє приклад структури відеокодера для реалізації варіанта здійснення даного винаходу;
На фіг. З представлена блок-схема, яка демонструє приклад структури відеодекодера для реалізації варіанта здійснення даного винаходу;
На фіг. 4 представлена блок-схема, яка ілюструє приклад пристрою кодування або пристрою декодування;
На фіг. 5 представлена блок-схема, яка ілюструє приклад іншого пристрою кодування або іншого пристрою декодування;
На фіг. 6 представлений приклад вибірки у вигляді сітки у форматі ХОМ;
На фіг. 7А-7Е представлені п'ять різних типів розбивання;
На фіг. 8 представлений режим розбивання дерева квадрантів плюс двійкового дерева;
На фіг. 9 представлена блок-схема послідовності операцій способу згідно з варіантом 1 здійснення даного винаходу;
На фіг. 10 представлена блок-схема кроку 906 згідно з варіантом 1 здійснення даного винаходу; і
На фіг. 11 представлена блок-схема послідовності операцій способу згідно з варіантом З здійснення даного винаходу.
Наведені нижче ідентичні посилальні позиції позначають ідентичні або принаймні функціонально еквіваленті ознаки, якщо не зазначено нічого іншого.
ОПИС ВАРІАНТІВ ЗДІЙСНЕННЯ
Кодування відео зазвичай стосується обробки послідовності зображень, які утворюють відео або відеопослідовність. Терміни "картинка (рісіиге)", "кадр (Шате) і "зображення (ітаде)" можуть бути використані як синоніми в галузі кодування відео. Термін "відеокодування", використовуваний у даному винаході (або даному описі), вказує на кодування відео або декодування відео. Кодування відео виконується з позиції вихідного пристрою, наприклад, шляхом обробки (наприклад, шляхом стиснення) необроблених відеозображень для зменшення кількості даних, необхідних для представлення відеозображень, для більш ефективного зберігання і/або передачі. Декодування відео виконується з позиції пристрою призначення і зазвичай включає зворотну обробку порівняно з кодером для реконструкції відеозображень. "Кодування" відеозображень у варіантах здійснення слід розуміти як "кодування" або "декодування" відеопослідовності. Комбінацію компонентів кодування і компонентів декодування також називають кодеком (кодування і декодування)
Кожне зображення відеопослідовності зазвичай розбивається на набір блоків, які не перекриваються, і кодування зазвичай виконується на рівні блоків. Іншими словами, з позиції кодера відео зазвичай обробляється, тобто кодується, на рівні блока (який також називається блоком зображення або відеоблоком), наприклад, за допомогою просторового (всередині зображення) прогнозування і/або часового (між зображеннями) прогнозування для формування блока прогнозування, віднімання блока прогнозування від поточного блока (блок, який обробляється в даний момент/підлягає обробці) для отримання залишкового блока, перетворення залишкового блока і квантування залишкового блока в області перетворення для зменшення об'єму даних, які передаються (стискаються). З позиції декодера порівняно з кодером застосовується зворотна обробка до кодованого або стисненого блока для реконструкції поточного блока з метою представлення. Крім того, кодер дублює цикл обробки декодера, так що кодер і декодер генерують ідентичні прогнозування (наприклад, внутрішні прогнозування і міжкадрові прогнозування) і/або реконструкції для обробки, тобто кодування наступних блоків.
Термін "блок" може бути частиною зображення або кадру. У даній заявці ключові терміни мають такі значення:
Поточний блок - це блок, який обробляється. Так, наприклад, при кодуванні поточний блок є блоком, який на даний момент кодується; при декодуванні поточний блок є блоком, який 60 декодується. Якщо блок, який на даний момент обробляється, є блоком компонентів кольоровості, то цей блок називають поточним блоком кольоровості. Блок яскравості, який відповідає поточному блоку кольоровості, називають поточним блоком яскравості.
СТИ: скорочена назва блока кодового дерева (содіпод їгее ипі). Зображення містить множину
СТИ, а один СТІ зазвичай відповідає одній квадратній ділянці зображення і містить вибірки яскравості і вибірки кольоровості в області зображення (або може включати лише вибірки яскравості або лише вибірки кольоровості). Крім того, СТО містить синтаксичні елементи.
Ці синтаксичні елементи вказують, яким способом можна розбити СТО на щонайменше один блок кодування (содіпд цпії С) і декодувати кожен блок кодування з метою отримання реконструйованого зображення.
СИ: скорочена назва блока кодування. СО зазвичай відповідає прямокутній ділянці АхВ і містить АхВ вибірки яскравості і вибірки кольоровості, які відповідають вибіркам яскравості, де А означає ширину прямокутника, а В означає висоту прямокутника, і А може дорівнювати або відрізнятися від В. Значення А і В, як правило, є цілими ступенями 2, наприклад, 256, 128, 64, 32, 16, 8, і 4. Блок кодування може бути декодований шляхом обробки декодування з метою отримання реконструйованого зображення прямокутної ділянки АхВ. Обробка декодування зазвичай включає здійснення таких обробок, як прогнозування, деквантування і зворотне перетворення, для отримання прогнозованого зображення і залишку. Реконструйоване зображення отримують шляхом накладання прогнозованого зображення і залишку.
Нижче описані варіанти здійснення кодера 20, декодера 30 і системи 10 кодування згідно з фіг. ТА - фіг. 3.
На фіг. 1А представлена концептуальна або схематична блок-схема, яка ілюструє приклад системи 10 кодування, наприклад, системи 10 кодування відео, яка може використовувати технології даного винаходу (даного опису). Кодер 20 (наприклад, відеокодер 20) і декодер 30 (наприклад, відеодекодер 30) системи 10 кодування відео є прикладами пристроїв, які можуть бути сконфігуровані для здійснення внутрішнього прогнозування згідно з різними прикладами, описаними у даному винаході. Як показано на фіг. 1А, система 10 кодування містить вихідний пристрій 12, виконаний з можливістю передачі кодованих даних 13, наприклад, кодованого зображення 13, до пристрою 14 призначення з метою декодування кодованих даних 13.
Вихідний пристрій 12 містить кодер 20 і може додатково або необов'язково містити
Зо джерело 16 зображення, блок 18 попередньої обробки, наприклад, блок 18 попередньої обробки зображення, і інтерфейс 22 зв'язку або блок 22 зв'язку.
Джерело 16 зображення може містить або бути будь-яким типом пристрою захоплювання зображення, наприклад, для захоплювання реального зображення, і/або будь-яким типом пристрою для генерування зображення або коментаря (для кодування вмісту екрану, певний текст на екрані також розглядається як частина зображення або картинки, що підлягає кодуванню), наприклад, процесором комп'ютерної графіки для генерування анімованого комп'ютером зображення, або будь-яким іншим типом пристрою для отримання і/або надання реального зображення, анімованого комп'ютером зображення (наприклад, вмісту екрану або зображення віртуальної реальності (мігіча! геаїйу, МК)) і/або будь-якою їхньою комбінацією (наприклад, зображення доповненої реальності (айдтепієс геаїйу, АК)).
Зображення можна розглядати як двовимірний масив або матрицю вибірок зі значеннями яскравості. Вибірка у масиві може також називатися пікселем (ріхеї) (коротка форма елементу зображення (рісіїшге еіетепі)) або реї. Кількість вибірок у горизонтальному і вертикальному напрямках (або осях) масиву або зображення визначає розмір і/або роздільну здатність зображення. Для представлення кольору зазвичай використовують три компоненти кольору, більш конкретно: зображення може бути представлене як або містить три масиви вибірок.
У форматі КОВ або кольоровому просторі зображення містить відповідний масив вибірок червоного, зеленого і синього кольорів. Однак у кодуванні відео кожен піксель зазвичай представлений у форматі яскравість/кольоровість або у кольоровому просторі, наприклад,
УСЬьстг, що містить компонент яскравості, позначений У (іноді замість нього використовується І), і два компоненти кольоровості, позначені СЬ і Ст. Компонент яскравості (скорочено яскравість) У позначає яскравість або інтенсивність рівня сірого (наприклад, як на напівтоновому зображенні), у той час як два компоненти кольоровості (скорочено кольоровість) Сб і Сг позначають кольоровість або кольорові інформаційні компоненти. Отже, зображення у форматі УСрсСг містить масив вибірок яскравості зі значеннями вибірок яскравості (У) і два масиви вибірок кольоровості із значеннями кольоровості (СЬ і Сг). Зображення у форматі КОВ можуть бути конвертовані або перетворені у формат УСЬСтг і навпаки, а процес також відомий як перетворення або конвертація кольорів. Якщо зображення монохромне, воно може містити лише масив вибірок яскравості. 60 Джерелом 16 зображення (наприклад, джерелом 16 відео) може бути, наприклад, камера для захоплювання зображення, пам'ять, така як пам'ять зображення, яка містить або зберігає попередньо захоплене або згенероване зображення, і/або будь-який (внутрішній або зовнішній) інтерфейс для отримання зображення. Камера може, наприклад, бути локальною камерою або інтегрованою камерою, інтегрованою у вихідний пристрій, і пам'ять може бути локальною пам'яттю або інтегрованою пам'яттю, наприклад, інтегрованою у вихідний пристрій. Інтерфейс може бути, наприклад, зовнішнім інтерфейсом для прийому зображення із зовнішнього джерела відео. Зовнішнім джерелом відео є, наприклад, зовнішній пристрій для захоплювання зображення, такий як камера, зовнішня пам'ять або зовнішній пристрій, що генерує зображення.
Зовнішнім пристроєм, що генерує зображення, є, наприклад, зовнішній процесор комп'ютерної графіки, комп'ютер або сервер. Інтерфейс може бути будь-яким типом інтерфейсу, наприклад, дротовим або бездротовим інтерфейсом або оптичним інтерфейсом, згідно з будь-яким корпоративним або стандартизованим протоколом інтерфейсу. Інтерфейс для прийому даних зображення 17 може бути тим самим інтерфейсом, що і інтерфейс 22 зв'язку, або може бути частиною інтерфейсу 22 зв'язку.
На відміну від блока 18 попередньої обробки і обробки, здійсненою блоком 18 попередньої обробки, зображення або дані 17 зображення (наприклад, відеодані 16) можуть називатися необробленим зображенням або необробленими даними 17 зображення.
Блок 18 попередньої обробки виконаний з можливістю: прийому (необроблених) даних 17 зображення і попередньої обробки даних 17 зображення для отримання попередньо обробленого зображення або попередньо оброблених даних 19 зображення. Так, наприклад, попередня обробка, виконана за допомогою блока 18 попередньої обробки, може включати обрізання, перетворення формату кольору (наприклад, перетворення з КОВ на УСС), налаштування кольору і видалення шумів. Можна зрозуміти, що блок 18 попередньої обробки може бути необов'язковим компонентом.
Кодер 20 (наприклад, відеокодер 20) виконаний з можливістю прийому попередньо оброблених даних 19 зображення і надання кодованих даних 21 зображення (деталі додатково описані нижче, наприклад, згідно з фіг. 2 або фіг. 4). У прикладі кодер 20 може бути виконаний з можливістю реалізації варіантів здійснення 1-3.
Інтерфейс 22 зв'язку вихідного пристрою 12 може бути виконаний з можливістю: прийому кодованих даних 21 зображення і передачі кодованих даних 21 зображення іншому пристрою, наприклад, пристрою 14 призначення або будь-якому іншому пристрою, для зберігання або безпосередньої реконструкції, або може бути виконаний з можливістю обробки кодованих даних 21 зображення перед відповідним збереженням кодованих даних 13 і/або передачі кодованих даних 13 іншому пристрою, де іншим пристроєм є, наприклад, пристрій 14 призначення або будь-який інший пристрій для декодування або зберігання.
Пристрій 14 призначення містить декодер 30 (наприклад, відеодекодер 30) і може додатково, тобто необов'язково, містити інтерфейс або блок 28 зв'язку, блок 32 пост-обробки і пристрій 34 відображення.
Інтерфейс 28 зв'язку пристрою 14 призначення виконаний з можливістю прийому кодованих даних 21 зображення або кодованих даних 13, наприклад, безпосередньо від вихідного пристрою 12 або від будь-якого іншого джерела. Будь-яким іншим джерелом є, наприклад, пристрій зберігання даних, такий як пристрій зберігання кодованих даних зображення.
Інтерфейс 22 зв'язку і інтерфейс 28 зв'язку можуть бути виконані з можливістю передачі або прийому кодованих даних 21 зображення або кодованих даних 13 через лінію прямого зв'язку між вихідним пристроєм 12 і пристроєм 14 призначення або через мережу будь-якого типу.
Лінією прямого зв'язку є, наприклад, пряме дротове або бездротове з'єднання, а мережею будь- якого типу є, наприклад, дротова або бездротова мережа або будь-яка їхня комбінація, або приватні і загальнодоступні мережі будь-якого типу або будь-яка їхня комбінація.
Інтерфейс 22 зв'язку може бути виконаний, наприклад, з можливістю пакування кодованих даних 21 зображення у відповідний формат, наприклад, пакет, для передачі через лінію зв'язку або мережу зв'язку.
Інтерфейс 28 зв'язку, який є аналогом інтерфейсу 22 зв'язку, може бути виконаний, наприклад, з можливістю розпакування кодованих даних 13 для отримання кодованих даних 21 зображення.
Як інтерфейс 22 зв'язку, так і інтерфейс 28 зв'язку може бути виконаний у вигляді однонаправленого інтерфейсу зв'язку, як показано стрілююю для кодованих даних 13 від вихідного пристрою 12 пристрою 14 призначення на фіг. 1А, або може бути виконаний у вигляді двонаправленого інтерфейсу зв'язку і може бути виконаний, наприклад, з можливістю передачі і прийому повідомлень для встановлення з'єднання, а також підтвердження і обміну будь-якою 60 іншою інформацією, пов'язаною з лінією зв'язку, і/ або передачею даних, наприклад, передачею кодованих даних зображення.
Декодер 30 виконаний з можливістю прийому кодованих даних 21 зображення і надання декодованих даних 31 зображення або декодованого зображення 31 (деталі додатково описані нижче, наприклад, згідно з фіг. З або фіг. 5). У прикладі декодер 30 може бути виконаний з можливістю реалізації варіантів здійснення 1-3.
Пост-процесор 32 пристрою 14 призначення виконаний з можливістю подальшої обробки декодованих даних 31 зображення (які також називають реконструйованими даними зображення), наприклад, декодованого зображення 131, для отримання пост-оброблених даних 33 зображення, таких як пост-оброблене зображення 33. Пост-обробка, що виконується блоком 32 пост-обробки, може включати, наприклад, перетворення формату кольору (наприклад, перетворення з УСЬсСтг на КОВ), корекцію кольору, обрізання або повторну вибірку, або будь-яку іншу обробку, наприклад, для підготовки декодованих даних 31 зображення для відображення пристроєм 34 відображення.
Пристрій 34 відображення пристрою 14 призначення виконаний з можливістю прийому пост- оброблених даних 33 зображення, відображення зображення для користувача, глядача тощо.
Пристрій 34 відображення може бути або містити будь-який тип дисплея для представлення реконструйованого зображення, наприклад, вбудований або зовнішній дисплей або монітор.
Так, наприклад, дисплей може включати рідкокристалічний дисплей (Іїдиїа сгузіаї! адієріау, І СО), органічний світлодіодний дисплей (огдапіс ПдНї етіціпуд аде, ОГЕО), плазмовий дисплей, проектор, мікро-ГЕЮО дисплей, рідкий кристал на кремнії (Іїдцій сгувіа! оп бвіїсоп, І Со5), цифровий світлопроцесор (аїідйа! Ін ргосеззог, ОІ Р) або будь-який інший дисплей.
Хоча на фіг. 1 вихідний пристрій 12 і пристрій 14 призначення представлені як окремі пристрої, варіант здійснення пристрою може альтернативно включати як вихідний пристрій 12, так і пристрій 14 призначення або функціональні можливості як вихідного пристрою 12, такі пристрою 14 призначення, тобто вихідний пристрій 12 або його відповідні функціональні можливості і пристрій 14 призначення або його відповідні функціональні можливості. У такому варіанті здійснення вихідний пристрій 12 або його відповідні функціональні можливості і пристрій 14 призначення або його відповідні функціональні можливості можуть бути реалізовані за допомогою одного і того ж апаратного і/або програмного забезпечення, окремого апаратного і/або програмного забезпечення або будь-якої їхньої комбінації.
Як буде очевидно для фахівця в даній галузі на основі описів, (точний) розподіл функціональних можливостей різних блоків або функціональних можливостей вихідного пристрою 12 і/або пристрою 14 призначення, представлених на фіг. ТА, може відрізнятися залежно від фактичного пристрою і програми.
Кодер 20 (наприклад, відеокодер 20) і декодер 30 (наприклад, відеодекодер 30) можуть бути виконані як будь-яка з різних належних схем, наприклад, один або декілька мікропроцесорів, процесор цифрової обробки сигналів (аідйа! відпа! ргосеззог, ОР), спеціалізована інтегральна схема (арріїсайоп-зресійс іпіедгайїей сігсий, АБІС), програмована користувачем вентильна матриця (Пеїд-ргодгаттабіе даїе агау, ЕРСА), дискретна логіка, апаратне забезпечення або будь-яка їхня комбінація. Якщо технології частково впроваджені за допомогою програмного забезпечення, пристрій може зберігати команду програмного забезпечення на відповідному енергонезалежному машинозчитуваному носії даних і може виконувати команду за допомогою апаратного забезпечення, такого як один або декілька процесорів, для виконання технологій даного винаходу. Будь-який із зазначених вище засобів (включаючи апаратне забезпечення, програмне забезпечення, комбінування апаратного і програмного забезпечення тощо) може розглядатися як один або декілька процесорів. Як відеокодер 20, так і відеодекодер 30 можуть бути включені в один або декілька кодерів або декодерів, і кодер або декодер можуть бути інтегровані у частину комбінованого кодера/декодера (кодека) у відповідному пристрої.
Вихідний пристрій 12 може називатися пристроєм кодування відео або апаратом кодування відео. Пристрій 14 призначення може називатися пристроєм декодування відео або апаратом декодування відео. Вихідний пристрій 12 і пристрій 14 призначення можуть бути прикладами пристрою кодування відео або апарату кодування відео.
Вихідний пристрій 12 і пристрій 14 призначення можуть містить будь-який пристрій із широкого діапазону пристроїв, включаючи будь-який тип портативного або стаціонарного пристрою, наприклад, ноутбук або портативний комп'ютер, мобільний телефон, смартфон, планшет або планшетний комп'ютер, камеру, настільний комп'ютер, приставку, телевізор, пристрій відображення, цифровий медіаплеєр, ігрову консоль, пристрій для потокової передачі відео (наприклад, сервер служби контенту або сервер доставки контенту), широкомовний приймач або широкомовний радіопередавач, і може використовувати або не використовувати 60 будь-який тип операційної системи.
У деяких випадках вихідний пристрій 12 і пристрій 14 призначення можуть бути обладнані для бездротового зв'язку. Отже, вихідний пристрій 12 і пристрій 14 призначення можуть бути пристроями бездротового зв'язку.
У деяких випадках система 10 кодування відео, представлена на фіг. 1А, є лише прикладом, а технології даного винаходу можуть бути застосовані до параметрів кодування відео (наприклад, кодування відео або декодування відео), які не обов'язково включають будь-який обмін даними між пристроями кодування і декодування. В іншому прикладі дані можуть бути отримані з локальної пам'яті, передані у потоковому режимі по мережі або подібне. Пристрій кодування відео може кодувати дані і зберігати дані в пам'яті, і/або пристрій декодування відео може отримувати дані з пам'яті і декодувати дані. У деяких прикладах кодування і декодування виконуються пристроями, які не взаємодіють між собою, а просто кодують дані в пам'ять і/або отримують дані з пам'яті і декодують дані.
Слід розуміти, що для кожного з попередніх прикладів, описаних з посиланням на відеокодер 20, відеодекодер 30 може бути сконфігурований для виконання зворотного процесу.
Щодо сигнальних синтаксичних елементів відеодекодер 30 може бути виконаний з можливістю прийому і синтаксичного аналізу цих елементів і декодування відповідних відеоданих. У деяких прикладах відеокодер 20 може ентропійно кодувати синтаксичні елементи у кодований бітовий потік відеоданих. У цих прикладах відеодекодер 30 може аналізувати ці синтаксичні елементи і відповідно декодувати пов'язані відеодані.
На фіг. 18 представлена ілюстративна схема прикладу системи 40 кодування відео, яка містить кодер 20 з фіг. 2 і/або декодер 30 з фіг. З згідно з прикладом виконання. Система 40 може реалізовувати комбінацію різних технологій даного винаходу. В ілюстрованому варіанті реалізації система 40 кодування відео може містити пристрій 41 формування зображення, відеокодер 20, відеодекодер 30 (і/або відеокодер/ відеокодер, виконаний у вигляді логічної схеми 47 блока 46 обробки), антену 42, один або декілька процесорів 43, один або декілька пристроїв 44 пам'яті і/або пристрій 45 відображення.
Як показано на фігурі, пристрій 41 формування зображення, антена 42, блок 46 обробки, логічна схема 47, відеокодер 20, відеодекодер 30, процесор 43, пам'ять 44 і/або пристрій 45 відображення можуть взаємодіяти між собою. Як описано, хоча система 40 кодування відео представлена з використанням відеокодера 20 і відеодекодера 30, в іншому відмінному прикладі система 40 кодування відео може містити лише відеокодер 20 або лише відеодекодер 30.
У деяких прикладах, як показано на фігурі, система 40 кодування відео може містити антену 42. Так, наприклад, антена 42 може бути виконана з можливістю передачі або прийому кодованого бітового потоку відеоданих. Крім того, у деяких прикладах система 40 кодування відео може містити пристрій 45 відображення. Пристрій 45 відображення може бути виконаний з можливістю представлення відеоданих. У деяких прикладах, як показано на фігурі, логічна схема 47 може бути реалізована через блок 46 обробки. Блок 46 обробки може містити логіку спеціалізованої інтегральної схеми (арріїсайоп-зресійс іпіедгаєей сігсий, АБІС), графічний процесор, процесор загального призначення або тому подібне. Система 40 кодування відео також може містити додатковий процесор 43. Додатковий процесор 43 може аналогічним чином містити логіку спеціалізованої інтегральної схеми (АБІС), графічний процесор, процесор загального призначення або подібне. У деяких прикладах логічна схема 47 може бути реалізована за допомогою апаратних засобів, наприклад, спеціалізованих апаратних засобів для кодування відео, а процесор 43 може бути реалізований за допомогою програмного забезпечення загального призначення, операційної системи або побідного. Крім того, пам'ять 44 може бути пам'яттю будь-якого типу, як, наприклад, енергозалежна пам'ять (наприклад, статична оперативна пам'ять (айс Капдот Ассез5 Метогу, ЗКАМ), динамічна оперативна пам'ять (ЮЮОупатіс Капдот Ассез5 Метогу, ОКАМ)) або енергонезалежна пам'ять (наприклад, флеш-пам'ять). У необмежувальному пам'ять 44 може бути реалізована кеш-пам'яттю. У деяких прикладах логічна схема 47 може отримувати доступ до пам'яті 44 (наприклад, для реалізації буфера зображення). В інших прикладах логічна схема 47 і/або блок 46 обробки можуть містити пам'ять (наприклад, кеш-пам'ять) для реалізації буфера зображення тощо.
В деяких прикладах відеокодер 20, виконаний у вигляді логічної схеми, може містити буфер зображення (який, наприклад, виконаний у вигляді блока 46 обробки або пам'яті 44) і блок графічної обробки (який, наприклад, виконаний у вигляді блока 46 обробки). Блок графічної обробки може бути комунікативно пов'язаний з буфером зображення. Блок графічної обробки може містити відеокодер 20, виконаний у вигляді логічної схеми 47, для реалізації різних блоків, описаних з посиланням на фіг. 2, і/або будь-якої іншої системи або підсистеми кодера, описаної 60 у даному винаході. Логічна схема може бути може бути виконана з можливістю здійснення різних операцій, описаних у даному винаході.
Відеодекодер 30 може бути виконаний подібним чином, як і логічна схема 47, для втілення різних блоків, як було описано у випадку декодера 30 згідно з фіг. 3, і/або як будь-яка інша система або підсистема декодера, описана в даному винаході У деяких прикладах відеодекодер 30, виконаний у вигляді логічної схеми, може містити буфер зображення (який, наприклад, реалізований блоком 2820 обробки або пам'яттю 44) і блок графічної обробки (який, наприклад, реалізований блоком 46 обробки). Блок графічної обробки може бути комунікативно пов'язаний з буфером зображення. Блок графічної обробки може містити відеодекодер 30, виконаний у вигляді логічної схеми 47, для реалізації різних блоків, описаних з посиланням на фіг. З, і/або будь-якої іншої системи або підсистеми декодера, описаної у даному винаході.
У деяких прикладах антена 42 системи 40 кодування відео може бути виконана з можливістю прийому кодованого бітового потоку відеоданих. Як було описано вище, кодований бітовий потік може містити дані, індикатори, значення індексу, дані вибору режиму тощо, пов'язані з кодуванням відеокадру, як описано в даному винаході, наприклад, дані, пов'язані з розбиванням кодування (наприклад, коефіцієнти перетворення або квантовані коефіцієнти перетворення, необов'язкові індикатори (як було зазначено вище) і/або дані, які визначають розбивання кодування). Система 40 кодування відео може також містити відеодекодер 30, з'єднаний з антеною 42 і виконаний з можливістю декодування кодованого бітового потоку.
Пристрій 45 відображення виконаний з можливістю представлення відеокадрів.
Кодер і спосіб кодування
На фіг. 2 представлена схематична/концептуальна блок-схема прикладу відеокодера 20, виконана з можливістю реалізації технології (описаної) у даному винаході. У прикладі на фіг. 2 відеокодер 20 містить блок 204 залишкового обчислення, блок 206 обробки перетворення, блок 208 квантування, блок 210 зворотного квантування, блок 212 обробки зворотного перетворення, блок 214 реконструювання, буфер 216, блок 220 контурного фільтра 220, буфер 230 декодованого зображення (десодей рісішге Бийег, ОРВ), блок 260 обробки прогнозування і блок 270 ентропійного кодування. Блок 260 обробки прогнозування може містити блок 244 міжкадрового прогнозування, блок 254 внутрішнього прогнозування і блок 262 вибору режиму. Блок 244 міжкадрового прогнозування може містити блок оцінки руху і блок компенсації руху (який не показаний на схемі). Відеокодер 20, представлений на фіг. 2, також можна назвати гідридним відеокодером або відеокодером на основі гібридного відеокодека.
Так, наприклад, блок 204 залишкового обчислення, блок 206 обробки перетворення, блок 208 квантування, блок 260 обробки прогнозування і блок 270 ентропійного кодування утворюють шлях прямого сигналу кодера 20, у той час як, наприклад, блок 210 зворотного квантування, блок 212 обробки зворотного перетворення, блок 214 реконструювання, буфер 216, контурний фільтр 220, буфер 230 декодованого зображення (ОРВ) і блок 260 обробки прогнозування утворюють шлях зворотного сигналу кодера, де шлях зворотного сигналу відеокодера відповідає шляху сигналу декодера (з посиланням на декодер 30 на фіг. 3).
Кодер 20 приймає, наприклад, через вхід 202, зображення 201 або блок 203 зображення 201, наприклад, зображення в послідовності зображень, що утворює відео або відеопослідовність. Блок 203 зображення також може називатися поточним блоком зображення або блоком зображення, який кодується, а зображення 201 може називатися поточним зображенням або зображенням, яке кодується (зокрема при кодуванні відео, щоб відрізнити поточне зображення від інших зображень, наприклад, попередньо кодованих і/або декодованих зображень у тій самій відеопослідовності, а саме відеопослідовності, яка також включає поточне зображення).
Розбивання
У варіанті здійснення кодер 20 може містити блок розбивання (який не показаний на фіг. г), виконаний з можливістю розбивання зображення 201 на множину блоків, таких як блоки 203.
Зображення 201 зазвичай розбивається на множину блоків, які не перекриваються. Блок розбивання може бути виконаний з можливістю: використання однакового розміру блока для всіх зображень відеопослідовності і відповідної сітки, яка визначає розмір блока, або зміни розміру блока між зображеннями або підмножинами, або групами зображень і розбивання кожного зображення на відповідні блоки.
У прикладі блок 260 обробки прогнозування відеокодера 20 може бути виконаний з можливістю реалізації будь-якої комбінації описаних вище способів розбивання.
Як і зображення 201, блок 203 також розглядається або може розглядатися як двовимірний масив або матриця вибірок зі значеннями яскравості (значення вибірки), хоча розмір блока 203 менший за розмір зображення 201. Іншими словами, блок 203 може містити, наприклад, один 60 масив вибірки (наприклад, масив яскравості у випадку монохромного зображення 201), три масиви вибірки (наприклад, один масив яскравості і два масиви кольоровості у випадку кольорового зображення) або будь-яку іншу кількість і/або тип масивів залежно від застосованого формату кольору. Кількість вибірок у горизонтальному і вертикальному напрямках (або осях) блока 203 визначають розмір блока 203.
Кодер 20, представлений на фіг. 2, виконаний з можливістю кодування зображення 201 блок за блоком, наприклад, кодування і прогнозування кожного блока 203.
Залишкове обчислення
Блок 204 залишкового обчислення виконаний з можливістю обчислення залишкового блока 205 на основі блока 203 зображення і блока 265 прогнозування (детальний опис блока 265 прогнозування наведений нижче), наприклад, шляхом віднімання значень вибірок блока 265 прогнозування від значень вибірок блока 203 зображення вибірку за вибіркою (піксель за пікселем) з метою отримання залишкового блока 205 в області вибірки.
Перетворення
Блок 206 обробки перетворення виконаний з можливістю застосування перетворення, наприклад, дискретного косинусного перетворення (дізсгее совзіпе ігапвїопт, ОСТ) або дискретного синусного перетворення (аівсгеїе бв5іпе ігапвїогпт, О5Т), до значень вибірок залишкового блока 205 з метою отримання коефіцієнтів 207 перетворення в області перетворення. Коефіцієнти 207 перетворення можна також називати залишковими коефіцієнтами перетворення, вони представляють залишковий блок 205 в області перетворення.
Блок 206 обробки перетворення може бути виконаний з можливістю застосування цілочислових наближень ОСТ/О5Т, таких як перетворення, зазначені в НЕМС/Н.265. Порівняно з ортогональним перетворенням ОСТ, такі цілочислові наближення зазвичай масштабуються за допомогою певного коефіцієнта. Для збереження норми залишкового блока, який обробляється за допомогою прямого і зворотного перетворень, застосовується додатковий коефіцієнт масштабування як частина процесу перетворення. Коефіцієнт масштабування, як правило, вибирають, виходячи з деяких обмежень, наприклад, коефіцієнт масштабування є потужністю двох для операції зсуву, бітовою глибиною коефіцієнта перетворення і компромісом між точністю і витратами на реалізацію. Так, наприклад, певний коефіцієнт масштабування задається для зворотного перетворення, наприклад, блоком 212 обробки зворотного перетворення на стороні декодера 30 (і відповідним зворотним перетворенням, наприклад, блоком 212 обробки зворотного перетворення на стороні кодера 20), і тим самим може бути заданий відповідний коефіцієнт масштабування для прямого перетворення блоком 206 обробки перетворення на стороні кодера 20.
Квантування
Блок 208 квантування виконаний з можливістю квантування коефіцієнтів 207 перетворення для отримання квантованих коефіцієнтів 209 перетворення, наприклад, шляхом застосування скалярного квантування або векторного квантування. Квантовані коефіцієнти 209 перетворення можуть також називатися квантованими залишковими коефіцієнтами 209. Процес квантування може зменшити бітову глибину, пов'язану з деякими або всіма коефіцієнтами 207 перетворення.
Так, наприклад, п-бітовий коефіцієнт перетворення може бути округлений до т-бітового коефіцієнта перетворення під час квантування, де п має більше значення, ніж т. Ступінь квантування може бути змінена шляхом регулювання параметра квантування (дпапіїгайоп рагатеїег, ОР). Так, наприклад, для скалярного квантування можуть бути застосовані різні масштаби для досягнення більш точного або грубого квантування. Менший розмір кроку квантування відповідає більш точному квантуванню, а більший розмір кроку квантування відповідає більш грубому квантуванню. Відповідний розмір кроку квантування може бути вказаний параметром квантування (ОР). Так, наприклад, параметр квантування може бути індексом заздалегідь визначеного набору відповідних розмірів кроку квантування. Наприклад, менший параметр квантування може відповідати більш точному квантуванню (менший розмір кроку квантування), а більший параметр квантування може відповідати більш грубому квантуванню (більший розмір кроку квантування), або навпаки. Квантування може включати поділ на розмір кроку квантування і відповідне квантування або зворотне квантування, наприклад, виконуване блоком 210 зворотного квантування, або може включати множення на розмір кроку квантування. Варіанти здійснення згідно з деякими стандартами, такими як НЕМС, можуть використовувати параметр квантування для визначення розміру кроку квантування. Як правило, розмір кроку квантування може бути розрахований на основі параметра квантування за допомогою наближення рівняння з фіксованою точкою, що включає ділення. Додаткові коефіцієнти масштабування можуть бути введені для квантування і деквантування з метою бо відновлення норми залишкового блока, яка може бути модифікована через масштабування,
використовуване в наближенні фіксованої точки рівняння для розміру кроку квантування і параметра квантування. В одному з прикладів здійснення масштабування зворотного перетворення і деквантування можуть поєднуватися. Альтернативно можуть бути використані оптимізовані таблиці квантування, які можуть передаватися від кодера до декодера, наприклад, у бітовому потоці. Квантування є операцією з втратами, де втрата збільшується зі збільшенням розміру кроку квантування.
Блок 210 зворотного квантування виконаний з можливістю застосування зворотного квантування блока 208 квантування до квантованих коефіцієнтів для отримання деквантованих коефіцієнтів 211, наприклад, застосування на основі або з використанням однакового розміру кроку квантування, що і у випадку блока 208 квантування, зворотного відносно схеми квантування, застосованої блоком 208 квантування. Деквантовані коефіцієнти 211 також можуть називатися деквантованими залишковими коефіцієнтами 211 і відповідати коефіцієнтам 207 перетворення, хоча зазвичай вони не ідентичні коефіцієнтам перетворення через втрати, спричинені квантуванням.
Блок 212 обробки зворотного перетворення виконаний з можливістю застосування зворотного перетворення до перетворення, застосованого блоком 206 обробки перетворень, наприклад, зворотного дискретного косинусного перетворення (ОСТ) або зворотного дискретного синусного перетворення (057), з метою отримання блока 213 зворотного перетворення в області вибірки. Блок 213 зворотного перетворення може також називатися деквантованим блоком 213 зворотного перетворення або залишковим блоком 213 зворотного перетворення.
Блок 214 реконструювання (наприклад, суматор 214) виконаний з можливістю додавання блока 213 зворотного перетворення (тобто реконструйованого залишкового блока 213) до блока 265 прогнозування, наприклад, шляхом додавання значень вибірки реконструйованого залишкового блока 213 і значення вибірки блока 265 прогнозування з метою отримання реконструйованого блока 215 в області вибірки.
Необов'язково буферний блок 216 (або скорочено "буфер" 216), наприклад, буфер 216 рядка, виконаний з можливістю буферизації або збереження реконструйованого блока 215 і відповідного значення вибірки, наприклад, з метою внутрішнього прогнозування. В інших варіантах здійснення кодер може бути виконаний з можливістю використання нефільтрованого реконструйованого блока і/або відповідного значення вибірки, яке зберігається у буферному блоці 216, для будь-якого типу оцінки і/або прогнозування, наприклад, внутрішнього прогнозування.
Так, наприклад, у варіанті здійснення кодер 20 може бути сконфігурований таким чином, що буферний блок 216 використовується не лише для зберігання реконструйованого блока 215 для внутрішнього прогнозування 254, а й також використовується для блока 220 контурного фільтра (який не показаний на фіг. 2), або таким чином, що, наприклад, буферний блок 216 і буферний блок 230 декодованого зображення утворюють один буфер. В інших варіантах здійснення фільтровані блоки 221 і/або блоки або вибірки з буфера 230 декодованого зображення (блоки або вибірки не показані на фіг. 2) використовуються як вхідні дані або основа для внутрішнього прогнозування 254.
Блок 220 контурного фільтра (або скорочено "контурний фільтр" 220) виконаний з можливістю фільтрування реконструйованого блока 215 з метою отримання фільтрованого блока 221, згладжування піксельних переходів або покращення якості відео. Блок 220 контурного фільтра призначений для представлення одного або декількох контурних фільтрів, таких як фільтр деблокування, фільтр адаптивного зміщення вибірки (затріе-адаріїме ойвеї,
АОС) або інший фільтр, такий як двосторонній фільтр, адаптивний контурний фільтр (адаріїме
Іоор йКег, АГ Е), фільтр загострення або згладжування або спільний фільтр. Незважаючи на те, що блок 220 контурного фільтра представлений на фіг. 2 як внутрішньоконтурний фільтр, в іншій конфігурації блок 220 контурного фільтра може бути реалізований як позаконтурний фільтр. Фільтрований блок 221 також може називатися фільтрованим реконструйованим блоком 221. Буфер 230 декодованого зображення може зберігати реконструйовані кодовані блоки після того, як блок 220 контурного фільтра виконає фільтрування реконструйованих кодованих блоків.
У варіанті здійснення кодер 20 (відповідно блок 220 контурного фільтра) може бути виконаний з можливістю виведення параметрів контурного фільтра (таких як інформація про адаптивне зміщення вибірки), наприклад, безпосередньо або після ентропійного кодування, виконаного блоком 270 ентропійного кодування або будь-яким іншим блоком ентропійного кодування, так що, наприклад, декодер 30 може приймати ті ж самі параметри контурного 60 фільтра і застосовувати ті ж самі параметри контурного фільтра для декодування.
Буфер 230 декодованого зображення (ОРВ) може бути пам'яттю опорного зображення, що зберігає дані опорного зображення для використання у кодуванні відеоданих відеокодером 20.
ОРВ 230 може бути сформований будь-яким із множини пристроїв пам'яті, таких як динамічна оперативна пам'ять (дупатіс гапдот ассе55 тетогу, ОКАМ) (включаючи синхронну ОКАМ (зупспгопоиз ОКАМ, ЗОКАМ), магніторезистивна оперативна пам'ять (тадпейогевівіме НАМ,
МЕАМ), резистивна оперативна пам'ять (гезівіме КАМ, ККАМ)) або інші типи запам'ятовувальних пристроїв. ОРВ 230 і буфер 216 можуть бути забезпечені одним і тим же запам'ятовувальним пристроєм або окремими запам'ятовувальними пристроями. У прикладі буфер 230 декодованого зображення (ОРВ) виконаний з можливістю зберігання фільтрованого блока 221. Буфер 230 декодованого зображення може бути додатково виконаний з можливістю зберігання інших попередньо фільтрованих блоків, наприклад, попередньо реконструйованих і фільтрованих блоків 221, одного і того ж поточного зображення або різних зображень, наприклад, попередньо реконструйованих зображень, і може забезпечувати повне попереднє реконструйоване, тобто декодовані зображення (і відповідні опорні блоки і зразки) і/або частково реконструйоване поточне зображення (і відповідні опорні блоки і зразки), наприклад, для міжкадрового прогнозування. У прикладі, якщо реконструйований блок 215 реконструюється без внутрішньоконтурного фільтрування, буфер 230 декодованого зображення (ОРВ) виконаний з можливістю зберігання реконструйованого блока 215.
Блок 260 обробки прогнозування, який також називають блоком 260 обробки прогнозування блока, виконаний з можливістю прийому або отримання блока 203 зображення (поточного блока 203 поточного зображення 201) і реконструйованих даних зображення, наприклад, контрольних вибірок того самого (поточного) зображення з буфера 216 і/або даних 231 опорного зображення одного або декількох попередньо декодованих зображень з буфера 230 декодованого зображення, і обробки цих даних для прогнозування, більш конкретно, для передачі блоку 265 прогнозування, який може бути блоком 245 міжкадрового прогнозування або блоком 255 внутрішнього прогнозування.
Блок 262 вибору режиму може бути виконаний з можливістю вибору режиму прогнозування (наприклад, режим внутрішнього або режим міжкадрового прогнозування) і/або відповідного блока 245 або 255 прогнозування для використання його як блока 265 прогнозування, для обчислення залишкового блока 205 і для реконструювання реконструйованого блока 215.
У варіанті здійснення блок 262 вибору режиму може бути виконаний з можливістю вибору режиму прогнозування (наприклад, із режимів прогнозування, які підтримуються блоком 260 обробки прогнозування). Режим прогнозування забезпечує найкращу відповідність або іншими словами мінімальний залишок (мінімальний залишок означає краще стиснення для передачі або зберігання), або гарантує мінімальні накладні витрати на сигналізацію (мінімальні накладні витрати означають краще стиснення для передачі чи зберігання), або враховує чи врівноважує обидва параметри. Блок 262 вибору режиму може бути виконаний з можливістю визначення режиму прогнозування на основі оптимізації швидкості спотворення (гайе аізіопіоп орійтігайоп,
КО), тобто може вибрати режим прогнозування, який забезпечує мінімальну оптимізацію швидкості спотворення, або вибрати режим прогнозування, для якого відповідна швидкість спотворення щонайменше задовольняє критерію вибору режиму прогнозування.
Нижче більш детально описані обробка прогнозування, виконана, наприклад, за допомогою блока 260 обробки прогнозування, і вибір режиму, здійснений, наприклад, за допомогою блока 262 вибору режиму, на прикладі кодера 20.
Як описано вище, кодер 20 виконаний з можливістю визначення або вибору найкращого режиму прогнозування або оптимального режиму прогнозування із набору (попередньо визначених) режимів прогнозування. Набір режимів прогнозування може включати, наприклад, режими внутрішнього прогнозування і/або режими міжкадрового прогнозування.
Набір режимів внутрішнього прогнозування може включати 35 різних режимів внутрішнього прогнозування, або може включати 67 різних режимів внутрішнього прогнозування, або може включати режим внутрішнього прогнозування, визначений у Н.266, що знаходиться на стадії розробки.
Набір режимів міжкадрового прогнозування залежить від доступного опорного зображення (тобто щонайменше частини декодованого зображення, що зберігається в ОВР 230), і іншого параметра міжкадрового прогнозування, наприклад, залежно від того, чи використовується ціле опорне зображення або лише частина опорного зображення, наприклад, область вікна пошуку навколо області поточного блока, для пошуку найкращого відповідного опорного блока, і/або залежно, наприклад, від того, чи застосовується інтерполяція пікселів, наприклад, інтерполяція напівпікселя і/або чверті пікселя. бо На додаток до вищезазначених режимів прогнозування може бути застосований режим пропуску і/або прямий режим.
Блок 260 обробки прогнозування додатково може бути виконаний з можливістю розділення блока 203 на менші розбиті блоки або підблоки, наприклад, шляхом ітераційного використання розбивання дерева квадрантів (дпад-ігеє, ОТ), розбивання двійкового дерева (бБіпагу-ігеє, ВТ), розбивання трійкового дерева (іріе-їтее, ТТ) або будь-якої їхньої комбінації і виконання, наприклад, прогнозування для кожного з розбитих блоків або підблоків. Вибір режиму включає вибір деревоподібної структури розбитого блока 203 і вибір режиму прогнозування, застосованого до кожного з розбитих блоків або підблоків.
Блок 244 міжкадрового прогнозування може містити блок оцінки руху (тоїоп езійтаїйоп, МЕ) (який не показаний на фіг. 2) і блок компенсації руху (тоїйоп сотрепзайоп, МС) (який не показаний на фіг. 2). Блок оцінки руху виконаний з можливістю прийому або отримання блока 203 зображення (поточного блока 203 поточного зображення 201) і декодованого зображення 231 або щонайменше одного або декількох попередньо реконструйованих блоків, наприклад, одного або декількох реконструйованих блоків інших/відмінних попередньо декодованих зображень 231 для оцінки руху. Так, наприклад, відеопослідовність може включати поточне зображення і попередньо декодовані зображення 31. Іншими словами, поточне зображення і попередньо декодовані зображення 31 можуть бути частиною або утворювати послідовність зображень, які утворюють відеопослідовність.
Так, наприклад, кодер 20 може бути виконаний з можливістю вибору опорного блока з множини опорних блоків одного і того ж зображення або різних зображень з множини інших зображень і передачі опорного зображення у блок оцінки руху (який не показаний на фіг. 2) і/або зміщення (просторового зміщення) між позицією (координатами Х і У) опорного блока і позицією поточного блока як параметра міжкадрового прогнозування. Таке зміщення також називають вектором руху (тоїйоп месіог, МВ).
Блок компенсації руху виконаний з можливістю отримання, наприклад, прийому параметрів міжкадрового прогнозування і виконання міжкадрового прогнозування на основі або з використанням параметрів міжкадрового прогнозування для отримання блока 245 міжкадрового прогнозування. Компенсація руху, виконувана блоком компенсації руху (який не показаний на фіг. 2), може включати отримання або створення блока прогнозування на основі вектора руху/блока, визначеного за допомогою оцінки руху (можливо, шляхом інтерполяції з точністю до субпікселя). Інтерполяційне фільтрування може генерувати додаткові вибірки пікселів з відомих вибірок пікселів, тим самим потенційно збільшуючи кількість можливих блоків прогнозування, які можуть бути використані для кодування блока зображення. Після отримання вектора руху для
РИ поточного блока зображення блок 246 компенсації руху може виявити блок прогнозування, на який вказує вектор руху в одному зі списків опорного зображення. Блок 246 компенсації руху може також генерувати синтаксичні елементи, пов'язані з блоками і фрагментами відео, для використання відеодекодером 30 при декодуванні блоків зображення відеофрагмента.
Блок 254 внутрішнього прогнозування виконаний з можливістю отримання, наприклад, прийому блока 203 зображення (блока поточного зображення) і одного або декількох попередньо реконструйованих блоків, наприклад, реконструйованих сусідніх блоків, того самого зображення для внутрішньої оцінки. Кодер 20 може бути, наприклад, виконаний з можливістю вибору режиму внутрішнього прогнозування із множини (заздалегідь визначених) режимів внутрішнього прогнозування.
У варіанті здійснення кодер 20 може бути виконаний з можливістю вибору режиму внутрішнього прогнозування на основі критерію оптимізації, наприклад, на основі мінімального залишку (наприклад, режиму внутрішнього прогнозування, який забезпечує блок 255 прогнозування, найбільш подібний до блока 203 поточного зображення) або мінімальної швидкості спотворення.
Блок 254 внутрішнього прогнозування додатково виконаний з можливістю визначення блока 255 внутрішнього прогнозування на основі, наприклад, параметрів внутрішнього прогнозування у вибраному режимі внутрішнього прогнозування. У будь-якому випадку після вибору режиму внутрішнього прогнозування блок 254 внутрішнього прогнозування додатково налаштований на передачу параметрів внутрішнього прогнозування, тобто інформації, яка вказує на вибраний режим внутрішнього прогнозування блока, у блок 270 ентропійного кодування. Так, наприклад, блок 254 внутрішнього прогнозування може бути сконфігурований для виконання будь-якої комбінації технологій внутрішнього прогнозування, описаних нижче.
Блок 270 ентропійного кодування виконаний з можливістю застосування (або незастосування) алгоритму або схеми ентропійного кодування (наприклад, кодування змінної довжини ((магіаріє Іепдій содіпо, МІ С), контекстне адаптивне кодування змінної довжини (соп'іехії 60 адаріїме магіаріє Іепдій содіпу, САМІ С), контекстне адаптивне двійкове арифметичне кодування
(сопіехі адаріїме Біпагу агіптеїйс содіпд, САВАС), контекстне адаптивне двійкове арифметичне кодування по синтаксису (зупіах-рбазей сопіехі-адаріме бБіпагу апйтеїіс содіпу, 5ВАС), ентропійне кодування розбивання з інтервалом ймовірності (ргорабіїйу іпіегма! рагійіопіпа епігору, РІРЕ) або іншу методику або технологію ентропійного кодування) до одного або всіх квантованих залишкових коефіцієнтів 209, параметрів міжкадрового прогнозування, параметрів внутрішнього прогнозування і/або параметрів контурного фільтра, з метою отримання кодованих даних 21 зображення, які можуть бути виведені через вихід 272, наприклад, у формі кодованого бітового потоку 21. Кодований бітовий потік може передаватися на відеодекодер 30 або архівуватися для подальшої передачі або вилучення відеодекодером 30. Блок 270 ентропійного кодування додатково може бути виконаний з можливістю ентропійного кодування інших синтаксичних елементів для поточного кодованого відеофрагмента.
Для кодування відеопотоку можуть бути використані інші структурні варіації відеокодера 20.
Так, наприклад, кодер 20 без перетворення для деяких блоків або кадрів може квантувати залишковий сигнал безпосередньо без блока 206 обробки перетворення. В іншому варіанті реалізації кодер 20 може містити блок 208 квантування і блок 210 зворотного квантування, об'єднані в один блок.
На фіг. З представлений приклад відеодекодера 30, виконаного з можливістю реалізації технології даного винаходу. Відеодекодер 30 сконфігурований для прийому кодованих даних 21 зображення (наприклад, кодованого бітового потоку), які, наприклад, кодовані кодером 20, з метою отримання декодованого зображення 231. У процесі декодування відеодекодер 30 приймає відеодані від відеокодера 20, наприклад, кодований бітовий відеопотік, який є блоком зображення кодованого відеофрагмента і пов'язаних з ним синтаксичних елементів.
У прикладі, представленому на фіг. З, декодер 30 містить блок 304 ентропійного декодування, блок 310 зворотного квантування, блок 312 зворотного перетворення, блок 314 реконструювання (наприклад, суматор 314), буфер 316, контурний фільтр 320, буфер 330 декодованого зображення і блок 360 обробки прогнозування. Блок 360 обробки прогнозування може містити блок 344 міжкадрового прогнозування, блок 354 внутрішнього прогнозування і блок 362 вибору режиму. У деяких прикладах відеодекодер 30 може виконувати процес декодування, як правило, відповідний процесу кодування, описаному з посиланням на відеокодер 20 на фіг. 2.
Блок 304 ентропійного декодування виконаний з можливістю ентропійного декодування кодованих даних 21 зображення з метою отримання, наприклад, квантованих коефіцієнтів 309 ілабо декодованих параметрів кодування (які не показані на фіг. 3), наприклад, будь-якого одного або всіх параметрів міжкадрового прогнозування, параметрів внутрішнього прогнозування, параметрів контурного фільтра і/або інших синтаксичних елементів (які декодуються). Блок 304 ентропійного декодування додатково виконаний з можливістю пересилання параметрів міжкадрового прогнозування, параметрів внутрішнього прогнозування і/або інших синтаксичних елементів в блок 360 обробки прогнозування. Відеодекодер 30 може приймати синтаксичні елементи на рівні фрагмента відео і/або на рівні блока відео.
Блок 310 зворотного квантування може виконувати ту ж функцію, що і блок 110 зворотного квантування, блок 312 обробки перетворення може виконувати ту ж функцію, що і блок 212 обробки зворотного перетворення, блок 314 реконструювання може виконувати ту ж функцію, що і блок 214 реконструювання, буфер 316 може виконувати ту ж функцію, що і буфер 216, контурний фільтр 320 може виконувати ту ж функцію, що і контурний фільтр 220, а буфер 330 декодованого зображення може виконувати ту ж функцію, що і буфер 230 декодованого зображення.
Блок 360 обробки прогнозування може містити блок 344 міжкадрового прогнозування і блок 354 внутрішнього прогнозування. Блок 344 міжкадрового прогнозування може бути подібним до блока 244 міжкадрового прогнозування за своєю функцією, а блок 354 внутрішнього прогнозування може бути подібним до блока 254 внутрішнього прогнозування за своєю функцією. Блок 360 обробки прогнозування зазвичай сконфігурований для виконання прогнозування і/або отримання блока 365 прогнозування із кодованих даних 21 і прийому або отримання (явно або неявно) параметрів, пов'язаних із прогнозуванням, і/або інформації про вибраний режим прогнозування, для наприклад, від блока 304 ентропійного декодування.
Коли відеофрагмент кодується як внутрішньокодований (І) фрагмент, блок 354 внутрішнього прогнозування блока 360 прогнозування обробки виконаний з можливістю генерування блока 365 прогнозування для блока зображення поточного відеофрагмента на основі визначеного режиму внутрішнього прогнозування і даних із раніше декодованих блоків поточного кадру або зображення. Коли відеокадр кодується як інтеркодований (наприклад, В або Р) фрагмент, блок 60 344 міжкадрового прогнозування (наприклад, блок компенсації руху) блока 360 обробки прогнозування виконаний з можливістю створення блоків 365 прогнозування для відеоблока поточного відеофрагмента на основі вектора руху і інших синтаксичних елементів, прийнятих від блока 304 ентропійного декодування. Для міжкадрового прогнозування блок прогнозування може бути отриманий із одного з опорних зображень в одному зі списків опорних зображень.
Відеодекодер 30 може створювати списки опорних кадрів, список 0 і список 1, використовуючи способи побудови за замовчуванням на основі опорних зображень, збережених в ОРВ 330.
Блок 360 обробки прогнозування виконаний з можливістю визначення інформації прогнозування для відеоблока поточного відеофрагмента шляхом синтаксичного аналізу вектора руху і інших синтаксичних елементів і використання інформації прогнозування для створення блока прогнозування поточного відеоблока, який декодується. Так, наприклад, блок 360 обробки прогнозування використовує деякі отримані синтаксичні елементи для визначення режиму прогнозування (наприклад, внутрішнього прогнозування або міжкадрового прогнозування), який використовується для кодування відеоблоків відеофрагмента, типу фрагмента міжкадрового прогнозування (наприклад, фрагмент В, фрагмент Р або фрагмент
ОСРВ), отримання інформації щодо побудови одного або декількох списків опорних зображень для фрагмента, векторів руху для кожного інтеркодованого відеоблока фрагмента, статусу міжкадрового прогнозування для кожного інтеркодованого відеоблока фрагмента і іншої інформацію для декодування відеоблоків у поточному відеофрагменті.
Блок 310 зворотного квантування може бути виконаний з можливістю зворотного квантування (тобто де-квантування) квантованих коефіцієнтів перетворення, наданих у бітовому потоці і декодованих блоком 304 ентропійного декодування. Процес зворотного квантування може включати: використання параметрів квантування, обчислених відеокодером 20 для кожного відеоблока у відеофрагменті з метою визначення ступеню квантування, який слід застосувати, і, аналогічно, ступеню зворотного квантування, який слід застосувати.
Блок 312 обробки зворотного перетворення виконаний з можливістю застосування зворотного перетворення (наприклад, зворотного ОСТ, зворотного цілого перетворення або концептуально подібного процесу зворотного перетворення) для перетворення коефіцієнтів з метою отримання залишкового блока у піксельній області.
Блок 314 реконструювання (наприклад, суматор 314) виконаний з можливістю додавання блока 313 зворотного перетворення (а саме, реконструйованого залишкового блока 313) до блока 365 прогнозування, наприклад, шляхом додавання значень вибірок реконструйованого залишкового блока 313 і значень вибірок блока 365 прогнозування з метою отримання реконструйованого блока 315 в області вибірки.
Блок 320 контурного фільтра (у контурі кодування або після контуру кодування) виконаний з можливістю фільтрування реконструйованого блока 315 для отримання фільтрованого блока 321, згладжування піксельних переходів або покращення якості відео. У прикладі блок 320 контурного фільтра може бути сконфігурований для виконання будь-якої комбінації технологій фільтрації описаних нижче. Блок 320 контурного фільтра призначений для представлення одного або декількох контурних фільтрів, таких як фільтр деблокування, фільтр адаптивного зміщення вибірки (заптріе-адаріїме ойвеї ЗАС) або інший фільтр, такий як двосторонній фільтр, адаптивний контурний фільтр (адаріїме Іоор йКег, АГ Е), фільтр загострення або згладжування або спільний фільтр. Незважаючи на те, що блок 320 контурного фільтра представлений на фіг. З як внутрішньоконтурний фільтр, в іншій конфігурації блок 320 контурного фільтра може бути реалізований як позаконтурний фільтр.
Після цього декодовані відеоблоки 321 у заданому кадрі або зображенні зберігаються в буфері 330 декодованого зображення, який зберігає опорні зображення, використовувані для подальшої компенсації руху.
Декодер 30 виконаний, наприклад, з можливістю виведення декодованого зображення 31 через вихід 332 для презентації користувачу або для перегляду користувачем.
Інші варіанти відеодекодера 30 можуть бути виконані з можливістю декодування стисненого бітового потоку. Так, наприклад, декодер 30 може генерувати вихідний відеопотік без блока 320 контурного фільтра. Так, наприклад, декодер 30, який не базується на перетворенні, може здійснювати зворотне квантування залишкового сигналу безпосередньо без блока 312 обробки зворотного перетворення для певних блоків або кадрів. В іншому варіанті реалізації відеодекодер 30 може містити блок 310 зворотного квантування і блок 312 обробки зворотного перетворення, об'єднані в один блок.
На фіг. 4 представлена блок-схема пристрою 400 кодування відео (наприклад, пристрою 400 кодування відео або пристрою 400 декодування відео) згідно з варіантом здійснення даного винаходу. Пристрій 400 кодування відео придатний для реалізації варіантів здійснення, 60 описаних у даному документі. У варіанті здійснення пристрій 400 кодування відео може бути відеодекодером (наприклад, відеодекодером 30 з фіг. ТА) або відеокодером (наприклад, відеокодером 20 з фіг. 1А). У іншому варіанті здійснення пристрій 400 кодування відео може бути одним або декількома компонентами відеодекодера 30 з фіг. ТА або відеокодера 20 з фіг. 1А.
Пристрій 400 кодування відео містить вхідні порти 410 і приймальні блоки (Ех) 420 для прийому даних; процесор, логічний блок або центральний блок 430 обробки (СР) для обробки даних; передавальні блоки (Тх) 440 і вихідні порти 450 для передачі даних; і пам'ять 460 для зберігання даних. Пристрій 400 кодування відео може також містити оптично-єлектричні (ОЕ) компоненти і електрично-оптичні (ЕС) компоненти, з'єднані з вхідними портами 410, приймальним блоком 420, передавальним блоком 440 і вихідними портами 450 для виходу або входу оптичних або електричних сигналів.
Процесор 430 може бути реалізований апаратними засобами і програмним забезпеченням.
Процесор 430 може бути реалізований як одна або декілька мікросхем процесора СР), ядер (наприклад, як багатоядерний процесор), ЕРСА, АБІС і ОБР. Процесор 430 з'єднаний із вхідними портами 410, приймальними блоками 420, передавальними блоками 440, вихідними портами 450 і пам'яттю 460. Процесор 430 містить модуль 470 кодування (наприклад, модуль 470 кодування або модуль 470 декодування). Модуль 470 кодування/декодування реалізує описані вище варіанти здійснення даного винаходу. Так, наприклад, модуль 470 кодування/декодування реалізує, обробляє або забезпечує різні операції кодування. Отже, включення модуля 470 кодування/декодування забезпечує суттєве поліпшення функціональних можливостей пристрою 400 кодування відео і здійснює переведення пристрою 400 кодування відео в інший стан. Альтернативно модуль 470 кодування/декодування реалізований як команди, які зберігаються у пам'яті 460 і виконуються процесором 430.
Пам'ять 460 містить один або декілька дисків, запам'ятовувальних пристроїв на стрічці і твердотільних накопичувачів і може бути використана як пристрій зберігання даних з надлишковим потоком, для зберігання програм, коли такі програми вибрані для виконання, а також для зберігання команд і даних, які зчитаються під час виконання програми. Пам'ять 460 може бути енергозалежною і/або енергонезалежною і може бути постійною пам'яттю (КОМ), оперативною пам'яттю (КАМ), трійковою асоціативною пам'яттю (їегпагу сопіепі-адагеззабіє тетогу, ТСАМ) і/або статичною оперативною пам'яттю (ЗКАМ).
На фіг. 5 представлена спрощена блок-схема пристрою 500, який може бути використаний як один із або обидва із вихідного пристрою 12 і пристрою 14 призначення на фіг. 1А згідно з прикладом варіанта здійснення. Пристрій 500 може реалізовувати технології даного винаходу.
Пристрій 500, використовуваний для розбивання зображення, може бути виконаний у вигляді обчислювальної системи, яка містить декілька обчислювальних пристроїв, або у вигляді одного обчислювального пристрою, наприклад, мобільного телефона, планшетного комп'ютера, портативного комп'ютера або настільного комп'ютера.
Процесор 502 у пристрої 500 може бути центральним процесором. Альтернативно процесор 502 може бути будь-яким іншим типом пристрою або множиною пристроїв, здатних керувати або обробляти інформацію, яка вже існує або буде розроблена в подальшому. Хоча описані варіанти реалізації можуть бути реалізовані з використанням одного процесора, як показано на фігурі, наприклад, процесора 502, переваги у швидкості і ефективності можуть бути досягнені при використанні більше ніж одного процесора.
У варіанті реалізації пам'ять 504 у пристрої 500 може бути пристроєм постійної пам'яті (Кеай
Опіу Метогу, КОМ) або пристроєм оперативної пам'яті (гапдот ассеб55 тетогу, КАМ).
Як пам'ять 504 може бути використаний будь-який інший придатний тип запам'ятовувального пристрою. Пам'ять 504 може містити код і дані 506, до яких звертається процесор 502 через канал 512. Пам'ять 504 може додатково містити операційну систему 508 і прикладні програми 510, а прикладні програми 510 містять щонайменше одну програму, яка дозволяє процесору 502 виконувати способи, описані у даному винаході. Так, наприклад, прикладні програми 510 можуть містити застосунки 1-М, які додатково містять застосунок для кодування відео, який виконує способи, описані у даному документі. Пристрій 500 може також містити додаткову пам'ять у вигляді вторинного запам'ятовувального пристрою 514. Вторинний запам'ятовувальний пристрій 514 може, наприклад, бути картою пам'яті, яка використовується з мобільним обчислювальним пристроєм. Оскільки сеанси відеозв'язку можуть містити значну кількість інформації вони можуть зберігатися повністю або частково у вторинному запам'ятовувальному пристрої 514 і завантажуватися в пам'ять 504 в разі необхідності для обробки
Пристрій 500 може також містити один або декілька пристроїв виводу, таких як дисплей 518. 60 Дисплей 518 може бути в одному прикладі сенсорним дисплеєм, який поєднує дисплей і сенсорний елемент, здатний сприймати сенсорні входи. Дисплей 518 може бути з'єднаний з процесором 502 через канал 512. Додатково до дисплею 518 або як альтернатива йому можуть бути передбачені інші пристрої виводу, які дозволяють користувачу програмувати або іншим чином використовувати пристрій 500. Коли пристрій виводу є дисплеєм або містить дисплей, дисплей може бути реалізований різними способами, у тому числі за допомогою рідкокристалічного дисплея (їди сгузіа! аізріау, СО), дисплея з електронно-тпгроменевою трубкою (саїйподе-гау їшбе, СКТ), плазмового дисплея або світлодіодного дисплея (дні етіціпу діоде, ГЕБ), такого як органічний світлодіодний дисплей (огдапіс ЕО, ОГЕВ).
Пристрій 500 може також містити або підтримувати зв'язок із пристроєм 520 зчитування зображення. Пристроєм 520 зчитування зображення є, наприклад, камера або будь-який інший пристрій 520 зчитування зображення, який зараз існує або буде розроблений пізніше.
Зображенням є, наприклад, зображення користувача, який працює з пристроєм 500. Пристрій 520 зчитування зображень може бути розташований так, що він спрямований до користувача, який працює з пристроєм 500. У прикладі позиція і оптична вісь пристрою 520 зчитування зображень можуть бути сконфігуровані так, що поле зору пристрою 520 зчитування зображення охоплює ділянку, яка безпосередньо прилягає до дисплея 518 і з якої видно дисплей 518.
Пристрій 500 може також містити або підтримувати зв'язок із пристроєм 522 сприйняття звуку, наприклад, мікрофоном або будь-яким іншим пристроєм сприйняття звуку, який існує зараз або буде розроблений пізніше і який може сприймати звуки поблизу пристрою 500.
Пристрій 522 сприйняття звуку може бути розташований так, що він спрямований до користувача, який працює з пристроєм 500, і може бути налаштований на прийом звуку, наприклад, голосу або іншого звуку, створеного користувачем, який працює з пристроєм 500.
Хоча на фіг. 5 показано, що процесор 502 і пам'ять 504 пристрою 500 інтегровані в єдиний блок, можуть бути використані і інші конфігурації. Операції процесора 502 можуть бути розподілені між множиною машин (кожна машина містить один або декілька процесорів), які можуть бути з'єднані безпосередньо або через локальну зону або іншу мережу. Пам'ять 504 може бути розподілена між множиною машин, як, наприклад, мережева пам'ять або пам'ять у декількох машинах, які виконують операції пристрою 500. Хоча на даній фіг. зображений один канал, канал 512 пристрою 500 може складатися з декількох каналів. Крім того, вторинний запам'ятовувальний пристрій 514 може бути безпосередньо з'єднаний з іншими компонентами пристрою 500 або до нього можна отримати доступ через мережу, і він може містити єдиний інтегрований блок, такий як карта пам'яті, або множину блоків, таких як множина карт пам'яті.
Отже, пристрій 500 може бути реалізований у найрізноманітніших конфігураціях.
Як описано вище в даному винаході, на додаток до включення компонента яскравості (У) кольорове відео додатково включає компоненти кольоровості (, М). Отже, на додаток до кодування компонента яскравості компоненти кольоровості також мають бути кодовані. Згідно з різними способами для створення вибірки компонентів яскравості і кольоровості у кольоровому відео зазвичай існують ХОМ4:4:4, ХООМ4:2:2 ії УМа:2:0. Як показано на фіг. 6, хрестик означає зразок компонента яскравості, а коло - зразок компонента кольоровості. - Формат А 4:4:4 вказує на те, що дискретизація компонента кольоровості не знижена. - Формат А 4:2:2 вказує на те, що відносно компонента яскравості застосовується 271 горизонтальна знижена дискретизація компонента кольоровості, а вертикальна знижена дискретизація компонента кольоровості не застосовується. На кожні два зразки ) або зразки М кожен ряд містить чотири зразки У. - Формат 4:2:0 вказує на те, що відносно компонента яскравості застосовується 2:1 горизонтальна знижена дискретизація компонента кольоровості і 21 вертикальна знижена дискретизація компонента кольоровості.
Відеодекодер може бути налаштований на розбивання відеоблока згідно з трьома різними структурами розбивання (ОТ, ВТ і ТТ), використовуючи п'ять різних типів розбивання, дозволених на кожній глибині. Типи розбивання включають розбивання дерева квадрантів (структура розбивання ОТ), горизонтальне розбивання двійкового дерева (структура розбивання ВТ), вертикальне розбивання двійкового дерева (структура розбивання ВТ), а також горизонтальне розбивання трійкового дерева з боку центру (структура розбивання ТІ) і вертикальне розбивання трійкового дерева з боку центру (структура розбивання ТТ), як показано на фіг. 7А - 7Е.
Нижче визначені п'ять типів розбивання: слід зазначити, що квадрат розглядається як особливий випадок прямокутника.
Розбивання дерева квадрантів (Оцайд-їгеє, ОТ): блок додатково розбивається на чотири прямокутні блоки однакового розміру. На фіг. 7А показаний приклад розбивання дерева 60 квадрантів. Згідно із способом розбивання СТО она основі древа квадрантів ОТ,
СТИ використовується як кореневий вузол (корінь) дерева квадрантів. СТО рекурсивно розбивається на декілька термінальних вузлів (термінальний вузол) на основі режиму розбивання дерева квадрантів. Один вузол відповідає одній області зображення. Якщо вузол не розбитий, він позначається як термінальний вузол, а область зображення, яка відповідна вузлу, стає СО. Якщо вузол розбитий, область зображення, яка відповідає вузлу, розбивається на чотири області зображення однакового розміру (довжина і ширина чотирьох областей відповідно дорівнює половині довжини і ширини розбитої області), і кожна область відповідає одному вузлу. У кожному випадку необхідно окремо визначати, чи будуть ці вузли додатково розбиті. На необхідність розбивання вузла вказує мітка розбивання зрій си Пйад, яка знаходиться в бітовому потоці і відповідає вузлу. Глибина дерева квадрантів (д(Юерій) кореневого вузла дорівнює 0, а глибина дерева квадрантів дочірнього вузла є глибиною дерева квадрантів батьківського вузла плюс 1. Для стислості опису розмір і форма вузла в даному винаході є розміром і формою області зображення, яка відповідає вузлу, тобто вузол є прямокутною областю зображення. Вузол, отриманий розбиванням вузла (поде) у дереві кодування, може називатися дочірнім вузлом (спіїйй поде) вузла, який скорочено називають дочірнім вузлом.
Більш конкретно вузол СТИ 64х64 (з глибиною дерева квадрантів 0) не може бути розбитий на основі 5ріїй си Пад, що відповідає вузлу СТИ, і утворити 64х64 Су; або може бути розбитий на чотири вузли 32х32 (з глибиною дерева квадрантів 1). Кожен з чотирьох вузлів 32х32 може бути додатково розбитий або не додатково розбитий на основі 5рій си Яад, що відповідає вузлу. Якщо вузол 32х32 продовжує розбиватися, утворюються чотири вузли 16х16 (з глибиною дерева квадрантів 2). Решта може бути виведена за аналогією, доки жоден вузол не буде додатково розбитий. Отже, один СТІ розбивається на одну групу СО. Мінімальний розмір (віє)
СО вказаний у 5Р5. Так, наприклад, 8х8 - це мінімальний розмір СО. У попередньому рекурсивному процесі розбивання, якщо розмір вузла дорівнює мінімальному розміру СИ (тіпітит СИ ві27е), за замовчуванням вузол додатково не розбивається, і мітку розбивання вузла не потрібно включати у бітовий потік.
Після синтаксичного аналізу і виявлення, що вузол є термінальним вузлом, а термінальний вузол є СУ, інформація кодування (включаючи таку інформацію, як режим прогнозування і коефіцієнт перетворення СИ, наприклад, синтаксичну структуру содіпд пі) в Н.266), що відповідає С, додатково аналізується. Після цього здійснюють декодувальну обробку СИ, таку як прогнозування, деквантування, зворотне перетворення і фільтрування контурним фільтром, на основі інформації про кодування з метою отримання реконструйованого зображення, яке відповідає СО. У структурі дерева квадрантів (Оцадігее, ОТ) СТО можна розбити на групу СО відповідних розмірів на основі локальної функції зображення. Так, наприклад, рівна область розбита на більші СИ, у той час як багата текстурована область розбита на менші СИ.
Режим розбивання СТИ на групу СИ відповідає дереву кодування (соаіпа їгеє). Специфічне дерево кодування, яке повинен використовувати СТУ, зазвичай визначають, використовуючи технології оптимізації швидкості спотворення (КОО) кодера. Кодер випробовує множину режимів розбивання СТИ, і кожен режим розбивання відповідає одній швидкості спотворення (витрати КО). Кодер порівнює витрати на КО для режимів розбивання, які намагаються застосувати, щоб знайти режим розбивання з мінімальними витратами на КО як оптимальний режим розбивання СТО для фактичного кодування СТО. Усі режими розбивання СТИ, які намагається застосувати кодер, повинні відповідати правилу розбивання, визначеному декодером, так щоб декодер мік правильно визначити режими розбивання СТИ.
Вертикальне розбивання двійкового дерева (бБіпагу ігеє, ВТ): блок вертикально розбитий на два прямокутні блоки однакового розміру. На фіг. 7В представлений приклад розбивання вертикального двійкового дерева.
Горизонтальне розбивання двійкового дерева: блок горизонтально розбитий на два прямокутні блоки однакового розміру. На фіг. 7С представлений приклад горизонтального розбивання двійкового дерева.
Вертикальне розбивання трійкового дерева (ТТ) з боку центру: блок вертикально розбитий на три прямокутні блоки, так що два бічні блоки мають однаковий розмір, а розмір центрального блока є сумою розмірів двох бічних блоків. На фіг. 70 представлений приклад вертикального розбивання трійкового дерева з боку центру.
Горизонтальне розбивання трійкового дерева з боку центру: блок горизонтально розбитий на три прямокутні блоки, так що два бічні блоки мають однаковий розмір, а розмір центрального блока є сумою розмірів двох бічних блоків. На фіг. 7Е представлений приклад горизонтального розбивання трійкового дерева з боку центру. 60 Конкретні способи розбивання, представлені на фіг. 7В -7Е, подібні до режимів, описаних на фіг. 7А, тому деталі в даному випадку додатково не описані. Крім того, може бути застосований режим розбивання на каскади ОТ і ВТ/ТТ, скорочено ОТ-ВТТ. Іншими словами, вузол у дереві кодування рівня-1 може бути розбитий на дочірні вузли лише за допомогою ОТ, а термінальний вузол у дереві кодування рівня-1 є кореневим вузол дерева кодування рівня-2; вузол у дереві кодування рівня-2 може бути розбитий на дочірні вузли за допомогою одного з таких чотирьох режимів розбивання: горизонтальне двійкове розбивання, вертикальне двійкове розбивання, горизонтальне трійкове розбивання і вертикальне трійкове розбивання; термінальний вузол дерева кодування рівня-2 є блоком кодування. Зокрема розбивання двійкового дерева і розбивання дерева квадрантів виконуються каскадно, що скорочено може називатися режимом розбивання ОТВТ. Так, наприклад, СТО спочатку розбивається за допомогою ОТ, а термінальний вузол ОТ може продовжувати розбиватися за допомогою ВТ, як показано на фіг. 8. У правій частині фіг. 8 кожна кінцева точка означає один вузол. Один вузол, з'єднаний з чотирма суцільними лініями, означає розбивання квадрата, а один вузол, з'єднаний з двома пунктирними лініями, означає розбивання двійкового дерева. Вузол, отриманий після розбивання, може називатися дочірнім вузлом вузла, який скорочено називають дочірнім вузлом. Серед дочірніх вузлів вузли від а до т є 13 термінальними вузлами, і кожен термінальний вузол представляє один СО. У вузлі двійкового дерева 1 означає вертикальне розбивання, а 0 - горизонтальне розбивання. СТИ розділений на 13 СИ: від а до т, як показано в лівій частині фіг. 8. У режимі розбивання ОТВТ кожен СИ має глибину ОТ (глибина дерева квадрантів, глибина ОТ) і глибина ВТ (глибина двійкового дерева, глибина ВТ). Глибина ОТ є глибиною ОТ термінального вузла ОТ, до якого належить СУ, а глибина ВТ є глибиною ВТ термінального вузла ВТ, до якої належить СО. Так, наприклад, на фіг. 8 глибина Ота ії р дорівнює 1, а глибинаВтТа і Б дорівнює 2; глибина ОТ с, й і е дорівнює 1, а глибинавт с, ді е дорівнює 1; глибина ОТ, К і І дорівнює 2, а глибина ВТ її, К і І дорівнює 1; глибина О1 ііі дорівнює 2, а глибина ВТ і і | дорівнює 0; глибина ОТ 49 і п дорівнює 2, а глибинаВтТ ді п дорівнює 2; глибина ОТ т дорівнює 1, а глибина ВТ т дорівнює 0. Якщо СТО розбитий лише на один СІ, глибина ОТ СИ дорівнює 0 і глибина ВТ СИ дорівнює 0.
Для блока, асоційованого з певною глибиною, кодер 20 визначає, який тип розбивання (включаючи варіант без подальшого розбивання) використовується, і явно або неявно (наприклад, тип розбивання може бути отриманий із заздалегідь визначеного правила) передає інформацію про визначений тип розбивання на декодер 30. Кодер 20 може визначити використовуваний тип розбивання на основі витрат на швидкість спотворення для аналізу іншого типу розбивання для блока.
Якщо внаслідок розбивання вузла утворюється блок кольоровості 2хМ, зокрема блок кольоровості 2х2, 2х4 або 2х8, ефективність кодування і декодування кольоровості порівняно низька, а витрати на експлуатацію апаратного декодера порівняно високі. Це є невигідним для реалізації апаратного декодера. Якщо блок кольоровості поточного вузла додатково не розбивається, у даному варіанті здійснення винаходу може бути розбитий лише блок яскравості поточного вузла, тим самим покращуючи ефективність кодування і декодування, зменшуючи максимальну пропускну здатність кодека і полегшуючи реалізацію кодека. Зокрема у даному варіанті здійснення винаходу, коли дочірні вузли, утворені розбиванням вузла за допомогою режиму розбивання, включають блок кольоровості, довжина сторони якого є першим граничним значенням (або включає блок кольоровості, довжина сторони якого є меншою, ніж друге граничне значення), блок яскравості, включений у вузол, розбивається за допомогою цього режиму розбивання, а блок кольоровості, включений у вузол, додатково не розбивається. Цей режим дозволяє уникнути утворення блока кольоровості, довжина сторони якого є першим граничним значенням (або довжина сторони якого є меншою, ніж друге граничне значення).
У конкретному варіанті реалізації перше граничне значення може дорівнювати 2, а друге граничне значення може дорівнювати 4. Нижче наведений детальний опис з посиланням на варіанти здійснення 1-3. У даному варіанті здійснення винаходу описи надані з використанням формату відеоданих ХОМА: 2: 0, і подібний спосіб може бути використаний для даних у форматі
УМас22.
Інструмент кодування внутрішньоблокової копії (Іпіга ВіоскК Сору, ІВС) застосовується в розширеному стандарті 5СС НЕМС і в основному використовується для підвищення ефективності кодування відео з вмістом екрану. Режим ІВС є режимом кодування на рівні блока.
На стороні кодера використовується спосіб збігу блоків (бБіосК таїспіпд, ВМ) для пошуку оптимального вектора блока (БіосК месіог) або вектора руху (тоїйоп месіогї) для кожного СИ.
В даному описі вектор руху в основному використовується для представлення зміщення від поточного блока до опорного блока, його також називають вектором зміщення (аізріасетепі 60 месіог). Опорний блок є реконструйованим блоком у поточному зображенні. Режим ІВС може розглядатися як третій режим прогнозування, відмінний від режиму внутрішнього прогнозування або режиму міжкадрового прогнозування. Щоб заощадити місце для зберігання даних і зменшити складність декодера, режим ІВС у МТМ4 дозволяє використовувати для прогнозування лише відновлену частину заздалегідь визначеної області поточного СТО.
У МТМ на рівні СО мітку використовують, щоб вказати, чи застосовується режим ІВС для поточного СО. Режим ІВС класифікується на режим ІВС АМУР, режим пропуску ІВС або режим злиття ІВС.
Варіант здійснення 1
На фіг. 9 представлена блок-схема способу 900 згідно з варіантом здійснення 1 даного винаходу.
Крок 901: визначення необхідності розбивання поточного вузла, де поточний вузол містить блок яскравості і блок кольоровості.
Якщо поточний вузол додатково не розбивається на дочірні вузли, поточний вузол є блоком кодування (СІ), і крок 910 здійснюють для отримання інформації про блок кодування за допомогою синтаксичного аналізу; або якщо поточний вузол необхідно розбивати, здійснюють крок 902.
Варіант здійснення 1 даного винаходу може бути реалізований пристроєм декодування відео, зокрема пристроєм, описаним на будь-якій з фіг. 3-5.
Варіант здійснення 1 даного винаходу може бути альтернативно реалізований пристроєм кодування відео, зокрема пристроєм, описаним на будь-якій з фіг. 2, фіг. 4 і фіг. 5.
Якщо варіант здійснення 1 реалізований пристроєм декодування відео, крок 902 включає такі операції: пристрій декодування відео аналізує бітовий потік з метою визначення режиму розбивання поточного вузла. Режим розбивання поточного вузла може бути щонайменше одним із розбивання дерева квадрантів (ОТ), горизонтального двійкового розбивання (горизонтальне ВТ), горизонтального трійкового розбивання (горизонтальне ТТ), вертикального двійкового розбивання (вертикальне ВТ) і вертикального трійкового розбивання (вертикальне ТТ), або може бути іншим режимом розбивання. Цей варіант здійснення не обмежує обсяг охорони даного винаходу. Інформація про режим розбивання поточного вузла зазвичай передається в бітовому потоці, а інформація про режим розбивання поточного вузла може бути отримана шляхом синтаксичного аналізу відповідного синтаксичного елементу у бітовому потоці.
Якщо варіант здійснення 1 реалізується пристроєм кодування відео, крок 902 включає визначення способу розбивання поточного вузла.
Крок 904: виходячи із режиму розбивання поточного вузла і розміру поточного вузла, визначення, чи необхідно здійснювати розбивання блока кольоровості поточного вузла; і якщо блок кольоровості поточного вузла додатково не розбивається, здійснення кроку 906; а якщо блок кольоровості поточного вузла необхідно розбивати, здійснення кроку 908.
Зокрема у ході реалізації може бути визначено, чи утворюється блок кольоровості, довжина сторони якого є першим граничним значенням (або блок кольоровості, довжина сторони якого є меншою, ніж друге граничне значення), шляхом розбивання поточного вузла на основі режиму розбивання поточного вузла. Якщо визначено, що дочірній вузол, утворений розбиванням поточного вузла, містить блок кольоровості, довжина сторони якого є першим граничним значенням (або містить блок кольоровості, довжина сторони якого є меншою, ніж друге граничне значення), блок кольоровості поточного вузла додатково не розбивається. Так, наприклад, перше граничне значення може дорівнювати 2, а друге граничне значення може дорівнювати 4.
У цьому варіанті здійснення даного винаходу блок кольоровості, довжина сторони якого є першим граничним значенням, є блоком кольоровості, ширина або висота якого є першим граничним значенням.
У іншому варіанті реалізації, наприклад, якщо будь-яка одна з умов 1-5 є істинною, може бути визначено, що блок кольоровості поточного вузла додатково не розбивається; в іншому випадку визначається, що блок кольоровості поточного вузла необхідно розбивати: умова 1: ширина поточного вузла дорівнює збільшеному вдвічі другому граничному значенню, а режимом розбивання поточного вузла є вертикальне двійкове розбивання; умова 2: висота поточного вузла дорівнює збільшеному вдвічі другому граничному значенню, а режимом розбивання поточного вузла є горизонтальне двійкове розбивання; умова 3: ширина поточного вузла дорівнює збільшеному в чотири рази другому граничному значенню, а режимом розбивання поточного вузла є вертикальне трійкове розбивання; умова 4: висота поточного вузла дорівнює збільшеному в чотири рази другому граничному 60 значенню, а режимом розбивання поточного вузла є горизонтальне трійкове розбивання; або умова 5: ширина поточного вузла дорівнює збільшеному вдвічі другому граничному значенню, а режимом розбивання поточного вузла є розбивання дерева квадрантів.
Загалом ширина поточного вузла є шириною блока яскравості, який відповідає поточному вузлу, а висота поточного вузла є висотою блока яскравості, який відповідає поточному вузлу.
У окремому варіанті реалізації, наприклад, друге граничне значення може дорівнювати 4.
У третьому варіанті реалізації може бути визначено, чи утворюється блок кольоровості, ширина якого є першим граничним значенням (або блок кольоровості, ширина якого є меншою, ніж друге граничне значення), шляхом розбивання поточного вузла на основі режиму розбивання поточного вузла. Якщо визначено, що дочірній вузол, утворений розбиванням поточного вузла, містить блок кольоровості, ширина якого є першим граничним значенням (або містить блок кольоровості, ширина якого є меншою, ніж друге граничне значення), блок кольоровості поточного вузла додатково не розбивається. Так, наприклад, перше граничне значення може дорівнювати 2, а друге граничне значення може дорівнювати 4.
У четвертому варіанті реалізації може бути визначено, чи утворюється блок кольоровості, кількість вибірок кольоровості якого є меншою, ніж третє граничне значення, шляхом розбивання поточного вузла на основі режиму розбивання поточного вузла. Якщо визначено, що дочірній вузол, утворений розбиванням поточного вузла, містить блок кольоровості, кількість вибірок кольоровості якого є меншою, ніж третє граничне значення, блок кольоровості поточного вузла додатково не розбивається. Так, наприклад, третє граничне значення може дорівнювати 16. У цьому випадку блок кольоровості, кількість вибірок кольоровості якого є меншою ніж 16, містить, але не обмежується цим, блок кольоровості 2х2, блок кольоровості 2х4 і блок кольоровості 4х2. Третє граничне значення може дорівнювати 8. У цьому випадку блок кольоровості, кількість вибірок кольоровості якого є меншою ніж 8, містить, але не обмежується цим, блок кольоровості 2х2.
Зокрема якщо умова 1 або умова 2 є істинною, може бути визначено, що блок кольоровості, кількість вибірок кольоровості якого є меншою, ніж третє граничне значення, утворений розбиванням поточного вузла на основі режиму розбивання поточного вузла; в іншому випадку може бути визначено, що в результаті розбивання поточного вузла на основі режиму розбивання поточного вузла не утворюється блок кольоровості, кількість вибірок кольоровості якого є меншою, ніж третє граничне значення: умова 1: добуток ширини і висоти поточного вузла є меншим ніж 128, а режимом розбивання поточного вузла є вертикальне двійкове розбивання або горизонтальне двійкове розбивання; або умова 2: добуток ширини і висоти поточного вузла є меншим ніж 256, а режимом розбивання поточного вузла є вертикальне трійкове розбивання, горизонтальне трійкове розбивання або розбивання дерева квадрантів.
Зокрема у іншому варіанті реалізації, якщо умова З або умова 4 є істинною, може бути визначено, що блок кольоровості, кількість вибірок кольоровості якого є меншою, ніж третє граничне значення, утворений розбиванням поточного вузла на основі режиму розбивання поточного вузла; в іншому випадку може бути визначено, що в результаті розбивання поточного вузла на основі режиму розбивання поточного вузла не утворюється блок кольоровості, кількість вибірок кольоровості якого є меншою, ніж третє граничне значення: умова 3: добуток ширини і висоти поточного вузла дорівнює 64, а режимом розбивання поточного вузла є вертикальне двійкове розбивання, горизонтальне двійкове розбивання, розбивання дерева квадрантів, горизонтальне трійкове розбивання або вертикальне трійкове розбивання; або умова 4: добуток ширини і висоти поточного вузла дорівнює 128, а режимом розбивання поточного вузла є вертикальне трійкове розбивання або горизонтальне трійкове розбивання.
У п'ятому варіанті реалізації може бути визначено, чи утворюється блок кольоровості, висота якого є першим граничним значенням (або блок кольоровості, висота якого є меншою, ніж друге граничне значення), шляхом розбивання поточного вузла на основі режиму розбивання поточного вузла. Якщо визначено, що дочірній вузол, утворений розбиванням поточного вузла, містить блок кольоровості, висота якого є першим граничним значенням (або блок кольоровості, висота якого є меншою, ніж друге граничне значення), блок кольоровості поточного вузла додатково не розбивається. Так, наприклад, перше граничне значення може дорівнювати 2, а друге граничне значення може дорівнювати 4.
Крок 906: розбивання блока яскравості (блок яскравості) поточного вузла на основі режиму розбивання поточного вузла з метою отримання дочірніх вузлів (які також можна називати дочірніми вузлами блока яскравості, скорочено вузлами яскравості) поточного вузла. Кожен 60 дочірній вузол містить лише блок яскравості. Блок кольоровості (блок кольоровості) поточного вузла додатково не розбивається і стає блоком кодування, який містить лише блок кольоровості.
Необов'язково, як показано на фіг. 10, крок 906 може додатково включати крок 9062: синтаксичний аналіз блока яскравості поточного вузла з метою отримання інформації прогнозування і залишкової інформації з кожної із підобластей у блоці яскравості поточного вузла, де кожна підобласть відповідає одному дочірньому вузлу.
Зокрема крок 9062 може бути здійснений шляхом використання одного з таких способів:
Спосіб 1: додатково не розбивати кожен дочірній вузол блока яскравості за замовчуванням (тобто кожен вузол яскравості є блоком кодування, а один дочірній вузол блока яскравості відповідає одному блоку кодування, включаючи лише блок яскравості), здійснювати послідовний синтаксичний аналіз даних блока кодування для дочірніх вузлів блока яскравості з метою отримання інформації прогнозування і залишкової інформації для кожного блока яскравості. Блок яскравості вузла яскравості є підобластю поточного вузла блока яскравості, а блоки яскравості вузлів яскравості утворюють блок яскравості поточного вузла.
Спосіб 2: визначити, чи потрібно продовжувати поступово додатково розбивати дочірні вузли блока яскравості; і коли дочірні вузли необхідно додатково розбивати, здійснення синтаксичного аналізу режиму розбивання дочірніх вузлів і відповідних даних блока кодування.
Більш конкретно, якщо вузол яскравості додатково не розбивається, здійснюють синтаксичний аналіз даних блока кодування, що відповідають вузлу яскравості, з метою отримання інформації прогнозування і залишкової інформації, яка відповідає блоку яскравості вузла яскравості; або якщо вузол яскравості розбивається далі, необхідно визначити, чи потрібно здійснювати розбивання дочірніх вузлів (слід зазначити, що дочірній вузол все ще включає лише блок яскравості) вузла яскравості, поки визначається інформація про прогнозування і залишкова інформація кожної з підобластей блока яскравості поточного вузла.
Інформація прогнозування включає, але не обмежується цим, режим прогнозування (із зазначенням режиму внутрішнього прогнозування або режиму міжкадрового прогнозування), режим внутрішнього прогнозування, інформацію про рух і/або подібне. Режим внутрішнього прогнозування блока яскравості може бути одним із площинного режиму (Ріапаг Моде), режиму постійного струму (ОС Моде), кутового режиму (апдшаг Моде) і режиму, виведеного з кольоровості (спгота дегімейа тоде, ОМ). Інформація про рух може включати таку інформацію, як напрямок прогнозування (вперед, назад або двонаправлений), опорний індекс (геїтегепсе іпадех) і/або вектор руху (тоїйоп месіог).
Залишкова інформація включає мітку кодованого блока (содеа БбіоскК Пад, СВЕ), коефіцієнт перетворення і/або тип перетворення (наприклад, ОСТ-2, ЮО5Т-7 або ОСТ-8) і тому подібне.
Необов'язково, як показано на фіг. 10, крок 906 може додатково включати крок 9064: отримання інформації прогнозування і/або залишкової інформації блока кольоровості.
Зокрема крок 9064 може включати крок 90642 і крок 90644. Крок 90642 може бути кроком 90642А або кроком 906428.
Крок 90642А зокрема включає:
Отримання режиму прогнозування для попередньо заданої позиції поточного вузла блока яскравості як режиму прогнозування поточного вузла блока кольоровості. Позиція верхнього лівого кута поточного вузла блока яскравості може бути виражена як (хО, у0), а розмір дорівнює
МУХН. У цьому випадку попередньо задана позиція може включати, але не обмежується верхнім лівим кутом, нижній правий кут (хо - 1, убаН - 1), центр (ХОАМ/2, у0тН/2), (ХхОНАМ/2, 0) або (0, уйН/г) блока яскравості або подібне. Режим прогнозування вказує, який з режимів внутрішнє прогнозування або міжкадрове прогнозування застосовується до пікселя попередньо заданої позиції, наприклад, інформація, вказана синтаксичним елементом ргед тоде Пад в НЕМС. Так, наприклад, в МТМ, на основі інформації, вказаної синтаксичним елементом ргей тоде ібс Пад можна визначити, чи ІВС є режимом прогнозування для попередньо заданої позиції.
Якщо режимом прогнозування для попередньо заданої позиції є міжкадрове прогнозування, застосовують один із таких способів для визначення режиму прогнозування блока кольоровості:
Спосіб 1: здійснення міжкадрового прогнозування для блока кольоровості з метою отримання інформації про рух для попередньо заданої позиції у вигляді інформації про рух блока кольоровості;
Спосіб 2: здійснення міжкадрового прогнозування для блока кольоровості і розбивання блока кольоровості на підблоки прогнозування кольоровості (де розмір підблока прогнозування кольоровості, наприклад, дорівнює двом вибіркам кольоровості у ширину і двом вибіркам кольоровості у висоту) і отримання інформації про рух підблоків прогнозування кольоровості таким чином: бо Якщо міжкадрове прогнозування застосовується до блоків яскравості у позиціях яскравого зображення, що відповідає підблокам прогнозування кольоровості, інформація про рух позицій яскравого зображення відповідно до підблоків прогнозування кольоровості використовується як інформація про рух підблоків прогнозування кольоровості; в іншому випадку інформацію про рух для попередньо заданої позиції отримують у вигляді інформації про рух підблоків прогнозування кольоровості.
Для зображення ХИМ4:2:0 координати підблоків прогнозування кольоровість у кольоровому зображенні позначаються як (хС, ус). У цьому випадку координатами позиції яскравого зображення відповідно до підблоків прогнозування кольоровості є (хС «« 1, ус «« 1).
Спосіб 3: здійснення синтаксичного аналізу мітки ргеа тоде Пад з метою визначення, яке саме прогнозування внутрішнє прогнозування або міжкадрове прогнозування застосовується до блока кольоровості; і якщо до блока кольоровості застосовується внутрішнє прогнозування, здійснення синтаксичного аналізу режиму внутрішнього прогнозування з бітового потоку як режиму внутрішнього прогнозування блока кольоровості; або якщо до блока кольоровості застосовується міжкадрове прогнозування, отримання інформації про рух для попередньо заданої позиції у вигляді інформації про рух блока кольоровості.
Спосіб 4: здійснення синтаксичного аналізу мітки ргеа тоде Пад з метою визначення, яке саме прогнозування внутрішнє прогнозування або міжкадрове прогнозування застосовується до блока кольоровості; і якщо до блока кольоровості застосовується внутрішнє прогнозування, здійснення синтаксичного аналізу режиму внутрішнього прогнозування з бітового потоку як режиму внутрішнього прогнозування блока кольоровості, де внутрішнє режим прогнозування може бути один із таких режимів: крос-компонентний режим лінійної моделі або режим ОМ, а режим внутрішнього прогнозування яскравості, що відповідає режиму ОМ, вибраний як площинний режим; або якщо до блока кольоровості застосовується міжкадрове прогнозування, розбивання блока кольоровості на підблоки прогнозування кольоровості, де інформація про рух підблоків прогнозування кольоровості отримана таким чином:
Якщо міжкадрове прогнозування застосовують до блоків яскравості у позиціях яскравого зображення, що відповідає підблокам прогнозування кольоровості, інформація про рух позицій яскравого зображення відповідно до підблоків прогнозування кольоровості використовується як інформація про рух підблоків прогнозування кольоровості; в іншому випадку інформацію про рух для попередньо заданої позиції отримують у вигляді інформації про рух підблоків прогнозування кольоровості.
Контекстна модель, яка використовується для синтаксичного аналізу мітки ргед тоде Пад, є попередньо заданою моделлю, наприклад, під номером 2.
Якщо режимом прогнозування для попередньо заданої позиції є внутрішнє прогнозування, внутрішнє прогнозування застосовується до блока кольоровості, а режим внутрішнього прогнозування аналізується з бітового потоку як режим внутрішнього прогнозування блока кольоровості. Альтернативно безпосередньо визначають, що режимом внутрішнього прогнозування блока кольоровості є один із таких режимів: режим постійного струму, площинний режим, кутовий режим, крос-компонентний режим лінійної моделі або режим ОМ.
Якщо режимом прогнозування для попередньо заданої позиції є режим ІВС, прогнозування блока кольоровості відбувається у режимі ІВС з метою отримання інформації про вектор зміщення (дізріасетепі месіог) для попередньо заданої позиції у вигляді інформації про вектор зміщення блока кольоровості; або
Якщо режимом прогнозування для попередньо заданої позиції є режим ІВС, режим прогнозування блока кольоровості визначається на основі мітки ргед тоде ібс ПЙасд: 1) якщо ргед тоде ібс Пад дорівнює 1, режим ІВС застосовується для блока кольоровості; більш конкретно спосіб прогнозування ІВС для блока кольоровості може бути способом в МТМ 4.0, тобто блок кольоровості розбивається на підблоки 2х2, а вектор заміщення кожного підблока дорівнює вектору заміщення області яскравості, що відповідає підблоку; або 2) якщо ргей тоде ібс Пад дорівнює 0, застосовується режим внутрішнього прогнозування або режим міжкадрового прогнозування для блока кольоровості.
Коли застосовується режим внутрішнього прогнозування, синтаксичний елемент аналізується з бітового потоку з метою визначення режиму внутрішнього прогнозування кольоровості. Альтернативно безпосередньо визначають, що режим внутрішнього прогнозування блока кольоровості належить до набору режимів внутрішнього прогнозування кольоровості. Набір режимів внутрішнього прогнозування кольоровості включає режим постійного струму, площинний режим, кутовий режим, крос-компонентний режим лінійної моделі і режим ОМ.
Коли застосовується режим міжкадрового прогнозування, інформація про рух для 60 попередньо заданої позиції може бути отримана у вигляді інформації про рух блока кольоровості.
Слід зазначити, що коли бітовий потік не містить ргей тоде ірбс йад, якщо типом зображення, в якому знаходиться поточний вузол, є І-кадр/І-зріз і дозволено використовувати режим ІВС, за замовчуванням ргед тоде ібс Пад означає 1, тобто за замовчуванням для блок кольоровості використовується режим ІВС; або якщо типом зображення, в якому знаходиться поточний вузол, є Р/В-кадр/зріз, за замовчуванням ргед тоде ібс Пад означає 0.
В МТМ на основі інформації, вказаної синтаксичним елементом ргей тоде ірс Пад, можна визначити, чи є режимом прогнозування для попередньо заданої позиції режим ІВС. Так, наприклад, якщо ргед тоде ібс Пад означає 1, це вказує на те, що як режим прогнозування застосовується ІВС; або якщо ргей тоде ібс Пад означає 0, це вказує на те, що режим ІВС не застосовується. Коли бітовий потік не містить ргед тоде ібс Пад, якщо в І-кадрі/І-зрізі, то значення ргей тоде ірбс Пад дорівняє значенню 5р5 ірс епабієд Пад; якщо в Р-кадрі/зрізі або
В-кадрі/зрізі, то значення ргед тоде ібс Пад дорівнює 0. Коли 5р5 ібс епабієд Пад дорівнює 1, це означає, що дозволено використовувати поточне зображення як опорне зображення в процесі декодування поточного зображення; або коли зр5 іЇбс епабієї Яад дорівнює 0, це означає, що не дозволено використовувати поточне зображення як опорне зображення в процесі декодування поточного зображення.
Режимом внутрішнього прогнозування блока кольоровості може бути один із таких режимів: режим постійного струму, площинний режим, кутовий режим, крос-компонентний режим лінійної моделі (ССІЇ М) і режим, виведений з кольоровості (ОМ), наприклад, режим ОС, площинний режим, кутовий режим, крос-компонентний режим лінійної моделі і режим, виведений з кольоровості, в МТМ.
Крок 906428 конкретно включає:
Отримання режиму прогнозування для множини блоків яскравості поточного вузла і визначення режиму прогнозування блока кольоровості, що відповідає поточному вузлу, за допомогою такого способу:
Якщо внутрішнє прогнозування застосовують до всієї множини блоків яскравості, внутрішнє прогнозування здійснюють для блока кольоровості, а режим внутрішнього прогнозування аналізують із бітового потоку у вигляді режиму внутрішнього прогнозування блока кольоровості.
Якщо міжкадрове прогнозування здійснюють для всієї множини блоків яскравості, використовують один із таких способів для визначення режиму прогнозування кольоровості:
Спосіб 1: здійснення міжкадрового прогнозування для блока кольоровості з метою отримання інформації про рух для попередньо заданої позиції у вигляді інформація про рух блока кольоровості. Попередньо задана позиція має те ж саме значення, як було визначено у варіанті здійснення 1.
Спосіб 2: синтаксичний аналіз мітки ргеа тоде Пад з метою визначення, який з режимів прогнозування внутрішнє прогнозування або міжкадрове прогнозування застосовується до блока кольоровості; і якщо до блока кольоровості застосовується внутрішнє прогнозування, здійснення синтаксичного аналізу режиму внутрішнього прогнозування із бітового потоку у вигляді режиму внутрішнього прогнозування блока кольоровості; або якщо до блока кольоровості застосовується міжкадрове прогнозування, отримання інформації про рух для попередньо заданої позиції у вигляді інформації про рух блока кольоровості.
Якщо міжкадрове прогнозування і внутрішнє прогнозування включені у множину блоків яскравості, інформація про режим блока кольоровості може бути визначена одним з таких способів: (1) якщо режим прогнозування для попередньо заданої позиції є міжкадровим прогнозуванням, міжкадрове прогнозування виконується у блоці кольоровості з метою отримання інформації про рух для попередньо заданої позиції у вигляді інформації про рух блока кольоровості; (2) якщо режим прогнозування для попередньо заданої опозиції є внутрішнім прогнозуванням, внутрішнє прогнозування виконується у блоці кольоровості, а режим внутрішнього прогнозування аналізується з бітового потоку як режим внутрішнього прогнозування блока кольоровості; або безпосередньо визначається, що режим внутрішнього прогнозування блока кольоровості є одним із режимів таких режимів: режим постійного струму, площинний режим, кутовий режим, крос-компонентний режим лінійної моделі або режим ОМ; (3) якщо режимом прогнозування для попередньо заданої позиції є режим ІВС, блок кольоровості прогнозується в режимі ІВС з метою отримання інформації про вектор зміщення для попередньо заданої позиції у вигляді інформації про вектор зміщення блока кольоровості; і (4) режим прогнозування кольоровості безпосередньо вказується як один з режимів набору 60 режимів, де набір режимів включає режим АМУР, режим ІВС, режим пропуску, режим постійного струму, площинний режим, кутовий режим, крос-компонентний режим лінійної моделі та режим ОМ.
Крок 90644: синтаксичний аналіз залишкової інформації блока кольоровості. Залишкова інформація блока кольоровості включена в модуль перетворення. За замовчуванням тип перетворення може бути ОСТ-2.
Крок 908: розбивання поточного вузла на дочірні вузли, де кожен дочірній вузол містить блок яскравості і блок кольоровості. Крок 901 здійснюють для кожного дочірнього вузла, синтаксичний аналіз здійснюють також для режиму розбивання дочірнього вузла з метою визначення, чи необхідно здійснювати подальше розбивання дочірнього вузла (який також називають вузлом).
В результаті здійснення режиму розбивання підобласті блока яскравості отримують інформацію прогнозування і залишкову інформацію для кожної з підобластей, виходячи з відповідного режиму прогнозування підобласті, може бути здійснена обробка міжкадрового прогнозування або обробка внутрішнього прогнозування для кожної підобласті з метою отримання інтер-прогнозованого зображення або інтра-прогнозованого зображення підобласті.
Після цього до коефіцієнта перетворення застосовують деквантування і обробку зворотного перетворення, виходячи із залишкової інформації кожної підобласті з метою отримання залишкового зображення, після чого залишкове зображення накладається на прогнозоване зображення у відповідній підобласті з метою отримання реконструйованого зображення блока кольоровості.
В результаті прогнозування отримують інформацію і залишкову інформацію блока кольоровості, виходячи з режиму прогнозування блока кольоровості, може бути здійснена обробка міжкадрового прогнозування або обробка внутрішнього прогнозування блока кольоровості з метою отримання інтер-прогнозованого зображення або інтра-прогнозованого зображення блока кольоровості. Після цього до коефіцієнта перетворення застосовують деквантування і обробку зворотного перетворення, виходячи із залишкової інформації блока кольоровості з метою отримання залишкового зображення, після чого залишкове зображення накладається на прогнозоване зображення блока кольоровості з метою отримання реконструйованого зображення блока кольоровості.
У варіант здійснення 1 даного винаходу, якщо блок кольоровості поточного вузла додатково не розбивається, спосіб може бути застосований для розбивання лише блока яскравості поточного вузла, тим самим покращуючи ефективність кодування і декодування, зменшуючи максимальну пропускну здатність кодека і полегшуючи реалізацію кодека.
Варіант здійснення 2
Порівняно з варіантом здійснення 1 при здійсненні кроку 9062 додається таке обмеження: той самий режим прогнозування використовується для вузлів яскравості (тобто дочірніх вузлів блоків яскравості), іншими словами, до кожного вузла яскравості застосовують внутрішнє прогнозування або міжкадрове прогнозування. Інші кроки подібні до кроків варіанта здійснення 1, тому деталі знову не описуються.
Будь-який із наведених нижче способів може бути використаний для застосування одного і того ж режиму прогнозування для вузлів яскравості:
Спосіб 1: Якщо поточний кадр є І-кадром, за замовчуванням внутрішнє прогнозування здійснюється для всіх дочірніх вузлів поточного вузла; або якщо поточним кадром є Р-кадр або
В-кадр, перший вузол (який може бути першим дочірнім вузлом), у якому виконується обробка синтаксичного аналізу, аналізується з метою отримання інформації про режим прогнозування першого вузла, і режимом прогнозування залишкового дочірнього вузла (який скорочено називають вузлом яскравості) за замовчуванням є режим прогнозування першого вузла, у якому виконується обробка синтаксичного аналізу; або спосіб 2: Якщо поточний кадр є І-кадром, за замовчуванням внутрішнє прогнозування виконується для всіх дочірніх вузлів поточного вузла; або якщо поточний кадр є Р-кадром або
В-кадром, за замовчуванням виконується міжкадрове прогнозування в усіх дочірніх вузлах поточного вузла.
Варіант здійснення З
На фіг. 11 представлена схема 1100 способу згідно з варіантом здійснення З даного винаходу. Варіант здійснення З подібний до варіанта здійснення 1, за винятком кроку 1104.
Крок 1104: на основі режиму розбивання поточного вузла визначення розміру поточного вузла і режиму прогнозування першого вузла, в якому виконується обробка синтаксичного аналізу (який скорочено можна називати першим дочірнім вузлом) у поточному вузлі, де блок кольоровості поточного вузла розбивається, де перший дочірній вузол містить лише блок 60 яскравості. Той самий режим прогнозування застосовують до множини дочірніх вузлів поточного вузла. Кожен дочірній вузол містить лише блок яскравості.
Той факт, чи вперше визначається режим розбивання поточного вузла і розмір поточного вузла або чи вперше визначається режим прогнозування першого дочірнього вузла, не обмежується цим варіантом здійснення даного винаходу.
На основі варіанта здійснення 1 або 2 у варіанті здійснення З режим розбивання блока кольоровості поточного вузла, відповідний режим синтаксичного аналізу інформації прогнозування і відповідний режим синтаксичного аналізу залишкової інформації визначаються з посиланням на режим прогнозування першого дочірнього вузла поточного вузла.
У варіанті реалізації на основі режиму розбивання поточного вузла і розміру поточного вузла визначають, що дочірній вузол, утворений розбиванням проточного вузла, містить блок кольоровості, довжина сторони якого дорівнює першому граничному значенню або довжина сторони якого є меншою, ніж друге граничне значення, а режим прогнозування першого дочірнього вузла є внутрішнім прогнозування; у цьому випадку блок кольоровості поточного вузла додатково не розбивається. Подібно до варіанта здійснення 1, наприклад, перше граничне значення може дорівнювати 2, а друге граничне значення може дорівнювати 4.
У цьому варіанті здійснення даного винаходу блок кольоровості, довжина сторони якого є першим граничним значенням, є блоком кольоровості, ширина або висота якого є першим граничним значенням.
У іншому варіанті реалізації, якщо режимом прогнозування першого дочірнього вузла є внутрішнє прогнозування, будь-яка одна з умов 1-5 є істинною: умова 1: ширина поточного вузла дорівнює збільшеному вдвічі другому граничному значенню, а режимом розбивання поточного вузла є вертикальне двійкове розбивання; умова 2: висота поточного вузла дорівнює збільшеному вдвічі другому граничному значенню, а режимом розбивання поточного вузла є горизонтальне двійкове розбивання; умова 3: ширина поточного вузла дорівнює збільшеному в чотири рази другому граничному значенню, а режимом розбивання поточного вузла є вертикальне трійкове розбивання; умова 4: висота поточного вузла дорівнює збільшеному в чотири рази другому граничному значенню, а режимом розбивання поточного вузла є горизонтальне трійкове розбивання; або умова 5: якщо ширина поточного вузла дорівнює збільшеному вдвічі другому граничному значенню, а режимом розбивання поточного вузла є розбивання дерева квадрантів, блок кольоровості поточного вузла додатково не розбивається.
Загалом ширина поточного вузла є шириною блока яскравості, який відповідає поточному вузлу, а висота поточного вузла є висотою блока яскравості, який відповідає поточному вузлу.
У окремому варіанті реалізації, наприклад, друге граничне значення може дорівнювати 4.
Коли режимом прогнозування першого дочірнього вузла є внутрішнє прогнозування, подібно до першого варіанта здійснення у третьому варіанті реалізації може бути визначено, чи утворюється блок кольоровості, ширина якого є першим граничним значенням (або блок кольоровості, ширина якого є меншою, ніж друге граничне значення), шляхом розбивання поточного вузла на основі режиму розбивання поточного вузла. Якщо визначено, що дочірній вузол, утворений розбиванням поточного вузла, містить блок кольоровості, ширина якого є першим граничним значенням (або містить блок кольоровості, ширина якого є меншою, ніж друге граничне значення), і режимом прогнозування першого дочірнього вузла є внутрішнє прогнозування, блок кольоровості поточного вузла додатково не розбивається. Так, наприклад, перше граничне значення може дорівнювати 2, а друге граничне значення може дорівнювати 4.
Коли режимом прогнозування першого дочірнього вузла є внутрішнє прогнозування, подібно до першого варіанта здійснення у четвертому варіанті реалізації може бути визначено, чи утворюється блок кольоровості, кількість вибірок кольоровості якого є меншою, ніж третє граничне значення, шляхом розбивання поточного вузла на основі режиму розбивання поточного вузла. Якщо визначено, що дочірній вузол, утворений розбиванням поточного вузла, містить блок кольоровості, кількість вибірок кольоровості якого є меншою, ніж третє граничне значення, а режимом прогнозування першого дочірнього вузла є внутрішнє прогнозування, блок кольоровості поточного вузла додатково не розбивається. Так, наприклад, третє граничне значення може дорівнювати 16. У цьому випадку блок кольоровості, кількість вибірок кольоровості якого є меншою ніж 16, містить, але не обмежується цим, блок кольоровості 2х2, блок кольоровості 2х4 і блок кольоровості 4х2. Третє граничне значення може дорівнювати 8.
У цьому випадку блок кольоровості, кількість вибірок кольоровості якого є меншою ніж 8, містить, але не обмежується цим, блок кольоровості 2х2.
Зокрема якщо умова 1 або умова 2 є істинною, може бути визначено, що блок кольоровості, кількість вибірок кольоровості якого є меншою, ніж третє граничне значення, утворений бо розбиванням поточного вузла на основі режиму розбивання поточного вузла; в іншому випадку може бути визначено, що в результаті розбивання поточного вузла на основі режиму розбивання поточного вузла не утворюється блок кольоровості, кількість вибірок кольоровості якого є меншою, ніж третє граничне значення: умова 1: добуток ширини і висоти поточного вузла є меншим ніж 128, а режимом розбивання поточного вузла є вертикальне двійкове розбивання або горизонтальне двійкове розбивання; або умова 2: добуток ширини і висоти поточного вузла є меншим ніж 256, а режимом розбивання поточного вузла є вертикальне трійкове розбивання, горизонтальне трійкове розбивання або розбивання дерева квадрантів.
Зокрема у іншому варіанті реалізації, якщо умова З або умова 4 є істинною, може бути визначено, що блок кольоровості, кількість вибірок кольоровості якого є меншою, ніж третє граничне значення, утворений розбиванням поточного вузла на основі режиму розбивання поточного вузла; в іншому випадку може бути визначено, що в результаті розбивання поточного вузла на основі режиму розбивання поточного вузла не утворюється блок кольоровості, кількість вибірок кольоровості якого є меншою, ніж третє граничне значення: умова 3: добуток ширини і висоти поточного вузла дорівнює 64, а режимом розбивання поточного вузла є вертикальне двійкове розбивання, горизонтальне двійкове розбивання, розбивання дерева квадрантів, горизонтальне трійкове розбивання або вертикальне трійкове розбивання; або умова 4: добуток ширини і висоти поточного вузла дорівнює 128, а режимом розбивання поточного вузла є вертикальне трійкове розбивання або горизонтальне трійкове розбивання.
Коли режимом прогнозування першого дочірнього вузла є внутрішнє прогнозування, подібно до першого варіанта здійснення у п'ятому варіанті реалізації може бути визначено, чи утворюється блок кольоровості, висота якого є першим граничним значенням (або блок кольоровості, висота якого є меншою, ніж друге граничне значення), шляхом розбивання поточного вузла на основі режиму розбивання поточного вузла. Якщо визначено, що дочірній вузол, утворений розбиванням поточного вузла, містить блок кольоровості, висота якого є першим граничним значенням (або блок кольоровості, висота якого є меншою, ніж друге граничне значення), і режимом прогнозування першого дочірнього вузла є внутрішнє прогнозування, блок кольоровості поточного вузла додатково не розбивається. Так, наприклад, перше граничне значення може дорівнювати 2, а друге граничне значення може дорівнювати 4.
Якщо блок кольоровості поточного вузла додатково не розбивається, блок кольоровості поточного вузла стає блоком кодування, який містить лише блок кольоровості. Спосіб 1100 може додатково включати отримання інформації прогнозування і/або залишкової інформації блока кольоровості.
У іншому варіанті реалізації на основі режиму розбивання поточного вузла і розміру поточного вузла визначено, що дочірній вузол, утворений розбиванням поточного вузла, містить блок кольоровості, довжина стінки якого є меншою, ніж граничне значення. Якщо режимом прогнозування першого дочірнього вузла є міжкадрове прогнозування, блок кольоровості поточного вузла розбивається на основі режиму розбивання поточного вузла. Необов'язково, інформація про рух відповідного дочірнього вузла блока кольоровості визначається на основі інформації про рух дочірнього вузлу поточного вузла. Так, наприклад, інформація про рух дочірнього вузла блока кольоровості поточного вузла може бути визначена як інформація про рух відповідного вузла яскравості (тобто інформація про рух кожного дочірнього вузлу блока кольоровості не потребує синтаксичного аналізу із бітового потоку). Дочірні вузли блока кольоровості аналізуються з метою отримання залишкової інформації дочірніх вузлів блока кольоровості.
Коли режимом прогнозування першого дочірнього вузла є міжкадрове прогнозування, одна з таких умов є істинною: умова 1: ширина поточного вузла дорівнює збільшеному вдвічі другому граничному значенню, а режимом розбивання поточного вузла є вертикальне двійкове розбивання; умова 2: висота поточного вузла дорівнює збільшеному вдвічі другому граничному значенню, а режимом розбивання поточного вузла є горизонтальне двійкове розбивання; умова 3: ширина поточного вузла дорівнює збільшеному в чотири рази другому граничному значенню, а режимом розбивання поточного вузла є вертикальне трійкове розбивання; умова 4: висота поточного вузла дорівнює збільшеному в чотири рази другому граничному значенню, а режимом розбивання поточного вузла є горизонтальне трійкове розбивання; або умова 5: якщо ширина поточного вузла дорівнює збільшеному вдвічі другому граничному значенню, а режимом розбивання поточного вузла є розбивання дерева квадрантів, блок бо кольоровості поточного вузла додатково не розбивається.
Загалом ширина поточного вузла є шириною блока яскравості, який відповідає поточному вузлу, а висота поточного вузла є висотою блока яскравості, який відповідає поточному вузлу.
У окремому варіанті реалізації, наприклад, друге граничне значення може дорівнювати 4.
У варіанті здійснення 3 режим розбивання блока кольоровості, відповідний режим синтаксичного аналізу інформації прогнозування і відповідний режим синтаксичного аналізу залишкової інформації можуть також бути визначені на основі режиму прогнозування вузла яскравості. Тим самим досягається вища гнучкість. Крім того, коли режимом прогнозування вузла яскравості є внутрішнє прогнозування, блок кольоровості поточного вузла додатково не розбивається, тим самим покращуючи ефективність кодування і декодування кольоровості, зменшуючи максимальну пропускну здатність кодека і полегшуючи реалізацію кодека.
Деякі синтаксичні структури на рівні СО можуть бути представлені в таблиці 1. Якщо поточний вузол додатково не розбивається на дочірні вузли, поточний вузол є блоком кодування, а блок прогнозування блока кодування аналізується згідно з такими синтаксичними структурами. 5Кір Пад є міткою, яка представляє режим пропуску. Коли значення 5Кір Пад дорівнює 1, це означає, що до поточного СУ застосовується режим пропуску; або коли значення 5Кір Пад дорівнює 0, це означає, що до поточного СИ не застосовується режим пропуску. тегде Пад є міткою, яка представляє прямий режим. Коли значення тегде Пад дорівнює 1, це означає, що до поточного СУ застосовується режим злиття; або коли значення тегде Пад дорівнює 0, це означає, що режим злиття не застосовується. си ргед тоде є міткою, яка представляє режим прогнозування блока кодування. Коли значення си ргей тоде дорівнює 1, це означає, що для поточного блока кодування застосовується режим внутрішнього прогнозування; або коли значення си ргейд тоде дорівнює 0, це означає, що для поточного блока кодування застосовується загальний режим міжкадрового прогнозування.
Таблиця 1 -н вкрад./////11111111111111111111111111111111111111111 - нн
ЗЕ нн пр
Деякий синтаксичний аналіз на рівні СО може бути представлений в таблиці 2. Таблиця 2 наведена лише як приклад. В таблиці 2 5Кір Яад має те ж саме значення, що і 5Кір Пад в таблиці 1, а ргеа тоде Пад має те ж саме значення, що і си ргед тоде в таблиці 1. си 5Кір ЯПад є міткою, яка представляє режим пропуску. Коли значення си 5Кір Пад дорівнює 1, це означає, що до поточного СІ застосовується режим пропуску; або коли значення си 5Кір Лад дорівнює 0, це означає, що до поточного С не застосовується режим пропуску. тегде Пад є міткою, яка представляє прямий режим. Коли значення тегде Пад дорівнює 1, це означає, що до поточного СУ застосовується режим злиття; або коли значення тегде Пад дорівнює 0, це означає, що режим злиття не застосовується. ргед тоде Пад є міткою, яка представляє режим прогнозування блока кодування. Коли значення ргей тоде Пйад дорівнює 1, це означає, що для поточного блока прогнозування застосовується режим внутрішнього прогнозування; або коли значення ргей тоде Пйад дорівнює 0, це означає, що для поточного блока прогнозування застосовується загальний режим міжкадрового прогнозування. Якщо значення ргей тоде Пйад дорівнює 1,
СиРгеамоде(|хОПЦУу0| означає МООЕ ІМТКА; або якщо значення ргед тоде Пад дорівнює 0,
СиРгеамоде(|хОЦУдІ| означає МООЕ ІМТЕК.
Таблиця 2 якщойе агоир їуре!- | | | зр їбс епабієд Пад)/ ни о якщо(феетТуре: ОСА ТВЕЕ СНВОМА)ЇГ/::///:2СССССССС777777/7/7/:/84нїї41СссСсСсСсСЙйЙ20 си 5Кір НаоіхОГУО) якщо(си 5Кір ПаоіхОЦУОІ - - 0 88: іє дгойр іуре!- І) ни -нш000000000 нниюІннниннишншшш якщо(СиРгеаМоде(хОЦУО| - - МООЕ, ІМТВА) / ни -ш-ш00 і якщо(гееТуре І- ВОАЇ ТВЕЕ СНВОМА) (/" шИ
МООЕ ІМТЕК або МООЕ ІВС 7/ якщо(си зКір ПаоїхОЦу0| 2 - 0 ши тегде ПаоіхоДУб) -нш000000000 нн пр
Вузол розміром 8хМ (або Мх8) розбивається на два дочірні вузли розміром 4хМ (або Мх4) у режимі вертикального двійкового розбивання (або горизонтального двійкового розбивання).
Подібним чином вузол розміром 1бхМ (або Мх16б) розбивається на чотири дочірні вузли розміром 4хМ (або Мха4) і один дочірній вузол розміром 8хМ (або Мх8) у режимі вертикального розбивання дерева квадрантів (або горизонтального розбивання дерева квадрантів). Подібним чином вузол розміром 16хМ (або Мх16) розбивається у режимі вертикального трійкового розбивання (або горизонтального трійкового розбивання) на дочірні вузли розміром два 4хМ (або Мх4) і один дочірній вузол розміром 8хМ (або Мх8). Для даних у форматі МОМА4:2:0, роздільна здатність компонента кольоровість становить 1/2 від компонента яскравості. Це означає, що вузол 4хМ містить один блок яскравості 4хМ і два блок кольоровості 2х(М/2). Для апаратного декодера витрати на обробку малих блоків (зокрема розміром 2х2, 2х4 і 2х8) є порівняно високими. Однак у цьому режимі розбивання утворюються малі блоки розміром 2х2, 2х4 і подібні, ще є невигідним для реалізації апаратного декодера. Для апаратного декодера складність обробки малих блоків порівняно висока, що зокрема втілюється в таких трьох аспектах. (1) Проблеми при внутрішньому прогнозуванні: у апаратному дизайні для покращення швидкості обробки 16 пікселів зазвичай одночасно обробляються один раз для внутрішнього прогнозування, малий блок розміром 2х2, 2х4, 4х2 тощо містить менше ніж 16 пікселів, зменшуючи продуктивність обробки внутрішнього прогнозування. (2) Проблеми з кодуванням коефіцієнтів: у НЕМС кодування коефіцієнта перетворення базується на групі коефіцієнтів (соейісієпі дгоийр, Со), яка містить 16 коефіцієнтів, а малий блок розміром 2х2, 2х4, 4х2 тощо містить чотири або вісім коефіцієнтів перетворення. Як результат групи коефіцієнтів, які включають чотири коефіцієнти і вісім коефіцієнтів, повинні бути додані для підтримки кодування коефіцієнтів цих малих блоків; отже, складність реалізації збільшується. (3) Проблеми при міжкадровому прогнозуванні: міжкадрове прогнозування на малому блоці підвищує порівняно високі вимоги до пропускної здатності даних, а також впливає на швидкість
Зо обробки декодування.
Коли вузол додатково розбивається на основі режиму розбивання, а один із утворених дочірніх вузлів містить блок кольоровості, довжина сторони якого дорівнює 2, блок яскравості, включений у дочірній вузол, ще раз додатково розбивається у цьому режимі розбивання, а блок кольоровості, включений у дочірній вузол, додатково не розбивається. Цей режим дозволяє
З5 уникнути утворення блока кольоровості довжина сторони якого дорівнює 2, зменшити максимальну пропускну здатність декодера і полегшити реалізацію декодера. Крім того, запропонований спосіб визначення режиму прогнозування блока кольоровості на основі режиму прогнозування блока яскравості, який успішно покращує ефективність кодування.
Спосіб, запропонований у даному винаході, може бути застосований до відеокодека попереднього варіанта здійснення.
Варіант здійснення 4
Цей варіант здійснення стосується режиму розбивання блока у декодуванні відео.
Форматом відеоданих у даному варіанті здійснення є формат ХОМ4:2:0. Подібний режим може бути застосований для даних ХОМ4:2:2.
Крок 1: синтаксичний аналіз режиму розбивання 5 вузла А, де якщо розбивання вузла А продовжується, здійснюють крок 2; або якщо поточний вузол додатково не розбивається на дочірні вузли, поточний вузол відповідає одному блоку кодування, а інформацію про блок кодування отримують через синтаксичний аналіз.
Режимом розбивання вузла А може бути щонайменше один із режимів розбивання дерева квадрантів, режимом вертикального двійкового розбивання, режимом горизонтального двійкового розбивання, режимом вертикального трійкового розбивання і режимом горизонтального трійкового розбивання або може бути іншим режимом розбивання. Режим розбивання вузла А не обмежений даних винаходом. Інформація про режим розбивання поточного вузла може передаватися у бітовому потоці, а режим розбивання поточного вузла може бути одержаний в результаті синтаксичного аналізу відповідного синтаксичного елементу у бітовому потоці. Режим розбивання поточного вузла альтернативно може бути визначений згідно із попередньо заданим правилом і не обмежується даним винаходом.
Крок 2: визначення, чи блок кольоровості щонайменше одного дочірнього вузла В у дочірніх вузлах, отриманий шляхом розбивання вузла А на основі режиму розбивання 5, є малим блоком (або чи ширина, висота і/або режим розбивання вузла А і/або ширина і висота вузла В задовольняють щонайменше одній із умов). Якщо блок кольоровості щонайменше одного дочірнього вузла В у дочірніх вузлах, отриманий шляхом розбивання вузла А, є малим блоком, здійснюють крок 3-6.
Більш конкретно один з таких способів може бути використаний, щоб визначити, чи є блок кольоровості щонайменше одного дочірнього вузла В вузла А підблоком: (1) Якщо блок кольоровості щонайменше одного дочірнього вузла В вузла А має розмір 2х2, 2х4 або 4х2, блок кольоровості щонайменше одного дочірнього вузла В вузла А є малим блоком; (2) якщо ширина або висота блока кольоровості щонайменше одного дочірнього вузла В вузла А дорівнює 2, блок кольоровості щонайменше одного дочірнього вузла В вузла А є малим блоком; (3) якщо вузол А містить 128 вибірок яскравості, а режимом розбивання вузла А є розбивання трійкового дерева або вузол А містить 64 вибірки яскравості, а режимом розбивання вузла А є розбивання двійкового дерева, режим розбивання дерева квадрантів або режим розбивання трійкового дерева, блок кольоровості щонайменше одного дочірнього вузла
В вузла А є малим блоком; (4) якщо вузол А містить 256 вибірок яскравості, а режимом розбивання вузла є режим розбивання трійкового дерева або режим розбивання дерева квадрантів або вузол А містить 128 вибірок яскравості, а режимом розбивання вузла є режим розбивання двійкового дерева, блок кольоровості щонайменше одного дочірнього вузла В вузла А є малим блоком; (5) якщо вузол А містить МІ1 вибірок яскравості, режимом розбивання вузла А є розбивання трійкового дерева, де М1 означає 64, 128 або 256; (6) якщо вузол А містить М2 вибірок яскравості, режимом розбивання вузла А є розбивання дерева квадрантів, де М2 означає 64 або 256; або (7) якщо вузол А містить МЗ вибірок яскравості, режимом розбивання вузла А є розбивання двійкового дерева, де М3 означає 64, 128 або 256.
Слід зазначити, що той факт, що вузол А містить 128 вибірок яскравості, може також бути описаний так: область поточного вузла дорівнює 128 або добуток ширини і висоти вузла А дорівнює 128. Деталі не описані у даному документі.
Крок 3: обмеження здійснення внутрішнього прогнозування або міжкадрового прогнозування в усіх блоках кодування в області охоплення вузла А. Для внутрішнього прогнозування і міжкадрового прогнозування в усіх блоках кодування паралельна обробка для малих блоків може бути реалізована апаратним забезпеченням, тим самим покращуючи продуктивність кодування і декодування.
Для визначення здійснення внутрішнього прогнозування або міжкадрового прогнозування для всіх блоків кодування в області охоплення вузла А може бути використаний один із таких способів.
Спосіб 1: Визначення відбувається на основі мітки у таблиці синтаксичних елементів.
Якщо блок кольоровості щонайменше одного дочірнього вузла В, отриманий шляхом 60 розбивання вузла А на основі режиму розбивання 5, є малим блоком (а блок кольоровості вузла А не є малим блоком), мітка соп5 ргед тоде Пад аналізується з бітового потоку. Коли значення соп5 ргедй тоде Пад дорівнює 0, це означає, що до всіх блоків кодування в області охоплення вузла А застосовується міжкадрове прогнозування; або коли значення соп5 ргед тоде Пад дорівнює 1, це означає, що до всіх блоків кодування в області охоплення вузла А застосовується внутрішнє прогнозування. соп5 ргед тоде йад може бути синтаксичним елементом, який необхідно проаналізувати у процесі розбивання блока. Коли аналізується синтаксичний елемент, си ргед тоде блока кодування в області охоплення вузла
А можна більше не аналізувати, а значення си ргей тоде за замовчуванням є значенням, яке відповідає значенню соп5 ргей тоде Пад.
Слід зазначити, що якщо для дочірнього вузла вузла А може бути застосоване лише внутрішнє режим прогнозування, наприклад, вузол А знаходиться всередині зображення (тобто типом зображення, в якому знаходиться вузол А, є внутрішній тип або І-тип) або вузол А знаходиться всередині зображення, технологія ІВС не застосовується для послідовності, значення соп5 ргед тоде Пад за замовчуванням дорівнює 1, а мітка соп5 ргей тоде Пад не присутня у бітовому потоці. Технологія ІВС може належати до міжкадрового прогнозування або може належати до внутрішнього прогнозування.
Спосіб 2: визначення відбувається на основі режиму прогнозування першого вузла в області вузла А.
Аналізується режим прогнозування першого блока кодування ВО (де режим прогнозування першого блока кодування ВО не обмежений) в області вузла А. Якщо режимом прогнозування
ВО є внутрішнє прогнозування, внутрішнє прогнозування застосовується до всіх блоків кодування в області охоплення вузла А; або якщо режимом прогнозування ВО є міжкадрове прогнозування, міжкадрове прогнозування застосовують до всіх блоків кодування в області охоплення вузла А.
Крок 4: визначення режиму розбивання блока кольоровості і режиму розбивання блока яскравості вузла А на основі режиму прогнозування, використовуваного для блоків кодування в області охоплення вузла А.
Якщо режим внутрішнього прогнозування застосовують для всіх блоків кодування в області охоплення вузла А, блок яскравості вузла А розбивається на основі режиму розбивання 5 з метою отримання вузлів М дерева кодування яскравості; а блок кольоровості вузла А не розбивається і відповідає одному блоку кодування кольоровості (який скорочено називають блоком СВ кольоровості). Вузли М дерева кодування яскравості можуть бути обмежені так, що подальше розбивання не відбувається, або розбивання може бути не обмежене. Якщо відбувається подальше розбивання дочірнього вузла яскравості, режим розбивання дочірнього вузла яскравості аналізується з метою здійснення рекурсивного розбивання. Коли вузол дерева кодування яскравості додатково не розбивається, вузол дерева кодування яскравості відповідає блоку кодування яскравості (який скорочено називають блоком СВ яскравості). Блок перетворення кольоровості, який відповідає блоку СВ кольоровості, і блок кодування кольоровості мають однаковий розмір, а блок прогнозування кольоровості і блок кодування кольоровості також мають однаковий розмір.
Якщо режим міжкадрового прогнозування застосовують для всіх блоків кодування в області охоплення вузла А, блок яскравості і блок кольоровості вузла А додатково розбиваються на вузли М дерева кодування, які містять блок яскравості і блок кольоровості, на основі режиму розбивання 5, а вузли М дерева кодування яскравості можуть додатково розбиватися або не розбиватися і відповідають блокам кодування, які містять блок яскравості і блок кольоровості.
Крок 5: синтаксичний аналіз інформації прогнозування і залишкової інформації СИ, отриманої в результаті розбивання вузла А.
Інформація прогнозування містить режим прогнозування (із зазначенням режиму внутрішнього прогнозування або режиму невнутрішнього прогнозування), режим внутрішнього прогнозування, режим міжкадрового прогнозування, інформацію про рух і тому подібне.
Інформація про рух може включати таку інформацію, як напрямок прогнозування (вперед, назад або двонаправлений), опорний індекс (геїегепсе іпаеєх) і вектор руху (тоїйоп месіог).
Залишкова інформація включає мітку кодованого блока (содеа Біоск ПЯПад, СВЕ), коефіцієнт перетворення, тип перетворення (наприклад, ОСТ-2, 05Т1-7, ЮСТ-6) і тому подібне. Типом перетворення за замовчуванням може бути ОСТ-2.
Якщо введено обмеження, що до кожного СІ, отриманого розбиванням вузла А, може бути застосоване лише внутрішнє прогнозування, синтаксичний аналіз блока прогнозування блока
СВ яскравості, отриманого розбиванням вузла А, включає: 5Кір Пад, тегде Пад і си ргей тоде, відповідні значення яких встановлені як 0, 0 і 1 (це означає, що бітовий потік не містить жодну з 60 5Кір ПЯад, тегде Пад і си ргей тоде), або 5Кір Пад і си ргед тоде за замовчуванням мають відповідні значення 0 і 1 (це означає, що бітовий потік не містить жодну з 5Кір Лад і си ргедй тоде), аналізується інформація про режим внутрішнього прогнозування блока СВ яскравості; синтаксичний аналіз блока прогнозування блока СВ кольоровості, отриманого розбиванням вузла А, включає синтаксичний аналіз режиму внутрішнього прогнозування блока
СВ кольоровості. Методом синтаксичного аналізу режиму внутрішнього прогнозування блока СВ кольоровості може бути: (1) аналіз синтаксичних елементів з бітового потоку з метою отримання режиму внутрішнього прогнозування блока СВ кольоровості; і (2) безпосереднє налаштування режиму внутрішнього прогнозування блока СВ кольоровості на один режим прогнозування з набору режимів внутрішнього прогнозування кольоровості, наприклад, один з таких режимів: крос-компонентний режим лінійної моделі і режим ОМ (спготе аегімед тоде, ОМ) або режим
ІВС.
Якщо введено обмеження, що до кожного СІ, отриманого розбиванням вузла А, може бути застосоване лише міжкадрове прогнозування, синтаксичний аналіз режиму прогнозування блока СИ, отриманого розбиванням вузла А, включає: синтаксичний аналіз 5Кір Пад і/або тегде Пад, встановлення значення си ргей тоде, що дорівнює 0 за замовчуванням, і отримання в результаті синтаксичного аналізу блока міжкадрового прогнозування, такого як індекс злиття (тегде іпаех), напрям міжкадрового прогнозування (іпіег аїг), опорний індекс (гетегепсе іпдех), індекс прогнозування вектора руху (тойоп месіог ргедісіог іпдех) і різниця вектора руху (тоїоп месіог айегепсе). 5Кір Пад є міткою, яка позначає режим пропуску. Коли значення 5Кір Пад дорівнює 1, це означає, що для поточного СО використовується режим пропуску; або коли значення 5Кір Пад дорівнює 0, це означає, що для поточного СО не використовується режим пропуску. тегде Пазд є міткою, яка позначає режим злиття. Коли значення ітегде Пад дорівнює 1, це означає, що для поточного СО використовується режим злиття; або коли значення тегде Пад дорівнює 0, це означає, що не використовується режим злиття. си ргед тоде є міткою, яка позначає режим прогнозування блока кодування. Коли значення си ргей тоде дорівнює 1, це означає, що у поточному блоці прогнозування виконується внутрішнє прогнозування; або коли значення си ргед тоде дорівнює 0, це означає, що у поточному блоці прогнозування виконується загальне міжкадрове прогнозування (така інформація, як напрямок міжкадрового прогнозування, опорний індекс, індекс прогнозування вектора руху та компонент різниці векторів руху, ідентифіковані в бітовому потоці).
Слід зазначити, що в цьому варіанті здійснення режим внутрішнього прогнозування є режимом прогнозування для створення предиктора блока кодування за допомогою просторового опорного пікселя зображення, в якому розташований блок кодування, наприклад, режим постійного струму (аігесії сигтгепі тоде, ОС тоде), площинний режим (Ріапаг тоде) або кутовий режим (апдшаг тоде), або може включати режим порівняння з шаблоном (їетріа(е таїспіпд тоде) і режим ІВС.
Режим міжкадрового прогнозування є режимом прогнозування для створення предиктора блока кодування за допомогою часового опорного пікселя в опорному зображенні блока кодування, наприклад, режим пропуску (Кір тоде), режим злиття (Мегде тоде), режим АМУР (адуапсейд тоїйоп уесіог ргедісійоп) або звичайний міжкадровий режим, або режим ІВС.
Крок 6: декодування кожного СО з метою отримання реконструйованого сигналу блока зображення, який відповідає вузлу А.
Так, наприклад, блок прогнозування С здійснює обробку міжкадрового прогнозування або обробку внутрішнього прогнозування в СІ з метою отримання інтер-прогнозованого зображення або інтра-прогнозованого зображення СИ. Після цього до коефіцієнта перетворення застосовують деквантування і обробку зворотного перетворення, виходячи із залишкової інформації кожного СО з метою отримання залишкового зображення, після чого залишкове зображення накладається на прогнозоване зображення у відповідній області з метою отримання реконструйованого зображення.
Згідно з режимом розбивання, представленим у варіанті здійснення 4, малий блок кольоровості, до якого необхідно застосовувати внутрішнє прогнозування, не утворюється, і тим самим вирішують проблеми внутрішнього прогнозування малих блоків.
Варіант здійснення 5
Крок 1, крок 2, крок З ї крок б у цьому варіанті здійснення відповідають крокам варіанта здійснення 4.
Крок 4: визначення режиму розбивання блока кольоровості і режиму розбивання блока яскравості вузла А.
Блок яскравості вузла А додатково розбивається на основі режиму розбивання 5 з метою 60 отримання вузлів дерева кодування М яскравості. Блок кольоровості вузла А додатково не
Зо розбивається і відповідає одному блоку кодування кольоровості (блок СВ кольоровості). Блок перетворення кольоровості, який відповідає блоку СВ кольоровості, і блок кодування кольоровості мають однаковий розмір. (примітка: порівняно з варіантом здійснення 4 у цьому варіанті здійснення, незважаючи на те, який із режимів прогнозування застосовується: режим міжкадрового прогнозування або режим внутрішнього прогнозування, введено обмеження, що блок кольоровості не розбивається, а блок яскравості завжди розбивається на основі режиму розбивання 5, незважаючи на режим прогнозування для області охоплення вузла А.
Крок 5: синтаксичний аналіз блока прогнозування і залишкової інформації СО, отриманої в результаті розбивання вузла А.
Якщо введено обмеження, що до кожного СО, отриманого розбиванням вузла А, може бути застосоване лише внутрішнє прогнозування, обробка відбувається, як описано у варіанті здійснення 4.
Якщо введено обмеження, що до кожного СІ, отриманого розбиванням вузла А, може бути застосовне лише міжкадрове прогнозування, синтаксичний аналіз режиму прогнозування блока
СВ яскравості, отриманого розбиванням вузла А, включає: синтаксичний аналіз 5Кір Пад і/або тегде МПад, встановлення значення си ргед тоде, що дорівнює 0 за замовчуванням, і отримання в результаті синтаксичного аналізу блока міжкадрового прогнозування, такого як індекс злиття (тегде іпаех), напрям міжкадрового прогнозування (іпіег аїг), опорний індекс (гетегепсе іпдех), індекс прогнозування вектора руху (тойоп месіог ргедісіог іпдех) і різниця вектора руху (тоїйоп месіог айегепсе). Інформація про рух кожного підблока 4х4 у блоці СВ яскравості, походить від блока міжкадрового прогнозування, отриманого в результаті синтаксичного аналізу.
Якщо введено обмеження, що до кожного С), отриманого розбиванням вузла А, може бути застосоване лише міжкадрове прогнозування, блок прогнозування блока СВ кольоровості, отриманий розбиванням вузла А, не потребує синтаксичного аналізу, а блок СВ кольоровості розбивається на підблоки кольоровості 2х2 (де режимом розбивання може бути режим розбивання 5). Інформацією про рух кожного підблока кольоровості 2х2 є інформація про рух області 4х4 яскравості, яка відповідає підблоку кольоровості 2х2.
Відповідно до режиму розбивання, описаного у варіанті здійснення 5, не утворюється ані малий блок кольоровості, до якого необхідно застосовувати внутрішнє прогнозування, ані блок перетворення, який містить менше 16 пікселів. Отже, описані вище проблеми щодо внутрішнього прогнозування і кодування коефіцієнтів, вирішуються у варіанті здійснення 5.
Варіант здійснення 6
Крок 1, крок 2, крок З, крок 4 і крок 6 у цьому варіанті здійснення відповідають крокам варіанта здійснення 5.
Крок 5: синтаксичний аналіз блока прогнозування і залишкової інформації СО, отриманої в результаті розбивання вузла А.
Якщо введено обмеження, що до кожного СІ, отриманого розбиванням вузла А, може бути застосоване лише внутрішнє прогнозування, обробка відбувається, як описано у варіанті здійснення 5.
Якщо введено обмеження, що до кожного С, отриманого розбиванням вузла А, може бути застосоване лише міжкадрове прогнозування, синтаксичний аналіз блока прогнозування блока
СВ яскравості, отриманого розбиванням вузла А, відбувається, як описано у варіанті здійснення 5.
Якщо введено обмеження, що до кожного С), отриманого розбиванням вузла А, може бути застосоване лише міжкадрове прогнозування, немає потреби здійсненні синтаксичного аналізу блока прогнозування блока СВ кольоровості, отриманого розбиванням вузла А, блок прогнозування кольоровості і блок кодування кольоровості мають однаковий розмір, а інформація про рух блока СВ кольоровості є інформацією про рух для спеціальної попередньо заданої позиції в області яскравості, яка відповідає блоку СВ кольоровості (наприклад, центр, нижній правий кут або верхній лівий кут області яскравості).
Відповідно до режиму розбивання, описаного у варіанті здійснення 6, не утворюється ані малий блок кольоровості, до якого необхідно застосовувати внутрішнє прогнозування, ані блок перетворення малого блока, ані малий блок кольоровості, до якого необхідно застосовувати міжкадрове прогнозування.
Варіант здійснення 7
Крок 1: крок 1 відповідає кроку 1 варіанта здійснення 4.
Крок 2: визначення, чи є блок яскравості щонайменше одного дочірнього блока В у дочірніх вузлах, отриманих розбиванням вузла А на основі режиму розбивання 5, блоком яскравості 4х4 60 (чи ширина, висота і/або режим розбивання вузла А і/або ширина і висота вузла В задовольняють щонайменше одній із умов у випадку 1).
Якщо розмір (тобто ширина і висота) вузла А і/або режим розбивання 5 задовольняють/задовольняє щонайменше одній умові у випадку 1, вводиться обмеження, що до всіх блоків кодування в області охоплення вузла А застосовується внутрішнє прогнозування; в іншому випадку визначається, чи є блок кольоровості щонайменше одного дочірнього вузла В у дочірніх вузлах, отриманих розбиванням вузла А на основі режиму розбивання 5, малим блоком (чи розмір і/або режим розбивання 5 вузла А і/або ширина і висота вузла В задовольняють щонайменше одній із умов у випадку 2), якщо так, то здійснюються кроки 3-6.
Нижче наведені два випадки для способу визначення, чи є блок кольоровості щонайменше одного дочірнього вузла В вузла А малим блоком.
Випадок 1:
Якщо одна або декілька з таких попередньо заданих умов є істинними, вузол А розбивається на основі режиму розбивання 5 з метою отримання блока яскравості 4х4: (1) вузол А містить МІ! пікселів, а режимом розбивання вузла А є розбивання дерева квадрантів. Так, наприклад, М1 дорівнює 64; (2) вузол А містить М2 пікселів, а режимом розбивання вузла А є розбивання трійкового дерева. Так, наприклад, М2 дорівнює 64; (3) вузол А містить М3 пікселів, а режимом розбивання вузла А є розбивання двійкового дерева. Так, наприклад, МЗ дорівнює 32; (4) ширина вузла А дорівнює збільшеному в чотири рази другому граничному значенню, висота вузла А дорівнює другому граничному значенню, а режимом розбивання вузла А є вертикальне розбивання трійкового дерева; (5) ширина вузла А дорівнює другому граничному значенню, висота вузла А дорівнює збільшеному в чотири рази другому граничному значенню, а режимом розбивання вузла А є горизонтальне розбивання трійкового дерева; (б) ширина вузла А дорівнює збільшеному вдвічі другому граничному значенню, висота вузла А дорівнює другому граничному значенню, а режимом розбивання поточного вузла є вертикальне розбивання двійкового дерева; (7) висота вузла А дорівнює збільшеному вдвічі другому граничному значенню, ширина вузла А дорівнює другому граничному значенню, а режимом розбивання поточного вузла є горизонтальне двійкове розбивання; або (8) ширина і/або висота вузла А дорівнює/дорівнюють збільшеному вдвічі другому граничному значенню, а режимом розбивання вузла А є розбивання дерева квадрантів. (0286) Розміром може бути ширина і висота області зображення, яка відповідає вузлу А, або кількість вибірок яскравості, включених в область зображення, яка відповідає вузлу А, або зона області зображення, яка відповідає вузлу А.
Загалом шириною поточного вузла є ширина блока яскравості, який відповідає поточному вузлу, а висотою поточного вузла є висота блока яскравості, який відповідає поточному вузлу.
У особливому варіанті реалізації, наприклад, друге граничне значення може дорівнювати 4.
Випадок 2: (1) блок кольоровості щонайменше одного дочірнього вузла В вузла А має розмір 2х4 або 4хг; (2) ширина або висота блока кольоровості щонайменше одного дочірнього вузла В вузла А дорівнює 2; (3) вузол А містить 128 вибірок яскравості, а режимом розбивання вузла А є розбивання трійкового дерева, або вузол А містить 64 вибірки яскравості, а режимом розбивання вузла А є розбивання двійкового дерева, розбивання дерева квадрантів або розбивання трійкового дерева; (4) вузол А містить 256 вибірок яскравості, а режимом розбивання вузла А є розбивання трійкового дерева або розбивання дерева квадрантів, або вузол А містить 128 вибірок яскравості, а режимом розбивання вузла А є розбивання двійкового дерева; (5) вузол А містить М1 вибірок яскравості, режимом розбивання вузла А є розбивання трійкового дерева, де М1 означає 64, 128 або 256; (б) вузол А містить М2 вибірок яскравості, режимом розбивання вузла А є розбивання дерева квадрантів, де М2 означає 64 або 256; або (7) вузол А містить М3З вибірок яскравості, режимом розбивання вузла А є розбивання двійкового дерева, де М3 означає 64, 128 або 256.
Слід зазначити, що той факт, що вузол А містить 128 вибірок яскравості, може також бути описаний так: область поточного вузла дорівнює 128 або добуток ширини і висоти вузла А 60 дорівнює 128. Деталі не описані у даному документі.
Крок З: крок З відповідає кроку З варіанта здійснення 4.
Крок 4: визначення режиму розбивання блока кольоровості і режиму розбивання блока яскравості вузла А на основі режиму прогнозування, використовуваного для блоків кодування в області охоплення вузла А.
Якщо режим міжкадрового прогнозування застосовують для всіх блоків кодування в області охоплення вузла А, блок яскравості і блок кольоровості вузла А розбиваються на основі режиму розбивання 5 з метою отримання дочірніх вузлів вузла А і/або дочірніх вузлів в області охоплення вузла А. Якщо на основі режиму розбивання дочірнього вузла вузла А і/або дочірнього вузла в області охоплення вузла А утворюється блок яскравості 4х4, режим розбивання дочірнього вузла не дозволяється або подальше розбивання дочірнього вузла забороняється. Якщо, наприклад, вузол А має розмір 8х8 і в результаті розбивання вузла А в режимі горизонтального розбивання двійкового дерева (або вертикального розбивання двійкового дерева) утворюються два вузли 8х4 (або два вузли 4х8), вузли 8х4 (або 4х8) додатково розбиваються на блок 4х4; у цьому випадку розбивання вузла 8х4 (або 4х8) не дозволяється.
Якщо режим внутрішнього прогнозування застосовують для всіх блоків кодування в області охоплення вузла А, для реалізації способів можуть бути використані способи варіантів здійснення 4, 5, і 6, однак деталі знову не описані у даному документі. Так, наприклад, блок яскравості вузла А розбивається, а блок кольоровості вузла А не розбивається.
Крок 5: синтаксичний аналіз блока прогнозування і залишкової інформації СИ, отриманої в результаті розбивання вузла А.
Цей крок відповідає кроку 5 варіанта здійснення 4, однак деталі знову не описані у даному документі.
Крок 6: декодування кожного СО з метою отримання реконструйованого сигналу блока зображення, який відповідає вузлу А.
Крок б може бути здійснений відповідно до кроку б варіанта здійснення 4, тому він додатково не описаний.
Варіант здійснення 8
Крок 1: крок 1 відповідає кроку 1 варіанта здійснення 4.
Крок 2: визначення, чи є блок яскравості щонайменше одного дочірнього блока В у дочірніх вузлах, отриманих розбиванням вузла А на основі режиму розбивання 5, блоком яскравості 4х4 (чи ширина, висота і/або режим розбивання вузла А і/або ширина і висота вузла В задовольняють щонайменше одній із умов у випадку 1). Якщо розмір (тобто ширина і висота) вузла А і/або режим розбивання 5 задовольняють/'задовольняє щонайменше одній умові у випадку 1, вводиться обмеження, що до всіх блоків кодування в області охоплення вузла А застосовується внутрішнє прогнозування; або визначається, чи є блок кольоровості щонайменше одного дочірнього вузла В у дочірніх вузлах, отриманих розбиванням вузла А на основі режиму розбивання 5, малим блоком (чи розмір ілабо режим розбивання 5 вузла А і/або ширина і висота вузла В задовольняють щонайменше одній із умов у випадку 2), якщо так, то здійснюються кроки 3-6.
Нижче наведені два випадки для способу визначення, чи є блок кольоровості щонайменше одного дочірнього вузла В вузла А малим блоком.
Випадок 1:
Якщо одна або декілька з таких попередньо заданих умов є істинними, вузол А розбивається на основі режиму розбивання 5 з метою отримання блока яскравості 4х4: (1) вузол А містить МІ! пікселів, а режимом розбивання вузла А є розбивання дерева квадрантів. Так, наприклад, М1 дорівнює 64; (2) вузол А містить М2 пікселів, а режимом розбивання вузла А є розбивання трійкового дерева. Так, наприклад, М2 дорівнює 128; (3) вузол А містить М3 пікселів, а режимом розбивання вузла А є розбивання двійкового дерева. Так, наприклад, МЗ дорівнює 32; (4) ширина вузла А дорівнює збільшеному в чотири рази другому граничному значенню, висота вузла А дорівнює другому граничному значенню, а режимом розбивання вузла А є вертикальне розбивання трійкового дерева; (5) ширина вузла А дорівнює другому граничному значенню, висота вузла А дорівнює збільшеному в чотири рази другому граничному значенню, а режимом розбивання вузла А є горизонтальне розбивання трійкового дерева; (б) ширина вузла А дорівнює збільшеному вдвічі другому граничному значенню, висота вузла А дорівнює другому граничному значенню, а режимом розбивання поточного вузла є бо вертикальне розбивання двійкового дерева;
(7) висота вузла А дорівнює збільшеному вдвічі другому граничному значенню, ширина вузла А дорівнює другому граничному значенню, а режимом розбивання поточного вузла є горизонтальне двійкове розбивання; або (8) ширина і/або висота вузла А дорівнює/дорівнюють збільшеному вдвічі другому граничному значенню, а режимом розбивання вузла А є розбивання дерева квадрантів.
Розміром може бути ширина і висота області зображення, яка відповідає вузлу А, або кількість вибірок яскравості, включених в область зображення, яка відповідає вузлу А, або зона області зображення, яка відповідає вузлу А.
Загалом шириною поточного вузла є ширина блока яскравості, який відповідає поточному вузлу, а висотою поточного вузла є висота блока яскравості, який відповідає поточному вузлу.
У особливому варіанті реалізації, наприклад, друге граничне значення може дорівнювати 4.
Випадок 2: (1) блок кольоровості щонайменше одного дочірнього вузла В вузла А має розмір 2х4 або 4хг; (2) ширина або висота блока кольоровості щонайменше одного дочірнього вузла В вузла А дорівнює 2; (3) вузол А містить 128 вибірок яскравості, а режимом розбивання вузла А є розбивання трійкового дерева, або вузол А містить 64 вибірки яскравості, а режимом розбивання вузла А є розбивання двійкового дерева, розбивання дерева квадрантів або розбивання трійкового дерева; (4) вузол А містить 256 вибірок яскравості, а режимом розбивання вузла А є розбивання трійкового дерева або розбивання дерева квадрантів, або вузол А містить 128 вибірок яскравості, а режимом розбивання вузла А є розбивання двійкового дерева; (5) вузол А містить М1 вибірок яскравості, режимом розбивання вузла А є розбивання трійкового дерева, де М1 означає 64, 128 або 256; (б) вузол А містить М2 вибірок яскравості, режимом розбивання вузла А є розбивання дерева квадрантів, де М2 означає 64 або 256; або (7) вузол А містить М3З вибірок яскравості, режимом розбивання вузла А є розбивання двійкового дерева, де М3 означає 64, 128 або 256.
Слід зазначити, що той факт, що вузол А містить 128 вибірок яскравості, може також бути описаний так: область поточного вузла дорівнює 128 або добуток ширини і висоти вузла А дорівнює 128. Деталі не описані у даному документі.
Крок 3: крок З відповідає кроку З варіанта здійснення 4.
Крок 4: визначення режиму розбивання блока кольоровості і режиму розбивання блока яскравості вузла А на основі режиму прогнозування, використовуваного для блоків кодування в області охоплення вузла А.
Якщо режим міжкадрового прогнозування застосовують для всіх блоків кодування в області охоплення вузла А, блок яскравості і блок кольоровості вузла А розбиваються на основі режиму розбивання 5 з метою отримання дочірніх вузлів вузла А і/або дочірніх вузлів в області охоплення вузла А. Якщо на основі режиму розбивання дочірнього вузла вузла А і/або дочірнього вузла в області охоплення вузла А утворюється блок яскравості 4х4, режим розбивання дочірнього вузла не дозволяється або подальше розбивання дочірнього вузла забороняється. Якщо, наприклад, вузол А має розмір 8х8 і в результаті розбивання вузла А в режимі горизонтального розбивання двійкового дерева (або вертикального розбивання двійкового дерева) утворюються два вузли 8х4 (або два вузли 4х8), вузли 8х4 (або 4х8) додатково розбиваються на блок 4х4; у цьому випадку розбивання вузла 8х4 (або 4х8) не дозволяється.
Якщо режим внутрішнього прогнозування застосовують для всіх блоків кодування в області охоплення вузла А, для реалізації способів можуть бути використані способи варіантів здійснення 4, 5, і 6, однак деталі знову не описані у даному документі. Так, наприклад, блок яскравості вузла А розбивається, а блок кольоровості вузла А не розбивається.
Крок 5: синтаксичний аналіз блока прогнозування і залишкової інформації СИ, отриманої в результаті розбивання вузла А.
Цей крок відповідає кроку 5 варіанта здійснення 4, однак деталі знову не описані у даному документі.
Крок 6: декодування кожного СО з метою отримання реконструйованого сигналу блока зображення, який відповідає вузлу А.
Крок б може бути здійснений відповідно до кроку б варіанта здійснення 4, тому він додатково не описаний. 60 Варіант здійснення 9
Якщо поточна область розбита один раз з метою отримання блока яскравості 4х4 (наприклад, 64 вибірки яскравості розбиваються в режимі ОТ або 128 вибірок яскравості розбиваються в режимі ТТ), введено обмеження, що за замовчуванням до поточної області може бути застосований лише інтра-режим; у протилежному випадку використовується мітка, яка вказує на те, що для поточної області може бути використаний лише інтер-режим або лише інтра-режим.
Якщо введено обмеження, що для поточної області може бути використаний лише інтер- режим, блоки яскравості і кольоровості розбиваються спільно. Якщо вузол у поточній області розбивається з метою отримання блока яскравості 4х4, таке розбивання не дозволяється.
Наприклад, якщо поточний вузол має розмір 8х8 і розбивається у режимі НВТ (або МВТ), щоб сформувати два вузли розміром 8х4. Якщо ці вузли продовжують розбиватися з метою отримання СИ 4х4, то подальше розбивання вузлів розміром 8х4 заборонене.
Якщо введено обмеження, що для області може бути використаний лише інтер-режим, ця реалізація відповідає вихідній реалізації (блок яскравості розбивається, а блок кольоровості не розбивається).
Цей варіант здійснення даного винаходу пропонує спосіб розбивання блоків з метою уникнення випадків, коли режим внутрішнього прогнозування застосовують для блока кольоровості порівняно невеликого розміру, а також з метою полегшення конвеєрної обробки апаратними засобами і реалізації декодера. Крім того у міжкадровому прогнозуванні процеси синтаксичного аналізу синтаксичних елементів для деяких режимів прогнозування можуть бути пропущені, що дозволяє зменшити складність кодування.
Отже, у такий спосіб вирішуються проблеми з коефіцієнтним кодуванням і зменшується складність кодування.
Способом розбивання блока може бути такий спосіб:
Синтаксичний аналіз режиму розбивання вузла А.
Визначення, чи блок кольоровості щонайменше одного дочірнього вузла В в результаті розбивання вузла А на основі режиму розбивання 5 отриманий у вигляді малого блока. (Визначення, чи ширина, висота і/або режим розбивання вузла А і/або ширина і висота вузла В задовольняють щонайменше одній із описаних вище умов).
Якщо визначено, що блок кольоровості щонайменше одного дочірнього вузла В в результаті розбивання вузла А на основі режиму розбивання 5 отриманий у вигляді малого блока, до всіх блоків кодування в області охоплення вузла А застосовується режим внутрішнього прогнозування або режим міжкадрового прогнозування.
Визначення, чи необхідно продовжувати розбивання блока кольоровості і блока яскравості вузла А.
Якщо до всіх блоків кодування в області охоплення вузла А застосовують внутрішнє прогнозування, блок яскравості вузла А продовжує розбиватися на основі режиму розбивання 5, а блок кольоровості вузла А додатково не розбивається. Якщо до всіх блоків кодування в області охоплення вузла А застосовують міжкадрове прогнозування, блок яскравості і блок кольоровості вузла А продовжують розбиватися на основі режиму розбивання 5 на вузли М дерева кодування, включаючи блок яскравості і блок кольоровості.
Блок яскравості вузла А продовжує розбиватися на основі режиму розбивання 5, а блок кольоровості вузла А додатково не розбивається. Блок перетворення кольоровості і блок кодування кольоровості мають однаковий розмір.
Коли до всіх блоків кодування в області охоплення вузла А застосовують внутрішнє прогнозування, блок прогнозування кольоровості і блок кодування кольоровості мають однаковий розмір; або коли до всіх блоків кодування в області охоплення вузла А застосовують міжкадрове прогнозування, блок прогнозування кольоровості розбивається на підблоки (де підблоки є меншими, ніж блок кодування кольоровості), а вектор руху кожного підблока є вектором руху в області яскравості, яка відповідає підблоку.
Блок яскравості вузла А додатково розбивається на основі режиму розбивання 5. Блок кольоровості вузла А додатково не розбивається. Блок перетворення кольоровості, який відповідає блоку кодування кольоровості, і блок кодування кольоровості мають однаковий розмір, блок прогнозування кольоровості і блок кодування кольоровості мають однаковий розмір, а інформація про рух блока СВ кольоровості є інформацією про рух для спеціальної попередньо заданої позиції в області яскравості, яка відповідає блоку СВ кольоровості.
Так, наприклад, слід розуміти, що розкритий зміст з посиланням на описаний спосіб може також стосуватися і відповідного пристрою або системи, виконаних з можливістю здійснення способу, і навпаки. Так, наприклад, якщо описаний один або декілька конкретних кроків способу, 60 відповідний пристрій може містити один або декілька блоків, таких як функціональні блоки для здійснення описаних одного або декількох кроків способу (наприклад, один блок для здійснення одного або декількох кроків; або множина блоків, кожен з яких призначений для здійснення одного або декількох із множини кроків), навіть якщо один або декілька таких блоків явно не описані або не проілюстровані на доданих кресленнях. Крім того, наприклад, якщо конкретний пристрій описаний на основі одного або декількох блоків, таких як функціональні блоки, відповідний спосіб може включати один крок для використання функціональних можливостей одного або декількох блоків (наприклад, один крок для використання функціональних можливостей одного або декількох блоків, або множину кроків, кожен з яких призначений для використання функціональних можливостей одного або декількох із множини блоків), навіть якщо один або декілька таких кроків явно не описані або не проілюстровані на доданих кресленнях. Крім того, слід розуміти, що ознаки прикладів варіантів здійснення і/або аспектів, описаних у даному винаході, можуть бути поєднані між собою, якщо не зазначено нічого іншого.
В одному або декількох прикладах описані функції можуть бути реалізовані апаратними засобами, програмним забезпеченням, вбудованими програмами або будь-якою їхньою комбінацією. Якщо ці функції реалізовані програмним забезпеченням, вони можуть бути збережені або передані у вигляді однієї або декількох команд або коду на машинозчитуваному носії даних і можуть бути виконані апаратним процесором. Машинозчитуваний носій даних може містити машинозчитуване сховище інформації, яке відповідає матеріальному носію, такому як засоби зберігання даних, або каналу передачі даних, включаючи будь-який носій, який полегшує перенесення комп'ютерної програми з одного місця в інше, наприклад, згідно з протоколом зв'язку. Отже, машинозчитуваний носій даних, як правило, може відповідати (1) матеріальному машинозчитуваному носію даних, призначеному для тривалого зберігання інформації, або (2) каналу передачі даних, такому як звичайний сигнал або електромагнітний сигнал передачі інформації. Носієм для зберігання даних може бути будь-який доступний носій, до якого може отримати доступ один або декілька комп'ютерів або один або декілька процесорів для вилучення команд, коду або структур даних для здійснення способів, описаних у даному винаході. Комп'ютерний програмний продукт може містити машинозчитуваний носій даних.
Як приклад, а не як обмеження, такі машинозчитувані носії даних можуть містити КАМ,
ВОМ, ЕЕРВОМ, СО-КОМ або інший запам'ятовувальний пристрій на оптичному диску, запам'ятовувальний пристрій на магнітному диску, інші магнітні запам'ятовувальні пристрої, флеш-пам'ять або будь-який інший носій, який може бути використаний для зберігання бажаного програмного коду у вигляді команд або структур даних і до якого може отримати доступ комп'ютер. Крім того, будь-який належним чином виконаний зв'язок також називають машинозчитуваним носієм даних. Так, наприклад, якщо команди передаються з веб-сайту, сервера або іншого віддаленого джерела за допомогою коаксіального кабелю, волоконно- оптичного кабелю, крученої пари, цифрової абонентської лінії (аідйа! зиБб5сгібег пе, О5І) або бездротових технологій, таких як інфрачервоне випромінювання, радіо і мікрохвильове випромінювання, тоді коаксіальний кабель, волоконно-оптичний кабель, кручена пара, О5І. або бездротові технології, такі як інфрачервоне випромінювання, радіо і мікрохвильове випромінювання, включені у визначення середовища. Однак, слід розуміти, що машинозчитувані носії даних і сховища даних не включають з'єднання, несучі хвилі, сигнали або інші перехідні носії, а натомість спрямовані на неперехідні, матеріальні носії даних. Диск у даному контексті включає компакт-диск (сотрасі аізс, СО), лазерний диск, оптичний диск, цифровий універсальний диск (аїдіїа! мегзаце аїзс, ОМО), дискету і диск Віи-гау. Певні диски (аізкК5) зазвичай відтворюють дані магнітно, у той час як інші диски (аі5с5) відтворюють дані оптично за допомогою лазерів. Комбінації згаданих вище носіїв також повинні бути включені до обсягу машинозчитуваних носіїв даних.
Команди можуть виконуватися одним або декількома процесорами, такими як один або декілька процесорів цифрових сигналів (діднйа! відпаі! ргосеззог, ЮО5Р), мікропроцесори загального призначення, спеціалізовані інтегральні мікросхеми (арріїсайоп 5ресійс іпіедгасейд сігсий, АБІС), здатні до програмування логічні інтегральні схеми (Пе ргодгаттаріе Іодіс агтау,
ЕРОСА) або інші еквівалентні інтегральні або дискретні логічні схеми. Отже, термін "процесор", використовуваний у даному документі, може стосуватися будь-якої із попередніх структур або будь-якої іншої структури, придатної для реалізації способів, описаних у даному винаході. Крім того, у деяких аспектах функціональні можливості, описані у даному винаході, можуть бути забезпечені у спеціалізованих апаратних і/або програмних модулях, сконфігурованих для кодування і декодування або включених до комбінованого кодека. Крім того, способи можуть бути повністю реалізовані в одній або декількох схемах або логічних елементах.
Способи згідно з даним винаходом можуть бути реалізовані у широкому діапазоні пристроїв 60 або апаратів, включаючи бездротовий телефон, інтегральну схему (іпіедгаїей сігсий, ІС) або набір ІС (наприклад, набір мікросхем). Різні компоненти, модулі або блоки описані в даному винаході, щоб підкреслити функціональні аспекти пристроїв, сконфігурованих для виконання описаних способів, але не обов'язково вимагають реалізації різними апаратними блоками.
Швидше, як описано вище, різні блоки можуть бути об'єднані в апаратний блок кодека або забезпечені сукупністю взаємодіючих апаратних блоків, включаючи один або декілька процесорів, як описано вище, разом із відповідним програмним забезпеченням і/або апаратно- програмними засобами.
Claims (27)
1. Спосіб розбивання зображення, який включає: визначення режиму розбивання поточного вузла, який містить блок яскравості і блок кольоровості; визначення на основі режиму розбивання поточного вузла і розміру поточного вузла того, що блок кольоровості поточного вузла додатково не розбивається; і розбивання блока яскравості поточного вузла на основі режиму розбивання поточного вузла; де блок кольоровості поточного вузла додатково не розбивається відповідно до одного або більше визначень, взятих із такої групи: ширина поточного вузла дорівнює збільшеному вдвічі граничному значенню, а режимом розбивання поточного вузла є вертикальне двійкове розбивання, висота поточного вузла дорівнює збільшеному вдвічі граничному значенню, а режимом розбивання поточного вузла є горизонтальне двійкове розбивання, ширина поточного вузла дорівнює збільшеному в чотири рази граничному значенню, а режимом розбивання поточного вузла є вертикальне трійкове розбивання, висота поточного вузла дорівнює збільшеному в чотири рази граничному значенню, а режимом розбивання поточного вузла є горизонтальне трійкове розбивання, і ширина поточного вузла дорівнює збільшеному вдвічі граничному значенню, а режимом розбивання поточного вузла є розбивання дерева квадрантів.
2. Спосіб за п. 1, який відрізняється тим, що блок кольоровості поточного вузла додатково не розбивається відповідно до визначення на основі режиму розбивання поточного вузла і розміру Зо поточного вузла того, що дочірній вузол, утворений в результаті розбивання поточного вузла, містить дочірній блок кольоровості, довжина сторони якого є меншою, ніж граничне значення.
3. Спосіб за п. 1, який відрізняється тим, що блок кольоровості поточного вузла додатково не розбивається відповідно до визначення на основі режиму розбивання поточного вузла і розміру поточного вузла того, що дочірній вузол, утворений в результаті розбивання поточного вузла, містить дочірній блок кольоровості, розмір якого є меншим ніж 16.
4. Спосіб за п. 1, який відрізняється тим, що граничне значення дорівнює 4.
5. Спосіб за п. 1, який відрізняється тим, що те, чи необхідно розбивати блок кольоровості поточного вузла, визначається на основі режиму розбивання поточного вузла, розміру поточного вузла й ідентифікатора режиму прогнозування вузла.
6. Спосіб за п. 1, який відрізняється тим, що поточний вузол належить до І-зрізу, і де блок кольоровості поточного вузла додатково не розбивається відповідно до одного або більше визначень, взятих із такої групи: добуток ширини і висоти поточного вузла дорівнює 64, а режимом розбивання поточного вузла є розбивання двійкового дерева, і добуток ширини і висоти поточного вузла дорівнює 128, а режимом розбивання поточного вузла є розбивання трійкового дерева.
7. Спосіб за п. 1, який відрізняється тим, що поточний вузол належить до Р- або В-зрізу, і де блок кольоровості поточного вузла додатково не розбивається відповідно до одного або більше визначень, взятих із такої групи: добуток ширини і висоти поточного вузла дорівнює 64, а режимом розбивання поточного вузла є розбивання двійкового дерева, і добуток ширини і висоти поточного вузла дорівнює 128, режимом розбивання поточного вузла є розбивання трійкового дерева, а ідентифікатор режиму прогнозування вузла вказує, що до блока кодування, отриманого в результаті розбивання поточного вузла, не застосовується міжкадрове прогнозування.
8. Спосіб за п. 1, який відрізняється тим, що блок кольоровості поточного вузла додатково не розбивається відповідно до одного або більше визначень, взятих із такої групи: добуток ширини і висоти поточного вузла є меншим ніж 128, а режимом розбивання поточного вузла є вертикальне двійкове розбивання або горизонтальне двійкове розбивання; добуток ширини і висоти поточного вузла є меншим ніж 256, а режимом розбивання поточного вузла є вертикальне трійкове розбивання, горизонтальне трійкове розбивання або розбивання 60 дерева квадрантів;
добуток ширини і висоти поточного вузла дорівнює 64, а режимом розбивання поточного вузла є вертикальне двійкове розбивання, горизонтальне двійкове розбивання, розбивання дерева квадрантів, горизонтальне трійкове розбивання або вертикальне трійкове розбивання; і добуток ширини і висоти поточного вузла дорівнює 128, а режимом розбивання поточного вузла є вертикальне трійкове розбивання або горизонтальне трійкове розбивання.
9. Спосіб за п. 1, який відрізняється тим, що блок кольоровості поточного вузла додатково не розбивається відповідно до визначення на основі формату даних поточного вузла, режиму розбивання поточного вузла і розміру поточного вузла того, чи блок кольоровості поточного вузла додатково розбивається, при цьому форматом даних поточного вузла є ХМ4:2:0 або
ММА.
10. Пристрій кодування відеопотоку, який містить: енергонезалежний машинозчитуваний носій даних, який зберігає команди; і один або більше процесорів, які взаємодіють з носієм і при виконанні команд виконані з можливістю: визначення режиму розбивання поточного вузла, який містить блок яскравості і блок кольоровості; визначення на основі режиму розбивання поточного вузла і розміру поточного вузла того, що блок кольоровості поточного вузла додатково не розбивається; і розбивання блока яскравості поточного вузла на основі режиму розбивання поточного вузла; де блок кольоровості поточного вузла додатково не розбивається відповідно до одного або більше визначень, взятих із такої групи: ширина поточного вузла дорівнює збільшеному вдвічі граничному значенню, а режимом розбивання поточного вузла є вертикальне двійкове розбивання, висота поточного вузла дорівнює збільшеному вдвічі граничному значенню, а режимом розбивання поточного вузла є горизонтальне двійкове розбивання, ширина поточного вузла дорівнює збільшеному в чотири рази граничному значенню, а режимом розбивання поточного вузла є вертикальне трійкове розбивання, висота поточного вузла дорівнює збільшеному в чотири рази граничному значенню, а режимом розбивання поточного вузла є горизонтальне трійкове розбивання, і ширина поточного вузла дорівнює збільшеному вдвічі граничному значенню, а режимом розбивання поточного вузла є розбивання дерева квадрантів.
11. Пристрій за п. 10, який відрізняється тим, що блок кольоровості поточного вузла додатково не розбивається відповідно до визначення на основі режиму розбивання поточного вузла і розміру поточного вузла того, що дочірній вузол, утворений в результаті розбивання поточного вузла, містить дочірній блок кольоровості, довжина сторони якого є меншою, ніж граничне значення.
12. Пристрій за п. 10, який відрізняється тим, що блок кольоровості поточного вузла додатково не розбивається відповідно до визначення на основі режиму розбивання поточного вузла і розміру поточного вузла того, що дочірній вузол, утворений в результаті розбивання поточного вузла, містить дочірній блок кольоровості, розмір якого є меншим ніж 16.
13. Пристрій за п. 10, який відрізняється тим, що граничне значення дорівнює 4.
14. Пристрій за п. 10, який відрізняється тим, що те, чи необхідно розбивати блок кольоровості поточного вузла, визначається на основі режиму розбивання поточного вузла, розміру поточного вузла й ідентифікатора режиму прогнозування вузла.
15. Пристрій за п. 10, який відрізняється тим, що поточний вузол належить до І-зрізу, і де блок кольоровості поточного вузла додатково не розбивається відповідно до одного або більше визначень, взятих із такої групи: добуток ширини і висоти поточного вузла дорівнює 64, а режимом розбивання поточного вузла є розбивання двійкового дерева, і добуток ширини і висоти поточного вузла дорівнює 128, а режимом розбивання поточного вузла є розбивання трійкового дерева.
16. Пристрій за п. 10, який відрізняється тим, що поточний вузол належить до Р- або В-зрізу, і де блок кольоровості поточного вузла додатково не розбивається відповідно до одного або більше визначень, взятих із такої групи: добуток ширини і висоти поточного вузла дорівнює 64, а режимом розбивання поточного вузла є розбивання двійкового дерева, і добуток ширини і висоти поточного вузла дорівнює 128, режимом розбивання поточного вузла є розбивання трійкового дерева, а ідентифікатор режиму прогнозування вузла вказує, що до блока кодування, отриманого в результаті розбивання поточного вузла, не застосовується міжкадрове прогнозування.
17. Пристрій за п. 10, який відрізняється тим, що блок кольоровості поточного вузла додатково не розбивається відповідно до одного або більше визначень, взятих із такої групи:
добуток ширини і висоти поточного вузла є меншим ніж 128, а режимом розбивання поточного вузла є вертикальне двійкове розбивання або горизонтальне двійкове розбивання; або добуток ширини і висоти поточного вузла є меншим ніж 256, а режимом розбивання поточного вузла є вертикальне трійкове розбивання, горизонтальне трійкове розбивання або розбивання дерева квадрантів; добуток ширини і висоти поточного вузла дорівнює 64, а режимом розбивання поточного вузла є вертикальне двійкове розбивання, горизонтальне двійкове розбивання, розбивання дерева квадрантів, горизонтальне трійкове розбивання або вертикальне трійкове розбивання; і добуток ширини і висоти поточного вузла дорівнює 128, а режимом розбивання поточного вузла є вертикальне трійкове розбивання або горизонтальне трійкове розбивання.
18. Пристрій за п. 10, який відрізняється тим, що блок кольоровості поточного вузла додатково не розбивається відповідно до визначення на основі формату даних поточного вузла, режиму розбивання поточного вузла і розміру поточного вузла того, чи блок кольоровості поточного вузла додатково розбивається, при цьому форматом даних поточного вузла є ХМ4:2:0 або Умас2:2.
19. Енергонезалежний машинозчитуваний носій даних, який містить бітовий потік, декодований шляхом виконання операцій: визначення режиму розбивання поточного вузла, який містить блок яскравості і блок кольоровості; визначення на основі режиму розбивання поточного вузла і розміру поточного вузла того, що блок кольоровості поточного вузла додатково не розбивається; і розбивання блока яскравості поточного вузла на основі режиму розбивання поточного вузла; де блок кольоровості поточного вузла додатково не розбивається відповідно до одного або більше визначень, взятих із такої групи: ширина поточного вузла дорівнює збільшеному вдвічі граничному значенню, а режимом розбивання поточного вузла є вертикальне двійкове розбивання, висота поточного вузла дорівнює збільшеному вдвічі граничному значенню, а режимом розбивання поточного вузла є горизонтальне двійкове розбивання, ширина поточного вузла дорівнює збільшеному в чотири рази граничному значенню, а режимом розбивання поточного вузла є вертикальне трійкове Зо розбивання, висота поточного вузла дорівнює збільшеному в чотири рази граничному значенню, а режимом розбивання поточного вузла є горизонтальне трійкове розбивання, і ширина поточного вузла дорівнює збільшеному вдвічі граничному значенню, а режимом розбивання поточного вузла є розбивання дерева квадрантів.
20. Енергонезалежний машинозчитуваний носій даних за п. 19, який відрізняється тим, що блок кольоровості поточного вузла додатково не розбивається відповідно до визначення на основі режиму розбивання поточного вузла і розміру поточного вузла того, що дочірній вузол, утворений в результаті розбивання поточного вузла, містить дочірній блок кольоровості, довжина сторони якого є меншою, ніж граничне значення.
21. Енергонезалежний машинозчитуваний носій даних за п. 19, який відрізняється тим, що блок кольоровості поточного вузла додатково не розбивається відповідно до визначення на основі режиму розбивання поточного вузла і розміру поточного вузла того, що дочірній вузол, утворений в результаті розбивання поточного вузла, містить дочірній блок кольоровості, розмір якого є меншим ніж 16.
22. Енергонезалежний машинозчитуваний носій даних за п. 19, який відрізняється тим, що граничне значення дорівнює 4.
23. Енергонезалежний машинозчитуваний носій даних за п. 19, який відрізняється тим, що те, чи необхідно розбивати блок кольоровості поточного вузла, визначається на основі режиму розбивання поточного вузла, розміру поточного вузла й ідентифікатора режиму прогнозування вузла.
24. Енергонезалежний машинозчитуваний носій даних за п. 19, де поточний вузол належить до І-зрізу, і де блок кольоровості поточного вузла додатково не розбивається відповідно до одного або більше визначень, взятих із такої групи: добуток ширини і висоти поточного вузла дорівнює 64, а режимом розбивання поточного вузла є розбивання двійкового дерева, і добуток ширини і висоти поточного вузла дорівнює 128, а режимом розбивання поточного вузла є розбивання трійкового дерева.
25. Енергонезалежний машинозчитуваний носій даних за п. 19, який відрізняється тим, що поточний вузол належить до Р- або В-зрізу, і де блок кольоровості поточного вузла додатково не розбивається відповідно до одного або більше визначень, взятих із такої групи: добуток ширини і висоти поточного вузла дорівнює 64, а режимом розбивання поточного вузла 60 є розбивання двійкового дерева, і добуток ширини і висоти поточного вузла дорівнює 128,
режимом розбивання поточного вузла є розбивання трійкового дерева, а ідентифікатор режиму прогнозування вузла вказує, що до блока кодування, отриманого в результаті розбивання поточного вузла, не застосовується міжкадрове прогнозування.
26. Енергонезалежний машинозчитуваний носій даних за п. 19, який відрізняється тим, що блок кольоровості поточного вузла додатково не розбивається відповідно до одного або більше визначень, взятих із такої групи: добуток ширини і висоти поточного вузла є меншим ніж 128, а режимом розбивання поточного вузла є вертикальне двійкове розбивання або горизонтальне двійкове розбивання; добуток ширини і висоти поточного вузла є меншим ніж 256, а режимом розбивання поточного вузла є вертикальне трійкове розбивання, горизонтальне трійкове розбивання або розбивання дерева квадрантів; добуток ширини і висоти поточного вузла дорівнює 64, а режимом розбивання поточного вузла є вертикальне двійкове розбивання, горизонтальне двійкове розбивання, розбивання дерева квадрантів, горизонтальне трійкове розбивання або вертикальне трійкове розбивання; і добуток ширини і висоти поточного вузла дорівнює 128, а режимом розбивання поточного вузла є вертикальне трійкове розбивання або горизонтальне трійкове розбивання.
27. Енергонезалежний машинозчитуваний носій даних за п. 19, який відрізняється тим, що блок кольоровості поточного вузла додатково не розбивається відповідно до визначення на основі формату даних поточного вузла, режиму розбивання поточного вузла і розміру поточного вузла того, чи блок кольоровості поточного вузла додатково розбивається, при цьому форматом даних поточного вузла є ХОМ4:2:0 або ХОМ4:2:2. 17 Вихідний пристрій 21 / 12 . Блок ї ' Джерело попередньої годе ж в рел - передньої Кодер : ! зображення обробки 16 в но | ш и тт 19 к-т В 44 Пристрій призначення з і 2 14 їш і й я ! чи ї Пристрій у Блок відображення 94- пост-обробки «У Декодер Блок зв'язку гй 3
Фіг. 1А зображення 41 Антена 32 Блок обробки 46 Логічна схема 47 Відеокодер Відеодекодер рн і Процесор ! ! 43 І Гог Пам'ять 44 о Пристрій відображення 451 Система кодування відео 40
Фіг. 18 м ве - В х ОЗ - З ме Що й пять пи щи Б т . я В ж са з х 5 ШІ : Ве й ав що 2 ї : Е щЩощш х щ Ед 1 г А ; М осн ВЕ ї ! ; | - і я ЕВ ст в ща . . ; З КЕ 2 - ха ті, в 2 й : вк ово. К ЕІ 7 ї я пк ЕЕ 2 ; ї - т ї. Ба ом , цк ( Ї щі ве К Бог ї щі я В 5 Ів ; . ; В Ві я 8 І : ік В / і 55 5 : Го хо с М 5 ! іс СМ -е в ї - В щ о де - і ж ек Іі м 2 БИ БАХ З В М. - м 5 ще с: Її в БО м | не я | 5 й й Е (і дя ' щ-Я В Е ТЕ Е ше г Ї ГУ Шо Бош й - З І ва ш : 5 ї і- Е кі г . ок я М «А сх З Й І ї У ЕКО ох КЕ, ге й / шЕ ох і ее З З т і п З Ффіос і : КЕ ! ми Еш 4 | ї Я тра б. Од кА о І Ш ЩЕ 4 в і а се ; ш РЕ р. і й , я итож й Мк її я да ніс чк - є в пт по їж Що- тя пе в і гі 5 НН ТЕХ ог - їй і інв ї В Кк а Е Е Ба го ; х Ви І г М В СВІ ії ев ; в хи ' 5 гі Е я КР З що «В ШЕ З Е Б ї яв, ш Е шт й г я 5 ш- сен - -- Е 5 - віщо : мес ре В ї "З ї ЕЕ о -ї . Бех А 8 : о її : І З щ як ч ом Ше 5 й -о й ще : ще ї Фіг. 2 і:
ек ох п Щощо - че й Я ша к що БЕ ще кЕ ВОМ ее ЕЕ В ще не її ад КА тн х. т х 5 Кеш г щої й 8 ве т Б до В хе з М і І. . У е ; Е ш щ з ! ЕВ вх / Вів: ЕІ й і В Бе 5 - В Бе 5, В. ш Ех зе ї В т Е В «й ш ж В о я я Е ш Ве КО -Е т» ши Шен щ- БЕ 8 5 5 ож в х Ф ще х. я ве В до В М У в У те - - в 5 рана ч г 2 я ї я. 5 ща ї : шк «т в я ше ку т 5 с Ех й Е вадісі ш Е Ід 5 я З З 1 Я З ЩЕ ЕЕ То щ ви 518, 1 5 5 ІЖ - а шо | Я долі Пе біт " ре 5 В Її Н і с шк г Ж яд. й в. щі В 1 я й их й Е ід р ох я М В зав не Е се з 185 ш Я З жк 1 Кя ВЕ а но Я я ІБ Е о В 5. 5 І» ки «у са зи уві ї В тд 5 ОЗ ВЕ її КН Во а БВ і-ї 2-х ово т т 1 . т -Е БД пн ВІ ВВ 7 лит я рам Ан ї шк у й ї З
( с. 5 Ф і -- вх В я 8 ЕУни е Від ї я ват «Ж 5 тв гЗ ев ї, З ? о ГЕ ш о ! 32 во т «ЩЕ ри ше ше В що я хо шох Сл» - х се ш а З
Фіг. З
00 Пристрій кодування відео по 430 450 х Процесор ш х чо Модуль 340 шщ - кодування! уд Щи Приймальний о йскодування | |Передавальний щ блок блок М 475 шо ниш їй ЮБохвінвкопорт | Прівк-порт
Фіг. 4 502 514 518 у 512 ' 520 522 Пристрій зчаоуванхя Пристрій ! зображення сприймяззтя звуку Дані б Звстосування: 1... Застосування: кодування відео що Застосування: ... М Операційна система ЗОВ за .
Фіг. 5 шиеивннияихХихХхХхХхХхХ дк я меж У сх й бжх 2 С С ючих хх Сех ж жЖУх кх юх : я Й я й юю - кет г пежни м у; - ях г пкожж охо є ж 9, ж 2 г ; Фе А и МВВ (в) Формат 24:4 (вФормаєа: (с)формат 4:2:0
Фіг. 6 А
І І ' І і І г І І І І І І
Фіг. ТА Фіг. 765
Фіг. 72; І І І І І І І І І І І І І І І І І І І І І І І І І І І І
Фіг. 70 Фіг. 7Е
Е й й / , ФУ Го, - их к Кк ге шк з- тео ж ; их ні у Е 7 ху що плн » ж х Кк хв не т? х х х х лк ре; що й7 -хк х х «ї у 0-7 7 -к х х х з і 1 ї я вв я В і 3 3 Є зх На а- к ї - п Е - 25 і - « ся
Фіг. 8
00 Ствру 901 и в ра Визначення. чи» Ш Синтаксичний зналі поточний вузол інформації про блок ження Кодування даз Так Пристрій декодування вілео здійснює синтаксичний аналіз бітоного потоку з метою отримання режиму розбивання ноточного нузла Ов Визначення я основі пехцимуть Розбивання поточного вузла т розбивання поточного вузнаірозміру 7. їаКк| вна дочірні вузли, лекожен Ме поточного вузла, чи здійснюється й дочірній вузол містить блок о розбивання бложа кольоровості 477 зекравост і блож 70 поточного вузла 07 кольоровості 906 що Розбивання блока яскравості поточного вузла на основі режиму розбивання поточного вузла
Фіг. 9 лляну кт АКА няння ї. Додатково не розбивати кожен дочірній вузол блока й . . зи 7 1 : яскравості за замовчуванням і здійснювати : : - М тич вм, с. соді Й з 9062 : послідовний снихаксичний аналіз ланих блока ' ' кодування для лючірніх вузлів блока яскравості , уужиняжнк юю юю ю юн тю кт тм м юю мом жю т м сю КОТ , кт у Визначити, чи необхілно продовжувати поступово : додатково розбивати лочірні вузли блока яскравості о! : , Мунаеаєуєєєчктнчнннннттиютєєєютх кни нежиєюитєєєюєття ня Отримати режим прогнозування для попередньо заданої 90542 вові позний блока зожравості позеачного вузаа як режиму 7 прогнозування бложа кольоровості поточного вузли оба Здіневитв синтаксичний аналіз заннхнкової Інформації блока кольоровості поточного вузла
Фіг. 10 но Старт І 110 Визначення, чи Ні ЄСвинтакевчнни аналіз поточний вузол інформації про блок розбивається кодування по? Так Пристрій декодування відео здійснює синуажсичний амаліх бітового потоку з метою отримання режиму розбивання поточного вузла. 104 мов Визначення на основі режиму" Разбивзання потачного розонвання поточного вузпа, розУиру що й , - : вік , поточного вузла ї режнау Так вузла ма дочірні вузли, де прогнозування першого дочірнього зкекем декпрни вуз вузла поточного вузлі, з містить блок яскравості і здійснюється розбивання блока блок кольоровості кольорової сті поточного вузл. поб т Розбивання блока яскравості поточного вузла на основі режиму розбивання поточного вузла
Фіг. 11
Applications Claiming Priority (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810990466 | 2018-08-28 | ||
| CN201811116761 | 2018-09-25 | ||
| CN201910173454 | 2019-03-07 | ||
| CN201910183731 | 2019-03-11 | ||
| CN201910191131.5A CN110868590B (zh) | 2018-08-28 | 2019-03-13 | 图像划分方法及装置 |
| CN201910219440 | 2019-03-21 | ||
| CN201910696741.0A CN111669583A (zh) | 2019-03-07 | 2019-07-30 | 图像预测方法、装置、设备、系统及存储介质 |
| PCT/CN2019/103094 WO2020043136A1 (zh) | 2018-08-28 | 2019-08-28 | 图像划分方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| UA128232C2 true UA128232C2 (uk) | 2024-05-15 |
Family
ID=74865503
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| UAA202101567A UA128232C2 (uk) | 2018-08-28 | 2019-08-28 | Спосіб і пристрій для розбивання зображення |
Country Status (17)
| Country | Link |
|---|---|
| US (4) | US11323708B2 (uk) |
| EP (2) | EP4387224A1 (uk) |
| JP (4) | JP7204891B2 (uk) |
| KR (2) | KR102631517B1 (uk) |
| AU (2) | AU2019333452B2 (uk) |
| BR (1) | BR112021003269A2 (uk) |
| CA (1) | CA3110477C (uk) |
| CL (1) | CL2021000494A1 (uk) |
| ES (1) | ES2966509T3 (uk) |
| HU (1) | HUE064218T2 (uk) |
| IL (1) | IL281144B2 (uk) |
| MX (2) | MX2021002396A (uk) |
| MY (1) | MY209806A (uk) |
| PH (1) | PH12021550378A1 (uk) |
| PT (1) | PT3836542T (uk) |
| UA (1) | UA128232C2 (uk) |
| ZA (1) | ZA202101354B (uk) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2018233042B2 (en) * | 2018-09-21 | 2024-06-13 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding a tree of blocks of video samples |
| EP4513870A3 (en) * | 2019-08-15 | 2025-04-30 | Beijing Dajia Internet Information Technology Co., Ltd. | WEAK CHROMA BLOCK SIZE RESTRICTION IN VIDEO CODING |
| US12355951B2 (en) * | 2022-06-20 | 2025-07-08 | Tencent America LLC | Component dependent intra and inter prediction signaling |
| WO2025218682A1 (en) * | 2024-04-16 | 2025-10-23 | Mediatek Inc. | Video decoder and methods for decoding and signaling a video bit stream for performing a dual-tree partitioning technology |
| KR20250180166A (ko) * | 2024-06-24 | 2025-12-31 | 주식회사 케이티 | 영상 부호화/복호화 방법 및 압축된 비디오 데이터를 전송하기 위한 장치 |
| CN118447042B (zh) * | 2024-07-05 | 2025-07-11 | 杭州阿里巴巴海外互联网产业有限公司 | 图片处理方法、系统、在线穿搭系统、电子设备 |
| WO2026019200A1 (ko) * | 2024-07-17 | 2026-01-22 | 주식회사 아틴스 | 인트라 예측 방법, 이를 수행하는 영상 부호화 및 복호화 장치 |
Family Cites Families (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101039427B (zh) * | 2002-07-15 | 2010-06-16 | 株式会社日立制作所 | 动态图像的解码方法 |
| CN100525454C (zh) | 2004-09-14 | 2009-08-05 | 华为技术有限公司 | 帧间预测模式的选择方法 |
| CN1777283A (zh) | 2004-12-31 | 2006-05-24 | 上海广电（集团）有限公司 | 一种基于微块的视频信号编/解码方法 |
| JP4921239B2 (ja) | 2007-05-09 | 2012-04-25 | キヤノン株式会社 | 画像処理装置およびその方法 |
| CN101394565B (zh) | 2008-10-20 | 2011-08-17 | 成都九洲电子信息系统有限责任公司 | 一种帧内预测方法 |
| KR101712156B1 (ko) | 2010-12-06 | 2017-03-06 | 에스케이 텔레콤주식회사 | 임의의 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치 |
| US9848197B2 (en) | 2011-03-10 | 2017-12-19 | Qualcomm Incorporated | Transforms in video coding |
| JP2013077899A (ja) * | 2011-09-29 | 2013-04-25 | Jvc Kenwood Corp | 画像復号装置、画像復号方法及び画像復号プログラム |
| CN108632608B (zh) | 2011-09-29 | 2022-07-29 | 夏普株式会社 | 图像解码装置、图像解码方法、图像编码装置及图像编码方法 |
| US9807401B2 (en) * | 2011-11-01 | 2017-10-31 | Qualcomm Incorporated | Transform unit partitioning for chroma components in video coding |
| KR20130049526A (ko) | 2011-11-04 | 2013-05-14 | 오수미 | 복원 블록 생성 방법 |
| US9462275B2 (en) | 2012-01-30 | 2016-10-04 | Qualcomm Incorporated | Residual quad tree (RQT) coding for video coding |
| US9674533B2 (en) | 2013-04-05 | 2017-06-06 | Qualcomm Incorporated | Picture alignments in multi-layer video coding |
| CN103237216B (zh) | 2013-04-12 | 2017-09-12 | 华为技术有限公司 | 深度图像的编解码方法和编解码装置 |
| RU2630888C1 (ru) | 2013-11-14 | 2017-09-13 | ЭйджЭфАй Инновэйшн Инк. | Способ видеокодирования с использованием предсказания на основании копии внутрикадрового блока |
| KR101737861B1 (ko) | 2014-01-20 | 2017-05-19 | 한국전자통신연구원 | 변환 깊이 기반 dct 사이즈 결정 장치 및 방법 |
| US20150373327A1 (en) * | 2014-06-20 | 2015-12-24 | Qualcomm Incorporated | Block adaptive color-space conversion coding |
| WO2015192800A1 (en) | 2014-06-20 | 2015-12-23 | Mediatek Inc. | Method of palette predictor signaling for video coding |
| CN104202602B (zh) | 2014-08-18 | 2018-03-02 | 三星电子（中国）研发中心 | 执行视频编码的装置及方法 |
| WO2016074147A1 (en) | 2014-11-11 | 2016-05-19 | Mediatek Singapore Pte. Ltd. | Separated coding tree for luma and chroma |
| TWI750637B (zh) * | 2015-06-08 | 2021-12-21 | 美商Ｖｉｄ衡器股份有限公司 | 螢幕內容編碼區塊內複製模式 |
| EP3310054A4 (en) | 2015-06-11 | 2019-02-27 | Intellectual Discovery Co., Ltd. | METHOD FOR CODING AND DECODING AN IMAGE USING ADAPTIVE DEFLECTION FILTRATION AND DEVICE THEREFOR |
| HK1250587A1 (zh) | 2015-06-16 | 2019-01-04 | 夏普株式會社 | 图像解码装置以及图像编码装置 |
| US10602138B2 (en) * | 2015-08-27 | 2020-03-24 | Lg Electronics Inc. | Method and device for chroma sample intra prediction in video coding system |
| US10212444B2 (en) | 2016-01-15 | 2019-02-19 | Qualcomm Incorporated | Multi-type-tree framework for video coding |
| US11223852B2 (en) * | 2016-03-21 | 2022-01-11 | Qualcomm Incorporated | Coding video data using a two-level multi-type-tree framework |
| US10623774B2 (en) | 2016-03-22 | 2020-04-14 | Qualcomm Incorporated | Constrained block-level optimization and signaling for video coding tools |
| US11102495B2 (en) * | 2016-05-17 | 2021-08-24 | Qualcomm Incorporated | Methods and systems for generating and processing content color volume messages for video |
| CA3025490A1 (en) * | 2016-05-28 | 2017-12-07 | Mediatek Inc. | Method and apparatus of current picture referencing for video coding using affine motion compensation |
| CN116828177A (zh) | 2016-06-24 | 2023-09-29 | 世宗大学校产学协力团 | 视频信号解码和编码方法、比特流的传输方法 |
| WO2018037853A1 (ja) * | 2016-08-26 | 2018-03-01 | シャープ株式会社 | 画像復号装置及び画像符号化装置 |
| US10721468B2 (en) | 2016-09-12 | 2020-07-21 | Nec Corporation | Intra-prediction mode determination method, intra-prediction mode determination device, and storage medium for storing intra-prediction mode determination program |
| CN116668729A (zh) | 2016-11-08 | 2023-08-29 | 株式会社Kt | 对图像进行解码和编码的方法、图像数据的发送方法 |
| JP7094290B2 (ja) | 2017-01-31 | 2022-07-01 | シャープ株式会社 | 変換係数レベル値をスケーリングするシステム及び方法 |
| WO2018142903A1 (en) | 2017-01-31 | 2018-08-09 | Sharp Kabushiki Kaisha | Systems and methods for partitioning a picture into video blocks for video coding |
| US10820017B2 (en) | 2017-03-15 | 2020-10-27 | Mediatek Inc. | Method and apparatus of video coding |
| CN108668136A (zh) | 2017-03-28 | 2018-10-16 | 华为技术有限公司 | 图像编/解码方法、视频编/解码器及视频编解码系统 |
| CN112601085A (zh) | 2017-06-28 | 2021-04-02 | 华为技术有限公司 | 一种图像数据的编码、解码方法及装置 |
| CN109151477B (zh) | 2017-06-28 | 2020-08-07 | 华为技术有限公司 | 一种图像数据的编码、解码方法及装置 |
| CN111527751B (zh) | 2017-12-29 | 2025-03-11 | 夏普株式会社 | 确定视频数据的划分的方法、设备与计算机可读存储介质 |
| US10687071B2 (en) | 2018-02-05 | 2020-06-16 | Tencent America LLC | Method and apparatus for video coding |
| US11012715B2 (en) | 2018-02-08 | 2021-05-18 | Qualcomm Incorporated | Intra block copy for video coding |
| US11190790B2 (en) | 2018-04-01 | 2021-11-30 | Lg Electronics Inc. | Parallel processing method for color component of video signal, and device therefor |
| US11115660B2 (en) * | 2018-04-30 | 2021-09-07 | Mediatek Inc. | Method and apparatus of syntax interleaving for separate coding tree in video coding |
| TWI725456B (zh) * | 2018-06-21 | 2021-04-21 | 大陸商北京字節跳動網絡技術有限公司 | 交錯區塊的自動劃分 |
| CN112567750A (zh) | 2018-08-17 | 2021-03-26 | 联发科技股份有限公司 | 用于视频编解码的简化合并候选列表的方法和装置 |
| AU2018233042B2 (en) | 2018-09-21 | 2024-06-13 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding a tree of blocks of video samples |
| WO2020056757A1 (en) | 2018-09-21 | 2020-03-26 | Alibaba Group Holding Limited | Method, apparatus, and computer-readable storage medium for block partitioning tree separation under separation node |
-
2019
- 2019-08-28 UA UAA202101567A patent/UA128232C2/uk unknown
- 2019-08-28 KR KR1020217008065A patent/KR102631517B1/ko active Active
- 2019-08-28 JP JP2021510741A patent/JP7204891B2/ja active Active
- 2019-08-28 BR BR112021003269-0A patent/BR112021003269A2/pt unknown
- 2019-08-28 CA CA3110477A patent/CA3110477C/en active Active
- 2019-08-28 MY MYPI2021000936A patent/MY209806A/en unknown
- 2019-08-28 KR KR1020247003066A patent/KR20240017109A/ko not_active Ceased
- 2019-08-28 HU HUE19855934A patent/HUE064218T2/hu unknown
- 2019-08-28 ES ES19855934T patent/ES2966509T3/es active Active
- 2019-08-28 IL IL281144A patent/IL281144B2/en unknown
- 2019-08-28 EP EP23200770.8A patent/EP4387224A1/en active Pending
- 2019-08-28 PT PT198559346T patent/PT3836542T/pt unknown
- 2019-08-28 EP EP19855934.6A patent/EP3836542B1/en active Active
- 2019-08-28 MX MX2021002396A patent/MX2021002396A/es unknown
- 2019-08-28 AU AU2019333452A patent/AU2019333452B2/en active Active
-
2021
- 2021-02-22 PH PH12021550378A patent/PH12021550378A1/en unknown
- 2021-02-26 CL CL2021000494A patent/CL2021000494A1/es unknown
- 2021-02-26 ZA ZA2021/01354A patent/ZA202101354B/en unknown
- 2021-02-26 US US17/187,184 patent/US11323708B2/en active Active
- 2021-02-26 MX MX2024009253A patent/MX2024009253A/es unknown
-
2022
- 2022-05-02 US US17/734,829 patent/US11758134B2/en active Active
- 2022-12-28 JP JP2022212121A patent/JP7528188B2/ja active Active
-
2023
- 2023-07-27 US US18/360,639 patent/US12219135B2/en active Active
- 2023-09-15 AU AU2023229600A patent/AU2023229600B2/en active Active
-
2024
- 2024-07-24 JP JP2024118456A patent/JP7781980B2/ja active Active
- 2024-12-23 US US19/000,184 patent/US20250211740A1/en active Pending
-
2025
- 2025-11-26 JP JP2025204464A patent/JP2026031590A/ja active Pending
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102814841B1 (ko) | 인트라 예측의 인코더, 디코더 및 대응하는 방법 | |
| JP7571227B2 (ja) | 行列ベースのイントラ予測と二次変換コア選択を調和させるエンコーダ、デコーダ、および対応する方法 | |
| KR102711465B1 (ko) | 디블로킹 필터의 경계 강도를 도출하는 인코더, 디코더 및 대응 방법 | |
| CN112673626B (zh) | 各分割约束元素之间的关系 | |
| UA128232C2 (uk) | Спосіб і пристрій для розбивання зображення | |
| CN113228686B (zh) | 用于视频译码中去块效应滤波器的装置和方法 | |
| CN111327904A (zh) | 图像重建方法和装置 | |
| JP7540051B2 (ja) | 画像予測方法、機器、及びシステム、装置、及び記憶媒体 | |
| CN114679583B (zh) | 视频编码器、视频解码器及对应方法 | |
| KR102911669B1 (ko) | 아핀 모션 보상에서 dct 기반 보간 필터 및 향상된 쌍선형 보간 필터의 사용 | |
| CN113330743A (zh) | 编码器、解码器及去块效应滤波器自适应的对应方法 | |
| CN112544085A (zh) | 执行去块的装置和方法 | |
| CN113455005A (zh) | 用于帧内子分区译码工具所产生的子分区边界的去块效应滤波器 | |
| CN114830665B (zh) | 仿射运动模型限制 | |
| RU2786626C2 (ru) | Способ и устройство для разделения изображения | |
| CN114900702B (zh) | 降低平面模式的帧内预测的复杂度的编解码器和对应方法 | |
| RU2854676C2 (ru) | Деблокирующий фильтр для границ подразделов, возникающих под действием инструмента кодирования интра-подразделов |