UA116214C2 - Сигналізація довгострокових опорних зображень для кодування відео - Google Patents
Сигналізація довгострокових опорних зображень для кодування відео Download PDFInfo
- Publication number
- UA116214C2 UA116214C2 UAA201500658A UAA201500658A UA116214C2 UA 116214 C2 UA116214 C2 UA 116214C2 UA A201500658 A UAA201500658 A UA A201500658A UA A201500658 A UAA201500658 A UA A201500658A UA 116214 C2 UA116214 C2 UA 116214C2
- Authority
- UA
- Ukraine
- Prior art keywords
- value
- long
- term reference
- ros
- image
- Prior art date
Links
- 230000007774 longterm Effects 0.000 title claims abstract description 288
- 230000011664 signaling Effects 0.000 title description 31
- 238000000034 method Methods 0.000 claims description 94
- 238000013139 quantization Methods 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 239000006260 foam Substances 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 101100498160 Mus musculus Dach1 gene Proteins 0.000 claims 2
- ZAKOWWREFLAJOT-CEFNRUSXSA-N D-alpha-tocopherylacetate Chemical compound CC(=O)OC1=C(C)C(C)=C2O[C@@](CCC[C@H](C)CCC[C@H](C)CCCC(C)C)(C)CCC2=C1C ZAKOWWREFLAJOT-CEFNRUSXSA-N 0.000 claims 1
- 241000357437 Mola Species 0.000 claims 1
- 241000737052 Naso hexacanthus Species 0.000 claims 1
- 241000283965 Ochotona princeps Species 0.000 claims 1
- 240000000220 Panda oleosa Species 0.000 claims 1
- 235000016496 Panda oleosa Nutrition 0.000 claims 1
- 241001674048 Phthiraptera Species 0.000 claims 1
- 240000006394 Sorghum bicolor Species 0.000 claims 1
- 235000011684 Sorghum saccharatum Nutrition 0.000 claims 1
- 238000004873 anchoring Methods 0.000 claims 1
- 235000013405 beer Nutrition 0.000 claims 1
- 230000001143 conditioned effect Effects 0.000 claims 1
- 239000000428 dust Substances 0.000 claims 1
- 238000011084 recovery Methods 0.000 claims 1
- 210000002700 urine Anatomy 0.000 claims 1
- 230000033001 locomotion Effects 0.000 description 88
- 239000013598 vector Substances 0.000 description 40
- 230000009466 transformation Effects 0.000 description 26
- 230000005540 biological transmission Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 9
- 239000000969 carrier Substances 0.000 description 9
- 238000000638 solvent extraction Methods 0.000 description 9
- 230000002123 temporal effect Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- YASAKCUCGLMORW-UHFFFAOYSA-N Rosiglitazone Chemical compound C=1C=CC=NC=1N(C)CCOC(C=C1)=CC=C1CC1SC(=O)NC1=O YASAKCUCGLMORW-UHFFFAOYSA-N 0.000 description 6
- 238000005192 partition Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 241001116498 Taxus baccata Species 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 206010047571 Visual impairment Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 101100427538 Arabidopsis thaliana ULP1D gene Proteins 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000220317 Rosa Species 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Відеодекодер може бути виконаний з можливістю декодування першого значення, що представляє різницю між значенням базових старших бітів (MSB) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших MSB першого значення РОС першого довгострокового опорного зображення відеоданих, декодування другого значення, що представляє різницю між значенням других MSB другого значення РОС другого довгострокового опорного зображення відеоданих і значенням перших MSB, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів, і декодування щонайменше частини поточного зображення відеоданих відносно щонайменше одного з першого довгострокового опорного зображення і другого довгострокового опорного зображення.
Description
щонайменше частини поточного зображення відеоданих відносно щонайменше одного з першого довгострокового опорного зображення і другого довгострокового опорного зображення.
МВ й од . іди ко й щі о рн Кз тк т Те й " й і й й
Микідний прясти Й пнецни призначення які її ї іжерея б веоє НЕНалЛуУ І Тов х ТВ й зобр ажениця за з шо У ЩО т Відеваюколер
Кідвокодев і 1 в о
З
Вихідний інтерфейне | Пхідвий нееофене - 44 «іх «Ки ИфИ ла чАКАА ЛАККК»О чКЖЖХ о ї Я
Е ! : Н В і
І ооо я «в
Дана заявка вимагає пріоритет по попередній патентній заявці США Мо 61/665,784, поданій 28 червня 2012 р., зміст якої, таким чином, повністю включений в даний документ за допомогою посилання.
ГАЛУЗЬ ТЕХНІКИ
Даний винахід стосується кодування відеосигналу.
РІВЕНЬ ТЕХНІКИ
Можливості обробки цифрового відеосигналу можуть бути включені в найрізноманітніші пристрої, що включають в себе цифрові телевізори, системи прямого цифрового мовлення, бездротові широкомовні системи, кишенькові персональні комп'ютери (КПК), портативні або настільні комп'ютери, планшетні комп'ютери, пристрої читання електронних книг, цифрові камери, цифрові пристрої запису, цифрові медіапрогравачі, пристрої для відеоігор, консолі для відеоігор, стільникові або супутникові радіотелефони, так звані "смартфони", пристрої відеоконференцзв'язку, пристрої потокової передачі відеосигналу і ін. Пристрої обробки цифрового відеосигналу реалізовують методи кодування відеосигналу, наприклад, описані в стандартах, заданих в МРЕС-2, МРЕС-4, ІТО-Т Н.263, ІТО-Т Н.264/МРЕС-4, Рай 10, Адумапсєад
Мідео Содіпд (АМС), стандарті Нідп Ейісіепсу Мідео Содіпд (НЕМС), що на даний час знаходиться в розробці, і розширеннях таких стандартів. Нещодавній проект перспективного стандарту НЕМС, що іменується "НЕМС Умогкіпда ЮОгай 7" або "М/07, описаний в документі
УСТМС-11003, Вгов5 еї аї., "Нідй ейісіеєпсу мідео содіпду (НЕМС) їехі зресіїїсайоп агай 7", уоіпі СоПарогаїме Теат оп Мідео Содіпа (СТ-МО) ог ІТО-Т 50216 М/РЗ апа ІЗОЛЕС ОТС1/50229/МС11, 9 Мееїіпо: Зап дозе, Саїйогпіа, ОБА, 27 Аргії о 7 Мау, 2012, який, з 13 травня 2013 р., можна завантажити по посиланню пер:/рпепіх.Іпг-емгу П/|судос епа изег/доситепів/ 8 Запобс2гбдозе/лма11/)СТМО-НІ003-м22.2ір. Пристрої кодування відеосигналу можуть передавати, приймати, кодувати, декодувати і/або зберігати цифрову відеоінформацію більш ефективно за рахунок реалізації таких методів кодування відеосигналу.
Методи кодування відеосигналу включають в себе просторове прогнозування (всередині зображення) і/або часове прогнозування (між зображеннями) для зниження або усунення надмірності, властивої відеопослідовностям. Для кодування відеосигналу на основі блоків, слайс відео (наприклад, кадр відео або частина кадру відео) можна розбивати на відеоблоки,
Зо які також можуть іменуватися деревовидними блоками, одиницями кодування (С) і/або вузлами кодування. Відеоблоки в кодованому з інтрапрогнозуванням (І) слайсі зображення кодуються з використанням просторового прогнозування відносно опорних вибірок в сусідніх блоках одного і того ж зображення. Відеоблоки в кодованому з інтерпрогнозуванням (Р або В) слайсі зображення можуть використовувати просторове прогнозування відносно опорних вибірок в сусідніх блоках одного і того ж зображення або часове прогнозування відносно опорних вибірок в інших опорних зображеннях. Зображення можуть іменуватися кадрами, і опорні зображення можуть належати до опорних кадрів.
Просторове або часове прогнозування дає прогностичний блок для блока, що підлягає кодуванню. Залишкові дані представляють піксельні різниці між початковим блоком, що підлягає кодуванню, і прогностичним блоком. Кодований з інтерпрогнозуванням блок кодується згідно з вектором руху, який вказує на блок опорних вибірок, що утворює прогностичний блок, і залишковими даними, що вказують різницю між кодованим блоком і прогностичним блоком.
Кодований з інтрапрогнозуванням блок кодується згідно з режимом кодування з інтрапрогнозуванням і залишковими даними. Для додаткового стиснення, залишкові дані можна перетворювати з піксельної області в перетворювальну область, одержану в залишкових коефіцієнтах перетворення, які потім можна квантувати. Квантовані коефіцієнти перетворення, спочатку розміщені в двомірному масиві, можна сканувати для створення одновимірного вектора коефіцієнтів перетворення, і для досягнення ще більшого стиснення можна застосовувати ентропійне кодування.
СУТЬ ВИНАХОДУ
Загалом, в даному розкритті описані методи сигналізації довгострокових опорних зображень для кодування відеосигналу. Опорне зображення, в загальному випадку, відповідає зображенню, яке можна використовувати як опорне для кодування з часовим прогнозуванням даних інших зображень. Загалом, довгострокові опорні зображення зберігаються в буфері декодованих зображень довше, ніж інші опорні зображення, наприклад короткострокові опорні зображення. У даному розкритті описані різні методи, пов'язані з сигналізацією, що стосується довгострокових опорних зображень, наприклад з сигналізацією довгострокових опорних зображень в заголовках слайсів для слайсів зображень. Методи даного розкриття можуть забезпечувати удосконалення способів сигналізації довгострокових опорних зображень в 60 заголовку слайсу, наприклад, відносно ефективності і/або застосовності.
У одному прикладі, спосіб включає в себе декодування першого значення, що представляє різницю між значенням базових старших бітів (М5В) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших МОВ першого значення РОС першого довгострокового опорного зображення відеоданих, декодування другого значення, що представляє різницю між означенням других М5В другого значення РОС другого довгострокового опорного зображення відеоданих і значенням перших М5В, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (І ЗВ), і декодування щонайменше частини поточного зображення відеоданих відносно щонайменше одного з першого довгострокового опорного зображення з використанням першого значення і другого довгострокового опорного зображення з використанням першого значення і другого значення.
У іншому прикладі, пристрій для декодування відеоданих включає в себе відеодекодер, виконаний з можливістю декодування першого значення, що представляє різницю між значенням базових старших бітів (МОВ) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших М5В першого значення РОС першого довгострокового опорного зображення відеоданих, декодування другого значення, що представляє різницю між значенням других М5В другого значення РОС другого довгострокового опорного зображення відеоданих і значенням перших М5В, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (І ЗВ), і декодування щонайменше частини поточного зображення відеоданих відносно щонайменше одного з першого довгострокового опорного зображення з використанням першого значення і другого довгострокового опорного зображення з використанням першого значення і другого значення.
У іншому прикладі, пристрій включає в себе засіб для декодування першого значення, що представляє різницю між значенням базових старших бітів (М5В) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших М5В першого значення
РОС першого довгострокового опорного зображення відеоданих, засіб для декодування другого значення, що представляє різницю між значенням других М5В другого значення РОС другого довгострокового опорного зображення відеоданих і значенням перших М5В, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (І 5В), і засіб для декодування щонайменше частини поточного зображення відеоданих відносно щонайменше
Зо одного з першого довгострокового опорного зображення з використанням першого значення і другого довгострокового опорного зображення з використанням першого значення і другого значення.
У іншому прикладі, на комп'ютерочитаному носії даних зберігаються інструкції, які, при виконанні, призначають процесору декодувати перше значення, що представляє різницю між значенням базових старших бітів (М5ЗВ) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших М5В першого значення РОС першого довгострокового опорного зображення відеоданих, декодувати друге значення, що представляє різницю між значенням других М5В другого значення РОС другого довгострокового опорного зображення відеоданих і значенням перших МОВ, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (І 5В), і декодувати щонайменше частину поточного зображення відеоданих відносно щонайменше одного з першого довгострокового опорного зображення з використанням першого значення і другого довгострокового опорного зображення з використанням першого значення і другого значення.
У іншому прикладі, спосіб кодування відеоданих включає в себе кодування щонайменше першої частини поточного зображення відеоданих відносно першого довгострокового опорного зображення і щонайменше другої частини поточного зображення у друге довгострокове опорне зображення, кодування першого значення, що представляє різницю між значенням базових старших бітів (МОВ) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших М5В першого значення РОС першого довгострокового опорного зображення відеоданих, і кодування другого значення, що представляє різницю між значенням других М5В другого значення РОС другого довгострокового опорного зображення відеоданих і значенням перших М5В, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (І5В).
У іншому прикладі, пристрій для кодування відеоданих включає в себе відеокодер, виконаний з можливістю кодування щонайменше першої частини поточного зображення відеоданих відносно першого довгострокового опорного зображення і щонайменше другої частини поточного зображення у друге довгострокове опорне зображення, кодування першого значення, що представляє різницю між значенням базових старших бітів (М5В) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших бо М5В першого значення РОС першого довгострокового опорного зображення відеоданих, і кодування другого значення, що представляє різницю між значенням других М5В другого значення РОС другого довгострокового опорного зображення відеоданих і значенням перших
М5В, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (І 58).
У іншому прикладі, пристрій для кодування відеоданих включає в себе засіб для кодування щонайменше першої частини поточного зображення відеоданих відносно першого довгострокового опорного зображення і щонайменше другої частини поточного зображення у друге довгострокове опорне зображення, засіб для кодування першого значення, що представляє різницю між значенням базових старших бітів (МОВ) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших М5В першого значення
РОС першого довгострокового опорного зображення відеоданих, і засіб для кодування другого значення, що представляє різницю між значенням других М5В другого значення РОС другого довгострокового опорного зображення відеоданих і значенням перших М5В, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (І5В).
У іншому прикладі, на комп'ютерочитаному носії даних зберігаються інструкції, які призначають процесору кодувати щонайменше першу частину поточного зображення відеоданих відносно першого довгострокового опорного зображення і щонайменше другу частину поточного зображення у друге довгострокове опорне зображення, кодувати перше значення, що представляє різницю між значенням базових старших бітів (М5В) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших
М5В першого значення РОС першого довгострокового опорного зображення відеоданих, і кодувати друге значення, що представляє різницю між значенням других М5В другого значення
РОС другого довгострокового опорного зображення відеоданих і значенням перших М5В, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (ІВ).
Деталі одного або більше прикладів представлені в прикладених кресленнях і нижченаведеному описі. Інші ознаки, задачі і переваги будуть зрозумілі з опису і креслень, а також формули винаходу.
КОРОТКИЙ ОПИС КРЕСЛЕНЬ
Фіг. 1 - блок-схема, що демонструє ілюстративну систему кодування і декодування
Зо відеосигналу, яка може використовувати методи поліпшення сигналізації довгострокових опорних зображень в заголовках слайсів.
Фіг. 2 - блок-схема, що демонструє приклад відеокодера, який може реалізувати методи поліпшення сигналізації довгострокових опорних зображень в заголовках слайсів.
Фіг. З - блок-схема, що демонструє приклад відеодекодера, який може реалізувати методи поліпшення сигналізації довгострокових опорних зображень в заголовках слайсів.
Фіг. 4 - принципова схема, що демонструє послідовність кодованих відеозображень.
Фіг 5 - блок-схема операцій, що демонструє ілюстративний спосіб кодування значення лічильника порядку зображень (РОС) для довгострокових опорних зображень відповідно до методів даного розкриття.
Фіг. 6 - блок-схема операцій, що демонструє ілюстративний спосіб декодування значень
РОС для довгострокових опорних зображень відповідно до методів даного розкриття.
ДОКЛАДНИЙ ОПИС
У загальному випадку, відеодані представляються послідовністю зображень, які захоплюються або відображаються в швидкій послідовності. Потрібно розуміти, що, в деяких прикладах, зображення або частини зображень можуть генеруватися, наприклад, з використанням комп'ютерної графіки, замість (або крім) захоплення. Порядок, в якому зображення підлягають відображенню (який, в загальному випадку, може співпадати з порядком, в якому зображення захоплюються або генеруються), може відрізнятися від порядку, в якому зображення кодуються. Порядок відображення зображень, в загальному випадку, представляється значеннями лічильника порядку зображень (РОС), тоді як порядок кодування зображень, в загальному випадку, представляється значеннями номера кадру (їате пит).
Кодування зображень, в загальному випадку, передбачає використання переваги наявності надмірних даних в зображеннях. Наприклад, просторове кодування, що також іменується кодування з інтрапрогнозуванням, має перевагу надмірностей, що виникають між просторово сусідніми блоками піксельних значень загального зображення. У порядку іншого прикладу, часове кодування, що також іменується кодування з інтерпрогнозуванням, має перевагу надмірностей, що виникають між різними зображеннями, які захоплюються, генеруються або відображаються в різні моменти часу. Зокрема, зображення може ділитися на слайси, які можуть бути призначені для інтра- або інтерпрогнозування. Крім того, кожний слайс може бо ділитися на блоки (наприклад, найбільші одиниці кодування (ІСІ))), і кожний з блоків може піддаватися або додатковому розбиттю, або кодуванню на основі того, чи призначений відповідний слайс для інтра- або інтерпрогнозування.
У зв'язку з прикладом кодування з інтерпрогнозуванням, блоки кодованого на даний момент зображення (що також іменується "поточним зображенням") можна прогнозувати з опорного зображення. МО7 визначає "опорне зображення" як зображення з па! геї Пад, що дорівнює 1. па! геї Пад це елемент синтаксису одиниці рівня мережевих абстракцій (МАГ), що вказує, чи потрібно розглядати дані, включені в одиницю МАЇ, як опорне зображення. М/07 також передбачає, що опорне зображення містить вибірки (тобто піксельні значення), які можна використовувати для інтерпрогнозування в процесі декодування наступних зображень в порядку декодування.
Крім того, М/О7 відрізняє довгострокові опорні зображення від короткострокових опорних зображень. Наприклад, М/07 визначає довгострокове опорне зображення як опорне зображення, яке помічене як "використовуване як довгострокове опорне". ММО7 передбачає, що прапор в наборі параметрів послідовності (5Р5) вказує, чи повністю сигналізуються довгострокові опорні зображення для кодованої відеопослідовності. Згідно з М/О7, відеокодери сигналізують молодші біти (58) значень РОС довгострокових опорних зображень в заголовках слайсів для слайсів. Сигналізація ЗВ може приводити до економії бітів, в порівнянні з сигналізацією повного значення РОС. Відеокодери, згідно з М/О7, можуть сигналізувати старші біти (М5В) значень РОС довгострокових опорних зображень, якщо в буфері декодованих зображень (ОРВ) присутньо більше одного опорного зображення, що має такі ж молодші біти, як довгострокове опорне зображення. Крім того, згідно з МУМО7, відеокодери можуть використовувати прапор для указання, чи можуть сигналізовані довгострокові опорні зображення використовуватися поточним зображенням як опорне.
Відеокодери можуть підтримувати МеВ поточного зображення, що іменуються тут "значенням базового М5В", і сигналізувати МЗВ довгострокового опорного зображення і з використанням значень зміщення відносно значень базових М5В, наприклад з використанням елемента синтаксису дейа рос т5р сусіє Щі| для зображення і. Цей елемент синтаксису іменується нижче значенням "циклу МЗВ". Іншими словами, для обчислення значення РОС для конкретного зображення, відеокодер може обчислювати: (базовий МОВ - цикл М5В для
Зо зображення), з'єднаний з (І ЗВ для зображення).
У МО7, значення циклу М5В кодувалося як різниця між значенням базового МОВ і М5В для зображення, для якого сигналізувався цикл М5В, тобто зображення і. Тільки коли сигналізується два або більше довгострокових опорних зображень з однаковими значеннями І 5В, цикл М5В першого такого довгострокового опорного зображення буде сигналізуватися як такий, і значення циклу МЗВ для інших довгострокових опорних зображень будуть сигналізуватися як зміщення одне відносно одного. Однак ця сигналізація довгострокових опорних зображень, згідно з М/О7, може мати один або більше недоліків. Наприклад, при наявності двох довгострокових опорних зображень з різними значеннями І ЗВ, обидва з яких сигналізують дейа рос тер сусіє ЩІЇ, поточний синтаксис буде сигналізувати дейа рос т5р сусіє (ЇЇ, як розглянуто вище, тобто як зміщення відносно значення базового МОВ. Однак з даного розкриття випливає, що сигналізація різниці між значеннями циклу М5В для зображень може бути більш ефективною.
Сигналізація ідентифікаційних даних для довгострокових опорних зображень в заголовку слайсу, згідно з М/07, може мати один або більше недоліків. Наприклад, якщо поточне зображення має значення РОС, що дорівнює МахРісОгаєгСпії! 56р"М-1, і зображення, яке має значення РОС, що дорівнює МахРісОгаєгСпії5р'"М, є першим довгостроковим опорним зображенням, для якого сигналізується дейа рос тео сусіє ЩІ), то МО7 не забезпечує методи сигналізації дейа рос твер сусіє Щі. У цьому випадку, значення дейа рос т5р сусіє Щі повинно дорівнювати, але не може, -1 (мінус одиниця).
У порядку іншого прикладу, при наявності двох довгострокових опорних зображень з різними значеннями І 5В, обидва з яких сигналізують дейа рос т5р сусіє (ЇЇ, поточний синтаксис буде сигналізувати дейа рос тер сусіє ЩІ як такий. Однак з даного розкриття випливає, що сигналізація різниці для одного із зображень була б більш ефективною.
У порядку іншого прикладу, при наявності в ОРВ більше одного опорного зображення, що має такий же І 5В, як і у сигналізованого довгострокового опорного зображення, ММО7 вимагає, щоб цикл М5В ІТКР також сигналізувався з використанням елемента синтаксису дейа рос т5р сусіє Щі. Однак з даного розкриття випливає, що, якщо в ОРВ присутнє зображення, яке буде помічене поточним зображенням як короткострокове опорне зображення, то включення короткострокового опорного зображення в набір кандидатів довгострокових опорних зображень може перешкоджати сигналізації старших бітів понад необхідність.
У порядку іншого прикладу, коли в ОРВ присутньо п опорних зображень, для яких І 5В РОС дорівнює рос ІБ ЦІЇ, ії коли в поточному зображенні сигналізується К довгострокових опорних зображень, де К менше або дорівнює п, які мають І 5В, що дорівнюють рос І5Б ІЩЦіЇ, синтаксис, заданий в М/О7, вимагає, щоб всі К зображень мали дейа рос т5р ргезепі ПЛаді|, що дорівнює 1. Якщо ж К-п, з даного розкриття випливає, що відеокодеру не потрібно задавати денпа рос т5р ргезепі Пад||ї| рівним 1 для всіх К довгострокових опорних зображень, але буде достатньо, якщо він задасть депа рос т5б ргезепі Падії| рівним 1 для п-1 зображень. Методи даного розкриття, більш детально описані нижче з посиланнями на фігури, можуть усунути будь-які або всі з цих недоліків. Загалом, в даному розкритті описані різні методи, які дозволяють поліпшувати сигналізацію для довгострокових опорних зображень в заголовку слайсу.
На фіг. 1 показана блок-схема, що демонструє ілюстративну систему 10 кодування і декодування відеосигналу, яка може використовувати методи поліпшення сигналізації довгострокових опорних зображень в заголовках слайсів. Як показано на фіг. 1, система 10 включає в себе вихідний пристрій 12, який забезпечує кодовані відеодані, що підлягають декодуванню в більш пізній час пристроєм 14 призначення. Зокрема, вихідний пристрій 12 передає відеодані на пристрій 14 призначення через комп'ютерочитаний носій 16. Вихідний пристрій 12 і пристрій 14 призначення можуть містити найрізноманітніші пристрої, що включають в себе настільні комп'ютери, комп'ютери-ноутбуки (тобто портативні комп'ютери), планшетні комп'ютери, телевізійні приставки, телефонні трубки, наприклад так звані "смартфони", так звані "смартпади", телевізори, камери, пристрої відображення, цифрові медіапрогравачі, консолі для відеоігор, пристрої потокової передачі відеосигналу і т. п. В ряді випадків, вихідний пристрій 12 і пристрій 14 призначення можуть бути забезпечені обладнанням для бездротового зв'язку.
Пристрій 14 призначення може приймати кодовані відеодані, що підлягають декодуванню, через комп'ютерочитаний носій 16. Комп'ютерочитаний носій 16 може містити будь-який тип носія або пристрою, здатного переміщувати кодовані відеодані від вихідного пристрою 12 на пристрій 14 призначення. У одному прикладі, комп'ютерочитаний носій 16 може містити середовище передачі даних, щоб вихідний пристрій 12 міг передавати кодовані відеодані
Зо безпосередньо на пристрій 14 призначення в реальному часі. Кодовані відеодані можна модулювати згідно зі стандартом зв'язку, наприклад протоколом бездротового зв'язку, і передавати на пристрій 14 призначення. Середовище передачі даних може містити будь-яке бездротове або дротове середовище передачі даних, наприклад радіочастотний (РЧ) спектр або одна або більше фізичних ліній передачі. Середовище передачі даних може утворювати частину мережі з комутацією пакетів, наприклад локальної мережі, широкомасштабної мережі або глобальної мережі, наприклад Інтернету. Середовище передачі даних може включати в себе маршрутизатори, комутатори, базові станції або будь-яке інше обладнання, яке може бути корисне для полегшення передачі від вихідного пристрою 12 на пристрій 14 призначення.
У деяких прикладах, кодовані дані можуть виводитися з вихідного інтерфейсу 22 на запам'ятовуючий пристрій. Аналогічно, вхідний інтерфейс може звертатися до запам'ятовуючого пристрою за кодованими даними. Запам'ятовуючий пристрій може включати в себе будь-які носії даних розподіленого або локального доступу, наприклад жорсткий диск, диски Віи-тау, ОМО, СО-КОМ, флеш-пам'ять, енергозалежну або енергонезалежну пам'ять, або будь-які інші придатні носії цифрових даних для зберігання кодованих відеоданих. У додатковому прикладі, запам'ятовуючий пристрій може відповідати файловому серверу або іншому проміжному запам'ятовуючому пристрою, де може зберігатися кодований відеосигнал, генерований вихідним пристроєм 12.
Пристрій 14 призначення може витягувати збережені відеодані із запам'ятовуючого пристрою за допомогою потокової передачі або завантаження. Файловим сервером може бути сервер будь-якого типу, здатний зберігати кодовані відеодані і передавати ці кодовані відеодані на пристрій 14 призначення. Прикладом файлового сервера є веб-сервер (наприклад, для веб- сайта), ЕТР-сервер, пристрої типу мережевого сховища даних (МА5) або локальний дисковод.
Пристрій 14 призначення може здійснювати доступ до кодованих відеоданих через будь-яке стандартне з'єднання для передачі даних, в тому числі Інтернет-з'єднання. Воно може включати в себе бездротовий канал (наприклад, з'єднання УМі-Рї), дротове з'єднання (наприклад, О5І, кабельний модем і т. д.) або їх комбінацію, придатну для здійснення доступу до кодованих відеоданих, що зберігаються на файловому сервері. Передача кодованих відеоданих із запам'ятовуючого пристрою може здійснюватися в потоковому режимі, в режимі завантаження або в комбінованому режимі.
Методи даного розкриття не обмежуються бездротовими додатками або установками.
Методи можуть застосовуватися до кодування відеосигналу для підтримання будь-якого з різних мультимедійних додатків, наприклад ефірного телевізійного мовлення, кабельних телепередач, супутникових телепередач, передач потокового відео в Інтернеті, наприклад динамічної адаптивної потокової передачі по НТТР (СА5Н), цифрового відеосигналу, який кодується на носій даних, декодування цифрового відеосигналу, що зберігається на носії даних, або інших додатків. У деяких прикладах, система 10 може бути виконана з можливістю підтримання односторонньої або двосторонньої передачі відеосигналу для підтримання таких додатків, як потокова передача відеосигналу, відтворення відео, відеомовлення і/або відеотелефонія.
У прикладі, показаному на фіг. 1, вихідний пристрій 12 включає в себе джерело 18 відеосигналу, відеокодер 20 і вихідний інтерфейс 22. Пристрій 14 призначення включає в себе вхідний інтерфейс 28, відеодекодер 30 і пристрій 32 відображення. Відповідно до даного розкриття, відеокодер 20 вихідного пристрою 12 може бути виконаний з можливістю застосування методів поліпшення сигналізації довгострокових опорних зображень в заголовках слайсів. У інших прикладах, вихідний пристрій і пристрій призначення можуть включати в себе інші компоненти або компонування. Наприклад, вихідний пристрій 12 може приймати відеодані від зовнішнього джерела 18 відеосигналу, наприклад зовнішньої камери. Аналогічно, пристрій 14 призначення може сполучатися з зовнішнім пристроєм відображення, замість того, щоб включати в себе вбудований пристрій відображення.
Система 10, проілюстрована на фіг. 1, є усього лише одним прикладом. Методи поліпшення сигналізації довгострокових опорних зображень в заголовках слайсів можуть реалізовуватися будь-яким пристроєм кодування і/або декодування цифрового відеосигналу. Хоч, в загальному випадку, методи даного розкриття реалізовуються пристроєм кодування відеосигналу, методи також можуть реалізовуватися відеокодером/декодером, що звичайно іменується "кодеком".
Крім того, методи даного розкриття також можуть реалізовуватися препроцесором відеосигналу. Вихідний пристрій 12 і пристрій 14 призначення є лише прикладами таких пристроїв кодування, в яких вихідний пристрій 12 генерує кодовані відеодані для передачі на пристрій 14 призначення. У деяких прикладах, пристрої 12, 14 можуть працювати, по суті,
Зо симетричним чином, таким чином, що кожний з пристроїв 12, 14 включає в себе компоненти кодування і декодування відеосигналу. Тому, система 10 може підтримувати односторонню або двосторонню передачу відеосигналу між пристроями 12, 14 обробки відеосигналу, наприклад, для потокової передачі відеосигналу, відтворення відео, відеомовлення або відеотелефонії.
Джерело 18 відеосигналу вихідного пристрою 12 може включати в себе пристрій захоплення відео, наприклад відеокамеру, архів відеозаписів, що містить раніше захоплене відео, і/або інтерфейс подачі відео для прийому відеосигналу від постачальника відеоконтенту. У порядку додаткової альтернативи, джерело 18 відеосигналу може генерувати дані на основі комп'ютерної графіки як вихідний відеосигнал або комбінацію відеозйомки в реальному часі, архівних відеозаписів і відео, створюваного на комп'ютері. У ряді випадків, якщо джерелом 18 відеосигналу є відеокамера, вихідний пристрій 12 і пристрій 14 призначення можуть формувати так звані камерофони або відеофони. Однак, як згадано вище, методи, описані в даному розкритті, можна застосовувати до кодування відеосигналу загалом і можна застосовувати до бездротових і/або дротових додатків. У кожному випадку, захоплене, передзахоплене відео або відео, створюване на комп'ютері, може кодуватися відеокодером 20. Потім кодована відеоїнформація може виводитися вихідним інтерфейсом 22 на комп'ютерочитаний носій 16.
Комп'ютерочитаний носій 16 може включати в себе перехідні середовища, наприклад бездротове широкомовлення або передачу по дротовій мережі, або носії даних (тобто постійні, або нетранзиторні, носії даних), наприклад жорсткий диск, флеш-носій, компакт-диск, цифровий відеодиск, диск Віи-гау або інші комп'ютерочитані носії. У деяких прикладах, мережевий сервер (не показаний) може приймати кодовані відеодані від вихідного пристрою 12 і видавати кодовані відеодані на пристрій 14 призначення, наприклад, за допомогою мережевої передачі.
Аналогічно, обчислювальний пристрій установки по виробництву носіїв, наприклад установки по штампуванню дисків, може приймати кодовані відеодані від вихідного пристрою 12 і виготовляти диск, що містить кодовані відеодані. Таким чином, комп'ютерочитаний носій 16 можна розглядати як такий, що включає в себе один або більше комп'ютерочитаних носіїв різних типів, в різних прикладах.
Вхідний інтерфейс 28 пристрою 14 призначення приймає інформацію з комп'ютерочитаного носія 16. Інформація комп'ютерочитаного носія 16 може включати в себе синтаксичну інформацію, задану відеокодером 20, яка також використовується відеодекодером 30, що 60 включає в себе елементи синтаксису, які описують характеристики і/або обробку блоків і інших кодованих одиниць, наприклад СОР. Пристрій 32 відображення відображає декодовані відеодані користувачу і може містити будь-який з різних пристроїв відображення, наприклад електронно-променеву трубку (ЕПТ), рідкокристалічний дисплей (РКД), плазмовий дисплей, дисплей на органічних світлодіодах (ОСВД) або пристрій відображення іншого типу.
Відеокодер 20 і відеодекодер 30 можуть працювати згідно зі стандартом кодування відеосигналу, наприклад стандартом Нідп Ейісіепсу Мідео Содіпд (НЕМС), що на даний час знаходиться в розробці, і може узгоджуватися з НЕМС Тезі Моде! (НМ). Альтернативно, відеокодер 20 і відеодекодер 30 можуть працювати згідно з іншими власними або промисловими стандартами, наприклад стандартом ІТО-Т Н.264, що альтернативно іменується
МРЕС-4, частина 10, Адуапсей Мідео Содіпд (АМС), або розширеннями таких стандартів. Однак методи даного розкриття не обмежуються яким-небудь конкретним стандартом кодування. Інші приклади стандартів кодування відеосигналу включають в себе МРЕС-2 і ІТО-Т Н.263. Хоч це не показано на фіг. 1, в деяких аспектах, кожний з відеокодера 20 і відеодекодера 30 може бути об'єднаний з аудіокодером/декодером і може включати в себе належні блоки мультиплексування/демультиплексування або інше апаратне забезпечення і програмне забезпечення для здійснення кодування аудіосигналу і відеосигналу в загальному потоці даних або окремих потоках даних. Якщо застосовно, блоки мультиплексування/демультиплексування можуть узгоджуватися з протоколом мультиплексора ІТ Н.223 або іншими протоколами, наприклад протоколом користувацьких дейтаграм (ОР).
Стандарт ІТО-Т Н.264/МРЕ-4 (АМС) був сформульований ІТО-Т Мідео Содіпд Ехрепв СтоиМир (МСЕС) спільно з ІЗОЛЕС Моміпд Рісішге Ехрегпгі5 Стор (МРЕС) як продукт колективного партнерства, відомого як доїпі Мідео Теат (МТ). У деяких аспектах, методи, описані в даному розкритті, можуть застосовуватися до пристроїв, які, в загальному випадку, узгоджуються зі стандартом Н.264. Стандарт Н.264 описаний в ІТО-Ї Весоттепааїйоп Н.264, Адмапсей Мідео
Содіпд для універсальних аудіовізуальних послуг групою ІТО-Т Біцау ОСгопр і датований березнем 2005 р., і може іменуватися тут стандартом Н.264 або специфікацією Н.264 або стандартом або специфікацією Н.264/АМС. доїпї Мідео Теат (МТ) продовжує працювати над розширеннями Н.264/МРЕС-4 АМС.
Кожний з відеокодера 20 і відеодекодера 30 можна реалізувати у вигляді будь-якої з різних
Зо придатних схем кодера, наприклад одного або більше мікропроцесорів, цифрових сигнальних процесорів (О5Р), спеціалізованих інтегральних схем (АБІС), вентильних матриць, програмованих користувачем (ЕРСА), дискретної логіки, програмного забезпечення, апаратного забезпечення, програмно-апаратного забезпечення або будь-яких їх комбінацій. Коли методи реалізовуються частково в програмному забезпеченні, в пристрої можуть зберігатися інструкції для програмного забезпечення на придатному постійному комп'ютерочитаному носії і він може виконувати інструкції апаратними засобами з використанням одного або більше процесорів для здійснення методів даного розкриття. Кожний з відеокодера 20 і відеодекодера 30 може входити до складу одного або більше кодерів або декодерів, будь-який з яких може входити до складу об'єднаного кодера/декодера (кодека) у відповідному пристрої.
УСТ-МС працює над розробкою стандарту НЕМС. Зусилля по стандартизації НЕМС базуються на моделі пристрою кодування відеосигналу, що розвивається, іменованій НЕМС
Те5зі Моде! (НМ). НМ передбачає декілька додаткових можливостей пристроїв кодування відеосигналу в порівнянні з існуючими пристроями згідно, наприклад, з ІТО-Т Н.264/АМО.
Наприклад, в той час, як Н.264 забезпечує дев'ять режимів кодування з інтрапрогнозуванням,
НМ може забезпечувати цілих тридцять три режими кодування з інтрапрогнозуванням.
Загалом, робоча модель НМ описує, що кадр відео або зображення може ділитися на послідовність деревовидних блоків або найбільших одиниць кодування (ІС), які включають в себе вибірки яскравості і кольоровості. Дані синтаксису в бітовому потоці можуть задавати розмір ГСИ, яка є найбільшою одиницею кодування відносно кількості пікселів. Слайс включає в себе деяку кількість послідовних деревовидних блоків в порядку кодування. Кадр відео або зображення можна розбивати на один або більше слайсів. Кожний деревовидний блок можна розбивати на одиниці кодування (С) згідно з квадродеревом. Загалом, структура даних квадродерева включає в себе по одному вузлу на СО, причому кореневий вузол відповідає деревовидному блоку. Якщо СИ розбивається на чотири під-СО, вузол, відповідний СИ, включає в себе чотири крайових вузли, кожний з яких відповідає одній з під-СИ.
Кожний вузол структури даних квадродерева може забезпечувати дані синтаксису для відповідної СО. Наприклад, вузол в квадродереві може включати в себе прапор розбиття, що вказує, чи розбивається СИ, відповідна вузлу, на під-СО. Елементи синтаксису для СО можна задавати рекурсивно, і вони можуть залежати від того, чи розбивається С на під-СО. Якщо СИ бо не підлягає подальшому розбиттю, вона називається крайовою СИ. У даному розкритті, чотири під-СО крайової СО також будуть іменуватися крайовими СИ, навіть за відсутності явного розбиття початкової крайової СО. Наприклад, якщо СИ розміром 16х16 не підлягає подальшому розбиттю, чотири під-СО розміром 8х8 також будуть іменуватися крайовими СИ, хоч СИ розміром 16х16 ніколи не розбивалася.
Си має приблизно таку ж мету, як макроблок стандарту Н.264, за винятком того, що СИ не має відмінності в розмірі. Наприклад, деревовидний блок можна розбивати на чотири дочірніх вузли (що також іменуються під-СІ), і кожний дочірній вузол, в свою чергу, може бути батьківським вузлом і розбиватися на інші чотири дочірніх вузли. Остаточний, нерозбитий дочірній вузол, що іменується крайовим вузлом квадродерева, містить вузол кодування, що також іменується крайовою С). Дані синтаксису, пов'язані з кодованим бітовим потоком, можуть задавати максимальну кратність розбиття деревовидного блока, що іменується максимальною глибиною СИ, і також може задавати мінімальний розмір вузлів кодування. Відповідно, бітовий потік також може задавати найменшу одиницю кодування (ЗСІ). У даному розкритті термін "блок" означає будь-яку з СО, РО або ТИ в контексті НЕМС або аналогічні структури даних в контексті інших стандартів (наприклад, їх макроблоки і підблоки в Н.264/АМС).
СИ включає в себе вузол кодування і одиниці прогнозування (РИ), і одиниці перетворення (ТО), пов'язані з вузлом кодування. СО має розмір, відповідний розміру вузла кодування, і повинна мати квадратну форму. Розмір СО може складати від 8х8 пікселів до розміру деревовидного блока максимум 64х64 пікселя або більше. Кожна СО може містити одну або більше РИ і одну або більше ТИ. Дані синтаксису, пов'язані з СО, можуть описувати, наприклад, розбиття С на одну або більше РО. Режими розбиття можуть відрізнятися залежно від того, чи кодована СИ в режимі пропуску або прямому режимі, в режимі інтрапрогнозування або в режимі інтерпрогнозування. РО можна розбивати не на квадрати. Дані синтаксису, пов'язані з СУ, також можуть описувати, наприклад, розбиття СУ на одну або більше ТИ згідно з квадродеревом. ТО може мати квадратну або неквадратну (наприклад, прямокутну) форму.
Стандарт НЕМС допускає перетворення згідно з ТИ, які можуть розрізнюватися для різних
Су. Розміри ТИ звичайно визначаються на основі розміру РО в даній С, заданого для розбитої
ІС, хоч так буває не завжди. ТО звичайно мають такий же розмір, як РО, або менший. У деяких прикладах, залишкові вибірки, відповідні СО, можна підрозбивати на менші одиниці з
Зо використанням структури квадродерева, відомої як "залишкове квадродерево" (КОТ). Крайові вузли КОТ можуть іменуватися одиницями перетворення (ТИ). Різницеві значення пікселів, пов'язані з ТО, можна перетворювати для створення коефіцієнтів перетворення, які можна квантувати.
Крайова С може включати в себе одну або більше одиниць прогнозування (Р). Загалом,
РИ представляє просторову область, відповідну всій або частині відповідної С, і може включати в себе дані для витягання опорної вибірки для РИ. Крім того, РО включає в себе дані, пов'язані з прогнозуванням. Наприклад, коли РО кодується в режимі інтрапрогнозування, дані для РИ можуть бути включені в залишкове квадродерево (КОТ), яке може включати в себе дані, що описують режим інтрапрогнозування для ТИ, відповідної РО. У порядку іншого прикладу, коли РІО кодується в режимі інтерпрогнозування, РО може включати в себе дані, що задають один або більше векторів руху для РИ. Дані, що задають вектор руху для Р, можуть описувати, наприклад, горизонтальну компоненту вектора руху, вертикальну компоненту вектора руху, розрізнення для вектора руху (наприклад, точність в чверть піксела або точність в одну восьму піксела), опорне зображення, на яке вказує вектор руху, і/або список опорних зображень (наприклад, список 0, список 1 або список С) для вектора руху.
Крайова СИ, що має одну або більше РО, також може включати в себе одну або більше одиниць перетворення (ТО). Одиниці перетворення можна задавати з використанням КОТ (що також іменується структурою квадродерева ТІ), як розглянуто вище. Наприклад, прапор розбиття може вказувати, чи розбивається крайова СИ на чотири одиниці перетворення. Потім, кожну одиницю перетворення можна додатково розбивати на додаткові під- ТО. Коли ТО не підлягає подальшому розбиттю, вона може іменуватися крайовою ТО. У загальному випадку, для інтракодування, всі крайові ТО, що належать крайовій СУ, спільно використовують один і той же режим інтрапрогнозування. Таким чином, один і той же режим інтрапрогнозування, в загальному випадку, застосовується для обчислення прогнозованих значень для всіх Ту крайової СО. Для інтракодування, відеокодер може обчислювати залишкове значення для кожної крайової ТО з використанням режиму інтрапрогнозування як різницю між частиною СИ, відповідною ТИ, і початковим блоком. ТО не зобов'язана обмежуватися розміром РО. Таким чином, ТИ можуть бути більше або менше, ніж РО. Для інтракодування, РО може бути суміщена з відповідною крайовою ТИ для однієї і тієї ж СО. У деяких прикладах, максимальний розмір бо крайової ТО може відповідати розміру відповідної крайової СО.
Крім того, ТО крайових СИ також можуть бути пов'язані з відповідними структурами даних квадродерева, що іменуються залишковими квадродеревами (КОТ). Таким чином, крайова СУ може включати в себе квадродерево, що вказує, як крайова СІ розбивається на ТО. Кореневий вузол квадродерева ТИ, в загальному випадку, відповідає крайовій СИ, тоді як кореневий вузол квадродерева СИ, в загальному випадку, відповідає деревовидному блоку (або СО). ТО КОТ, які не розбиваються, іменуються крайовими ТИ. Загалом, в даному розкритті використовуються терміни СО ії ТО для позначення крайової СО і крайової ТО, відповідно, якщо не вказане зворотне.
Відеопослідовність звичайно включає в себе декілька кадрів відео або зображень. Група зображень (СОР), в загальному випадку, містить одне або більше відеозображень. СОР може включати в себе дані синтаксису в заголовку СОР, заголовок одного або більше зображень, або в іншому місці, де описана кількість зображень, включених в СОР. Кожний слайс зображення може включати в себе дані синтаксису слайсу, які описують режим кодування для відповідного слайсу. Відеокодер 20 звичайно діє на відеоблоках в окремих слайсах відео для кодування відеоданих. Відеоблок може відповідати вузлу кодування в СИ. Відеоблоки можуть мати постійні або змінні розміри і можуть відрізнятися за розміром згідно з вказаним стандартом кодування.
У порядку прикладу, НМ підтримує прогнозування в РИ різних розмірів. Виходячи з того, що розмір конкретної СО дорівнює 2Мх2М, НМ підтримує інтрапрогнозування в РО з розмірами 2Мх2М або МхМ і інтерпрогнозування в РУ симетричних розмірів 2Мх2М, 2МхМ, Мх2М або МхМ.
НМ також підтримує асиметричне розбиття для інтерпрогнозування в РО з розмірами 2Мхпу, 2МхпоО, піх2М і пкх2М. У асиметричному розбитті СО не розбивається в одному напрямку, а в іншому напрямку розбивається у відношенні 2595 і 7595. Частина С, відповідна 2595-му розбиттю, позначена "п", що супроводжується указанням "вверх", "вниз", "вліво" або "вправо".
Таким чином, наприклад, "2МхпИ" означає СО 2Мх2М, розбиту по горизонталі на РО 2Мх0,5М зверху і РО 2Мх1,5М знизу.
У даному розкритті, "МхМ" Її "М на М" можуть використовуватися взаємозамінно для позначення розмірів відеоблока в пікселах по вертикалі і горизонталі, наприклад 16х16 пікселів або 16 на 16 пікселів. Загалом, блок 16х16 буде мати 16 пікселів у вертикальному напрямку
Зо (у-16) і 16 пікселів в горизонтальному напрямку (х-16). Аналогічно, блок МХхМ, в загальному випадку, має М пікселів у вертикальному напрямку і М пікселів в горизонтальному напрямку, де
М представляє ненегативне цілочислове значення. Пікселі в блоці можуть розташовуватися рядками і стовпцями. Крім того, блоки не обов'язково мають однакову кількість пікселів в горизонтальному напрямку і у вертикальному напрямку. Наприклад, блоки можуть містити МхМ пікселів, де М не обов'язково дорівнює М.
Після кодування з інтрапрогнозуванням або з інтерпрогнозуванням з використанням РИ СИ, відеокодер 20 може обчислювати залишкові дані для ТО СИ. РІО можуть містити дані синтаксису, що описують спосіб або режим генерації з прогнозуванням піксельних даних в просторовій області (що також іменується піксельною областю), і ТО можуть містити коефіцієнти в перетворювальній області після застосування перетворення, наприклад дискретного косинусного перетворення (ОСТ), цілочислового перетворення, вейвлетного перетворення або принципово аналогічного перетворення, до залишкових відеоданих. Залишкові дані можуть відповідати піксельним різницям між пікселами некодованого зображення і значеннями прогнозування, відповідними РО. Відеокодер 20 може формувати ТО, що включають в себе залишкові дані для СИ, і потім перетворювати ТИ для створення коефіцієнтів перетворення для
Су.
Після будь-яких перетворень для створення коефіцієнтів перетворення, відеокодер 20 може здійснювати квантування коефіцієнтів перетворення. Квантування, в загальному випадку, означає процес, в якому коефіцієнти перетворення квантуються, можливо, для скорочення об'єму даних, використовуваних для представлення коефіцієнтів, забезпечуючи додаткове стиснення. Процес квантування може зменшувати бітову глибину, пов'язану з деякими або всіма з коефіцієнтів. Наприклад, п-бітове значення може округлятися до т-бітового значення в ході квантування, де п більше т.
Після квантування, відеокодер може сканувати коефіцієнти перетворення, створюючи одновимірний вектор з двомірної матриці, що включає в себе квантовані коефіцієнти перетворення. Сканування може здійснюватися з метою поміщення коефіцієнтів більш високої енергії (і, таким чином, більш низької частоти) в передній частині масиву і поміщення коефіцієнтів більш низької енергії (і, таким чином, більш високої частоти) в задній частині масиву. У деяких прикладах, відеокодер 20 може використовувати попередньо заданий порядок бо сканування для сканування квантованих коефіцієнтів перетворення для створення серіалізованого вектора, який можна ентропійно кодувати. У інших прикладах, відеокодер 20 може здійснювати адаптивне сканування. Після сканування квантованих коефіцієнтів перетворення для формування одновимірного вектора, відеокодер 20 може ентропійно кодувати одновимірний вектор, наприклад, згідно з контекстно-адаптивним кодуванням із змінною довжиною слова (САМІ С), контекстно-адаптивним двійковим арифметичним кодуванням (САВАС), контекстно-адаптивним двійковим арифметичним кодуванням на основі синтаксису (ЗВАС), ентропійним кодуванням з розбиттям інтервалу імовірності (РІРЕ) або іншою методологією ентропійного кодування. Відеокодер 20 також може ентропійно кодувати елементи синтаксису, пов'язані з кодованими відеоданими, для використання відеодекодером 30 при декодуванні відеоданих.
Для здійснення САВАС, відеокодер 20 може призначати контекст в контекстній моделі символу, що підлягає передачі. Контекст може вказувати, наприклад, чи є сусідні значення символу ненульовими. Для здійснення САМІ С, відеокодер 20 може вибирати код змінної довжини для символу, що підлягає передачі. Кодові слова в М/С можна побудувати таким чином, щоб відносно більш короткі коди відповідали більш імовірним символам, а більш довгі коди відповідали менш імовірним символам. Таким чином, використання М/С може забезпечувати економію бітів в порівнянні, наприклад, з використанням кодових слів рівної довжини для кожного символу, що підлягає передачі. Визначення імовірності може базуватися на контексті, призначеному символу.
Відповідно до методів даного розкриття, відеокодер 20 і відеодекодер 30 можуть бути виконані з можливістю використання вдосконалених методів сигналізації даних для ідентифікації довгострокових опорних зображень, наприклад в заголовках слайсів, наборів параметрів (що включають в себе набори параметрів зображення (РР5) і набори параметрів послідовності (ЗР5Б)) і т. п. Загалом, відеокодер 20 і відеодекодер 30 можуть бути виконані з можливістю здійснення будь-яких або всіх методів даного розкриття, окремо або в будь-якій комбінації. У деяких прикладах, відеокодер 20 і відеодекодер 30 можуть бути виконані з можливістю здійснення способів сигналізації негативних значень циклу М5В дельта РОС для довгострокових опорних зображень. У деяких прикладах, відеокодер 20 і відеодекодер 30 можуть бути виконані з можливістю здійснення способів для більш ефективної сигналізації
Зо значень циклу М5В дельта РОС для довгострокових опорних зображень з різними значеннями
І 5В з використанням диференціального кодування.
У деяких прикладах, опорні зображення, які сигналізуються як короткострокові опорні зображення для поточного зображення (або які включені в набір короткострокових опорних зображень поточного зображення), можна виключити з опорних зображень, використовуваних при визначенні, чи відправляти значення циклу М5В дельта РОС для довгострокових опорних зображень, щоб уникнути відправлення непотрібних значень циклу МОВ дельта РОС. У деяких прикладах, при наявності п опорних зображень (включаючи або виключаючи короткострокові опорні зображення) в ОРВ, які мають І 5В РОС, що дорівнює рос І5б іЇЇ, і коли в поточному зображенні сигналізується п довгострокових опорних зображень, які мають значення І 5В, що дорівнюють рос 5 Ці), відеокодер 20 може тільки відправляти, і відеодекодер 30 може тільки приймати, значення циклу М5В дельта РОС для п-1 довгострокових опорних зображень, хоч ці дані можна відправляти для всіх п довгострокових опорних зображень.
Будь-який або всі з різних вищеописаних методів можна реалізувати згідно з наступною ілюстративною реалізацією. Елемент синтаксису М/О7, який описує цикл М5В довгострокового опорного зображення, можна модифікувати, як показано нижче. У даному розкритті також описаний ілюстративний спосіб одержання масиву ОепаРосмМ5ВсСусіє! ЧЦ|. У даному розкритті додатково описаний ілюстративний процес декодування для набору опорних зображень. Крім того, в даному розкритті описана семантика для елементів синтаксису дека рос т5р ргезепі Пасді і рос ІБ Щі). Синтаксис і семантика інших елементів синтаксису
М/07 можуть залишатися незмінними.
Таблиця 1 представляє приклад набору синтаксису для заголовка слайсу. Підкреслений текст представляє зміни в синтаксисі заголовка слайсу відносно УМО7. Семантика для змінених елементів синтаксису, а також змінена семантика для інших елементів синтаксису, розглянуті нижче.
Таблиця 1 нн шшшш пінні ШІ
Зоні лісівн ШІ інн
Щоена рос тер ргезепі Паої) кни ши я ПО нннншшишшшш руїє айоптен 77777111.) и ПО НО
У прикладі таблиці 1, синтаксис заголовка слайсу включає в себе додатковий елемент дейа рос т5Б сусіє Ії ріи51(|. Семантика для цього елемента синтаксису описана нижче. У деяких прикладах, рос І5б Щі| може вказувати значення молодших бітів значення лічильника порядку зображень і-ого довгострокового опорного зображення, яке включене в набір довгострокових опорних зображень поточного зображення. Довжина елемента синтаксису рос ІзБ Щі) може становити ода тах ріс огдег спі ІБ тіпив4-4 біти.
У деяких прикладах, той факт, що дейа рос т5Б ргезепі Паді| дорівнює 1, може вказувати присутність дейа рос т5р сусіє М рійб51(Щ. Той факт, що дейа рос т5р0 ргезепі Падії дорівнює 0, може вказувати відсутність дейа рос т5р сусів Її рій). дейа рос т5Б ргезепі Падіі| можна задавати рівним 1 при наявності | опорних зображень, де | - цілочислове значення, більше 1, в буфері декодованих зображень, за винятком зображень, помічених як "використовувані як короткострокові опорні" поточним зображенням, з молодшими бітами значення лічильника порядку зображень, що дорівнюють рос і5бБ Щі|, і коли і-е довгострокове опорне зображення не є іим довгостроковим опорним зображенням з молодшими бітами значення лічильника порядку зображень, що дорівнюють рос ІБ ІЦЧіЇ, яке сигналізується поточним зображенням.
У деяких прикладах, денйа рос т5Б сусіє Її рійбі'|| може використовуватися для визначення значення старших бітів значення лічильника порядку зображень і-ого довгострокового опорного зображення, яке включене в набір довгострокових опорних зображень поточного зображення. За відсутності сигналізації, дека рос т5р сусіє Її рів) може приймати значення 1.
Змінну ЮОепаРосм5ВсСУусіє! Чі| можна одержати згідно з наступним алгоритмом, де (7-37) означає розділ НЕМС, тобто розділ, змінений відносно М/О7. Зазначимо, що в нижченаведеному прикладі виведення передбачається, що цикли М5В відправляються в порядку зростання їх значень.
БепаРосмМ5ВсСУусієї Чі-Ядепа рос т5Б ргезепі Паді (денна рос т5р сусіє Її рішв11(1-1); (1-0) (7-37)
Ко) РекаРосмМ5ВсСУусіе! ЧД|-РепаРосм5Всусіе! Ці-11.
Значення ОекаРосм5ВсСусіє! ЧИ" МахРісОгаетгСпії 5б-ріс огдег спі І6рб-рос ІБ Щі може складати в межах від 1 до 224-1, включно. Альтернативно, цикл М5В може відправлятися за допомогою сигналізації дейа рос т5о сусіє Її рій5МІЇ| як це(м) (тобто як елемент синтаксису, кодований експоненціальним кодом Голомба у вигляді беззнакового цілого, де лівий біт стоїть на першому місці), замість дейа рос тер сусіє Ж рійв1і(), де М - значення, більше 1.
Альтернативно, цикл МВ може відправлятися за допомогою сигналізації дейа рос тер сусіє ЩІ) як зе(м) (тобто як елемент синтаксису, кодований експоненціальним кодом Голомба у вигляді знакового цілого, де лівий біт стоїть на першому місці), замість дейа рос т5р сусіє Її рів.
Іншими словами, відповідно до методів даного розкриття, значення, що представляє цикл
М5В для зображення і (наприклад, дейа рос т5р сусіє Її ріи51(ї), яке фактично сигналізується в бітовому потоці), можна обчислювати відносно циклу М5В раніше кодованого довгострокового опорного зображення, наприклад зображення 1і-1, а не відносно значення базового М5В. Це математично еквівалентно обчисленню значення, що представляє цикл М5В для зображення і, як різниці між М5В значення РОС для зображення і та М5В значення РОС для зображення 1-1, передбачаючи, що це значення, зрештою, підсумовується зі значенням циклу М5В для зображення і-ї- для представлення істинного значення циклу М5В для зображення і (яке є різницею між М5В для зображення і та базового М5В). Це дозволяє досягнути економії бітів в бітовому потоці, оскільки значення, що представляють різниці між послідовними значеннями циклу МВ, можуть бути менше, ніж різниці між МВ довгострокових опорних зображень і базовим М5В.
У деяких прикладах, відеокодер 20 і відеодекодер 30 можуть здійснювати процес виведення для набору опорних зображень і маркування зображень згідно з етапами, що ідуть по порядку, де ОРВ означає буфер декодованих зображень, як описано в Доповненні С ММО7. Зазначимо, що порядок виведення піднаборів короткострокових опорних і довгострокових опорних зображень в нижченаведеному прикладі змінюється відносно порядку в УМО7. Посилання, взяті в дужки, поблизу правої границі призначені для позначення розділів М/97. Ці і інші зміни відносно алгоритму М/О7 відмічені з використанням підкресленого тексту в нижченаведеному прикладі: 1. Застосовується нижченаведене: тоці-0; і«МитРосеіСитВеїоге; і--ь) ї(в ОРВ присутнє короткострокове опорне зображення рісхХ з РісОгаєгСпіма!, що дорівнює
РосбіСитВеїогец|ії)
ВегРісзеї5іСитВегоге||-рісх віве
ВегРісзеї5іСитВегоге(|-"опорних зображень немає" тоці-0; і«МитРосевіСитАнпНег; іч-) ї(в ОРВ присутнє короткострокове опорне зображення рісхХ з РісОгаегСпіма!ї, що дорівнює РосБІСитАнНецііЇ)
ВегРісзеїБіСитАнНеці|-рісх віве
ВегРісзеїіСитАнНеці|-"опорних зображень немає" (8-7) тоці-0; і«МитРосеїРої!; і---) ї(в ОРВ присутнє короткострокове опорне зображення рісхХ з РісОгаегСпіма!, що дорівнює
РосеІЕ о!)
ВеїРісзеїсІРо|І-рісх віве
ВегРісзеївіРо!(|- "опорних зображень немає". 2. Всі опорні зображення, включені в еїРісбеїбіСигтВеїоге, КеїРісзеї5іСитАнЙег і
ВеїРісзеїсіРоЇї|, помічаються як "використовувані як короткострокові опорні". 3. Застосовується нижченаведене: тоці-0; і«МитРосі «Ситт; і---к) ( й(бденйа рос т5р ргезепі Падії) ї(в ОРВ присутнє довгострокове опорне зображення рісХ з ріс огаєг спі Ібб, що дорівнює
Росі їСигі, і воно не включене ні в один з КеїРісзеїЇ5зіСиггВегтоге, КеїРісзеї5іСигтАнйег і
ВеїРісзеїсіРоЇЇ)
ВегРісзей Ситі -рісх еібе в ОРВ присутнє короткострокове опорне зображення ріс з ріс огаєг спі І5б, що дорівнює Росі їСит|||, і воно не включене ні в один з НеїРісзеї5іСитВегоге, ВеїРісзеїзіСитАйНег і КегРісзеїіРоЇЇ)
ВегРісзей Ситі -рісу віве
ВегРісзей єСипті|- опорних зображень немає" ) вібе ї(в ОРВ присутнє довгострокове опорне зображення рісх з РісОгаєгСпімМа!Її, що дорівнює
Росі їСигі, і воно не включене ні в один з КеїРісзеїЇ5зіСиггВегтоге, КеїРісзеї5іСигтАнйег і
ВеїРісзеїсіРоЇЇ)
ВегРісзей Ситі -рісх еібе ШЩв ОРВ присутнє короткострокове опорне зображення рісї з РісОгаєїСпімМа!Ї, що дорівнює Росі їСитт||і|, ії воно не включене ні в один з НеїРісзеї5іСитВегоге, ВеїгРісзеїзіСитАйНег і КегРісзеїіРоЇЇ)
ВегРісзей Ситі -рісу віве
ВегРісзей Ситі - опорних зображень немає" ) 3 (8-6)
Тоці-0; і«МитРосі «Рої!; із--ь) / й(бденйа рос т5р ргезепі Падіії) ї(в ОРВ присутнє довгострокове опорне зображення рісХ з ріс огаеєг спі Ібб, що дорівнює
Росі теоїІ(|, ії воно не включене ні в один з КеїРісзеї5іСитВеїоге, КеїРісзе5зіСитАЦег і
ВеїРісзеїсіРоЇЇ)
ВегРісзей Бо Ц-рісх еібе в ОРВ присутнє короткострокове опорне зображення рісхм з ріс огаєг спі І5б, що дорівнює Росі ТЕо|(||, ії воно не включене ні в один з КеїРісзеї5іСигтВегоге, КеїРісзеї5іСигтАнНег і
ВеїРісзеїсіРоЇЇ)
ВегРісзей Бо Ці --рісу віве
ВегРісзей то Ці -"опорних зображень немає" ) вібе ї(в ОРВ присутнє довгострокове опорне зображення рісх з РісОгаєгСпімМа!Її, що дорівнює
Росі тео, ії воно не включене ні в один з КеїРісзеї5іСитВеїоге, КеїРісзе5зіСитАЦег і
ВеїРісзеїсіРоЇЇ)
ВегРісзей Бо Ц-рісх еібе ШЩв ОРВ присутнє короткострокове опорне зображення ріс з РісОгаєїСпімМа!Ї, що дорівнює Рос РОЇ, і воно не включене ні в один з РегРісзеібіСитВе!оге, НегРісзеїзіСитАнНег и КеїРісзеї5іРої!Ї)
ВегРісзей Бо Ці --рісу
Коо) віве
ВегРісвешщіЕо Ці -"опорних зображень немає" ) ) 4. Всі опорні зображення, включені в КеїРісзей'Сигг і РеїгРісзешівєоїЇ, помічаються як "використовувані як довгострокові опорні". 5. Всі опорні зображення в буфері декодованих зображень, які не включені в
ВеїРісзешіСитт, ВеїРісбецІЕоїІ, ВеїРісзезіСитВеїоге, ВеїРісвеї5іСитАйег або РеїРісзеїзійоїї, помічаються як "невикористовувані як опорні".
Може існувати одне або більше опорних зображень, які включені в набір опорних зображень, але не присутні в буфері декодованих зображень. Записи в КеїРісзеїзіЄоїЇ або
ВеїгРісзецшЕої, які дорівнюють "опорних зображень немає", потрібно ігнорувати. Якщо будь-яка з наступних двох умов не виконується, потрібно очікувати ненавмисну втрату зображення для кожного запису в КеїРісзеїзіСигтВегтоге, КегРісзеїзіСигтАнйЙег і КеїРісзецйш(Сигт, яка дорівнює "опорних зображень немає": а) перше кодоване зображення в бітовому потоці є зображенням
СКА, і поточне кодоване зображення є зображенням ТЕО, пов'язаним з першим кодованим зображенням в бітовому потоці; і Б) попереднє зображення КАР, що іде перед поточним кодованим зображенням в порядку декодування, є зображенням ВІА, і поточне кодоване зображення є зображенням ТЕО, пов'язаним із зображенням ВІ А.
Таким чином, відповідно до методів даного розкриття, відеокодер (наприклад, відеокодер 20 і або відеодекодер 30) може обчислювати значення циклу М5В для зображень, що мають різні значення Г5В, з використанням диференціального кодування. Крім того, відеокодер може кодувати поточне зображення відносно одного з довгострокових опорних зображень, наприклад зображення і-ї або зображення і, з використанням значень, що представляють цикли М5В.
Наприклад, відеокодер може визначати значення РОС для опорних зображень з використанням вищеописаної формули (формули 7-37) і/або вищеописаного алгоритму.
Таким чином, відеокодер 20 і відеодекодер 30 представляють приклади відеокодера, виконаного з можливістю кодування першого значення, що представляє різницю між значенням базових старших бітів (М5В) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших М5В першого значення РОС першого 60 довгострокового опорного зображення відеоданих, кодування другого значення, що представляє різницю між значенням других М5В другого значення РОС другого довгострокового опорного зображення відеоданих і значенням перших М5В, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (І5В), і кодування щонайменше частини поточного зображення відеоданих відносно щонайменше одного з першого довгострокового опорного зображення з використанням першого значення і другого довгострокового опорного зображення з використанням першого значення і другого значення.
Відеокодер 20, наприклад, може визначати, чи існує два або більше довгострокових опорних зображень для поточного зображення, для якого значення циклу МОВ (що також іменуються значеннями М5В) підлягають сигналізації, навіть коли довгострокові опорні зображення мають різні значення І ЗВ. У випадку наявності двох (або більше) довгострокових опорних зображень, що мають різні значення ЗВ, але для яких значення циклу М5В підлягають сигналізації, відеокодер 20 може кодувати дані, що представляють значення циклу М5В для другого довгострокового опорного зображення, як різницю (або дельту) відносно значення циклу М5В для першого довгострокового опорного зображення. Аналогічно, відеокодер 20 може кодувати дані, що представляють значення циклу МеВ для першого довгострокового опорного зображення, як різницю відносно значення базового М5В значення РОС для поточного зображення. Відеокодер 20 може додатково кодувати щонайменше частину поточного зображення (наприклад, один або більше блоків) відносно щонайменше одного з першого довгострокового опорного зображення і другого довгострокового опорного зображення.
Таким чином, коли відеодекодер 30 приймає дані, що вказують значення циклу М5В для довгострокових опорних зображень, відеодекодер 30 може декодувати значення, що представляє різницю між базовими М5В значення РОС для першого довгострокового опорного зображення, і обчислювати М5В значення РОС для першого довгострокового опорного зображення шляхом додавання значення до базових МОВ. Відеодекодер 30 також може декодувати значення, що представляє різницю між МВ значення РОС для другого довгострокового опорного зображення і М5В значення РОС для першого довгострокового опорного зображення, і обчислювати М5В значення РОС для другого довгострокового опорного зображення шляхом додавання значення до М5В значення РОС для першого довгострокового опорного зображення. Аналогічно, відеодекодер 30 може декодувати щонайменше частину
Зо поточного зображення відносно щонайменше одного з першого довгострокового опорного зображення і другого довгострокового опорного зображення, з використанням М5В значень
РОС для довгострокових опорних зображень.
Кожний з відеокодера 20 і відеодекодера 30 можна реалізувати у вигляді будь-якої з різних придатних схем кодера або декодера, якщо застосовно, наприклад одного або більше мікропроцесорів, цифрових сигнальних процесорів (О5Р), спеціалізованих інтегральних схем (АБІС), вентильних матриць, програмованих користувачем (ЕРСА), схеми дискретної логіки, програмного забезпечення, апаратного забезпечення, програмно-апаратного забезпечення або будь-яких їх комбінацій. Кожний з відеокодера 20 і відеодекодера 30 може входити до складу одного або більше кодерів або декодерів, будь-який з яких може входити до складу об'єднаного відеокодера/декодера (кодека). Пристрій, що включає в себе відеокодер 20 і/або відеодекодер 30, може містити інтегральну схему, мікропроцесор і/або пристрій бездротового зв'язку, наприклад стільниковий телефон.
На фіг. 2 показана блок-схема, що демонструє приклад відеокодера 20, який може реалізувати методи поліпшення сигналізації довгострокових опорних зображень в заголовках слайсів. Відеокодер 20 може здійснювати кодування з інтра- і інтерпрогнозуванням відеоблоків в слайсах відео. Кодування з інтрапрогнозуванням спирається на просторове прогнозування для зниження або усунення просторової надмірності у відеосигналі в даному кадрі відео або зображенні. Кодування з інтерпрогнозуванням спирається на часове прогнозування для зниження або усунення часової надмірності у відеосигналі в сусідніх кадрах або зображеннях відеопослідовності. Режим інтрапрогнозування (І-режим) може належати до будь-якого з декількох режимів просторового кодування. Режими інтерпрогнозування, наприклад однонаправлене прогнозування (Р-режим) або двонаправлене прогнозування (В-режим), можуть належати до будь-якого з декількох режимів часового кодування.
Як показано на фіг. 2, відеокодер 20 приймає поточний відеоблок в кадрі відео, що підлягає кодуванню. У прикладі, показаному на фіг. 2, відеокодер 20 включає в себе блок 40 вибору режиму, пам'ять 64 опорних зображень, суматор 50, блок 52 обробки перетворення, блок 54 квантування і блок 56 ентропійного кодування. Блок 40 вибору режиму, в свою чергу, включає в себе блок 44 компенсації руху, блок 42 оцінювання руху, блок 46 інтрапрогнозування і блок 48 розбиття. Для реконструкції відеоблоків, відеокодер 20 також включає в себе блок 58 бо зворотного квантування, блок 60 зворотного перетворення і суматор 62. Фільтр усунення блоковості (не показаний на фіг. 2), також може бути включений для фільтрації границі блоків для видалення артефактів блоковості з реконструйованого відеосигналу. При бажанні, фільтр усунення блоковості звичайно фільтрує вихідний сигнал суматора 62. Крім фільтра усунення блоковості також можна використовувати додаткові фільтри (всередині контуру або після контуру). Такі фільтри скорочено не показані, але, при бажанні, можуть фільтрувати вихідний сигнал суматора 50 (як внутрішньоконтурний фільтр).
У ході процесу кодування, відеокодер 20 приймає кадр або слайс відео, що підлягає кодуванню. Кадр або слайс може ділитися на декілька відеоблоків. Блок 42 оцінювання руху і блок 44 компенсації руху здійснюють кодування з інтерпрогнозуванням прийнятого відеоблока відносно одного або більше блоків в одному або більше опорних кадрах для забезпечення часового прогнозування. Блок 46 інтрапрогнозування може альтернативно здійснювати кодування з інтрапрогнозуванням прийнятого відеоблока відносно одного або більше сусідніх блоків в одному і тому ж кадрі або слайсі як блока, що підлягає кодуванню, для забезпечення просторового прогнозування. Відеокодер 20 може здійснювати декілька проходів кодування, наприклад, для вибору належного режиму кодування для кожного блока відеоданих.
Крім того, блок 48 розбиття може розбивати блоки відеоданих на підблоки, на основі оцінювання попередніх схем розбиття в попередніх проходах кодування. Наприклад, блок 48 розбиття може спочатку розбивати кадр або слайс на І СИ і розбивати кожну з СІ на під-СШ на основі аналізу швидкості-спотворення (наприклад, оптимізації швидкості-спотворення). Блок 40 вибору режиму може додатково створювати структуру даних квадродерева, що вказує розбиття
Си на під-СО. Крайові СО квадродерева можуть включати в себе одну або більше РИ і одну або більше ТИ.
Блок 40 вибору режиму може вибирати один з режимів кодування, інтра- або інтер-, наприклад, на основі помилкових результатів і видавати блок, одержаний кодуванням з інтра- або з інтерпрогнозуванням, на суматор 50 для генерації даних залишкового блока і на суматор 62 для реконструкції кодованого блока для використання як опорного кадру. Блок 40 вибору режиму також видає елементи синтаксису, наприклад вектори руху, індикатори режиму інтрапрогнозування, інформацію розбиття і іншу подібну синтаксичну інформацію, на блок 56 ентропійного кодування. Відповідно до методів даного розкриття, блок 40 вибору режиму може
Зо видавати інформацію, що ідентифікує опорне зображення, наприклад, чи потрібно розглядати опорне зображення як довгострокове опорне зображення або короткострокове опорне зображення, а також молодші біти (58) значень лічильника порядку зображень (РОС) для довгострокових опорних зображень, на блок 56 ентропійного кодування. Блок 56 ентропійного кодування, або інший блок відеокодера 20, може включати таку інформацію, що ідентифікує опорне зображення, в заголовок слайсу для слайсу, відповідно до методів даного розкриття.
Альтернативно, блок 56 ентропійного кодування може включати інформацію, що ідентифікує опорне зображення (наприклад, для указання, які опорні зображення є довгостроковими опорними зображеннями), в набір параметрів, наприклад набір параметрів зображення (РРБ) або набір параметрів послідовності (ЗР).
Як пояснено вище, довгострокові опорні зображення можна сигналізувати з використанням
Ї5В значень РОС для довгострокових опорних зображень. Наприклад, блок 56 ентропійного кодування може вказувати, що опорне зображення є довгостроковим опорним зображенням, за допомогою сигналізації І 5В значення РОС для опорного зображення в заголовку слайсу, РР5 або 5РБ5Б. Інші опорні зображення, які не сигналізуються таким чином, можна розглядати як короткострокові опорні зображення.
За допомогою сигналізації ідентифікуючої інформації для довгострокових опорних зображень, блок 56 ентропійного кодування забезпечує дані, що вказують, які опорні зображення підлягають зберіганню в буфері декодованих зображень (ОРВ) відеодекодера (наприклад, відеодекодера 30) протягом відносно тривалого періоду часу і які опорні зображення можна видалити з буфера декодованих зображень раніше. Загалом, довгострокові опорні зображення можуть використовуватися як опорні зображення для кодування зображень, що мають відносно пізні часи в порядку декодування. Таким чином, сигналізація ідентифікуючої інформації для довгострокових опорних зображень забезпечує інформацію для відеодекодера, наприклад відеодекодера 30, щоб відеодекодер міг визначити, чи можна видалити опорне зображення зі свого власного ОРВ.
Блок 42 оцінювання руху і блок 44 компенсації руху можуть бути високою мірою інтегровані, але проілюстровані окремо з принципових міркувань. Оцінювання руху, здійснюване блоком 42 оцінювання руху, являє собою процес генерації векторів руху, які оцінюють рух для відеоблоків.
Вектор руху, наприклад, може вказувати переміщення РИ відеоблока в поточному кадрі відео 60 або зображенні відносно прогностичного блока в опорному кадрі (або іншій кодованій одиниці)
відносно блока, в даний момент кодованого в поточному кадрі (або іншій кодованій одиниці).
Прогностичний блок - це блок, відносно якого встановлено, що він добре узгоджується з блоком, що підлягає кодуванню, відносно піксельної різниці, яка може визначатися сумою абсолютних значень різниці (ЗАВ), сумою квадратів різниць (550) або іншими різницевими метриками. У деяких прикладах, відеокодер 20 може обчислювати значення для субцілих піксельних позицій опорних зображень, що зберігаються в пам'яті 64 опорних зображень. Наприклад, відеокодер 20 може інтерполювати значення позицій, визначених з точністю до чверті пікселя, позицій, визначених з точністю до однієї восьмої пікселя або інших дробовопіксельних позицій опорного зображення. Таким чином, блок 42 оцінювання руху може здійснювати пошук руху відносно повнопіксельних позицій і дробовопіксельних позицій і виводити вектор руху з дробовопіксельною точністю.
Блок 42 оцінювання руху обчислює вектор руху для РИ відеоблока в кодованому з інтерпрогнозуванням слайсі, порівнюючи позицію РИ з позицією прогностичного блока опорного зображення. Опорне зображення можна вибирати з першого списку опорних зображень (списку 0) або другого списку опорних зображень (списку 1), кожний з яких ідентифікує одне або більше опорних зображень, що зберігаються в пам'яті 64 опорних зображень. У пам'яті 64 опорних зображень можуть зберігатися як довгострокові, так і короткострокові опорні зображення. Блок 42 оцінювання руху відправляє обчислений вектор руху на блок 56 ентропійного кодування і блок 44 компенсації руху.
Компенсація руху, виконувана блоком 44 компенсації руху, може передбачати вибірку або генерацію прогностичного блока на основі вектора руху, визначеного блоком 42 оцінювання руху. Знову ж, блок 42 оцінювання руху і блок 44 компенсації руху в деяких прикладах можуть бути функціонально інтегровані. Прийнявши вектор руху для РУ поточного відеоблока, блок 44 компенсації руху може визначати місцеположення прогностичного блока, на який вказує вектор руху, в одному зі списків опорних зображень. Суматор 50 формує залишковий відеоблок шляхом віднімання піксельних значень прогностичного блока з піксельних значень кодованого в даний момент відеоблока, формуючи різницеві значення пікселів, як розглянуто нижче.
Загалом, блок 42 оцінювання руху здійснює оцінювання руху відносно компонент, і блок 44 компенсації руху використовує вектори руху, обчислені на основі компонент яскравості, як для компонент кольоровості, так і для компонент яскравості.
Блок 40 вибору режиму також може генерувати елементи синтаксису, пов'язані з відеоблоками і слайсом відео, для використання відеодекодером 30 при декодуванні відеоблоків слайсу відео. Наприклад, обчисливши вектор руху для блока відеоданих (де вектор руху вказує на опорний блок в опорному зображенні), блок 40 вибору режиму може генерувати значення для параметрів руху, наприклад список опорних зображень, в якому зберігається опорне зображення, і індекс списку опорних зображень, який відповідає позиції опорного зображення в списку опорних зображень. Ці і інші параметри руху можна кодувати на основі режиму кодування вектора руху. Наприклад, використовуючи вдосконалене прогнозування вектора руху (АМУР), блок 56 ентропійного кодування може ідентифікувати прогнозувач вектора руху (відповідний просторовому або часовому сусіду поточного блока) і в явному вигляді сигналізувати список опорних зображень, індекс опорного зображення і значення різниці векторів руху по горизонталі і вертикалі. У порядку іншого прикладу, використовуючи режим злиття, блок 56 ентропійного кодування може ідентифікувати прогнозувач вектора руху з використанням індексу злиття, і список опорних зображень і опорний індекс можуть успадкуватися від прогнозувача вектора руху (наприклад, інформації руху сусіднього блока, є це просторовий сусід або часовий сусід).
Відеокодер 20 сигналізує інформацію, що вказує, які опорні зображення є довгостроковими опорними зображеннями, як для указання того, що ці зображення не треба видаляти з ОРВ, так і для забезпечення інформації, яку можна використовувати в ході процесу побудови списку опорних зображень. Таким чином, відеодекодер, наприклад відеодекодер 30, може бути здатний точно відтворювати список опорних зображень таким чином, щоб опорний індекс, використовуваний як інформація руху для блока, одержаного інтерпрогнозуванням, точно вказував правильне опорне зображення.
Як згадано вище, довгострокові опорні зображення можна сигналізувати з використанням значень РОС довгострокових опорних зображень. Значення РОС, в загальному випадку, відповідають даним, що вказують порядок відображення (що також іменується порядком виведення) зображень, який не обов'язково повинен співпадати з порядком декодування (що також іменується порядком бітового потоку). Значення РОС для довгострокових опорних зображень можна сигналізувати з використанням тільки молодших бітів (І5В). Дані, що 60 представляють МОВ, можна сигналізувати час від часу, наприклад, коли два або більше довгострокових опорних зображень мають однакові І ЗВ. У ряді випадків, відеокодер 20 може визначати, що дані, що представляють МОВ для двох (або більше) зображень, необхідно сигналізувати, навіть коли щонайменше два зображення, для яких сигналізуються дані М5В, мають різні І ЗВ.
Відповідно до методів даного розкриття, відеокодер 20 може сигналізувати дані, що представляють М5В, як різницю, наприклад різницю між одним набором М5В і іншим набором
М5В. Наприклад, як розглянуто вище відносно таблиці 1, відеокодер 20 може обчислювати різницю між значенням базових МеВ і значенням МОВ для довгострокового опорного зображення. Блок 56 ентропійного кодування може сигналізувати цю різницю як значення, що представляє МВ для довгострокового опорного зображення. Значення базових М5В може відповідати МОВ значення РОС поточного зображення. Альтернативно, значення базових М5В може відповідати МОВ значення РОС іншого зображення, наприклад зображення миттєвого оновлення декодера (ОК).
Після кодування значення різниці для одного довгострокового опорного зображення, блок 56 ентропійного кодування може обчислювати різницю між МеВ значення РОС для іншого довгострокового опорного зображення і МеВ означення РОС для більш раннього довгострокового опорного зображення. Аналогічно, блок 56 ентропійного кодування може сигналізувати це друге значення різниці для наступного довгострокового опорного зображення, що дозволяє відеодекодеру, наприклад відеодекодеру 30, реконструювати М5В значення РОС для наступного довгострокового опорного зображення. Таким чином, відеокодер 20 може бути виконаний з можливістю кодування даних, що представляють МеВ значень РОС для довгострокових опорних зображень, у вигляді різницевих значень, наприклад, відносно значення базових МОВ або відносно раніше закодованих МОВ для значень РОС інших довгострокових опорних зображень. Крім того, відеокодер 20 може сигналізувати ці різницеві значення навіть тоді, коли І ЗВ значень РОС відрізняються.
Як розглянуто вище, в деяких прикладах, відеокодер 20 може бути виконаний з можливістю кодування негативних цілочислових значень для різницевих значень, що представляють різниці між М5В значень РОС для одного або більше довгострокових опорних зображень і значенням базових М5В (або інших опорних М5В). Наприклад, коли блок 56 ентропійного кодування (або
Зо інший блок відеокодера 20) визначає, що поточне зображення має значення РОС, що дорівнює
МахРісОгаєгСпії 50"М-1, і що зображення, яке має значення РОС, що дорівнює
МахРісОгаетСпі! 50"М, є першим І ТЕР, для якого сигналізується дейа рос тер сусіє ЩІЇ, блок 56 ентропійного кодування може кодувати значення -1 для М5В значення РОС І ТЕР.
Додатково або альтернативно, відеокодер 20 може бути виконаний з можливістю кодування даних, що представляють значення РОС для довгострокових опорних зображень, щонайменше частково на основі сумарної кількості опорних зображень, що в даний момент зберігаються в наборі опорних зображень (або буфері декодованих зображень), і/або кількості короткострокових опорних зображень, що в даний момент зберігаються в наборі опорних зображень (або буфері декодованих зображень). Наприклад, відеокодер 20 може бути виконаний з можливістю визначення, чи сигналізувати значення циклу М5В РОС для довгострокового опорного зображення на основі того, чи присутні які-небудь інші довгострокові опорні зображення в наборі опорних зображень (або буфері декодованих зображень), які мають таке ж значення І 5В РОС, як довгострокове опорне зображення. Таким чином, коли в наборі опорних зображень присутнє тільки одне або більше короткострокових опорних зображень, що мають такі ж Ї5В РОС, як довгострокове опорне зображення, відеокодер 20 може уникати кодування значення циклу М5В РОС для довгострокового опорного зображення.
Додатково або альтернативно, відеокодер 20 може приймати рішення не кодувати цикл М5В дельта значення РОС для довгострокового опорного зображення при наявності в буфері декодованих зображень М довгострокових опорних зображень, що мають такі ж І 5В, як значення РОС для довгострокового опорного зображення, і коли відеокодер 20 вже закодував значення циклу М5В дельта РОС для М-1 довгострокових опорних зображень.
Блок 46 інтрапрогнозування може виконувати інтрапрогнозування поточного блока, в порядку альтернативи інтерпрогнозуванню, здійснюваному блоком 42 оцінювання руху і блоком 44 компенсації руху, як описано вище. Зокрема, блок 46 інтрапрогнозування може визначати, що для кодування поточного блока потрібно використовувати режим інтрапрогнозування. У деяких прикладах, блок 46 інтрапрогнозування може кодувати поточний блок з використанням різних режимів інтрапрогнозування, наприклад в окремих проходах кодування, і блок 46 інтрапрогнозування (або, в деяких прикладах, блок 40 вибору режиму) може вибирати використання належного режиму інтрапрогнозування з тестованих режимів.
Наприклад, блок 46 інтрапрогнозування може обчислювати значення швидкості- спотворення з використанням аналізу швидкості-спотворення для різних тестованих режимів інтрапрогнозування і вибирати режим інтрапрогнозування, що має найкращі характеристики швидкості-спотворення з тестованих режимів. Аналіз швидкості-спотворення, в загальному випадку, визначає величину спотворення (або помилки) між кодованим блоком і початковим некодованим блоком, який кодувався для створення кодованого блока, а також бітову швидкість (тобто кількість бітів), використовувану для створення кодованого блока. Блок 46 інтрапрогнозування може обчислювати відношення зі спотворень і швидкостей для різних кодованих блоків для визначення, який режим інтрапрогнозування демонструє найкраще значення швидкості-спотворення для блока.
Вибравши режим інтрапрогнозування для блока, блок 46 інтрапрогнозування може надавати інформацію, що вказує вибраний режим інтрапрогнозування для блока, блоку 56 ентропійного кодування. Блок 56 ентропійного кодування може кодувати інформацію, що вказує вибраний режим інтрапрогнозування. Відеокодер 20 може включати в бітовий потік, що передається, дані конфігурації, які можуть включати в себе декілька індексних таблиць режиму інтрапрогнозування і декілька модифікованих індексних таблиць режиму інтрапрогнозування (що також іменуються таблицями відображення кодових слів), визначення контекстів кодування для різних блоків і указання найбільш імовірного режиму інтрапрогнозування, індексної таблиці режиму інтрапрогнозування і модифікованої індексної таблиці режиму інтрапрогнозування, що підлягає використанню для кожного з контекстів.
Відеокодер 20 формує залишковий відеоблок шляхом віднімання даних прогнозування з блока 40 вибору режиму з початково кодованого відеоблока. Суматор 50 представляє компонент або компоненти, які здійснюють цю операцію віднімання. Блок 52 обробки перетворення застосовує перетворення, наприклад дискретне косинусне перетворення (ОСТ) або принципово аналогічне перетворення, до залишкового блока, створюючи відеоблок, що містить значення залишкових коефіцієнтів перетворення. Блок 52 обробки перетворення може здійснювати інші перетворення, в принципі, аналогічні ОСТ. Вейвлетні перетворення, цілочислові перетворення, перетворення піддіапазонів або також можна використовувати інші типи перетворень. У будь-якому випадку, блок 52 обробки перетворення застосовує
Зо перетворення до залишкового блока, створюючи блок залишкових коефіцієнтів перетворення.
Перетворення може перетворювати залишкову інформацію з області піксельних значень в перетворювальну область, наприклад частотну область. Блок 52 обробки перетворення може відправляти одержані коефіцієнти перетворення на блок 54 квантування. Блок 54 квантування квантує коефіцієнти перетворення для додаткового зниження бітової швидкості. Процес квантування може зменшувати бітову глибину, пов'язану з деякими або всіма з коефіцієнтів.
Міру квантування можна змінювати, регулюючи параметр квантування. У деяких прикладах, блок 54 квантування може потім здійснювати сканування матриці, що включає в себе квантовані коефіцієнти перетворення. Альтернативно, сканування може здійснювати блок 56 ентропійного кодування.
Після квантування, блок 56 ентропійного кодування ентропійно кодує квантовані коефіцієнти перетворення. Наприклад, блок 56 ентропійного кодування може здійснювати контекстно- адаптивне кодування із змінною довжиною слова (САМІ С), контекстно-адаптивне двійкове арифметичне кодування (САВАС), контекстно-адаптивне двійкове арифметичне кодування на основі синтаксису (ЗВАС), ентропійне кодування з розбиттям інтервалу імовірності (РІРЕ) або інший метод ентропійного кодування. У випадку ентропійного кодування на контекстній основі, контекст може базуватися на сусідніх блоках. Після ентропійного кодування блоком 56 ентропійного кодування, кодований бітовий потік може передаватися на інший пристрій (наприклад, відеодекодер 30) або архівуватися для передачі або витягання надалі.
Блок 58 зворотного квантування і блок 60 зворотного перетворення застосовують зворотне квантування і зворотне перетворення, відповідно, для реконструкції залишкового блока в піксельної області, наприклад, для використання надалі як опорного блока. Блок 44 компенсації руху може обчислювати опорний блок шляхом додавання залишкового блока до прогностичного блока одного з кадрів пам'яті 64 опорних зображень. Блок 44 компенсації руху також може застосовувати один або більше інтерполяційних фільтрів до реконструйованого залишкового блока для обчислення субцілих піксельних значень для використання при оцінюванні руху.
Суматор 62 додає реконструйований залишковий блок до блока прогнозування, підданого компенсації руху, створеного блоком 44 компенсації руху, для створення реконструйованого відеоблока для збереження в пам'яті 64 опорних зображень. Реконструйований відеоблок може використовуватися блоком 42 оцінювання руху і блоком 44 компенсації руху як опорний блок бо для інтеркодування блока в наступному кадрі відео.
Відеокодер 20, показаний на фіг. 2, представляє приклад відеокодера, який може бути виконаний з можливістю кодування даних для поточного зображення відеоданих, причому кодовані дані представляють негативне цілочислове значення для циклу старших бітів (М5В) лічильника порядку зображень (РОС) для довгострокового опорного зображення для поточного зображення, і кодування щонайменше частини поточного зображення відносно довгострокового опорного зображення щонайменше частково на основі негативного цілочислового значення для циклу М5В.
Відеокодер 20, показаний на фіг. 2, також представляє приклад відеокодера, який, додатково або альтернативно, може бути виконаний з можливістю кодування щонайменше першої частини поточного зображення відеоданих відносно першого довгострокового опорного зображення і щонайменше другої частини поточного зображення у друге довгострокове опорне зображення, кодування першого значення, що представляє різницю між значенням базових старших бітів (МОВ) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших М5В першого значення РОС першого довгострокового опорного зображення відеоданих, і кодування другого значення, що представляє різницю між значенням других М5В другого значення РОС другого довгострокового опорного зображення відеоданих і значенням перших М5В, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (І5В).
Відеокодер 20, показаний на фіг. 2, також представляє приклад відеокодера, який, додатково або альтернативно, може бути виконаний з можливістю визначення кількості опорних зображень, помічених як короткострокові опорні зображення, з сумарної кількості доступних опорних зображень, для поточного зображення, кодування значення старших бітів (М5В) для довгострокових опорних зображень для поточного зображення на основі сумарної кількості опорних зображень і кількості опорних зображень, помічених як короткострокові опорні зображення, і кодування щонайменше частини поточного зображення відносно щонайменше одного з доступних опорних зображень.
Відеокодер 20, показаний на фіг. 2, також представляє приклад відеокодера, який, додатково або альтернативно, може бути виконаний з можливістю визначення кількості М опорних зображень для поточного зображення, які мають значення лічильника порядку
Зо зображень (РОС) з рівними значеннями молодшого біта (І ЗВ), визначення, що набір опорних зображень поточного зображення може включати в себе М довгострокових опорних зображень, і кодування значень циклу старших бітів (М5В) дельта РОС для, найбільше, М-1 довгострокових опорних зображень на основі визначень.
На фіг. З показана блок-схема, що демонструє приклад відеодекодера 30, який може реалізувати методи поліпшення сигналізації довгострокових опорних зображень в заголовках слайсів. У прикладі, показаному на фіг. 3, відеодекодер 30 включає в себе блок 70 ентропійного декодування, блок 72 компенсації руху, блок 74 інтрапрогнозування, блок 76 зворотного квантування, блок 78 зворотного перетворення, пам'ять 82 опорних зображень і суматор 80.
Відеодекодер 30, в деяких прикладах, може здійснювати прохід декодування, в загальному випадку, зворотний проходу кодування, описаному відносно відеокодера 20 (фіг. 2). Блок 72 компенсації руху може генерувати дані прогнозування на основі векторів руху, прийнятих від блока 70 ентропійного декодування, а блок 74 інтрапрогнозування може генерувати дані прогнозування на основі індикаторів режиму інтрапрогнозування, прийнятих від блока 70 ентропійного декодування.
У ході процесу декодування, відеодекодер 30 приймає кодований бітовий потік відеоданих, який представляє відеоблоки кодованого слайсу відео і відповідні елементи синтаксису, від відеокодера 20. Блок 70 ентропійного декодування відеодекодера 30 ентропійно декодує бітовий потік для генерації квантованих коефіцієнтів, векторів руху або індикаторів режиму інтрапрогнозування і інших елементів синтаксису. Блок 70 ентропійного декодування пересилає вектори руху і інші елементи синтаксису на блок 72 компенсації руху. Відеодекодер 30 може приймати елементи синтаксису на рівні слайсів відео і/або рівні відеоблоків.
Коли слайс відео кодується як кодований з інтрапрогнозуванням (І) слайс, блок 74 інтрапрогнозування може генерувати дані прогнозування для відеоблока поточного слайсу відео на основі сигналізованого режиму інтрапрогнозування і даних з раніше декодованих блоків поточного кадру або зображення. Коли кадр відео кодується як кодований з інтерпрогнозуванням (тобто В, Р або СРВ) слайс, блок 72 компенсації руху створює прогностичні блоки для відеоблока поточного слайсу відео на основі векторів руху і інших елементів синтаксису, прийнятих від блока 70 ентропійного декодування. Прогностичні блоки можна створювати з одного з опорних зображень в одному зі списків опорних зображень. 60 Відеодекодер 30 може будувати списки опорних зображень, список 0 і список 1, з використанням прийнятих за замовчуванням методів побудови на основі опорних зображень, що зберігаються в пам'яті 82 опорних зображень.
Відеодекодер 30 може визначати набір опорних зображень, з якого відеодекодер 30 будує списки опорних зображень. У деяких випадках, наприклад, коли відеодекодер 30 узгоджується з
НЕМС, відеодекодер 30 може будувати списки опорних зображень відповідно до розділу 8.3.3
НЕМС М/О7. Набір опорних зображень, в загальному випадку, відповідає опорним зображенням, що в даний момент зберігаються в буфері декодованих зображень, наприклад в пам'яті 82 опорних зображень. Певні опорні зображення набору опорних зображень можуть бути помічені як короткострокові опорні зображення, тоді як інші опорні зображення набору опорних зображень можуть бути помічені як довгострокові опорні зображення. Загалом, довгострокове опорне зображення помічається як "використовуване як довгострокове опорне", наприклад, в заголовку одиниці рівня мережевих абстракцій (МАГ) одиниці МАГ, де інкапсульовані кодовані відеодані для опорного зображення.
Відповідно до методів даного розкриття, відеодекодер 30 може бути виконаний з можливістю декодування ідентифікаторів для довгострокових опорних зображень з використанням диференціального кодування. Наприклад, для першого довгострокового опорного зображення (наприклад, довгострокового опорного зображення, що має значення індексу 0 в послідовності зображень), відеодекодер 30 може декодувати значення різниці, що вказує різницю між М5В РОС для довгострокового опорного зображення і М5В РОС для поточного зображення. МОВ РОС для поточного зображення можуть іменуватися "базовими
М5В". Для інших довгострокових опорних зображень (наприклад, довгострокових опорних зображень, що мають значення індексу, яке більше 0 в послідовності зображень), відеодекодер 30 може декодувати значення різниці, що вказує різницю між МОВ РОС для довгострокового опорного зображення і М5В РОС для попереднього довгострокового опорного зображення.
Виходячи з того, що довгострокове опорне зображення, для якого в даний момент визначаються М5В РОС, має значення індексу і, відеодекодер 30 може звертатися до М5В РОС довгострокового опорного зображення, що має значення індексу будь-якого значення від 0 до і- 1, включно, для визначення М5В РОС. Таким чином, відеодекодер 30 може звертатися до М5В
РОС довгострокового опорного зображення, що має значення індексу і, де | складає від 0 до 1-1, включно. Значення різниці, в ряді випадків, може мати негативне цілочислове значення.
Після прийому значення різниці, яка описує різницю між МОВ РОС для довгострокового опорного зображення, відеодекодер 30 може визначати значення МОВ РОС, до якого застосовується значення різниці (тобто до якого треба додати значення різниці для реконструкції МОВ РОС для довгострокового опорного зображення). Наприклад, якщо довгострокове опорне зображення має значення індексу 0 (яке вказує, що довгострокове опорне зображення є першим по порядку довгостроковим опорним зображенням в послідовності зображень), відеодекодер, 30 може використовувати значення М5В РОС поточного зображення як значення базових М5В і додавати значення різниці, сигналізоване для довгострокового опорного зображення, до значення базових М5В. У порядку іншого прикладу, якщо довгострокове опорне зображення має значення індексу більше 0 (яке вказує, що довгострокове опорне зображення не є першим по порядку довгостроковим опорним зображенням в послідовності зображень), виходячи з того, що значення індексу дорівнює і, відеодекодер 30 може додавати сигналізоване значення різниці до М5В РОС для довгострокового опорного зображення, що має значення індексу 1-1.
Таким чином, відеодекодер 30 може декодувати перше значення, що представляє різницю між значенням базових старших бітів (МОВ) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших М5В першого значення РОС першого довгострокового опорного зображення відеоданих, і декодувати друге значення, що представляє різницю між значенням других М5В другого значення РОС другого довгострокового опорного зображення відеоданих і значенням перших МЗВ, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (158). Аналогічно, відеодекодер 30 може обчислювати перше значення циклу М5В для першого довгострокового опорного зображення як ЮепаРосмМ5ВсСусіє! Чі-4 з використанням першого значення (тобто першого значення різниці) і обчислювати друге значення циклу М5В для другого довгострокового опорного зображення як РепаРосмМ5ВсСУусіє! ЧїЇ, причому обчислення другого значення циклу М5В включає обчислення РепаРосмеВСУусієї Ц| она основі
БРепаРосмМ5ВсС»Уусіє! Ці-11 і другого значення (тобто другого значення різниці).
Крім того, відеодекодер 30 може декодувати І 5В для значень РОС довгострокових опорних зображень. Ї5В може сигналізуватися в заголовку слайсу для слайсу для поточного 60 зображення, набору параметрів послідовності (ЗР5) для послідовності, що включає в себе поточне зображення, набору параметрів зображення (РР5) для поточного зображення або в іншому місці. Відеодекодер 30 може з'єднувати М5В і Г5В для значення РОС довгострокового опорного зображення для визначення повного значення РОС довгострокового опорного зображення. Потім відеодекодер 30 може збирати список опорних зображень, що включає в себе довгострокові опорні зображення, ідентифіковані значенням РОС. Таким чином, відеодекодер 30 може використовувати інформацію руху (наприклад, дані, які ідентифікують список опорних зображень, і опорний індекс) для здійснення інтерпрогнозування. Наприклад, як пояснено нижче, блок 72 компенсації руху може визначати опорний блок для блока поточного зображення щонайменше частково на основі інформації руху, яка ідентифікує опорне зображення, відповідне одному із зображень в одному зі списків опорних зображень. Опорне зображення може відповідати одному з довгострокових опорних зображень або короткостроковому опорному зображенню.
Блок 72 компенсації руху визначає інформацію прогнозування для відеоблока поточного слайсу відео, аналізуючи вектори руху і інші елементи синтаксису, і використовує інформацію прогнозування для створення прогностичних блоків для декодованого в даний момент відеоблока. Наприклад, блок 72 компенсації руху використовує деякі з прийнятих елементів синтаксису для визначення режиму прогнозування (наприклад, інтра- або інтерпрогнозування), використовуваного для кодування відеоблоків слайсу відео, типу інтерпрогнозованого слайсу (наприклад, В-слайсу, Р-слайсу або СРВ-слайсу), інформації побудови для одного або більше зі списків опорних зображень для слайсу, векторів руху для кожного кодованого з інтерпрогнозуванням відеоблока слайсу, статусу інтерпрогнозування для кожного кодованого з інтерпрогнозуванням відеоблока слайсу і іншої інформації для декодування відеоблоків в поточному слайсі відео.
Блок 72 компенсації руху також може здійснювати інтерполяцію на основі інтерполяційних фільтрів. Блок 72 компенсації руху може використовувати інтерполяційні фільтри, які використовуються відеокодером 20 в ході кодування відеоблоків, для обчислення інтерпольованих значень для субцілих пікселів опорних блоків. У цьому випадку, блок 72 компенсації руху може визначати інтерполяційні фільтри, використовувані відеокодером 20, з прийнятих елементів синтаксису і використовувати інтерполяційні фільтри для створення
Зо прогностичних блоків.
Блок 76 зворотного квантування здійснює зворотне квантування, тобто деквантує, квантовані коефіцієнти перетворення, забезпечені в бітовому потоці і декодовані блоком 70 ентропійного декодування. Процес зворотного квантування може включати в себе використання параметра квантування ОРУ, обчисленого відеодекодером 30 для кожного відеоблока в слайсі відео, для визначення міри квантування і, аналогічно, міри зворотного квантування, що потрібно застосовувати. Блок 78 зворотного перетворення застосовує зворотне перетворення, наприклад зворотне ОСТ, зворотне цілочислове перетворення або, в принципі, аналогічний процес зворотного перетворення, до коефіцієнтів перетворення для створення залишкових блоків в піксельній області.
Після того, як блок 72 компенсації руху генерує прогностичний блок для поточного відеоблока на основі векторів руху і інших елементів синтаксису, відеодекодер 30 формує декодований відеоблок шляхом підсумовування залишкових блоків з блока 78 зворотного перетворення з відповідними прогностичними блоками, генерованими блоком 72 компенсації руху. Суматор 80 представляє компонент або компоненти, які здійснюють цю операцію підсумовування. При бажанні, фільтр усунення блоковості також можна застосовувати для фільтрації декодованих блоків для усунення артефактів блоковості. Інші контурні фільтри (або в контурі кодування, або після контуру кодування) також можна використовувати для згладжування піксельних переходів або іншого підвищення якості відео. Потім декодовані відеоблоки в даному кадрі або зображенні зберігаються в пам'яті 82 опорних зображень, де зберігаються опорні зображення, використовувані для подальшої компенсації руху. У пам'яті 82 опорних зображень також зберігається декодований відеосигнал для подальшого представлення на пристрої відображення, наприклад пристрої 32 відображення, показаному на фіг. 1.
Таким чином, відеодекодер 30, показаний на фіг. З, представляє приклад відеодекодера, який може бути виконаний з можливістю декодування першого значення, що представляє різницю між значенням базових старших бітів (М5В) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших МОВ першого значення РОС першого довгострокового опорного зображення відеоданих, декодування другого значення, що представляє різницю між значенням других М5В другого значення РОС другого бо довгострокового опорного зображення відеоданих і значенням перших М5В, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (І ЗВ), і декодування щонайменше частини поточного зображення відеоданих відносно щонайменше одного з першого довгострокового опорного зображення з використанням першого значення і другого довгострокового опорного зображення з використанням першого значення і другого значення.
Відеодекодер 30, показаний на фіг. З, також представляє приклад відеодекодера, який, додатково або альтернативно, може бути виконаний з можливістю декодування даних для поточного зображення відеоданих, причому декодовані дані представляють негативне цілочислове значення для циклу старших бітів (МОВ) лічильника порядку зображень (РОС) для довгострокового опорного зображення відносно поточного зображення, і декодування щонайменше частини поточного зображення відносно довгострокового опорного зображення щонайменше частково на основі негативного цілочислового значення для циклу М5В.
Відеодекодер 30, показаний на фіг. З, також представляє приклад відеодекодера, який, додатково або альтернативно, може бути виконаний з можливістю визначення кількості опорних зображень, помічених як короткострокові опорні зображення, з сумарної кількості доступних опорних зображень, для поточного зображення, декодування значення старших бітів (М5В) для довгострокових опорних зображень для поточного зображення на основі сумарної кількості опорних зображень і кількості опорних зображень, помічених як короткострокові опорні зображення, і декодування щонайменше частини поточного зображення відносно щонайменше одного з доступних опорних зображень.
Відеодекодер 30, показаний на фіг. З, також представляє приклад відеодекодера, який, додатково або альтернативно, може бути виконаний з можливістю визначення кількості М опорних зображень для поточного зображення, які мають значення лічильника порядку зображень (РОС) з рівними значеннями молодшого біта (І 5В), визначення, що набір опорних зображень може включати в себе М довгострокових опорних зображень, і декодування значень циклу старших бітів (М5В) дельта РОС для, найбільше, М-1 довгострокових опорних зображень на основі визначень.
На фіг 4 показана принципова схема, що демонструє послідовність кодованих відеозображень 100-132. Зображення зафарбовані по-різному для указання позицій в ієрархічній структурі прогнозування. Наприклад, зображення 100, 116 і 132 зафарбовані чорним
Зо для представлення, що зображення 100, 116, 132 розташовуються вгорі ієрархічної структури прогнозування. Зображення 100, 116, 132 можуть містити, наприклад, кодовані з інтрапрогнозуванням зображення або кодовані з інтерпрогнозуванням зображення, які прогнозуються з інших зображень в одному напрямку (наприклад, Р-зображення). У випадку кодування з інтрапрогнозуванням, зображення 100, 116, 132 прогнозуються виключно з даних в одному і тому ж зображенні. У випадку кодування з інтерпрогнозуванням, зображення 116, наприклад, можна кодувати відносно даних зображення 100, як указано пунктирною стрілкою із зображення 116 в зображення 100. Зображення 116, 132 утворюють ключові зображення груп зображень (СОР) 134, 136, відповідно.
Зображення 108, 124 зафарбовані темним кольором для указання, що вони є наступними в ієрархії кодування після зображень 100, 116 і 132. Зображення 108, 124 можуть містити зображення, кодовані в режимі двонаправленого інтерпрогнозування. Наприклад, зображення 108 можна прогнозувати з даних зображень 100 і 116, тоді як зображення 124 можна прогнозувати із зображень 116 і 132. Зображення 104, 112, 120 і 128 зафарбовані світлим кольором для указання, що вони є наступними в ієрархії кодування після зображень 108 і 124.
Зображення 104, 112, 120 ії 128 також можуть містити зображення, кодовані в режимі двонаправленого інтерпрогнозування. Наприклад, зображення 104 можна прогнозувати із зображень 100 і 108, зображення 112 можна прогнозувати із зображень 108 і 116, зображення 120 можна прогнозувати із зображень 116 і 124, і зображення 128 можна прогнозувати із зображень 124 і 132. Загалом, зображення, що стоять на більш низькому місці в ієрархії, можна кодувати з будь-яких опорних зображень, що займають більш високе положення в ієрархії, виходячи з того, що опорні зображення все ще буферизовані в буфері декодованих зображень, і виходячи з того, що опорні зображення були закодовані раніше, ніж кодоване в даний момент зображення.
Нарешті, зображення 102, 106, 110, 114, 118, 122, 126 і 130 зафарбовані білим кольором для указання того, що ці зображення є останніми в ієрархії кодування. Зображення 102, 106, 110, 114, 118, 122, 126 і 130 можуть являти собою зображення, кодовані в режимі двонаправленого інтерпрогнозування. Зображення 102 можна прогнозувати із зображень 100 і 104, зображення 106 можна прогнозувати із зображень 104 і 108, зображення 110 можна прогнозувати із зображень 108 і 112, зображення 114 можна прогнозувати із зображень 112 і 60 116, зображення 118 можна прогнозувати із зображення 116 і 120, зображення 122 можна прогнозувати із зображень 120 їі 124, зображення 126 можна прогнозувати із зображень 124 і 128, і зображення 130 можна прогнозувати із зображень 128 і 132. Знову ж, потрібно розуміти, що зображення, що займають більш низьке положення в ієрархії кодування, можна кодувати з інших зображень, що займають більш високе положення в ієрархії кодування. Наприклад, додатково або альтернативно, будь-яке або всі зображення 102, 106, 110 або 114 можна прогнозувати відносно будь-якого із зображень 100, 116 або 108.
Зображення 100-132 проілюстровані в порядку відображення. Тобто, після декодування, зображення 100 відображається до зображення 102, зображення 102 відображається до зображення 104 і т. д. Як розглянуто вище, значення РОС, в загальному випадку, описують порядок відображення для зображень, який також є, по суті, таким же, як порядок, в якому необроблені зображення були захоплені або згенеровані до кодування. Однак, згідно з ієрархією кодування, зображення 100-132 можна декодувати в іншому порядку. Крім того, в ході кодування, зображення 100-132 можуть розташовуватися в порядку декодування в бітовому потоці, що включає в себе кодовані дані для зображень 100-132. Наприклад, зображення 116 може відображатися останнім із зображень СОР 134. Однак, згідно з ієрархією кодування, зображення 116 можна декодувати першим з СОР 134. Таким чином, для правильного декодування зображення 108, може вимагатися, наприклад, щоб зображення 116 декодувалося першим, щоб воно грало роль опорного зображення для зображення 108. Аналогічно, зображення 108 може грати роль опорного зображення для зображень 104, 106, 110 і 112, і, таким чином, може вимагатися декодувати його до зображень 104, 106, 110 і 112.
Крім того, певні зображення можна розглядати як довгострокові опорні зображення, тоді як інші зображення можна розглядати як короткострокові опорні зображення. Передбачимо, наприклад, що зображення 100 і 116 представляють довгострокові опорні зображення, а зображення 108, 104 і 112 представляють короткострокові опорні зображення. У цьому прикладі, може виявитися так, що зображення 102 і 106 можна прогнозувати відносно будь- якого із зображень 100, 116, 108 або 104, але при цьому зображення 110 і 114 можна прогнозувати відносно будь-якого із зображень 100, 116, 108 або 112. Іншими словами, зображення 104 може не бути доступне як опорне при кодуванні зображень 110 і 114. У порядку іншого прикладу, виходячи з того, що зображення 100 і 116 представляють довгострокові опорні
Зо зображення і зображення 108, 104 і 112 представляють короткострокові опорні зображення, зображення 108, 104 і 112 можуть не бути доступні як опорні при кодуванні зображення 118, 122, 126 і 130.
Відповідно до методів даного розкриття, дані, що стосуються довгострокових опорних зображень, можна сигналізувати в заголовках слайсів для слайсів для будь-якого або всіх зображень 100-132. Альтернативно, дані можуть сигналізуватися в РР5, 5РЗ або інших структурах даних.
Знову ж, передбачаючи, що зображення 100 і 116 представляють довгострокові опорні зображення, відеокодер 20 може кодувати МОВ РОС для зображення 100 як різницю відносно значення базових МОВ, наприклад М5В РОС поточного зображення, наприклад зображення 102. Таким чином, відеокодер 20 може обчислювати різницю між М5В РОС для зображення 100 і М5В РОС для зображення 102 і кодувати значення різниці для зображення 100. Аналогічно, відеокодер 20 може обчислювати різницю між М5В РОС для зображення 116 і М5В РОС для зображення 100 і кодувати значення різниці для зображення 116. Відеокодер 20 також може кодувати значення І 5В для зображень 100 і 116.
Таким чином, відеодекодер 30 може реконструювати значення РОС для зображень 100 і 116 шляхом декодування значення різниці для зображення 100 і додавання значення різниці до значення базових МОВ для зображення 102. Аналогічно, відеодекодер 30 може декодувати значення різниці для зображення 116 і додавати значення різниці до МОВ РОС для зображення 100. Відеодекодер 30 також може декодувати значення Ї5В РОС для зображень 100 і 116.
Відеодекодер 30 може з'єднувати М5В РОС для зображення 100 з І 5В РОС для зображення 100 для відтворення значення РОС для зображення 100. Аналогічно, відеодекодер 30 може з'єднувати М5В РОС для зображення 116 з І5В РОС для зображення 116 для відтворення значення РОС для зображення 116.
Таким чином, відеокодер 20 і відеодекодер 30 можуть бути виконані з можливістю кодування першого значення, що представляє різницю між значенням базових старших бітів (М5В) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших М5В першого значення РОС першого довгострокового опорного зображення відеоданих, кодування другого значення, що представляє різницю між значенням других М5В другого значення РОС другого довгострокового опорного зображення відеоданих і значенням бо перших М5В, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (ЗВ), ії кодування щонайменше частини поточного зображення відеоданих відносно щонайменше одного з першого довгострокового опорного зображення з використанням першого значення і другого довгострокового опорного зображення з використанням першого значення і другого значення.
Зокрема, відеокодер 20 може кодувати дані, що представляють значення РОС для довгострокових опорних зображень, що підлягають включенню в список опорних зображень для поточного зображення, наприклад зображення 102. Загалом, відеокодер 20 може вказувати, що опорне зображення повинно бути включене в список опорних зображень, коли щонайменше частина поточного зображення кодується відносно опорного зображення. Частину зображення можна вважати кодованою відносно опорного зображення, коли блок зображення кодується з інтерпрогнозуванням відносно опорного зображення, таким чином, що вектор руху для блока вказує на опорний блок опорного зображення. Інформація руху для блока може включати в себе ідентифікатор списку опорних зображень (наприклад, список 0 або список 1), а також опорний індекс, який відповідає опорному зображенню в списку опорних зображень, ідентифікованому ідентифікатором списку опорних зображень.
Таким чином, відеокодер 20 може кодувати блок зображення 102 відносно опорного блока зображення 100. Таким чином, відеокодер 20 може здійснювати пошук руху для блока і визначати, що опорний блок зображення 100 створює прийнятне значення помилки, відносно інших опорних блоків. Аналогічно, відеокодер 20 може кодувати інший блок зображення 102 відносно опорного блока зображення 116.
На фіг. 5 показана блок-схема операцій, що демонструє ілюстративний спосіб кодування значень РОС для довгострокових опорних зображень відповідно до методів даного розкриття. З метою пояснення, спосіб, представлений на фіг. 5, пояснений відносно відеокодера 20, показаного на фіг. 1 і 2, і його компонентів. Однак потрібно розуміти, що інші пристрої кодування відеосигналу можуть бути виконані з можливістю здійснення способу, представленого на фіг. 5.
Спочатку, відеокодер 20 може кодувати дані поточного зображення з використанням одного або більше опорних зображень (150). Потім відеокодер 20 може визначати опорні зображення, які використовувалися для кодування поточного зображення (152). Зокрема, відеокодер 20 може визначати, які опорні зображення в наборі доступних опорних зображень фактично використовуються як опорні при кодуванні поточного зображення. У деяких прикладах, етапи 150 і 152 можуть об'єднуватися і виконуватися, по суті, одночасно. Доступні опорні зображення можуть включати в себе довгострокові опорні зображення (ІТКР) і короткострокові опорні зображення (ЗТЕР). Відеокодер 20 може визначати, чи встановлювати опорне зображення як довгострокове опорне зображення або як короткострокове опорне зображення, на основі результатів кодування, одержаних по ряду різних пробних проходів кодування. Наприклад, коли результати кодування (наприклад, метрики оптимізації швидкості-спотворення (КОО)), в загальному випадку, краще, коли конкретне опорне зображення розглядається як довгострокове опорне зображення (потенційно зміщене на об'єм пам'яті, що витрачається для довгострокового зберігання опорного зображення), відеокодер 20 може розглядати опорне зображення як довгострокове опорне зображення.
У будь-якому випадку, після визначення набору опорних зображень і тих опорних зображень, які потрібно розглядати як довгострокові опорні зображення, відеокодер 20 може кодувати інформацію, яка вказує, які зображення підлягають включенню в списки опорних зображень для поточного зображення як довгострокові опорні зображення. Кодована інформація може містити дані, що представляють значення РОС для довгострокових опорних зображень. Відеокодер 20 може кодувати цю інформацію в заголовку слайсу для слайсу поточного зображення, РР5, що відповідає поточному зображенню, 5Р5 для послідовності, що включає в себе поточне зображення, або в іншому місці.
Відеокодер 20 може кодувати дані, що вказують М5В значення РОС для першого по порядку довгострокового опорного зображення, а також дані, що вказують Ї5В значення РОС для першого по порядку довгострокового опорного зображення (154). Для кодування М5В, відеокодер 20 може обчислювати різницю між М5В значення РОС для першого довгострокового опорного зображення і М5В значення РОС для поточного зображення і кодувати це обчислене значення різниці.
Потім відеокодер 20 може визначати, чи дорівнюють Ї5В значення РОС для наступного
ІТКР І5В значення РОС для іншого опорного зображення для поточного зображення (156).
Коли відеокодер 20 визначає, що Г5В значення РОС для наступного ЇТКР дорівнюють І5В значення РОС для іншого еталона для поточного зображення (відгалуження "Так" блока 156), відеокодер 20 може кодувати дані, що представляють різницю між МОВ значення РОС для 60 наступного ЇТЕР ії М5В значення РОС для попереднього І ТЕР (тобто найбільш останнє І ТЕР,
для якого кодувалася інформація М5В РОС) (158). І 5В значення РОС для найбільш останнього
І ТЕР не обов'язково співпадають з І 5В значення РОС для І ТЕР, кодованого в даний момент.
Як розглянуто вище, для обчислення значення різниці, виходячи з того, що наступне І ТКР має значення індексу і, відеокодер 20 може обчислювати різницю між МОВ значення РОС для І ТКР і та М5В значення РОС для І ТЕР |, якщо ТЕР | було попереднім І.ТЕР, для якого кодувалася інформація М5В РОС. Потім відеокодер 20 може кодувати значення різниці. Це значення різниці може відповідати дейа рос твор сусіє (ЇЇ (або дека рос т5р сусіє Її ріив11(Ї).
Після кодування значення різниці, або коли Ї5В значення РОС для наступного ЇТКР не дорівнюють І 5В іншого опорного зображення (відгалуження "Ні" блока 156), відеокодер 20 може кодувати Ї5В значення РОС для ІТКР (160). Потім відеокодер 20 може визначати, чи залишилися ще ТЕР для поточного зображення (162). Коли залишаються ще ІТКР для поточного зображення (відгалуження "Так" блока 162), відеокодер 20 може переходити до кодування Ї5В значень РОС для ІТКР, що залишилися, і, у випадку необхідності, М5В, з використанням диференціального кодування, як розглянуто вище. Однак, коли для поточного зображення вже не залишається ТЕР (відгалуження "Ні" блока 162), відеокодер 20 може виводити кодовані дані (164), які можуть включати в себе кодовані блоки для поточного зображення, кодовані значення РОС для довгострокових опорних зображень для поточного зображення (включені І ЗВ і, коли І ЗВ не є унікальними, різницеві значення для М5В) і ін.
Таким чином, спосіб, представлений на фіг. 5, представляє приклад способу, що включає в себе кодування щонайменше першої частини поточного зображення відеоданих відносно першого довгострокового опорного зображення і щонайменше другої частини поточного зображення у друге довгострокове опорне зображення, кодування першого значення, що представляє різницю між значенням базових старших бітів (МОВ) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших МОВ першого значення
РОС першого довгострокового опорного зображення відеоданих, і кодування другого значення, що представляє різницю між значенням других М5В другого значення РОС другого довгострокового опорного зображення відеоданих і значенням перших М5В, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (І5В).
На фіг. 6 показана блок-схема операцій, що демонструє ілюстративний спосіб декодування значень РОС для довгострокових опорних зображень відповідно до методів даного розкриття. З метою пояснення, спосіб, представлений на фіг. 6, пояснений відносно відеодекодера 30, показаного на фіг. 1 і 3, ії його компонентів. Однак потрібно розуміти, що інші пристрої декодування відеосигналу можуть бути виконані з можливістю здійснення способу, представленого на фіг. 6.
Спочатку, відеодекодер 30 може декодувати М5В і 58 значення РОС для першого по порядку довгострокового опорного зображення (І ТКР) поточного зображення (200). Наприклад, відеодекодер 30 може декодувати значення різниці, що представляє різницю між М5В значення
РОС для першого І ТЕР і М5В значення РОС для поточного зображення. Потім відеодекодер 30 може додавати значення різниці до М5В значення РОС для поточного зображення, для одержання М5В першого ГТКР. Відеодекодер 30 також може декодувати І 5В значення РОС для першого ТЕР і з'єднувати М5В і Г5В значення РОС для першого І ТКР для відтворення значення РОС для І ТЕР. Відеодекодер 30 також може декодувати І 5В значення РОС тільки для першого І ТЕР, коли М5В не відправляються, і може використовувати значення І 5В тільки для ідентифікації, чи немає інших опорних зображень з таким же значенням І 5В РОС.
Потім відеодекодер 30 може декодувати І 5В значення РОС для наступного ТЕР (202). У прикладі, показаному на фіг. 6, відеодекодер 30 визначає, чи дорівнюють І 5В значення РОС для наступного ГТКР І 5В іншого ТЕР для поточного зображення (204). У інших прикладах, наприклад, як пояснено відносно вищенаведеної таблиці 1, відеодекодер 30 може визначати, чи вказує значення прапора, що М5В сигналізуються для значення РОС наступного І ТЕР. У будь- якому випадку, відеодекодер 30 може визначати, чи сигналізуються МОВ для значення РОС наступного ГТКР. Коли М5В сигналізуються для значення РОС наступного ТЕР (наприклад, коли Ї5В значення РОС для наступного ЇТКР дорівнюють І 5В іншого опорного зображення (відгалуження "Так" блока 204)), відеодекодер 30 може декодувати МОВ значення різниці відносно М5В значення РОС для попереднього І ТКР (206). Таким чином, відеодекодер 30 може декодувати значення різниці, сигналізоване для І ТЕР і, і додавати значення різниці до МОВ значення РОС для І ТЕР |, де ТЕР | є попереднім ІТЕР, для якого декодувалася інформація
М5В. Відеодекодер 30 може додатково повторно збирати значення РОС наступного І ТЕР, з'єднувати М5В (обчислені або визначені неявно) з І 5В для наступного І ТКР.
Після визначення, що І 5В значення РОС для наступного І ТКР не дорівнюють І ЗВ іншого 60 опорного зображення (відгалуження "Ні" блока 204), або після декодування значення різниці для М5В наступного ІТКР, відеодекодер ЗО може визначати, чи залишилися ще ГТКР для поточного зображення (210). Якщо існують ще ЇТЕР для поточного зображення (відгалуження "Так" блока 210), відеодекодер 30 може перейти до декодування значень РОС для наступного
І ТЕР, наприклад, як розглянуто вище. Якщо не залишилося І ТКР для поточного зображення (відгалуження "Ні" блока 210), відеодекодер 30 може збирати один або більше списків опорних зображень, що включають в себе сигналізовані ЇТКР (212). Потім відеодекодер 30 може декодувати поточне зображення з використанням списку(ів) опорних зображень (214).
Наприклад, у випадку інтерпрогнозування блока, блок може включати в себе указання списку опорних зображень, опорний індекс списку опорних зображень, який вказує опорне зображення для блока. Блок може додатково включати в себе дані для реконструкції вектора руху для блока. Таким чином, відеодекодер 30 може витягувати опорний блок з опорного зображення з використанням вектора руху. Відеодекодер 30 може додатково декодувати значення помилки для блока, наприклад, шляхом декодування, зворотного квантування і зворотного перетворення коефіцієнтів перетворення для блока. Потім відеодекодер 30 може об'єднувати опорний блок з реконструйованим залишковим блоком для декодування блока.
Таким чином, спосіб, представлений на фіг. 6, представляє приклад способу, який включає в себе декодування першого значення, що представляє різницю між значенням базових старших бітів (М5В) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших М5В першого значення РОС першого довгострокового опорного зображення відеоданих, декодування другого значення, що представляє різницю між значенням других М5В другого значення РОС другого довгострокового опорного зображення відеоданих і значенням перших М5В, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (58), і декодування щонайменше частини поточного зображення відеоданих відносно щонайменше одного з першого довгострокового опорного зображення з використанням першого значення і другого довгострокового опорного зображення з використанням першого значення і другого значення.
Потрібно розуміти, що, залежно від прикладу, певні дії або події будь-якого з описаних тут методів можна здійснювати в іншій послідовності, можна додавати, об'єднувати або просто пропускати (наприклад, не всі описані дії або події необхідні для практичного здійснення методів). Крім того, в певних прикладах, дії або події можна здійснювати одночасно, наприклад, за допомогою багатопотокової обробки, переривання обробки або декількох процесорів, а не послідовно.
У одному або більше прикладах, описані функції можуть бути реалізовані в обладнанні, програмному забезпеченні, програмно-апаратному забезпеченні або будь-якій їх комбінації.
Будучи реалізовані в програмному забезпеченні, функції можуть зберігатися або передаватися у вигляді однієї або більше інструкцій або коду на комп'ютерочитаному носії і виконуватися апаратним блоком обробки. Комп'ютерочитані носії можуть включати в себе комп'ютерочитані носії даних, які відповідають матеріальному носію, наприклад носії даних або середовища передачі даних, що включають в себе будь-яке середовище, яка полегшує перенесення комп'ютерної програми з одного місця в інше, наприклад, згідно з протоколом зв'язку. Таким чином, комп'ютерочитані носії, в загальному випадку, можуть відповідати (1) матеріальним комп'ютерочитаним носіям даних, які є постійними, або (2) середовищу передачі даних, наприклад сигналу або несучій хвилі. Носіями даних можуть бути будь-які доступні носії, до яких можуть звертатися один або більше комп'ютерів або один або більше процесорів для витягання інструкцій, коду і/або структури даних для реалізації методів, описаних в даному розкритті.
Комп'ютерний програмний продукт може включати в себе комп'ютерочитаний носій.
У порядку прикладу, але не обмеження, такі комп'ютерочитані носії даних можуть містити
ОЗП, ПЗП, ЕСППЗП, СО-КОМ або інше сховище на основі оптичного диска, сховище на основі магнітного диска або інші магнітні запам'ятовуючі пристрої, флеш-пам'ять або будь-який інший носій, який можна використовувати для зберігання потрібного програмного коду в формі інструкцій або структур даних і до якого може звертатися комп'ютер. Також, будь-яке з'єднання доречно іменувати машиночитаним носієм. Наприклад, якщо інструкції передаються з веб- сайта, сервера або іншого віддаленого джерела з використанням коаксіального кабелю, оптоволоконного кабелю, витої пари, цифрової абонентської лінії (051) або бездротових технологій, наприклад інфрачервоної, радіо- і мікрохвильової, то коаксіальний кабель, оптоволоконний кабель, вита пара, О5І. або бездротові технології, наприклад інфрачервона, радіо- і мікрохвильова, включаються у визначення носія. Однак потрібно розуміти, що комп'ютерочитані носії даних і носії даних не включають в себе з'єднання, несучі хвилі, сигнали або інші транзиторні середовища, але, замість цього, належать до постійних матеріальних бо носіїв даних. Використовуваний тут термін диск включає в себе компакт-диск (СО), лазерний диск, оптичний диск, цифровий універсальний диск (МО), флопі-диск і диск Віи-гау, причому магнітні диски звичайно відтворюють дані магнітними засобами, тоді як оптичні диски відтворюють дані оптичними засобами за допомогою лазерів. Комбінації вищеописаних пристроїв також підлягають включенню в обсяг визначення машиночитаних носіїв.
Інструкції можуть виконуватися одним або більше процесорами, наприклад одним або більше цифровими сигнальними процесорами (О5Р), мікропроцесорами загального призначення, спеціалізованими інтегральними схемами (АБІС), вентильними матрицями, програмованими користувачем (ЕРСА), або іншою еквівалентною інтегральною або дискретною логічною схемою. Відповідно, використовуваний тут термін "процесор" може стосуватися будь- якої вищеописаної структури або будь-якої іншої структури, придатної для реалізації описаних тут методів. Крім того, в деяких аспектах, описані тут функціональні можливості можуть бути забезпечені в спеціалізованому обладнанні і/або програмних модулях, виконаних з можливістю кодування і декодування, або включені в об'єднаний кодек. Крім того, методи можуть бути повністю реалізовані в одній або більше схемах або логічних елементах.
Методи даного розкриття можна реалізувати в найрізноманітніших пристроях або апаратах, включаючи бездротовий телефон, інтегральну схему (ІС) або набір ІС (наприклад, чипсет). Різні компоненти, модулі або блоки описані в даному розкритті, щоб підкреслити функціональні аспекти пристроїв, виконані з можливістю здійснення розкритих методів, але не обов'язково вимагають реалізації різними апаратними блоками. Навпаки, як описано вище, різні блоки можуть бути об'єднані в апаратному блоці кодека або забезпечені сукупністю взаємодіючих апаратних блоків, що включають в себе один або більше процесорів, як описано вище, спільно з придатним програмним забезпеченням і/або програмно-апаратним забезпеченням.
Були описані різні приклади. Ці і інші приклади відповідають обсягу нижченаведеної формули винаходу.
Claims (30)
1. Спосіб декодування відеоданих, причому спосіб включає етапи, на яких: декодують перше значення, що представляє різницю між значенням базових старших бітів (МОВ) значення Зо лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших М5В першого значення РОС першого довгострокового опорного зображення відеоданих; декодують друге значення, що представляє різницю між значенням других МОВ другого значення РОС другого довгострокового опорного зображення відеоданих і значенням перших М5В, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (І 58), і значення перших М5В відмітне від значення других М5В; і декодують щонайменше частину поточного зображення відеоданих відносно щонайменше одного з першого довгострокового опорного зображення з використанням першого значення або другого довгострокового опорного зображення з використанням першого значення і другого значення.
2. Спосіб за п. 1, який додатково включає етапи, на яких: обчислюють перше значення циклу МОВ для першого довгострокового опорного зображення як РекаРосм5ВсСусіе! Ці-ІЇ з використанням першого значення; і обчислюють друге значення циклу МОВ для другого довгострокового опорного зображення як БРепаРосмМ5ВсС»Уусіє! (її, причому обчислення другого значення циклу МОВ включає обчислення БРепаРосмМ5ВсС»Уусіє! «(| на основі бенкаРосмМеВсУусіє! Ці-І| і другого значення.
3. Спосіб за п. 1, в якому перше довгострокове опорне зображення відповідає індексу і, друге довгострокове опорне зображення відповідає індексу і, перше значення містить дейа рос твер сусіє І рій), друге значення містить д9ейа рос т5р сусіє М ріш5(Ц, і приймає значення в межах від 0 до 1-1, включно.
4. Спосіб за п. 1, в якому щонайменше одне з першого значення або другого значення містить негативне цілочислове значення.
5. Спосіб за п. 1, який додатково включає етап, на якому визначають щонайменше одне з першого значення РОС або другого значення РОС щонайменше частково на основі кількості опорних зображень, помічених як короткострокові опорні зображення, для поточного зображення.
6. Пристрій для декодування відеоданих, причому пристрій містить: пам'ять, виконану з можливістю зберігання відеоданих; відеодекодер, виконаний з можливістю декодування першого значення, що представляє різницю між значенням базових старших бітів (М5В) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших М5В першого значення РОС першого довгострокового опорного зображення відеоданих, декодування другого значення, що представляє різницю між значенням других МОВ другого значення РОС другого довгострокового опорного зображення відеоданих і значенням перших М5В, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (І 58), і значення перших М5В відмітне від значення других МУВ, і декодування щонайменше частини поточного зображення відеоданих відносно щонайменше одного з першого довгострокового опорного зображення з використанням першого значення або другого довгострокового опорного зображення з використанням першого значення і другого значення.
7. Пристрій за п. 6, в якому відеодекодер додатково виконаний з можливістю обчислення першого значення циклу М5В для першого довгострокового опорного зображення як БенаРосмМ5ВсСУусіє! Чі-Ї з використанням першого значення і обчислення другого значення циклу МОВ для другого довгострокового опорного зображення як ОепаРосмМ5ВсСусієЦЦіЇ, причому обчислення другого значення циклу МОВ включає обчислення ОейаРосмМ5ВсУусіє! Ці) на основі ОенаРосмМ5ВсСУусіє! Ці-І| і другого значення.
8. Пристрій за п. 6, в якому перше довгострокове опорне зображення відповідає індексу 1-1, друге довгострокове опорне зображення відповідає індексу і, перше значення містить денйа рос т5р сусіє Її ріивІ(-ІЇ, і друге значення містить дейа рос т5р сусіє Її рів 1.
9. Пристрій за п. б, в якому щонайменше одне з першого значення і другого значення містить негативне цілочислове значення.
10. Пристрій за п. 6, в якому відеодекодер додатково виконаний з можливістю визначення щонайменше одного з першого значення РОС або другого значення РОС щонайменше частково на основі кількості опорних зображень, помічених як короткострокові опорні зображення, для поточного зображення.
11. Пристрій для декодування відеоданих, причому пристрій містить: засіб для декодування першого значення, що представляє різницю між значенням базових старших бітів (МОВ) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших МОВ першого значення РОС першого довгострокового опорного Ко) зображення відеоданих; засіб для декодування другого значення, що представляє різницю між значенням других МОВ другого значення РОС другого довгострокового опорного зображення відеоданих і значенням перших МОВ, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (І 5В), і значення перших М5В відмітне від значення других МОВ; і засіб для декодування щонайменше частини поточного зображення відеоданих відносно щонайменше одного з першого довгострокового опорного зображення з використанням першого значення або другого довгострокового опорного зображення з використанням першого значення і другого значення.
12. Пристрій за п. 11, який додатково містить: засіб для обчислення першого значення циклу МОВ для першого довгострокового опорного зображення як ОепаРосмМ5ВсСУусіе Ці-ІЇ з використанням першого значення; і засіб для обчислення другого значення циклу МОВ для другого довгострокового опорного зображення як ОепаРосмМеВсусіє! Чі, причому обчислення другого значення циклу М5В включає обчислення ОенкаРосм5ВсУусіеЧ Ці на основі ОенкаРосм5ВсУусіє! ЧЦі-І| і другого значення.
13. Пристрій за п. 11, в якому перше довгострокове опорне зображення відповідає індексу |, друге довгострокове опорне зображення відповідає індексу і, перше значення містить дейа рос твер сусіє І рій), друге значення містить денйа рос т5р сусіє М ріш5(Ц, і приймає значення в межах від 0 до 1-1, включно.
14. Пристрій за п. 11, в якому щонайменше одне з першого значення або другого значення містить негативне цілочислове значення.
15. Пристрій за п. 11, який додатково містить засіб для визначення щонайменше одного з першого значення РОС або другого значення РОС щонайменше частково на основі кількості опорних зображень, помічених як короткострокові опорні зображення, для поточного зображення.
16. Комп'ютерочитаний носій даних, що містить збережені на ньому інструкції, які, при виконанні, призначають процесору: декодувати перше значення, що представляє різницю між значенням базових старших бітів (М5В) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших М5В першого значення РОС першого довгострокового опорного зображення 60 відеоданих;
декодувати друге значення, що представляє різницю між значенням других МОВ другого значення РОС другого довгострокового опорного зображення відеоданих і значенням перших М5В, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (І 58), і значення перших М5В відмітне від значення других М5В; і декодувати щонайменше частину поточного зображення відеоданих відносно щонайменше одного з першого довгострокового опорного зображення з використанням першого значення і другого довгострокового опорного зображення з використанням першого значення і другого значення.
17. Комп'ютерочитаний носій даних за п. 16, який додатково містить інструкції, які призначають процесору: обчислювати перше значення циклу МОВ для першого довгострокового опорного зображення як РекаРосм5ВсСУусіе! Ці-ІЇ з використанням першого значення; і обчислювати друге значення циклу МОВ для другого довгострокового опорного зображення як БепаРосмМ5ВсСусієЦЦїЇ, причому обчислення другого значення циклу МОВ включає обчислення БРепаРосмМ5ВсС»Уусіє! «(| на основі бенкаРосмМеВсУусіє! Ці-І| і другого значення.
18. Комп'ютерочитаний носій даних за п. 16, в якому перше довгострокове опорне зображення відповідає індексу і, друге довгострокове опорне зображення відповідає індексу і, перше значення містить дена рос т5р сусів Її різ, друге значення містить денйа рос т5р сусіє Її ріиві(їЇ, і| приймає значення в межах від 0 до 1-1, включно.
19. Комп'ютерочитаний носій даних за п. 16, в якому щонайменше одне з першого значення і другого значення містить негативне цілочислове значення.
20. Комп'ютерочитаний носій даних за п. 16, який додатково містить інструкції, які призначають процесору визначати щонайменше одне з першого значення РОС і другого значення РОС щонайменше частково на основі кількості опорних зображень, помічених як короткострокові опорні зображення, для поточного зображення.
21. Спосіб кодування відеоданих, причому спосіб включає етапи, на яких: кодують щонайменше першу частину поточного зображення відеоданих відносно першого довгострокового опорного зображення і щонайменше другу частину поточного зображення відносно другого довгострокового опорного зображення; Зо кодують перше значення, що представляє різницю між значенням базових старших бітів (М5В) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших М5В першого значення РОС першого довгострокового опорного зображення відеоданих; і кодують друге значення, що представляє різницю між значенням других М5В другого значення РОС другого довгострокового опорного зображення відеоданих і значенням перших М5В, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (І 5В), і значення перших М5В відмітне від значення других М5В.
22. Спосіб за п. 21, який додатково включає етапи, на яких: обчислюють перше значення як різницю між першим значенням циклу МОВ для першого довгострокового опорного зображення як ОепаРосмМ5Всусіеє! Ці-Ї і значенням базових М5БВ; і обчислюють друге значення як різницю між другим значенням циклу МОВ для другого довгострокового опорного зображення як бепаРосмМеВсусіє ЦЇ| і значенням перших М5В.
23. Спосіб за п. 21, в якому перше довгострокове опорне зображення відповідає індексу |, друге довгострокове опорне зображення відповідає індексу і, перше значення містить дейа рос твер сусіє І рій), друге значення містить денйа рос т5р сусіє М ріш5(Ц, і приймає значення в межах від 0 до 1-1, включно.
24. Спосіб за п. 21, в якому щонайменше одне з першого значення або другого значення містить негативне цілочислове значення.
25. Спосіб за п. 21, в якому кодування першого значення і кодування другого значення включає кодування першого значення і кодування другого значення щонайменше частково на основі кількості опорних зображень, помічених як короткострокові опорні зображення, для поточного зображення.
26. Пристрій для кодування відеоданих, причому пристрій містить: пам'ять, виконану з можливістю зберігання відеоданих; і відеокодер, виконаний з можливістю кодування щонайменше першої частини поточного зображення відеоданих відносно першого довгострокового опорного зображення і щонайменше другої частини поточного зображення у друге довгострокове опорне зображення, кодування першого значення, що представляє різницю між значенням базових старших бітів (М5В) значення лічильника порядку зображень (РОС) поточного зображення відеоданих і значенням перших М5В першого значення РОС першого довгострокового опорного зображення відеоданих, і кодування другого значення, що представляє різницю між значенням других МОВ другого значення РОС другого довгострокового опорного зображення відеоданих і значенням перших М5В, причому перше значення РОС і друге значення РОС мають різні значення молодших бітів (І 58), і значення перших М5В відмітне від значення других М5В.
27. Пристрій за п. 26, в якому відеокодер виконаний з можливістю обчислення першого значення як різниці між першим значенням циклу МОВ для першого довгострокового опорного зображення як ОенкаРосм5ВсУусіе! «і-І| і значенням базових М5В і обчислення другого значення як різниці між другим значенням циклу МОВ для другого довгострокового опорного зображення як ОенкаРосм5ВсСУусіеЦЦі| і значенням перших М5В.
28. Пристрій за п. 26, в якому перше довгострокове опорне зображення відповідає індексу |, друге довгострокове опорне зображення відповідає індексу і, перше значення містить дейа рос твер сусіє І рій), друге значення містить денйа рос т5р сусіє М ріш5(Ц, і приймає значення в межах від 0 до 1-1, включно.
29. Пристрій за п. 26, в якому щонайменше одне з першого значення або другого значення містить негативне цілочислове значення.
30. Пристрій за п. 26, в якому для кодування першого значення і другого значення відеокодер виконаний з можливістю кодування першого значення і другого значення щонайменше частково на основі кількості опорних зображень, помічених як короткострокові опорні зображення, для поточного зображення. б КУ ей ооооовов ил пан АЛАНА КА У АнАННКККК й ддкеєтттююютючкккткккююссеютюотюкннкккккккєхеке Вихідний првстеій і Кк ТО Пристрій призивченех М | ! 18 Джерело бен | | ши з ; | м 4 ! ! ш З ЖК АААЛАД МКК КК кн у Н КудкжжжалалААААААЛАЛЯ -- Відеоходен | Віхеоцекалер за ї | За сокжжююююю : пи ! ше Викінний інтерфейе | Е Вхізмий нитерфейе : Їж в іх ом еніннн :
Чо. Зо пт жен жк яня ж же жючнтот они песню шк тин тн криніннн т НУК ЖК орда ке МИ У Н задвкЗн о ши ня МН ване і ЗАЛИ : ї Мхеж осоки Н Е яв ; те Її кала цтоцацуми як спец і СИНІ скаантуддниї МІЖ СНХ : х А з героя ЗМІНА З до КВАНІУНННКИ в кож ВиноНІи ; і | Гі зх і епосу уювимої й шин з ї І 1 щ- і іїнолрвоу поре чна і ! Ж ї ї КЕ ую пок нн й Й Я І . : те і Коня тез Н в рі ! ! 13: ї : ана Й і і Н ! ! Сх зІху 5 я для мам й ПИВ Й ни БОроБлою еру сухе Е Н ; хок ом ОО ЖКяЖ СМУНКІКЛНКЯЇ і : і пежиже ї Е. . М режи хо Е пух Е о і | Е і Н : і ККУ НЕ | ! ї Н Кк НН : ї Мпнеюнтттн тут Ті ! : їі их. сечо їкки ї ї но ЗО ЕЕ Езвемесецти снитакснов і почув пі Каементи Щ ; : фо Я фрак кпименоЗНці Її ше ши ! ' Кк Ко з вЕАХВОКаХКО ї НИЙ і ; : КУ і піни 1 пуд - | ! І В шани Н БУХ 7 ! 1 шк У : з ї У Е і АВ Ї ї ц : я | | ! У : 3 ЕН ща їі . ! ї Ї яння Женянняняя і о Ще | ! ї т моля Р Ор бек рудивих | : Н Н Бдшж Рі рУБо і Н БЕ ї зхдиютков йлоки ; і ; Е іпусаминову З ЕЗалнюКОВ лоКи. | ; Н ЇЇ іоулуююкткх Ті | : ; Кон рі , ! ' - й фени Внннннну Й З й її пеня нал, пу у з у ї шення зн У : пе з ї ї ЗЕ і рення у гони з гі ії : : сен Х : их ті Тк НЕ не : Ко ннннчнся ЕК ї їхко 1.1 м Р Оофо ренУуюнівещні ві пи фохжжюяй ГО 1 зжеемноге ж а Ж Мазнананняжинкянттяктянкх, й щ- НЕ : ві ї нео | | Е ї й ДУМ т перегвоурюнях Б квантування век 15 Її ІЗ ще ХУ чу х рі й | Е Щ ! їж ше Н « рі У Н Н а КІ Коронею і із ї Ж їі КЗ 3 плаллялний ОБ оце і : . - у : тай | : Кк : кжллинкижиний Гдкколккккикккикиии вом у : денс х , БУВ: я ж лляних У у орд БОКСИ УМВОВАН ОЇ ЕХ 0 одюня і : ! : Ен в хо я жу У у ижегулеух І І х ї Н спеки ки : Кідеокалею : У ї ї ВІЛЛИ : І; Х і з і й і ВІД Е й ЩІ - - Б ра а: : мм й с и и у и и ї У доня тяж сна дя де вачдж сля плн де
ФК. і ї іде иеУ Тидсодекоех зе хі : пк ток тет тек чн ттотк у ! речи 1 і я заз ками невн і КР бБзек комиеновни і ск гнУжЦе ї ев вІаЖиВ ВОК ї : що жа ї КНУ і | : ! її ! НиНвЛу ї З ВЕК - сужя су фх жк й ВІДНО НИМТУ ї і БК Кломемтн сннтакемеху З з ! І ї ши ІМК МЕ і тІмхм Іа : ОК о єцтвоніннко т ; Е в їх. 1 ї пекло ще | ! 7 лекодувиних ; сне І ! ектів 3 т і тури пІММ ЕК ї | і 3 г три їх ще ; ! ; | і КУ 1. й і їх иміКич як ї ко. «акзиі ие ці ї ЦІ СЗНА МАМАМИ Її Е З ААдкннннн ' пон пл нт нти Й ї І звжди чи Вели ї у. пеки ! Певна ї АЖ Н | : дитя | нн оо ВІДП НІНІ воші їх ТУ Ттиххуєь і с їх скл х еВ Н Уідхлеть : ї дес я і ' ї в а Зм сять НЕ лаяти зазк вра КОК о р 7 Ї одозних ІМИих ЛЕМ КЗ У | й : ІМ ОЛКОСЇ т церетвуецця З й ше воренх і ВЗЯТУ нав вени КИ КК 5 ойрюжень ! КВІТ УЗИВІЗ -Х ; - я Я ЩЕ І т М Е ї і У ІЗ ї Н х че Кзазикцими Яауу : : їй : г І Зжомтикові сх Я ї й Ї дптттятннаноннтннннннннннй і Н ї Її джин пок ккал . пеелетеюєтоссдсессоюсь жна на а а при С г Ж ЯМЗг.
дян шк м ття шт ко н -т Ба щ с , м 7 з 7 ж я Мо КУ ж ря ху й хх Конт дет в, Жди же М Ко с й Мас х Са й у ра я ий я х ння й -Ж жи ; й. А соди ет Є же Се о ,, Ж же ки з ай Кай Ух же Шо ки У р шик Я Є лена койне у вий я авт й зе й де ОВ Кн зання КК схвй ОКХ В Ки У. в свв Мей Моз Ше Кс Май ве Кс Ше УОе Мав мини сь не Ме о со й май смій вв ВН КТ ст вай ФК Из ММ ПОШИ нях КК ПИПИИНИНИНИ Зно зу ШТ БМК ОХ ех ПП ЕЕ КМ ПИКА ЗУООХ ПЕН МІ ЗКУ МЕН ПИ ни В ОО ОЗ СВО Б Га В БО М МОХ я зх ЕКО ро МЕМ ЗО КО Ох В ЗБ Ка С ПЕН МЕНЯ дО ВВ Ен ВОВК КН ЗХ М ния ек ЕНН Я В ж УМ ние о Ку вихо увен УЖ КН ППП КИ ЗО. КТ ПИШИ ШЕННЯ ПМП МК НП КПП ВОК ЗХ ХМК ПИШНШИИИИИ ЖК НН ШИМИ ПН осв ВОВН ШЕ ПН МАМ З ЕКОН ДН ШЕНННИНо свй Вони Не БОБ. ооо еООх НИХ Ох НИХ М Носова ИКШШНИННЕ ОК КОН ПЕККЯ ИНШНИНИВ КО КО Ме ОН Ен ККД пе ПК п ВВ сиди М МЕ кт ВВ КІ мет М - кт К- : ж т Я ет ак Е зі - й ет -- зва БЖ но чав о мо за я Я ЗБ 555 Ах зж За 355 ЗжВ ЩО ЗХ Е 1 ї ККУ г Я нн ном ни нини і Кодувати дані поточного і-З5В Н Ся се зрух ця сежаслохе У І зеюражЕних з анкорицчням ї : Кк кін ї Н ХНН КУ ЖКЕКеНЬ Н ши а в п . ї Пюзваню; пилу! вИНКОванму, ів зЗипбристОвунан: аз ОДУЖАННЯ пенні и ур ецня он ним ванни вин Ме Колувахв МОВ ЗВ земна У Фут мА І КОС для нор ВЕ Н с у Я ї рон НН Я САТ значення МОН лах : Не пасіуйту й МТК шумвцювтих ко У: й сижжжж і й МВ Визекю ппебногоа кржкання: я і погтоогоокновеогоосегоооврооог оо оооеоооеооеососто та Щі З сккжжкжжж і Козувчятв різна яка КЕН МЕХЕВ значение
ВІЖ. ваз поперед НЕ Колуватн ДВ значення БОС Зх ої ее я - їх У "тухї МЕЖЕе Щ у ВХ івк Ще ТЕР да на чо клинки КУ сгтїуєий зЗовражКиНння: Кк х для й Є я са
Е . У кепку іст чаті паї 5 ух : Нниазлизе кодовані дані 30 : : Я : Зв веж жежлукт тет кВА ВВ КАР ЖЖ В АК патч нти сую КО
«ісколувати МУХІН значених У ВС зля веримно МТК Декодунити МБ звачения РОС для Я 7 мастецного МТВ АКА АМАААЧААКК ААА КАНА ААА ЧАННЯ я вх сккиих с ОЙ й КГБ зиааення РОК дах ї настюнимо ІК мк ; дорівнаноать ХК іншого ! ск ОгО ЗОВ Я і пн пава і Деякодунніий ЗВ залення «за пивинівіносво МеВ Є зваченва РОКІ диВ поперек: МІК і АКА КАК КАХ ККААХКККЮВМ ККААЖНИХ ї КВ Так 4 еВ дах перочнаго А мн зераження? я Я Збивити сла або Пи ВаНЕ СПмекіВ Е -343 орних иа жен. ЩО вело ча В й Я ней внемалінванці МЕ не о і ЕквВоувазн поточне ниураження їй ї с 1 ї
ЧО.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261665784P | 2012-06-28 | 2012-06-28 | |
| US13/924,016 US9332255B2 (en) | 2012-06-28 | 2013-06-21 | Signaling long-term reference pictures for video coding |
| PCT/US2013/047367 WO2014004391A1 (en) | 2012-06-28 | 2013-06-24 | Signaling long-term reference pictures for video coding |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| UA116214C2 true UA116214C2 (uk) | 2018-02-26 |
Family
ID=49778158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| UAA201500658A UA116214C2 (uk) | 2012-06-28 | 2013-06-24 | Сигналізація довгострокових опорних зображень для кодування відео |
Country Status (25)
| Country | Link |
|---|---|
| US (1) | US9332255B2 (uk) |
| EP (1) | EP2868081B1 (uk) |
| JP (1) | JP6239609B2 (uk) |
| KR (1) | KR101719930B1 (uk) |
| CN (1) | CN104412599B (uk) |
| AR (1) | AR093754A1 (uk) |
| AU (1) | AU2013280659B2 (uk) |
| BR (1) | BR112014032473B1 (uk) |
| CA (1) | CA2875713C (uk) |
| DK (1) | DK2868081T3 (uk) |
| ES (1) | ES2736312T3 (uk) |
| HK (1) | HK1204185A1 (uk) |
| HU (1) | HUE044918T2 (uk) |
| IL (1) | IL235969A (uk) |
| MY (1) | MY181793A (uk) |
| PH (1) | PH12014502731A1 (uk) |
| PL (1) | PL2868081T3 (uk) |
| PT (1) | PT2868081T (uk) |
| RU (1) | RU2642361C2 (uk) |
| SG (1) | SG11201408111UA (uk) |
| SI (1) | SI2868081T1 (uk) |
| TW (1) | TWI558179B (uk) |
| UA (1) | UA116214C2 (uk) |
| WO (1) | WO2014004391A1 (uk) |
| ZA (1) | ZA201500618B (uk) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130188709A1 (en) | 2012-01-25 | 2013-07-25 | Sachin G. Deshpande | Video decoder for tiles with absolute signaling |
| US9979958B2 (en) | 2012-04-20 | 2018-05-22 | Qualcomm Incorporated | Decoded picture buffer processing for random access point pictures in video sequences |
| US9479776B2 (en) * | 2012-07-02 | 2016-10-25 | Qualcomm Incorporated | Signaling of long-term reference pictures for video coding |
| US10194146B2 (en) | 2013-03-26 | 2019-01-29 | Qualcomm Incorporated | Device and method for scalable coding of video information |
| US10356426B2 (en) * | 2013-06-27 | 2019-07-16 | Google Llc | Advanced motion estimation |
| US9510001B2 (en) * | 2013-07-09 | 2016-11-29 | Electronics And Telecommunications Research Institute | Video decoding method and apparatus using the same |
| US9848199B2 (en) * | 2014-03-17 | 2017-12-19 | Qualcomm Incorporated | Device and method for scalable coding of video information |
| US11595652B2 (en) * | 2019-01-28 | 2023-02-28 | Op Solutions, Llc | Explicit signaling of extended long term reference picture retention |
| US11985318B2 (en) * | 2015-12-24 | 2024-05-14 | OP Solultions, LLC | Encoding video with extended long term reference picture retention |
| US11736687B2 (en) | 2017-09-26 | 2023-08-22 | Qualcomm Incorporated | Adaptive GOP structure with future reference frame in random access configuration for video coding |
| WO2020112488A1 (en) * | 2018-11-30 | 2020-06-04 | Futurewei Technologies, Inc. | Signaling of reference picture lists in video coding |
| US10904545B2 (en) | 2018-12-26 | 2021-01-26 | Tencent America LLC | Method for syntax controlled decoded picture buffer management |
| WO2020159994A1 (en) | 2019-01-28 | 2020-08-06 | Op Solutions, Llc | Online and offline selection of extended long term reference picture retention |
| KR20210118155A (ko) * | 2019-01-28 | 2021-09-29 | 오피 솔루션즈, 엘엘씨 | 연장된 장기 참조 픽처 보유의 명시적 시그널링 |
| US11109041B2 (en) * | 2019-05-16 | 2021-08-31 | Tencent America LLC | Method and apparatus for video coding |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001086960A2 (en) | 2000-05-10 | 2001-11-15 | Picturetel Corporation | Video coding using multiple buffers |
| TWI249356B (en) * | 2002-11-06 | 2006-02-11 | Nokia Corp | Picture buffering for prediction references and display |
| US20050008240A1 (en) * | 2003-05-02 | 2005-01-13 | Ashish Banerji | Stitching of video for continuous presence multipoint video conferencing |
| FR2874292B1 (fr) | 2004-08-10 | 2007-01-26 | Thales Sa | Procede de mise en forme de trames d'une sequence video |
| BRPI0716957A2 (pt) | 2006-10-13 | 2013-10-29 | Thomson Licensing | Sintaxe de gerenciamento de lista de imagens de referência para codificação de vídeo de múltiplas vistas |
| US8494049B2 (en) * | 2007-04-09 | 2013-07-23 | Cisco Technology, Inc. | Long term reference frame management with error video feedback for compressed video communication |
| US9210480B2 (en) | 2007-12-20 | 2015-12-08 | Broadcom Corporation | Video processing system with layered video coding and methods for use therewith |
| US9237355B2 (en) * | 2010-02-19 | 2016-01-12 | Qualcomm Incorporated | Adaptive motion resolution for video coding |
| WO2012052968A1 (en) | 2010-10-20 | 2012-04-26 | Nokia Corporation | Method and device for video coding and decoding |
| MY166191A (en) | 2011-06-30 | 2018-06-07 | Ericsson Telefon Ab L M | Absolute or explicit reference picture signaling |
| CN102256125B (zh) * | 2011-07-14 | 2013-06-05 | 北京工业大学 | 面向高效视频编码hevc基于上下文的自适应算数编码方法 |
| US9648321B2 (en) * | 2011-12-02 | 2017-05-09 | Qualcomm Incorporated | Coding picture order count values identifying long-term reference frames |
-
2013
- 2013-06-21 US US13/924,016 patent/US9332255B2/en active Active
- 2013-06-24 PL PL13734279T patent/PL2868081T3/pl unknown
- 2013-06-24 EP EP13734279.6A patent/EP2868081B1/en active Active
- 2013-06-24 AU AU2013280659A patent/AU2013280659B2/en active Active
- 2013-06-24 KR KR1020157002154A patent/KR101719930B1/ko active IP Right Grant
- 2013-06-24 UA UAA201500658A patent/UA116214C2/uk unknown
- 2013-06-24 CN CN201380034109.0A patent/CN104412599B/zh active Active
- 2013-06-24 WO PCT/US2013/047367 patent/WO2014004391A1/en active Application Filing
- 2013-06-24 MY MYPI2014703541A patent/MY181793A/en unknown
- 2013-06-24 ES ES13734279T patent/ES2736312T3/es active Active
- 2013-06-24 SI SI201331431T patent/SI2868081T1/sl unknown
- 2013-06-24 CA CA2875713A patent/CA2875713C/en active Active
- 2013-06-24 BR BR112014032473-5A patent/BR112014032473B1/pt active IP Right Grant
- 2013-06-24 HU HUE13734279 patent/HUE044918T2/hu unknown
- 2013-06-24 DK DK13734279.6T patent/DK2868081T3/da active
- 2013-06-24 PT PT13734279T patent/PT2868081T/pt unknown
- 2013-06-24 SG SG11201408111UA patent/SG11201408111UA/en unknown
- 2013-06-24 JP JP2015520368A patent/JP6239609B2/ja active Active
- 2013-06-24 RU RU2015102618A patent/RU2642361C2/ru active
- 2013-06-28 TW TW102123363A patent/TWI558179B/zh active
- 2013-06-28 AR ARP130102332A patent/AR093754A1/es active IP Right Grant
-
2014
- 2014-11-27 IL IL235969A patent/IL235969A/en active IP Right Grant
- 2014-12-05 PH PH12014502731A patent/PH12014502731A1/en unknown
-
2015
- 2015-01-27 ZA ZA2015/00618A patent/ZA201500618B/en unknown
- 2015-05-12 HK HK15104484.8A patent/HK1204185A1/xx unknown
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| UA116214C2 (uk) | Сигналізація довгострокових опорних зображень для кодування відео | |
| US11601640B2 (en) | Image coding method using history-based motion information and apparatus for the same | |
| TWI688262B (zh) | 用於視訊寫碼之重疊運動補償 | |
| TWI719053B (zh) | 內區塊複製合併模式及不可用內區塊複製參考區域之填充 | |
| US11095922B2 (en) | Geometry transformation-based adaptive loop filtering | |
| TWI845688B (zh) | 用於視訊寫碼之合併模式寫碼 | |
| EP3672249B1 (en) | Inter frame prediction method and device for video images | |
| TWI705694B (zh) | 片級內部區塊複製及其他視訊寫碼改善 | |
| TWI705698B (zh) | 適應性跨組件殘差預測 | |
| CN110089116B (zh) | 通过光照补偿和整数运动向量限制进行编码优化 | |
| TWI528788B (zh) | 用於寫碼視訊資料之方法、裝置及電腦可讀媒體 | |
| JP6342477B2 (ja) | ビデオコーディング予測のためのメモリ削減 | |
| KR101825262B1 (ko) | B 슬라이스에서의 예측 유닛의 단방향성 인터 예측으로의 제한 | |
| US20170332075A1 (en) | Confusion of multiple filters in adaptive loop filtering in video coding | |
| TW201832562A (zh) | 具有減低複雜性之視訊寫碼中之雙邊濾波器 | |
| TW202005399A (zh) | 基於區塊之自適應迴路濾波器(alf)之設計及發信令 | |
| TW201830964A (zh) | 基於在視訊寫碼中之一預測模式導出雙邊濾波器資訊 | |
| TW201803348A (zh) | 用於在視頻寫碼中之並列參考指標的一致性約束 | |
| TW201841508A (zh) | 內部預測模式傳播 | |
| CN104813661A (zh) | 在视频译码中跨越受约束块内边界进行环路滤波 | |
| WO2020042630A1 (zh) | 一种视频图像预测方法及装置 | |
| JP2019534631A (ja) | ピークサンプル適応オフセット | |
| US20200213619A1 (en) | Video coding apparatus and video decoding apparatus, filter device | |
| US20220210449A1 (en) | Image encoding/decoding method and device using palette mode, and method for transmitting bitstream | |
| TW202038614A (zh) | 用於視訊寫碼之空間時間運動向量預測圖案 |