RS68089B1 - Metode za kodiranje i dekodiranje slika i odgovarajući uređaji i sistemi - Google Patents

Description

[0001] Opis

[0002] TEHNIČKA OBLAST

[0004] Predmetni pronalazak se odnosi na oblast telekomunikacionih tehnologija, a naročito na metodu za kodiranje i dekodiranje slika kao što su slike ili video zapisi.

[0006] POZADINA

[0008] Svestrano video kodiranje (VVC) je standard za kompresiju video zapisa nove generacije koji se koristi kao zamena za postojeći standard, kao što je visokoefikasno video kodiranje (H.265/HEVC). Standard VVC kodiranja obezbeđuje viši kvalitet kodiranja u odnosu na postojeći standard. Da bi se postigao ovaj cilj, razmatraju se različiti intra i inter režimi predikcije. Korišćenjem ovih režima predikcije, video zapis se može kompresovati tako da se smanji količina podataka koja se prenosi u toku bitova (u binarnom obliku).

[0009] Matrično zasnovana intra predikcija (MIP) je jedan od ovih režima. MIP je intra režim predikcije. Pri implementaciji u okviru MIP režima, enkoder (ili koder) ili dekoder može izvesti blok intra predikcije na osnovu trenutnog bloka (npr. grupe bitova ili cifara koje se prenose kao celina i koje se mogu zajedno kodirati i/ili dekodirati). Međutim, izvođenje takvih predikcionih blokova može zahtevati značajne računarske resurse i dodatni memorijski prostor. Zbog toga je unapređena metoda za rešavanje ovog problema korisna i poželjna.

[0011] [0003] Pfaff (Fraunhofer) J et al: "Non-CE3: Harmonization of 8-Bit MIP with Unified-MPM and LFNST using a single type of MIP prediction modes", no. JVET-O0486, m48611, izveštava o varijanti predloga JVET-O0485 u kojoj se MIP režimi predikcije mogu deliti između svih oblika blokova, izuzev blokova veličine 4x4. Ovde se MIP režimi koji pripadaju MipSizeId=2 koriste i za blokove oblika 4x8, 8x4 i 8x8. Za blokove 4x4 MIP nije dostupan. U varijanti dokumenta navodi se da je ukupni memorijski zahtev za MIP iznosi 2,3625 kB. Navodi se da predložena metoda ostvaruje uštedu BD-stope od -0,14% u odnosu na VTM-5.0 u AI konfiguraciji. Vreme izvršavanja enkodera iznosi 94%, dok vreme izvršavanja dekodera iznosi 100%. Za RA konfiguraciju navodi se da predložena metoda ostvaruje uštedu BD-stope od -0,02%. Vreme izvršavanja enkodera iznosi 97%, dok vreme izvršavanja dekodera iznosi 102%. Takođe se navodi da MIP doprinosi ovim rezultatima na sledeći način. U ovom predlogu, test isključivanja alata za MIP pokazuje promenu BD-stope od 0,45% uz vreme izvršavanja enkodera od 94% i dekodera od 102% u AI konfiguraciji, odnosno promenu BD-stope od 0,25% uz vreme izvršavanja enkodera od 98% i dekodera od 101% za RA konfiguraciju.

[0013] Bross et al: "Versatile Video Coding (Draft 5), JVET-N1001-v8 otkriva Nacrt 5 standarda svestranog video kodiranja.

[0015] REZIME

[0017] U okviru postojećeg MIP režima, za generisanje predikcionog bloka trenutnog bloka, veličina predikcionog bloka je manja od veličine trenutnog bloka. Na primer, trenutni blok „8x8“ može imati predikcioni blok „4x4“. U okviru postojećeg MIP režima, MIP predikcioni blok čija je veličina manja od trenutnog bloka izvodi se primenom matričnog proračuna, koji zahteva manje računarskih resursa nego izvođenje matričnog proračuna nad većim blokom. Nakon matričnog proračuna, na MIP predikcioni blok se primenjuje proces naduzorkovanja kako bi se dobio intra predikcioni blok iste veličine kao tekući blok. Na primer, blok intra predikcije „8x8“ može se dobiti iz MIP predikcionog bloka „4x4“ primenom procesa naduzorkovanja putem interpolacije i/ili ekstrapolacije. Predmetni pronalazak obezbeđuje metodu za implementaciju MIP režima bez procesa naduzorkovanja, čime se značajno smanjuje računarska složenost i povećava ukupna efikasnost. Preciznije, pri implementaciji MIP režima, predložena metoda određuje odgovarajući identifikator veličine (ili MIP identifikator veličine) tako da veličina MIP predikcionog bloka (npr. „8x8“) bude ista kao veličina trenutnog bloka („8x8“), čime se eliminiše potreba za procesom naduzorkovanja.

[0019] Prema jednom aspektu, obezbeđena je metoda za dekodiranje slike kako je definisano u patentnom zahtevu 1. Opcione karakteristike definisane su u patentnim zahtevima 2 do 7.

[0021] Prema drugom aspektu, obezbeđena je metoda za kodiranje slike kako je definisano u patentnom zahtevu 8. Opcione karakteristike definisane su u patentnim zahtevima 9 do 12.

[0022] Prema drugom aspektu, obezbeđena je metoda za prenos toka bitova kako je definisano u patentnom zahtevu 13.

[0024] KRATAK OPIS CRTEŽA

[0026] Radi jasnijeg razumevanja tehničkog rešenja opisanog u otelotvorenjima predmetnog pronalaska, ukratko će biti opisani crteži koji se koriste za opis tih otelotvorenja. Očigledno je da su dole opisani crteži dati samo u svrhu ilustracije, a ne ograničenja. Treba razumeti da stručnjak u ovoj oblasti može, na osnovu ovih crteža, izvesti i druge crteže bez ikakvog inventivnog rada.

[0027] Slika 1 je šematski dijagram sistema prema jednom otelotvorenju predmetnog pronalaska. Slika 2 je šematski dijagram sistema za kodiranje prema jednom otelotvorenju predmetnog pronalaska.

[0028] Slika 3 je šematski dijagram koji ilustruje izvođenje bloka intra predikcije korišćenjem MIP režima u skladu sa otelotvorenjima predmetnog pronalaska.

[0029] Slika 4 je šematski dijagram sistema za dekodiranje prema jednom otelotvorenju predmetnog pronalaska.

[0030] Slika 5 je šematski dijagram uređaja (npr. enkodera) prema jednom otelotvorenju predmetnog pronalaska.

[0031] Slika 6 je šematski dijagram uređaja (npr. dekodera) prema jednom otelotvorenju predmetnog pronalaska.

[0032] Slika 7 je šematski dijagram komunikacionog sistema prema jednom otelotvorenju predmetnog pronalaska.

[0034] DETALJAN OPIS

[0036] Radi lakšeg razumevanja predmetnog pronalaska, ono će u nastavku biti detaljnije opisano uz pozivanje na priložene crteže.

[0038] Slika 1 je šematski dijagram sistema 100 prema jednom otelotvorenju predmetnog pronalaska. Sistem 100 može da kodira, prenosi i dekodira sliku. Sistem 100 se takođe može primeniti za kodiranje, prenos i dekodiranje video zapisa koji se sastoji od niza slika.

[0039] Preciznije, sistem 100 može primati ulazne slike, obrađivati ulazne slike i generisati izlazne slike. Sistem 100 uključuje uređaj za kodiranje 100a i uređaj za dekodiranje 100b. Uređaj za kodiranje 100a uključuje jedinicu za particionisanje 101, prvu jedinicu za intra predikciju 103 i jedinicu za entropijsko kodiranje 105. Uređaj za dekodiranje 100b uključuje jedinicu za parsiranje 107 i drugu jedinicu za intra predikciju 109.

[0041] Jedinica za particionisanje 101 je konfigurisana da primi ulazni video 10 i da zatim ulazni video 10 podeli na jednu ili više jedinica stabla kodiranja (CTU) ili kodnih jedinica (CU) 12. CU 12 se prosleđuju prvoj jedinici za intra predikciju 103. Prva jedinica za intra predikciju 103 je konfigurisana da izvede predikcioni blok za svaku od CU 12 primenom MIP procesa. Na osnovu veličine CU 12, MIP proces primenjuje različite pristupe za obradu CU 12 različitih veličina. Za svaki tip CU 12 dodeljen je odgovarajući MIP identifikator veličine (npr.0, 1, 2 itd.). MIP identifikator veličine se koristi za određivanje veličine MIP predikcionog bloka (tj. promenljive „predSize“), broja referentnih uzoraka iz gornje ili leve granice CU (tj. promenljive „boundarySize“) i za izbor MIP matrice iz skupa unapred definisanih MIP matrica. Na primer, kada je MIP identifikator veličine „0“, veličina MIP predikcionog bloka je „4x4“ (npr. „predSize“ je jednak 4), a „boundarySize“ je jednak 2; kada je MIP identifikator veličine „1“, „predSize“ je jednak 4, a „boundarySize“ je jednak 2; a kada je MIP identifikator veličine „2“, „predSize“ je jednak 8, a „boundarySize“ je jednak 4.

[0043] Prva jedinica za intra predikciju 103 prvo određuje širinu i visinu CU 12. Na primer, prva jedinica za intra predikciju 103 može odrediti da CU 12 ima visinu „8“ i širinu „8“. U ovom primeru, i širina i visina iznose „8“. Shodno tome, prva jedinica za intra predikciju 103 određuje da je MIP identifikator veličine CU 12 „2“, što ukazuje da je veličina MIP predikcije „8x8“. Prva jedinica za intra predikciju 103 dalje izvodi skup referentnih uzoraka za CU 12 (npr. korišćenjem susednih uzoraka CU 12, kao što su gornji ili levi susedni uzorci, što je detaljno opisano u vezi sa slikom 3). Zatim, prva jedinica za intra predikciju 103 izvodi MIP predikciju CU 12 na osnovu skupa referentnih uzoraka i odgovarajuće MIP matrice. Prva jedinica za intra predikciju 103 može koristiti MIP predikciju kao intra predikciju 14 CU 12. Intra predikcija 14 i parametri za izvođenje intra predikcije 14 se zatim prosleđuju jedinici za entropijsko kodiranje 105 radi dalje obrade.

[0045] [0013] Jedinica za entropijsko kodiranje 105 je konfigurisana da transformiše parametre za izvođenje intra predikcije 14 u binarni oblik. Shodno tome, jedinica za entropijsko kodiranje 105 generiše tok bitova 16 na osnovu intra predikcije 14. U nekim otelotvorenjima, tok bitova 16 može se prenositi putem komunikacione mreže ili skladištiti na disku ili serveru.

[0047] Uređaj za dekodiranje 100b prima tok bitova 16 kao ulazni tok bitova 17. Jedinica za parsiranje 107 parsira ulazni tok bitova 17 (u binarnom obliku) i konvertuje ga u numeričke vrednosti 18. Numeričke vrednosti 18 ukazuju na karakteristike (npr. boju, osvetljenost, dubinu itd.) ulaznog video zapisa 10. Numeričke vrednosti 18 se prosleđuju drugoj jedinici za intra predikciju 109. Druga jedinica za intra predikciju 109 zatim može konvertovati ove numeričke vrednosti 18 u izlazni video 19 (npr. na osnovu procesa sličnih onima koje izvodi prva jedinica za intra predikciju 103; relevantna otelotvorenja su detaljno opisana u vezi sa slikom 4). Izlazni video 19 se zatim može skladištiti, prenositi i/ili prikazivati putem spoljnog uređaja (npr. skladišta, predajnika itd.). Skladišteni video se dalje može prikazivati na ekranu.

[0049] Slika 2 je šematski dijagram sistema za kodiranje 200 prema jednom otelotvorenju predmetnog pronalaska. Sistem za kodiranje 200 je konfigurisana da kodira, kompresuje i/ili obradi ulaznu sliku 20 i generiše izlazni tok bitova 21 u binarnom obliku. Sistem za kodiranje 200 uključuje jedinicu za particionisanje 201 koja je konfigurisana da podeli ulaznu sliku 20 na jednu ili više jedinica stabla kodiranja (CTU) 22. U nekim otelotvorenjima, jedinica za particionisanje 201 može podeliti sliku na isečke, ploče i/ili brikove. Svaki od brikova može sadržati jednu ili više celih i/ili delimičnih CTU 22. U nekim otelotvorenjima, jedinica za particionisanje 201 može takođe formirati jednu ili više podslika, pri čemu svaka od njih može sadržati jedan ili više isečaka, ploča ili brikova. Jedinica za particionisanje 201 prosleđuje CTU 22 jedinici za predikciju 202 radi dalje obrade.

[0051] [0016] Jedinica za predikciju 202 je konfigurisana da generiše predikcioni blok 23 za svaku od CTU 22. Predikcioni blok 23 može biti generisan na osnovu jednog ili više inter ili intra predikcionih metoda korišćenjem različitih interpolacionih i/ili ekstrapolacionih šema. Kao što je prikazano na slici 2, jedinica za predikciju 202 može dalje uključivati jedinicu za particionisanje blokova 203, ME (procena kretanja) jedinicu 204, MC (kompenzacija kretanja) jedinicu 205 i jedinicu za intra predikciju 206. Jedinica za particionisanje blokova 203 je konfigurisana da podeli CTU 22 na manje kodne jedinice (CU) ili kodne blokove (CB). U nekim otelotvorenjima, CU se mogu generisati iz CTU 22 različitim metodama kao što su podela kvad-stablom, binarna podela i ternarna podela. ME jedinica 204 je konfigurisana da proceni promenu nastalu kretanjem objekta prikazanog na ulaznoj slici 20 ili kretanjem uređaja za snimanje slike koji generiše ulaznu sliku 20. MC jedinica 205 je konfigurisana da prilagodi i kompenzuje promenu nastalu navedenim kretanjem. I ME jedinica 204 i MC jedinica 205 su konfigurisane da izvedu inter (npr. u različitim vremenskim trenucima) predikcioni blok CU. U nekim otelotvorenjima, ME jedinica 204 i MC jedinica 205 mogu koristiti metod procene kretanja optimizovan prema odnosu brzine i distorzije za izvođenje inter predikcionog bloka.

[0053] Jedinica za intra predikciju 206 je konfigurisana da izvede intra (npr. u istom vremenskom trenutku) predikcioni blok CU (ili njegovog dela) korišćenjem različitih intra predikcionih režima, uključujući MIP režime. Detalji izvođenja intra predikcionog bloka korišćenjem MIP režima (u daljem tekstu „MIP proces“) opisani su u vezi sa slikom 3.

[0054] Tokom MIP procesa, jedinica za intra predikciju 206 prvo izvodi jedan ili više referentnih uzoraka iz susednih uzoraka CU, na primer direktnim korišćenjem susednih uzoraka kao referentnih uzoraka, poduzorkovanjem susednih uzoraka ili njihovim direktnim izdvajanjima (npr. korak 301 sa slike 3).

[0056] Drugo, jedinica za intra predikciju 206 izvodi predviđene uzorke na više pozicija uzoraka u CU koristeći referentne uzorke, MIP matricu i parametar pomeranja. Pozicije uzoraka mogu biti unapred definisane pozicije uzoraka u CU. Na primer, pozicije uzoraka mogu biti pozicije sa neparnim horizontalnim i vertikalnim koordinatama unutar CU (npr. x = 1, 3, 5 itd.; y = 1, 3, 5 itd.). Parametar pomeranja uključuje parametar ofseta pomeranja i parametar broja pomeranja, koji se mogu koristiti u operacijama pomeranja pri generisanju predviđenih uzoraka. Na ovaj način, jedinica za intra predikciju 206 može generisati predviđene uzorke u CU (pri čemu se „MIP predikcija“ ili „MIP predikcioni blok“ odnosi na skup takvih predviđenih uzoraka) (npr. korak 302 sa slike 3). U nekim otelotvorenjima, pozicije uzoraka mogu biti pozicije sa parnim horizontalnim i vertikalnim koordinatama unutar CU.

[0058] Treće, jedinica za intra predikciju 206 može izvesti predviđene uzorke na preostalim pozicijama (tj. onim koje nisu pozicije uzoraka) u CU (npr. korak 303 sa slike 3). U nekim otelotvorenjima, jedinica za intra predikciju 206 može koristiti interpolacioni filter za izvođenje predviđenih uzoraka na preostalim pozicijama. Ovim procesima, jedinica za intra predikciju 206 može generisati predikcioni blok 23 za CU u CTU 22.

[0059] Pozivajući se na sliku 2, jedinica za predikciju 202 prosleđuje predikcioni blok 23 sabiraču 207. Sabirač 207 izračunava razliku (npr. rezidual R) između izlaza (npr. CU u CTU 22) jedinice za particionisanje 201 i izlaza (tj. predikcionog bloka 23 CU) jedinice za predikciju 202. Transformaciona jedinica 208 očitava rezidual R i izvodi jednu ili više transformacionih operacija nad predikcionim blokom 23 radi dobijanja koeficijenata 24 za dalju upotrebu. Jedinica za kvantizaciju 209 može kvantizovati koeficijente 24 i izvesti kvantizovane koeficijente 25 (npr. nivoe) ka jedinici za inverznu kvantizaciju 210. Jedinica za inverznu kvantizaciju 210 izvodi skalirajuće operacije nad kvantizovanim koeficijentima 25 i prosleđuje rekonstruisane koeficijente 26 jedinici za inverznu transformaciju 211. Jedinica za inverznu transformaciju 211 izvodi jednu ili više inverznih transformacija koje odgovaraju transformacijama u jedinici za transformaciju 208 i dobija rekonstruisani rezidual 27.

[0061] Sabirač 212 zatim izračunava rekonstruisanu CU sabiranjem rekonstruisanog reziduala 27 i predikcionog bloka 23 CU iz jedinice za predikciju 202. Sabirač 212 takođe prosleđuje svoj izlaz 28 jedinici za predikciju 202 kako bi se koristio kao referenca za intra predikciju. Nakon što su sve CU u CTU 22 rekonstruisane, jedinica za filtriranje 213 može izvršiti filtriranje unutar petlje rekonstruisane slike 29. Jedinica za filtriranje 213 sadrži jedan ili više filtera, na primer, deblokirajući filter, filter sa adaptivnim ofsetom uzoraka (SAO), adaptivni filter petlje (ALF), filter za mapiranje luma komponente sa skaliranjem hroma komponente (LMCS), filter zasnovan na neuronskoj mreži i druge odgovarajuće filtere za suzbijanje distorzija kodiranja ili poboljšanje kvaliteta kodirane slike.

[0063] Jedinica za filtriranje 213 zatim može poslati dekodiranu sliku 30 (ili podsliku) u bafer dekodiranih slika (DPB) 214. DPB 214 daje izlaznu dekodiranu sliku 31 na osnovu kontrolnih informacija. Slika 31 koja je smeštena u DPB 214 može se koristiti i kao referentna slika za izvođenje inter ili intra predikcije od strane jedinice za predikciju 202.

[0065] Jedinica za entropijsko kodiranje 215 je konfigurisana da konvertuje slike 31, parametre iz jedinica u sistemu za kodiranje 200 i dopunske informacije (npr. informacije za upravljanje ili komunikaciju sa sistemom 200) u binarni oblik. Jedinica za entropijsko kodiranje 215 može generisati izlazni tok bitova 21 u skladu sa tim.

[0067] [0024] U nekim otelotvorenjima, sistem za kodiranje 200 može biti računarski uređaj sa procesorom i memorijskim medijumom sa jednim ili više programa za kodiranje. Kada procesor učita i izvršava programe za kodiranje, sistem za kodiranje 200 može primiti ulaznu sliku 20 i u skladu sa tim generisati izlazni tok bitova 21. U nekim otelotvorenjima, sistem za kodiranje 200 može biti računarski uređaj sa jednim ili više čipova. Jedinice ili elementi sistema za kodiranje 200 mogu biti implementirani kao integrisana kola na čipovima.

[0069] Slika 3 je šematski dijagram MIP procesa u skladu sa otelotvorenjem predmetnog pronalaska. MIP proces može biti implementiran od strane jedinice za intra predikciju (npr. jedinice za intra predikciju 206). Kao što je prikazano na slici 3, jedinica za intra predikciju može uključivati modul za predikciju 301 i modul za filtriranje 302. Kao što je takođe prikazano na slici 3, MIP proces uključuje tri koraka 301, 302 i 303. MIP proces može generisati predviđeni blok na osnovu tekućeg bloka ili kodnog bloka 300 (kao što je CU ili particije CU).

[0071] Korak 301

[0073] U koraku 301, jedinica za intra predikciju može koristiti susedne uzorke 31, 33 kodnog bloka 300 za generisanje referentnih uzoraka 32, 34. U prikazanom otelotvorenju, susedni uzorci 31 su gornji susedni uzorci, a susedni uzorci 33 su levi susedni uzorci.

[0074] Jedinica za intra predikciju 206 može izračunati prosečnu vrednost svaka dva susedna uzorka 31, 33 i postaviti tu prosečnu vrednost kao vrednost odgovarajućih referentnih uzoraka 32, 34. U nekim otelotvorenjima, jedinica za intra predikciju 206 može odabrati vrednost jednog od svaka dva susedna uzorka 31 ili 33 kao vrednost referentnog uzorka 32 ili 32. U prikazanim otelotvorenjima, jedinica za intra predikciju 206 izvodi 4 referentna uzorka 32 iz 8 gornjih susednih uzoraka 31 kodnog bloka 300, i dodatna 4 referentna uzorka 34 iz 8 levih susednih uzoraka 33 kodnog bloka 300.

[0076] U koraku 301, jedinica za intra predikciju određuje širinu i visinu kodnog bloka 300 i označava ih kao promenljive „cbWidth“ i „cbHeight“. U nekim otelotvorenjima, jedinica za intra predikciju 206 može primeniti postupak izbora režima optimizovan prema odnosu brzine i distorzije kako bi odredila režim intra predikcije (npr. da li se koristi MIP režim). U takvim otelotvorenjima, kodni blok 300 može biti podeljen na jedan ili više transformacionih blokova, čija se širina i visina označavaju promenljivama „nTbW“ i „nTbH“. Kada se MIP režim koristi kao režim intra predikcije, jedinica za intra predikciju određuje MIP identifikator veličine (označen kao promenljiva „mipSizeId“) na osnovu sledećih uslova A-C.

[0077] [USLOV A] Ako su i „nTbW“ i „nTbH“ jednaki 4, postavlja se „mipSizeId“ na 0.

[0079] [USLOV B] U suprotnom, ako je bilo „cbWidth“ ili „cbHeight“ jednako 4, postavlja se „mipSizeId“ na 1.

[0081] [USLOV C] U suprotnom, postavlja se „mipSizeId“ na 2.

[0083] Kao primer, ako je veličina kodnog bloka 300 „8x8“ (tj. i „cbWidth“ i „cbHeight“ su 8), tada se „mipSizeId“ postavlja na 2. Kao drugi primer, ako je veličina transformacionog bloka kodnog bloka 300 „4x4“ (tj. i „nTbW“ i „nTbH“ su 4), tada se „mipSizeId“ postavlja na 0. Kao još jedan primer, ako je veličina kodnog bloka 300 „4x8“, tada se „mipSizeId“ postavlja na 1.

[0085] U prikazanim otelotvorenjima postoje tri tipa „mipSizeId“, i to „0“, „1“ i „2“. Svaki tip MIP identifikatora veličine (tj. promenljiva „mipSizeId“) odgovara specifičnom načinu izvođenja MIP procesa (npr. korišćenju različitih MIP matrica). U drugim otelotvorenjima može postojati više od tri tipa MIP identifikatora veličine.

[0087] Na osnovu MIP identifikatora veličine, jedinica za intra predikciju može odrediti promenljive „boundarySize“ i „predSize“ na osnovu sledećih uslova D-F.

[0089] [USLOV D] Ako je „mipSizeId“ jednak 0, postavlja se „boundarySize“ na 2, a „predSize“ na 4.

[0091] [USLOV E] Ako je „mipSizeId“ jednak 1, postavlja se „boundarySize“ na 4, a „predSize“ na 4.

[0093] [USLOV F] Ako je „mipSizeId“ jednak 2, postavlja se „boundarySize“ na 4, a „predSize“ na 8.

[0095] U prikazanim otelotvorenjima, „boundarySize“ predstavlja broj referentnih uzoraka 32, 34 izvedenih iz gornjih susednih uzoraka 31 i levih susednih uzoraka 33 kodnog bloka 300. Promenljiva „predSize“ koristi se u kasnijem proračunu (tj. jednačina (C) u nastavku).

[0096] U nekim otelotvorenjima, jedinica za intra predikciju može takođe izvesti promenljivu „isTransposed“ kako bi označila redosled referentnih uzoraka 32, 34 koji su smešteni u privremeni niz. Na primer, vrednost „isTransposed“ jednaka 0 označava da jedinica za intra predikciju postavlja referentne uzorke 32 izvedene iz gornjih susednih uzoraka 31 kodnog bloka 300 ispred referentnih uzoraka 34 izvedenih iz levih susednih uzoraka 33. Alternativno, vrednost „isTransposed“ jednaka 1 označava da jedinica za intra predikciju postavlja referentne uzorke 34 izvedene iz levih susednih uzoraka 33 kodnog bloka 300 ispred referentnih uzoraka 32 izvedenih iz gornjih susednih uzoraka 31. U jednoj implementaciji sistema za kodiranje 200, vrednost „isTransposed“ se prosleđuje jedinici za entropijsko kodiranje (npr. jedinici za entropijsko kodiranje 215) kao jedan od parametara MIP procesa, koji se kodira i upisuje u tok bitova (npr. izlazni tok bitova 21). Shodno tome, u implementaciji sistema za dekodiranje 400 sa slike 4 opisanog u ovom predmetnom otkriću, vrednost „isTransposed“ može biti primljena iz jedinice za parsiranje (npr. jedinice za parsiranje 401) parsiranjem ulaznog toka bitova (koji može biti izlazni tok bitova 21).

[0098] Jedinica za intra predikciju može dalje odrediti promenljivu „inSize“ kako bi označila broj referentnih uzoraka 32, 34 koji se koriste za izvođenje MIP predikcije. Vrednost „inSize“ određuje se prema sledećoj jednačini (A). U ovom predmetnom otkriću, značenja i operacije svih operatora u jednačinama su ista kao odgovarajući operatori definisani u standardu ITU-T H.265.

[0100] Na primer,

je relacijski operator „jednako“. Na primer, ako je

[0101] „mipSizeId“ jednak 2, tada je „inSize“ jednak 7 (izračunato kao (2*4)-1). Ako je „mipSizeId“ jednak 1, tada je „inSize“ jednak 8 (izračunato kao (2*4)-0).

[0103] Jedinica za intra predikciju može primeniti sledeći postupak za izvođenje skupa referentnih uzoraka 32, 34, koji se čuvaju u nizu p[x] („x“ je od „0“ do „inSize-1“). Jedinica za intra predikciju može izvesti „nTbW“ uzoraka iz gornjih susednih uzoraka 31 kodnog bloka 300 (i sačuvati ih u nizu „refT“) i „nTbH“ uzoraka iz levih susednih uzoraka 33 kodnog bloka 300 (i sačuvati ih u nizu „refL“).

[0104] Jedinica za intra predikciju može inicirati proces poduzorkovanja nad nizom „refT“ kako bi dobila „boundarySize“ uzoraka i sačuvala te uzorke u „refT“. Slično tome, jedinica za intra predikciju 206 može inicirati proces poduzorkovanja nad nizom „refL“ kako bi dobila „boundarySize“ uzoraka i sačuvala te uzorke u „refL“.

[0106] U nekim otelotvorenjima, jedinica za intra predikciju može objediniti nizove „refT“ i „refL“ u jedinstveni niz „pTemp“ na osnovu redosleda označenog promenljivom „isTransposed“. Jedinica za intra predikciju može odrediti „isTransposed“ kako bi označila redosled referentnih uzoraka koji se čuvaju u privremenom nizu „pTemp“. Na primer, vrednost „isTransposed“ jednaka 0 (ili FALSE) označava da jedinica za intra predikciju postavlja referentne uzorke 32 izvedene iz gornjih susednih uzoraka 31 kodnog bloka 300 ispred referentnih uzoraka 34 izvedenih iz levih susednih uzoraka 33. U drugim slučajevima, vrednost „isTransposed“ jednaka 1 (ili TRUE) označava da jedinica za intra predikciju postavlja referentne uzorke 34 izvedene iz levih susednih uzoraka 33 kodnog bloka 300 ispred referentnih uzoraka 32 izvedenih iz gornjih susednih uzoraka 31. U nekim otelotvorenjima, u implementaciji sistema za kodiranje 200, jedinica za intra predikciju može odrediti vrednost „isTransposed“ korišćenjem metode optimizacije odnosa brzine i distorzije. U nekim otelotvorenjima, u implementaciji sistema za kodiranje 200, jedinica za intra predikciju može odrediti vrednost „isTransposed“ na osnovu poređenja i/ili korelacija između susednih uzoraka 32, 34 i kodnog bloka 300. U implementaciji sistema za kodiranje 200, vrednost „isTransposed“ može se proslediti jedinici za entropijsko kodiranje (npr. jedinici za entropijsko kodiranje 215) kao jedan od parametara MIP procesa koji se upisuje u tok bitova (npr. izlazni tok bitova 21). Shodno tome, u implementaciji sistema za dekodiranje 400 sa slike 4 opisanog u ovom predmetnom otkriću, vrednost „isTransposed“ može biti primljena iz jedinice za parsiranje (npr. jedinice za parsiranje 401) parsiranjem ulaznog toka bitova (koji može biti izlazni tok bitova 21).

[0108] Jedinica za intra predikciju može odrediti niz p[x] (gde je x od „0“ do „inSize-1“) na osnovu sledećih uslova G i H.

[0110] [USLOV G] Ako je „mipSizeId“ jednak 2, tada je p[x] = pTemp[x+1] - pTemp[0].

[0112] [USLOV H] U suprotnom (npr. kada je „mipSizeId“ manji od 2), važi p[0]=pTemp[0]-(1<<( BitDepth-1)) i p[x]=pTemp[x]-pTemp[0] (za x od 1 do „inSize-1“).

[0113] U navedenom uslovu H, „BitDepth“ predstavlja dubinu bita komponente boje uzorka (npr. Y komponenta) u kodnom bloku 300. Simbol

je operator pomeranja bitova ulevo definisan u standardu ITU-T H.265.

[0115] Alternativno, jedinica za intra predikciju može odrediti niz p[x] (za x od 0 do „inSize-1“) na osnovu sledećih uslova I i J.

[0117] [USLOV I] Ako je „mipSizeId“ jednak 2, tada je p[x]=pTemp[x+1]-pTemp[0].

[0119] [USLOV J] U suprotnom (npr. kada je „mipSizeId“ manji od 2), važi p[0] = (1<<(BitDepth-1))-pTemp[0] i p[x]=pTemp[x]-pTemp[0] (za x od 1 do „inSize-1“).

[0121] U nekim otelotvorenjima, jedinica za intra predikciju može odrediti vrednosti niza p[x] korišćenjem jedinstvenog načina proračuna bez provere vrednosti „mipSizeId“. Na primer, jedinica za intra predikciju može dodati „(1<<(BitDepth-1))“ kao dodatni element u „pTemp“ i izračunati p[x] kao „pTemp[x]-pTemp[0]“.

[0123] Korak 302

[0125] U koraku 302, jedinica za intra predikciju (ili modul za predikciju 301) izvodi MIP predikciju kodnog bloka 300 korišćenjem skupa referentnih uzoraka 32, 34 i MIP matrice. MIP matrica se bira iz grupe unapred definisanih MIP matrica na osnovu odgovarajućeg identifikatora MIP režima (tj. promenljive „mipModeId“) i MIP identifikatora veličine (tj. promenljive „mipSizeId“).

[0127] MIP predikcija koju izvodi jedinica za intra predikciju obuhvata delimične predviđene uzorke 35 na svim ili nekim pozicijama uzoraka u kodnom bloku 300. MIP predikcija se označava kao „predMip[x][y]“.

[0129] [0054] U prikazanom otelotvorenju na slici 3, delimični predviđeni uzorci 35 su uzorci označeni sivim kvadratima u tekućem bloku 300. Referentni uzorci 32, 34 u nizu p[x], izvedeni u koraku 301, koriste se kao ulaz u modul za predikciju 301. Modul za predikciju 301 izračunava delimične predviđene uzorke 35 korišćenjem MIP matrice i parametra pomeranja. Parametar pomeranja uključuje parametar ofseta pomeranja i parametar broja pomeranja. U nekim otelotvorenjima, modul za predikciju 301 izvodi delimični predviđeni uzorak 35 sa koordinatama (x, y) na osnovu sledećih jednačina (B) i (C):

[0131]

[0134] U gornjoj jednačini (B), parametar „fO“ je parametar ofseta pomeranja koji se koristi za određivanje parametra „oW“. Parametar „sW“ je parametar broja pomeranja.

[0135] „p[i]“ predstavlja referentni uzorak. Simbol

je operator pomeranja bitova udesno definisan u standardu H.265.

[0137] U gornjoj jednačini (C), „mWeight[i][j]“ predstavlja MIP matricu težinskih koeficijenata, pri čemu su elementi matrice fiksne konstante kako za kodiranje tako i za dekodiranje. Alternativno, u nekim otelotvorenjima, implementacija sistema za kodiranje 200 koristi adaptivnu MIP matricu. Na primer, MIP matrica težina može se ažurirati različitim metodama treniranja korišćenjem jedne ili više kodiranih slika kao ulaza, ili korišćenjem slika koje se sistemu za kodiranje 200 dostavljaju spoljnim putem. Jedinica za intra predikciju može proslediti „mWeight[i][j]“ jedinici za entropijsko kodiranje (npr. jedinici za entropijsko kodiranje 215) kada se odredi MIP režim. Jedinica za entropijsko kodiranje zatim može upisati „mWeight[i][j]“ u tok bitova, npr. u jednu ili više posebnih jedinica podataka u toku bitova koje sadrže MIP podatke. Shodno tome, u nekim otelotvorenjima, implementacija sistema za dekodiranje 400 sa adaptivnom MIP matricom može ažurirati MIP matricu, na primer, metodom treniranja sa ulazom koji obuhvata jednu ili više kodiranih slika ili blokova, ili slike iz drugog toka bitova koje su dekoderu 200 dostavljene spoljnim putem, ili dobijene iz jedinice za parsiranje 401 parsiranjem posebnih jedinica podataka u ulaznom toku bitova koje sadrže podatke o MIP matrici.

[0139] [0057] Modul za predikciju 301 može odrediti vrednosti „sW“ i „fO“ na osnovu veličine tekućeg bloka 300 i MIP režima koji se koristi za tekući blok 300. U nekim otelotvorenjima, modul za predikciju 301 može dobiti vrednosti „sW“ i „fO“ korišćenjem tabele pretraživanja. Na primer, tabela 1 u nastavku može se koristiti za određivanje „sW“.

[0141] Tabela 1

[0143]

[0146] Alternativno, tabela 2 u nastavku takođe se može koristiti za određivanje „sW“.

[0147] Tabela 2

[0149]

[0152] U nekim otelotvorenjima, modul za predikciju može postaviti „sW“ kao konstantu. Na primer, modul za predikciju može postaviti „sW“ na „5“ za blokove različitih veličina sa različitim MIP režimima. Kao drugi primer, modul za predikciju 301 može postaviti „sW“ na „6“ za blokove različitih veličina sa različitim MIP režimima. Kao još jedan primer, modul za predikciju može postaviti „sW“ na „7“ za blokove različitih veličina sa različitim MIP režimima.

[0154] U nekim primerima koji nisu obuhvaćeni predmetom zaštite iz zahteva, jedinica za predikciju 301 može koristiti tabelu 3 ili tabelu 4 u nastavku za određivanje „fO“.

[0156] Tabela 3

[0158]

[0159]

[0162] Tabela 4

[0164]

[0167] U nekim otelotvorenjima, modul za predikciju 301 može direktno postaviti „fO“ kao konstantu (npr. vrednost u opsegu od 0 do 100). Na primer, modul za predikciju 301 može postaviti „fO“ na „46“ za blokove različitih veličina sa različitim MIP režimima. Kao drugi primer, modul za predikciju 301 može postaviti „fO“ na „56“. Kao još jedan primer, modul za predikciju 301 može postaviti „fO“ na „66“.

[0169] U nekim otelotvorenjima, jedinica za intra predikciju može izvršiti operaciju „odsecanja“ nad vrednostima MIP predikcionih uzoraka smeštenih u nizu „predMip“. ada je „isTransposed“ jednako 1 (ili TRUE), niz dimenzija „predSize x

[0170] predSize“ „predMip[x][y]“ (za x od 0 do „predSize-1“ i za y od 0 do „predSize-1“) se transponuje kao „predTemp[y][x] = predMip[x][y]“, a zatim se postavlja „predMip = predTemp“.

[0172] Konkretnije, kada je veličina kodnog bloka 303 „8x8“ (tj. i „cbWidth“ i „cbHeight“ su 8), jedinica za intra predikciju može izvesti niz „predMip“ dimenzija „8x8“.

[0174] Korak 303

[0176] [0064] U koraku 303 na slici 3, jedinica za intra predikciju izvodi predviđene uzorke 37 za preostale uzorke, osim delimičnih uzoraka 35, u kodnom bloku 300. Kao što je prikazano na slici 3, jedinica za intra predikciju može koristiti modul za filtriranje 302 za izvođenje predviđenih uzoraka 37 za preostale uzorke, osim delimičnih uzoraka 35, u kodnom bloku 300. Ulaz u modul za filtriranje 302 mogu biti delimični uzorci 35 iz koraka 302. Modul za filtriranje 302 može koristiti jedan ili više interpolacionih filtera za izvođenje predviđenih uzoraka 37 za preostale uzorke, osim delimičnih uzoraka 35, u kodnom bloku 300. Jedinica za intra predikciju (ili modul za filtriranje 302) može generisati predikciju (koja uključuje više predviđenih uzoraka 37) kodnog bloka 300 i sačuvati predikciju 37 u nizu „predSamples[x][y]“ (za x od 0 do „nTbW-1“, za y od 0 do „nTbH-1“) u skladu sa sledećim uslovima K i L.

[0178] [USLOV K] Ako jedinica za intra predikciju utvrdi da je „nTbW“ veće od „predSize“ ili da je „nTbH“ veće od „predSize“, jedinica za intra predikciju pokreće proces naduzorkovanja kako bi izvela „predSamples“ na osnovu „predMip“.

[0180] [USLOV L] U suprotnom, jedinica za intra predikciju postavlja predikciju kodnog bloka 300 kao MIP predikciju kodnog bloka.

[0182] Drugim rečima, jedinica za intra predikciju može postaviti „predSamples[x][y]“ (za x od 0 do „nTbW-1“, za y od 0 do „nTbH-1“) tako da budu jednaki „predMip[x][y]“. Na primer, jedinica za intra predikciju može postaviti „predSamples“ za kodni blok čija je veličina „8x8“ (tj. i „cbWidth“ i „cbHeight“ su 8) kao njegov „predMip[x][y]“.

[0184] Kroz korake 301-303, jedinica za intra predikciju može generisati predikciju tekućeg bloka 300. Generisana predikcija može se koristiti za dalju obradu (npr. kao predikcioni blok 23 opisan ranije u vezi sa slikom 2).

[0186] Slika 4 predstavlja šematski dijagram sistema za dekodiranje 400 prema jednom otelotvorenju predmetnog pronalaska. Sistem za dekodiranje 400 je konfigurisana da prima, obrađuje i transformiše ulazni tok bitova 40 u izlazni video 41. Ulazni tok bitova 40 može biti tok bitova koji predstavlja komprimovanu/kodiranu sliku ili video. U nekim otelotvorenjima, ulazni tok bitova 40 može poticati iz izlaznog toka bitova (npr. izlazni tok bitova 21) generisanog od strane sistema za kodiranje (kao što je sistem za kodiranje 200).

[0188] [0070] Sistem za dekodiranje 400 obuhvata jedinicu za parsiranje 401 konfigurisanu da parsira ulazni tok bitova 40 kako bi iz njega dobila vrednosti sintaksnih elemenata. Jedinica za parsiranje 401 takođe konvertuje binarne reprezentacije sintaksnih elemenata u numeričke vrednosti (tj. dekodirani blok 42) i prosleđuje te numeričke vrednosti jedinici za predikciju 402 (npr. radi dekodiranja). U nekim otelotvorenjima, jedinica za parsiranje 401 može takođe proslediti jednu ili više promenljivih i/ili parametara za dekodiranje numeričkih vrednosti jedinici za predikciju 402.

[0190] Jedinica za predikciju 402 je konfigurisana da odredi predikcioni blok 43 dekodiranog bloka 42 (npr. CU ili particiju CU, kao što je transformacioni blok). Kada je naznačeno da je za dekodiranje dekodiranog bloka 42 korišćen inter režim kodiranja, MC (kompenzacija kretanja) jedinica 403 unutar jedinice za predikciju 402 može primiti odgovarajuće parametre od jedinice za parsiranje 401 i u skladu s tim dekodirati u inter režimu kodiranja. Kada je naznačeno da se za dekodiranje dekodiranog bloka 42 koristi intra režim predikcije (npr. MIP režim), jedinica za intra predikciju 404 unutar jedinice za predikciju 402 prima odgovarajuće parametre od jedinice za parsiranje 401 i u skladu s tim dekodira u naznačenom intra režimu kodiranja. U nekim otelotvorenjima, intra režim predikcije (npr. MIP režim) može biti identifikovan pomoću specifične zastavice (npr. MIP zastavica) ugrađene u ulazni tok bitova 40.

[0192] Na primer, kada je MIP režim identifikovan, jedinica za intra predikciju 404 može odrediti predikcioni blok 43 (koji obuhvata više predviđenih uzoraka) na osnovu sledećih postupaka (sličnih koracima 301-303 opisanim u vezi sa slikom 3).

[0194] Najpre, jedinica za intra predikciju 404 izvodi jedan ili više referentnih uzoraka iz susednih uzoraka dekodiranog bloka 42 (slično koraku 301 na slici 3). Na primer, jedinica za intra predikciju 404 može generisati referentne uzorke poduzorkovanjem susednih uzoraka ili direktnim izdvajanje dela iz susednih uzoraka.

[0196] Zatim, jedinica za intra predikciju 404 izvodi delimične predviđene uzorke u dekodiranom bloku 42 koristeći referentne uzorke, MIP matricu i parametar pomeranja (slično koraku 302 na slici 3). U nekim otelotvorenjima, položaji delimičnih predviđenih uzoraka mogu biti unapred definisani u dekodiranom bloku 42. Na primer, položaji delimičnih predviđenih uzoraka mogu biti pozicije sa neparnim horizontalnim i vertikalnim koordinatnim vrednostima unutar kodnog bloka. Parametar pomeranja može obuhvatati parametar ofseta pomeranja i parametar broja pomeranja, koji se koriste u operacijama pomeranja prilikom generisanja delimičnih predviđenih uzoraka.

[0197] Konačno, nakon što su delimični predviđeni uzorci dekodiranog bloka 42 izvedeni, jedinica za intra predikciju 404 izvodi predviđene uzorke za preostale uzorke, osim delimičnih predviđenih uzoraka u dekodiranom bloku 42 (slično koraku 303 na slici 3). Na primer, jedinica za intra predikciju 404 može koristiti interpolacioni filter za izvođenje predviđenih uzoraka, pri čemu se delimični predviđeni uzorci i susedni uzorci koriste kao ulaz u interpolacioni filter.

[0199] Sistem za dekodiranje 400 obuhvata jedinicu za skaliranje 405 sa funkcijama sličnim funkcijama jedinice za inverznu kvantizaciju 210 sistema za kodiranje 200. Jedinica za skaliranje 405 vrši operacije skaliranja nad kvantizovanim koeficijentima 44 (npr. nivoima) iz jedinice za parsiranje 401 kako bi generisala rekonstruisane koeficijente 45.

[0201] Transformaciona jedinica 406 ima funkcije slične funkcijama jedinice za inverznu transformaciju 211 u sistemu za kodiranje 200. Transformaciona jedinica 406 vrši jednu ili više transformacionih operacija (npr. inverzne operacije transformacija koje vrši jedinica za inverznu transformaciju 211) kako bi dobila rekonstruisani rezidual 46.

[0203] Sabirač 407 sabira predikcioni blok 43 iz jedinice za predikciju 402 i rekonstruisani rezidual 46 iz transformacione jedinice 406 kako bi dobio rekonstruisani blok 47 dekodiranog bloka 42. Rekonstruisani blok 47 se takođe prosleđuje jedinici za predikciju 402 kako bi se koristio kao referenca (npr. za druge blokove kodirane u intra režimu predikcije).

[0205] Nakon što su svi dekodirani blokovi 42 u slici ili podslici rekonstruisani (tj. formiran je rekonstruisani blok 48), jedinica za filtriranje 408 može izvršiti filtriranje unutar petlje nad rekonstruisanim blokom 49. Jedinica za filtriranje 408 sadrži jedan ili više filtera, kao što su deblokirajući filter, filter sa adaptivnim ofsetom uzoraka (SAO), adaptivni filter petlje (ALF), filter za mapiranje luma komponente sa skaliranjem hroma komponente (LMCS), filter zasnovan na neuronskoj mreži itd. U nekim otelotvorenjima, jedinica za filtriranje 408 može izvršiti filtriranje unutar petlje samo nad jednim ili više ciljnih piksela u rekonstruisanom bloku 48.

[0207] [0080] Jedinica za filtriranje 408 zatim šalje dekodiranu sliku 49 (ili sliku) ili podsliku u DPB (bafer dekodiranih slika) 409. DPB 409, na osnovu vremenskih i upravljačkih informacija, generiše dekodirane slike kao izlazni video 41. Dekodirane slike 49 koje su smeštene u DPB 409 mogu se takođe koristiti kao referentne slike od strane jedinice za predikciju 402 prilikom izvođenja inter ili intra predikcije.

[0209] U nekim otelotvorenjima, sistem za dekodiranje 400 može biti računarski uređaj sa procesorom i memorijskim medijumom koji beleži jedan ili više dekodirajućih programa. Kada procesor pročita i izvrši dekodirajuće programe, sistem za dekodiranje 400 može primati ulazni video tok bitova i generisati odgovarajući dekodirani video.

[0211] U nekim otelotvorenjima, sistem za dekodiranje 400 može biti računarski uređaj sa jednim ili više čipova. Jedinice ili elementi sistema za dekodiranje 400 mogu biti implementirani kao integrisana kola na čipovima.

[0213] Slika 5 predstavlja šematski dijagram uređaja 500 prema jednom otelotvorenju predmetnog pronalaska. Uređaj 500 može biti „predajni“ uređaj. Konkretnije, uređaj 500 je konfigurisana da pribavi, kodira i čuva/šalje jednu ili više slika. Uređaj 500 obuhvata jedinicu za akviziciju 501, enkoder 502 i jedinicu za skladištenje/slanje 503.

[0215] Jedinica za akviziciju 501 je konfigurisana da pribavi ili primi sliku i prosledi je enkoderu 502. Jedinica za akviziciju 501 takođe može biti konfigurisana da pribavi ili primi video koji se sastoji od niza slika i prosledi video enkoderu 502. U nekim otelotvorenjima, jedinica za akviziciju 501 može biti uređaj koji sadrži jednu ili više kamera (npr. foto-aparati, dubinske kamere itd.). U nekim otelotvorenjima, jedinica za akviziciju 501 može biti uređaj koji može delimično ili u potpunosti dekodirati video tok bitova kako bi generisao sliku ili video. Jedinica za akviziciju 501 može takođe sadržati jedan ili više elemenata za snimanje audio signala.

[0217] Enkoder 502 je konfigurisana da kodira sliku iz jedinice za akviziciju 501 i generiše video tok bitova. Enkoder 502 takođe može biti konfigurisana da kodira video iz jedinice za akviziciju 501 i generiše tok bitova. U nekim otelotvorenjima, enkoder 502 može biti implementiran kao sistem za kodiranje 200 opisan na slici 2. U nekim otelotvorenjima, enkoder 502 može sadržati jedan ili više audio enkodera za kodiranje audio signala radi generisanja audio toka bitova.

[0218] Jedinica za skladištenje/slanje 503 je konfigurisana da primi jedan ili oba video i audio toka bitova od enkodera 502. Jedinica za skladištenje/slanje 503 može enkapsulirati video tok bitova zajedno sa audio tokom bitova kako bi formirala medijsku datoteku (npr. medijsku datoteku zasnovanu na ISO standardu) ili transportni tok. U nekim otelotvorenjima, jedinica za skladištenje/slanje 503 može upisati ili sačuvati medijsku datoteku ili transportni tok u skladišnu jedinicu, kao što je čvrsti disk, disk, DVD, skladište u oblaku, prenosni memorijski uređaj itd. U nekim otelotvorenjima, jedinica za skladištenje/slanje 503 može poslati video/audio tokove bitova eksternom uređaju preko transportne mreže, kao što su internet, žičane mreže, mobilna mreža, bežična lokalna mreža itd.

[0220] Slika 6 predstavlja šematski dijagram uređaja 600 prema jednom otelotvorenju predmetnog pronalaska. Uređaj 600 može biti „odredišni“ uređaj. Konkretnije, uređaj 600 je konfigurisan da primi, dekodira i prikaže sliku ili video. Uređaj 600 obuhvata jedinicu za prijem 601, dekoder 602 i jedinicu za prikaz 603.

[0222] Jedinica za prijem 601 je konfigurisana da primi medijsku datoteku ili transportni tok, npr. iz mreže ili skladišnog uređaja. Medijska datoteka ili transportni tok obuhvata video tok bitova i/ili audio tok bitova. Prijemna jedinica 601 može da razdvoji video tok bitova i audio tok bitova. U nekim otelotvorenjima, prijemna jedinica 601 može da generiše novi video/audio tok bitova izdvajajući video/audio tok bitova.

[0224] Dekoder 602 uključuje jedan ili više video dekodera kao što je ranije opisan sistem za dekodiranje 400. Dekoder 602 takođe može da sadrži jedan ili više audio dekodera. Dekoder 602 dekodira video tok bitova i/ili audio tok bitova iz prijemne jedinice 601 kako bi dobio dekodiranu video datoteku i/ili jednu ili više dekodiranih audio datoteka (koje odgovaraju jednom ili više kanala).

[0226] Jedinica za prikaz 603 prima dekodirane video/audio datoteke i obrađuje ih kako bi dobila odgovarajući video/audio signal za prikazivanje/reprodukciju. Ove operacije podešavanja/rekonstrukcije mogu uključivati jedno ili više od sledećeg: uklanjanje šuma, sintezu, konverziju prostora boja, naduzorkovanje, poduzorkovanje itd. Jedinica za prikaz 603 može poboljšati kvalitet dekodiranih video/audio datoteka.

[0227] Slika 7 je šematski prikaz komunikacionog sistema 700 u skladu sa jednim otelotvorenjem predmetnog pronalaska. Komunikacioni sistem 700 uključuje izvorni uređaj 701, medijum za skladištenje ili transportnu mrežu 702 i odredišni uređaj 703. U nekim otelotvorenjima, izvorni uređaj 701 može biti uređaj 500 opisan ranije u vezi sa slikom 5. Izvorni uređaj 701 šalje medijske datoteke ka medijumu za skladištenje ili transportnoj mreži 702 radi njihovog skladištenja ili prenosa. Odredišni uređaj 703 može biti uređaj 600 opisan ranije u vezi sa slikom 6. Komunikacioni sistem 700 je konfigurisan da kodira medijsku datoteku, prenese ili sačuva kodiranu medijsku datoteku, a zatim je dekodira. U nekim otelotvorenjima, izvorni uređaj 701 može biti prvi pametni telefon, medijum za skladištenje 702 može biti skladište u oblaku, a odredišni uređaj može biti drugi pametni telefon.

[0229] Gore opisana otelotvorenja su samo ilustrativna i detaljno prikazuju nekoliko otelotvorenja predmetnog pronalaska. Navedena otelotvorenja ne mogu se tumačiti kao ograničenje predmetnog pronalaska. Stoga, obim predmetnog pronalaska treba da bude određen priloženim patentnim zahtevima.

Claims (13)

1. Patentni zahtevi

1. Metoda za dekodiranje slike, koja obuhvata:

raščlanjivanje toka bitova radi određivanja širine, visine i režima predikcije kodnog bloka; kada režim predikcije ukazuje da se koristi režim intra predikcije zasnovan na matrici (MIP) u dekodiranju kodnog bloka, ako su širina i visina jednake N, određivanje MIP identifikatora veličine koji ukazuje da je MIP prediktovana veličina jednaka N, pri čemu je N pozitivan ceo broj na stepen 2;

izvođenje grupe referentnih uzoraka kodnog bloka; i

izvođenje MIP predikcije kodnog bloka na osnovu grupe referentnih uzoraka i MIP matrice koja odgovara MIP identifikatoru veličine,

pri čemu izvođenje MIP predikcije kodnog bloka na osnovu grupe referentnih uzoraka i MIP matrice koja odgovara MIP identifikatoru veličine obuhvata:

izvođenje MIP predikcije kodnog bloka na osnovu sledećih jednačina:

pri čemu „sW“ predstavlja parametar broja pomeranja, „fO“ predstavlja parametar ofseta pomeranja, „inSize“ predstavlja promenljivu koja označava broj referentnih uzoraka koji se koriste u izvođenju MIP predikcije, „p[i]“ predstavlja referentni uzorak, „predMip[x][y]“ predstavlja MIP predikciju, „mWeight[i][j]“ predstavlja MIP matricu težina, „predSize“ predstavlja veličinu MIP predikcije, „pTemp[0]“ predstavlja nultu vrednost u baferu referentnih uzoraka, simbol

predstavlja binarni operator pomeranja ulevo, a simbol predstavlja binarni operator pomeranja udesno,

pri čemu izvođenje MIP predikcije kodnog bloka na osnovu grupe referentnih uzoraka i MIP matrice koja odgovara MIP identifikatoru veličine dodatno obuhvata:

određivanje parametra ofseta pomeranja; i

izvođenje MIP predikcije kodnog bloka na osnovu grupe referentnih uzoraka, parametra ofseta pomeranja i MIP matrice u skladu sa MIP identifikatorom veličine, pri čemu različiti MIP identifikatori veličine odgovaraju istom parametru ofseta pomeranja, a parametar ofseta pomeranja je konstanta.

2. Metoda prema patentnom zahtevu 1, koja dalje obuhvata:

poduzorkovanje grupe referentnih uzoraka kodnog bloka radi dobijanja bafera referentnih uzoraka, pri čemu bafer referentnih uzoraka sadrži poduzorkovanu grupu referentnih uzoraka kodnog bloka; i

određivanje ulaznog uzorka prema referentnim uzorcima u baferu referentnih uzoraka, MIP identifikatoru veličine i bit-dubini komponente luminanse.

3. Metoda prema patentnom zahtevu 2, pri čemu određivanje ulaznog uzorka prema referentnim uzorcima u baferu referentnih uzoraka, MIP identifikatoru veličine i bit-dubini komponente luminanse obuhvata:

izvođenje ulaznog uzorka na osnovu sledećih uslova:

ako je MIP identifikator veličine jednak 2, p[x]=pTemp[x+1]-pTemp[0];

ako je MIP identifikator veličine manji od 2,

pri čemu „p[x]“ predstavlja referentni uzorak, „pTemp[x]“ predstavlja x-tu vrednost u baferu referentnih uzoraka, a „BitDepth“ predstavlja bit-dubinu komponente luminanse.

4. Metoda prema patentnom zahtevu 3, pri čemu:

MIP identifikator veličine se postavlja na 0 ako su širina i visina kodnog bloka jednake 4; MIP identifikator veličine se postavlja na 1 ako je širina x visina jednako Nx4 ili 4xN; ili MIP identifikator veličine se postavlja na 2 ako širina i visina nisu jednake 4 i širina x visina nije jednako Nx4 ili 4xN.

5. Metoda prema patentnom zahtevu 1, pri čemu izvođenje MIP predikcije kodnog bloka na osnovu grupe referentnih uzoraka i MIP matrice koja odgovara MIP identifikatoru veličine dodatno obuhvata:

određivanje parametra broja pomeranja; i

izvođenje MIP predikcije kodnog bloka na osnovu grupe referentnih uzoraka, parametra broja pomeranja i MIP matrice u skladu sa MIP identifikatorom veličine, pri čemu

različiti MIP identifikatori veličine odgovaraju istom parametru broja pomeranja, a parametar broja pomeranja je konstanta jednaka 6.

6. Metoda prema patentnom zahtevu 1, koja dodatno obuhvata izvođenje grupe referentnih uzoraka kodnog bloka na osnovu susednih uzoraka, pri čemu susedni uzorci obuhvataju gornje susedne uzorke i/ili leve susedne uzorke.

7. Metoda prema patentnom zahtevu 1, koja dodatno obuhvata postavljanje predikcije kodnog bloka jednakom MIP predikciji kodnog bloka.

8. Metoda za kodiranje slike, koja obuhvata:

određivanje širine i visine kodnog bloka u slici;

ako su širina i visina jednake N, pri čemu je N pozitivan ceo broj na stepen 2, određivanje identifikatora veličine intra predikcije zasnovane na matrici, MIP, koji ukazuje na to da je MIP predikciona veličina jednaka N;

izvođenje grupe referentnih uzoraka kodnog bloka; i

izvođenje MIP predikcije kodnog bloka na osnovu grupe referentnih uzoraka i MIP matrice u skladu sa MIP identifikatorom veličine,

pri čemu izvođenje MIP predikcije kodnog bloka na osnovu grupe referentnih uzoraka i MIP matrice koja odgovara MIP identifikatoru veličine obuhvata:

izvođenje MIP predikcije kodnog bloka na osnovu sledećih jednačina:

pri čemu „sW“ predstavlja parametar broja pomeranja, „fO“ predstavlja parametar ofseta pomeranja, „inSize“ predstavlja promenljivu koja označava broj referentnih uzoraka koji se koriste u izvođenju MIP predikcije, „p[i]“ predstavlja referentni uzorak, „predMip[x][y]“ predstavlja MIP predikciju, „mWeight[i][j]“ predstavlja MIP matricu težina, „predSize“ predstavlja veličinu MIP predikcije, „pTemp[0]“ predstavlja nultu vrednost u baferu referentnih uzoraka, simbol

predstavlja binarni operator pomeranja ulevo, a simbol predstavlja binarni operator pomeranja udesno,

pri čemu izvođenje MIP predikcije kodnog bloka na osnovu grupe referentnih uzoraka i MIP matrice koja odgovara MIP identifikatoru veličine dodatno obuhvata:

određivanje parametra ofseta pomeranja; i

izvođenje MIP predikcije kodnog bloka na osnovu grupe referentnih uzoraka, parametra ofseta pomeranja i MIP matrice u skladu sa MIP identifikatorom veličine, pri čemu različiti MIP identifikatori veličine odgovaraju istom parametru ofseta pomeranja, a parametar ofseta pomeranja je konstanta.

9. Metoda prema patentnom zahtevu 8, koja dalje obuhvata:

poduzorkovanje grupe referentnih uzoraka kodnog bloka radi dobijanja bafera referentnih uzoraka, pri čemu bafer referentnih uzoraka sadrži poduzorkovanu grupu referentnih uzoraka kodnog bloka; i

određivanje ulaznog uzorka prema referentnim uzorcima u baferu referentnih uzoraka, MIP identifikatoru veličine i bit-dubini komponente luminanse.

10. Metoda prema patentnom zahtevu 9, pri čemu određivanje ulaznog uzorka prema referentnim uzorcima u baferu referentnih uzoraka, MIP identifikatoru veličine i bit-dubini komponente luminanse obuhvata:

izvođenje ulaznog uzorka na osnovu sledećih uslova:

ako je MIP identifikator veličine jednak 2, p[x]=pTemp[x+1]-pTemp[0];

ako je MIP identifikator veličine manji od 2,

pri čemu „p[x]“ predstavlja referentni uzorak, „pTemp[x]“ predstavlja x-tu vrednost u baferu referentnih uzoraka, a „BitDepth“ predstavlja bit-dubinu komponente luminanse.

11. Metoda prema patentnom zahtevu 10, pri čemu:

MIP identifikator veličine se postavlja na 0 ako su širina i visina kodnog bloka jednake 4; MIP identifikator veličine se postavlja na 1 ako je širina x visina jednako Nx4 ili 4xN; ili MIP identifikator veličine se postavlja na 2 ako širina i visina nisu jednake 4 i širina x visina nije jednako Nx4 ili 4xN.

12. Metoda prema patentnom zahtevu 8, pri čemu:

izvođenje MIP predikcije kodnog bloka na osnovu grupe referentnih uzoraka i MIP matrice u skladu sa MIP identifikatorom veličine dodatno obuhvata:

određivanje parametra broja pomeranja; i

izvođenje MIP predikcije kodnog bloka na osnovu grupe referentnih uzoraka, parametra broja pomeranja i MIP matrice u skladu sa MIP identifikatorom veličine,

pri čemu

različiti MIP identifikatori veličine odgovaraju istom parametru broja pomeranja, a parametar broja pomeranja je konstanta jednaka 6.

13. Postupak za prenos toka bitova koji obuhvata:

izvođenje metoda prema bilo kom od zahteva 8-12 radi generisanja toka bitova; i prenos toka bitova.