RS67490B1 - Postupak za kodiranje/dekodiranje video signala, i uređaj za to - Google Patents

Description

[0001] Opis

[0002] [Oblast tehnike]

[0003] Ovo otkrivanje odnosi se na postupak i uređaj za obradu signala slike, a određenije, na postupak i uređaj za kodiranje ili dekodiranje signala slike izvođenjem transformacije.

[0005] [Stanje Tehnike]

[0006] Kodiranje kompresijom odnosi se na tehniku obrade signala za prenos digitalizovanih informacija kroz komunikacionu liniju ili njihovo skladištenje u odgovarajućem obliku na medijumu za skladištenje. Mediji poput videa, slika i audija mogu biti predmeti kodiranja kompresijom a, oređenije, tehnika izvođenja kodiranja kompresijom na slikama naziva se kompresija video slika.

[0007] Sadržaj videa sledeće generacije imaće karakteristike visoke prostorne rezolucije, visoke brzine kadrova i visoke dimenzionalnosti reprezentacije scene. Za obradu takvog sadržaja, kapacitet memorije, brzina pristupa memoriji i procesorska snaga značajno će se povećati.

[0008] Stoga je neophodno dizajnirati alat za kodiranje koji će efikasnije obrađivati sadržaj videa sledeće generacije. Određenije, standardi video kodeka nakon standarda visokoefikasnog video kodiranja (HEVC) zahtevaju efikasnu tehniku transformacije za pretvaranje video signala prostornog domena u signal frekvencijskog domena, zajedno sa tehnikom predikcije veće tačnosti. Sledeći dokumenti čine stanje tehnike:

[0009] CHOI (SAMSUNG) K ET AL: "CE6: NSST with modified NSST sets and signaling (Test2.3)",11. JVET MEETING; 20180711 - 20180718; LJUBLJANA; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ),,no. JVET-K01745 July 2018 (2018-07-05), XP030198993,Retrieved from the Internet:URL:http://phenix.int-evry.fr/jvet/doc_end_user/ documents/11_Ljubljana/wg11/JVET-K0174-v2.zip JVET-K0174_v2.docx; i SALEHIFAR (LGE) M ET AL: "CE 6.2.6: Reduced Secondary Transform (RST)",11. JVET MEETING; 20180711 - 20180718; LJUBLJANA; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/ WG11 AND ITU-T SG.16 ),,no. JVET-K009913 July 2018 (2018-07-13), XP030199618, Preuzeto sa interneta:URL:http://phenix.intevry.fr/jvet/doc_end_user/documents/11_Ljubljana/wg11/ JVET-K0099-v4.zip JVET-K0099_r1.docx

[0011] [Opis]

[0012] [Tehnički problem]

[0013] Načini ostvarivanja ovog otkrivanja obezbeđuju postupak za obradu signala slike i uređaj koji primenjuje pogodnu transformaciju na trenutni blok.

[0014] Tehnički problemi koje ovo otkrivanje rešava nisu ograničeni na gore navedene tehničke probleme i drugi tehnički problemi koji nisu ovde opisani, biće očigledni stručnjacima u ovoj oblasti na osnovu sledećeg opisa.

[0016] [Tehničko rešenje]

[0017] Ovaj pronalazak definisan je pratećim patentnim zahtevima.

[0019] [Povoljni efekti]

[0020] U skladu sa načinima ostvarivanja ovog otkrivanja, moguće je poboljšati efikasnost transformacije određivanjem i primenjivanjem transformacije pogodne za trenutni blok.

[0021] Pored toga, u skladu sa načinima ostvarivanja ovog otkrivanja, efikasnim dizajniranjem transformacije koja se koristi za primarnu transformaciju i sekundarnu transformaciju, računska složenost može biti poboljšana, a performansa kompresije može biti povećana.

[0022] Pored toga, u skladu sa načinima ostvarivanja ovog otkrivanja, ograničavanjem transformacionog jezgra primarne transformacije na koju se sekundarna transformacija primenjuje, računarska složenost može značajno biti poboljšana.

[0023] Efekti ovog otkrivanja nisu ograničeni na gore opisane efekte, a drugi efekti koji nisu ovde opisani postaće očigledni stručnjacima u ovoj oblasti iz sledećeg opisa.

[0025] [Opis Crteža]

[0026] Prateći crteži, koji su ovde uključeni kao deo opisa radi lakšeg razumevanja ovog otkrivanja, pružaju načine ostvarivanja ovog otkrivanja i opisuju tehničke karakteristike ovog otkrivanja sa opisom u nastavku.

[0027] FIG.1 prikazuje primer sistema za video kodiranje kao jedan način ostvarivanja na koji se ovo otkrivanje primenjuje.

[0028] FIG.2 je šematski blok dijagram uređaja za kodiranje koji kodira signale videa/slika kao jedan način ostvarivanja na koji se ovo otkrivanje primenjuje.

[0029] FIG.3 je šematski blok dijagram uređaja za dekodiranje koji dekodira signal slike kao jedan način ostvarivanja na koji se ovo otkrivanje primenjuje.

[0030] FIG.4 je dijagram konfiguracije sistema za strimovanje sadržaja, primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0031] FIG.5 prikazuje primere koji ne potpadaju pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje može primeniti, FIG.5a je dijagram za opis strukture segmentacije blokova u skladu sa QT (Četvorostruko drvo), FIG.5b je dijagram za opis strukture segmentacije blokova u skladu sa BT (Binarno drvo) i FIG.5c je dijagram za opis strukture segmentacije blokova u skladu sa TT (Ternarno drvo).

[0032] FIG.6 i 7 prikazuju načine ostvarivanja na koje se ovo otkrivanje primenjuje, FIG.6 je šematski blok dijagram jedinice za transformaciju i kvantizaciju, i jedinice za inverznu kvantizaciju i inverznu transformaciju u uređaju za kodiranje, a FIG.7 je šematski blok dijagram jedinice za inverznu kvantizaciju i inverznu transformaciju u uređaju za dekodiranje.

[0033] FIG.8 je dijagram toka koji pokazuje postupak u kojem se izvodi adaptivna višestruka transformacija (AMT).

[0034] FIG.9 je dijagram toka koji prikazuje postupak dekodiranja u kojem se izvodi AMT.

[0035] FIG.10 je dijagram toka koji prikazuje postupak inverzne transformacije na osnovu MTS u skladu sa primerom koji ne potpada pod obim pronalaska za koji se traži zaštita ovog otkrivanja.

[0036] FIG.11 je blok dijagram uređaja za izvođenje dekodiranja na osnovu MTS u skladu sa primerom koji ne potpada pod obim pronalaska za koji se traži zaštita ovog otkrivanja.

[0037] FIG.12 i 13 su dijagrami toka koji prikazuju kodiranje/dekodiranje na koje se sekundarna transformacija primenjuje kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koji se predmetno otkrivanje primenjuje.

[0038] FIG.14 i 15 pokazuju primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje, FIG.14 je dijagram za opisivanje Givensove rotacije, a FIG.15 prikazuje konfiguraciju jednog kruga u 4x4 nerazdvojivoj sekundarnoj transformaciji (NSST) koja se sastoji od slojeva i permutacija Givensove rotacije.

[0039] FIG.16 prikazuje operaciju redukovane sekundarne transformacije (RST) kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0040] FIG.17 je dijagram koji pokazuje postupak izvođenja reverznog skeniranja od šezdeset četvrtog koeficijenta do sedamnaestog koeficijenta obrnutim redosledom skeniranja kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0041] FIG.18 je primerni dijagram toka koji prikazuje kodiranje koje koristi indikator jednostruke transformacije (STI) kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0042] FIG.19 je primerni dijagram toka koji prikazuje kodiranje koje koristi objedinjeni indikator transformacije (UTI) kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0043] FIG.20 prikazuje dva primerna dijagrama toka koji prikazuju kodiranje koje koristi UTI kao jedan način ostvarivanja na koji se ovo otkrivanje primenjuje.

[0044] FIG.21 je primerni dijagram toka koji prikazuje kodiranje za izvođenje transformacija kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0045] FIG.22 je primerni dijagram toka koji prikazuje dekodiranje za izvođenje transformacija kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0046] FIG.23 je detaljni blok dijagram koji prikazuje primer jedinice 120 za transformaciju u uređaju 100 za kodiranje kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0047] FIG.24 je detaljni blok dijagram koji prikazuje primer inverzne transformacione jedinice 230 u uređaju 200 za dekodiranje kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0048] FIG.25 je dijagram toka za obradu video signala kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0049] FIG.26 je primerni blok dijagram uređaja za obradu video signala kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0050] FIG.27 je dijagram toka koji prikazuje postupak transformisanja video signala u skladu sa jednim načinom ostvarivanja na koji se primenjuje ovo otkrivanje.

[0051] FIG.28 je primerni blok dijagram uređaja za obradu video signala kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koju se primenjuje ovo otkrivanje.

[0053] [Režim za pronalazak]

[0054] Neki načini ostvarivanja ovog otkrivanja detaljno su opisani uz pozivanje na prateće crteže. Detaljan opis koji je prikazan zajedno sa pridruženim crtežima imaju za cilj da opišu neke načine ostvarivanja ovog otkrivanja i nisu namenjeni da opišu jedinstven način ostvarivanja ovog otkrivanja. Sledeći detaljan opis uključuje više detalja kako bi se obezbedilo potpuno razumevanje ovog otkrivanja. Međutim, stručnjaci u ovoj oblasti će razumeti da se ovo otkrivanje može primeniti i bez takvih dodatnih detalja.

[0055] U nekim slučajevima, kako bi se izbeglo da koncept ovog otkrivanja postane nejasan, poznate konstrukcije i uređaji su izostavljeni ili mogu biti prikazani u obliku blok dijagrama na osnovu osnovnih funkcija svake konstrukcije i uređaja.

[0056] Iako je većina termina korišćenih u ovom otkrivanju odabrana iz opštih termina koji se široko koriste u struci, neke termine je podnosilac zahteva proizvoljno odabrao, a njihova značenja su detaljno objašnjena u sledećem opisu po potrebi. Stoga, ovo otkrivanje treba shvatiti u skladu sa namenjenim značenjima termina, a ne sa njihovim jednostavnim nazivima ili značenjima.

[0057] [0017] Specifični termini korišćeni u sledećem opisu dati su radi lakšeg razumevanja ovog otkrivanja, a upotreba takvih specifičnih termina može se menjati u različitim oblicima bez odstupanja od tehničkog duha ovog otkrivanja. Na primer, signali, podaci, uzorci, slike, okviri, blokovi i slično mogu se na odgovarajući način zameniti i interpretirati u svakom procesu kodiranja.

[0058] U ovom opisu, "jedinica za obradu" odnosi se na jedinicu u kojoj se izvodi postupak kodiranja/ dekodiranja kao što je predikcija, transformacija i/ili kvantizacija. Dalje, jedinica za obradu može se tumačiti u značenju koje uključuje jedinicu za luma komponentu i jedinicu za hroma komponentu. Na primer, jedinica za obradu može odgovarati bloku, jedinici za kodiranje (CU), jedinici za predikciju (PU) ili jedinici za transformaciju (TU).

[0059] Pored toga, jedinica za obradu može se interpretirati kao jedinica za luma komponentu ili jedinica za hroma komponentu. Na primer, jedinica za obradu može odgovarati bloku stabla kodiranja (CTB), bloku kodiranja (CB), PU ili bloku transformacije (TB) za luma komponentu. Dalje, jedinica za obradu može odgovarati CTB, CB, PU ili TB za hroma komponentu. Štaviše, jedinica za obradu nije ograničena na to i može se interpretirati u značenje koje uključuje jedinicu za luma komponentu i jedinicu za hroma komponentu.

[0060] Pored toga, jedinica za obradu nije nužno ograničena na kvadratni blok i može biti konfigurisana kao poligonski oblik sa tri ili više vrhova.

[0061] Štaviše, u ovom opisu, piksel se naziva uzorak. Pored toga, korišćenje uzorka može značiti korišćenje vrednosti piksela ili slično.

[0062] FIG.1 prikazuje primer sistema za video kodiranje kao jedan način ostvarivanja na koji se ovo otkrivanje primenjuje.

[0063] Sistem za video kodiranje može da uključuje uređaj 10 izvora i uređaj 20 prijema. Uređaj 10 izvora može da transmituje kodiranu informaciju o videu/slici ili podatak do uređaja 20 prijema u obliku fajla ili striminga kroz digitalni medijum za skladištenje ili mrežu.

[0064] Uređaj 10 izvora može da uključuje video izvor 11, uređaj 12 za kodiranje, i transmiter 13. Uređaj 20 prijema može da uključuje prijemnik, uređaj 22 za dekodiranje i prikazivač 23. Uređaj 12 za kodiranje može se nazivati uređaj za kodiranje videa/slike, a uređaj 20 za dekodiranje može se nazivati uređaj za dekodiranje videa/slike. Transmiter 13 može biti uključen u uređaj 12 za kodiranje. Prijemnik 21 može biti uključen u uređaj 22 za dekodiranje. Prikazivač 23 može da uključuje displej, a displej može biti konfigurisan kao odvojeni uređaj ili spoljna komponenta.

[0065] Video izvor može steći video/sliku kroz postupak snimanja, kombinovanja ili generisanja videa/slike. Video izvor može da uključuje uređaj za snimanje videa/slike i/ili uređaj za generisanje videa/slike. Uređaj za snimanje videa/slike može da uključuje, na primer, jednu ili više kamera, arhivu videa/slike uključujući prethodno snimljene videe/slike, i slično. Uređaj za generisanje videa/slike može da uključuje, na primer, kompjuter, tablet, pametan telefon, i slično i (elektronski) generiše video/sliku. Na primer, virtuelni video/slika može biti generisan kroz kompjuter ili slično i, u ovom slučaju, postupak snimanja videa/slike može biti zamenjen povezanim postupkom generisanja podataka.

[0066] Uređaj 12 za kodiranje može da kodira ulazni video/sliku. Uređaj 12 za kodiranje može da izvede serije procedura kao što je predikcija, transformacija i kvantizacija zarad kompresione i kodirajuće efikasnosti. Kodiran podatak (kodirana informacija videa/slike) može se otpustiti u obliku toka bitova.

[0067] Transmiter 13 može da transmituje kodiranu informaciju o videu/slici ili izlazni podatak u obliku toka bitova do prijemnika uređaja za prijem u obliku fajla ili striminga kroz digitalni medijum za skladištenje ili mrežu. Digitalni medijum za skladištenje može da uključuje razne medijume za skladištenje kao što je USB, SD, CD, DVD, Blueray, HDD, i SSD. Transmiter 13 može da uključuje element za generisanje medija fajla kroz prethodno određen format fajla i element za transmitovanje kroz mrežu za emitovanje/komunikaciju. Prijemnik 21 može izvući tok bitova i transmitovati taj tok bitova do uređaja 22 za dekodiranje.

[0068] Uređaj 22 za dekodiranje može dekodirati video/sliku izvođenjem serije procedura kao što je inverzna kvantizacija, inverzna transformacija i predikcija koji odgovaraju operaciji uređaja 12 za kodiranje.

[0069] Prikazivač 23 može dati dekodiran video/sliku. Dobijena video/slika može biti prikazana kroz displej.

[0070] FIG.2 je šematski blok dijagram uređaja za kodiranje koji kodira signal videa/slike kao jedan način ostvarivanja na koji se ovo otkrivanje primenjuje. Uređaj 100 za kodiranje može da odgovara uređaju 12 za kodiranje sa FIG.1.

[0071] [0031] Jednica 110 za particionisanje slike može podeliti ulaznu sliku (ili ulazni video ili kadar) u uređaj 100 za kodiranje na jednu ili više jedinica za obradu. Na primer, jedinica za obradu može se zvati kodna jedinica (CU). U ovom slučaju, kodna jedinica se može rekurzivno segmentirati iz kodne jedinice drveta (CTU) ili najveće kodne jedinice (LCU) prema strukturi kvadratnog-binarnog drveta (QTBT). Na primer, jedna kodna jedinica može se segmentirati na više kodnih jedinica sa većom dubinom na osnovu strukture kvadratnog drveta i/ili binarnog drveta. U ovom slučaju, struktura kvadratnog drveta može se prvo primeniti, a zatim struktura binarnog drveta. Alternativno, struktura binarnog drveta može se prvo primeniti. Postupak kodiranja prema ovom opisu može se izvoditi na osnovu konačne kodne jedinice koja se više ne segmentira. U ovom slučaju, najveća kodna jedinica može se direktno koristiti kao konačna kodna jedinica ili se kodna jedinica može rekurzivno segmentirati u kodne jedinice sa većom dubinom, a kodna jedinica optimalne veličine može se koristiti kao konačna kodna jedinica prema potrebi, na osnovu efikasnosti kodiranja u zavisnosti od karakteristika slike. Ovde, postupak kodiranja može uključivati procedure kao što su predikcija, transformacija i rekonstrukcija, koje će biti opisane kasnije. Alternativno, jedinica za obradu može dodatno uključivati jedinicu za predikciju (PU) ili jedinicu za transformaciju (TU). U ovom slučaju, jedinica za predikciju i transformaciona jedinica mogu biti segmentirane ili particionisane iz prethodno pomenute konačne kodne jedinice. Jedinica za predikciju može biti jedinica uzorka predikcije, a transformaciona jedinica može biti jedinica za izvođenje transformacionog koeficijenta i/ili jedinica za izvođenje rezidualnog signala iz transformacionog koeficijenta.

[0072] Jedinica se može naizmenično koristiti sa terminom „blok“ ili „površina“. Generalno, MxN blok predstavlja skup uzoraka ili koeficijenata transformacije u M kolonama i N redovima. Uzorak generalno može predstavljati piksel ili vrednost piksela i može predstavljati samo vrednost piksel/piksel luma komponente ili samo vrednost piksel/piksel hroma komponente. Uzorak se može koristiti kao termin koji odgovara slici, pikselu ili pelu.

[0073] Uređaj 100 za kodiranje može generisati rezidualni signal (rezidualni blok ili rezidualni niz uzoraka) oduzimanjem predviđenog signala (predviđenog bloka ili predviđenog niza uzoraka) koji potiče iz inter-predikcione jedinice 180 ili intra-predikcione jedinice 185 od ulaznog video signala (originalni blok ili originalni niz uzoraka), a generisani rezidualni signal se prenosi na jedinicu 120 za transformaciju. U ovom slučaju, jedinica koja oduzima predviđeni signal (predviđeni blok ili predviđeni niz uzoraka) od ulaznog video signala (originalni blok ili originalni niz uzoraka) u koderu 100 može se nazvati oduzimač 115, kao što je prikazano. Prediktor može da izvrši predikciju na ciljnom bloku obrade (u daljem tekstu trenutni blok) i da generiše predviđeni blok koji uključuje predviđene uzorke u odnosu na trenutni blok. Prediktor može da utvrdi da li se intra-predikcija ili inter-predikcija primenjuje na trenutni blok ili jedinice CU. Prediktor može generisati različite vrste informacija o predviđanju, kao što su informacije o režimu predikcije, i preneti informacije jedinici 190 za entropijsko kodiranje, kao što je opisano kasnije u opisu svakog režima predikcije. Informacije o predviđanju mogu biti kodirane u jedinici 190 za entropijsko kodiranje i otpuštene u obliku toka bitova.

[0074] Intra-predikciona jedinica 185 može da predvidi trenutni blok u odnosu na uzorke na trenutnoj slici. Referentni uzorci mogu biti susedni trenutnom bloku ili mogu biti odvojeni od njega prema režimu predikcije. U intra-predikcijiu, režimi predikcije mogu uključivati više neusmerenih režima i više usmerenih režima. Neusmereni režimi mogu uključivati, na primer, DC režim i planarni režim. Usmereni režimi mogu uključivati, na primer, 33 usmerena režima predikcije ili 65 usmerenih režima predikcije prema stepenu preciznosti smera predikcije. Međutim, ovo je dato kao primer, a broj usmerenih režima predikcije jednak ili veći od 65 ili jednak ili manji od 33 može se koristiti u skladu sa podešavanjima. Intra-predikciona jedinica 185 može odrediti režim predikcije koji će se primeniti na trenutni blok koristeći režim predikcije primenjen na susedne blokove.

[0075] [0035] Inter-predikciona jedinica 180 može da izvede predviđeni blok u odnosu na trenutni blok na osnovu referentnog bloka (niza referentnih uzoraka) određenog vektorom kretanja na referentnoj slici. Ovde, da bi se smanjila količina informacija o kretanju koje se prenose u režimu inter-predikcije, informacije o kretanju mogu se predvideti u jedinicama bloka, podbloka ili uzorka na osnovu korelacije informacija o kretanju između susednog bloka i trenutnog bloka. Informacije o kretanju mogu da uključuju vektor kretanja i indeks referentne slike. Informacije o kretanju mogu dalje da uključuju informacije o smeru inter-predikcije (L0 predikcija, L1 predikcija, Bi predikcija, itd.). U slučaju interpredikcionog snimanja, susedni blokovi mogu da uključuju prostorni susedni blok prisutan na trenutnoj slici i vremenski susedni blok prisutan na referentnoj slici. Referentna slika koja uključuje referentni blok može biti ista ili različita od referentne slike koja uključuje vremenski susedni blok. Vremenski susedni blok može se nazvati kolocirani referentni blok ili kolocirana CU (colCU), a referentna slika koja uključuje vremenski susedni blok može se nazvati kolocirana slika (colPic). Na primer, inter-predikciona jedinica 180 može formirati listu kandidata za informacije o kretanju na osnovu susednih blokova i generisati informacije koje ukazuju koji kandidat se koristi za izvođenje vektora kretanja i/ili indeksa referentne slike trenutnog bloka. Inter-predikcija se može izvršiti na osnovu različitih režima predikcije, a u slučaju režima preskakanja i režima spajanja, inter-predikciona jedinica 180 može koristiti informacije o kretanju susednog bloka kao informacije o kretanju trenutnog bloka. U slučaju režima preskakanja, rezidualni signal se ne sme prenositi drugačije od režima spajanja. U slučaju režima predikcije vektora kretanja (MVP), vektor kretanja trenutnog bloka može se indikirati korišćenjem vektora kretanja susednog bloka kao prediktora vektora kretanja i signaliziranjem razlike vektora kretanja.

[0076] Predviđeni signal generisan preko inter-predikcione jedinice 180 ili intra-predikcione jedinice 185 može se koristiti za generisanje rekonstruisanog signala ili rezidualnog signala.

[0077] Transformaciona jedinica 120 može da generiše koeficijente transformacije primenom tehnike transformacije na rezidualni signal. Na primer, tehnika transformacije može da uključuje barem jednu od DCT (diskretne kosinusne transformacije), DST (diskretne sinusne transformacije), KLT (Karhunen-Love transformacije), GBT (transformacije zasnovane na grafičkom prikazu) i CNT (uslovno nelinearne transformacije). Ovde se GBT odnosi na transformaciju dobijenu iz grafika koji predstavlja informacije o odnosu između piksela. CNT se odnosi na transformaciju dobijenu na osnovu predviđenog signala generisanog korišćenjem svih prethodno rekonstruisanih piksela. Dalje, proces transformacije može se primeniti na kvadratne blokove piksela iste veličine ili primeniti na nekvadratne blokove promenljivih veličina.

[0078] [0038] Jedinica 130 za kvantizaciju može kvantizovati koeficijente transformacije i prenositi kvantizovane koeficijente transformacije jedinici 190 za entropijsko kodiranje, a jedinica 190 za entropijsko kodiranje može kodirati kvantizovani signal (informacije o kvantizovanim koeficijentima transformacije) i izbaciti kodirani signal kao tok bitova. Informacije o kvantizovanim koeficijentima transformacije mogu se nazvati rezidualnim informacijama. Jedinica 130 za kvantizaciju može preurediti kvantizovane koeficijente transformacije u obliku bloka u oblik jednodimenzionalnog vektora na osnovu redosleda skeniranja koeficijenata i generisati informacije o kvantizovanim koeficijentima transformacije na osnovu kvantizovanih koeficijenata transformacije u obliku jednodimenzionalnog vektora. Jedinica 190 za entropijsko kodiranje može izvršavati različite postupke kodiranja kao što su, na primer, eksponencijalni Golombov kod, CAVLC (kontekstno adaptivno kodiranje promenljive dužine) i CABAC (kontekstno adaptivno binarno aritmetičko kodiranje), na primer. Jedinica 190 za entropijsko kodiranje može kodirati informacije potrebne za rekonstrukciju videa/slike (npr. vrednosti sintaksnih elemenata i slično) zajedno sa ili odvojeno od kvantizovanih koeficijenata transformacije. Kodirane informacije (npr. informacije o videu/slici) mogu se prenositi ili čuvati u obliku toka bita u jedinici sloja apstrakcije mreže (NAL). Tok bita se može prenositi preko mreže ili čuvati na digitalnom medijumu za skladištenje. Ovde mreža može uključivati mrežu za emitovanje i/ili komunikacionu mrežu, a digitalni medijum za skladištenje može uključivati različite medije za skladištenje kao što su USB, SD, CD, DVD, Blueray, HDD i SSD. Predajnik (nije prikazan) koji prenosi izlazni signal iz jedinice 190 za entropijsko kodiranje i/ili memorija (nije prikazana) koja čuva signal mogu biti konfigurisani kao interni/eksterni elementi uređaja 100 za kodiranje, a predajnik može biti komponenta jedinice 190 za entropijsko kodiranje.

[0079] Kvantizovani koeficijenti transformacije koji se dobijaju iz jedinice 130 za kvantizaciju mogu se koristiti za generisanje predviđenog signala. Na primer, rezidualni signal može se rekonstruisati primenom inverzne kvantizacije i inverzne transformacije na kvantizovane koeficijente transformacije putem jedinica 140 za inverznu kvantizaciju i jedinica 150 za inverznu transformaciju u petlji. Sabirač 155 može dodati rekonstruisani rezidualni signal predviđenom signalu koji se dobija iz inter-predikcione jedinice 180 ili intra-predikcione jedinice 185 tako da se može generisati rekonstruisani signal (rekonstruisana slika, rekonstruisani blok ili rekonstruisani niz uzoraka). Kada nema reziduala u odnosu na ciljni blok obrade, kao u slučaju kada se primenjuje režim preskakanja, predviđeni blok se može koristiti kao rekonstruisani blok. Sabirač 155 se takođe može nazvati jedinicom za rekonstrukciju ili generatorom rekonstruisanih blokova. Generisani rekonstruisani signal može se koristiti za intrapredikciju sledećeg ciljnog bloka obrade na trenutnoj slici ili se koristiti za inter-predikciju sledeće slike putem filtriranja koje će biti opisano kasnije.

[0080] Jedinica 160 za filtriranje može poboljšati subjektivni/objektivni kvalitet slike primenom filtriranja na rekonstruisani signal. Na primer, jedinica 160 za filtriranje može generisati modifikovanu rekonstruisanu sliku primenom različitih metoda filtriranja na rekonstruisanu sliku i preneti modifikovanu rekonstruisanu sliku u bafer 170 dekodirane slike. Različite postupke filtriranja mogu uključivati, na primer, filtriranje deblokiranja, adaptivni pomak uzorka, adaptivno filtriranje petlje i bilateralno filtriranje. Jedinica 160 za filtriranje može generisati različite vrste informacija o filtriranju i preneti informacije jedinici 190 za entropijsko kodiranje, kao što će biti opisano kasnije u opisu svake postupke filtriranja. Informacije o filtriranju mogu biti kodirane u jedinici 190 za entropijsko kodiranje i izlazne u obliku bitovskog toka.

[0081] Modifikovana rekonstruisana slika poslata u bafer 170 dekodirane slike može se koristiti kao referentna slika u inter-predikcionoj jedinici 180. Shodno tome, uređaj za kodiranje može izbeći neusklađenost između uređaja 100 za kodiranje i uređaja za dekodiranje i poboljšati efikasnost kodiranja kada se primenjuje inter-predikcija.

[0082] Bafer 170 dekodirane slike može da sačuva modifikovanu rekonstruisanu sliku tako da se modifikovana rekonstruisana slika koristi kao referentna slika u inter-predikcionoj jedinici 180.

[0083] FIG.3 je šematski blok dijagram uređaja za dekodiranje koji izvodi dekodiranje video signala kao jedan način ostvarivanja na koji se ovo otkrivanje primenjuje. Uređaj 200 za dekodiranje sa FIG.3 odgovara uređaju 22 za dekodiranje sa FIG.1.

[0084] Pozivajući se na FIG.3, uređaj 200 za dekodiranje može da uključuje jedinicu 210 za entropijsko dekodiranje, jedinicu 220 za inverznu kvantizaciju, jedinicu 230 za inverznu transformaciju, sabirač 235, jedinicu 240 za filtriranje, bafer 250 dekodirane slike (DPB), inter-predikcionu jedinicu 260 i intrapredikcionu jedinicu 265. Inter-predikciona jedinica 260 i intra-predikciona jedinica 265 mogu se zajednički nazvati prediktor. To jest, prediktor može da uključuje inter-predikcionu jedinicu 180 i intrapredikcionu jedinicu 185. Jedinica 220 za inverznu kvantizaciju i jedinica 230 za inverznu transformaciju mogu se zajednički nazvati rezidualni procesor. To jest, rezidualni procesor može da uključuje jedinicu 220 za inverznu kvantizaciju i jedinicu za 230 inverznu transformaciju. Gore pomenuta jedinica 210 za entropijsko dekodiranje, jedinica za 220 inverznu kvantizaciju, jedinica 230 za inverznu transformaciju, sabirač 235, jedinica 240 za filtriranje, inter-predikciona jedinica 260 i intra-predikciona jedinica 265 mogu biti konfigurisane kao jedna hardverska komponenta (npr. dekoder ili procesor) u skladu sa jednim načinom ostvarivanja. Dalje, bafer 250 dekodirane slike može biti konfigurisan kao jedna hardverska komponenta (npr. memorija ili digitalni medijum za skladištenje) u skladu sa jednim načinom ostvarivanja.

[0085] Kada se unese tok bita koji sadrži video/slikovne informacije, uređaj 200 za dekodiranje može rekonstruisati sliku kroz proces koji odgovara procesu obrade video/slikovnih informacija u uređaju 100 za kodiranje sa FIG.2. Na primer, uređaj 200 za dekodiranje može izvesti dekodiranje koristeći procesorsku jedinicu primenjenu u uređaju 100 za kodiranje. Shodno tome, procesorska jedinica dekodiranja može biti, na primer, jedinica za kodiranje, a jedinica za kodiranje može biti segmentirana iz jedinice stabla kodiranja ili najveće jedinice za kodiranje prema strukturi četvorougaonog stabla i/ili binarnoj strukturi stabla. Pored toga, rekonstruisani video signal dekodiran i izdat od strane uređaja 200 za dekodiranje može se reprodukovati kroz uređaj za reprodukciju.

[0086] [0046] Uređaj 200 za dekodiranje može da primi signalni izlaz iz uređaja 100 za kodiranje sa FIG.2 u obliku toka bitova, a primljeni signal može biti dekodiran kroz jedinicu 210 za entropijsko dekodiranje. Na primer, jedinica 210 za entropijsko dekodiranje može analizirati tok bitova da bi dala informaciju (npr., informaciju o videu/slici) potrebnu za rekonstrukciju slike (ili rekonstrukciju snimka). Na primer, jedinica 210 za entropijsko dekodiranje može dekodirati informaciju u toku bitova na osnovu postupka kodiranja kao što je eksponencijalni Golomb, CAVLC ili CABAC i izvesti vrednosti elemenata sintakse potrebne za rekonstrukciju slike i kvantizovati vrednosti transformaciionih koeficijenata u odnosu na ostatak. Određenije, CABAC postupak entropijskog dekodiranja prima bin koji odgovara svakom elementu sintakse u toku bitova, određuje režim konteksta primenom informacije o elemetu sintakse koji je meta dekodiranja i dekodirati informaciju susednih i blokova koji su meta dekodiranja ili informaciju o simbolima/binovima dekodirani u prethodnoj fazi, predviđa verovatnoću generisanja bina u skladu sa režimom određenog konteksta i izvodi aritmetičko dekodiranje binova radi generisanja simbola koji odgovara svakoj vrednosti sintaksenog elementa. Ovde, CABAC postupak za entropijsko dekodiranje može ažurirati kontekstni režim koristeći informacije o simbolima/binovima dekodiranim za sledeći kontekstni režim simbola/bina nakon što je kontekstni režim određen. Informacije o predviđanju među informacijama dekodiranim u jedinici 210 za entropijsko dekodiranje mogu se dostaviti prediktoru (jedinici 260 za inter-predikciju i jedinici 265 za intra-predikciju), a rezidualne vrednosti na kojima je izvršeno entropijsko dekodiranje u jedinici 210 za entropijsko dekodiranje, odnosno kvantizovani koeficijenti transformacije i povezane informacije o parametrima mogu se uneti u jedinicu 220 za inverznu kvantizaciju. Dalje, informacije o filtriranju među informacijama dekodiranim u jedinici 210 za entropijsko dekodiranje mogu se dostaviti jedinici 240 za filtriranje. U međuvremenu, prijemnik (nije prikazan) koji prima signal iz uređaja 100 za kodiranje može biti dodatno konfigurisan kao interni/eksterni element uređaja 200 za dekodiranje ili prijemnik može biti komponenta jedinice 210 za entropijsko dekodiranje.

[0087] Jedinica 220 za inverznu kvantizaciju može inverzno kvantizovati kvantizovane koeficijente transformacije da bi izdala koeficijente transformacije. Jedinica 220 za inverznu kvantizaciju može preurediti kvantizovane koeficijente transformacije u obliku dvodimenzionalnog bloka. U ovom slučaju, preuređivanje se može izvršiti na osnovu redosleda skeniranja koeficijenata u uređaju 100 za kodiranje. Jedinica 220 za inverznu kvantizaciju može izvršiti inverznu kvantizaciju kvantizovanih koeficijenata transformacije koristeći parametar kvantizacije (npr. informacije o veličini koraka kvantizacije) i prikupiti koeficijente transformacije.

[0088] Jedinica 230 za inverznu transformaciju inverzno transformiše koeficijente transformacije da bi se dobio rezidualni signal (rezidualni blok ili niz rezidualnih uzoraka).

[0089] Prediktor može da izvrši predikciju na trenutnom bloku i generiše prediktivni blok koji uključuje prediktivne uzorke u odnosu na trenutni blok. Prediktor može da utvrdi da li se na trenutni blok primenjuje intra-predikcija ili inter-predikcija na osnovu informacija o izlazu predikcije iz jedinice 210 za entropijsko dekodiranje i da odredi specifični intra/inter-predviđački režim.

[0090] Jedinica 265 za intra-predikciju može da predvidi trenutni blok u odnosu na uzorke na trenutnoj slici. Referentni uzorci mogu biti susedni trenutnom bloku ili mogu biti odvojeni od trenutnog bloka prema režimu predikcije. U intra-predikciji, režimi predikcije mogu uključivati više neusmerenih režima i više usmerenih režima. Intra-predikcija 265 može da odredi režim predikcije primenjen na trenutni blok koristeći režim predikcije primenjen na susedne blokove.

[0091] Jedinica 260 za inter-predikciju može da izvede predviđeni blok u odnosu na trenutni blok na osnovu referentnog bloka (niza referentnih uzoraka) određenog vektorom kretanja na referentnoj slici. Ovde, da bi se smanjila količina informacija o kretanju koje se prenose u režimu inter-predikcije, informacije o kretanju mogu se predvideti u jedinicama bloka, podbloka ili uzorka na osnovu korelacije informacija o kretanju između susednog bloka i trenutnog bloka. Informacije o kretanju mogu da uključuju vektor kretanja i indeks referentne slike. Informacije o kretanju mogu dalje da uključuju informacije o smeru inter-predikcije (L0 predikcija, L1 predikcija, Bi predikcija, itd.). U slučaju interpredikcije, susedni blokovi mogu da uključuju prostorni susedni blok prisutan na trenutnoj slici i vremenski susedni blok prisutan na referentnoj slici. Na primer, jedinica 260 za inter-predikciju može da formira listu kandidata za informacije o kretanju na osnovu susednih blokova i da izvede vektor kretanja i/ili indeks referentne slike trenutnog bloka na osnovu primljenih informacija o izboru kandidata. Interpredikcija može biti izvršena na osnovu različitih režima predikcije, a informacije o predikciji mogu da uključuju informacije koje ukazuju na režim inter-predikcije za trenutni blok.

[0092] Sabirač 235 može generisati rekonstruisani signal (rekonstruisanu sliku, rekonstruisani blok ili rekonstruisani niz uzoraka) dodavanjem dobijenog rezidualnog signala predviđenom signalu (predviđenom bloku ili predviđenom nizu uzoraka) koji se dobija iz jedinice 260 za inter-predikciju ili jedinice 265 za intra-predikciju. Kada nema reziduala u odnosu na ciljni blok obrade, kao u slučaju kada se primenjuje režim preskakanja, predviđeni blok se može koristiti kao rekonstruisani blok.

[0093] Sabirač 235 se takođe može nazvati jedinicom za rekonstrukciju ili generatorom rekonstruisanih blokova. Generisani rekonstruisani signal može se koristiti za intra-predikciju sledećeg ciljnog bloka obrade na trenutnoj slici ili za inter-predikciju sledeće slike putem filtriranja, što će biti opisano kasnije.

[0094] Jedinica 240 za filtriranje može poboljšati subjektivni/objektivni kvalitet slike primenom filtriranja na rekonstruisani signal. Na primer, jedinica 240 za filtriranje može generisati modifikovanu rekonstruisanu sliku primenom različitih postupaka filtriranja na rekonstruisanu sliku i preneti modifikovanu rekonstruisanu sliku u dekodirani bafer 250 slike. Različiti postupci filtriranja mogu uključivati, na primer, filtriranje deblokiranjem, adaptivni pomak uzorka (SAO), adaptivno filtriranje petlje (ALF) i bilateralno filtriranje.

[0095] Modifikovana rekonstruisana slika poslata u dekodirani bafer 250 slike može se koristiti kao referentna slik4a od strane jedinice 260 za inter-predikciju.

[0096] U ovom opisu, načini ostvarivanja opisana u jedinici 160 za filtriranje, jedinici 180 za interpredikciju i jedinici 185 za intra-predikciju uređaja 100 za kodiranje, mogu se primeniti na jedinicu 240 za filtriranje, jedinicu 260 za inter-predikciju i jedinicu 265 za intra-predikciju uređaja za dekodiranje podjednako ili na odgovarajući način.

[0097] FIG.4 je dijagram konfiguracije sistema za strimovanje sadržaja kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0098] Sistem za strimovanje sadržaja na koje se ovo otkrivanje primenjuje može da uključuje server 410 za kodiranje, server 420 za strimovanje, veb server 430, medija skladište 440, korisničku opremu 450, i multimedijalne ulazne uređaje 460.

[0099] Server 410 za kodiranje služi za kompresovanje sadržaja sa multimedijalnih ulaznih uređaja kao što su pametni telefon, kamera i kamkorder u digitalne podatke kako bi se generisao tok bitova i preneo tok bitova na server 420 za strimovanje. Kao još jedan primer, kada multimedijalni ulazni uređaji 460 kao što su pametni telefon, kamera i kamkorder direktno generišu tokove bitova, server 410 za kodiranje može biti izostavljen.

[0100] Tok bitova može biti generisan postupkom kodiranja ili postupkom generisanja toka bitova na koji se primenjuje ovo otkrivanje, a server 420 za strimovanje može privremeno da sačuva tok bitova u procesu prenosa ili prijema toka bitova.

[0101] Server 420 za strimovanje prenosi multimedijalne podatke korisničkoj opremi 450 na osnovu korisničkog zahteva putem veb servera 430, a veb server 430 služi kao medijum koji obaveštava korisnika o uslugama. Kada korisnik pošalje zahtev za željenu uslugu veb serveru 430, veb server 430 dostavlja zahtev serveru 420 za strimovanje, a server 420 za strimovanje prenosi multimedijalne podatke korisniku. Ovde sistem za strimovanje sadržaja može da uključuje dodatni kontrolni server, a u ovom slučaju, kontrolni server služi za kontrolu komandi/odgovora između uređaja u sistemu za strimovanje sadržaja.

[0102] Server 420 za strimovanje može primati sadržaj sa medija skladišta 440 i/ili servera 410 za kodiranje. Na primer, kada se sadržaj primi sa servera 410 za kodiranje, server 420 za strimovanje može primati sadržaj u realnom vremenu. U ovom slučaju, server 420 za strimovanje može čuvati tokove bitova tokom unapred određenog vremena kako bi obezbedio glatku uslugu strimovanja.

[0103] Primeri korisničke opreme 450 mogu da uključuju mobilni telefon, pametni telefon, laptop računar, digitalni terminal za emitovanje, PDA (lični digitalni asistent), PMP (prenosni multimedijalni plejer), navigacioni uređaj, tablet računar, ultrabuk, nosivi uređaj (npr. pametni sat, pametne naočare i HMD (displej za glavu)), digitalni televizor, desktop računar, digitalnu signalizaciju itd.

[0104] Svaki server u sistemu za strimovanje sadržaja može raditi kao distribuirani server, i u tom slučaju, podaci koje primi svaki server mogu se obrađivati na distribuiran način.

[0105] FIG.5 prikazuje primere koji ne potpadaju pod obim pronalaska za koji se traži zaštita na koje se primenjuje ovo otkrivanje, FIG.5a je dijagram za opis strukture segmentacije blokova u skladu sa QT (Četvorostruko drvo), FIG.5b je dijagram za opis strukture segmentacije blokova u skladu sa BT (Binarno drvo) i FIG.5c je dijagram za opis strukture segmentacije blokova u skladu sa TT (Ternarno drvo).

[0106] U video kodiranju, jedan blok može biti segmentiran na osnovu QT. Dalje, jedan podblok segmentiran prema QT može biti dalje rekurzivno segmentiran korišćenjem QT. Listni blok koji više nije segmentiran prema QT može biti segmentiran korišćenjem najmanje jednog od BT, TT i AT. BT može imati dve vrste segmentacije: horizontalnu BT (2NxN, 2NxN); i vertikalnu BT (Nx2N, Nx2N). TT može imati dve vrste segmentacije: horizontalnu TT (2Nx1/2N, 2NxN, 2Nx1/2N); i vertikalnu TT (1/2Nx2N, Nx2N, 1/2Nx2N). AT može imati četiri vrste segmentacije: horizontalnu AT nagore (2Nx1/2N, 2Nx3/2N); horizontalnu AT nadole (2Nx3/2N, 2Nx1/2N); vertikalno-levi AT (1/2Nx2N, 3/2Nx2N); i vertikalno-desni AT (3/2Nx2N, 1/2Nx2N). Svaki tip BT, TT i AT može se dalje rekurzivno segmentirati korišćenjem BT, TT i AT.

[0107] FIG.5a prikazuje primer QT segmentacije. Blok A može biti segmentiran na četiri podbloka A0, A1, A2 i A3 prema QT. Podblok A1 može biti dalje segmentiran na četiri podbloka B0, B1, B2 i B3 prema QT.

[0108] FIG.5b prikazuje primer BT segmentacije. Blok B3 koji više nije segmentiran prema QT može se segmentirati na vertikalni BT (C0 i C1) ili horizontalni BT (D0 i D1). Svaki podblok, kao što je blok C0, može se dalje rekurzivno segmentirati na horizontalni BT (E0 i E1) ili vertikalni BT (F0 i F1).

[0109] FIG.5c prikazuje primer TT segmentacije. Blok B3 koji više nije segmentiran prema QT može se segmentirati na vertikalni TT (C0, C1 i C2) ili horizontalni TT (D0, D1 i D2). Svaki podblok, kao što je blok C1, može se dalje rekurzivno segmentirati na horizontalni TT (E0, E1 i E2) ili vertikalni TT (F0, F1 i F2).

[0110] FIG.5d prikazuje primer AT segmentacije. Blok B3 koji više nije segmentiran prema QT može se segmentirati na vertikalni AT (C0 i C1) ili horizontalni AT (D0 i D1). Svaki podblok, kao što je blok C1, može se dalje rekurzivno segmentirati na horizontalni AT (E0 i E1) ili vertikalni TT (F0 i F1).

[0111] U međuvremenu, segmentacija BT, TT i AT može se koristiti na kombinovan način. Na primer, podblok segmentiran prema BT može biti segmentiran prema TT ili AT. Dalje, podblok segmentiran prema TT može biti segmentiran prema BT ili AT. Podblok segmentiran prema AT može biti segmentiran prema BT ili TT. Na primer, svaki podblok može biti segmentiran u vertikalni BT nakon horizontalne BT segmentacije ili svaki podblok može biti segmentiran u horizontalni BT nakon vertikalne BT segmentacije. U ovom slučaju, konačni segmentirani oblici su identični iako su redosledi segmentacije različiti.

[0112] Dalje, kada je blok segmentiran, redosled pretraživanja blokova može se definisati na različite načine. Generalno, pretraživanje se izvodi sleva nadesno i odozgo nadole, a pretraživanje blokova može značiti redosled određivanja da li će svaki segmentirani podblok biti dodatno segmentiran, redosled kodiranja podblokova kada podblokovi više nisu segmentirani ili redosled pretraživanja kada se podblok odnosi na informacije susednih drugih blokova.

[0113] [0073] Transformacija se može izvršiti na jedinicama za obradu (ili transformacionim blokovima) segmentiranim prema strukturama segmentacije prikazanim na IG.5a do 5d, a određenije, segmentacija se može izvesti u pravcu redova i u pravcu kolona i može se primeniti matrica transformacije. U skladu sa primerom koji ne potpada pod obim pronalaska za koji se traži zaštita ovog otkrivanja, različiti tipovi transformacije mogu se koristiti u zavisnosti od dužine jedinice za obradu (ili transformacionog bloka) u pravcu redova ili pravcu kolona.

[0114] Transformacija se primenjuje na rezidualne blokove kako bi se rezidualni blokovi što je moguće više dekorelisali, koeficijenti koncentrisali na nisku frekvenciju i generisao nulti rep na kraju bloka. Deo transformacije u JEM softveru uključuje dve glavne funkcije (osnovnu transformaciju i sekundarnu transformaciju). Osnovna transformacija se sastoji od porodica transformacija diskretne kosinusne transformacije (DCT) i diskretne sinusne transformacije (DST) primenjenih na sve redove i kolone rezidualnog bloka. Nakon toga, sekundarna transformacija se može dodatno primeniti na gornji levi ugao izlaza osnovne transformacije. Slično, inverzna transformacija se može primeniti redosledom inverzna sekundarna transformacija i inverzna osnovna transformacija. Prvo, inverzna sekundarna transformacija se može primeniti na gornji levi ugao bloka koeficijenata. Zatim se inverzna osnovna transformacija primenjuje na redove i kolone izlaza inverzne sekundarne transformacije. Osnovna transformacija ili inverzna transformacija može se nazvati primarnom transformacijom ili inverznom transformacijom.

[0115] FIG.6 i 7 prikazuju načine ostvarivanja na koje se primenjuje ovo otkrivanje, FIG.6 je šematski blok dijagram jedinice 120/130 za transformaciju i kvantizaciju i jedinice 140/150 za inverznu kvantizaciju i inverznu transformaciju u uređaju 100 za kodiranje, a FIG.7 je šematski blok dijagram jedinice 220/230 za inverznu kvantizaciju i inverznu transformaciju u uređaju 200 za dekodiranje.

[0116] Pozivajući se na FIG.6, jedinica 120/130 za transformaciju i kvantizaciju može da sadrži jedinicu 121 za primarnu transformaciju, jedinicu 122 za sekundarnu transformaciju i jedinicu 130 za kvantizaciju. Jedinica 140/150 za inverznu kvantizaciju i inverznu transformaciju može da sadrži jedinicu 140 za inverznu kvantizaciju, jedinicu 151 za sekundarnu inverznu transformaciju i jedinicu 152 za primarnu inverznu transformaciju.

[0117] Pozivajući se na FIG.7, jedinica 220/230 za inverznu kvantizaciju i inverznu transformaciju može da sadrži jedinicu 220 za inverznu kvantizaciju, jedinicu 231 za inverznu sekundarnu transformaciju i jedinicu 232 za inverznu primarnu transformaciju.

[0118] U ovom otkrivanju, transformacija se može izvršiti kroz više faza. Na primer, mogu se primeniti dva stanja primarne transformacije i sekundarne transformacije kao što je prikazano na FIG.6 ili se može koristiti više od dve faze transformacije u skladu sa algoritmima. Ovde se primarna transformacija može odnositi na osnovnu transformaciju.

[0119] Jedinica 121 za primarnu transformaciju može primeniti primarnu transformaciju na rezidualni signal. Ovde, primarna transformacija može biti unapred definisana kao tabela u koderu i/ili dekoderu.

[0120] Jedinica 122 za sekundarnu transformaciju može primeniti sekundarnu transformaciju na primarno transformisani signal. Ovde, sekundarna transformacija može biti unapred definisana kao tabela u koderu i/ili dekoderu.

[0121] U jednom način ostvarivanja, nerazdvojiva sekundarna transformacija (NSST) može se uslovno primeniti kao sekundarna transformacija. Na primer, NSST se primenjuje samo na intra-predikcione blokove i može imati skup transformacija primenljiv po grupi režima predikcije.

[0122] Ovde se grupa režima predikcije može podesiti na osnovu simetrije u odnosu na smer predikcije. Na primer, režim 52 predikcije i režim 16 predikcije su simetrični na osnovu režima 34 predikcije (dijagonalni smer), i stoga se može generisati jedna grupa i na nju se može primeniti isti skup transformacija. Ovde, kada se primeni transformacija za režim 52 predikcije, ulazni podaci se transponuju, a zatim se primenjuje transformacija jer je skup transformacija režima 52 predikcije isti kao i skup transformacija režima 16 predikcije.

[0123] U slučaju planarnog režima i DC režima, ne postoji simetrija u odnosu na pravce i stoga oni imaju odgovarajuće skupove transformacija, a odgovarajući skup transformacija može biti sastavljen od dve transformacije. Svaki skup transformacija može biti sastavljen od tri transformacije za preostale smerne režime.

[0124] Jedinica 130 za kvantizaciju može da izvede kvantizaciju na sekundarno transformisanom signalu.

[0125] Jedinica 140/150 za inverznu kvantizaciju i inverznu transformaciju obavlja obrnuti postupak od gore navedenog i suvišni opis je izostavljen.

[0126] FIG.7 je šematski blok dijagram jedinice 220/230 za inverznu kvantizaciju i inverznu transformaciju u uređaju 200 za dekodiranje.

[0127] Pozivajući se na FIG.7, jedinica 220/230 za inverznu kvantizaciju i inverznu transformaciju može da sadrži jedinicu 220 za inverznu kvantizaciju, jedinicu za 231 inverznu sekundarnu transformaciju i jedinicu 232 za inverznu primarnu transformaciju.

[0128] Jedinica 220 za inverznu kvantizaciju dobija koeficijente transformacije iz entropijski dekodiranog signala koristeći informacije o veličini koraka kvantizacije.

[0129] Jedinica 231 za inverznu sekundarnu transformaciju vrši inverznu sekundarnu transformaciju na koeficijentima transformacije. Ovde se inverzna sekundarna transformacija odnosi na inverznu transformaciju sekundarne transformacije opisane na FIG.6.

[0130] Jedinica 232 za inverznu primarnu transformaciju vrši inverznu primarnu transformaciju na inverzno sekundarno transformisanom signalu (ili bloku) i dobija rezidualni signal. Ovde se inverzna primarna transformacija odnosi na inverznu transformaciju primarne transformacije opisane na FIG.6.

[0131] [0091] Pored DCT-2 i 4x4 DST-4 primenjenih na HEVC, adaptivna višestruka transformacija ili eksplicitna višestruka transformacija) (AMT ili EMT) se koristi za rezidualno kodiranje za inter- i intra-kodirane blokove. Višestruke transformacije izabrane iz DCT/DST familija se koriste pored transformacija u HEVC u. Matrice transformacije koje su nedavno uvedene u JEM su DST-7, DCT-8, DST-1 i DCT-5. Sledeća Tabela 1 prikazuje osnovne funkcije izabranih DST/DCT.

[0132] [Tabela 1]

[0134]

[0137] [0092] EMT se može primeniti na CU koje imaju širinu i visinu jednaku ili manju od 64, a da li se EMT primenjuje može se kontrolisati zastavicom nivoa CU. Kada je zastavica nivoa CU 0, DCT-2 se primenjuje na CU kako bi se kodirao ostatak. Dve dodatne zastavice se signaliziraju kako bi se identifikovale horizontalne i vertikalne transformacije koje će se koristiti za blok luma kodiranja u CU na koji se primenjuje EMT. Kao u HEVC-u, ostatak bloka može se kodirati u režimu preskakanja transformacije u JEM-u. Za intra-rezidualno kodiranje, koristi se proces selekcije kandidata za transformaciju zavisan od režima zbog drugih statistika reziduala drugih intra-predikcionih režima. Tri podskupa transformacije su definisana kao što je prikazano u sledećoj Tabeli 2, a podskup transformacije se bira na osnovu intrapredikcionog režima kao što je prikazano u Tabeli 3.

[0138] [Tabela 2]

[0140]

kandidati

[0142] Uz koncept podskupa, podskup transformacije se inicijalno potvrđuje na osnovu Tabele 2 korišćenjem intra-predikcionog režima CU koji ima CU-level EMT_CU_flag od 1. Nakon toga, za svaku od horizontalne EMT_TU_horizontal_flag) i vertikalne (EMT_TU_vertical_flag) transformacije, jedan od dva kandidata za transformaciju u potvrđenom podskupu transformacije se bira na osnovu eksplicitne signalizacije korišćenjem zastavica prema Tabeli 3.

[0143] [Tabela 3]

[0145]

[0148] [Tabela 4]

[0149] Konfiguraciona Horizontalna Vertikalna 35 intra predikcioni režima 67 intra predikcioni režima grupa (redna) (kolone)

[0150] transformacija transformacija

[0152]

[0153] Tabela 4 prikazuje grupu konfiguracije transformacije na koju je primenjena adaptivna višestruka transformacija (AMT) kao primer ne potpada pod obim pronalaska za koji se traži zaštita na koji se primenjuje ovo otkrivanje.

[0154] Pozivajući se na Tabelu 4, grupe konfiguracije transformacije se određuju na osnovu režima predikcije, a broj grupa može biti 6 (G0 do G5). Pored toga, G0 do G4 odgovaraju slučaju u kojem se primenjuje intra-predikcija, a G5 predstavlja kombinacije transformacija (ili skup transformacija ili skup kombinacija transformacija) primenjene na rezidualni blok generisan prema inter-predikciji.

[0155] Jedna kombinacija transformacije može biti sastavljena od horizontalne transformacije (ili transformacije reda) primenjene na redove odgovarajućeg 2D bloka i vertikalne transformacije (ili transformacije kolone) primenjene na njegove kolone.

[0156] Ovde, svaka od grupa konfiguracije transformacije može imati četiri kandidata za kombinaciju transformacije. Četiri kandidata za kombinaciju transformacije mogu biti izabrana ili određena korišćenjem indeksa kombinacije transformacije od 0 do 3, a indeks kombinacije transformacije može biti kodiran i prenet od kodera do dekodera.

[0157] U primeru koji ne spada pod obim pronalaska za koji se traži zaštita, rezidualni podaci (ili rezidualni signal) dobijeni putem intra-predikcije mogu imati različite statističke karakteristike u skladu sa intra-predikcionim režimima. Shodno tome, transformacije koje nisu normalna kosinusna transformacija mogu se primeniti za odgovarajuće intra-predikcije, kao što je prikazano u Tabeli 4. U ovom opisu, tip transformacije može biti predstavljen kao DCT-Tip 2, DCT-II ili DCT-2, na primer.

[0158] Pozivajući se na Tabelu 4, prikazan je slučaj u kome se koristi 35 intra-predikcionih režima i slučaj u kome se koristi 67 intra-predikcionih režima. Za svaku grupu konfiguracije transformacije klasifikovanu u svakoj koloni intra-predikcionog režima može se primeniti više kombinacija transformacija. Na primer, više kombinacija transformacija može se sastojati od četiri kombinacije (od transformacija u smeru reda i transformacija u smeru kolone). Kao specifičan primer, DST-7 i DCT-5 mogu se primeniti na grupu 0 i u smeru reda (horizontalnom) i u smeru kolone (vertikalnom) i stoga se mogu primeniti ukupno četiri grupe.

[0159] Pošto se na svaki intra-predikcioni režim može primeniti ukupno četiri kombinacije jezgra transformacije, indeks kombinacije transformacije za izbor jedne od njih može se preneti po jedinici transformacije. U ovom opisu, indeks kombinacije transformacije može se nazivati AMT indeksom i može biti predstavljen sa amt_idx.

[0160] Štaviše, slučaj u kome je DCT-2 optimalan i za smer reda i za smer kolone može se generisati zbog karakteristika rezidualnog signala pored transformacionih jezgara prikazanih u Tabeli 4. Shodno tome, transformacija se može adaptivno primeniti definisanjem AMT zastavice za svaku jedinicu kodiranja.

[0161] Ovde se DCT-2 može primeniti i na smer reda i na smer kolone kada je AMT zastavica 0, a jedna od četiri kombinacije može se izabrati ili odrediti pomoću AMT indeksa kada je AMT zastavica 1.

[0162] U primeru koji ne potpada pod obim pronalaska za koji se traži zaštita, ako je broj koeficijenata transformacije manji od 3 za jednu jedinicu transformacije kada je AMT zastavica 0, jezgra transformacije iz Tabele 4 se ne primenjuju i DST-7 se može primeniti i na smer reda i na smer kolone.

[0163] U primeru koji ne potpada pod obim pronalaska za koji se traži zaštita, ako su vrednosti koeficijenata transformacije prethodno raščlanjene i stoga je broj koeficijenata transformacije manji od 3, AMT indeks se ne raščlanjuje i primenjuje se DST-7 i stoga se može smanjiti količina prenosa dodatnih informacija.

[0164] U primeru koji ne potpada pod obim pronalaska za koji se traži zaštita, AMT se može primeniti samo kada su i širina i visina jedinice transformacije jednake ili manje od 32.

[0165] U primeru koji ne potpada pod obim pronalaska za koji se traži zaštita, Tabela 4 se može unapred podesiti putem obuke van mreže.

[0166] U primeru koji ne potpada pod obim pronalaska za koji se traži zaštita, AMT indeks može biti definisan kao jedan indeks koji može ukazivati na kombinaciju horizontalne i vertikalne transformacije. Alternativno, AMT indeks može biti definisan kao odvojeni indeks horizontalne transformacije i indeks vertikalne transformacije.

[0167] FIG.8 je dijagram toka koji pokazuje postupak izvođenja adaptivne višestruke transformacije (AMT).

[0168] Iako je primer koji ne potpada pod obim pronalaska za koji se traži zaštita u pogledu odvojive transformacije koja se odvojeno primenjuje u horizontalnom i vertikalnom smeru u osnovi opisan u ovom opisu, kombinacija transformacija može biti sastavljena od neodvojivih transformacija.

[0169] Alternativno, kombinacija transformacija može biti konfigurisana kao mešavina odvojivih i neodvojivih transformacija. U ovom slučaju, selekcija transformacije po redovima/kolonama ili selekcija u horizontalnom/vertikalnom smeru nije potrebna kada se koristi odvojiva transformacija, a kombinacije transformacija iz Tabele 4 mogu se koristiti samo kada je izabrana odvojiva transformacija.

[0170] Pored toga, postupci predloženi u ovom opisu mogu se primeniti nezavisno od primarne i sekundarne transformacije. To jest, postupke se mogu primeniti na obe transformacije. Ovde se primarna transformacija može odnositi na transformaciju za početnu transformaciju rezidualnog bloka, a sekundarna transformacija se može odnositi na transformaciju za primenu transformacije na blok generisan kao rezultat primarne transformacije.

[0171] Prvo, uređaj 100 za kodiranje može da odredi grupu transformacije koja odgovara trenutnom bloku (S805). Ovde se grupa transformacije može odnositi na grupu transformacije iz Tabele 4, ali ovo otkrivanje nije ograničeno na to i grupa transformacije može biti sastavljena od drugih kombinacija transformacija.

[0172] Uređaj 100 za kodiranje može da izvrši transformaciju na dostupnim kandidatskim kombinacijama transformacija u grupi transformacija (S810). Kao rezultat transformacije, uređaj 100 za kodiranje može da odredi ili izabere kombinaciju transformacija sa najnižom stopom izobličenja (RD) (S815). Uređaj 100 za kodiranje može da kodira indeks kombinacije transformacija koji odgovara izabranoj kombinaciji transformacija (S820).

[0173] FIG.9 je dijagram toka koji prikazuje postupak dekodiranja izvođenja AMT.

[0174] Prvo, uređaj 200 za dekodiranje može da odredi grupu transformacija za trenutni blok (S905). Uređaj 200 za dekodiranje može da analizira indeks kombinacije transformacija, a indeks kombinacije transformacija može da odgovara jednoj od više kombinacija transformacija u grupi transformacija (S910). Uređaj 200 za dekodiranje može da izvede kombinaciju transformacija koja odgovara indeksu kombinacije transformacija (S915). Ovde, iako se kombinacija transformacija može odnositi na kombinaciju transformacija prikazanu u Tabeli 4, ovo otkrivanje nije ograničeno na to. To jest, kombinacija transformacija može biti konfigurisana kao druge kombinacije transformacija.

[0175] Uređaj 200 za dekodiranje može da izvrši inverznu transformaciju na trenutnom bloku na osnovu kombinacije transformacije (S920). Kada je kombinacija transformacije sastavljena od transformacije reda i transformacije kolone, može se primeniti transformacija reda, a zatim se može primeniti transformacija kolone. Međutim, ovo otkrivanje nije ograničeno na to, i transformacija reda može se primeniti nakon što se primeni transformacija kolone, a kada je kombinacija transformacije sastavljena od nerazdvojivih transformacija, nerazdvojiva transformacija se može odmah primeniti.

[0176] U drugom primeru koji ne spada pod obim pronalaska za koji se traži zaštita, proces određivanja transformacione grupe i proces parsiranja indeksa kombinacije transformacija mogu se izvoditi istovremeno.

[0177] U primeru koji ne spada pod obim pronalaska za koji se traži zaštita, gore pomenuti termin „AMT“ može se redefinisati kao „višestruki skup transformacija ili višestruki izbor transformacija (MTS)“. Sintakse i semantika povezane sa MTS-om, opisane u nastavku, sumirane su u dokumentu Versatile Video Coding (VVC) JVET-K1001-v4.

[0178] U primeru koji ne spada pod obim pronalaska za koji se traži zaštita ovog otkrivanja, dva MTS kandidata mogu se koristiti za usmerene režime, a četiri MTS kandidata mogu se koristiti za neusmerene režime na sledeći način.

[0180] A) Neusmereni režimi (DC i planarni)

[0181] DST-7 se koristi za horizontalne i vertikalne transformacije kada je MTS indeks 0.

[0182] DST-7 se koristi za vertikalnu transformaciju, a DCT-8 se koristi za horizontalne transformacije kada je MTS indeks 1.

[0183] DCT-8 se koristi za vertikalnu transformaciju, a DST-7 se koristi za horizontalne transformacije kada je MTS indeks 2.

[0184] DCT-8 se koristi za horizontalne i vertikalne transformacije kada je MTS indeks 3.

[0186] B) Režimi koji pripadaju horizontalnim grupnim režimima

[0187] DST-7 se koristi za horizontalne i vertikalne transformacije kada je MTS indeks 0.

[0188] DCT-8 se koristi za vertikalnu transformaciju, a DST-7 se koristi za horizontalne transformacije kada je MTS indeks 1.

[0190] C) Režimi koji pripadaju vertikalnim grupnim režimima

[0191] DST-7 se koristi za horizontalne i vertikalne transformacije kada je MTS indeks 0.

[0192] DST-7 se koristi za vertikalnu transformaciju, a DCT-8 se koristi za horizontalne transformacije kada je MTS indeks 1.

[0193] Ovde (u VTM 2.0 u kojem se koristi 67 režima), horizontalni grupni režimi uključuju intrapredikcione režime 2 do 34, a vertikalni režimi uključuju intra-predikcione režime 35 do 66.

[0194] U još jednom primeru koji ne potpada pod obim pronalaska za koji se traži zaštita ovog otkrivanja, tri MTS kandidata primenjuje se za sve intra-predikcione režime.

[0195] DST-7 se koristi za horizontalne i vertikalne transformacije kada je MTS indeks 0.

[0196] DST-7 se koristi za vertikalnu transformaciju, a DCT-8 se koristi za horizontalne transformacije kada je MTS indeks 1.

[0197] DCT-8 se koristi za vertikalnu transformaciju, a DST-7 se koristi za horizontalne transformacije kada je MTS indeks 2.

[0198] U još jednom primeru koji ne potpada pod obim pronalaska za koji se traži zaštita ovog otkrivanja, dva MTS kandidata primenjuju se za usmerene predikcione režime, a tri MTS kandidata primenjuje se za neusmereni režimi.

[0200] A) Neusmereni režimi (DC i planarni)

[0201] DST-7 se koristi za horizontalne i vertikalne transformacije kada je MTS indeks 0.

[0202] DST-7 se koristi za vertikalnu transformaciju, a DCT-8 se koristi za horizontalne transformacije kada je MTS indeks 1.

[0203] DCT-8 se koristi za vertikalnu transformaciju, a DST-7 se koristi za horizontalne transformacije kada je MTS indeks 2.

[0205] B) Režimi predikcije koji odgovaraju horizontalnim grupnim režimima

[0206] DST-7 se koristi za horizontalne i vertikalne transformacije kada je MTS indeks 0.

[0207] DCT-8 se koristi za vertikalnu transformaciju, a DST-7 se koristi za horizontalne transformacije kada je MTS indeks 1.

[0209] C) Režimi predikcije koji odgovaraju vertikalnim grupim režimima

[0210] DST-7 se koristi za horizontalne i vertikalne transformacije kada je MTS indeks 0.

[0211] DST-7 se koristi za vertikalnu transformaciju, a DCT-8 se koristi za horizontalne transformacije kada je MTS indeks 1.

[0212] U još jednom primeru koji ne potpada pod obim pronalaska za koji se traži zaštita ovog otkrivanja, jedan MTS kandidat (npr. DST-7) može se koristiti za sve intra-modove. U ovom slučaju, vreme kodiranja može se smanjiti za 40% uz manji gubitak kodiranja. Pored toga, jedna zastavica može se koristiti za označavanje između DCT-2 i DST-7.

[0213] FIG.10 je dijagram toka koji prikazuje postupak inverzne transformacije na osnovu MTS u skladu sa primerom koji ne potpada pod obim pronalaska za koji se traži zaštita ovog otkrivanja.

[0214] Uređaj 200 za dekodiranje na koje se ovo otkrivanje primenjuje može dobiti sps_mts_intra_enabled_flag ili sps_mts_inter_enabled_flag (S1005). Ovde, sps_mts_intra_enabled_flag ukazuje da li je cu_mts_flag prisutna u rezidualnoj kodnoj sintaksi jedinice za intra-kodiranje. Na primer, cu_mts_flag nije prisutna u rezidualnoj kodnoj sintaksi jedinice za intra-kodiranje ako je sps_mts_intra_enabled_flag = 0 i cu_mts_flag prisutna u rezidualnoj kodnoj sintaksi jedinice za intrakodiranje ako je , sps_mts_intra_enabled_flag = 1. Pored toga, sps_mts_inter_enabled_flag ukazuje da li je cu_mts_flag prisutna u rezidualnoj kodnoj sintaksi jedinice za inter-kodiranje. Na primer, cu_mts_flag nije prisutna u rezidualnoj kodnoj sintaksi jedinice za inter-kodiranje ako je sps_mts_inter_enabled_flag = 0 i cu_mts_flag prisutna u rezidualnoj kodnoj sintaksi jedinice za inter-kodiranje ako je sps_mts_inter_enabled_flag = 1.

[0215] Uređaj 200 za dekodiranje može dobiti cu_mts_flag na osnovu sps_mts_intra_enabled_flag ili sps_mts_inter_enabled_flag (S1010). Na primer, uređaj 200 za dekodiranje može dobiti cu_mts_flag kada sps_mts_intra_enabled_flag = 1 ili sps_mts_inter_enabled_flag = 1. Ovde, cu_mts_flag ukazuje da li se MTS primenjuje na rezudualni uzorak bloka lumtransformacije. Na primer, MTS se ne primenjuje na rezudualni uzorak bloka lumtransformacije ako je cu_mts_flag = 0 , a MTS se primenjuje na rezudualni uzorak bloka lumtransformacije ako je cu_mts_flag = 1.

[0216] Uređaj 200 za dekodiranje može dobiti mts_idx na osnovu cu_mts_flag (S1015). Na primer, kada je cu_mts_flag = 1, uređaj 200 za dekodiranje može dobiti mts_idx. Ovde, mts_idx pokazuje koje se transformaciono jezgro primenjuje na rezidualne luma uzorke trenutnog transformacionog bloka u horizontalnom pravcu i/ili vertikalnom pravcu.

[0217] Na primer, najmanje jedan od primera koji ne potpadaju pod obim pronalaska za koji se traži zaštita opisan u ovom opisu mogu se primeniti na mts_idx.

[0218] Uređaj 200 za dekodiranje može izvesti transformaciono jezgro koje odgovara mts_idx (S1020). Na primer, transformaciono jezgro koje odgovaraju mts_idx može biti odvojeno definisano kao horizontalna transformacija i vertikalna transformacija.

[0219] Na primer, kada se MTS primenjuje na trenutni blok (tj., cu_mts_flag = 1), uređaj 200 za dekodiranje može da konfiguriše MTS kandidate na osnovu režima intra-predikcije trenutnog bloka. U ovom slučaju, dijagram toka dekodiranja sa FIG.10 može dalje da uključuje fazu konfigurisanja MTS kandidata. Zatim, uređaj 200 za dekodiranje može da odredi neki MTS kandidat koji se primenjuje na trenutni blok od između konfigurisanih MTS kandidata koji koriste mts_idx.

[0220] Kao još jedan primer, različita transformaciona jezgra mogu se primeniti na horizontalnu transformaciju i vertikalnu transformaciju. Međutim, ovo otkrivanje nije na to ograničeno i isto transformaciono jezgro može se primeniti na horizontalnu transformaciju i vertikalnu transformaciju.

[0221] Uređaj 200 za dekodiranje može da izvede inverznu transformaciju na osnovu transformacionog jezgra (S1025).

[0222] Pored toga, u ovoj specifikaciji, MTS može biti prikazan kao AMT ili EMT i mts_idx može biti prikazan kao AMT_idx, EMT_idx, AMT_TU_idx EMT_TU_idx, ili slično ali ovo otkrivanje nije na to ograničeno.

[0223] Ovo otkrivanje je opisano tako što je podeljeno na slučaj u kome se primenjuje MTS i slučaj u kome se MTS ne primenjuje na osnovu MTS zastavice, ali nije ograničeno na takav izraz. Na primer, da li se MTS primenjuje ili ne, može značiti da li treba koristiti druge tipove transformacije (ili jezgra transformacije) osim unapred definisanog specifičnog tipa transformacije (koji se može nazvati osnovnim tipom transformacije, podrazumevanim tipom transformacije itd.). Ako se primenjuje MTS, za transformaciju se mogu koristiti drugi tipovi transformacije (npr. bilo koji jedan tip transformacije ili kombinovani tip transformacije od dva ili više tipova transformacije među više tipova transformacija) osim osnovnog tipa transformacije. Dalje, ako se MTS ne primenjuje, za transformaciju se može koristiti osnovni tip transformacije. U primeru koji ne potpada pod obim pronalaska za koji se traži zaštita, osnovni tip transformacije može biti konfigurisan (ili definisan) kao DCT2.

[0224] [0152] Na primer, kada sintaksa MTS zastavice koja ukazuje na to da li je MTS primenjen na trenutni blok transformacije ili ne, i da li su MTS primenjeni, sintaksa MTS indeksa koja ukazuje na tip transformacije primenjen na trenutni blok transformacije takođe može biti pojedinačno preneta iz kodera u dekoder. Kao drugi primer, kada se utvrdi da li je MTS primenjen na trenutni blok transformacije ili ne, i da li su MTS primenjeni, sintaksa (npr. MTS indeks) koja uključuje sve tipove transformacije primenjene na trenutni blok transformacije takođe može biti preneta iz kodera u dekoder. To jest, u ovom drugom primeru, sintaksa (ili element sintakse) koja ukazuje na tip transformacije primenjen na trenutni blok transformacije (ili jedinicu) može biti preneta iz kodera u dekoder unutar svih grupa tipova transformacije (ili skupova tipova transformacije), uključujući gore opisani osnovni tip transformacije.

[0225] Shodno tome, uprkos izrazu, sintaksa (MTS indeks) koja ukazuje na tip transformacije primenjene na trenutni blok transformacije može da sadrži informacije o tome da li je MTS primenjen ili ne. Drugim rečima, u ovom drugom primeru, samo MTS indeks može biti signaliziran bez MTS zastavice, i u ovom slučaju, može se razumeti da je DCT2 uključen u MTS. Međutim, u ovom otkrivanju može se opisati da primena DCT2 znači da se MTS ne primenjuje. Ipak, tehnički opseg u odnosu na MTS nije ograničen odgovarajućom definicijom.

[0226] FIG.11 je blok dijagram uređaja koji izvodi dekodiranje na osnovu MTS u skladu sa primerom koji ne potpada pod obim pronalaska za koji se traži zaštita ovog otkrivanja.

[0227] Uređaj 200 za dekodiranje na koje se ovo otkrivanje primenjuje može da uključuje jedinicu 1105 za akviziciju parametara sekvence, jedinicu 1110 za akviziciju MTS zastavice, jedinicu 1115 za akviziciju MTS indeksa, i jedinicu 1120 za izvođenje jezgra transformacije.

[0228] Jedinica 1105 za akviziciju parametara sekvence može steći sps_mts_intra_enabled_flag ili sps_mts_inter_enabled_flag. Ovde, sps_mts_intra_enabled_flag ukazuje da li je cu_mts_flag prisutna u preostaloj sintaksi koja kodira ostatak intra-kodirajuće jedinice, a sps_mts_inter_enabled_flag ukazuje da li je cu_mts_flag prisutna u rezidualnoj kodnoj sintaksi jedinice za inter-kodiranje. Opis uz pozivanje na FIG.10 može se primeniti na određeni primer.

[0229] Jedinica 1110 za akviziciju MTS zastavice može steći cu_mts_flag na osnovu sps_mts_intra_enabled_flag ili sps_mts_inter_enabled_flag. Na primer, jedinica 1110 za akviziciju MTS zastavice može steći cu_mts_flag kada sps_mts_intra_enabled_flag = 1 ili sps_mts_inter_enabled_flag = 1. Ovde, cu_mts_flag ukazuje da li se MTS primenjuje na rezudualni uzorak bloka lumtransformacije. Opis uz pozivanje na FIG.10 može se primeniti na određeni primer.

[0230] Jedinica 1115 za akviziciju MTS indeksa može steći mts_idx na osnovu cu_mts_flag. Na primer, jedinica 1115 za akviziciju MTS indeksa može steći mts_idx kada cu_mts_flag = 1. Ovde, mts_idx pokazuje koje se transformaciono jezgro primenjuje na rezidualne luma uzorke trenutnog transformacionog bloka u horizontalnom pravcu i/ili vertikalnom pravcu. Opis uz pozivanje na FIG.10 može se primeniti na određeni primer.

[0231] Jedinica 1120 za izvođenje jezgra transformacije može izvesti transformaciono jezgro koje odgovara mts_idx. Zatim, uređaj 200 za dekodiranje može da izvede inverzne transformacija na osnovu izvedenog transformacionog jezgra.

[0232] [0160] Uvodi se režim-zavisna nerazdvojiva sekundarna transformacija (MDNSST). Da bi se održala niska složenost, MDNSST se primenjuje samo na koeficijente niske frekvencije nakon primarne transformacije. Dalje, nerazdvojiva transformacija koja se uglavnom primenjuje na koeficijente niske frekvencije može se nazvati LFNST (nerazdvojiva transformacija niske frekvencije). Ako su i širina (W) i visina (H) bloka koeficijenta transformacije jednake ili veće od 8, nerazdvojiva sekundarna transformacija 8x8 se primenjuje na gornji levi region bloka koeficijenta transformacije. Nerazdvojiva sekundarna transformacija 4x4 se primenjuje ako je širina ili visina manja od 8, a nerazdvojiva sekundarna transformacija 4x4 može se izvršiti na gornjem levom min(8, W) x min(8, H) bloka koeficijenta transformacije. Ovde, min(A, B) je funkcija izlaza manje vrednosti između A i B. Dalje, WxH je veličina bloka, W predstavlja širinu, a H predstavlja visinu.

[0233] Ukupno 35x3 nerazdvojivih sekundarnih transformacija može biti prisutno za veličine blokova 4x4 i 8x8. Ovde, 35 je broj skupova transformacija određenih intra-predikcionim režimima, a 3 je broj NSST kandidata za svaki režim predikcije. Mapiranje iz intra-predikcionih režima u skupove transformacija može se definisati u sledećoj tabeli 5.

[0234] [Tabela 5]

[0236]

[0239] Da bi se označilo transformaciono jezgro među transformacionim skupovima, može se kodirati NSST indeks (NSST idx). Kada se NSST ne primenjuje, signalizira se NSST indeks jednak 0.

[0240] FIG.12 i 13 su dijagrami toka koji prikazuju kodiranje/dekodiranje na koje se primenjuje sekundarna transformacija kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koji se predmetno otkrivanje primenjuje.

[0241] [0164] U JEM-u, sekundarna transformacija (MDNSST) se ne primenjuje za blok kodiran režimom preskakanja transformacije. Kada je MDNSST indeks signaliziran za CU i nije jednak nuli, MDNSST se ne koristi za blok komponente koji je kodiran režimom preskakanja transformacije u CU. Ukupna struktura kodiranja, uključujući koeficijentsko kodiranje i NSST indeksno kodiranje, prikazana je na FIG.12 i 13. CBF zastavica je kodirana da bi se utvrdilo da li se izvode koeficijentsko kodiranje i NSST kodiranje. Na FIG.12 i 13, CBF zastavica može predstavljati cbg zastavicu lumina bloka (cbf_luma flag) ili cbf zastavicu hromatskog bloka (cbf_cb flag ili cbf_cr flag). Kada je CBF zastavica 1, koeficijenti transformacije se kodiraju.

[0242] Pozivajući se na FIG.12, uređaj 100 za kodiranje proverava da li je CBF jednak 1 (S1205). Ako je CBF jednak 0, uređaj 100 za kodiranje ne vrši kodiranje koeficijenta transformacije i NSST indeksno kodiranje. Ako je CBF jednak 1, uređaj 100 za kodiranje vrši kodiranje na koeficijentima transformacije (S1210). Nakon toga, ueđaj 100 za kodiranje određuje da li da izvrši NSST indeksno kodiranje (S1215) i vrši NSST indeksno kodiranje (S1220). Kada se NSST indeksno kodiranje ne primeni, uređaj 100 za kodiranje može da završi postupak transformacije bez primene NSST-a i da izvrši sledeći korak (npr. kvantizaciju).

[0243] Pozivajući se na FIG.13, uređaj 200 za dekodiranje proverava da li je CBF jednak 1 (S1305). Ako je CBF jednak 0, uređaj 200 za dekodiranje ne vrši dekodiranje koeficijenta transformacije i dekodiranje NSST indeksa. Ako je CBF jednak 1, uređaj 200 za dekodiranje vrši dekodiranje koeficijenata transformacije (S1310). Nakon toga, uređaj 200 za dekodiranje određuje da li da izvrši NSST indeksno kodiranje (S1315) i da analizira NSST indeks (S1320).

[0244] NSST se može primeniti na gornji levi region 8x8 ili 4x4 umesto da se primeni na ceo blok (TU u slučaju HEVC-a) na koji je primenjena primarna transformacija. Na primer, 8x8 NSST se može primeniti kada je veličina bloka 8x8 ili veća, a 4x4 NSST se može primeniti kada je veličina bloka manja od 8x8. Dalje, kada se primeni 8x8 NSST, 4x4 NSST se može primeniti po bloku 4x4. I 8x8 NSST i 4x4 NSST mogu se odrediti prema gore opisanoj konfiguraciji skupa transformacija, a 8x8 NSST može imati 64 dela ulaznih podataka i 64 dela izlaznih podataka, a 4x4 NSST može imati 16 ulaza i 16 izlaza jer su to nerazdvojive transformacije.

[0245] FIG.14 i 15 prikazuju primer koji ne spada pod obim pronalaska za koji se traži zaštita, na koji se primenjuje ovo otkrivanje, FIG.14 je dijagram za opisivanje Givensove rotacije, a FIG.15 prikazuje konfiguraciju jedne runde u 4x4 NSST-u sastavljenu od slojeva i permutacija Givensove rotacije.

[0246] I 8x8 NSST i 4x4 NSST mogu se konfigurisati kao hijerarhijske kombinacije Givensovih rotacija. Matrica koja odgovara jednoj Givensovoj rotaciji predstavljena je kao jednačina 1, a proizvod matrica je predstavljen kao FIG.14.

[0249]

[0252] Na FIG.14, t<m>i t<n>izlaz u skladu sa Givensovom rotacijom može biti izračunat kako je prikazano Jednačinom 2.

[0253]

[0256] Pošto Givensova rotacija rotira dva dela podataka kao što je prikazano na FIG.14, potrebno je 32 ili 8 Givensovih rotacija da bi se obradilo 64 (u slučaju 8x8 NSST) ili 16 (u slučaju 4x4 NSST) dela podataka. Shodno tome, grupa od 32 ili 8 Givensovih rotacija može formirati sloj Givensove rotacije. Kao što je prikazano na FIG.15, izlazni podaci za jedan sloj Givensove rotacije prenose se kao ulazni podaci za sledeći sloj Givensove rotacije putem permutacije (mešanja). Šablon permutovan kao što je prikazano na FIG.15 je redovno definisan, a u slučaju 4x3 NSST, četiri sloja Givensove rotacije i odgovarajuće permutacije čine jedan krug.4x4 NSST se izvodi u dva kruga, a 8x8 NSST se izvodi u četiri kruga. Iako različiti krugovi koriste isti obrazac permutacije, primenjeni Givensovi uglovi rotacije su različiti. Shodno tome, podaci o uglovima za sve Givensove rotacije koje čine svaku permutaciju moraju biti sačuvani.

[0257] Kao poslednji korak, još jedna permutacija se konačno vrši na izlaznim podacima kroz slojeve Givensove rotacije, a informacije o odgovarajućoj permutaciji se posebno čuvaju za svaku permutaciju. Odgovarajuća permutacija se izvodi na kraju direktnog NSST-a, a odgovarajuća obrnuta permutacija se inicijalno primenjuje u inverznom NSST-u.

[0258] Obrnuti NSST obrnuto izvršava slojeve i permutacije Givensove rotacije primenjene na direktni NSST i vrši rotaciju uzimajući negativnu vrednost za svaki ugao Givensove rotacije.

[0260] RST (Redukovana sekundarna transformacija)

[0261] FIG.16 prikazuje operaciju RST kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0262] Kada ortogonalna matrica koja predstavlja transformaciju predstavlja NxN, redukovana transformacija (RT) ostavlja samo R od N osnovnih vektora transformacije (R<N). Matrica u odnosu na direktnu RT koja generiše koeficijente transformacije može se definisati Jednačinom 3.

[0265]

[0268] Pošto je matrica u odnosu na obrnuti RT transponovana matrica matrice direktnog RT, primena direktnog RT i obrnutog RT je šematizovana kao što je prikazano na FIG.14a i 14b.

[0269] [0177] RT primenjen na gornji levi blok 8x8 bloka koeficijenta transformacije na koji je primenjena primarna transformacija može se nazvati 8x8 RST. Kada je R podešen na 16 u matematičkom izrazu 3, direktni 8x8 RST ima oblik matrice 16x64, a obrnuti 8x8 RST ima oblik matrice 64x16. Dalje, konfiguracija skupa transformacija kao što je prikazano u Tabeli 5 može se primeniti na 8x8 RST. To jest, 8x8 RST se može odrediti na osnovu skupova transformacija prema intra-predikcionim režimima kao što je prikazano u Tabeli 5. Pošto je jedan skup transformacija sastavljen od dve ili tri transformacije prema intra-predikcionom režimu, može se izabrati jedna od najviše četiri transformacije, uključujući slučaj u kome se sekundarna transformacija ne primenjuje (jedna transformacija može odgovarati anizotropnoj matrici). Kada su indeksi 0, 1, 2 i 3 dodeljeni četirima transformacijama, transformacija koja će se primeniti može se odrediti signaliziranjem sintaksnog elementa koji odgovara NSST indeksu za svaki blok koeficijenta transformacije. Na primer, indeks 9 može biti dodeljen anizotropnoj matrici, odnosno slučaju u kojem se sekundarna transformacija ne primenjuje. Shodno tome, 8x8 NSST može biti označen prema JEM NSST, a 8x8 RST može biti označen prema RST konfiguraciji za 8x8 levi gornji blok preko NSST indeksa.

[0270] FIG.17 S je dijagram koji prikazuje postupak izvođenja obrnutog skeniranja od šezdeset četvrtog koeficijenta do sedamnaestog koeficijenta obrnutim redosledom skeniranja, kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0271] Kada se primeni 8x8 RST, kao što je predstavljeno matematičkim izrazom 3, generiše se 16 validnih koeficijenata transformacije i stoga se 64 komada ulaznih podataka koji čine region 8x8 svode na 16 komada izlaznih podataka, a samo četvrtina regiona je popunjena validnim koeficijentima transformacije prema stanovištu dvodimenzionalnog regiona. Shodno tome, 16 komada izlaznih podataka dobijenih primenom direktnog 8x8 RST-a popunjavaju gornji levi region na FIG.17.

[0272] Na FIG.17, gornji levi region dimenzija 4x4 postaje region od interesa (ROI) popunjen važećim koeficijentima transformacije, a preostali region je prazan. Prazan region može biti popunjen sa 0 kao podrazumevanom vrednošću. Ako se važeći koeficijenti transformacije koji nisu nula otkriju u regionima koji nisu ROI sa FIG.17, 8x8 RST nije definitivno primenjen i stoga se odgovarajuće kodiranje može izostaviti za odgovarajući NSST indeks. S druge strane, ako se važeći koeficijenti transformacije koji nisu nula ne otkriju u regionima koji nisu ROI sa FIG.17 (primenjuje se 8x8 RST ili su regioni koji nisu ROI popunjeni sa 0), NSST indeks može biti kodiran jer se može primeniti 8x8 RST. Takvo uslovno NSST indeksno kodiranje zahteva proveru prisustva ili odsustva koeficijenta transformacije koji nije nula i stoga se može izvršiti nakon procesa rezidualnog kodiranja.

[0273] FIG.18 je primerni dijagram toka koji prikazuje kodiranje koje koristi jedan indikator transformacije kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0274] [0182] U primeru koji ne spada pod obim zahtevanog pronalaska ovog otkrivanja, uvodi se indikator jedne transformacije (STI). Jedna transformacija se može primeniti kada je STI omogućen (STI kodiranje == 1) umesto sekvencijalno korišćene dve transformacije (primarna transformacija i sekundarna transformacija). Ovde, jedna transformacija može biti bilo koja vrsta transformacije. Na primer, jedna transformacija može biti odvojiva transformacija ili neodvojiva transformacija. Jedna transformacija može biti transformacija aproksimirana iz neodvojive transformacije. Indeks jedne transformacije (ST_idx na FIG.18) može se signalizirati kada je STI omogućen. Ovde, indeks jedne transformacije može ukazivati na transformaciju koja će se primeniti među dostupnim kandidatima za transformaciju.

[0275] Pozivajući se na FIG.18, uređaj 100 za kodiranje određuje da li je CBF jednak 1 (S1805). Kada je CBF jednak 1, uređaj 100 za kodiranje određuje da li je primenjeno STI kodiranje (S1810). Kada se primeni STI kodiranje, uređaj 100 za kodiranje kodira STI indeks STI_idx (S1845) i vrši kodiranje na koeficijentu transformacije (S1850). Kada se STI kodiranje ne primeni, uređaj 100 za kodiranje kodira zastavicu EMT_CU_Flag koja ukazuje da li je EMT (ili MTS) primenjen na CU nivou (S1815). Nakon toga, uređaj 100 za kodiranje vrši kodiranje na koeficijentima transformacije (S1820). Zatim, uređaj 100 za kodiranje određuje da li je EMT primenjen na jedinicu transformacije (TU) (S1825). Kada se EMT primeni na TU, uređaj 100 za kodiranje kodira primarni indeks transformacije EMT_TU Idx primenjen na TU (S1830). Nakon toga, uređaj 100 za kodiranje određuje da li se primenjuje NSST (S1835). Kada se primeni NSST, uređaj 100 za kodiranje kodira indeks NSST_Idx koji ukazuje na to da treba primeniti NSST (S1840).

[0276] U jednom primeru, ako su uslovi za kodiranje jedne transformacije zadovoljeni/omogućeni (npr. STI_coding == 1), indeks jedne transformacije ST_Idx može biti implicitno izveden umesto da bude signaliziran. ST_idx može biti implicitno određen na osnovu veličine bloka i intra-predikcionog režima. Ovde, ST_Idx može ukazivati na transformaciju (ili jezgro transformacije) primenjenu na trenutni blok transformacije.

[0277] STI može biti omogućen ako je ispunjen jedan ili više sledećih uslova (STI_coding == 1).

[0278] 1) Veličina bloka odgovara unapred određenoj vrednosti kao što je 4 ili 8.

[0279] 2) Širina bloka == Visina bloka (kvadratni blok)

[0280] 3) Režim intra-predikcije je jedan od unapred određenih režima kao što su DC i planarni režimi.

[0282] U drugom primeru, zastavica STI kodiranja može biti signalizirana kako bi se naznačilo da li je primenjena jedna transformacija. Zastavica STI kodiranja može biti signalizirana na osnovu vrednosti STI kodiranja i CBF-a. Na primer, zastavica STI kodiranja može biti signalizirana kada CBF je 1 i STI kodiranje je omogućeno. Štaviše, zastavica STI kodiranja može biti uslovno signalizirana uzimajući u obzir veličinu bloka, oblik bloka (kvadratni blok ili nekvadratni blok) ili režim intra-predikcionog režima.

[0283] [0187] Da bi se koristile informacije dobijene tokom kodiranja koeficijenata, ST_idx se može odrediti nakon kodiranja koeficijenata. U jednom primeru, ST_idx se može implicitno odrediti na osnovu veličine bloka, intra-predikcionog režima i broja koeficijenata koji nisu nula. U drugom primeru, ST_idx se može uslovno kodirati/dekodirati na osnovu veličine bloka, oblika bloka, intra-predikcionog režima i/ili broja koeficijenata koji nisu nula. U drugom primeru, signalizacija ST_idx može biti izostavljena u zavisnosti od raspodele koeficijenata koji nisu nula (tj. pozicija koeficijenata koji nisu nula). Određenije, kada se koeficijenti koji nisu nula otkriju u regionu koji nije gornji levi region 4x4, signalizacija ST_idx se može izostaviti.

[0284] FIG.19 je primerni dijagram toka koji prikazuje kodiranje koje koristi objedinjeni indikator transformacije (UTI) kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0285] U primeru koji ne potpada pod obim pronalaska za koji se traži zaštita ovog otkrivanja, uvodi se objedinjeni indikator transformacije. UTI uključuje indikator primarne transformacije i indikator sekundarne transformacije.

[0286] Pozivajući se na FIG.19, uređaj 100 za kodiranje određuje da li je CBF jednak 1 (S1905). Kada je CBF jednak 1, uređaj 100 za kodiranje određuje da li se primenjuje UTI kodiranje (S1910). Kada se primenjuje UTI kodiranje, uređaj 100 za kodiranje kodira UTI indeks UTI_idx (S1945) i vrši kodiranje na koeficijentu transformacije (S1950). Kada se UTI kodiranje ne primenjuje, uređaj 100 za kodiranje kodira zastavicu EMT_CU_Flag koja ukazuje da li se EMT (ili MTS)

[0287] primenjuje na nivou CU (S1915). Nakon toga, uređaj 100 za kodiranje vrši kodiranje koeficijenata transformacije (S1920). Zatim, uređaj 100 za kodiranje određuje da li se EMT primenjuje na jedinicu transformacije (TU) (S1925). Kada se EMT primenjuje na TU, uređaj 100 za kodiranje kodira primarni indeks transformacije EMT_TU Idx primenjen na TU (S1930). Nakon toga, uređaj 100 za kodiranje određuje da li se primenjuje NSST (S1935). Kada se primenjuje NSST, uređaj 100 za kodiranje kodira indeks NSST_Idx koji ukazuje da treba primeniti NSST (S1940).

[0288] UTI može biti kodiran za svaku unapred određenu jedinicu (CTU ili CU).

[0289] UTI režim kodiranja može biti zavisan od sledećih uslova.

[0290] 1) Veličina bloka

[0291] 2) Oblik bloka

[0292] 3) Režim intra-predikcije

[0294] Kako izvesti/izdvojiti osnovni indeks transformacije iz UTI-ja je unapred definisano. Kako izvesti/izdvojiti sekundarni indeks transformacije iz UTI-ja je unapred definisano.

[0295] Sintaksna struktura za UTI može se opciono koristiti. UTI može zavisiti od veličine CU (TU). Na primer, manji CU (TU) može imati UTI indeks u užem opsegu. U jednom primeru, UTI može naznačiti samo indeks osnovne transformacije ako je zadovoljen unapred definisani uslov (npr. veličina bloka je manja od unapred definisane granične vrednosti).

[0296] [Tabela 6]

[0297]

[0300] U drugom primeru, UTI indeks se može smatrati indeksom osnovne transformacije kada nije naznačeno da se koristi sekundarna transformacija (npr., indeks sekundarne transformacije ==0 ili je sekundarna transformacija već unapred određena). Na isti način, UTI indeks se može smatrati indeksom sekundarne transformacije kada se smatra da je indeks osnovne transformacije poznat. Konkretno, uzimajući u obzir intra prediktivni režim i veličinu bloka, može se koristiti unapred određena osnovna transformacija.

[0301] FIG.20 prikazuje dva primerna dijagrama toka koji prikazuju kodiranje koje koristi UTI kao jedan način ostvarivanja na koji se ovo otkrivanje primenjuje.

[0302] U drugom primeru, struktura transformacionog kodiranja može koristiti UTI indeksno kodiranje kao što je prikazano na FIG.20. Ovde, UTI indeks može biti kodiran ranije od koeficijentnog kodiranja ili kasnije od koeficijentnog kodiranja.

[0303] Pozivajući se na levi dijagram toka na FIG.20, uređaj 100 za kodiranje proverava da li je CBF jednak 1 (S2005). Kada je CBF jednak 1, uređaj 100 za kodiranje kodira UTI indeks UTI_idx (S2010) i vrši kodiranje na koeficijentima transformacije (S2015).

[0304] Pozivajući se na desni dijagram toka na FIG.20, uređaj 100 za kodiranje proverava da li je CBF jednak 1 (S2055). Kada je CBF jednak 1, uređaj 100 za kodiranje vrši kodiranje koeficijenata transformacije (S2060) i kodira UTI indeks UTI_idx (S2065).

[0305] [0201] U drugom primeru koji ne spada u obim zahtevanog pronalaska ovog otkrivanja, uvode se postupci skrivanja podataka i implicitnog kodiranja za indikatore transformacije. Ovde, indikatori transformacije mogu uključivati ST_idx, UTI_idx, EMT_CU_Flag, EMT_TU_Flag, NSST_Idx i bilo koju vrstu indeksa povezanog sa transformacijom koji se može koristiti za označavanje jezgra transformacije. Gore pomenuti indikator transformacije možda neće biti signaliziran, ali odgovarajuće informacije mogu biti umetnute u postupak kodiranja koeficijenta (mogu biti izdvojene tokom postupka kodiranja koeficijenta). Postupak kodiranja koeficijenta može uključivati sledeće delove.

[0306] - L Last_position_x, Last_position_y

[0307] - Grupna zastavica

[0308] - Mapa značaja

[0309] - Greather_than_1 flag

[0310] - Greather_than_2 flag

[0311] - Kodiranje preostalog nivoa

[0312] - Kodiranje znakova

[0314] Na primer, informacije o indikatoru transformacije mogu se umetnuti u jedan ili više gore pomenutih postupaka kodiranja koeficijenata. Da bi se umetnule informacije o indikatoru transformacije, sledeće se može razmotriti zajedno.

[0316] Pattern of sing coding

[0317]

[0318] Apsolutna vrednost preostalog nivoa

[0319] Broj za Greather_than_1 flag

[0320] Vrednosti za Last_position_X i Last_position_Y

[0322] Gore pomenuti postupak skrivanja podataka može se uslovno razmatrati. Na primer, postupak skrivanja podataka može zavisiti od broja koeficijenata koji nisu nula.

[0323] U drugom primeru, NSST_idx i EMT_idx mogu biti zavisni. Na primer, NSST_idx možda nije nula kada je EMT_CU_Flag jednak nuli (ili jednom). U ovom slučaju, umesto NSST_idx može se signalizirati NSST_idx -1.

[0324] [0206] U drugom primeru koji ne spada u obim zahtevanog pronalaska ovog otkrivanja, uvodi se mapiranje skupa NSST transformacija zasnovano na režimu intra-predikcije, kao što je prikazano u sledećoj Tabeli 7. Iako je NSST opisan u nastavku kao primer nerazdvojive transformacije, za nerazdvojivu transformaciju može se koristiti i druga poznata terminologija (npr. LFNST). Na primer, NSST skup i NSST indeks mogu se zameniti sa LFNST skup i LFNST indeks. Dalje, RST opisan u ovoj specifikaciji može se takođe zameniti sa LFNST kao primer nerazdvojive transformacije (npr. LFNST) korišćenjem nekvadratne matrice transformacije koja ima smanjenu ulaznu dužinu i/ili smanjenu izlaznu dužinu u kvadratnoj nerazdvojivoj matrici transformacije primenjenoj na najmanje jedan region (4x4 ili 8x8 levi gornji region ili region koji nije 4x4 desni donji region u 8x8 bloku) bloka transformacije.

[0325] [Tabela 7]

[0327]

[0330] Broj NSST skupa može se preurediti od 0 do 3 kao što je prikazano u Tabeli 8.

[0331] [Tabela 8]

[0333]

[0336] U NSST transformacionom skupu koriste se samo četiri transformaciona skupa (umesto 35) tako da se može smanjiti potreban memorijski prostor.

[0337] Pored toga, različiti brojevi transformacionih jezgara po transformacionom skupu mogu se koristiti na sledeći način.

[0338] [0210] Slučaj A: Koriste se dva dostupna jezgra transformacije za svaki skup transformacija tako da je opseg NSST indeksa od 0 do 2. Na primer, kada je NSST indeks 0, sekundarna transformacija (inverzna sekundarna transformacija zasnovana na dekoderu) se možda neće primeniti. Kada je NSST indeks 1 ili 2, može se primeniti sekundarna transformacija. Skup transformacija može da sadrži dva jezgra transformacije na koja se može mapirati indeks 1 ili 2.

[0339] [Tabela 9]

[0341]

[0344] Pozivajući se na Tabelu 9, koriste se dva transformaciona jezgra za svaki od nerazdvojnih transformacionih (NSST ili LFNST) skupova od 0 do 3.

[0345] Slučaj B: Dva dostupna transformaciona jezgra se koriste za transformacioni skup 0, a jedno se koristi za ostale. Dostupni NSST indeksi za transformacioni skup 0 (DC i Planarni) su od 0 do 2. Međutim, NSST indeksi za ostale režime (transformacioni skupovi 1, 2 i 3) su od 0 do 1.

[0346] [Tabela 10]

[0348]

[0351] Pozivajući se na Tabelu 10, dva nerazdvojiva transformaciona jezgra su postavljena za skup nerazdvojivih transformacija (NSST) koji odgovara indeksu 0 i jedno nerazdvojivo transformaciono jezgro je postavljeno za svaki od skupova nerazdvojivih transformacija (NSST) koji odgovaraju indeksima 1, 2 i 3.

[0352] Slučaj C: Jedno transformaciono jezgro se koristi po transformacionom jezgru, a opseg NSST indeksa je od 0 do 1.

[0353] [Tabela 11]

[0355]

[0358] FIG.21 je primer dijagrama toka koji prikazuje kodiranje za izvršavanje transformacije kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0359] Uređaj 100 za kodiranje vrši primarnu transformaciju na rezidualnom bloku (S2105). Primarna transformacija može se nazvati osnovnom transformacijom. Kao primer koji ne spada u obim zahtevanog pronalaska, uređaj 100 za kodiranje može izvršiti primarnu transformaciju koristeći gore pomenuti MTS. Dalje, uređaj 100 za kodiranje može preneti MTS indeks koji ukazuje na određeni MTS među MTS kandidatima uređaju 200 za dekodiranje. Ovde, MTS kandidati mogu biti konfigurisani na osnovu intra-predikcionog režima trenutnog bloka.

[0360] Uređaj 100 za kodiranje određuje da li da primeni sekundarnu transformaciju (S2110). Na primer, uređaj 100 za kodiranje može da odredi da li da primeni sekundarnu transformaciju na osnovu koeficijenata transformacije primarno transformisanog rezidualnog bloka. Na primer, sekundarna transformacija može biti NSST ili RST.

[0361] Uređaj 100 za kodiranje određuje sekundarnu transformaciju (S2115). Ovde, uređaj 100 za kodiranje može odrediti sekundarnu transformaciju na osnovu NSST (ili RST) skupa transformacija označenog prema režimu intra-predikcije.

[0362] Na primer, uređaj 100 za kodiranje može da odredi region na koji će se primeniti sekundarna transformacija na osnovu veličine trenutnog bloka pre faze S2115.

[0363] Uređaj 100 za kodiranje izvodi sekundarnu transformaciju određenu u fazi S2115 (S2120).

[0364] FIG.22 je primerni dijagram toka koji prikazuje dekodiranje za izvođenje transformacija kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0365] Uređaj 200 za dekodiranje određuje da li da primeni inverznu sekundarnu transformaciju (S2205). Na primer, inverzna sekundarna transformacija može biti NSST ili RST. Na primer, uređaj 200 za dekodiranje može da odredi da li da primeni inverznu sekundarnu transformaciju na osnovu zastavice sekundarne transformacije primljene od uređaja 100 za kodiranje.

[0366] Uređaj 200 za dekodiranje određuje inverznu sekundarnu transformaciju (S2210). Ovde, uređaj 200 za dekodiranje može odrediti inverznu sekundarnu transformaciju primenjenu na trenutni blok na osnovu NSST (ili RST) skupa transformacija označenog prema gore pomenutom režimu intra-predikcije.

[0367] Dalje, na primer, uređaj 200 za dekodiranje ože odrediti region na koji će se inverzna sekundarna transformacija primeniti na osnovu veličine trenutnog bloka pre faze S2210.

[0368] Uređaj 200 za dekodiranje izvodi inverznu sekundarnu transformaciju na inverzno kvantizovani rezidualni blok primenom inverzne sekundarne transformacije određene u fazi S2210 (S2215).

[0369] Uređaj za dekodiranje vrši inverznu primarnu transformaciju na inverzno sekundarno transformisanom rezidualnom bloku (S2220). Inverzna primarna transformacija može se nazvati inverzna osnovna transformacija. U primeru koji ne spada u obim zahtevanog pronalaska, uređaj 200 za dekodiranje može izvršiti inverznu primarnu transformaciju koristeći gore pomenuti MTS. Dalje, kao primer, uređaj 200 za dekodiranje može utvrditi da li je MTS primenjen na trenutni blok pre koraka S2220. U ovom slučaju, dijagram toka dekodiranja sa FIG.22 može dalje uključivati fazu određivanja da li je MTS primenjen.

[0370] [0227] Na primer, kada se MTS primeni na trenutni blok (tj. cu_mts_flag = 1), uređaj 200 za dekodiranje može konfigurisati MTS kandidate na osnovu intra-predikcionog režima trenutnog bloka. U ovom slučaju, dijagram toka dekodiranja sa FIG.22 može dodatno uključivati fazu konfigurisanja MTS kandidata. Pored toga, uređaj 200 za dekodiranje može odrediti inverznu primarnu transformaciju primenjenu na trenutni blok koristeći mtx_idx, što ukazuje na određeni MTS među konfigurisanim MTS kandidatima.

[0371] FIG.23 je detaljni blok dijagram jedinice 120 za transformaciju u uređaju 100 za kodiranje kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0372] Uređaj 100 za kodiranje na koji se primer koji ne potpada pod obim pronalaska za koji se traži zaštita ovog otkrivanja primenjuje može da uključuje primarnu transformacionu jedinicu 2310, jedinica 2320 za određivanje primene sekundarne transformacije, jedinica 2330 za određivanje sekundarne transformacije, i sekundarna transformaciona jedinica 2340.

[0373] Primarna transformacija jedinica 2310 može da izvede primarnu transformaciju na rezidualnom bloku. Primarna transformacija može se nazvati transformacijom jezgra. Kao primer koji ne spada u obim zahtevanog pronalaska, jedinica 2310 za primarnu transformaciju može izvršiti primarnu transformaciju koristeći gore pomenuti MTS. Dalje, jedinica 2310 za primarnu transformaciju može preneti MTS indeks koji ukazuje na određeni MTS među MTS kandidatima uređaju 200 za dekodiranje. Ovde, MTS kandidati mogu biti konfigurisani na osnovu intra-predikcionog režima trenutnog bloka.

[0374] Jedinica 2320 za određivanje primene sekundarne transformacije može da odredi da li da primeni sekundarnu transformaciju. Na primer, jedinica 2320 za određivanje primene sekundarne transformacije može da odredi da li da primeni sekundarnu transformaciju na osnovu koeficijenata transformacije primarno transformisanog rezidualnog bloka. Na primer, sekundarna transformacija može biti NSST ili RST.

[0375] Jedinica 2330 za određivanje sekundarne transformacije određuje sekundarnu transformaciju. Ovde, jedinica 2330 za određivanje sekundarne transformacije može odrediti sekundarnu transformaciju na osnovu NSST (ili RST) skupa transformacija označenog prema intra-predikcionom režimu kao što je gore opisano.

[0376] Na primer, jedinica 2330 za određivanje sekundarne transformacije može odrediti region na koji će se sekundarna transformacija primeniti na osnovu veličine trenutnog bloka.

[0377] Sekundarna transformacija jedinica 2340 može da izvede oređenu sekundarnu transformaciju.

[0378] FIG.24 je detaljni blok dijagram inverzne transformacione jedinice 230 u uređaju 200 za dekodiranje kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koji se ovo otkrivanje primenjuje.

[0379] Uređaj 200 za dekodiranje na koji se ovo otkrivanje primenjuje uključuje inverznu jedinicu 2410 za određivanje primene sekundarne transformacije, inverznu jedinicu 2420 za određivanje sekundarne transformacije, inverznu sekundarnu transformacionu jedinicu 2430, i inverznu primarnu transformacionu jedinicu 2440.

[0380] [0237] Jedinica 2410 za određivanje primene inverzne sekundarne transformacije može da odredi da li da primeni inverznu sekundarnu transformaciju. Na primer, inverzna sekundarna transformacija može biti NSST ili RST. Na primer, jedinica 2410 za određivanje primene inverzne sekundarne transformacije može da odredi da li da primeni inverznu sekundarnu transformaciju na osnovu zastavice sekundarne transformacije primljene od uređaja 100 za kodiranje.

[0381] Jedinica 2420 za određivanje inverzne sekundarne transformacije može odrediti inverznu sekundarnu transformaciju. Ovde, jedinica 2420 za određivanje inverzne sekundarne transformacije može odrediti inverznu sekundarnu transformaciju primenjenu na trenutni blok na osnovu NSST (ili RST) skupa transformacija označenog prema režimu intra-predikcije.

[0382] Dalje, na primer, jedinica 2420 za određivanje inverzne sekundarne transformacije može odrediti region na koji će se inverzna sekundarna transformacija primeniti na osnovu veličine trenutnog bloka.

[0383] Jedinica 2430 za inverznu sekundarnu transformaciju može da izvrši inverznu sekundarnu transformaciju na inverzno kvantizovanom rezidualnom bloku koristeći određenu inverznu sekundarnu transformaciju.

[0384] Jedinica 2440 za inverznu primarnu transformaciju može da izvrši inverznu primarnu transformaciju na inverzno sekundarno transformisanom rezidualnom bloku. U primeru koji ne spada u obim zahtevanog pronalaska, jedinica 2440 za inverznu primarnu transformaciju može da izvrši inverznu primarnu transformaciju koristeći gore pomenuti MTS. Dalje, kao primer, jedinica 2440 za inverznu primarnu transformaciju može da utvrdi da li je MTS primenjen na trenutni blok.

[0385] Na primer, kada se MTS primeni na trenutni blok (tj. cu_mts_flag = 1), jedinica 2440 za inverznu primarnu transformaciju može konfigurisati MTS kandidate na osnovu intra-predikcionog režima trenutnog bloka. Pored toga, jedinica 2440 za inverznu primarnu transformaciju može odrediti inverznu primarnu transformaciju primenjenu na trenutni blok koristeći mtx_idx, što ukazuje na određeni MTS među konfigurisanim MTS kandidatima.

[0386] FIG.25 je dijagram toka za obradu video signala kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje. Postupak dijagrama toka sa FIG.25 može se izvesti uređajem 200 za dekodiranje ili inverznom transformacionom jedinicom 230.

[0387] Prvo, uređaj 200 za dekodiranje može da utvrdi da li je obrnuta nerazdvojiva transformacija primenjena na trenutni blok na osnovu indeksa nerazdvojive transformacije i širine i visine trenutnog bloka. Na primer, ako indeks nerazdvojive transformacije nije 0, a širina i visina trenutnog bloka su jednake ili veće od 4, uređaj 200 za dekodiranje može da utvrdi da je nerazdvojiva transformacija primenjena. Ako je indeks nerazdvojive transformacije 0 ili je širina ili visina trenutnog bloka manja od 4, uređaj 200 za dekodiranje može da izostavi obrnutu nerazdvojivu transformaciju i da izvrši inverznu primarnu transformaciju.

[0388] [0245] U fazi S2505, uređaj 200 za dekodiranje određuje indeks nerazdvojivog skupa transformacija koji ukazuje na nerazdvojivi skup transformacija koji se koristi za nerazdvojivu transformaciju trenutnog bloka iz grupe nerazdvojivih skupova transformacija unapred definisanih na osnovu intra-predikcionog režima trenutnog bloka. Nerazdvojivi indeks skupa transformacija može se podesiti tako da se dodeli svakom od četiri skupa transformacija konfigurisana prema opsegu intra-predikcionog režima, kao što je prikazano u Tabeli 7 ili Tabeli 8. To jest, nerazdvojivi indeks skupa transformacija može se odrediti kao prva vrednost indeksa kada je intra-predikcioni režim 0 i 1, određen kao druga vrednost indeksa kada je intra-predikcioni režim od 2 do 12 ili od 56 do 66, određen kao treća vrednost indeksa kada je intrapredikcioni režim od 13 do 23 ili od 45 do 55, i određen kao četvrta vrednost indeksa kada je intrapredikcioni režim od 24 do 44, kao što je prikazano u Tabeli 7 ili Tabeli 8.

[0389] Ovde, svaki od unapred definisanih nerazdvojnih skupova transformacija može da sadrži dva jezgra transformacije, kao što je prikazano u Tabeli 9. Dalje, svaki od unapred definisanih nerazdvojnih skupova transformacija može da sadrži jedno ili dva jezgra transformacije, kao što je prikazano u Tabeli 10 ili 11.

[0390] U fazi S2510, uređaj 200 za dekodiranje određuje, kao nerazdvojivu matricu transformacije, jezgro transformacije označeno nerazdvojivim indeksom transformacije za trenutni blok iz grupe jezgara transformacije uključenih u nerazdvojivi skup transformacije označen indeksom nerazdvojivog skupa transformacije. Na primer, dva nerazdvojiva jezgra transformacije mogu biti konfigurisana za svaku vrednost indeksa nerazdvojivog skupa transformacije i uređaj 200 za dekodiranje može odrediti nerazdvojivu matricu transformacije na osnovu jezgra transformacije označenog nerazdvojivim indeksom transformacije između dva jezgra matrice transformacije koja odgovaraju indeksu nerazdvojivog skupa transformacije.

[0391] U fazi S2515, uređaj 200 za dekodiranje primenjuje nerazdvojivu matricu transformacije na gornji levi region trenutnog bloka određen na osnovu širine i visine trenutnog bloka. Na primer, nerazdvojiva transformacija može se primeniti na gornji levi region trenutnog bloka 8x8 ako su i širina i visina trenutnog bloka jednake ili veće od 8, a nerazdvojiva transformacija može se primeniti na region 4x4 trenutnog bloka ako je širina ili visina trenutnog bloka manja od 8. Veličina nerazdvojive transformacije takođe može biti podešena na 8x8 ili 4x4 kao odgovor na region na koji će se nerazdvojiva transformacija primeniti.

[0392] Štaviše, uređaj 200 za dekodiranje može primeniti horizontalnu transformaciju i vertikalnu transformaciju na trenutni blok na koji je primenjena nerazdvojiva transformacija. Ovde se horizontalna transformacija i vertikalna transformacija mogu odrediti na osnovu MTS indeksa za izbor režima predikcije i matrice transformacije primenjene na trenutni blok.

[0393] U nastavku je opisan postupak kombinovanja i primene primarne transformacije i sekundarne transformacije. To jest, primer koji ne spada u obim zahtevanog pronalaska ovog otkrivanja predlaže postupak efikasnog projektovanja transformacije koja se koristi u primarnoj transformaciji i sekundarnoj transformaciji. U ovom slučaju, mogu se primeniti postupci ilustrovani na FIG.1 do 25, a suvišni opis je izostavljen.

[0394] Kao što je gore opisano, primarna transformacija predstavlja transformaciju koja se prvo primenjuje na rezidualni blok na osnovu kodera. Ako se primeni sekundarna transformacija, koder može izvršiti sekundarnu transformaciju na primarno transformisanom rezidualnom bloku. Ako se primeni sekundarna transformacija, sekundarna inverzna transformacija može se izvršiti pre primarne inverzne transformacije na osnovu dekodera. Dekoder može izvršiti primarnu inverznu transformaciju na sekundarnom inverzno transformisanom bloku koeficijenta transformacije da bi se izveo rezidualni blok.

[0395] Pored toga, kao što je gore opisano, nerazdvojiva transformacija može se koristiti kao sekundarna transformacija, a sekundarna transformacija može se primeniti samo na koeficijente niske frekvencije specifičnog regiona gore levo kako bi se održala niska složenost. Sekundarna transformacija primenjena na ove koeficijente niske frekvencije može se nazvati nerazdvojiva sekundarna transformacija (NSST), nerazdvojiva transformacija niske frekvencije (LFNST) ili redukovana sekundarna transformacija (RST). Primarna transformacija može se nazvati osnovna transformacija.

[0396] U primeru koji ne spada u obim zahtevanog pronalaska ovog otkrivanja, kandidat za primarnu transformaciju koji se koristi u primarnoj transformaciji i jezgro sekundarne transformacije koje se koristi u sekundarnoj transformaciji mogu biti unapred definisani kao različite kombinacije. U ovom otkrivanju, kandidat za primarnu transformaciju koji se koristi u primarnoj transformaciji može se nazivati MTS kandidatom, ali nije ograničen na to ime. Na primer, kandidat za primarnu transformaciju može biti kombinacija jezgara transformacije (ili tipova transformacije) respektivno primenjenih na horizontalni i vertikalni smer, a jezgro transformacije može biti jedno od DCT2, DST7 i/ili DCT8. Drugim rečima, kandidat za primarnu transformaciju može biti najmanje jedna kombinacija DCT2, DST7 i/ili DCT8. Sledeći opis je dat sa detaljnim primerima.

[0398] - Kombinacija A

[0399] U kombinaciji A, kako je prikazano u sledećoj Tabeli 12, kandidat primarne transformacije i sekundarno transformaciono jezgro mogu biti definisani u skladu sa intra predikcionim režimom.

[0400] [Tabela 12]

[0402]

[0403]

1 transformaciona jezgra za neugaoni režim

[0405] Pozivajući se na gornju Tabelu 12, kao primer (Slučaj 1), dva primarna transformaciona kandidata mogu se koristiti ako intra predikcioni režim ima usmerenost, i četiri primarna transformaciona kandidata mogu se koristiti ako intra predikcioni režim nema usmerenost (npr., DC režim, planarni režim). U ovom slučaju, sekundarni transformacioni kandidat može da uključuje dva transformaciona jezgra bez obzira na usmerenost intra predikcionog režima. To jest, kako je prethodno opisano, višestruki skupovi sekundarnih transformacionih jezgara mogu biti unapred definisani u skladu sa intra predikcionim režimom, i svaki od više unapred definisanih skupova sekundarnih transformacionih jezgara može da uključuje dva transformaciona jezgra.

[0406] Dalje, kao primer (Slučaj 2), dva primarna transformaciona kandidata mogu se koristiti ako intra predikcioni režim ima usmerenost, i četiri primarna transformaciona kandidata mogu se koristiti ako intra predikcioni režim nema usmerenost. U ovom slučaju, sekundarni transformacioni kandidat može da uključuje jedno transformaciono jezgro ako intra predikcioni režim ima usmerenost, i sekundarni transformacioni kandidat može da uključuje dva transformaciona jezgra ako intra predikcioni režim nema usmerenost.

[0407] Dalje, kao primer (Slučaj 3), dva primarna transformaciona kandidata mogu se koristiti ako intra predikcioni režim ima usmerenost, i četiri primarna transformaciona kandidata mogu se koristiti ako intra predikcioni režim nema usmerenost. U ovom slučaju, sekundarni transformacioni kandidat može da uključuje jedno transformaciono jezgro bez obzira na usmerenost intra predikcionog režima.

[0409] - Kombinacija B

[0410] U kombinaciji B, kako je prikazano u sledećoj Tabeli 13, kandidat primarne transformacije i sekundarno transformaciono jezgro mogu biti definisani u skladu sa intra predikcionim režimom.

[0411] [Tabela 13]

[0413]

[0414] Pozivajući se na gornju Tabelu 13, kao primer (Slučaj 1), tri primarna transformaciona kandidata mogu se koristiti bez obzira na usmerenost intra predikcionog režima. U ovom slučaju, sekundarni transformacioni kandidat može da uključuje dva transformaciona jezgra bez obzira na usmerenost intra predikcionog režima. To jest, kako je prethodno opisano, višestruki skupovi sekundarnih transformacionih jezgara mogu biti unapred definisani u skladu sa intra predikcionim režimom, i svaki od više unapred definisanih skupova sekundarnih transformacionih jezgara može da uključuje dva transformaciona jezgra.

[0415] Dalje, kao primer (Slučaj 2), tri primarna transformaciona kandidata mogu se koristiti bez obzira na usmerenost intra predikcionog režima. U ovom slučaju, sekundarni transformacioni kandidat može da uključuje jedno transformaciono jezgro ako intra predikcioni režim ima usmerenost, i sekundarni transformacioni kandidat može da uključuje dva transformaciona jezgra ako intra predikcioni režim nema usmerenost.

[0416] Dalje, kao primer (Slučaj 3), tri primarna transformaciona kandidata mogu se koristiti bez obzira na usmerenost intra predikcionog režima. U ovom slučaju, sekundarni transformacioni kandidat može da uključuje jedno transformaciono jezgro bez obzira na usmerenost intra predikcionog režima.

[0418] - Kombinacija C

[0419] U kombinaciji C, kako je prikazano u sledećoj Tabeli 14, kandidat primarne transformacije i sekundarno transformaciono jezgro mogu biti definisani u skladu sa intra predikcionim režimom.

[0420] [Tabela 14]

[0422]

[0425] [0263] Pozivajući se na gornju Tabelu 14, kao primer (Slučaj 1), dva primarna transformaciona kandidata mogu se koristiti ako intra predikcioni režim ima usmerenost, i tri primarna transformaciona kandidata mogu se koristiti ako intra predikcioni režim nema usmerenost (npr., DC režim, planarni režim). U ovom slučaju, sekundarni transformacioni kandidat može da uključuje dva transformaciona jezgra bez obzira na usmerenost intra predikcionog režima. To jest, kako je prethodno opisano, višestruki skupovi sekundarnih transformacionih jezgara mogu biti unapred definisani u skladu sa intra predikcionim režimom, i svaki od više unapred definisanih skupova sekundarnih transformacionih jezgara može da uključuje dva transformaciona jezgra.

[0426] Dalje, kao primer (Slučaj 2), dva primarna transformaciona kandidata mogu se koristiti ako intra predikcioni režim ima usmerenost, i tri primarna transformaciona kandidata mogu se koristiti ako intra predikcioni režim nema usmerenost. U ovom slučaju, sekundarni transformacioni kandidat može da uključuje jedno transformaciono jezgro ako intra predikcioni režim ima usmerenost, i sekundarni transformacioni kandidat može da uključuje dva transformaciona jezgra ako intra predikcioni režim nema usmerenost.

[0427] Dalje, kao primer (Slučaj 3), dva primarna transformaciona kandidata mogu se koristiti ako intra predikcioni režim ima usmerenost, i tri primarna transformaciona kandidata mogu se koristiti ako intra predikcioni režim nema usmerenost. U ovom slučaju, sekundarni transformacioni kandidat može da uključuje jedno transformaciono jezgro bez obzira na usmerenost intra predikcionog režima.

[0428] Gore navedeni opis je dat fokusirajući se na slučaj korišćenja više kandidata za primarnu transformaciju. U nastavku su opisane kombinacije primarne i sekundarne transformacije u slučaju korišćenja fiksnog kandidata za primarnu transformaciju, kao primer.

[0430] - Kombinacija D

[0431] U kombinaciji D, kako je prikazano u sledećoj Tabeli 15, kandidat primarne transformacije i sekundarno transformaciono jezgro mogu biti definisani u skladu sa intra predikcionim režimom. [Tabela 15]

[0433]

[0436] [0268] Pozivajući se na gornju Tabelu 15, kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita, jedan primarni transformacioni kandidat može biti fiksno primenjen bez obzira na intra predikcioni režim. Na primer, fiksni primarni transformacioni kandidat može biti najmanje jedna kombinacija od DCT2, DST7 i/ili DCT8.

[0437] Kao primer (Slučaj 1), jedan primarni transformacioni kandidat može biti fiksno primenjen bez obzira na intra predikcioni režim. U ovom slučaju, sekundarni transformacioni kandidat može da uključuje dva transformaciona jezgra bez obzira na usmerenost intra predikcionog režima. To jest, kako je prethodno opisano, višestruki skupovi sekundarnih transformacionih jezgara mogu biti unapred definisani u skladu sa intra predikcionim režimom, i svaki od više unapred definisanih skupova sekundarnih transformacionih jezgara može da uključuje dva transformaciona jezgra.

[0438] Dalje, kao primer (Slučaj 2), jedan primarni transformacioni kandidat može biti fiksno primenjen bez obzira na intra predikcioni režim. U ovom slučaju, sekundarni transformacioni kandidat može da uključuje jedno transformaciono jezgro ako intra predikcioni režim ima usmerenost, i sekundarni transformacioni kandidat može da uključuje dva transformaciona jezgra ako intra predikcioni režim nema usmerenost.

[0439] Dalje, kao primer (Slučaj 3), jedan primarni transformacioni kandidat može biti fiksno primenjen bez obzira na intra predikcioni režim. U ovom slučaju, sekundarni transformacioni kandidat može da uključuje jedno transformaciono jezgro bez obzira na usmerenost intra predikcionog režima.

[0441] - Kombinacija E

[0442] U kombinaciji E, kako je prikazano u sledećoj Tabeli 16, kandidat primarne transformacije i sekundarno transformaciono jezgro mogu biti definisani u skladu sa intra predikcionim režimom. [Tabela 16]

[0444]

[0447] [0273] Pozivajući se na gornju Tabelu 16, dokle god se DCT2 primenjuje kao primarna transformacija, sekundarna transformacija može biti definisana. Drugim rečima, ako MTS nije primenjen (tj., ako se DCT2 primenjuje kao primarna transformacija), sekundarna transformacija može biti primenjena. Kako je prikazano na FIG.10 gore, ovo otkrivanje je opisano tako što je podeljeno na slučaj u kome se primenjuje MTS i slučaj u kome se MTS ne primenjuje, ali nije ograničeno na takav izraz. Na primer, da li se MTS primenjuje ili ne, može značiti da li treba koristiti druge tipove transformacije (ili jezgra transformacije) osim unapred definisanog specifičnog tipa transformacije (koji se može nazvati osnovnim tipom transformacije, podrazumevanim tipom transformacije itd.). Ako se primenjuje MTS, drugi tipovi transformacije (npr. bilo koji jedan tip transformacije ili kombinovani tip transformacije od dva ili više tipova transformacije među više tipova transformacija) osim osnovnog tipa transformacije mogu se koristiti za transformaciju. Dalje, ako se MTS ne primenjuje, osnovni tip transformacije može se koristiti za transformaciju. U primeru koji ne spada u obim zahtevanog pronalaska, osnovni tip transformacije može biti konfigurisan (ili definisan) kao DCT2.

[0448] Kao primer (Slučaj 1), kada se DCT2 primenjuje na primarnu transformaciju, sekundarna transformacija može biti primenjena. U ovom slučaju, sekundarni transformacioni kandidat može da uključuje dva transformaciona jezgra bez obzira na usmerenost intra predikcionog režima. To jest, kako je prethodno opisano, višestruki skupovi sekundarnih transformacionih jezgara mogu biti unapred definisani u skladu sa intra predikcionim režimom, i svaki od više unapred definisanih skupova sekundarnih transformacionih jezgara može da uključuje dva transformaciona jezgra.

[0449] Dalje, kao primer (Slučaj 2), kada se DCT2 primenjuje na primarnu transformaciju, sekundarna transformacija može biti primenjena. U ovom slučaju, sekundarni transformacioni kandidat može da uključuje jedno transformaciono jezgro ako intra predikcioni režim ima usmerenost, i sekundarni transformacioni kandidat može da uključuje dva transformaciona jezgra ako intra predikcioni režim nema usmerenost.

[0450] Dalje, kao primer (Slučaj 3), kada se DCT2 primenjuje na primarnu transformaciju, sekundarna transformacija može biti primenjena. U ovom slučaju, sekundarni transformacioni kandidat može da uključuje jedno transformaciono jezgro bez obzira na usmerenost intra predikcionog režima.

[0451] FIG.26 je dijagram toka koji ilustruje postupak za transformaciju video signala u skladu sa primerom koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje.

[0452] Pozivajući se na FIG.26, ovo otkrivanje is opisan na osnovu dekodera radi lakšeg objašnjenja, ali nije ograničeno na to. Postupak transformacije za video signal prema primeru koji ne spada u obim zahtevanog pronalaska može se u suštini podjednako primeniti čak i na koder. Dijagram toka ilustrovan na FIG.26 može se izvršiti pomoću uređaja 200 za dekodiranje ili jedinice 230 za inverznu transformaciju.

[0453] Uređaj 200 za dekodiranje analizira prvi sintaksni element koji ukazuje na primarno jezgro transformacije primenjeno na primarnu transformaciju trenutnog bloka u S2601.

[0454] Uređaj 200 za dekodiranje određuje da li je sekundarna transformacija primenljiva na trenutni blok na osnovu prvog sintaksnog elementa u S2602.

[0455] Ako je sekundarna transformacija primenjiva na trenutni blok, uređaj 200 za dekodiranje analizira drugi sintaksni element koji ukazuje na jezgro sekundarne transformacije primenjeno na sekundarnu transformaciju trenutnog bloka u S2603.

[0456] Uređaj 200 za dekodiranje daje sekundarno inverzno-transformisani blok, izvođenjem sekundarne inverzne-transformacije za gornji-levi specifični region trenutnog bloka korišćenjem sekundarnog transformacionog jezgra naznačenog drugim sintaksnim elementom u S2604.

[0457] Uređaj 200 za dekodiranje daje rezidualni blok trenutnog bloka, izvođenjem primarne inverznetransformacije za sekundarno inverzno-transformisani blok primenom primarnog transformacionog jezgra indikovanog prvim sintaksnim elementom u S2605.

[0458] Kako je prethodno opisano, faza S2602 može se izvršiti utvrđivanjem da je sekundarna transformacija primenljiva na trenutni blok ako prvi sintaksni element ukazuje na unapred definisano prvo jezgro transformacije. U ovom slučaju, prvo jezgro transformacije može biti definisano kao DCT2.

[0459] Dalje, kako je prethodno opisano, uređaj 200 za dekodiranje može odrediti skup jezgara sekundarne transformacije koji se koristi za sekundarnu transformaciju trenutnog bloka među unapred definisanim skupovima jezgara sekundarne transformacije na osnovu intra predikcionog režima trenutnog bloka. Drugi sintaksni element može ukazivati na jezgro sekundarne transformacije primenjeno na sekundarnu transformaciju trenutnog bloka u određenom skupu jezgara sekundarne transformacije.

[0460] Dalje, kao što je gore opisano, svaki od unapred definisanih skupova sekundarnih transformacionih jezgara može da sadrži dva transformaciona jezgra.

[0461] U primeru koji ne spada u obim zahtevanog pronalaska, biće opisan primer sintaksne strukture u kojoj se koristi višestruki transformacioni skup (MTS).

[0462] Na primer, sledeća tabela 17 prikazuje primer sintaksne strukture skupa parametara sekvence.

[0463] [Tabela 17]

[0465]

[0466]

[0469] Pozivajući se na FIG.17, da li se MTS prema primeru koji ne spada u obim zahtevanog pronalaska ovog otkrivanja može koristiti, može se signalizirati putem sintakse skupa parametara sekvence. Ovde, sps_mts_intra_enabled_flag pokazuje da li je MTS zastavica ili MTS indeks prisutan u sintaksi nižeg nivoa (npr. sintaksa rezidualnog kodiranja ili sintaksa jedinice transformacije) u odnosu na intrakodujuću jedinicu. Pored toga, sps_mts_inter_enabled_flag pokazuje da li je MTS zastavica ili MTS indeks prisutan u sintaksi nižeg nivoa u odnosu na inter-kodirajuću jedinicu.

[0470] Kao još jedan primer, sledeća tabela 18 prikazuje primer struktura sintakse transformacione jedinice.

[0471] [Tabela 18]

[0472] tr

[0473]

[0476] Pozivajući se na Tabelu 18, cu_mts_flag ukazuje da li se MTS primenjuje na rezudualni uzorak bloka lumtransformacije. Na primer, MTS se ne primenjuje na rezudualni uzorak bloka lumtransformacije ako je cu_mts_flag = 0 i MTS se primenjuje na rezudualni uzorak lumtransformacionog bloka ako cu_mts_flag = 1.

[0477] Kao što je gore opisano, slučaj u kome se primenjuje MTS i slučaj u kome se MTS ne primenjuje su odvojeno opisani na osnovu MTS zastavice u otkrivanju, ali otkrivanje nije ograničeno na to. Na primer, da li se MTS primenjuje, može imati isto značenje kao i da li se koristi tip transformacije (ili jezgro transformacije) koji nije unapred definisan specifičan tip transformacije (koji se može nazvati osnovnim tipom transformacije, podrazumevanim tipom transformacije ili slično). Tip transformacije (npr. bilo koji od više tipova transformacije ili kombinacija dva ili više njih) koji nije podrazumevani tip transformacije može se koristiti za transformaciju ako se primenjuje MTS, a podrazumevani tip transformacije može se koristiti za transformaciju ako se MTS ne primenjuje. U primeru koji ne spada u obim zahtevanog pronalaska, podrazumevani tip transformacije može biti postavljen (ili definisan) kao DCT2.

[0478] [0293] Na primer, sintaksa MTS zastavice koja ukazuje da li se MTS primenjuje na trenutni blok transformacije i sintaksa MTS indeksa koja ukazuje na tip transformacije primenjen na trenutni blok kada se MTS primenjuje mogu se pojedinačno prenositi sa kodera na dekoder. Kao još jedan primer, sintaksa (npr. MTS indeks) koja uključuje i da li se MTS primenjuje na trenutni blok transformacije i tip transformacije primenjen na trenutni blok kada se MTS primenjuje, može se prenositi sa kodera na dekoder. To jest, u ovom drugom primeru, sintaksa (ili element sintakse) koja ukazuje na tip transformacije primenjen na trenutni blok transformacije (ili jedinicu) u grupi tipova transformacije (ili skupu tipova transformacije), uključujući gore pomenuti podrazumevani tip transformacije, može se prenositi sa kodera na dekoder.

[0479] Shodno tome, sintaksa (MTS indeks) koja ukazuje na tip transformacije primenjen na trenutni blok transformacije može da sadrži informacije o tome da li je MTS primenjen bez obzira na njegovu reprezentaciju. Drugim rečima, iako se može smatrati da MTS uključuje DCT2 jer se samo MTS indeks može signalizirati bez MTS zastavice u ovom drugom primeru, slučaj u kome se primenjuje DCT2 može se opisati kao slučaj u kome se MTS ne primenjuje u otkrivanju i tehnički obim u pogledu MTS nije ograničen definicijom.

[0480] Pored toga, kao još jedan primer, sledeća tabela 19 prikazuje primer strukture sintakse rezidualne jedinice.

[0481] [Tabela 19]

[0483]

[0484]

[0485]

[0486]

[0487]

[0488] }

[0489]

[0491] Pozivajući se na Tabelu 19, sintaksa transform_skip_flag i/ili mts_idx (ili element sintakse) može biti signalizirana kroz rezidualnu sintaksu. Međutim, ovo je samo primer i otkrivanje nije ograničeno na to. Na primer, sintaksa transform_skip_flag i/ili mts_idx može biti signalizirana kroz sintaksu jedinice transformacije.

[0492] Specifičan primer gore pomenute matrice sekundarne transformacije koji ne spada u obim zahtevanog pronalaska, a koji se može koristiti za sekundarnu transformaciju, biće opisan u nastavku. Kao što je gore opisano, sekundarna transformacija može se nazivati nerazdvojiva sekundarna transformacija (NSST), niskofrekventna nerazdvojiva transformacija (LFNST) ili redukovana sekundarna transformacija (RST).

[0493] Kao što je gore opisano, četiri skupa transformacija (ili sekundarni skupovi transformacija) mogu se koristiti za poboljšanje efikasnosti memorije pri primeni sekundarne transformacije u primeru koji ne spada u obim zahtevanog pronalaska. Kao primer koji ne spada u obim zahtevanog pronalaska, koder/dekoder može dodeliti indekse 0, 1, 2 i 3 četirima skupovima transformacija.

[0494] Štaviše, svaki skup transformacija može da sadrži unapred definisani broj transformacionih jezgara kao što je gore opisano. Kao primer koji ne spada u obim zahtevanog pronalaska, četiri skupa transformacija koja se koriste za sekundarnu transformaciju mogu biti unapred definisana u koderu i dekoderu, a svaki skup transformacija može da sadrži jednu ili dve matrice transformacija (ili tipove transformacija ili transformaciona jezgra).

[0495] Sledeća tabela 20 prikazuje primer transformacije primenjive na 8x8 region.

[0496]

[0497]

[0498]

[0499]

[0500]

[0501]

[0502]

[0504] Tabela 20 prikazuje slučaj u kome se koeficijenti matrice transformacije množe vrednošću skaliranja od 128. U Tabeli 20, [4] prvog ulaza u nizu g_aiNsst8x8[4][2][16][64] predstavlja broj skupova transformacije (ovde se skupovi transformacije mogu identifikovati indeksima 0, 1, 2 i 3), [2] drugog ulaza predstavlja broj matrica transformacije koje čine svaki skup transformacije, a [16] i [64] trećeg i četvrtog ulaza predstavljaju redove i kolone 16x64 RST (redukovane sekundarne transformacije).

[0505] Iako Tabela 20 pretpostavlja slučaj u kome skup transformacija uključuje dve matrice transformacije, ako skup transformacija uključuje jednu matricu transformacije, može biti konfigurisan da koristi matricu transformacije u određenom redosledu za svaki skup transformacija u Tabeli 20. Na primer, kada skup transformacija uključuje jednu matricu transformacije, koder/dekoder može koristiti unapred određenu, odnosno prvu ili drugu matricu transformacije u svakom skupu transformacija u Tabeli 20.

[0506] Prilikom primene RST-a iz Tabele 20, koder/dekoder može biti konfigurisan (definisan ili podešen) da emituje 16 koeficijenata transformacije ili konfigurisan da emituje samo m koeficijenata transformacije primenom samo mx64 dela matrice 16x64. Na primer, koder/dekoder može biti konfigurisan da emituje samo 8 koeficijenata transformacije koristeći samo 8x64 matricu odozgo postavljanjem m=8. Moguće je smanjiti broj izračunavanja za polovinu primenom smanjene sekundarne transformacije na ovaj način. Kao primer koji ne spada u obim zahtevanog pronalaska, koder/dekoder može primeniti matricu 8x64 na transformacionu jedinicu (TU) 8x8 kako bi smanjio broj izračunavanja.

[0507] Sledeća tabela 21 prikazuje primer transformacije primenjive na 4x4 regionu.

[0508]

[0509]

[0510]

[0511]

[0514] Tabela 21 prikazuje slučaj u kome se koeficijenti matrice transformacije množe vrednošću skaliranja od 128. U Tabeli 21, [4] prvog ulaza u nizu g_aiNsst4x4[4][2][16][16] predstavlja broj skupova transformacije (ovde se skupovi transformacije mogu identifikovati indeksima 0, 1, 2 i 3), [2] drugog ulaza predstavlja broj matrica transformacije koje čine svaki skup transformacije, a [16] i [16] trećeg i četvrtog ulaza predstavljaju redove i kolone 16x16 RST (redukovane sekundarne transformacije).

[0515] Iako Tabela 21 pretpostavlja slučaj u kome skup transformacija uključuje dve matrice transformacije, ako skup transformacija uključuje jednu matricu transformacije, može biti konfigurisan da koristi matricu transformacije u određenom redosledu za svaki skup transformacija u Tabeli 21. Na primer, kada skup transformacija uključuje jednu matricu transformacije, koder/dekoder može koristiti unapred određenu, odnosno prvu ili drugu matricu transformacije u svakom skupu transformacija u Tabeli 21.

[0516] Kada se primeni RST iz Tabele 21, koder/dekoder može biti konfigurisan (definisan ili podešen) da emituje 16 koeficijenata transformacije ili konfigurisan da emituje samo m koeficijenata transformacije primenom samo dela mx16 matrice 16x16. Na primer, koder/dekoder može biti konfigurisan da emituje samo 8 koeficijenata transformacije koristeći samo matricu 8x16 odozgo postavljanjem m=8. Moguće je smanjiti broj izračunavanja za polovinu primenom smanjene sekundarne transformacije na ovaj način.

[0517] Kao jedan način ostvarivanja, koder/dekoder može primeniti matricu 8x64 na jedinicu transformacije (TU) 8x8 kako bi se smanjio broj izračunavanja u najgorem slučaju.

[0518] U jednom načinu ostvarivanja, matrice transformacije prikazane u Tabeli 20 i Tabeli 21 mogu se primeniti na 4x4, 4x8 i 8x4 gornje leve regione (tj., TUs) ili primenjen samo na 4x4 gornji levi region u skladu sa prethodno definisanim uslovima. U slučaju 4x8 TU i 8x4 TU, koder/dekoder može da podeli isti na dva 4x4 regiona i da primeni određenu transformaciju na svaki podeljeni region. Ako je sekundarna transformacija definisana da se primenjuje samo na 4x4 region, može se primeniti (ili koristiti) samo transformacija definisana u Tabeli 210.

[0519] U međuvremenu, iako su koeficijenti matrice transformacije definisani pod pretpostavkom da je vrednost skaliranja 128 u Tabeli 20 i Tabeli 21, otkrivanje nije ograničeno na to. Na primer, koeficijenti matrice transformacije mogu se definisati kao što je prikazano u Tabelama 22 i 23 postavljanjem vrednosti skaliranja u Tabelama 20 i 21 do 256.

[0520]

[0521]

[0522]

[0523]

[0524]

[0525]

[0526]

[0527]

[0528]

[0529]

[0530]

[0531]

[0534] Kako je prethodno opisano, četiri transformaciona skupa (ili sekundarna transformacion skupa) mogu se koristiti za poboljšanje efikasnosti memorije u primeni sekundarne transformacije u primeru koji ne spada pod obim zahtevanog pronalaska ovog otkrivanja. Kao primer koji ne spada pod obim zahtevanog pronalaska, koder/dekoder može dodeliti indekse 0, 1, 2 i 3 četirima skupovima transformacija.

[0535] [0312] Pored toga, kako je prethodno opisano, svaki transformacioni skup može da uključuje predefinisan broj transformacionih jezgara. Kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita, četiri transformaciona skupa koji se koriste za sekundarnu transformaciju mogu biti predefinisani u koderu i dekoderu, i svaki transformacioni skup može da uključuje jednu ili dve matrice transformacije (ili vrste transformacije ili transformaciona jezgra).

[0536] Različiti skupovi sekundarnih transformacija i matrice transformacija (ili tipovi transformacija ili jezgra transformacije) primenljivi na sekundarnu transformaciju biće opisani kroz različite primere u nastavku. Iako se različite matrice transformacija koje se razlikuju od onih u Tabelama 20 do 23 mogu detaljno definisati, režimi bez usmeravanja (npr. DC režim i planarni režim), zajedno sa postupkom konfigurisanja uopštenog skupa sekundarnih transformacija, biće uglavnom opisani korišćenjem primera u ovom primeru koji ne spadaju u obim zahtevanog pronalaska radi lakšeg opisa.

[0537] Prvo, detaljno će biti opisani primeri sekundarnih transformacija primenljivih na region 4x4. Među primerima u nastavku u vezi sa skupovima sekundarnih transformacija koje se mogu koristiti za sekundarnu transformaciju, matrice transformacije u prvom i četvrtom primeru mogu se primeniti na primer koji ne spada u obim zahtevanog pronalaska, gde svaki skup transformacije uključuje dve matrice transformacije. Matrice transformacije u drugom i trećem primeru mogu se primeniti na primer koji ne spada u obim zahtevanog pronalaska, gde svaki skup transformacije uključuje jednu matricu transformacije.

[0538] Određenije, prvi primer se može primeniti na gore pomenutu kombinaciju D i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 15, a takođe se može primeniti i na kombinaciju A i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 12, kombinaciju B i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 13, kombinaciju C i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 14 ili kombinaciju E i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 16.

[0539] Određenije, transformacioni niz (tj. transformacioni skupovi) iz drugog primera mogu se primeniti na gore pomenutu kombinaciju D i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 15, a takođe se mogu primeniti i na kombinaciju A i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 12, kombinaciju B i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 13, kombinaciju C i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 14 ili kombinaciju E i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 16.

[0540] Iako gore pomenute kombinacije A, B, C, D i E obrađuju samo slučajeve u kojima je broj MTS kandidata tri ili manji, sva četiri MTS kandidata mogu se primeniti na sve intra-predikcione režime u primarnoj transformaciji. Od prvog do četvrtog primera u nastavku mogu se koristiti čak i kada se primene sva četiri MTS kandidata i, Određenije, niz transformacija iz četvrtog primera može biti pogodniji za slučaj u kome se primenjuju četiri MTS kandidata.

[0541] Nizovi transformacija iz narednih petog do sedmog primera odgovaraju slučaju u kojem je primenjeno 35 skupova transformacija. Mogu se primeniti kada su skupovi transformacija mapirani na intra-predikcione režime, kao što je prikazano u Tabeli 24.

[0542] [Tabela 24]

[0544]

[0547] U Tabeli 24, Indeks NSST skupa predstavlja indeks transformacionog skupa. Gore navedene kombinacije od A do E mogu se primeniti čak i kada se primeni postupak mapiranja iz Tabele 24. To jest, svaka kombinacija se može primeniti na peti do osmi primer kao u gore opisanompostupku.

[0548] Transformacioni nizovi iz petog i osmog primera mogu se primeniti na primer koji ne spada u obim zahtevanog pronalaska, u kome je svaki skup transformacija sastavljen od dve matrice transformacije, a transformacioni nizovi iz šestog i sedmog primera mogu se primeniti na primer koji ne spada u obim zahtevanog pronalaska, u kome je svaki skup transformacija sastavljen od jedne matrice transformacije.

[0549] Određenije, peti primer se može primeniti na gore pomenutu kombinaciju D i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 15, a takođe se može primeniti i na kombinaciju A i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 12, kombinaciju B i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 13, kombinaciju C i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 14 ili kombinaciju E i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 16.

[0550] [0322] Određenije, transformacioni nizovi (tj. transformacioni skupovi) iz šestog i sedmog primera mogu se primeniti na gore pomenutu kombinaciju D i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 15, a takođe se mogu primeniti i na kombinaciju A i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 12, kombinaciju B i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 13, kombinaciju C i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 14 ili kombinaciju E i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 16.

[0551] Iako gore pomenute kombinacije A, B, C, D i E obrađuju samo slučajeve u kojima je broj MTS kandidata tri ili manji, sva četiri MTS kandidata mogu se primeniti na sve intra-predikcione režime u primarnoj transformaciji. Primeri od petog do osmog u nastavku mogu se koristiti čak i kada se primene sva četiri MTS kandidata, a posebno niz transformacija iz osmog primera može biti pogodniji za slučaj u kojem se primenjuju četiri MTS kandidata.

[0552] Primeri transformacije primenljivi na region 4x4 među transformacionim nizovima od prvog do osmog primera ispod odgovaraju transformacionim matricama pomnoženim vrednošću skaliranja od 128. Transformacioni nizovi iz dole navedenih primera mogu se uobičajeno predstaviti kao niz g_aiNsst4x4[N1][N2][16][16]. Ovde N1 predstavlja broj transformacionih skupova. Ovde je N14 ili 35 i može se identifikovati indeksima 0, 1, ..., N1-1. N2 predstavlja broj (1 ili 2) transformacionih matrica koje čine svaki transformacioni skup, a [16][16] predstavlja transformacionu matricu 16x16.

[0553] U dole navedenim primerima, matrica transformacije u određenom redosledu može se koristiti za svaki skup transformacija kada je skup transformacija sastavljen od jedne transformacije. Na primer, kada skup transformacija uključuje jednu matricu transformacije, koder/dekoder može koristiti unapred definisanu, odnosno prvu ili drugu matricu transformacije u svakom skupu transformacija.

[0554] Da bi se smanjio broj izračunavanja u najgorem slučaju, koder/dekoder može primeniti matricu 8x16 na 4x4 TU. Transformacija primenljiva na 4x4 region u primerima ispod može se primeniti na 4x4 TU, 4xM TU i Mx4 TU (M>4), a kada se primeni na 4xM TU i Mx4 TU, TU mogu biti podeljene na 4x4 regione i svaka određena transformacija može se primeniti na njih ili se transformacija može primeniti samo na 4x8 ili 8x4 gornji levi region. Dalje, transformacija se može primeniti samo na 4x4 gornji levi region.

[0555] U jednom načinu ostvarivanja, sledeće se može primeniti kako bi se smanjio broj izračunavanja u najgorem slučaju.

[0556] Na primer, u odnosu na blok širine W i visine H, kada je W >= 8 i H >= 8, koder/dekoder može primeniti transformacione nizove (ili transformacione matrice ili transformaciona jezgra) primenljive na region 8x8 na gornji levi region 8x8 za blok (npr. matrica 16x64). Ako je W = 8 i H = 8, koder/dekoder može primeniti samo deo 8x64 matrice 16x64. U ovom slučaju, ulaz sekundarne transformacije može se generisati kao 8 koeficijenata transformacije, a preostali koeficijenti odgovarajućeg regiona mogu se smatrati kao 0.

[0557] [0329] Štaviše, ako je jedan od W i H manji od 8 (tj. jednak je 4) u odnosu na blok širine W i visine H, na primer, koder/dekoder može primeniti nizove transformacija koji se mogu primeniti na region 4x4. Ako je W = 4 i H = 4, koder/dekoder može primeniti na deo matrice 16x16 dimenzija 8x16. U ovom slučaju, ulaz sekundarne transformacije može se generisati kao 8 koeficijenata transformacije, a preostali koeficijenti odgovarajućeg regiona mogu se smatrati kao 0.

[0558] U jednom načinu ostvarivanja, ako je (W, H) = (4, 8) ili (8, 4), koder/dekoder može primeniti sekundarnu transformaciju samo na gornji levi region 4x4. Kada je W ili H veće od 8, koder/dekoder primenjuje sekundarnu transformaciju samo na dva gornja leva bloka 4x4. To jest, koder/dekoder može podeliti najviše gornji levi region 4x8 ili 8x4 na dva bloka 4x4 i na njih primeniti određenu matricu transformacije.

[0560] Prvi primer

[0561] Prvi primer može biti definisan kao sledeća Tabela 25. Četiri transformaciona skupa mogu biti definisani i svaki transformacioni skup može biti sačinjen od dve matrice transformacije.

[0563]

[0564]

[0566] Drugi primer

[0567] Drugi primer može biti definisan kao sledeća Tabela 26. Četiri transformaciona skupa mogu biti definisani i svaki transformacioni skup može biti sačinjen od jedne transformacione matrice.

[0568]

[0571] Treći primer

[0572] Treći primer može biti definisan kao sledeća Tabela 27. Četiri transformaciona skupa mogu biti definisani i svaki transformacioni skup može biti sačinjen od jedne transformacione matrice.

[0573]

[0576] Četvrti primer

[0577] Četvrti primer može biti definisan kao sledeća Tabela 28. Četiri transformaciona skupa mogu biti definisani i svaki transformacioni skup može biti sačinjen od dve matrice transformacije.

[0578]

[0579]

[0582] Peti primer

[0583] Peti primer može biti definisan kao sledeća Tabela 29.35 transformaciona skupa mogu biti definisani i svaki transformacioni skup može biti sačinjen od dve matrice transformacije.

[0584]

[0585]

[0587] Šesti primer

[0588] Šesti primer može biti definisan kao sledeća Tabela 30.35 transformaciona skupa mogu biti definisani i svaki transformacioni skup može biti sačinjen od jedne transformacione matrice.

[0589]

[0592] Sedmi primer

[0593] Sedmi primer može biti definisan kao sledeća Tabela 31.35 transformaciona skupa mogu biti definisani i svaki transformacioni skup može biti sačinjen od jedne transformacione matrice.

[0594]

[0596]

[0599] Osmi primer

[0600] Osmi primer može biti definisan kao sledeća Tabela 32.35 transformaciona skupa mogu biti definisani i svaki transformacioni skup može biti sačinjen od dve matrice transformacije.

[0601]

[0604] U nastavku će biti opisani primeri sekundarnih transformacija primenljivih na region 8x8. Među sledećim primerima u vezi sa skupovima sekundarnih transformacija dostupnim za sekundarnu transformaciju, matrice transformacije u devetom i dvanaestom primeru mogu se primeniti na otelotvorenje u kojem je svaki skup transformacije sastavljen od dve matrice transformacije. Matrice transformacije u desetom i jedanaestom primeru mogu se primeniti na otelotvorenje u kojem je svaki skup transformacije sastavljen od jedne matrice transformacije.

[0605] [0344] Određenije, deveti primer se može primeniti na gore pomenutu kombinaciju D i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 15, a takođe se može primeniti i na kombinaciju A i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 12, kombinaciju B i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 13, kombinaciju C i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 14 ili kombinaciju E i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 16.

[0606] Određenije, transformacioni nizovi (tj. transformacioni skupovi) desetog primera mogu se primeniti na gore pomenutu kombinaciju D i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 15, a takođe se mogu primeniti i na kombinaciju A i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 12, kombinaciju B i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 13, kombinaciju C i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 14 ili kombinaciju E i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 16.

[0607] Iako gore pomenute kombinacije A, B, C, D i E obrađuju samo slučajeve u kojima je broj MTS kandidata tri ili manji, sva četiri MTS kandidata mogu se primeniti na sve intra-predikcione režime u primarnoj transformaciji. Primeri od devetog do dvanaestog mogu se koristiti čak i kada se primene sva četiri MTS kandidata, a posebno niz transformacija iz dvanaestog primera može biti pogodniji za slučaj u kojem se primenjuju četiri MTS kandidata.

[0608] Nizovi transformacija iz narednih trinaestog do šesnaestog primera odgovaraju slučaju u kome je primenjeno 35 skupova transformacija. Mogu se primeniti na slučaj u kome su skupovi transformacija mapirani na odgovarajuće intra-predikcione režime kao što je prikazano u gore pomenutoj Tabeli 24.

[0609] U Tabeli 24, Indeks NSST skupa predstavlja indeks transformacionog skupa. Gore navedene kombinacije od A do E mogu se primeniti čak i kada se primeni postupak mapiranja iz Tabele 24. To jest, svaka kombinacija se može primeniti na trinaesti do šesnaesti primer kao u gore opisanom postupku.

[0610] Transformacioni nizovi iz trinaestog i šesnaestog primera mogu se primeniti na primer koji ne spada u obim zahtevanog pronalaska, u kome je svaki skup transformacija sastavljen od dve matrice transformacije, a transformacioni nizovi iz četrnaestog i petnaestog primera mogu se primeniti na primer koji ne spada u obim zahtevanog pronalaska, u kome je svaki skup transformacija sastavljen od jedne matrice transformacije.

[0611] Određenije, trinaesti primer se može primeniti na gore pomenutu kombinaciju D i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 15, a takođe se može primeniti i na kombinaciju A i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 12, kombinaciju B i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 13, kombinaciju C i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 14 ili kombinaciju E i slučaj 1 primera koji ne spada u obim zahtevanog pronalaska opisanog u Tabeli 16.

[0612] [0351] Određenije, transformacioni nizovi (tj. transformacioni skupovi) iz četrnaestog i petnaestog primera mogu se primeniti na gore pomenutu kombinaciju D i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 15, a takođe se mogu primeniti i na kombinaciju A i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 12, kombinaciju B i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 13, kombinaciju C i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 14 ili kombinaciju E i slučaj 3 primera koji ne spadaju u obim zahtevanog pronalaska opisanog u Tabeli 16.

[0613] Iako gore pomenute kombinacije A, B, C, D i E obrađuju samo slučajeve u kojima je broj MTS kandidata tri ili manji, sva četiri MTS kandidata mogu se primeniti na sve intra-predikcione režime u primarnoj transformaciji. Primeri od trinaestog do šesnaestog u nastavku mogu se koristiti čak i kada se primene sva četiri MTS kandidata i, posebno, niz transformacija iz osmog primera može biti pogodniji za slučaj u kome se primenjuju četiri MTS kandidata.

[0614] Primeri transformacije primenljivi na region 8x8 među transformacionim nizovima od osmog do šesnaestog primera ispod odgovaraju transformacionim matricama pomnoženim vrednošću skaliranja od 128. Transformacioni nizovi iz dole navedenih primera mogu se uobičajeno predstaviti kao niz g_aiNsst8x8[N1][N2][16][64]. Ovde N1 predstavlja broj transformacionih skupova. Ovde je N14 ili 35 i može se identifikovati indeksima 0, 1, ..., N1-1. N2 predstavlja broj (1 ili 2) transformacionih matrica koje čine svaki transformacioni skup, a [16][64] predstavlja redukovanu sekundarnu transformaciju (RST) od 16x64.

[0615] U dole navedenim primerima, matrica transformacije u određenom redosledu može se koristiti za svaki skup transformacija kada je skup transformacija sastavljen od jedne transformacije. Na primer, kada skup transformacija uključuje jednu matricu transformacije, koder/dekoder može koristiti unapred definisanu, odnosno prvu ili drugu matricu transformacije u svakom skupu transformacija.

[0616] Iako se 16 koeficijenata transformacije emituje kada se primeni RST, samo m koeficijenata transformacije može biti konfigurisano da se emituje kada se primeni samo mx64 deo matrice 16x64. Na primer, broj izračunavanja može se smanjiti za polovinu postavljanjem m na 8, množenjem samo matrice 8x64 odozgo da bi se emitovalo samo 8 koeficijenata transformacije.

[0618] Deveti primer

[0619] Deveti primer može biti definisan kao sledeća Tabela 33. Četiri transformaciona skupa mogu biti definisani i svaki transformacioni skup može biti sačinjen od dve matrice transformacije.

[0620]

[0621]

[0622]

[0623]

[0626] Deseti primer

[0627] Deseti primer može biti definisan kao sledeća Tabela 34. Četiri transformaciona skupa mogu biti definisani i svaki transformacioni skup može biti sačinjen od jedne transformacione

[0628] matrice.

[0631]

[0632]

[0635] Jedanaesti primer

[0636] Jedanaesti primer može biti definisan kao sledeća Tabela 35. Četiri transformaciona skupa mogu biti definisani i svaki transformacioni skup može biti sačinjen od jedne transformacione matrice.

[0637]

[0639]

[0640]

[0641] Dvanaesti primer

[0642] Dvanaesti primer može biti definisan kao sledeća Tabela 36. Četiri transformaciona skupa mogu biti definisani i svaki transformacioni skup može biti sačinjen od dve matrice transformacije.

[0644]

[0645]

[0646]

[0648] Trinaesti primer

[0649] Trinaesti primer može biti definisan kao sledeća Tabela 37.35 transformaciona skupa mogu biti definisani i svaki transformacioni skup može biti sačinjen od dve matrice transformacije.

[0650]

[0652]

[0653]

[0654]

[0656] Četrnaesti primer

[0657] Četrnaesti primer može biti definisan kao sledeća Tabela 38.35 transformaciona skupa mogu biti definisani i svaki transformacioni skup može biti sačinjen od jedne transformacione matrice.

[0658]

[0661]

[0662]

[0665] Petnaesti primer

[0666] Petnaesti primer može biti definisan kao sledeća Tabela 39.35 transformaciona skupa mogu biti definisani i svaki transformacioni skup može biti sačinjen od jedne transformacione matrice.

[0669]

[0670]

[0673] Šesnaesti primer

[0674] Šesnaesti primer može biti definisan kao sledeća Tabela 40.35 transformaciona skupa mogu biti definisani i svaki transformacioni skup može biti sačinjen od dve matrice transformacije.

[0676]

[0677]

[0680] FIG.27 je dijagram toka koji prikazuje postupak za transformaciju video signala u skladu sa jednim načinom ostvarivanja na koji se primenjuje ovo otkrivanje.

[0681] Pozivajući se na FIG.27, iako će se opis fokusirati na dekoder radi lakšeg opisa, ovo otkrivanje nije ograničeno na to i postupak za transformaciju video signala prema ovom načinu ostvarivanja može se podjednako primeniti na koder. Dijagram toka sa FIG.27 može se izvršiti pomoću uređaja 200 za dekodiranje ili jedinice 230 za inverznu transformaciju.

[0682] Uređaj 200 za dekodiranje određuje skup sekundarnih transformacija primenjen na trenutni blok iz unapred definisanih skupova sekundarnih transformacija na osnovu režima intra-predikcije trenutnog bloka (S2701).

[0683] Uređaj 200 za dekodiranje prikuplja prvi sintaksni element koji ukazuje na matricu sekundarne transformacije primenjenu na trenutni blok u utvrđenom skupu sekundarne transformacije (S2702).

[0684] Uređaj 200 za dekodiranje daje sekundarno inverzno-transformisani blok izvođenjem sekundarni inverzne transformacije na gornji levi region trenutnog bloka primenom sekundarni transformaciona matrica specificirane prvim sintaksnim elementom (S2703).

[0685] Uređaj 200 za dekodiranje daje rezidualni blok trenutnog bloka izvođenjem primarne inverzne transformacija na sekundarno inverzno-transformisano blok primenom primarne transformacione matrice trenutnog bloka (S2704).

[0686] Kako je prethodno opisano, svaki od predefinisanih sekundarnih transformacionih skupova može da uključuje dve sekundarne matrice transformacije.

[0687] Kako je prethodno opisano, faza S2704 može dodatno da uključuje fazu određivanja ulazne dužine i izlazne dužine sekundarne inverzne transformacije na osnovu širine i visine trenutnog bloka. Kao što je gore opisano, kada je i visina i širina trenutnog bloka jednaka 4, ulazna dužina nerazdvojive transformacije može se odrediti kao 8, a izlazna dužina iste može se odrediti kao 16.

[0688] Kako je prethodno opisano, uređaj 200 za dekodiranje može da analizira drugi sintaksni element koji ukazuje na primarnu matricu transformacije primenjenu na primarnu transformaciju trenutnog bloka. Pored toga, uređaj 200 za dekodiranje može da utvrdi da li je sekundarna transformacija primenljiva na trenutni blok na osnovu drugog sintaksnog elementa.

[0689] Kako je prethodno opisano, faza određivanja da li je sekundarna transformacija primenljiva može se izvršiti utvrđivanjem da je sekundarna transformacija primenljiva na trenutni blok kada drugi sintaksni element ukazuje na unapred definisani specifični tip transformacije.

[0690] Kako je prethodno opisano, predefinisana specifična vrsta transformacije može biti DCT2.

[0691] FIG.28 je primerni blok dijagram uređaja za obradu video signala kao primer koji ne potpada pod obim pronalaska za koji se traži zaštita na koje se ovo otkrivanje primenjuje. Uređaj za obradu video signala prikazan na FIG.28 može odgovarati uređaju za kodiranje sa FIG.1 ili uređaju za dekodiranje sa FIG.2.

[0692] Uređaj 2800 za obradu videa za obradu video signala uključuje memoriju 2820 koja čuva video signale i procesor 2810 koji je kombinovan sa memorijom i obrađuje video signale.

[0693] [0380] Procesor 2810 prema primeru koji ne spada u obim zahtevanog pronalaska ovog otkrivanja može biti konfigurisan kao najmanje jedno kolo za obradu video signala i može obrađivati video signale izvršavanjem komandi za kodiranje ili dekodiranje video signala. To jest, procesor 2810 može kodirati originalne video podatke ili dekodirati kodirane video signale izvođenjem gore opisanih metoda kodiranja ili dekodiranja.

[0694] Štaviše, postupci obrade na koje se primenjuje ovo otkrivanje mogu biti proizvedeni u obliku programa koji izvršava računar i sačuvan na medijumu za snimanje koji se može čitati računarom. Multimedijalni podaci koji imaju strukturu podataka prema ovom otkrivanju takođe mogu biti sačuvani na medijumu za snimanje koji se može čitati računarom. Medijum za snimanje koji se može čitati računarom uključuje sve vrste uređaja za skladištenje i distribuiranih uređaja za skladištenje u kojima se čuvaju podaci koje računar može čitati. Medijum za snimanje koji se može čitati računarom može uključivati, na primer, Blu-rej disk (BD), univerzalnu serijsku magistralu (USB), ROM, PROM, EEPROM, RAM, CD-ROM, magnetnu traku, disketu i optički uređaj za skladištenje podataka. Štaviše, medijum za snimanje koji se može čitati računarom uključuje medije implementirane u obliku nosećih talasa (npr. prenos preko interneta). Štaviše, tok bitova generisan postupkom kodiranja može biti sačuvan na medijumu za snimanje koji se može čitati računarom ili može biti prenet preko žičnih/bežičnih komunikacionih mreža.

[0695] Štaviše, načini ostvarivanja ovog otkrivanja mogu biti implementirani kao proizvodi računarskih programa prema programskom kodu, a programski kod može biti izvršen u računaru prema načinu ostvarivanja ovog otkrivanja. Programski kod može biti sačuvan na nosačima koje računar može da čita.

[0696] Kao što je gore opisano, načini ostvarivanja ovog otkrivanja mogu biti implementirani i izvršeni na procesoru, mikroprocesoru, kontroleru ili čipu. Na primer, funkcionalne jedinice prikazane na svakoj slici mogu biti implementirane i izvršene na računaru, procesoru, mikroprocesoru, kontroleru ili čipu.

[0697] Štaviše, dekoder i koder na koje se primenjuje ovo otkrivanje mogu biti uključeni u uređaje za prenos/prijem multimedijalnog emitovanja, mobilne komunikacione terminale, kućne bioskopske video sisteme, digitalne bioskopske video sisteme, kamere za nadzor, uređaje za video razgovor, uređaje za komunikaciju u realnom vremenu kao što su video komunikacija, uređaje za mobilno strimovanje, medije za skladištenje podataka, kamkordere, uređaje za pružanje usluga videa na zahtev (VoD), OTT video sistemie, uređaje za pružanje usluga internet strimovanja, 3D video sisteme, video sisteme za video telefone, medicinske videe sisteme itd. i mogu se koristiti za obradu video signala ili signala podataka. Na primer, OTT video sistemi mogu uključivati igračke konzole, Blueray plejere, televizore sa pristupom internetu, kućne bioskopske sisteme, pametne telefone, tablet računare, digitalne video rekordere (DVR) itd.

[0698] Štaviše, postupci obrade na koje se primenjuje ovo otkrivanje mogu biti proizvedeni u obliku programa koji izvršava računar i sačuvan na medijumu za snimanje koji se može čitati računarom. Multimedijalni podaci koji imaju strukturu podataka prema ovom otkrivanju takođe mogu biti sačuvani na medijumu za snimanje koji se može čitati računarom. Medijum za snimanje koji se može čitati računarom uključuje sve vrste uređaja za skladištenje i distribuiranih uređaja za skladištenje u kojima se

Claims (1)

1. čuvaju podaci koje računar može čitati. Medijum za snimanje koji se može čitati računarom može uključivati, na primer, Blu-rej disk (BD), univerzalnu serijsku magistralu (USB), ROM, PROM, EEPROM, RAM, CD-ROM, magnetnu traku, disketu i optički uređaj za skladištenje podataka. Štaviše, medijum za snimanje koji se može čitati računarom uključuje medije implementirane u obliku nosećih talasa (npr. prenos preko interneta). Štaviše, tok bitova generisan postupkom kodiranja može biti sačuvan na medijumu za snimanje koji se može čitati računarom ili može biti prenet preko žičnih/bežičnih komunikacionih mreža.

[0386] Štaviše, načini ostvarivanja ovog otkrivanja mogu biti implementirani kao proizvodi računarskih programa prema programskom kodu, a programski kod može biti izvršen u računaru prema načinu ostvarivanja ovog otkrivanja. Programski kod može biti sačuvan na nosačima koje računar može da čita.

[0387] Implementacije ovog otkrivanja mogu se postići različitim sredstvima, na primer, hardverom, firmverom, softverom ili njihovom kombinacijom. U hardverskoj konfiguraciji, postupci prema implementacijama ovog otkrivanja mogu se postići pomoću jednog ili više integrisanih kola specifičnih za aplikaciju (ASIC), digitalnih procesora signala (DSP), uređaja za digitalnu obradu signala (DSPD), programabilnih logičkih uređaja (PLD), programabilnih nizova kapija (FPGA), procesora, kontrolera, mikrokontrolera, mikroprocesora itd.

[0388] U konfiguraciji firmvera ili softvera, implementacije ovog otkrivanja mogu biti implementirane u obliku modula, procedure, funkcije itd. Softverski kod može biti sačuvan u memoriji i izveden od strane procesora. Memorija može biti smeštena unutar ili spolja procesora i može prenositi podatke i primati podatke od procesora putem različitih poznatih sredstava.

[Industrijska Primenjivost]

[0389] Iako su primerni aspekti ovog otkrivanja opisani u ilustrativne svrhe, stručnjaci u ovoj oblasti će razumeti da su moguće različite modifikacije, dodaci i zamene, bez odstupanja od suštinskih karakteristika otkrivanja.

Patentni zahtevi

1. Postupak za dekodiranje video signala, koji obuhvata:

određivanje, na osnovu intra predikcionog režima trenutnog bloka, sekundarnog transformacionog skupa koji se primenjuje na trenutni blok među prethodno određenih sekundarnih transformacionih skupova;

dobijanje prvog sintaksnog elementa koji specificira koja se sekundarna transformaciona matrica primenjuje na trenutni blok među dve sekundarne transformacione matrice uključene u određeni sekundarni transformacioni skup;

izvođenje sekundarnog inverzno-transformisanog bloka izvođenjem sekundarne inverznetransformacije za gornji-levi region trenutnog bloka na osnovu sekundarne transformacione matrice specificirane prvim sintaksnim elementom; i

izvođenje rezidualnog bloka trenutnog bloka, izvođenjem primarne inverzne-transformacije za sekundarno inverzno-transformisani blok na osnovu primarne transformacione matrice trenutnog bloka,

naznačen time što se

uvodna dužina sekundarne inverzne-transformacije određuje kao 8 na osnovu toga da su širina i visina trenutnog bloka 4, a uvodna dužina sekundarne inverzne-transformacije određuje se kao 8 na osnovu toga da su širina i visina trenutnog bloka 8, pri čemu uvodna dužina sekundarne inverzne-transformacije ukazuje na neki na broj koeficijenata koji se unose u sekundarnu transformacionu matricu.