PL177586B1 - Sposób kodowania sygnału wizyjnego z oceną ruchu opartą o punkt szczegółu obrazu - Google Patents
Sposób kodowania sygnału wizyjnego z oceną ruchu opartą o punkt szczegółu obrazuInfo
- Publication number
- PL177586B1 PL177586B1 PL95322302A PL32230295A PL177586B1 PL 177586 B1 PL177586 B1 PL 177586B1 PL 95322302 A PL95322302 A PL 95322302A PL 32230295 A PL32230295 A PL 32230295A PL 177586 B1 PL177586 B1 PL 177586B1
- Authority
- PL
- Poland
- Prior art keywords
- detail
- image
- pseudo
- point
- points
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 188
- 238000000034 method Methods 0.000 title claims abstract description 62
- 239000013598 vector Substances 0.000 claims abstract description 133
- 230000015654 memory Effects 0.000 description 26
- 230000008569 process Effects 0.000 description 21
- 238000006073 displacement reaction Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 238000013139 quantization Methods 0.000 description 6
- 239000000243 solution Substances 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 101100099842 Arabidopsis thaliana TMN4 gene Proteins 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 101100129500 Caenorhabditis elegans max-2 gene Proteins 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 239000003637 basic solution Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000005137 deposition process Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
1. Sposób kodowania sygnalu wizyjnego z ocena ruchu oparta o punkty szczególu obrazu, w którym wy- krywa sie zespól wektorów ruchu pomiedzy biezaca ramka i ramka odniesienia sygnalów wizyjnych, przy czym ramka odniesienia zawiera odtworzona ramke odniesienia i pier- wotna ramke odniesienia zas zespól wektorów ruchu wy- korzystuje sie do wytworzenia przewidywanej ramki, znamienny tym, ze przeprowadza sie selekcje zespolu punktów szczególu obrazu z pikseli zawartych w odtwo- rzonej ramce odniesienia, w której zespól punktów szcze- gólów obrazu tworzy siatke wieloboczna majaca wiele poprzednich, pokrywajacych sie nawzajem wieloboków, okresla sie zespól punktów pseudoszczególów obrazu na biezacej ramce w oparciu o zespól punktów szczególów obrazu, w którym zespól punktów pseudoszczególów obrazu formuje biezaca siatke majaca wiele aktualnych, pokrywajacych sie nawzajem wieloboków, przypisuje sie zespól wektorów poczatkowych ruchu zespolowi punktów pseudoszczególów obrazu, przy czym kazdy z wektorów poczatkowych ruchu jest ustalany na (0,0), wyznacza sie jeden z punktów pseudoszczególów obrazu................ FIG. 1 PL PL PL PL
Description
Przedmiotem wynalazku jest sposób kodowania sygnału wizyjnego z oceną ruchu opartą o punkty szczegółu obrazu.
Przy przesyłaniu cyfrowych sygnałów wizyjnych uzyskuje się obrazy o znacznie wyższej jakości niż przy przesyłaniu sygnałów analogowych. Wówczas, gdy sygnał obrazu zawierający sekwencję ramek obrazu jest wyrażony w postaci cyfrowej, wytwarzana jest znaczna ilość przesyłanych danych, szczególnie w przypadku systemu telewizyjnego o dużej rozdzielczości. Jednak ponieważ dostępna szerokość pasma częstotliwości konwencjonalnego kanału przesyłowego jest ograniczona, w celu przesyłania przez niego znacznych ilości danych cyfrowych, jest nieunikniona kompresja czyli zmniejszenie objętości przesyłanych danych. Spośród różnych technik kompresji sygnałów wizyjnych najbardziej skuteczna jest technika kodowania hybrydowego, która łączy techniki kompresji czasowej i przestrzennej wraz z techniką kodowania statystycznego.
Większość technik kodowania hybrydowego wykorzystuje kompensowaną ruchem, kodowaną modulację impulsowo-różnicową (DPCM), dwuwymiarową dyskretną transformatę cosinus (DCT), kwantyzację współczynników DCT i kodowanie o zmiennej długości (VLC).
177 586
Kodowanie DPCM kompensowane ruchem jest sposobem oceny ruchu przedmiotu pomiędzy bieżącą ramką i poprzednią ramką lub następną ramką, tj. ramką odniesienia, oraz prognozowania bieżącej ramki zgodnie z przebiegiem ruchu przedmiotu w celu wytworzenia sygnału różnicowego reprezentującego różnicę pomiędzy bieżącą ramką i jej prognozą. Ten znany sposób jest opisany, na przykład, w publikacjach: Staffan Ericsson pt. „Stałe i adaptacyjne predyktory dla hybrydowego kodowania prognozującego/transformującego”, IEEE Transactions on Communications, COM-33, Nr 12 (grudzień 1985) oraz w Ninomiya i Ohtsuka pt. „Kompensowany ruchem schemat kodowania międzyramkowego dla obrazów telewizyjnych, IEE Transactions on Communications, COM-30, Nr 1 (styczeń 1982).
Dwuwymiarowe kodowanie DCT, które zmniejsza lub wykorzystuje redundancje przestrzenne pomiędzy danymi obrazu, przetwarza blok cyfrowych danych obrazu, na przykład blok 8x8 pikseli, w zespół danych współczynników transformaty. Ta technika jest opisana w publikacji Chen i Pratt pt. „Koder adaptacyjny sceny”, IEEE Transactions on Communications, COM-32, Nr 3 (marzec 1984). W wyniku przetworzenia takich danych współczynników transformaty przy pomocy urządzenia kwantującego, wybierania zygzakowatego i kodowania VLC, przesyłane dane mogą być skutecznie poddane kompresji.
Szczególnie w kompensowanym ruchem kodowania DPCM bieżące dane ramki są prognozowane z odpowiednich danych ramki odniesienia na podstawie oceny ruchu pomiędzy ramkami bieżącą i odniesienia. Taki oceniany ruch może być opisany w warunkach dwuwymiarowych wektorów ruchu reprezentujących przemieszczenie pikseli pomiędzy ramkami odniesienia i bieżącą.
Znane są dwa podstawowe rozwiązania oceny przemieszczenia pikseli przedmiotu. Jedno jest oceną bloku po bloku, a drugie jest rozwiązaniem pikselu po pikselu.
Przy ocenie ruchu blok po bloku, blok w bieżącej ramce jest porównywany z blokami w jego ramce odniesienia, aż do określenia najlepszego dopasowania. Z tego można ocenić wektor przemieszczenia międzyramkowego (który wskazuje, jak bardzo blok pikseli przesunął się pomiędzy ramkami) dla całego bloku, dla bieżącej przesyłanej ramki.
Taka technika dopasowania bloków może być wykorzystana w prognozowaniu ramek P i B zawartych w sekwencjach sygnałów wizyjnych, jak podano w normie ITU Telecommunication Standarization Sector Study Group 15, Zespół Roboczy 15/1 Grupy Ekspertów w dziedzinie telefonii wizyjnej o bardzo małej szybkości przesyłania bitów, „Model badawczy kodera-dekodera sygnałów wizyjnych, TMN4 Revl”, (październik 25, 1994), przy czym ramka P czyli predykcyjna oznacza ramkę, która jest prognozowana z poprzedniej ramki (jako ramka odniesienia), podczas gdy ramka B lub predykcyjna dwukierunkowo jest prognozowana z ramek poprzedniej i następnej (jako ramki odniesienia). Przy kodowaniu w szczególności tak zwanej ramki B, wykorzystywana jest technika oceny ruchu dwukierunkowego w celu otrzymania wektorów przemieszczenia do przodu i do tyłu, przy czym wektor przemieszczenia do przodu jest otrzymywany przez ocenę ruchu przedmiotu pomiędzy ramką B i poprzednią ramką wewnętrzną I i predykcyjną P (jako ramka odniesienia), a wektor przemieszczenia do tyłu jest otrzymywany w oparciu o ramkę B i następną ramkę I lub P (jako ramkę odniesienia).
Jednak przy ocenie ruchu blok po bloku, efekty blokowania na granicy bloku mogą wystąpić w procesie kompensacji ruchu, a słabe oceny mogą wynikać, jeżeli wszystkie piksele w bloku nie przesuwają się w taki sam sposób, skutkiem tego pogarszając jakość całego obrazu.
Z drugiej strony, stosując rozwiązanie piksel po pikselu, przemieszczenie jest określane dla każdego pikselu. Ta technika umożliwia bardziej dokładną ocenę wartości pikselu i ma zdolność łatwego obchodzenia się ze zmianami skali, na przykład zmiennoogniskowością, ruchem prostopadłym do płaszczyzny obrazu. Jednak w rozwiązaniu piksel po pikselu, ponieważ wektor ruchu jest określany przy każdym pikselu, jest rzeczywiście niemożliwe przesyłanie wszystkich wektorów ruchu do odbiornika.
Jedną ze znanych technik związanych z nadmiarowym lub nadmiernym przesyłaniem danych, wynikającym z rozwiązania piksel po pikselu, jest sposób oceny ruchu opartej o punkty szczegółu obrazu.
177 586
W technice oceny ruchu opartej o punkty szczegółu obrazu, wektory ruchu dla zespołu wybranych pikseli, to jest punktów szczegółu obrazu, są przesyłane do odbiornika, przy czym każdy z punktów szczegółu jest określony jako piksel zdolny do reprezentowania sąsiednich pikseli tak, że wektory ruchu dla punktów nie określających szczegółu obrazu, mogą być odzyskiwane lub przybliżane z tych punktów szczegółu w odbiorniku. W koderze, który stosuje ocenę ruchu w oparciu o punkty szczegółu obrazu, znanym ze zgłoszenia USA o nr ser. 08/367 520, zatytułowanym „Sposób i urządzenie do kodowania sygnału wizyjnego przy użyciu oceny ruchu piksel po pikselu”, pewna liczba punktów szczegółu obrazu jest najpierw wybierana spośród wszystkich pikseli zawartych w poprzedniej ramce. Następnie są określane wektory ruchu dla wybranych punktów szczegółu obrazu, przy czym każdy z wektorów ruchu reprezentuje przemieszczenie przestrzenne pomiędzy jednym punktem szczegółu obrazu w poprzedniej ramce i odpowiednim punktem dopasowania, to jest najbardziej podobnym pikselem, w bieżącej ramce. Szczególnie punkt dopasowania dla każdego z punktów szczegółu obrazu jest poszukiwany w obszarze przeszukiwania w bieżącej ramce przy zastosowaniu znanego algorytmu dopasowania bloku, przy czym blok punktu szczegółu obrazu jest określony jako blok otaczający wybrany punkt szczegółu obrazu, a obszar przeszukiwania jest określony jako obszar we wstępnie określonym obszarze, który obejmuje położenie odpowiedniego punktu szczegółu obrazu.
W tym przypadku byłoby najbardziej pożądane lub dogodne znalezienie tylko jednego najlepiej dopasowanego bloku punktu szczegółu obrazu w całym obszarze przeszukiwania odpowiadającym wybranemu punktowi szczegółu obrazu. Jednak czasami może być wiele równoważnych najlepiej dopasowanych bloków punktu szczegółu obrazu znalezionych podczas dopasowania punktu szczegółu obrazu. W wyniku tego jest trudne prawidłowe wykrycie wektora ruchu dla punktu szczegółu obrazu z taką współzależnością pomiędzy blokiem punktu szczegółu obrazu i odpowiednim obszarem przeszukiwania. Ponadto mogą wynikać słabe oceny, jeżeli obszar przeszukiwania nie jest określony zgodnie z przemieszczeniem przestrzennym pomiędzy punktem szczegółu obrazu w ramce odniesienia i odpowiednim punktem dopasowania, to jest najbardziej podobnym pikselem, w bieżącej ramce, skutkiem tego pogarszając jakość całego obrazu.
W opisie patentowym USA nr 5 317 397 jest ujawnione urządzenie do kodowania sygnałów wizyjnych działające na zasadzie kompensacji ruchu zawierające układ kodujący do kodowania sygnału wizyjnego, dwa układy pamięci do zapamiętywania zakodowanych sygnałów wizyjnych z ostatnich dwóch pól, układ wyszukujący wektor ruchu w oparciu o współzależne operacje arytmetyczne do tworzenia optymalnego wektora ruchu, układ interpolacji wewnątrz polowej i lokalny układ dekodujący. Z kolei w opisie patentowym USA nr 5 347 309 jest opisany sposób i urządzenie do kodowania obrazu, w którym wykorzystuje się ocenę bloku po bloku dla określenia międzypolowego wektora ruchu. W tym znanym rozwiązaniu do urządzenia wprowadza się dane wybierane międzyliniowo, wykrywa się międzypolowy wektor ruchu danych obrazu, po czym tworzona jest ramka skompensowanego ruchu i przesyłana do bloku kodującego.
Istotą sposobu kodowania sygnału wizyjnego z oceną ruchu opartą o punkty szczegółu obrazu, według wynalazku, w którym wykrywa się zespół wektorów ruchu pomiędzy bieżącą ramką i ramką odniesienia sygnałów wizyjnych, przy czym ramka odniesienia zawiera odtworzoną ramkę odniesienia i pierwotną ramkę odniesienia zaś zespół wektorów ruchu wykorzystuje się do wytworzenia przewidywanej ramki, jest to, że przeprowadza się selekcję zespołu punktów szczegółu obrazu z pikseli zawartych w odtworzonej ramce odniesienia, w której zespół punktów szczegółów obrazu tworzy siatkę wieloboczną mającą wiele poprzednich, pokrywających się nawzajem wieloboków, określa się zespół punktów pseudoszczegółów obrazu na bieżącej ramce w oparciu o zespół punktów szczegółów obrazu, w którym zespół punktów pseudoszczegółów obrazu formuje bieżącą siatkę mającą wiele aktualnych, pokrywających się nawzajem wieloboków, przypisuje się zespół wektorów początkowych ruchu zespołowi punktów pseudoszczegółów obrazu, przy czym każdy z wektorów początkowych ruchu jest ustalany na (0,0), wyznacza się jeden z punktów pseudoszczegółów obrazu jako przedmiotowy punkt pseudoszczegółu obrazu, przy czym przedmiotowy punkt pseudoszczegółu
177 586 obrazu ma liczbę N sąsiednich punktów pseudoszczegółów obrazu, które tworzą przedmiotowy bieżący wielobok określony przez liniowe segmenty łączące przedmiotowy punkt pseudoszczegółu obrazu i liczbę N sąsiednich punktów pseudoszczegółów obrazu, przy czym N jest liczbą całkowitą dodatnią, dodaje się sekwencyjnie wektor początkowego ruchu przedmiotowego punktu pseudoszczegółu obrazu do liczby M kandydujących wektorów ruchu i wytwarza się liczbę M aktualizowanych wektorów początkowych ruchu, gdzie M jest dodatnią liczbą całkowitą, przy czym liczba M kandydujących wektorów ruchu pokrywa określony obszar w przedmiotowym bieżącym wieloboku i wektory początkowe ruchu sąsiednich punktów szczegółów obrazu są ustalone, następnie określa się przewidywane położenie na pierwotnej ramce odniesienia dla każdego piksela zawartego w przedmiotowym, bieżącym wieloboku w oparciu o każdą liczbę M aktualizowanych wektorów początkowych ruchu dla przedmiotowego punktu pseudoszczegółu obrazu i liczbę N wektorów początkowych ruchu sąsiednich punktów pseudoszczegółów obrazu, wprowadza się przewidywaną wartość piksela dla każdego piksela w oparciu o przewidywane położenie z pierwotnej ramki odniesienia dla tworzenia liczby M przewidywanych, przedmiotowych, bieżących wieloboków, oblicza się różnicę pomiędzy bieżącym wielobokiem i każdym z przewidywanych, przedmiotowych, bieżących wieloboków dla wytwarzania liczby M współczynników sygnału szczytowego do szumu (PSNR), oraz dokonuje się selekcji jednego z aktualizowanych wektorów ruchu jako wybranego, aktualizowanego wektora ruchu, który daje przewidywany, przedmiotowy, bieżący wielobok mający maksymalne współczynniki PSNR, dla aktualizacji wektora początkowego ruchu przedmiotowego punktu pseudoszczegółu obrazu przez wybrany, aktualizowany wektor ruchu, następnie powtarza się etapy kodowania sygnału wizyjnego od etapu wyznaczania jednego z punktów pseudoszczegółów obrazu jako przedmiotowego punktu pseudoszczegółu obrazu, aż wszystkie wektory początkowe ruchu zostaną zaktualizowane, po czym ten ostatni etap powtarza się zadaną liczbę razy, ustala się zespół wektorów początkowych jako wektorów ruchu i tworzy się z niego zespół wektorów ruchu.
Korzystnie na etapie selekcji zespołu punktów szczegółu obrazu z pikseli zawartych w odtworzonej ramce odniesienia, wykrywa się obraz krawędzi odtwarzanej ramki odniesienia, przy czym obraz krawędzi eg (x, y) jest określony jak następuje:
0, jeżeli |Vp(x,y)l<Te eg(x,y)= |Vp(x,y)|, w innym przypadku gdzie p (x, y) reprezentuje ramkę odniesienia, | Vp (x, y) | oznacza wyjście z operatora Sobela i Te jest zadaną wartością progową, ustala się wieloboczną siatkę na obrazie krawędzi, przy czym siatka wieloboczną zawiera pewną liczbę punktów siatki dla tworzenia wielu pokrywających się nawzajem wieloboków, przypisuje się nie pokrywający się obszar przeszukiwania każdemu z punktów siatki i określa się zespół punktów szczegółów obrazu, w którym każdy punkt szczegółu obrazu jest punktem siatki pokrywającej punkt krawędziowy, przy czym punkt krawędziowy jest umieszczony w nie pokrywającym się obszarze przeszukiwania i ma maksymalną wartość sumowania otaczających punktów pikseli, lub punkt siatki nie ma żadnego punktu krawędziowego zawartego w nie pokrywającym się obszarze przeszukiwania.
Korzystnie zespół punktów szczegółów obrazu zawiera punkt krawędziowy najbliższy siatce wielobocznej, gdy więcej niż jeden punkt krawędziowy mający jednakową maksymalną wartość sumowania pojawia się w obszarze przeszukiwania.
Korzystnie jako poprzedni i bieżący wielobok stosuje się sześciobok i N równe 6.
Korzystnie przedmiotowy, bieżący sześciobok zawiera sześć trójkątów, które określa się przez liniowe segmenty łączące przedmiotowy punkt pseudoszczegółu obrazu i sąsiednie
177 586 punkty pseudoszczegółów obrazu, przy czym etapy określania przewidywanego położenia na pierwotnej ramce odniesienia dla każdego piksela zawartego w przedmiotowym, bieżącym sześcioboku oraz wprowadzania przewidywanej wartości piksela dla każdego piksela realizuje się przy zastosowaniu podobnej transformaty.
Korzystnie stosuje się liczbę otaczających punktów pikseli równą 8, zadaną liczbę powtórzeń równą 5 i zadaną wartość progową równą 6.
Korzystnie stosuje się zadany obszar w zakresie od 0 do ±7, poziomo i pionowo. Korzystnie punkt D; szczegółu obrazu określa się jak następuje:
k = -1 l = -t gdzie EG (x, y) jest wartością punktu krawędziowego zawartego w obszarze przeszukiwania zaś indeks i punkt D, szczegółu obrazu jest dodatnią liczbą całkowitą.
Zaletą rozwiązania według wynalazku zapewniającego skuteczną. ocenę wektorów ruchu dla punktów szczegółu obrazu, jest zmniejszenie szybkości przesyłania cyfrowego sygnału wizyjnego o dobrej jakości obrazu.
Sposób kodowania sygnału wizyjnego, według wynalazku, objaśniono w oparciu o przykład wykonania przedstawiony na rysunku, na którym fig. 1 przedstawia schemat blokowy urządzenia do kodowania sygnału wizyjnego, fig. 2A i 2B przedstawiają schematycznie dwie sekwencje ramek, fig. 3 przedstawia schemat układu kompensacji ruchu, fig. 4 - schemat bloku wyszukiwania wektora ruchu, fig. 5A i 5B przedstawiają przykładowy obraz bieżącej ramki i odtworzonej poprzedniej ramki, fig. 6A do 6E - przykładowe obrazy przedstawiające proces selekcji punktu szczegółu obrazu, zaś fig. 7A i 7B przedstawiają przykładowy schemat ilustrujący proces wyszukiwania wektora ruchu.
Na figurze 1 jest przedstawiony schemat blokowy urządzenia do kodowania sygnału wizyjnego. Urządzenie zawiera układ 101 przeporządkowania ramek, układ odejmujący 102, koder 105 sygnałów obrazu, dekoder 113 sygnałów obrazu, układ sumujący 115, pierwszy układ pamięciowy 120, drugi układ pamięciowy 130, koder 107 entropii i układ kompensacji 150 ruchu.
Wejściowy, cyfrowy sygnał wizyjny zawiera dwie sekwencje ramek (czyli obrazów), jak pokazano na figurach 2A i 2B. Pierwsza sekwencja ramek zawiera jedną ramkę wewbętrzna I1, trzy ramki predykcyjne B1, B2, B3 dwukierunkowo i trzy ramki predykcyjne P1, P2, P3, a druga sekwencja ramek ma jedną ramkę wewnętrzną I1, trzy ramki predykcyjne F1, F2, F3 do przodu i trzy ramki predykcyjne P1, P2, P3. Wobec tego urządzenie ma dwa tryby kodowania sekwencji. Pierwszy tryb kodowania sekwencji i drugi tryb kodowania sekwencji. W pierwszym trybie kodowania sekwencji linia L17 jest dołączona do linii 11 przez pierwszy przełącznik 103 i pierwsza sekwencja ramek, która zawiera ramki I1, B1, P1, B2, P2, B3, P3, jest doprowadzana przez pierwszy przełącznik 103 do układu 101 przeporządkowania ramek, który jest przystosowany do ich przeporządkowania w przeporządkowany, cyfrowy sygnał wizyjny, na przykład I1, B1, P1, B2, P2, B3, P3 w celu otrzymania sygnałów ramek predykcyjnych dwukierunkowo dla ramek B. Przeporządkowany, cyfrowy sygnał wizyjny jest następnie dostarczany do drugiego przełącznika 104a, pierwszego układu pamięciowego 120 i układu kompensacji 150 ruchu przez linie L18, L12, L1. W drugim trybie kodowania sekwencji linia L17 jest dołączona do linii L10 przez pierwszy przełącznik 103 i druga sekwencja ramek I1, F1, P1, F2, P2, F3, P3 jest doprowadzona przez pierwszy przełącznik 103 do pierwszego układu pamięciowego 120, układu kompensacji 150 ruchu i drugiego przełącznika 104a liniami L12, L1, L18. Pierwszy przełącznik 103 jest uruchamiany
177 586 przez sygnał sterujący CS1 trybem sekwencji ze znanego sterownika urządzenia, na przykład mikroprocesora, nie pokazanego na rysunku. Jak widać z powyższego, jeżeli występuje opóźnienie przeporządkowania w pierwszym trybie kodowania sekwencji, drugi tryb kodowania sekwencji może być korzystnie stosowany jako tryb z małym opóźnieniem w takich zastosowaniach, jak wideofon i urządzenia telekonferencyjne.
Jak pokazano na fig. 1, urządzenie zawiera drugi przełącznik 104a i trzeci przełącznik 104b, które są stosowane do selektywnego wykonywania dwóch trybów kodowania ramki: trybu kodowania wewnątrzramkowego i trybu kodowania międzyramkowego. Drugi i trzeci przełączniki 104a i 104b są równocześnie uruchamiane przez sygnał sterujący CS2 trybem ramki ze sterownika urządzenia.
W trybie kodowania wewnątrzramkowego ramka wewnętrzna I1 jest doprowadzona bezpośrednio jako sygnał bieżącej ramki przez linię L14 do kodera 105 sygnałów obrazu, w którym sygnał bieżącej ramki jest kodowany w zespół kwantowanych współczynników transformaty, na przykład prżez zastosowanie dyskretnej transformaty cosinus (DCT) i dowolnych znanych sposobów kwantowania. Ramka wewnętrzna I1 jest także pamiętana jako pierwotna ramka odniesienia w pamięci 121 ramek pierwszego układu pamięciowego 120, który to pierwszy układ pamięciowy 120 zawiera trzy pamięci 121, 122 i 123 ramek dołączone do układu kompensacji 150 ruchu przez linie L2, L3 i L4. Następnie kwantowane współczynniki transformaty są przesyłane do kodera 107 entropii i dekodera 113 sygnałów obrazu. W koderze 107 entropii kwantowane współczynniki transformaty z kodera 105 sygnałów obrazu są kodowane razem, przy zastosowaniu, na przykład, techniki kodowania o zmiennej długości, i przesyłane do, nie pokazanego na rysunku nadajnika w celu ich przesłania.
Z drugiej strony dekoder 113 sygnałów obrazu przetwarza kwantowane współczynniki transformaty z dekodera 105 sygnałów obrazu z powrotem w sygnał odtworzonej ramki wewnętrznej przez zastosowanie odwrotnego kwantowania i odwrotnej dyskretnej transformaty cosinus. Sygnał odtworzonej ramki wewnętrznej z dekodera 113 sygnałów obrazu jest następnie pamiętany jako odtworzona ramka odniesienia w pamięci 131 ramek drugiego układu pamięciowego 130, który to drugi układ pamięciowy 130 zawiera trzy pamięci 131, 132, 133 ramek, które są dołączone do układu kompensacji 150 ruchu przez linie L'2, L'3, L'4.
W trybie kodowania międzyramkowego, ramka wspólna (na przykład ramka P1 predykcyjna, ramka dwukierunkowo predykcyjna lub ramka F1 predykcyjna do przodu) jest dostarczana jako sygnał prądowy do układu odejmującego 102 i układu kompensacji 150 ruchu oraz jest pamiętana w pamięci 131 ramek pierwszego układu pamięciowego 120, przy czym tak zwane ramki wspólne obejmują ramki B1, B2, B3 dwukierunkowo predykcyjne, ramki P1, P2, P3 predykcyjne i ramki F1, F2, F3 predykcyjne do przodu . Pierwotna ramka odniesienia zapamiętana poprzednio w pamięci 121 ramek jest następnie doprowadzana przez linię L2 do układu kompensacji 150 ruchu i przesuwana lub pamiętana w pamięci 122 ramek. Układ kompensacji 150 ruchu zawiera kanał kompensacji ruchu w oparciu o blok i kanał kompensacji ruchu w oparciu o punkt szczegółu obrazu, co zostanie opisane dalej.
W przypadku, gdy bieżąca ramka jest predykcyjną ramką P1, sygnał bieżącej ramki na linii L1 i sygnał odtworzonej ramki odniesienia na linii L'1 z pamięci 131 ramek drugiego układu pamięciowego 130 są przetwarzane przy zastosowaniu kanału kompensacji ruchu w oparciu o blok dla przewidywania bieżącej ramki dla wytwarzania przewidywanego sygnału bieżącej ramki na linii L30 i zespołu wektorów ruchu na linii L20. W przypadku, gdy bieżąca ramka jest ramką F1 predykcyjną do przodu (lub ramką B1 dwukierunkowo predykcyjną), sygnał bieżącej ramki na linii L1, pierwotny sygnał ramki odniesienia na jednej z linii L2, L3 i L4 z pierwszego układu pamięciowego 120 i sygnał odtworzonej ramki odniesienia na jednej z linii L'2, L'3 i L'4 z drugiej pamięci 130 ramek są przetwarzane przy zastosowaniu kanału kompensacji ruchu opartego na punkcie szczegółu obrazu dla przewidywania bieżącej ramki w celu wytwarzania przewidywanego sygnału bieżącej ramki na linii L30 i zespołu wektorów ruchu na linii L20. Układ kompensacji 150 ruchu zostanie opisany szczegółowo w odniesieniu do figury 3.
Sygnał przewidywanej, bieżącej ramki na linii L30 jest odejmowany od sygnału bieżącej ramki na linii L15 w układzie odejmującym 102 i otrzymane dane, to jest sygnał błędu
177 586 określający wartość różnicową pikselu, jest wysyłany do kodera 105 sygnałów obrazu, w którym sygnał błędu jest kodowany w zespół kwantowanych współczynników transformaty, na przykład przy zastosowaniu transformaty DCT i dowolnego ze znanych sposobów kwantowania. Znaczy to, że błędy otrzymane przez odejmowanie przewidywanej, bieżącej ramki od bieżącej ramki są kodowane przy zastosowaniu transformaty DCT. W takim przypadku wielkość operacji obwodu kwantującego jest nastawiana na dużą wartość w celu kompensacji tylko znacznie odkształconego obszaru przez nieprawidłowo ocenione wektory ruchu.
Następnie kwantowane współczynniki transformaty są przesyłane do kodera 107 entropii i dekodera 113 sygnałów obrazu. W koderze 107 entropii kwantowane współczynniki transformaty z kodera 105 sygnałów obrazu i wektory ruchu przesyłane przez linię L20 z układu kompensacji 150 ruchu są kodowane razem, przy zastosowaniu, na przykład, techniki kodowania o zmiennej długości, i przesyłane do, nie pokazanego na rysunku nadajnika dla ich przesyłania.
Z drugiej strony dekoder 113 sygnałów obrazu przetwarza kwantowane współczynniki transformaty z dekodera 105 sygnałów obrazu z powrotem w odtworzony sygnał błędu przy zastosowaniu kwantowania odwrotnego i odwrotnej, dyskretnej transformaty cosinus.
Odtworzony sygnał błędu z dekodera 113 sygnałów obrazu i sygnał przewidywanej, bieżącej ramki na linii L16 z układu kompensacji 150 ruchu są łączone poprzez przełącznik 104b w układzie sumującym 115 dla dostarczania sygnału odtworzonej ramki odniesienia przez linię L'1, zapamiętanego jako poprzednia ramka w drugim układzie pamięciowym 130. Drugi układ pamięciowy 130 zawiera trzy pamięci 131, 132 i 133 ramek, które sąpołączone szeregowo, jak to pokazano na fig. 1. Znaczy to, że sygnał odtworzonej ramki z układu sumującego 115 jest najpierw pamiętany w pamięci 131 ramek i następnie dostarczany do układu kompensacji 150 ruchu przez linię L'2 i również przesuwany do drugiej pamięci 132 ramek na podstawie kolejnych ramek, jeżeli następny sygnał odtworzonej ramki z układu sumującego 115 jest wprowadzany do pierwszej pamięci 131 ramek. Ten proces jest powtarzany sekwencyjnie tak długo, aż zostanie dokonana operacja kodowania obrazów.
Na fig. 2A i 2B przedstawiono schematycznie, opisane powyżej, pierwszą i drugą, sekwencje ramek. W przypadku, gdy bieżąca ramka jest predykcyjną ramką P1, zespół wektorów SMV1 ruchu jest otrzymywany na podstawie kolejnych bloków, przy zastosowaniu odtworzonej ramki wewnętrznej I1 jako ramki odniesienia odzyskiwanej z drugiego układu pamięciowego 130. W podobny sposób zespół wektorów ruchu SMV2 i SMV3 dla bieżących ramek P2 i P3 jest otrzymywany przy zastosowaniu ramek odniesienia P1 i P2.
W przypadku, gdy bieżąca ramka jest ramką B1 dwukierunkowo predykcyjną, zespół wektorów FMV1 ruchu do przodu jest otrzymywany z punktów szczegółów obrazu przy zastosowaniu odtworzonej ramki odniesienia I1 odzyskiwanej z drugiego układu pamięciowego 130 ramek i pierwotnej ramki odniesienia I1 odzyskiwanej z pierwszego układu pamięciowego 120. W podobny sposób zespół wektorów BMV1 ruchu do tyłu dla bieżącej ramki B1 jest otrzymywany przy zastosowaniu pierwotnej ramki odniesinia P1 i odtworzonej ramki odniesienia P1. Następnie układ kodowania obrazu wybiera pomiędzy zespołem wektorów FMV1 ruchu do przodu i zespołem wektorów BMV1 ruchu do tyłu i przesyła odpowiednie wektory ruchu.
W przypadku, gdy bieżąca ramka jest ramką F1 predykcyjną przodu, zespół wektorów FMV2 mchu do przodu jest otrzymywany z punktów szczegółów obrazu przy zastosowaniu pierwotnej ramki odniesienia I1 odzyskiwanej z pierwszego układu pamięciowego 120 i odtworzonej ramki odniesienia F1 odzyskiwanej z drugiego układu pamięciowego 130.
Jak można zobaczyć z powyższego, w celu oceny i kompensacji ruchu, ramki zawarte w pierwszej i drugiej sekwencji ramek są umieszczone w pierwszym i drugim układach pamięciowych 120 i 130, jak to pokazano w tabelach I i II.
177 586
Tabela I
Pierwsza sekwencja | amek | |||||||
1 | L | I1 | P1 | B1 | P2 | B2 | P3 | B3 |
2 | L | X | © | P | B1 | P | B2 | P |
3 | L | X | X | © | © | B1 | © | B2 |
4 | L | X | X | X | I1 | © | B1 | © |
Tabela II
Druga sekwencja ramek | |||||||
L 1 | I1 | F1 | P1 | F2 | P2 | F3 | P3 |
L 2 | X | © | F1 | © | F2 | © | F3 |
L 3 | X | X | © | F1 | © | F2 | © |
L 4 | X | X | X | I1 | F1 | P1 | F2 |
gdzie O oznacza ramkę stosowaną do oceny ruchu do przodu i Δ oznacza ramkę stosowaną do oceny ruchu do tyłu.
Jak widać z powyższego, predykcyjne ramki P1, P2, P3 są odtwarzane przy zastosowaniu kodowania predykcyjnego w oparciu o transformatę DTC, tak zwanego TMN4, wykorzystującego ocenę ruchu w oparciu o blok, a ramki interweniujące, to jest ramki B1, B2, B3 predykcyjne dwukierunkowo lub ramki F1, F2, F3 predykcyjne do przodu są odtwarzane przy zastosowaniu poprawionej dyskretnej transformaty cosinus (MC-DTC) do kompensacji ruchu w oparciu o punkt szczegółu obrazu.
Na fig. 3 są przedstawione szczegóły układu kompensacji 150 ruchu pokazanego na fig. 1. Jak pokazano na fig. 3, układ kompensacji 150 ruchu zawiera selektory wejściowe 154, 155 i 156, obwód kompensacji 151 ruchu w oparciu o blok, pierwszy obwód kompensacji 152 ruchu w oparciu o punkt szczegółu obrazu, drugi obwód kompensacji 153 ruchu w oparciu o punkt szczegółu obrazu i selektory wyjściowe 157 i 158.
Obwód kompensacji 151 ruchu w oparciu o blok, wykorzystujący konwencjonalny algorytm dopasowania bloku, służy do detekcji zespołu wektorów ruchu dla każdej z predykcyjnych ramek P1, P2, P3 i do wytwarzania przewidywanej, bieżącej ramki dla odpowiedniej predykcyjnej ramki. W przypadku, gdy predykcyjna ramka P1, jak opisana w tabelach I i II, jest dostarczana jako bieżąca ramka do obwodu kompensacji 151 ruchu w oparciu o blok, pierwszy selektor wejściowy 154 służy do doprowadzania odtworzonej ramki wewnętrznej I1 linia L'2 jako ramki odniesienia do obwodu kompensacji 151 ruchu w oparciu o blok. W obwodzie kompensacji 151 ruchu w oparciu o blok jest oceniany zespół wektorów ruchu i wytwarzany ffl 586 jest na podstawie tego sygnał przewidywanej, bieżącej ramki. Następnie zespół wektorów ruchu i sygnał przewidywanej, bieżącej ramki jest odpowiednio doprowadzany przez selektory wyjściowe 157 i 158 liniami L20 i L30.
Pierwszy obwód kompensacji 152 ruchu w oparciu o punkt szczegółu obrazu, wykorzystujący podobną transformatę jak opisana dalej, służy do detekcji zespołu ocenianych wektorów ruchu do przodu dla każdej ramki B1, B2, B3 predykcyjnej dwukierunkowo lub ramki F1, F2, F3 predykcyjnej .do przodu i dla wytwarzania przewidywanej, bieżącej ramki dla odpowiedniej ramki predykcyjnej dwukierunkowo lub do przodu. Wobec tego, gdy ramka B1 predykcyjna dwukierunkowo na linii L1 jest dostarczana jako bieżąca ramka do pierwszego obwodu kompensacji 152 ruchu w oparciu o punkt szczegółu obrazu, drugi selektor wejściowy 155, jak pokazany w tabeli I, służy do doprowadzania pierwotnej ramki wewnętrznej I1 linią L2 jako pierwotna ramka odniesienia do pierwszego obwodu kompensacji 152 ruchu w oparciu o punkt szczegółu obrazu. Trzeci selektor wejściowy 156 służy do doprowadzania odtworzonej ramki wewnętrznej I1 limą L'2 jako odtworzonej ramki odniesienia do pierwszego obwodu kompensacji 152 ruchu w oparciu o punkt szczegółu obrazu dla wytworzenia przewidywanej ramki. W pierwszym obwodzie kompensacji 152 ruchu w oparciu o punkt szczegółu obrazu jest oceniany zespół ocenianych wektorów ruchu do przodu, przy zastosowaniu ramek odtwarzanej i pierwotnej odniesienia, a przewidywany, bieżący sygnał ramki jest wytwarzany przy zastosowaniu odtwarzanej ramki odniesienia. Następnie zespół ocenianych wektorów ruchu do przodu i sygnał przewidywanej, bieżącej ramki są odpowiednio doprowadzane przez selektory wyjściowe 157 i 158 liniami L20 i L30, przy czym selektory wyjściowe 157 i 158 są sterowane przez sygnał sterujący CS5 i CS6 z nie pokazanego na rysunku sterownika urządzenia.
Drugi obwód kompensacji 153 ruchu w oparciu o punkt szczegółu obrazu, wykorzystujący podobną transformatę opisaną dalej, służy do detekcji zespołu ocenianych wektorów ruchu do tyłu dla każdej z ramek B1, B2, B3 predykcyjnych dwukierunkowo i do wytwarzania przewidywanej, bieżącej ramki dla odpowiedniej ramki predykcyjnej dwukierunkowo. Wobec tego, gdy ramka B1 predykcyjna dwukierunkowo jest dostarczana jako bieżąca ramka do drugiego obwodu kompensacji 153 ruchu w oparciu o punkt szczegółu obrazu, pierwotna predykcyjna ramka P1 na linii L2 jest doprowadzana jako pierwotna ramka odniesienia do drugiego obwodu kompensacji 153 ruchu w oparciu o punkt szczegółu obrazu i odtworzona, predykcyjna ramka P1 na linii L'2 jest doprowadzana jako odtworzona ramka odniesienia do drugiego obwodu kompensacji 153 ruchu w oparciu o punkt szczegółu obrazu. W drugim obwodzie kompensacji 153 ruchu w oparciu o punkt szczegółu obrazu jest otrzymywany zespół ocenianych wektorów ruchu do tyłu, przy zastosowaniu ramek odtworzonej i pierwotnej odniesienia, a sygnał przewidywanej, bieżącej ramki jest tworzony przy zastosowaniu odtworzonej ramki odniesienia. Zatem zespół ocenianych wektorów ruchu do tyłu i sygnał przewidywanej, bieżącej ramki są odpowiednio doprowadzane przez selektory wyjściowe 157 i 158 liniami L20 i L30. .
Na figurze 4 jest przedstawiony schemat układu kompensacji ruchu w oparciu o punkt szczegółu obrazu. Sygnał odtworzonej ramki odniesienia na linii L'2 z drugiego układu pamięciowego 130 jest wprowadzany do bloku selekcji 210 punktu szczegółu obrazu dla wytwarzania zespołu punktów szczegółów obrazu i bloku kompensacji 240 ruchu. Zespół punktów szczegółów obrazu jest następnie doprowadzany do bloku przeszukiwania 230 wektora ruchu i bloku kompensacji 240 ruchu. Blok przeszukiwania 230 wektora ruchu odbiera pierwotną ramkę odniesienia i bieżącą ramkę oraz służy do wytwarzania zespołu wektorów ruchu dla zespołu punktów szczegółów obrazu. Zespół wektorów ruchu jest dostarczany do bloku kompensacji 240 ruchu, który służy do wytwarzania przewidywanej, bieżącej ramki w oparciu o zespół wektorów ruchu i zespół punktów szczegółów obrazu.
W bloku selekcji 210 punktu szczegółu obrazu jest wybierany zespół punktów szczegółów obrazu spośród wielokrotnych pikseli zawartych w odtworzonej ramce odniesienia, przy czym każdy z punktów szczegółów obrazu jest określony w warunkach położenia piksela. Przykładowa bieżąca ramka i odtworzona ramka odniesienia są pokazane na figurach 5A i 5B.
177 586
Na figurach 6A do 6E są przedstawione przykładowe obrazy przedstawiające proces selekcji punktu szczegółu obrazu. Jak pokazano na fig. 6A, wykrywane są krawędzie w odtwarzanej ramce odniesienia^ (χ, y) pokazanej na fig. 5B, przy zastosowaniu znanego detektora krawędzi Sobela. Wyjście 1 Vp (x, y) | z operatora Sobela jest porównywane z określoną wartością progowa Te. Określona wartość progowa Te jest korzystnie wybrana jako 6. Jeżeli wartość wyjściowa | Vp (x, y) | z operatora Sobela jest mniejsza niż określona wartość progowa Te, wartość wyjściowa | Vp (x, y) | jest ustawialna na 0. Inaczej wartość wyjściowa | Vjp (x, y) | może być niezmieniona. Zatem sygnał obrazu krawędzi eg (xy) pokazanego na fig. 6A jest określony jak następuje:
0, }ezeli jVp(x,y)|<Te eg(x,y)= ' |Vp(x,y) w innym przypadku
W korzystnym wykonaniu punkty szczegółów obrazu są określane przy zastosowaniu techniki siatkowej wykorzystującej siatkę heksagonalną mającą wiele pokrywających się sześciokątów, jak pokazane na fig. 6B. Jak pokazano na fig. 6C, sześciokąt 610 jest określony przez liniowe segmenty łączące siedem punktów siatkowych 611 do 617. Punkt siatkowy 617 zawarty w sześciokącie 610 obejmuje więcej sąsiednich punktów siatkowych 611 do 616 niż czworokąt, umożliwiając przez to bardziej skuteczne zorganizowanie punktów szczegółów obrazu. Sześciokąt 610 zawiera sześć nie pokrywających się trójkątów 621 do 626 i punkty siatkowe 611 do 617 są wierzchołkami trójkątów 621 do 626. Rozkład sześciokąta 610 jest określony przez linie hH i HV, które są korzystnie ustawione na 13 i 10.
Na fig. 6D dla każdego z punktów siatkowych, na przykład G1 do G4, są określane nie pokrywające się zakresy przeszukiwania, na przykład SR1. Punkt krawędziowy, na przykład E7 umieszczony w zakresie przeszukiwania SR1, staje się punktem szczegółu obrazu dla punktu siatkowego, na przykład G1, jeżeli wartość ośmiu pikseli otaczających punkt krawędziowy, na przykład E7, jest maksymalna. Wobec tego punkt Dj szczegółu obrazu może być przedstawiony jak następuje:
Dl = y)|Max2 Σ EG(X + k. y + 1) I ¢ = -11 = -1 , gdzie EG (x, y) jest wartością punktu krawędziowego zawartego w obszarze przeszukiwania SRi, a i jest dodatnią liczbą całkowitą.
Zespół punktów szczegółów obrazu jest określony przy zastosowaniu powyższego równania, w którym zespół szczegółów obrazu zawiera punkt siatkowy pokrywający punkt krawędziowy, przy czym punkt krawędziowy jest umieszczony w nie pokrywającym się obszarze przeszukiwania SRi i ma maksymalną wartość sumowania otaczających go punktów pikseli, a wymieniony punkt siatkowy nie ma żadnego punktu krawędziowego zawartego w jego nie pokrywającym się zakresie przeszukiwania.
Jeżeli istnieje więcej niż jeden punkt krawędziowy o jednakowej maksymalnej wartości sumowania, wówczas punkt krawędziowy najbliższy punktowi siatkowemu jest wybrany jako punkt szczegółu obrazu.
177 586
W przypadku, gdy jest określony zespół punktów szczegółów obrazu, sześciokątna siatka pokazana na fig. 6B jest odkształcana jako sześciokątna siatka punktów szczegółów obrazu na fig. 6E. Po określeniu sześciokątnej siatki punktów szczegółów obrazu, zespół punktów szczegółów obrazu jest dostarczany do bloku przeszukiwania 230 wektora ruchu, pokazanego na fig. 4, który służy do detekcji zespołu wektorów ruchu. Do przeszukiwania zespołu wektorów ruchu jest stosowany proces zbieżności wykorzystujący podobną transformatę.
Na figurach 7A i 7B jest przedstawiony przykładowy schemat ilustrujący proces przeszukiwania wektora ruchu. Zespół punktów pseudoszczegółów obrazu jest określony w bieżącej ramce przy zastosowaniu zespołu punktów szczegółów obrazu, przy czym każdy z punktów szczegółów obrazu w odtwarzanej ramce odniesienia jest nanoszony na odpowiedni punkt pseudoszczegółu obrazu w bieżącej ramce. Dla każdego z punktów pseudoszczegółów obrazu, od D1 do D30, wektor ruchu początkowego jest nastawiany na (00).
W przypadku, gdy punkt pseudoszczegółu obrazu, na przykład D7, jest następnie przydzielony lub ustalony jako punkt pseudoszczegółu obrazu przedmiotu, przetwarzany dla oceny jego wektora ruchu, bieżący wielobok 700 tego przedmiotu jest stosowany w procesie zbieżności. Bieżący wielobok 700 przedmiotu jest określony przez segmenty liniowe łączące punkty D7 pseudoszczegółów obrazu przedmiotu i sąsiednie punkty pseudoszczegółów obrazu Dl do D6, które otaczają punkt D7 pseudoszczegółu obrazu przedmiotu. Bieżący wielobok 700 zawiera sześć nie pokrywających się trójkątów 701 do 706, przy czym punkt pseudoszczegółu obrazu przedmiotu jest umieszczony we wspólnym wierzchołku trójkątów.
Określona liczba kandydujących wektorów ruchu jest następnie dodawana sekwencyjnie do początkowego wektora ruchu punktu D7 pseudoszczegółu obrazu, przy czym określona liczba kandydujących wektorów ruchu jest wybrana korzystnie w zakresie od 0 do ±7, poziomo i pionowo, a kandydujący wektor ruchu D7Y1 nie jest dopuszczony, ponieważ trójkąt 701 jest odwrócony. Kandydujący wektor ruchu D7X1 jest dodawany do początkowego wektora punktu D7 pseudoszczegółu obrazu bez zmiany początkowych wektorów ruchu sześciu sąsiednich punktów D1 do P6 szczegółów obrazu w celu wytwarzania aktualizowanego, początkowego wektora ruchu D7D'7. Zatem aktualizowany, początkowy wektor ruchu D7D'7 reprezentuje przemieszczenie pomiędzy punktem D7 pseudoszczegółu obrazu przedmiotu i kandydującym punktem D'7 pseudoszczegółu obrazu.
Przewidywane położenie dla każdego z pikseli zawartych w bieżącym wieloboku 700 przedmiotu jest określone na pierwotnej ramce odniesienia przy zastosowaniu aktualizowanego, początkowego wektora ruchu i początkowych wektorów sąsiednich punktów pseudoszczegółów obrazu. Następnie każde z położeń pikseli zawartych w bieżącym wieloboku 700 przedmiotu jest interpolowane przez wartość piksela na pierwotnej ramce odniesienia odpowiadającej przewidywanemu położeniu dla utworzenia przewidywanego, bieżącego wieloboku przedmiotu. Proces ten jest realizowany przez znaną, podobną transformatę w każdym z trójkątów, na przykład 701, który ma trzy punkty szczegółów obrazu, np. D1, D2, D7, jako wierzchołki. Podobna transformata jest określona jak następuje:
X1 | a b | o | X | + | e | |
/j | c d | y | f |
gdzie (x, y) reprezentuje współrzędne x i y piksela w przewidywanym, bieżącym wieloboku przedmiotu, (x', y') oznacza współrzędne przewidywanego położenia na pierwotnej ramce odniesienia, natomiast a do f są współczynnikami transformaty.
Sześć naniesionych parametrów a, b, c, d, e, f jest charakterystycznie określonych przy zastosowaniu wektorów ruchu trzech punktów pseudoszczegółów obrazu, na przykład D1, D2, D7. Po poznaniu współczynników transformaty, każdy z pozostałych pikseli w trójkącie 701 może być naniesiony w danym położeniu w pierwotnej ramce odniesienia. Ze względu na to, że otrzymane, przewidywane położenia (x', y') pierwotnej ramki odniesienia nie jest zespołem
177 586 liczb całkowitych w większości przypadków, stosowana jest znana technika interpolacji bilinearnej do obliczania interpolowanego poziomu szarości w przewidywanym położeniu (x', y'). Proces nanoszenia jest stosowany niezależnie dla trójkątów 701 do 706. Otrzymany jest następnie przewidywany, bieżący wielobok przedmiotu dla kandydującego wektora ruchu.
Przewidywany, bieżący wielobok przedmiotu jest następnie porównywany z bieżącym wielobokiem 700 i jest sprawdzane, czy współczynnik sygnału szczytowego do szumu (PSNR) przewidywanego, bieżącego wieloboku przedmiotu i bieżącego wieloboku jest zwiększony. Jeżeli ma to miejsce, początkowy wektor ruchu (0, 0) punktu D7 pseudoszczegółu przedmiotu jest aktualizowany przez aktualizowany, początkowy wektor ruchu D7D'7.
Dla pozostałych kandydujących wektorów ruchu proces jest powtarzany. Powyższy proces jest także realizowany we wszystkich punktach pseudoszczegółów obrazu zawartych w wymienionej bieżącej ramce w jednej interakcji.
Na fig. 7B, przy założeniu, że jedna interakcja jest zakończona, punkt D7 pseudoszczegółu obrazu jest ustawiany na punkt pseudoszczegółu przedmiotu, a aktualizowane, początkowe wektory· ruchu dU sąsiednich punktów D1 do D6 pseudoszczegółów obrazu są D1D'l, D2D'2, D3D’3, D4D'4, D5D'5 i Dńb^ i w podobny sposób określone kandydujące wektory ruchu są dodawane sekwencyjnie do początkowego wektora punktu D7D'7 pseudoszczegółu obrazu przedmiotu. Dla przykładu, kandydujący wektor ruchu D'7X2 jest dodawany do początkowego wektora punktu D7D'7 pseudoszczegółu obrazu przedmiotu bez zmiany początkowych wektorów ruchu sześciu sąsiednich punktów D1D'1, D2D'2, D3D'3, D4D'4, D5D'5, D6d6 szczegółów obrazu. Wobec tego aktualizowany, początkowy wektor ruchu staje się D7X2. Określona liczba kandydujących wektorów ruchu, jak opisano powyżej, jest wybierana korzystnie w zakresie od 0 do ±7, poziomo i pionowo, a kandydujący wektor ruchu D7Y2 nie jest dopuszczony, ponieważ trójkąt 701 jest odwrócony.
Przewidywane położenie dla każdego z pikseli, zawarte w bieżącym wieloboku 700 przedmiotu jest określone na pierwotnej ramce odniesienia przy zastosowaniu aktualizowanego wektora ruchu D7X2 i początkowych wektorów sąsiednich punktów D1D'1, D2D'2, D3D'3, D4D'4, D5D'5 i D6D'6 pseudoszczegółów obrazu. Następnie każde z położeń pikseli zawartych w bieżącym wieloboku 700 przedmiotu jest interpolowane przez wartość pikselu na pierwotnej ramce odniesienia odpowiadającej przewidywanemu położeniu dla utworzenia przewidywanego, bieżącego wieloboku 700' przedmiotu (reprezentowanego przez linie zarysu pokazaną na fig. 7B).
Przewidywany, bieżący wielobok 700' przedmiotu jest następnie porównywany z bieżącym wielobokiem i sprawdza się, czy współczynnik PSNR przewidywanego, bieżącego wieloboku przedmiotu i bieżącego wieloboku jest zwiększony. Jeżeli ma to miejsce, początkowy wektor ruchu punktu D7D'7 pseudoszczegółu obrazu przedmiotu jest aktualizowany przez aktualizowany, początkowy wektor ruchu D7X2.
Dla pozostałych kandydujących wektorów ruchu proces jest powtarzany. Powyższy proces jest także realizowany we wszystkich punktach pseudoszczegółów obrazu zawartych w bieżącej ramce w drugiej interakcji.
Ten proces jest także wykonywany względem wszystkich punktów pseudoszczegółów obrazu kilka razy, aż zostanie osiągnięta zbieżność. Korzystnie interakcja dla procesu jest ustalana na pięć razy, ponieważ w większości przypadków wektory ruchu zbiegają się przed piątą interakcją.
Jak widać z powyższego, w procesie zbieżności przemieszczenie każdego z punktów szczegółów obrazu jest nadawane jego wektorowi ruchu i sześć trójkątów każdego wieloboku jest podobnie przekształcanych niezależnie przy zastosowaniu przemieszczeń punktów wierzchołkowych szczegółów obrazu. Jeżeli przemieszczenie zapewnia lepszy współczynnik PSNR, wektor ruchu punktu szczegółu obrazu przedmiotu jest aktualizowany sekwencyjnie. Wobec tego proces zbieżności jest bardzo skuteczny w procesie dopasowania dla określenia przewidywanego obrazu tak blisko, jak jest to możliwe, do pierwotnego obrazu mającego przedmioty o zmiennej ogniskowej, obrotowe lub skalujące.
Proces ten można dokonać w trzech etapach. Punkty pseudoszczegółów obrazu oznaczone przez D1, D3 i D5, pokazane na fig. 7A, które tworzą nie pokrywające się, bieżące
177 586 wieloboki przedmiotu, są najpierw przetwarzane równocześnie przy zastosowaniu każdego z 6 sąsiednich punktów szczegółów obrazu (D2, D7, D6, D10, D11, D17), (D2, D4, D7, D12, D13, D19), (D4, D6, D7, D8, D9, D15). Ten sam proces jest powtarzany następnie dla punktów D2, D4 i D6. W ostatnim etapie są ostatecznie przetwarzane pozostałe punkty D7, D8 i D9.
Na fig. 4 otrzymane wektory ruchu dla wszystkich punktów pseudoszczegółów obrazu są następnie doprowadzane jako zespół wektorów ruchu dla wszystkich punktów szczegółów obrazu do bloku kompensacji 240 ruchu, który służy do wytwarzania sygnału przewidywanej, bieżącej ramki, przy zastosowaniu odtwarzanej ramki odniesienia. Oznacza to, że sygnał przewidywanej, bieżącej ramki jest otrzymywany przez podobną transformatę wykorzystującą odtworzoną poprzednią ramkę i otrzymywane wektory ruchu. Widać z powyższego, że to jest takie samo nanoszenie punktów, jak przy zastosowaniu podobnej transformaty stosowanej w procesie przeszukiwania wektorów ruchu, oprócz tego, że zamiast pierwotnej ramki odniesienia jest stosowana odtwarzana ramka odniesienia. Z drugiej strony, wytwarzając bardzo dobry obraz przy zastosowaniu tylko wektorów ruchu, sygnał różnicowy lub błędu pomiędzy bieżącą ramką i przewidywaną bieżącą ramką może nie być przesyłany.
Algorytm kompensacji ruchu w oparciu o punkt szczegółu obrazu jest oparty na szczegółach obrazu, a transformacja jest wykorzystywana do kompensacji obracania i zmiany ogniskowania przedmiotu. W większości przypadków obrazy kompensowane ruchem mają większy współczynnik PSNR przy dobrej jakości subiektywnej. Jeżeli przewidywanie ruchu pogarsza się w przypadkach ruchu o dużej skali, błędny obraz może być kodowany i przesyłany przy zastosowaniu transformaty DCT o dużym stopniu kwantowania. Szczególnie dobra jakość subiektywna jest otrzymywana przy zastosowaniu szybkości transmisji danych równej 24 Kb/s. Ponadto, ponieważ położenia punktów szczegółów obrazu zmieniają się dla kolejnych ramek wykorzystuje się, jako ramkę odniesienia, odtworzoną poprzednią ramkę tak, że nie jest potrzebne przesyłanie informacji o położeniu punktów szczegółów obrazu. Ponadto ta kompensacja ruchu przy pomocy pikseli daje lepszą jakość subiektywną niż kompensacja ruchu w oparciu o blok, ponieważ można kompensować zmianę ogniska, obracanie i skalowanie przedmiotów przy zastosowaniu transformaty, przy pomocy tylko wektorów ruchu.
ΠΊ 586
FIG . 7A
702
706
1ΊΊ 586
FIG. 6E
ΙΊΊ 586
FIG. 6C
FIG. 6D
/ / / | / | \ \ s \ | z / / | ||||||
/ 1 1 1 | β-ij | SR | 1 ,> | / | G3 | ||||
\ \ \ | l | £10 | E11 | E12 | |||||
X X | E7 | E8, | P- | \ ------ | •N. | ||||
/' / / 1 | E4 | E5 | \ \ \ | x' X z z | X- \ | \ \ | |||
E3 | G5 | ł I I | / | G4 | \ t ł 1 | ||||
E2 | / / / / | \ \ | 1 1 ! / |
177 586
FIG. 6A
FIG. 6B
177 586
FIG. 5A
FIG. 5B
177 586
ODTWORZONA
RAMKA
ODNIESIENIA
210 _
BLOK
SELEKCJI
PUNKTU
PUNKT
SZCZEGÓŁU
OBRAZU
230
BLOK ΗδΕ3&ΚΒΦΝΙ? SEKTORA RUCHU
PIERWOTNA RAMKA ODNIESIENIA
BIEŻĄCĄ RAMKA
240 _ | ||
BLOK KOMPENSACJI RUCHU | ||
PRZEWIDYWANA BIEŻĄCĄ RAMKA
WEKTORY RUCHU
177 586
FIG .3
L2 L'2
177 586
FIG. 2A
SMV1 SMV2 SMV3
FIG. 2B
FMV1
177 586
SYGNAŁ
Departament Wydawnictw UP RP. Nakład 70 egz.
Cena 4,00 zł.
Claims (8)
- Zastrzeżenia patentowe1. Sposób kodowania sygnału wizyjnego z oceną ruchu opartą o punkty szczegółu obrazu, w którym wykrywa się zespół wektorów ruchu pomiędzy bieżącą ramką, i ramką odniesienia sygnałów wizyjnych, przy czym ramka odniesienia zawiera odtworzoną ramkę odniesienia i pierwotną ramkę odniesienia zaś zespół wektorów ruchu wykorzystuje się do wytworzenia przewidywanej ramki, znamienny tym, że przeprowadza się selekcję zespołu punktów szczegółu obrazu z pikseli zawartych w odtworzonej ramce odniesienia, w której zespół punktów szczegółów obrazu tworzy siatkę wieloboczną mającą wiele poprzednich, pokrywających się nawzajem wieloboków, określa się zespół punktów pseudoszczegółów obrazu na bieżącej ramce w oparciu o zespół punktów szczegółów obrazu, w którym zespół punktów pseudoszczegółów obrazu formuje bieżącą siatkę mającą wiele aktualnych, pokrywających się nawzajem wieloboków, przypisuje się zespół wektorów początkowych ruchu zespołowi punktów pseudoszczegółów obrazu, przy czym każdy z wektorów początkowych ruchu jest ustalany na (0,0), wyznacza się jeden z punktów pseudoszczegółów obrazu jako przedmiotowy punkt pseudoszczegółu obrazu, przy czym przedmiotowy punkt pseudoszczegółu obrazu ma liczbę N sąsiednich punktów pseudoszczegółów obrazu, które tworzą przedmiotowy bieżący wielobok określony przez liniowe segmenty łączące przedmiotowy punkt pseudoszczegółu obrazu i liczbę N sąsiednich punktów pseudoszczegółów obrazu, przy czym N jest liczbą całkowitą dodatnią, dodaje się sekwencyjnie wektor początkowego ruchu przedmiotowego punktu pseudoszczegółu obrazu do liczby M kandydujących wektorów ruchu i wytwarza się liczbę M aktualizowanych wektorów początkowych ruchu, gdzie M jest dodatnią liczbą całkowitą, przy czym liczba M kandydujących wektorów ruchu pokrywa określony obszar w przedmiotowym bieżącym wieloboku i wektory początkowe ruchu sąsiednich punktów szczegółów obrazu są ustalone, następnie określa się przewidywane położenie na pierwotnej ramce odniesienia dla każdego piksela zawartego w przedmiotowym, bieżącym wieloboku w oparciu o każdą liczbę M aktualizowanych wektorów początkowych ruchu dla przedmiotowego punktu pseudoszczegółu obrazu i liczbę N wektorów początkowych ruchu sąsiednich punktów pseudoszczegółów obrazu, wprowadza się przewidywaną wartość piksela dla każdego piksela w oparciu o przewidywane położenie z pierwotnej ramki odniesienia dla tworzenia liczby M przewidywanych, przedmiotowych, bieżących wieloboków, oblicza się różnicę pomiędzy bieżącym wielobokiem i każdym z przewidywanych, przedmiotowych, bieżących wieloboków dla wytwarzania liczby M współczynników sygnału szczytowego do szumu (PSNR), oraz dokonuje się selekcji jednego z aktualizowanych wektorów ruchu jako wybranego, aktualizowanego wektora ruchu, który daje przewidywany, przedmiotowy, bieżący wielobok mający maksymalne współczynniki PSNr, dla aktualizacji wektora początkowego ruchu przedmiotowego punktu pseudoszczegółu obrazu przez wybrany, aktualizowany wektor ruchu, następnie powtarza się etapy kodowania sygnału wizyjnego od etapu wyznaczania jednego z punktów pseudoszczegółów obrazu jako przedmiotowego punktu pseudoszczegółu obrazu, aż wszystkie wektory początkowe ruchu zostaną zaktualizowane, po czym ten ostatni etap powtarza się zadaną liczbę razy, ustala się zespół wektorów początkowych jako wektorów ruchu i tworzy się z niego zespół wektorów ruchu.
- 2. Sposób według zastrz. 1, znamienny tym, że na etapie selekcji zespołu punktów szczegółu obrazu z pikseli zawartych w odtworzonej ramce odniesienia, wykrywa się obraz krawędzi odtwarzanej ramki odniesienia, przy czym obraz krawędzi eg (x, y) jest określony jak następuje:0, jeżeli |Vp(x,y)|<Te eg(x,y)= -1 |Vp(x,y)|, w innym przypadku177 586 gdzie p (x, y) reprezentuje ramkę odniesienia, | Vp(x, y) | oznacza wyjście z operatora Sobela i Te jest zadaną wartością progową, ustala się wieloboczną siatkę na obrazie krawędzi, przy czym siatka wieloboczną zawiera pewną liczbę punktów siatki dla tworzenia wielu pokrywających się nawzajem wieloboków, przypisuje się nie pokrywający się obszar przeszukiwania każdemu z punktów siatki i określa się zespół punktów szczegółów obrazu, w którym każdy punkt szczegółu obrazu jest punktem siatki pokrywającej punkt krawędziowy, przy czym punkt krawędziowy jest umieszczony w nie pokrywającym się obszarze przeszukiwania i ma maksymalną wartość sumowania otaczających punktów pikseli, lub punkt siatki nie ma żadnego punktu krawędziowego zawartego w nie pokrywającym się obszarze przeszukiwania.
- 3. Sposób według zastrz. 2, znamienny tym, że zespół punktów szczegółów obrazu zawiera punkt krawędziowy najbliższy siatce wielobocznej, gdy więcej niż jeden punkt krawędziowy mający jednakową maksymalną wartość sumowania pojawia się w obszarze przeszukiwania.
- 4. Sposób według zastrz. 3, znamienny tym, że jako poprzedni i bieżący wielobok stosuje się sześciobok i N równe 6.
- 5. Sposób według zastrz. 4, znamienny tym, że przedmiotowy, bieżący sześciobok zawiera sześć trójkątów, które określa się przez liniowe segmenty łączące przedmiotowy punkt pseudoszczegółu obrazu i sąsiednie punkty pseudoszczegółów obrazu, przy czym etapy określania przewidywanego położenia na pierwotnej ramce odniesienia dla każdego piksela zawartego w przedmiotowym, bieżącym sześcioboku oraz wprowadzania przewidywanej wartości piksela dla każdego piksela realizuje się przy zastosowaniu podobnej transformaty.
- 6. Sposób według zastrz. 5, znamienny tym, że stosuje się liczbę otaczających punktów pikseli równą 8, zadaną liczbę powtórzeń równą 5 i zadaną wartość progową równą 6.
- 7. Sposób według zastrz. 6, znamienny tym, że stosuje się zadany obszar w zakresie od 0 do +7, poziomo i pionowo.
- 8. Sposób według zastrz. 7, znamienny tym, że punkt Di szczegółu obrazu określa się jak następuje:Di (x, y)(Max^ Σ EG(x + k, y + 1) lc = -11 = -1 gdzie EG (x, y) jest wartością punktu krawędziowego zawartego w obszarze przeszukiwania zaś indeks i punkt Di szczegółu obrazu jest dodatnią liczbą całkowitą.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019950005715A KR0181034B1 (ko) | 1995-03-18 | 1995-03-18 | 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치 |
PCT/KR1995/000050 WO1996029828A1 (en) | 1995-03-18 | 1995-05-06 | Method and appartus for encoding a video signal using feature point based motion estimation |
Publications (2)
Publication Number | Publication Date |
---|---|
PL322302A1 PL322302A1 (en) | 1998-01-19 |
PL177586B1 true PL177586B1 (pl) | 1999-12-31 |
Family
ID=19410078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PL95322302A PL177586B1 (pl) | 1995-03-18 | 1995-05-06 | Sposób kodowania sygnału wizyjnego z oceną ruchu opartą o punkt szczegółu obrazu |
Country Status (16)
Country | Link |
---|---|
US (1) | US5978030A (pl) |
EP (1) | EP0815690B1 (pl) |
JP (1) | JP4187264B2 (pl) |
KR (1) | KR0181034B1 (pl) |
CN (1) | CN1144471C (pl) |
AT (1) | ATE207279T1 (pl) |
AU (1) | AU711311B2 (pl) |
BR (1) | BR9510541A (pl) |
CA (1) | CA2215386C (pl) |
CZ (1) | CZ290297A3 (pl) |
DE (1) | DE69523340T2 (pl) |
FI (1) | FI973715A (pl) |
NO (1) | NO974209L (pl) |
PL (1) | PL177586B1 (pl) |
TW (1) | TW257924B (pl) |
WO (1) | WO1996029828A1 (pl) |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100209793B1 (ko) | 1995-10-28 | 1999-07-15 | 전주범 | 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치 |
JPH1098729A (ja) * | 1996-09-20 | 1998-04-14 | Hitachi Ltd | フレーム間予測画像の合成方法 |
WO1998042134A1 (en) * | 1997-03-17 | 1998-09-24 | Mitsubishi Denki Kabushiki Kaisha | Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system |
KR100265720B1 (ko) * | 1997-03-31 | 2000-09-15 | 윤종용 | 2차원삼각형선격자모델을이용한동영상의움직임보상방법 |
KR100265721B1 (ko) * | 1997-03-31 | 2000-09-15 | 윤종용 | 2차원삼각형조각선격자모델을이용한동영상의움직임추정방법 |
JP3966392B2 (ja) * | 1997-09-30 | 2007-08-29 | シャープ株式会社 | 画像合成通信装置 |
JP2001507552A (ja) * | 1997-10-29 | 2001-06-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 隠れた/露出した像部分の動きベクトル予測及び検知 |
KR100255758B1 (ko) * | 1997-11-21 | 2000-05-01 | 전주범 | 삼각 그리드로 표현된 지형상을 이동하는 물체의 위치가 존재하는 삼각형 탐색방법 |
US6546052B1 (en) * | 1998-05-29 | 2003-04-08 | Canon Kabushiki Kaisha | Image processing apparatus and method, and computer-readable memory |
JP4656680B2 (ja) * | 1998-11-30 | 2011-03-23 | シャープ株式会社 | 画像検索情報記録装置及び画像検索装置 |
WO2001041451A1 (en) * | 1999-11-29 | 2001-06-07 | Sony Corporation | Video/audio signal processing method and video/audio signal processing apparatus |
JP3681342B2 (ja) * | 2000-05-24 | 2005-08-10 | 三星電子株式会社 | 映像コーディング方法 |
KR100359115B1 (ko) | 2000-05-24 | 2002-11-04 | 삼성전자 주식회사 | 영상 코딩 방법 |
US6738520B1 (en) * | 2000-06-19 | 2004-05-18 | Intel Corporation | Method of compressing an image |
US7046728B1 (en) * | 2000-06-30 | 2006-05-16 | Intel Corporation | Method of video coding the movement of a human face from a sequence of images |
WO2002003708A2 (en) * | 2000-06-30 | 2002-01-10 | Intel Corporation | Method of coding shoulder movement in a video sequence |
AU2001271382A1 (en) * | 2000-06-30 | 2002-01-14 | Indian Institute Of Technology | Model-based video image coding |
JP2002230543A (ja) * | 2000-11-28 | 2002-08-16 | Monolith Co Ltd | 画像補間方法および装置 |
JP2002230575A (ja) * | 2000-11-30 | 2002-08-16 | Monolith Co Ltd | 映像効果方法および装置 |
FR2820255A1 (fr) | 2001-01-26 | 2002-08-02 | France Telecom | Procedes de codage et de decodage d'images, dispositifs, systemes, signaux et applications correspondants |
FR2820256B1 (fr) * | 2001-01-26 | 2004-11-19 | France Telecom | Procedes de codage et de decodage d'images, dispositifs, systemes signaux et applications correspondantes |
US20030189980A1 (en) * | 2001-07-02 | 2003-10-09 | Moonlight Cordless Ltd. | Method and apparatus for motion estimation between video frames |
FR2833797B1 (fr) * | 2001-12-19 | 2004-02-13 | Thomson Licensing Sa | Procede d'estimation du mouvement dominant dans une sequence d'images |
CN101083770B (zh) * | 2002-08-08 | 2010-06-16 | 松下电器产业株式会社 | 图像解码方法和图像解码装置 |
KR100508975B1 (ko) * | 2003-05-20 | 2005-08-17 | 주식회사 팬택 | 다층 레벨 연속 제거 알고리즘을 이용한 동영상 움직임추정 방법 |
US8467452B2 (en) * | 2004-01-08 | 2013-06-18 | Entropic Communications, Inc. | Distributing candidate vectors based on local motion complexity |
WO2005079074A1 (en) * | 2004-01-16 | 2005-08-25 | Koninklijke Philips Electronics N.V. | Method for compressing/decompressing video information |
US7483572B2 (en) * | 2004-08-25 | 2009-01-27 | Mitsubishi Electric Research Laboratories, Inc. | Recovering a non-linear warping function from images |
JP3935500B2 (ja) * | 2005-01-14 | 2007-06-20 | 株式会社モルフォ | 動きベクトル演算方法とこの方法を用いた手ぶれ補正装置、撮像装置、並びに動画生成装置 |
JP4620607B2 (ja) | 2006-02-24 | 2011-01-26 | 株式会社モルフォ | 画像処理装置 |
KR101119970B1 (ko) * | 2007-02-05 | 2012-02-22 | 삼성전자주식회사 | 적응적인 양자화 스텝을 이용한 영상의 부호화, 복호화방법 및 장치 |
KR100851981B1 (ko) * | 2007-02-14 | 2008-08-12 | 삼성전자주식회사 | 비디오 영상에서 실 객체 판별 방법 및 장치 |
KR101366242B1 (ko) * | 2007-03-29 | 2014-02-20 | 삼성전자주식회사 | 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치 |
KR101366244B1 (ko) * | 2007-04-24 | 2014-02-21 | 삼성전자주식회사 | 레지듀얼 데이터를 이용한 영상의 에러 은닉 방법 및 장치 |
US8665958B2 (en) * | 2008-01-29 | 2014-03-04 | Electronics And Telecommunications Research Institute | Method and apparatus for encoding and decoding video signal using motion compensation based on affine transformation |
US8385404B2 (en) * | 2008-09-11 | 2013-02-26 | Google Inc. | System and method for video encoding using constructed reference frame |
KR101279573B1 (ko) | 2008-10-31 | 2013-06-27 | 에스케이텔레콤 주식회사 | 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
JP2010124397A (ja) * | 2008-11-21 | 2010-06-03 | Toshiba Corp | 高解像度化装置 |
US9060176B2 (en) * | 2009-10-01 | 2015-06-16 | Ntt Docomo, Inc. | Motion vector prediction in video coding |
CN103039075B (zh) * | 2010-05-21 | 2015-11-25 | Jvc建伍株式会社 | 图像编码装置、图像编码方法、以及图像解码装置、图像解码方法 |
JP5661359B2 (ja) * | 2010-07-16 | 2015-01-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
WO2013067440A1 (en) | 2011-11-04 | 2013-05-10 | General Instrument Corporation | Motion vector scaling for non-uniform motion vector grid |
US11317101B2 (en) | 2012-06-12 | 2022-04-26 | Google Inc. | Inter frame candidate selection for a video encoder |
US9503746B2 (en) | 2012-10-08 | 2016-11-22 | Google Inc. | Determine reference motion vectors |
US9485515B2 (en) | 2013-08-23 | 2016-11-01 | Google Inc. | Video coding using reference motion vectors |
KR101314632B1 (ko) * | 2013-03-14 | 2013-10-04 | 에스케이텔레콤 주식회사 | 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
KR102121558B1 (ko) * | 2013-03-15 | 2020-06-10 | 삼성전자주식회사 | 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더 |
KR101316710B1 (ko) * | 2013-05-09 | 2013-10-10 | 에스케이텔레콤 주식회사 | 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
KR101483174B1 (ko) * | 2013-07-25 | 2015-01-20 | 에스케이텔레콤 주식회사 | 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
CN112383781B (zh) * | 2013-08-16 | 2023-05-02 | 上海天荷电子信息有限公司 | 参考块的位置决定其重构阶段的块匹配编解码方法和装置 |
CN104363451B (zh) | 2014-10-27 | 2019-01-25 | 华为技术有限公司 | 图像预测方法及相关装置 |
CN106658019B (zh) | 2015-10-31 | 2019-11-12 | 华为技术有限公司 | 参考帧编解码的方法与装置 |
EP3417617A4 (en) | 2016-02-17 | 2019-02-27 | Telefonaktiebolaget LM Ericsson (publ) | METHOD AND DEVICES FOR CODING AND DECODING VIDEO IMAGES |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5241608A (en) * | 1988-11-25 | 1993-08-31 | Eastman Kodak Company | Method for estimating velocity vector fields from a time-varying image sequence |
US5347309A (en) * | 1991-04-25 | 1994-09-13 | Matsushita Electric Industrial Co., Ltd. | Image coding method and apparatus |
US5317397A (en) * | 1991-05-31 | 1994-05-31 | Kabushiki Kaisha Toshiba | Predictive coding using spatial-temporal filtering and plural motion vectors |
JP3115651B2 (ja) * | 1991-08-29 | 2000-12-11 | シャープ株式会社 | 画像符号化装置 |
US5235419A (en) * | 1991-10-24 | 1993-08-10 | General Instrument Corporation | Adaptive motion compensation using a plurality of motion compensators |
JP3068304B2 (ja) * | 1992-01-21 | 2000-07-24 | 日本電気株式会社 | 動画像符号化方式および復号化方式 |
-
1995
- 1995-03-18 TW TW84102640A patent/TW257924B/zh not_active IP Right Cessation
- 1995-03-18 KR KR1019950005715A patent/KR0181034B1/ko not_active IP Right Cessation
- 1995-05-05 US US08/435,688 patent/US5978030A/en not_active Expired - Lifetime
- 1995-05-06 CZ CZ972902A patent/CZ290297A3/cs unknown
- 1995-05-06 EP EP95918202A patent/EP0815690B1/en not_active Expired - Lifetime
- 1995-05-06 CN CNB951977822A patent/CN1144471C/zh not_active Expired - Lifetime
- 1995-05-06 CA CA 2215386 patent/CA2215386C/en not_active Expired - Lifetime
- 1995-05-06 AU AU24206/95A patent/AU711311B2/en not_active Ceased
- 1995-05-06 AT AT95918202T patent/ATE207279T1/de active
- 1995-05-06 WO PCT/KR1995/000050 patent/WO1996029828A1/en not_active Application Discontinuation
- 1995-05-06 JP JP52829596A patent/JP4187264B2/ja not_active Expired - Lifetime
- 1995-05-06 BR BR9510541A patent/BR9510541A/pt unknown
- 1995-05-06 PL PL95322302A patent/PL177586B1/pl unknown
- 1995-05-06 DE DE69523340T patent/DE69523340T2/de not_active Expired - Lifetime
-
1997
- 1997-09-12 NO NO974209A patent/NO974209L/no unknown
- 1997-09-17 FI FI973715A patent/FI973715A/fi unknown
Also Published As
Publication number | Publication date |
---|---|
NO974209L (no) | 1997-10-31 |
MX9707106A (es) | 1997-11-29 |
BR9510541A (pt) | 1998-06-09 |
TW257924B (en) | 1995-09-21 |
AU711311B2 (en) | 1999-10-07 |
CN1178057A (zh) | 1998-04-01 |
PL322302A1 (en) | 1998-01-19 |
CA2215386C (en) | 2005-06-21 |
JPH11506576A (ja) | 1999-06-08 |
KR0181034B1 (ko) | 1999-05-01 |
JP4187264B2 (ja) | 2008-11-26 |
EP0815690B1 (en) | 2001-10-17 |
ATE207279T1 (de) | 2001-11-15 |
CN1144471C (zh) | 2004-03-31 |
FI973715A0 (fi) | 1997-09-17 |
KR960036766A (ko) | 1996-10-28 |
DE69523340D1 (de) | 2001-11-22 |
US5978030A (en) | 1999-11-02 |
NO974209D0 (no) | 1997-09-12 |
AU2420695A (en) | 1996-10-08 |
FI973715A (fi) | 1997-11-17 |
CZ290297A3 (cs) | 1998-02-18 |
CA2215386A1 (en) | 1996-09-26 |
EP0815690A1 (en) | 1998-01-07 |
WO1996029828A1 (en) | 1996-09-26 |
DE69523340T2 (de) | 2002-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
PL177586B1 (pl) | Sposób kodowania sygnału wizyjnego z oceną ruchu opartą o punkt szczegółu obrazu | |
US5546129A (en) | Method for encoding a video signal using feature point based motion estimation | |
US5598216A (en) | Method and apparatus for encoding/decoding a video signal | |
US5612743A (en) | Method for encoding a video signal using feature point based motion estimation | |
KR100209793B1 (ko) | 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치 | |
US5619281A (en) | Method and apparatus for detecting motion vectors in a frame decimating video encoder | |
KR0181027B1 (ko) | 화소 단위 움직임 추정을 이용하는 영상처리 시스템 | |
KR0171146B1 (ko) | 특징점을 이용한 움직임 벡터 검출 장치 | |
EP0634874A2 (en) | Apparatus and method for detecting motion vectors in a frame decimating video encoder | |
US5862261A (en) | Current frame prediction method and apparatus for use in an image signal encoding system | |
CN1136732C (zh) | 用在图象编码系统中的改进的运动补偿装置 | |
US5432555A (en) | Image signal encoding apparatus using adaptive 1D/2D DCT compression technique | |
US6061401A (en) | Method and apparatus for selectively encoding/decoding a video signal | |
JP2507199B2 (ja) | 画像符号化方法及び装置 | |
EP0734179A2 (en) | Method and apparatus for selectively encoding/decoding a video signal | |
KR100207397B1 (ko) | 영상 부호화 시스템의 움직임 예측장치 및 방법 | |
KR100252340B1 (ko) | 현재 프레임 예측방법 및 그 장치 | |
CN1131869A (zh) | 利用搜索网格对视频信号编码的装置 | |
MXPA97007106A (en) | Method and apparatus for coding a video signal using a calculation of motion based on unpunto caracterist | |
CN1127970A (zh) | 利用逐象素的运动预测对视频信号进行编码的方法和装置 |