PL177586B1

PL177586B1 - Sposób kodowania sygnału wizyjnego z oceną ruchu opartą o punkt szczegółu obrazu

Info

Publication number: PL177586B1
Application number: PL95322302A
Authority: PL
Inventors: Hae M. Jung; Min S. Lee
Original assignee: Daewoo Electronics Co Ltd
Priority date: 1995-03-18
Filing date: 1995-05-06
Publication date: 1999-12-31
Also published as: CA2215386C; BR9510541A; AU2420695A; JPH11506576A; EP0815690B1; ATE207279T1; FI973715A0; MX9707106A; CN1178057A; PL322302A1; JP4187264B2; KR0181034B1; NO974209L; DE69523340D1; EP0815690A1; DE69523340T2; CZ290297A3; KR960036766A; TW257924B; FI973715A

Abstract

1. Sposób kodowania sygnalu wizyjnego z ocena ruchu oparta o punkty szczególu obrazu, w którym wy- krywa sie zespól wektorów ruchu pomiedzy biezaca ramka i ramka odniesienia sygnalów wizyjnych, przy czym ramka odniesienia zawiera odtworzona ramke odniesienia i pier- wotna ramke odniesienia zas zespól wektorów ruchu wy- korzystuje sie do wytworzenia przewidywanej ramki, znamienny tym, ze przeprowadza sie selekcje zespolu punktów szczególu obrazu z pikseli zawartych w odtwo- rzonej ramce odniesienia, w której zespól punktów szcze- gólów obrazu tworzy siatke wieloboczna majaca wiele poprzednich, pokrywajacych sie nawzajem wieloboków, okresla sie zespól punktów pseudoszczególów obrazu na biezacej ramce w oparciu o zespól punktów szczególów obrazu, w którym zespól punktów pseudoszczególów obrazu formuje biezaca siatke majaca wiele aktualnych, pokrywajacych sie nawzajem wieloboków, przypisuje sie zespól wektorów poczatkowych ruchu zespolowi punktów pseudoszczególów obrazu, przy czym kazdy z wektorów poczatkowych ruchu jest ustalany na (0,0), wyznacza sie jeden z punktów pseudoszczególów obrazu................ FIG. 1 PL PL PL PL

Description

Przedmiotem wynalazku jest sposób kodowania sygnału wizyjnego z oceną ruchu opartą o punkty szczegółu obrazu.

Przy przesyłaniu cyfrowych sygnałów wizyjnych uzyskuje się obrazy o znacznie wyższej jakości niż przy przesyłaniu sygnałów analogowych. Wówczas, gdy sygnał obrazu zawierający sekwencję ramek obrazu jest wyrażony w postaci cyfrowej, wytwarzana jest znaczna ilość przesyłanych danych, szczególnie w przypadku systemu telewizyjnego o dużej rozdzielczości. Jednak ponieważ dostępna szerokość pasma częstotliwości konwencjonalnego kanału przesyłowego jest ograniczona, w celu przesyłania przez niego znacznych ilości danych cyfrowych, jest nieunikniona kompresja czyli zmniejszenie objętości przesyłanych danych. Spośród różnych technik kompresji sygnałów wizyjnych najbardziej skuteczna jest technika kodowania hybrydowego, która łączy techniki kompresji czasowej i przestrzennej wraz z techniką kodowania statystycznego.

Większość technik kodowania hybrydowego wykorzystuje kompensowaną ruchem, kodowaną modulację impulsowo-różnicową (DPCM), dwuwymiarową dyskretną transformatę cosinus (DCT), kwantyzację współczynników DCT i kodowanie o zmiennej długości (VLC).

177 586

Kodowanie DPCM kompensowane ruchem jest sposobem oceny ruchu przedmiotu pomiędzy bieżącą ramką i poprzednią ramką lub następną ramką, tj. ramką odniesienia, oraz prognozowania bieżącej ramki zgodnie z przebiegiem ruchu przedmiotu w celu wytworzenia sygnału różnicowego reprezentującego różnicę pomiędzy bieżącą ramką i jej prognozą. Ten znany sposób jest opisany, na przykład, w publikacjach: Staffan Ericsson pt. „Stałe i adaptacyjne predyktory dla hybrydowego kodowania prognozującego/transformującego”, IEEE Transactions on Communications, COM-33, Nr 12 (grudzień 1985) oraz w Ninomiya i Ohtsuka pt. „Kompensowany ruchem schemat kodowania międzyramkowego dla obrazów telewizyjnych, IEE Transactions on Communications, COM-30, Nr 1 (styczeń 1982).

Dwuwymiarowe kodowanie DCT, które zmniejsza lub wykorzystuje redundancje przestrzenne pomiędzy danymi obrazu, przetwarza blok cyfrowych danych obrazu, na przykład blok 8x8 pikseli, w zespół danych współczynników transformaty. Ta technika jest opisana w publikacji Chen i Pratt pt. „Koder adaptacyjny sceny”, IEEE Transactions on Communications, COM-32, Nr 3 (marzec 1984). W wyniku przetworzenia takich danych współczynników transformaty przy pomocy urządzenia kwantującego, wybierania zygzakowatego i kodowania VLC, przesyłane dane mogą być skutecznie poddane kompresji.

Szczególnie w kompensowanym ruchem kodowania DPCM bieżące dane ramki są prognozowane z odpowiednich danych ramki odniesienia na podstawie oceny ruchu pomiędzy ramkami bieżącą i odniesienia. Taki oceniany ruch może być opisany w warunkach dwuwymiarowych wektorów ruchu reprezentujących przemieszczenie pikseli pomiędzy ramkami odniesienia i bieżącą.

Znane są dwa podstawowe rozwiązania oceny przemieszczenia pikseli przedmiotu. Jedno jest oceną bloku po bloku, a drugie jest rozwiązaniem pikselu po pikselu.

Przy ocenie ruchu blok po bloku, blok w bieżącej ramce jest porównywany z blokami w jego ramce odniesienia, aż do określenia najlepszego dopasowania. Z tego można ocenić wektor przemieszczenia międzyramkowego (który wskazuje, jak bardzo blok pikseli przesunął się pomiędzy ramkami) dla całego bloku, dla bieżącej przesyłanej ramki.

Taka technika dopasowania bloków może być wykorzystana w prognozowaniu ramek P i B zawartych w sekwencjach sygnałów wizyjnych, jak podano w normie ITU Telecommunication Standarization Sector Study Group 15, Zespół Roboczy 15/1 Grupy Ekspertów w dziedzinie telefonii wizyjnej o bardzo małej szybkości przesyłania bitów, „Model badawczy kodera-dekodera sygnałów wizyjnych, TMN4 Revl”, (październik 25, 1994), przy czym ramka P czyli predykcyjna oznacza ramkę, która jest prognozowana z poprzedniej ramki (jako ramka odniesienia), podczas gdy ramka B lub predykcyjna dwukierunkowo jest prognozowana z ramek poprzedniej i następnej (jako ramki odniesienia). Przy kodowaniu w szczególności tak zwanej ramki B, wykorzystywana jest technika oceny ruchu dwukierunkowego w celu otrzymania wektorów przemieszczenia do przodu i do tyłu, przy czym wektor przemieszczenia do przodu jest otrzymywany przez ocenę ruchu przedmiotu pomiędzy ramką B i poprzednią ramką wewnętrzną I i predykcyjną P (jako ramka odniesienia), a wektor przemieszczenia do tyłu jest otrzymywany w oparciu o ramkę B i następną ramkę I lub P (jako ramkę odniesienia).

Jednak przy ocenie ruchu blok po bloku, efekty blokowania na granicy bloku mogą wystąpić w procesie kompensacji ruchu, a słabe oceny mogą wynikać, jeżeli wszystkie piksele w bloku nie przesuwają się w taki sam sposób, skutkiem tego pogarszając jakość całego obrazu.

Z drugiej strony, stosując rozwiązanie piksel po pikselu, przemieszczenie jest określane dla każdego pikselu. Ta technika umożliwia bardziej dokładną ocenę wartości pikselu i ma zdolność łatwego obchodzenia się ze zmianami skali, na przykład zmiennoogniskowością, ruchem prostopadłym do płaszczyzny obrazu. Jednak w rozwiązaniu piksel po pikselu, ponieważ wektor ruchu jest określany przy każdym pikselu, jest rzeczywiście niemożliwe przesyłanie wszystkich wektorów ruchu do odbiornika.

Jedną ze znanych technik związanych z nadmiarowym lub nadmiernym przesyłaniem danych, wynikającym z rozwiązania piksel po pikselu, jest sposób oceny ruchu opartej o punkty szczegółu obrazu.

177 586

W technice oceny ruchu opartej o punkty szczegółu obrazu, wektory ruchu dla zespołu wybranych pikseli, to jest punktów szczegółu obrazu, są przesyłane do odbiornika, przy czym każdy z punktów szczegółu jest określony jako piksel zdolny do reprezentowania sąsiednich pikseli tak, że wektory ruchu dla punktów nie określających szczegółu obrazu, mogą być odzyskiwane lub przybliżane z tych punktów szczegółu w odbiorniku. W koderze, który stosuje ocenę ruchu w oparciu o punkty szczegółu obrazu, znanym ze zgłoszenia USA o nr ser. 08/367 520, zatytułowanym „Sposób i urządzenie do kodowania sygnału wizyjnego przy użyciu oceny ruchu piksel po pikselu”, pewna liczba punktów szczegółu obrazu jest najpierw wybierana spośród wszystkich pikseli zawartych w poprzedniej ramce. Następnie są określane wektory ruchu dla wybranych punktów szczegółu obrazu, przy czym każdy z wektorów ruchu reprezentuje przemieszczenie przestrzenne pomiędzy jednym punktem szczegółu obrazu w poprzedniej ramce i odpowiednim punktem dopasowania, to jest najbardziej podobnym pikselem, w bieżącej ramce. Szczególnie punkt dopasowania dla każdego z punktów szczegółu obrazu jest poszukiwany w obszarze przeszukiwania w bieżącej ramce przy zastosowaniu znanego algorytmu dopasowania bloku, przy czym blok punktu szczegółu obrazu jest określony jako blok otaczający wybrany punkt szczegółu obrazu, a obszar przeszukiwania jest określony jako obszar we wstępnie określonym obszarze, który obejmuje położenie odpowiedniego punktu szczegółu obrazu.

W tym przypadku byłoby najbardziej pożądane lub dogodne znalezienie tylko jednego najlepiej dopasowanego bloku punktu szczegółu obrazu w całym obszarze przeszukiwania odpowiadającym wybranemu punktowi szczegółu obrazu. Jednak czasami może być wiele równoważnych najlepiej dopasowanych bloków punktu szczegółu obrazu znalezionych podczas dopasowania punktu szczegółu obrazu. W wyniku tego jest trudne prawidłowe wykrycie wektora ruchu dla punktu szczegółu obrazu z taką współzależnością pomiędzy blokiem punktu szczegółu obrazu i odpowiednim obszarem przeszukiwania. Ponadto mogą wynikać słabe oceny, jeżeli obszar przeszukiwania nie jest określony zgodnie z przemieszczeniem przestrzennym pomiędzy punktem szczegółu obrazu w ramce odniesienia i odpowiednim punktem dopasowania, to jest najbardziej podobnym pikselem, w bieżącej ramce, skutkiem tego pogarszając jakość całego obrazu.

W opisie patentowym USA nr 5 317 397 jest ujawnione urządzenie do kodowania sygnałów wizyjnych działające na zasadzie kompensacji ruchu zawierające układ kodujący do kodowania sygnału wizyjnego, dwa układy pamięci do zapamiętywania zakodowanych sygnałów wizyjnych z ostatnich dwóch pól, układ wyszukujący wektor ruchu w oparciu o współzależne operacje arytmetyczne do tworzenia optymalnego wektora ruchu, układ interpolacji wewnątrz polowej i lokalny układ dekodujący. Z kolei w opisie patentowym USA nr 5 347 309 jest opisany sposób i urządzenie do kodowania obrazu, w którym wykorzystuje się ocenę bloku po bloku dla określenia międzypolowego wektora ruchu. W tym znanym rozwiązaniu do urządzenia wprowadza się dane wybierane międzyliniowo, wykrywa się międzypolowy wektor ruchu danych obrazu, po czym tworzona jest ramka skompensowanego ruchu i przesyłana do bloku kodującego.

Istotą sposobu kodowania sygnału wizyjnego z oceną ruchu opartą o punkty szczegółu obrazu, według wynalazku, w którym wykrywa się zespół wektorów ruchu pomiędzy bieżącą ramką i ramką odniesienia sygnałów wizyjnych, przy czym ramka odniesienia zawiera odtworzoną ramkę odniesienia i pierwotną ramkę odniesienia zaś zespół wektorów ruchu wykorzystuje się do wytworzenia przewidywanej ramki, jest to, że przeprowadza się selekcję zespołu punktów szczegółu obrazu z pikseli zawartych w odtworzonej ramce odniesienia, w której zespół punktów szczegółów obrazu tworzy siatkę wieloboczną mającą wiele poprzednich, pokrywających się nawzajem wieloboków, określa się zespół punktów pseudoszczegółów obrazu na bieżącej ramce w oparciu o zespół punktów szczegółów obrazu, w którym zespół punktów pseudoszczegółów obrazu formuje bieżącą siatkę mającą wiele aktualnych, pokrywających się nawzajem wieloboków, przypisuje się zespół wektorów początkowych ruchu zespołowi punktów pseudoszczegółów obrazu, przy czym każdy z wektorów początkowych ruchu jest ustalany na (0,0), wyznacza się jeden z punktów pseudoszczegółów obrazu jako przedmiotowy punkt pseudoszczegółu obrazu, przy czym przedmiotowy punkt pseudoszczegółu

177 586 obrazu ma liczbę N sąsiednich punktów pseudoszczegółów obrazu, które tworzą przedmiotowy bieżący wielobok określony przez liniowe segmenty łączące przedmiotowy punkt pseudoszczegółu obrazu i liczbę N sąsiednich punktów pseudoszczegółów obrazu, przy czym N jest liczbą całkowitą dodatnią, dodaje się sekwencyjnie wektor początkowego ruchu przedmiotowego punktu pseudoszczegółu obrazu do liczby M kandydujących wektorów ruchu i wytwarza się liczbę M aktualizowanych wektorów początkowych ruchu, gdzie M jest dodatnią liczbą całkowitą, przy czym liczba M kandydujących wektorów ruchu pokrywa określony obszar w przedmiotowym bieżącym wieloboku i wektory początkowe ruchu sąsiednich punktów szczegółów obrazu są ustalone, następnie określa się przewidywane położenie na pierwotnej ramce odniesienia dla każdego piksela zawartego w przedmiotowym, bieżącym wieloboku w oparciu o każdą liczbę M aktualizowanych wektorów początkowych ruchu dla przedmiotowego punktu pseudoszczegółu obrazu i liczbę N wektorów początkowych ruchu sąsiednich punktów pseudoszczegółów obrazu, wprowadza się przewidywaną wartość piksela dla każdego piksela w oparciu o przewidywane położenie z pierwotnej ramki odniesienia dla tworzenia liczby M przewidywanych, przedmiotowych, bieżących wieloboków, oblicza się różnicę pomiędzy bieżącym wielobokiem i każdym z przewidywanych, przedmiotowych, bieżących wieloboków dla wytwarzania liczby M współczynników sygnału szczytowego do szumu (PSNR), oraz dokonuje się selekcji jednego z aktualizowanych wektorów ruchu jako wybranego, aktualizowanego wektora ruchu, który daje przewidywany, przedmiotowy, bieżący wielobok mający maksymalne współczynniki PSNR, dla aktualizacji wektora początkowego ruchu przedmiotowego punktu pseudoszczegółu obrazu przez wybrany, aktualizowany wektor ruchu, następnie powtarza się etapy kodowania sygnału wizyjnego od etapu wyznaczania jednego z punktów pseudoszczegółów obrazu jako przedmiotowego punktu pseudoszczegółu obrazu, aż wszystkie wektory początkowe ruchu zostaną zaktualizowane, po czym ten ostatni etap powtarza się zadaną liczbę razy, ustala się zespół wektorów początkowych jako wektorów ruchu i tworzy się z niego zespół wektorów ruchu.

Korzystnie na etapie selekcji zespołu punktów szczegółu obrazu z pikseli zawartych w odtworzonej ramce odniesienia, wykrywa się obraz krawędzi odtwarzanej ramki odniesienia, przy czym obraz krawędzi eg (x, y) jest określony jak następuje:

0, jeżeli |Vp(x,y)l<Te eg(x,y)= |Vp(x,y)|, w innym przypadku gdzie p (x, y) reprezentuje ramkę odniesienia, | Vp (x, y) | oznacza wyjście z operatora Sobela i Te jest zadaną wartością progową, ustala się wieloboczną siatkę na obrazie krawędzi, przy czym siatka wieloboczną zawiera pewną liczbę punktów siatki dla tworzenia wielu pokrywających się nawzajem wieloboków, przypisuje się nie pokrywający się obszar przeszukiwania każdemu z punktów siatki i określa się zespół punktów szczegółów obrazu, w którym każdy punkt szczegółu obrazu jest punktem siatki pokrywającej punkt krawędziowy, przy czym punkt krawędziowy jest umieszczony w nie pokrywającym się obszarze przeszukiwania i ma maksymalną wartość sumowania otaczających punktów pikseli, lub punkt siatki nie ma żadnego punktu krawędziowego zawartego w nie pokrywającym się obszarze przeszukiwania.

Korzystnie zespół punktów szczegółów obrazu zawiera punkt krawędziowy najbliższy siatce wielobocznej, gdy więcej niż jeden punkt krawędziowy mający jednakową maksymalną wartość sumowania pojawia się w obszarze przeszukiwania.

Korzystnie jako poprzedni i bieżący wielobok stosuje się sześciobok i N równe 6.

Korzystnie przedmiotowy, bieżący sześciobok zawiera sześć trójkątów, które określa się przez liniowe segmenty łączące przedmiotowy punkt pseudoszczegółu obrazu i sąsiednie

177 586 punkty pseudoszczegółów obrazu, przy czym etapy określania przewidywanego położenia na pierwotnej ramce odniesienia dla każdego piksela zawartego w przedmiotowym, bieżącym sześcioboku oraz wprowadzania przewidywanej wartości piksela dla każdego piksela realizuje się przy zastosowaniu podobnej transformaty.

Korzystnie stosuje się liczbę otaczających punktów pikseli równą 8, zadaną liczbę powtórzeń równą 5 i zadaną wartość progową równą 6.

Korzystnie stosuje się zadany obszar w zakresie od 0 do ±7, poziomo i pionowo. Korzystnie punkt D_; szczegółu obrazu określa się jak następuje:

k = -1 l = -t gdzie EG (x, y) jest wartością punktu krawędziowego zawartego w obszarze przeszukiwania zaś indeks i punkt D, szczegółu obrazu jest dodatnią liczbą całkowitą.

Zaletą rozwiązania według wynalazku zapewniającego skuteczną. ocenę wektorów ruchu dla punktów szczegółu obrazu, jest zmniejszenie szybkości przesyłania cyfrowego sygnału wizyjnego o dobrej jakości obrazu.

Sposób kodowania sygnału wizyjnego, według wynalazku, objaśniono w oparciu o przykład wykonania przedstawiony na rysunku, na którym fig. 1 przedstawia schemat blokowy urządzenia do kodowania sygnału wizyjnego, fig. 2A i 2B przedstawiają schematycznie dwie sekwencje ramek, fig. 3 przedstawia schemat układu kompensacji ruchu, fig. 4 - schemat bloku wyszukiwania wektora ruchu, fig. 5A i 5B przedstawiają przykładowy obraz bieżącej ramki i odtworzonej poprzedniej ramki, fig. 6A do 6E - przykładowe obrazy przedstawiające proces selekcji punktu szczegółu obrazu, zaś fig. 7A i 7B przedstawiają przykładowy schemat ilustrujący proces wyszukiwania wektora ruchu.

Na figurze 1 jest przedstawiony schemat blokowy urządzenia do kodowania sygnału wizyjnego. Urządzenie zawiera układ 101 przeporządkowania ramek, układ odejmujący 102, koder 105 sygnałów obrazu, dekoder 113 sygnałów obrazu, układ sumujący 115, pierwszy układ pamięciowy 120, drugi układ pamięciowy 130, koder 107 entropii i układ kompensacji 150 ruchu.

Wejściowy, cyfrowy sygnał wizyjny zawiera dwie sekwencje ramek (czyli obrazów), jak pokazano na figurach 2A i 2B. Pierwsza sekwencja ramek zawiera jedną ramkę wewbętrzna I1, trzy ramki predykcyjne B1, B2, B3 dwukierunkowo i trzy ramki predykcyjne P1, P2, P3, a druga sekwencja ramek ma jedną ramkę wewnętrzną I1, trzy ramki predykcyjne F1, F2, F3 do przodu i trzy ramki predykcyjne P1, P2, P3. Wobec tego urządzenie ma dwa tryby kodowania sekwencji. Pierwszy tryb kodowania sekwencji i drugi tryb kodowania sekwencji. W pierwszym trybie kodowania sekwencji linia L17 jest dołączona do linii 11 przez pierwszy przełącznik 103 i pierwsza sekwencja ramek, która zawiera ramki I1, B1, P1, B2, P2, B3, P3, jest doprowadzana przez pierwszy przełącznik 103 do układu 101 przeporządkowania ramek, który jest przystosowany do ich przeporządkowania w przeporządkowany, cyfrowy sygnał wizyjny, na przykład I1, B1, P1, B2, P2, B3, P3 w celu otrzymania sygnałów ramek predykcyjnych dwukierunkowo dla ramek B. Przeporządkowany, cyfrowy sygnał wizyjny jest następnie dostarczany do drugiego przełącznika 104a, pierwszego układu pamięciowego 120 i układu kompensacji 150 ruchu przez linie L18, L12, L1. W drugim trybie kodowania sekwencji linia L17 jest dołączona do linii L10 przez pierwszy przełącznik 103 i druga sekwencja ramek I1, F1, P1, F2, P2, F3, P3 jest doprowadzona przez pierwszy przełącznik 103 do pierwszego układu pamięciowego 120, układu kompensacji 150 ruchu i drugiego przełącznika 104a liniami L12, L1, L18. Pierwszy przełącznik 103 jest uruchamiany

177 586 przez sygnał sterujący CS1 trybem sekwencji ze znanego sterownika urządzenia, na przykład mikroprocesora, nie pokazanego na rysunku. Jak widać z powyższego, jeżeli występuje opóźnienie przeporządkowania w pierwszym trybie kodowania sekwencji, drugi tryb kodowania sekwencji może być korzystnie stosowany jako tryb z małym opóźnieniem w takich zastosowaniach, jak wideofon i urządzenia telekonferencyjne.

Jak pokazano na fig. 1, urządzenie zawiera drugi przełącznik 104a i trzeci przełącznik 104b, które są stosowane do selektywnego wykonywania dwóch trybów kodowania ramki: trybu kodowania wewnątrzramkowego i trybu kodowania międzyramkowego. Drugi i trzeci przełączniki 104a i 104b są równocześnie uruchamiane przez sygnał sterujący CS2 trybem ramki ze sterownika urządzenia.

W trybie kodowania wewnątrzramkowego ramka wewnętrzna I1 jest doprowadzona bezpośrednio jako sygnał bieżącej ramki przez linię L14 do kodera 105 sygnałów obrazu, w którym sygnał bieżącej ramki jest kodowany w zespół kwantowanych współczynników transformaty, na przykład prżez zastosowanie dyskretnej transformaty cosinus (DCT) i dowolnych znanych sposobów kwantowania. Ramka wewnętrzna I1 jest także pamiętana jako pierwotna ramka odniesienia w pamięci 121 ramek pierwszego układu pamięciowego 120, który to pierwszy układ pamięciowy 120 zawiera trzy pamięci 121, 122 i 123 ramek dołączone do układu kompensacji 150 ruchu przez linie L2, L3 i L4. Następnie kwantowane współczynniki transformaty są przesyłane do kodera 107 entropii i dekodera 113 sygnałów obrazu. W koderze 107 entropii kwantowane współczynniki transformaty z kodera 105 sygnałów obrazu są kodowane razem, przy zastosowaniu, na przykład, techniki kodowania o zmiennej długości, i przesyłane do, nie pokazanego na rysunku nadajnika w celu ich przesłania.

Z drugiej strony dekoder 113 sygnałów obrazu przetwarza kwantowane współczynniki transformaty z dekodera 105 sygnałów obrazu z powrotem w sygnał odtworzonej ramki wewnętrznej przez zastosowanie odwrotnego kwantowania i odwrotnej dyskretnej transformaty cosinus. Sygnał odtworzonej ramki wewnętrznej z dekodera 113 sygnałów obrazu jest następnie pamiętany jako odtworzona ramka odniesienia w pamięci 131 ramek drugiego układu pamięciowego 130, który to drugi układ pamięciowy 130 zawiera trzy pamięci 131, 132, 133 ramek, które są dołączone do układu kompensacji 150 ruchu przez linie L'2, L'3, L'4.

W trybie kodowania międzyramkowego, ramka wspólna (na przykład ramka P1 predykcyjna, ramka dwukierunkowo predykcyjna lub ramka F1 predykcyjna do przodu) jest dostarczana jako sygnał prądowy do układu odejmującego 102 i układu kompensacji 150 ruchu oraz jest pamiętana w pamięci 131 ramek pierwszego układu pamięciowego 120, przy czym tak zwane ramki wspólne obejmują ramki B1, B2, B3 dwukierunkowo predykcyjne, ramki P1, P2, P3 predykcyjne i ramki F1, F2, F3 predykcyjne do przodu . Pierwotna ramka odniesienia zapamiętana poprzednio w pamięci 121 ramek jest następnie doprowadzana przez linię L2 do układu kompensacji 150 ruchu i przesuwana lub pamiętana w pamięci 122 ramek. Układ kompensacji 150 ruchu zawiera kanał kompensacji ruchu w oparciu o blok i kanał kompensacji ruchu w oparciu o punkt szczegółu obrazu, co zostanie opisane dalej.

W przypadku, gdy bieżąca ramka jest predykcyjną ramką P1, sygnał bieżącej ramki na linii L1 i sygnał odtworzonej ramki odniesienia na linii L'1 z pamięci 131 ramek drugiego układu pamięciowego 130 są przetwarzane przy zastosowaniu kanału kompensacji ruchu w oparciu o blok dla przewidywania bieżącej ramki dla wytwarzania przewidywanego sygnału bieżącej ramki na linii L30 i zespołu wektorów ruchu na linii L20. W przypadku, gdy bieżąca ramka jest ramką F1 predykcyjną do przodu (lub ramką B1 dwukierunkowo predykcyjną), sygnał bieżącej ramki na linii L1, pierwotny sygnał ramki odniesienia na jednej z linii L2, L3 i L4 z pierwszego układu pamięciowego 120 i sygnał odtworzonej ramki odniesienia na jednej z linii L'2, L'3 i L'4 z drugiej pamięci 130 ramek są przetwarzane przy zastosowaniu kanału kompensacji ruchu opartego na punkcie szczegółu obrazu dla przewidywania bieżącej ramki w celu wytwarzania przewidywanego sygnału bieżącej ramki na linii L30 i zespołu wektorów ruchu na linii L20. Układ kompensacji 150 ruchu zostanie opisany szczegółowo w odniesieniu do figury 3.

Sygnał przewidywanej, bieżącej ramki na linii L30 jest odejmowany od sygnału bieżącej ramki na linii L15 w układzie odejmującym 102 i otrzymane dane, to jest sygnał błędu

177 586 określający wartość różnicową pikselu, jest wysyłany do kodera 105 sygnałów obrazu, w którym sygnał błędu jest kodowany w zespół kwantowanych współczynników transformaty, na przykład przy zastosowaniu transformaty DCT i dowolnego ze znanych sposobów kwantowania. Znaczy to, że błędy otrzymane przez odejmowanie przewidywanej, bieżącej ramki od bieżącej ramki są kodowane przy zastosowaniu transformaty DCT. W takim przypadku wielkość operacji obwodu kwantującego jest nastawiana na dużą wartość w celu kompensacji tylko znacznie odkształconego obszaru przez nieprawidłowo ocenione wektory ruchu.

Następnie kwantowane współczynniki transformaty są przesyłane do kodera 107 entropii i dekodera 113 sygnałów obrazu. W koderze 107 entropii kwantowane współczynniki transformaty z kodera 105 sygnałów obrazu i wektory ruchu przesyłane przez linię L20 z układu kompensacji 150 ruchu są kodowane razem, przy zastosowaniu, na przykład, techniki kodowania o zmiennej długości, i przesyłane do, nie pokazanego na rysunku nadajnika dla ich przesyłania.

Z drugiej strony dekoder 113 sygnałów obrazu przetwarza kwantowane współczynniki transformaty z dekodera 105 sygnałów obrazu z powrotem w odtworzony sygnał błędu przy zastosowaniu kwantowania odwrotnego i odwrotnej, dyskretnej transformaty cosinus.

Odtworzony sygnał błędu z dekodera 113 sygnałów obrazu i sygnał przewidywanej, bieżącej ramki na linii L16 z układu kompensacji 150 ruchu są łączone poprzez przełącznik 104b w układzie sumującym 115 dla dostarczania sygnału odtworzonej ramki odniesienia przez linię L'1, zapamiętanego jako poprzednia ramka w drugim układzie pamięciowym 130. Drugi układ pamięciowy 130 zawiera trzy pamięci 131, 132 i 133 ramek, które sąpołączone szeregowo, jak to pokazano na fig. 1. Znaczy to, że sygnał odtworzonej ramki z układu sumującego 115 jest najpierw pamiętany w pamięci 131 ramek i następnie dostarczany do układu kompensacji 150 ruchu przez linię L'2 i również przesuwany do drugiej pamięci 132 ramek na podstawie kolejnych ramek, jeżeli następny sygnał odtworzonej ramki z układu sumującego 115 jest wprowadzany do pierwszej pamięci 131 ramek. Ten proces jest powtarzany sekwencyjnie tak długo, aż zostanie dokonana operacja kodowania obrazów.

Na fig. 2A i 2B przedstawiono schematycznie, opisane powyżej, pierwszą i drugą, sekwencje ramek. W przypadku, gdy bieżąca ramka jest predykcyjną ramką P1, zespół wektorów SMV1 ruchu jest otrzymywany na podstawie kolejnych bloków, przy zastosowaniu odtworzonej ramki wewnętrznej I1 jako ramki odniesienia odzyskiwanej z drugiego układu pamięciowego 130. W podobny sposób zespół wektorów ruchu SMV2 i SMV3 dla bieżących ramek P2 i P3 jest otrzymywany przy zastosowaniu ramek odniesienia P1 i P2.

W przypadku, gdy bieżąca ramka jest ramką B1 dwukierunkowo predykcyjną, zespół wektorów FMV1 ruchu do przodu jest otrzymywany z punktów szczegółów obrazu przy zastosowaniu odtworzonej ramki odniesienia I1 odzyskiwanej z drugiego układu pamięciowego 130 ramek i pierwotnej ramki odniesienia I1 odzyskiwanej z pierwszego układu pamięciowego 120. W podobny sposób zespół wektorów BMV1 ruchu do tyłu dla bieżącej ramki B1 jest otrzymywany przy zastosowaniu pierwotnej ramki odniesinia P1 i odtworzonej ramki odniesienia P1. Następnie układ kodowania obrazu wybiera pomiędzy zespołem wektorów FMV1 ruchu do przodu i zespołem wektorów BMV1 ruchu do tyłu i przesyła odpowiednie wektory ruchu.

W przypadku, gdy bieżąca ramka jest ramką F1 predykcyjną przodu, zespół wektorów FMV2 mchu do przodu jest otrzymywany z punktów szczegółów obrazu przy zastosowaniu pierwotnej ramki odniesienia I1 odzyskiwanej z pierwszego układu pamięciowego 120 i odtworzonej ramki odniesienia F1 odzyskiwanej z drugiego układu pamięciowego 130.

Jak można zobaczyć z powyższego, w celu oceny i kompensacji ruchu, ramki zawarte w pierwszej i drugiej sekwencji ramek są umieszczone w pierwszym i drugim układach pamięciowych 120 i 130, jak to pokazano w tabelach I i II.

177 586

Tabela I

	Pierwsza sekwencja	amek
1	L	I1	P1	B1	P2	B2	P3	B3
2	L	X	©	P	B1	P	B2	P
3	L	X	X	©	©	B1	©	B2
4	L	X	X	X	I1	©	B1	©

Tabela II

	Druga sekwencja ramek
L 1	I1	F1	P1	F2	P2	F3	P3
L 2	X	©	F1	©	F2	©	F3
L 3	X	X	©	F1	©	F2	©
L 4	X	X	X	I1	F1	P1	F2

gdzie O oznacza ramkę stosowaną do oceny ruchu do przodu i Δ oznacza ramkę stosowaną do oceny ruchu do tyłu.

Jak widać z powyższego, predykcyjne ramki P1, P2, P3 są odtwarzane przy zastosowaniu kodowania predykcyjnego w oparciu o transformatę DTC, tak zwanego TMN4, wykorzystującego ocenę ruchu w oparciu o blok, a ramki interweniujące, to jest ramki B1, B2, B3 predykcyjne dwukierunkowo lub ramki F1, F2, F3 predykcyjne do przodu są odtwarzane przy zastosowaniu poprawionej dyskretnej transformaty cosinus (MC-DTC) do kompensacji ruchu w oparciu o punkt szczegółu obrazu.

Na fig. 3 są przedstawione szczegóły układu kompensacji 150 ruchu pokazanego na fig. 1. Jak pokazano na fig. 3, układ kompensacji 150 ruchu zawiera selektory wejściowe 154, 155 i 156, obwód kompensacji 151 ruchu w oparciu o blok, pierwszy obwód kompensacji 152 ruchu w oparciu o punkt szczegółu obrazu, drugi obwód kompensacji 153 ruchu w oparciu o punkt szczegółu obrazu i selektory wyjściowe 157 i 158.

Obwód kompensacji 151 ruchu w oparciu o blok, wykorzystujący konwencjonalny algorytm dopasowania bloku, służy do detekcji zespołu wektorów ruchu dla każdej z predykcyjnych ramek P1, P2, P3 i do wytwarzania przewidywanej, bieżącej ramki dla odpowiedniej predykcyjnej ramki. W przypadku, gdy predykcyjna ramka P1, jak opisana w tabelach I i II, jest dostarczana jako bieżąca ramka do obwodu kompensacji 151 ruchu w oparciu o blok, pierwszy selektor wejściowy 154 służy do doprowadzania odtworzonej ramki wewnętrznej I1 linia L'2 jako ramki odniesienia do obwodu kompensacji 151 ruchu w oparciu o blok. W obwodzie kompensacji 151 ruchu w oparciu o blok jest oceniany zespół wektorów ruchu i wytwarzany ffl 586 jest na podstawie tego sygnał przewidywanej, bieżącej ramki. Następnie zespół wektorów ruchu i sygnał przewidywanej, bieżącej ramki jest odpowiednio doprowadzany przez selektory wyjściowe 157 i 158 liniami L20 i L30.

Pierwszy obwód kompensacji 152 ruchu w oparciu o punkt szczegółu obrazu, wykorzystujący podobną transformatę jak opisana dalej, służy do detekcji zespołu ocenianych wektorów ruchu do przodu dla każdej ramki B1, B2, B3 predykcyjnej dwukierunkowo lub ramki F1, F2, F3 predykcyjnej .do przodu i dla wytwarzania przewidywanej, bieżącej ramki dla odpowiedniej ramki predykcyjnej dwukierunkowo lub do przodu. Wobec tego, gdy ramka B1 predykcyjna dwukierunkowo na linii L1 jest dostarczana jako bieżąca ramka do pierwszego obwodu kompensacji 152 ruchu w oparciu o punkt szczegółu obrazu, drugi selektor wejściowy 155, jak pokazany w tabeli I, służy do doprowadzania pierwotnej ramki wewnętrznej I1 linią L2 jako pierwotna ramka odniesienia do pierwszego obwodu kompensacji 152 ruchu w oparciu o punkt szczegółu obrazu. Trzeci selektor wejściowy 156 służy do doprowadzania odtworzonej ramki wewnętrznej I1 limą L'2 jako odtworzonej ramki odniesienia do pierwszego obwodu kompensacji 152 ruchu w oparciu o punkt szczegółu obrazu dla wytworzenia przewidywanej ramki. W pierwszym obwodzie kompensacji 152 ruchu w oparciu o punkt szczegółu obrazu jest oceniany zespół ocenianych wektorów ruchu do przodu, przy zastosowaniu ramek odtwarzanej i pierwotnej odniesienia, a przewidywany, bieżący sygnał ramki jest wytwarzany przy zastosowaniu odtwarzanej ramki odniesienia. Następnie zespół ocenianych wektorów ruchu do przodu i sygnał przewidywanej, bieżącej ramki są odpowiednio doprowadzane przez selektory wyjściowe 157 i 158 liniami L20 i L30, przy czym selektory wyjściowe 157 i 158 są sterowane przez sygnał sterujący CS5 i CS6 z nie pokazanego na rysunku sterownika urządzenia.

Drugi obwód kompensacji 153 ruchu w oparciu o punkt szczegółu obrazu, wykorzystujący podobną transformatę opisaną dalej, służy do detekcji zespołu ocenianych wektorów ruchu do tyłu dla każdej z ramek B1, B2, B3 predykcyjnych dwukierunkowo i do wytwarzania przewidywanej, bieżącej ramki dla odpowiedniej ramki predykcyjnej dwukierunkowo. Wobec tego, gdy ramka B1 predykcyjna dwukierunkowo jest dostarczana jako bieżąca ramka do drugiego obwodu kompensacji 153 ruchu w oparciu o punkt szczegółu obrazu, pierwotna predykcyjna ramka P1 na linii L2 jest doprowadzana jako pierwotna ramka odniesienia do drugiego obwodu kompensacji 153 ruchu w oparciu o punkt szczegółu obrazu i odtworzona, predykcyjna ramka P1 na linii L'2 jest doprowadzana jako odtworzona ramka odniesienia do drugiego obwodu kompensacji 153 ruchu w oparciu o punkt szczegółu obrazu. W drugim obwodzie kompensacji 153 ruchu w oparciu o punkt szczegółu obrazu jest otrzymywany zespół ocenianych wektorów ruchu do tyłu, przy zastosowaniu ramek odtworzonej i pierwotnej odniesienia, a sygnał przewidywanej, bieżącej ramki jest tworzony przy zastosowaniu odtworzonej ramki odniesienia. Zatem zespół ocenianych wektorów ruchu do tyłu i sygnał przewidywanej, bieżącej ramki są odpowiednio doprowadzane przez selektory wyjściowe 157 i 158 liniami L20 i L30. .

Na figurze 4 jest przedstawiony schemat układu kompensacji ruchu w oparciu o punkt szczegółu obrazu. Sygnał odtworzonej ramki odniesienia na linii L'2 z drugiego układu pamięciowego 130 jest wprowadzany do bloku selekcji 210 punktu szczegółu obrazu dla wytwarzania zespołu punktów szczegółów obrazu i bloku kompensacji 240 ruchu. Zespół punktów szczegółów obrazu jest następnie doprowadzany do bloku przeszukiwania 230 wektora ruchu i bloku kompensacji 240 ruchu. Blok przeszukiwania 230 wektora ruchu odbiera pierwotną ramkę odniesienia i bieżącą ramkę oraz służy do wytwarzania zespołu wektorów ruchu dla zespołu punktów szczegółów obrazu. Zespół wektorów ruchu jest dostarczany do bloku kompensacji 240 ruchu, który służy do wytwarzania przewidywanej, bieżącej ramki w oparciu o zespół wektorów ruchu i zespół punktów szczegółów obrazu.

W bloku selekcji 210 punktu szczegółu obrazu jest wybierany zespół punktów szczegółów obrazu spośród wielokrotnych pikseli zawartych w odtworzonej ramce odniesienia, przy czym każdy z punktów szczegółów obrazu jest określony w warunkach położenia piksela. Przykładowa bieżąca ramka i odtworzona ramka odniesienia są pokazane na figurach 5A i 5B.

177 586

Na figurach 6A do 6E są przedstawione przykładowe obrazy przedstawiające proces selekcji punktu szczegółu obrazu. Jak pokazano na fig. 6A, wykrywane są krawędzie w odtwarzanej ramce odniesienia^ (χ, y) pokazanej na fig. 5B, przy zastosowaniu znanego detektora krawędzi Sobela. Wyjście 1 Vp (x, y) | z operatora Sobela jest porównywane z określoną wartością progowa Te. Określona wartość progowa Te jest korzystnie wybrana jako 6. Jeżeli wartość wyjściowa | Vp (x, y) | z operatora Sobela jest mniejsza niż określona wartość progowa Te, wartość wyjściowa | Vp (x, y) | jest ustawialna na 0. Inaczej wartość wyjściowa | Vjp (x, y) | może być niezmieniona. Zatem sygnał obrazu krawędzi eg (xy) pokazanego na fig. 6A jest określony jak następuje:

0, }ezeli jVp(x,y)|<Te eg(x,y)= ' |Vp(x,y) w innym przypadku

W korzystnym wykonaniu punkty szczegółów obrazu są określane przy zastosowaniu techniki siatkowej wykorzystującej siatkę heksagonalną mającą wiele pokrywających się sześciokątów, jak pokazane na fig. 6B. Jak pokazano na fig. 6C, sześciokąt 610 jest określony przez liniowe segmenty łączące siedem punktów siatkowych 611 do 617. Punkt siatkowy 617 zawarty w sześciokącie 610 obejmuje więcej sąsiednich punktów siatkowych 611 do 616 niż czworokąt, umożliwiając przez to bardziej skuteczne zorganizowanie punktów szczegółów obrazu. Sześciokąt 610 zawiera sześć nie pokrywających się trójkątów 621 do 626 i punkty siatkowe 611 do 617 są wierzchołkami trójkątów 621 do 626. Rozkład sześciokąta 610 jest określony przez linie hH i HV, które są korzystnie ustawione na 13 i 10.

Na fig. 6D dla każdego z punktów siatkowych, na przykład G1 do G4, są określane nie pokrywające się zakresy przeszukiwania, na przykład SR1. Punkt krawędziowy, na przykład E7 umieszczony w zakresie przeszukiwania SR1, staje się punktem szczegółu obrazu dla punktu siatkowego, na przykład G1, jeżeli wartość ośmiu pikseli otaczających punkt krawędziowy, na przykład E7, jest maksymalna. Wobec tego punkt Dj szczegółu obrazu może być przedstawiony jak następuje:

Dl = y)|Max2 Σ ^EG(^X + k. y + 1) I ¢ = -11 = -1 , gdzie EG (x, y) jest wartością punktu krawędziowego zawartego w obszarze przeszukiwania SRi, a i jest dodatnią liczbą całkowitą.

Zespół punktów szczegółów obrazu jest określony przy zastosowaniu powyższego równania, w którym zespół szczegółów obrazu zawiera punkt siatkowy pokrywający punkt krawędziowy, przy czym punkt krawędziowy jest umieszczony w nie pokrywającym się obszarze przeszukiwania SRi i ma maksymalną wartość sumowania otaczających go punktów pikseli, a wymieniony punkt siatkowy nie ma żadnego punktu krawędziowego zawartego w jego nie pokrywającym się zakresie przeszukiwania.

Jeżeli istnieje więcej niż jeden punkt krawędziowy o jednakowej maksymalnej wartości sumowania, wówczas punkt krawędziowy najbliższy punktowi siatkowemu jest wybrany jako punkt szczegółu obrazu.

177 586

W przypadku, gdy jest określony zespół punktów szczegółów obrazu, sześciokątna siatka pokazana na fig. 6B jest odkształcana jako sześciokątna siatka punktów szczegółów obrazu na fig. 6E. Po określeniu sześciokątnej siatki punktów szczegółów obrazu, zespół punktów szczegółów obrazu jest dostarczany do bloku przeszukiwania 230 wektora ruchu, pokazanego na fig. 4, który służy do detekcji zespołu wektorów ruchu. Do przeszukiwania zespołu wektorów ruchu jest stosowany proces zbieżności wykorzystujący podobną transformatę.

Na figurach 7A i 7B jest przedstawiony przykładowy schemat ilustrujący proces przeszukiwania wektora ruchu. Zespół punktów pseudoszczegółów obrazu jest określony w bieżącej ramce przy zastosowaniu zespołu punktów szczegółów obrazu, przy czym każdy z punktów szczegółów obrazu w odtwarzanej ramce odniesienia jest nanoszony na odpowiedni punkt pseudoszczegółu obrazu w bieżącej ramce. Dla każdego z punktów pseudoszczegółów obrazu, od D1 do D30, wektor ruchu początkowego jest nastawiany na (00).

W przypadku, gdy punkt pseudoszczegółu obrazu, na przykład D7, jest następnie przydzielony lub ustalony jako punkt pseudoszczegółu obrazu przedmiotu, przetwarzany dla oceny jego wektora ruchu, bieżący wielobok 700 tego przedmiotu jest stosowany w procesie zbieżności. Bieżący wielobok 700 przedmiotu jest określony przez segmenty liniowe łączące punkty D7 pseudoszczegółów obrazu przedmiotu i sąsiednie punkty pseudoszczegółów obrazu Dl do D6, które otaczają punkt D7 pseudoszczegółu obrazu przedmiotu. Bieżący wielobok 700 zawiera sześć nie pokrywających się trójkątów 701 do 706, przy czym punkt pseudoszczegółu obrazu przedmiotu jest umieszczony we wspólnym wierzchołku trójkątów.

Określona liczba kandydujących wektorów ruchu jest następnie dodawana sekwencyjnie do początkowego wektora ruchu punktu D7 pseudoszczegółu obrazu, przy czym określona liczba kandydujących wektorów ruchu jest wybrana korzystnie w zakresie od 0 do ±7, poziomo i pionowo, a kandydujący wektor ruchu D7Y1 nie jest dopuszczony, ponieważ trójkąt 701 jest odwrócony. Kandydujący wektor ruchu D7X1 jest dodawany do początkowego wektora punktu D7 pseudoszczegółu obrazu bez zmiany początkowych wektorów ruchu sześciu sąsiednich punktów D1 do P6 szczegółów obrazu w celu wytwarzania aktualizowanego, początkowego wektora ruchu D7D'7. Zatem aktualizowany, początkowy wektor ruchu D7D'7 reprezentuje przemieszczenie pomiędzy punktem D7 pseudoszczegółu obrazu przedmiotu i kandydującym punktem D'7 pseudoszczegółu obrazu.

Przewidywane położenie dla każdego z pikseli zawartych w bieżącym wieloboku 700 przedmiotu jest określone na pierwotnej ramce odniesienia przy zastosowaniu aktualizowanego, początkowego wektora ruchu i początkowych wektorów sąsiednich punktów pseudoszczegółów obrazu. Następnie każde z położeń pikseli zawartych w bieżącym wieloboku 700 przedmiotu jest interpolowane przez wartość piksela na pierwotnej ramce odniesienia odpowiadającej przewidywanemu położeniu dla utworzenia przewidywanego, bieżącego wieloboku przedmiotu. Proces ten jest realizowany przez znaną, podobną transformatę w każdym z trójkątów, na przykład 701, który ma trzy punkty szczegółów obrazu, np. D1, D2, D7, jako wierzchołki. Podobna transformata jest określona jak następuje:

X¹		a b	o	X	+	e
/j		c d		y		f

gdzie (x, y) reprezentuje współrzędne x i y piksela w przewidywanym, bieżącym wieloboku przedmiotu, (x', y') oznacza współrzędne przewidywanego położenia na pierwotnej ramce odniesienia, natomiast a do f są współczynnikami transformaty.

Sześć naniesionych parametrów a, b, c, d, e, f jest charakterystycznie określonych przy zastosowaniu wektorów ruchu trzech punktów pseudoszczegółów obrazu, na przykład D1, D2, D7. Po poznaniu współczynników transformaty, każdy z pozostałych pikseli w trójkącie 701 może być naniesiony w danym położeniu w pierwotnej ramce odniesienia. Ze względu na to, że otrzymane, przewidywane położenia (x', y') pierwotnej ramki odniesienia nie jest zespołem

177 586 liczb całkowitych w większości przypadków, stosowana jest znana technika interpolacji bilinearnej do obliczania interpolowanego poziomu szarości w przewidywanym położeniu (x', y'). Proces nanoszenia jest stosowany niezależnie dla trójkątów 701 do 706. Otrzymany jest następnie przewidywany, bieżący wielobok przedmiotu dla kandydującego wektora ruchu.

Przewidywany, bieżący wielobok przedmiotu jest następnie porównywany z bieżącym wielobokiem 700 i jest sprawdzane, czy współczynnik sygnału szczytowego do szumu (PSNR) przewidywanego, bieżącego wieloboku przedmiotu i bieżącego wieloboku jest zwiększony. Jeżeli ma to miejsce, początkowy wektor ruchu (0, 0) punktu D7 pseudoszczegółu przedmiotu jest aktualizowany przez aktualizowany, początkowy wektor ruchu D7D'7.

Dla pozostałych kandydujących wektorów ruchu proces jest powtarzany. Powyższy proces jest także realizowany we wszystkich punktach pseudoszczegółów obrazu zawartych w wymienionej bieżącej ramce w jednej interakcji.

Na fig. 7B, przy założeniu, że jedna interakcja jest zakończona, punkt D7 pseudoszczegółu obrazu jest ustawiany na punkt pseudoszczegółu przedmiotu, a aktualizowane, początkowe wektory· ruchu dU sąsiednich punktów D1 do D6 pseudoszczegółów obrazu są D1D'l, D2D'2, D3D’3, D4D'4, D5D'5 i Dńb^ i w podobny sposób określone kandydujące wektory ruchu są dodawane sekwencyjnie do początkowego wektora punktu D7D'7 pseudoszczegółu obrazu przedmiotu. Dla przykładu, kandydujący wektor ruchu D'7X2 jest dodawany do początkowego wektora punktu D7D'7 pseudoszczegółu obrazu przedmiotu bez zmiany początkowych wektorów ruchu sześciu sąsiednich punktów D1D'1, D2D'2, D3D'3, D4D'4, D5D'5, D6d6 szczegółów obrazu. Wobec tego aktualizowany, początkowy wektor ruchu staje się D7X2. Określona liczba kandydujących wektorów ruchu, jak opisano powyżej, jest wybierana korzystnie w zakresie od 0 do ±7, poziomo i pionowo, a kandydujący wektor ruchu D7Y2 nie jest dopuszczony, ponieważ trójkąt 701 jest odwrócony.

Przewidywane położenie dla każdego z pikseli, zawarte w bieżącym wieloboku 700 przedmiotu jest określone na pierwotnej ramce odniesienia przy zastosowaniu aktualizowanego wektora ruchu D7X2 i początkowych wektorów sąsiednich punktów D1D'1, D2D'2, D3D'3, D4D'4, D5D'5 i D6D'6 pseudoszczegółów obrazu. Następnie każde z położeń pikseli zawartych w bieżącym wieloboku 700 przedmiotu jest interpolowane przez wartość pikselu na pierwotnej ramce odniesienia odpowiadającej przewidywanemu położeniu dla utworzenia przewidywanego, bieżącego wieloboku 700' przedmiotu (reprezentowanego przez linie zarysu pokazaną na fig. 7B).

Przewidywany, bieżący wielobok 700' przedmiotu jest następnie porównywany z bieżącym wielobokiem i sprawdza się, czy współczynnik PSNR przewidywanego, bieżącego wieloboku przedmiotu i bieżącego wieloboku jest zwiększony. Jeżeli ma to miejsce, początkowy wektor ruchu punktu D7D'7 pseudoszczegółu obrazu przedmiotu jest aktualizowany przez aktualizowany, początkowy wektor ruchu D7X2.

Dla pozostałych kandydujących wektorów ruchu proces jest powtarzany. Powyższy proces jest także realizowany we wszystkich punktach pseudoszczegółów obrazu zawartych w bieżącej ramce w drugiej interakcji.

Ten proces jest także wykonywany względem wszystkich punktów pseudoszczegółów obrazu kilka razy, aż zostanie osiągnięta zbieżność. Korzystnie interakcja dla procesu jest ustalana na pięć razy, ponieważ w większości przypadków wektory ruchu zbiegają się przed piątą interakcją.

Jak widać z powyższego, w procesie zbieżności przemieszczenie każdego z punktów szczegółów obrazu jest nadawane jego wektorowi ruchu i sześć trójkątów każdego wieloboku jest podobnie przekształcanych niezależnie przy zastosowaniu przemieszczeń punktów wierzchołkowych szczegółów obrazu. Jeżeli przemieszczenie zapewnia lepszy współczynnik PSNR, wektor ruchu punktu szczegółu obrazu przedmiotu jest aktualizowany sekwencyjnie. Wobec tego proces zbieżności jest bardzo skuteczny w procesie dopasowania dla określenia przewidywanego obrazu tak blisko, jak jest to możliwe, do pierwotnego obrazu mającego przedmioty o zmiennej ogniskowej, obrotowe lub skalujące.

Proces ten można dokonać w trzech etapach. Punkty pseudoszczegółów obrazu oznaczone przez D1, D3 i D5, pokazane na fig. 7A, które tworzą nie pokrywające się, bieżące

177 586 wieloboki przedmiotu, są najpierw przetwarzane równocześnie przy zastosowaniu każdego z 6 sąsiednich punktów szczegółów obrazu (D2, D7, D6, D10, D11, D17), (D2, D4, D7, D12, D13, D19), (D4, D6, D7, D8, D9, D15). Ten sam proces jest powtarzany następnie dla punktów D2, D4 i D6. W ostatnim etapie są ostatecznie przetwarzane pozostałe punkty D7, D8 i D9.

Na fig. 4 otrzymane wektory ruchu dla wszystkich punktów pseudoszczegółów obrazu są następnie doprowadzane jako zespół wektorów ruchu dla wszystkich punktów szczegółów obrazu do bloku kompensacji 240 ruchu, który służy do wytwarzania sygnału przewidywanej, bieżącej ramki, przy zastosowaniu odtwarzanej ramki odniesienia. Oznacza to, że sygnał przewidywanej, bieżącej ramki jest otrzymywany przez podobną transformatę wykorzystującą odtworzoną poprzednią ramkę i otrzymywane wektory ruchu. Widać z powyższego, że to jest takie samo nanoszenie punktów, jak przy zastosowaniu podobnej transformaty stosowanej w procesie przeszukiwania wektorów ruchu, oprócz tego, że zamiast pierwotnej ramki odniesienia jest stosowana odtwarzana ramka odniesienia. Z drugiej strony, wytwarzając bardzo dobry obraz przy zastosowaniu tylko wektorów ruchu, sygnał różnicowy lub błędu pomiędzy bieżącą ramką i przewidywaną bieżącą ramką może nie być przesyłany.

Algorytm kompensacji ruchu w oparciu o punkt szczegółu obrazu jest oparty na szczegółach obrazu, a transformacja jest wykorzystywana do kompensacji obracania i zmiany ogniskowania przedmiotu. W większości przypadków obrazy kompensowane ruchem mają większy współczynnik PSNR przy dobrej jakości subiektywnej. Jeżeli przewidywanie ruchu pogarsza się w przypadkach ruchu o dużej skali, błędny obraz może być kodowany i przesyłany przy zastosowaniu transformaty DCT o dużym stopniu kwantowania. Szczególnie dobra jakość subiektywna jest otrzymywana przy zastosowaniu szybkości transmisji danych równej 24 Kb/s. Ponadto, ponieważ położenia punktów szczegółów obrazu zmieniają się dla kolejnych ramek wykorzystuje się, jako ramkę odniesienia, odtworzoną poprzednią ramkę tak, że nie jest potrzebne przesyłanie informacji o położeniu punktów szczegółów obrazu. Ponadto ta kompensacja ruchu przy pomocy pikseli daje lepszą jakość subiektywną niż kompensacja ruchu w oparciu o blok, ponieważ można kompensować zmianę ogniska, obracanie i skalowanie przedmiotów przy zastosowaniu transformaty, przy pomocy tylko wektorów ruchu.

ΠΊ 586

FIG . 7A

702

706

1ΊΊ 586

FIG. 6E

ΙΊΊ 586

FIG. 6C

FIG. 6D

		/ / /	/			\ \ s \	z / /
		/ 1 1 1		β-ij	SR	1 ,>	/		G3

		\ \ \				l	£10	E11	E12
X X				E7	E8,	P-	\ ------	•N.
/' / / 1	E4	E5		\ \ \	x' X z z			X- \	\ \
	E3	G5		ł I I	/		G4		\ t ł 1
	E2			/ / / /	\ \				1 1 ! /

177 586

FIG. 6A

FIG. 6B

177 586

FIG. 5A

FIG. 5B

177 586

ODTWORZONA

RAMKA

ODNIESIENIA

210 _

BLOK

SELEKCJI

PUNKTU

PUNKT

SZCZEGÓŁU

OBRAZU

230

BLOK ΗδΕ3&ΚΒΦΝΙ? SEKTORA RUCHU

PIERWOTNA RAMKA ODNIESIENIA

BIEŻĄCĄ RAMKA

	240 _
	BLOK KOMPENSACJI RUCHU

PRZEWIDYWANA BIEŻĄCĄ RAMKA

WEKTORY RUCHU

177 586

FIG .3

L2 L'2

177 586

FIG. 2A

SMV1 SMV2 SMV3

FIG. 2B

FMV1

177 586

SYGNAŁ

Departament Wydawnictw UP RP. Nakład 70 egz.

Cena 4,00 zł.

Claims

Zastrzeżenia patentowe

1. Sposób kodowania sygnału wizyjnego z oceną ruchu opartą o punkty szczegółu obrazu, w którym wykrywa się zespół wektorów ruchu pomiędzy bieżącą ramką, i ramką odniesienia sygnałów wizyjnych, przy czym ramka odniesienia zawiera odtworzoną ramkę odniesienia i pierwotną ramkę odniesienia zaś zespół wektorów ruchu wykorzystuje się do wytworzenia przewidywanej ramki, znamienny tym, że przeprowadza się selekcję zespołu punktów szczegółu obrazu z pikseli zawartych w odtworzonej ramce odniesienia, w której zespół punktów szczegółów obrazu tworzy siatkę wieloboczną mającą wiele poprzednich, pokrywających się nawzajem wieloboków, określa się zespół punktów pseudoszczegółów obrazu na bieżącej ramce w oparciu o zespół punktów szczegółów obrazu, w którym zespół punktów pseudoszczegółów obrazu formuje bieżącą siatkę mającą wiele aktualnych, pokrywających się nawzajem wieloboków, przypisuje się zespół wektorów początkowych ruchu zespołowi punktów pseudoszczegółów obrazu, przy czym każdy z wektorów początkowych ruchu jest ustalany na (0,0), wyznacza się jeden z punktów pseudoszczegółów obrazu jako przedmiotowy punkt pseudoszczegółu obrazu, przy czym przedmiotowy punkt pseudoszczegółu obrazu ma liczbę N sąsiednich punktów pseudoszczegółów obrazu, które tworzą przedmiotowy bieżący wielobok określony przez liniowe segmenty łączące przedmiotowy punkt pseudoszczegółu obrazu i liczbę N sąsiednich punktów pseudoszczegółów obrazu, przy czym N jest liczbą całkowitą dodatnią, dodaje się sekwencyjnie wektor początkowego ruchu przedmiotowego punktu pseudoszczegółu obrazu do liczby M kandydujących wektorów ruchu i wytwarza się liczbę M aktualizowanych wektorów początkowych ruchu, gdzie M jest dodatnią liczbą całkowitą, przy czym liczba M kandydujących wektorów ruchu pokrywa określony obszar w przedmiotowym bieżącym wieloboku i wektory początkowe ruchu sąsiednich punktów szczegółów obrazu są ustalone, następnie określa się przewidywane położenie na pierwotnej ramce odniesienia dla każdego piksela zawartego w przedmiotowym, bieżącym wieloboku w oparciu o każdą liczbę M aktualizowanych wektorów początkowych ruchu dla przedmiotowego punktu pseudoszczegółu obrazu i liczbę N wektorów początkowych ruchu sąsiednich punktów pseudoszczegółów obrazu, wprowadza się przewidywaną wartość piksela dla każdego piksela w oparciu o przewidywane położenie z pierwotnej ramki odniesienia dla tworzenia liczby M przewidywanych, przedmiotowych, bieżących wieloboków, oblicza się różnicę pomiędzy bieżącym wielobokiem i każdym z przewidywanych, przedmiotowych, bieżących wieloboków dla wytwarzania liczby M współczynników sygnału szczytowego do szumu (PSNR), oraz dokonuje się selekcji jednego z aktualizowanych wektorów ruchu jako wybranego, aktualizowanego wektora ruchu, który daje przewidywany, przedmiotowy, bieżący wielobok mający maksymalne współczynniki PSNr, dla aktualizacji wektora początkowego ruchu przedmiotowego punktu pseudoszczegółu obrazu przez wybrany, aktualizowany wektor ruchu, następnie powtarza się etapy kodowania sygnału wizyjnego od etapu wyznaczania jednego z punktów pseudoszczegółów obrazu jako przedmiotowego punktu pseudoszczegółu obrazu, aż wszystkie wektory początkowe ruchu zostaną zaktualizowane, po czym ten ostatni etap powtarza się zadaną liczbę razy, ustala się zespół wektorów początkowych jako wektorów ruchu i tworzy się z niego zespół wektorów ruchu.
2. Sposób według zastrz. 1, znamienny tym, że na etapie selekcji zespołu punktów szczegółu obrazu z pikseli zawartych w odtworzonej ramce odniesienia, wykrywa się obraz krawędzi odtwarzanej ramki odniesienia, przy czym obraz krawędzi eg (x, y) jest określony jak następuje:

0, jeżeli |Vp(x,y)|<Te eg(x,y)= -¹ |Vp(x,y)|, w innym przypadku

177 586 gdzie p (x, y) reprezentuje ramkę odniesienia, | Vp(x, y) | oznacza wyjście z operatora Sobela i Te jest zadaną wartością progową, ustala się wieloboczną siatkę na obrazie krawędzi, przy czym siatka wieloboczną zawiera pewną liczbę punktów siatki dla tworzenia wielu pokrywających się nawzajem wieloboków, przypisuje się nie pokrywający się obszar przeszukiwania każdemu z punktów siatki i określa się zespół punktów szczegółów obrazu, w którym każdy punkt szczegółu obrazu jest punktem siatki pokrywającej punkt krawędziowy, przy czym punkt krawędziowy jest umieszczony w nie pokrywającym się obszarze przeszukiwania i ma maksymalną wartość sumowania otaczających punktów pikseli, lub punkt siatki nie ma żadnego punktu krawędziowego zawartego w nie pokrywającym się obszarze przeszukiwania.
3. Sposób według zastrz. 2, znamienny tym, że zespół punktów szczegółów obrazu zawiera punkt krawędziowy najbliższy siatce wielobocznej, gdy więcej niż jeden punkt krawędziowy mający jednakową maksymalną wartość sumowania pojawia się w obszarze przeszukiwania.
4. Sposób według zastrz. 3, znamienny tym, że jako poprzedni i bieżący wielobok stosuje się sześciobok i N równe 6.
5. Sposób według zastrz. 4, znamienny tym, że przedmiotowy, bieżący sześciobok zawiera sześć trójkątów, które określa się przez liniowe segmenty łączące przedmiotowy punkt pseudoszczegółu obrazu i sąsiednie punkty pseudoszczegółów obrazu, przy czym etapy określania przewidywanego położenia na pierwotnej ramce odniesienia dla każdego piksela zawartego w przedmiotowym, bieżącym sześcioboku oraz wprowadzania przewidywanej wartości piksela dla każdego piksela realizuje się przy zastosowaniu podobnej transformaty.
6. Sposób według zastrz. 5, znamienny tym, że stosuje się liczbę otaczających punktów pikseli równą 8, zadaną liczbę powtórzeń równą 5 i zadaną wartość progową równą 6.
7. Sposób według zastrz. 6, znamienny tym, że stosuje się zadany obszar w zakresie od 0 do +7, poziomo i pionowo.
8. Sposób według zastrz. 7, znamienny tym, że punkt Di szczegółu obrazu określa się jak następuje:

Di (x, y)(Max^ Σ EG(x + k, y + 1) lc = -11 = -1 gdzie EG (x, y) jest wartością punktu krawędziowego zawartego w obszarze przeszukiwania zaś indeks i punkt Di szczegółu obrazu jest dodatnią liczbą całkowitą.