PL182578B1 - Sposób i urządzenie do kodowania obrazów - Google Patents

Abstract

1. Sposób kodowania obrazów zawie- rajacych obszary istotnych danych oraz obszary nieistotnych danych, w którym identyfikuje sie nieistotne dane, znamien- ny tym, ze zastepuje sie (4) przynajmniej nieistotne dane za granica (13) miedzy ob- szarami danych przez dane pseudoobrazu i uzyskuje sie plynne przejscie miedzy ob- szarami istotnych i nieistotnych danych obrazu. F IG .1 (13) B1 PL

Description

Przedmiotem wynalazku jest sposób i urządzenie do kodowania obrazów. Podczas kodowania uwzględnia się obszary istotnych i nieistotnych danych obrazowych i identyfikuje się dane nieistotne.

Obrazy wizyjne mają zazwyczaj kształt prostokątny, chociaż użytkownik nie zawsze jest zainteresowany całym, prostokątnym obszarem obrazu. Na przykład informacja istotna z medycznego punktu widzenia jest często zawarta w kołowych obszarach obrazów medycznych. Obrazy takie wykazują ostre przejście między tymi kołowymi obszarami, a nieistotnym (zwykle czarnym) tłem. Niemiecki opis patentowy DE 36 13 759 ujawnia sposób zapisu tego typu obrazów. Kompresja danych jest uzyskiwana, w tym przypadku, przez pomijanie pikseli nieistotnych obszarów obrazu. Granica między obszarem istotnym i nieistotnym jest z góry znana, tak w przypadku nadajnika jak i odbiornika. Dzięki temu w odbiorniku jest określona pozycja wyświetlania na ekranie każdego odebranego piksela. Praktyczny przykład realizacji układu wykrywania granicy - nagłych przejść od (czarnych) pikseli o wartości tła do pikseli istotnych i vice versa - został ujawniony w opisie patentowym US 5 014 198.

Obrazy wizyjne są obecnie kodowane i poddawane kompresji przy użyciu takich sposobów kodowania jak metoda transformacji bloków lub DPCM, które wykorzystują korelację między sąsiednimi pikselami obrazu. Takie sposoby wymagają znacznej liczby bitów do kodowania ostrych przejść między sąsiednimi pikselami. Granice między istotnymi, a nieistotnymi obszarami obrazu znacząco wpływają na efektywność kodowania w przypadku wyżej wymienionych obrazów.

W opisie patentowym US 5 267 333 zostało ujawnione urządzenie do syntezy obrazu ze zbioru danych obrazowych. Natomiast w opisie patentowym US 5 422 964 ujawniono sposób kodowania i dekodowania obrazów cyfrowych za pomocą transformacji bloków pikseli umożliwiającej redukcję szybkości transmisji. Transformacja bloków wywołuje nieciągłość poziomu jaskrawości dla pikseli sąsiadujących z granicą bloku. Nieciągłości dla każdego granicznego piksela są wykrywane za pomocą zmiany znaku dwóch gradientów poziomu, wyliczanych odpowiednio dla poziomów dwóch pikseli sąsiadujących z pikselem granicznym.

W opisie patentowym US 5 212 565 zostało ujawnione przekształcanie obszaru danych obrazowych z pola danych bez kompresji w cyfrowe dane binarne, podzielone na subsekcje

182 578 bloków bitów. Subsekcje poddaje się kompresji, w której każda subsekcja jest reprezentowana w kategorii wartości jej danych dominujących plus wystąpienia danych nie redundantnych.

Sposób kodowania obrazów zawierających obszary istotnych danych oraz obszary nieistotnych danych, w którym identyfikuje się nieistotne dane, według wynalazku wyróżnia się tym, ze zastępuje się przynajmniej nieistotne dane za granicą między obszarami danych przez dane pseudoobrazu i uzyskuje się płynne przejście między obszarami istotnych i nieistotnych danych obrazu.

Granicę między obszarami istotnych oraz nieistotnych danych korzystnie wykrywa się i koduje.

Urządzenie do kodowania obrazów, zawierających obszary istotnych danych oraz obszary nieistotnych danych, wyposażone w zespół identyfikacji nieistotnych danych, według wynalazku wyróżnia się tym, ze zawiera zespół modyfikujący, do zastępowania przynajmniej nieistotnych danych za granicą między obszarami danych przez dane pseudoobrazu i wygładzenia przejścia między obszarami istotnych i nieistotnych danych. Urządzenie jest korzystnie zaopatrzone w zespół wykrywania granicy między obszarami istotnych oraz nieistotnych danych i zespół kodowania granicy między obszarami istotnych oraz nieistotnych danych.

Doświadczalnie sprawdzono, ze medyczne obrazy mogą być kodowane przy szybkości transmisji bitów mniejszej o 30%.

Podczas dekodowania rekonstruuje się ostre przejścia między istotnymi i nieistotnymi obszarami danych obrazu. Zrekonstruowany obraz ma taki sam wygląd jak obraz oryginalny, zwykle oglądany przez specjalistów.

Przedmiot wynalazku, w przykładzie wykonania, jest odtworzony na rysunku, na którym fig. 1 przedstawia schemat blokowy układu dostosowanego do kodowania i dekodowania obrazów zgodnie z wynalazkiem, fig. 2A do 2E - przebiegi sygnałów ilustrujące działanie przykładowej realizacji układu modyfikującego z fig. 1, a fig. 3A do 3C przedstawiają obszary obrazu ilustrujące działanie szczególnej realizacji układu modyfikującego z fig. 1.

Figura 1 przedstawia schemat blokowy układu dostosowanego do kodowania i dekodowania obrazów zgodnie z wynalazkiem. Prostokątny obraz, przeznaczony do zakodowania, jest oznaczony liczbą 1. Obraz składa się z kołowego obszaru 11, zawierającego istotne piksele i obszaru 12, zawierającego piksele nieistotne, jak pokazano na fig. 1. Granica między obszarami jest oznaczona liczbą 13. Od tego miejsca i dalej istotne piksele będą oznaczane jako x[i, j], a nieistotne jako y[i, j], Pseudopiksele będą oznaczone jako p[i, j].

Sygnał wizyjny podaje się do zespołu wykrywania granicy 2, który jest dostosowany do wykrywania granicy 13, na przykład wykrywania nagłych przejść od (czarnych) pikseli o wartości tła do pikseli istotnych i vice versa. Praktyczny przykład realizacji zespołu wykrywania granicy 2 jest znany. Granica 13 jest bezstratnie kodowana w zespole kodowania granicy 3 i przekazywana bądź nagrywana. Sposoby bezstratnego kodowania są znane. Na przykład kodowanie o zmiennej długości może być zastosowane do maski definiującej obszar nieistotnych pikseli. Jeśli obszar istotnych pikseli ma kształt koła, to wystarczy przekazanie danych o jego środku i promieniu.

Zespół wykrywania granicy 2 i zespół kodowania granicy 3 mogą być pominięte, jeśli granice są znane z góry.

Sygnał wizyjny podaje się dalej, do układu modyfikującego 4. Układ ten otrzymuje informację o granicy z zespołu wykrywania granicy 2 i określa, na jej podstawie, czy podany piksel jest pikselem istotnym i pochodzi z obszaru 11, czy tez jest pikselem nieistotnym, pochodzącym z obszaru 12. Nieistotne piksele są modyfikowane, jak to zostanie poniżej opisane. Następnie piksele są podawane do konwencjonalnego kodera obrazu, na przykład wykorzystującego metodę transformacji bloków lub DPCM. Zakodowana informacja o granicy B oraz informacja o obrazie I są zapisywane na nośniku informacji dla późniejszego wykorzystania, lub przekazywane do oddalonego odbiornika. Nośnik zapisu lub transmisji jest oznaczony liczbą 6.

Poniżej zostaną opisane przykłady wykonania układu modyfikującego 4, na podstawie ich odpowiednich sygnałów wyjściowych. Praktyczne układy mogą być łatwo zaprojektowane przez osoby znające sposoby przetwarzania sygnałów cyfrowych. Odpowiednie przebiegi sygnałów zostały pokazane na fig. 2A do 2E. Dla uproszczenia pokazano sygnały jednowy4

182 578 miarowe, chociaż należy zrozumieć, że operacja modyfikacji jest korzystnie stosowana w dwuwymiarowej przestrzeni obrazowej. Sygnał wejściowy, dla odniesienia, został przedstawiony na fig. 2A. Zawiera on szereg nieistotnych pikseli y[n] i szereg istotnych pikseli x[n]. Przyjęto, ze tło obrazu jest czarne, stąd wszystkie piksele y[n] mają wartość zero. Odpowiednie sygnały wyjściowe układu modyfikującego zostały pokazane na fig. 2B do 2E. Teraz odpowiednie sygnały wyjściowe zawierają szereg pseudopikseli p[n] i szereg istotnych pikseli x[n].

Przebieg, pokazany na fig. 2B, został uzyskany przez zastąpienie nieistotnych pikseli y[n] identycznymi pseudopikselami p[n], których wartość odpowiada pierwszemu istotnemu pikselowi x[n] poza granicą. W przebiegu, pokazanym na fig. 2C, pseudopiksele p[n] stopniowo zmieniają swoją wartość, od początkowej zero do wartości pierwszego istotnego piksela x[n] poza granicą. W przebiegu z fig. 2D nieistotna część obrazu stanowi zwierciadlane odbicie części istotnej. Dodatkowo, część pseudo-sygnałowa może zostać odfiltrowana przez filtr dolnoprzepustowy dla dalszego wygładzenia przejścia, co zapobiegnie pojawieniu się znaczących współczynników zmiennoprądowych i jeszcze podwyzszy efektywność kodowania. Przebieg, z fig. 2E przedstawia pseudopiksele p[n] uzyskane przez ekstrapolację pikseli x[n] z obszaru istotnego do nieistotnego.

Ekstrapolacja, pokazana na fig. 2E, zostanie teraz przedstawiona dla dwuwymiarowej przestrzeni obrazowej. Na fig. 3A do 3C pokazano lewy, górny róg prostokątnego obrazu. Blok pikseli 41, z fig. 3A, o odpowiednich rozmiarach (tu pokazano blok 4x4) jest tak wstępnie wybrany, aby zawierał pojedynczy nieistotny piksel 51 w lewym, górnym rogu. Nieistotny piksel y[i, j] jest następnie zamieniany na pseudopiksel p[i, j], mający średnią wartość wszystkich pozostałych pikseli w bloku. Matematyczny opis wygląda jak niżej:

p[i, j] = V x[n, m]

N 0.0 gdzie n i m (n, m = 0...N) określają położenie piksela w bloku NxN. Powyższa operacja jest powtarzana dla wszystkich nieistotnych pikseli y[i, j] wzdłuż granicy między istotnym obszarem 11, a nieistotnym obszarem 12, aż do przetworzenia ostatniego nieistotnego piksela 55. Blok 41 przesuwa się wzdłuz granicy, tak jak pokazuje strzałka 42. Blok może zawierać, w trakcie przetwarzania, uprzednio wygenerowane pseudopiksele, jak również jeszcze nie zastąpione piksele nieistotne. Podczas ekstrapolacji piksela 52 blok zawiera pseudopiksel 51. Nieistotny piksel 54 jest zawarty w bloku podczas przetwarzania piksela 53. Pseudopiksele są uwzględniane podczas uśredniania, a piksele nieistotne nie są.

Figura 3B przedstawia sytuację po zastąpieniu wszystkich granicznych pikseli y[i, j] przez pseudopiksele p[i, j] (zacienione). Blok przesuwa się wówczas, w odwrotnym kierunku, wzdłuż nowoutworzonej granicy. Fig. 3C przedstawia sytuację w następnym stopniu procesu. Nieistotny piksel 56 jest teraz zastępowany przez średnią pikseli z bloku 41 i bloku przesuwanego wzdłuz granicy w kierunku strzałki 43. W miarę postępu procesu ekstrapolacji coraz więcej pseudopikseli jest włączanych do bloku 41. Ostatecznie osiąga się wierzchołek 57 prostokątnego obrazu. Wówczas wszystkie pseudopiksele osiągną zbliżoną wartość. Obszar obrazu 12 może być, dzięki temu, bardzo efektywnie zakodowany. Obszar obrazu poddany ekstrapolacji może być dalej wygładzony za pomocą dwuwymiarowego filtra dolnoprzepustowego. Dzięki wygładzaniu ekstrapolowany obszar obrazu nie zawiera znacznych ilości energii.

Sposób dekodowania zostanie opisany na podstawie fig. 1. Konwencjonalny dekoder 7 (na przykład wykorzystujący metodę transformacji bloków lub DPCM) przeprowadza operację odwrotną do operacji przeprowadzanej przez koder 5 na wyjściu nadajnika. Dlatego dekoder 7 rekonstruuje piksele do stanu wysłanego przez nadajnik. Gdyby obraz w takim stanie został wyświetlony na ekranie, to pseudopiksele zostałyby również wyświetlone, dając obraz, z którym widz (w naszym przypadku specjalista medyczny) nie jest zaznajomiony. Dekoder granicy 8 otrzymuje słowo kodowe B, reprezentujące granicę między danymi istotnymi i pseudodanymi. W alternatywnym przypadku granice są znane z góry i zapisane lokalnie. Zdekodowane piksele i informacja o granicy są podawane do obwodu rekonstrukcji 9. Na

182 578 podstawie informacji o granicy obwód rekonstrukcji identyfikuje pseudopiksele p[i, j] i istotne piksele x[i, j]. Jak to zostanie wykazane dalej, obwód rekonstrukcji 9 nie oddziałuje na piksele inne niż pseudopiksele. Piksele pseudoobrazu zostają zastąpione przez założone dane obrazowe, na przykład czarne piksele. Tak zrekonstruowany obraz zawiera tak samo ostre granice jak obraz oryginalny.

Konwencjonalny koder wizyjny 5 (fig. 1) może być koderem wykorzystującym metodę transformacji bloków. W tym przypadku obraz jest dzielony na bloki, poddawane danej transformacji ortogonalnej, takiej jak dobrze znana dyskretna transformacja kosinusoidalna. Większość bloków będzie zawierała jedynie istotne piksele, inne tylko piksele nieistotne, a tak zwane bloki mieszane będą zawierały istotne i nieistotne dane obrazowe. Wyżej opisana zamiana nieistotnych pikseli na pseudopiksele dotyczy jedynie mieszanych bloków. Bloki zawierające jedynie piksele nieistotne w ogóle nie muszą być transformowane. Mogą być albo zignorowane, albo zakodowane jako pojedynczy, stały współczynnik (korzystnie zero, to znaczy czarne).

Podsumowując, ujawniono sposób kodowania obrazów zawierających obszary istotnych i nieistotnych pikseli (to znaczy tła). Piksele z nieistotnego obszaru są zastępowane przez piksele wygładzające przejście między obszarami. Talk otrzymany obraz jest następnie poddawany konwencjonalnemu kodowaniu obrazu, które obecnie generuje znacznie mniej bitów.

Na wyjściu odbiornika pseudopiksele są zastępowane przez założone piksele tła, dla rekonstrukcji oryginalnych granic. Jeśli granica między obszarami nie jest znana z góry, to wykrywa się ją, koduje i przekazuje do odbiornika. Wynalazek jest szczególnie przydatny do kompresji medycznych obrazów o kołowych obszarach istotnych, ale może być również stosowany do kodowania innych obrazów wizyjnych, zawierających nieistotne obszary, takich jak obrazy w wideo telefonach, gdzie istotną informację stanowi obszar głowy i barków.

182 578

182 578

άλ

FIG. 3A

FIG.3B $

FIG.3C

182 578

FIG. 2A

FIG. 2B

FIG.2C

FIG. 2D

FIG.2E

Departament Wydawnictw UP RP. Nakład 60 egz. Cena 2,00 zł.

Claims (4)

1. Zastrzeżenia patentowe

   1. Sposób kodowania obrazów zawierających obszary istotnych danych oraz obszary nieistotnych danych, w którym identyfikuje się nieistotne dane, znamienny tym, że zastępuje się (4) przynajmniej nieistotne dane za granicą (13) między obszarami danych przez dane pseudoobrazu i uzyskuje się płynne przejście między obszarami istotnych i nieistotnych danych obrazu.
2. 2. Sposób według zastrz. 1, znamienny tym, że wykrywa się i koduje granicę między obszarami istotnych oraz nieistotnych danych.
3. 3. Urządzenie do kodowania obrazów, zawierających obszary istotnych danych oraz obszary nieistotnych danych, wyposażone w zespół identyfikacji nieistotnych danych, znamienne tym, ze zawiera zespół modyfikujący (4), do zastępowania przynajmniej nieistotnych danych za granicą (13) między obszarami danych przez dane pseudoobrazu i wygładzenia przejścia między obszarami istotnych i nieistotnych danych.
4. 4. Urządzenie według zastrz. 3, znamienne tym, że jest zaopatrzone w zespół kodowania (3) granicy między obszarami istotnych oraz nieistotnych danych.