PL241052B1 - System i sposób adaptacyjnego przetwarzania obrazów zwłaszcza w urządzeniach akwizycji, przetwarzania i składowania lub transmisji przeprowadzających kompresję obrazów cyfrowych z wykorzystaniem dyskretnej transformacji falkowej DWT i kodowania entropijnego - Google Patents

Abstract

System adaptacyjnego przetwarzania obrazów zwłaszcza w urządzeniach akwizycji, przetwarzania i składowania lub transmisji przeprowadzających kompresję obrazów cyfrowych z wykorzystaniem dyskretnej transformacji falkowej DWT i kodowania entropijnego, charakteryzuje się tym, że zawiera umieszczony w torze przetwarzania obrazu, po module DWT (3) dekomponującym obraz na podpasma, a przed modułem kodowania entropijnego (9) podpasm uzyskanych po module DWT (3), moduł predykcji warunkowej (7) transformujący wybrane podpasma uzyskane po module DWT (3) do postaci ich sygnałów różnicowych, przy czym w sygnale różnicowym danego podpasma próbki tego podpasma są transformowane do postaci próbek różnicowych, przy czym próbkę różnicową wyznacza się dla danej próbki podpasma jako różnicę pomiędzy rzeczywistą wartością tej próbki podpasma, a jej wartością przewidywaną, a przewidywanie wartości próbki danego podpasma korzystnie przeprowadza się wyłącznie na podstawie już przetransformowanych próbek tego podpasma. Sposób adaptacyjnego przetwarzania obrazów zwłaszcza w urządzeniach akwizycji, przetwarzania i składowania lub transmisji przeprowadzających kompresję obrazów cyfrowych z wykorzystaniem dyskretnej transformacji falkowej DWT i kodowania entropijnego, polega na tym, że przed przeprowadzeniem kodowania entropijnego podpasm otrzymanych po DWT transformuje się wybrane podpasma otrzymane po DWT do postaci ich sygnałów różnicowych, przy czym w sygnale różnicowym  danego podpasma próbki tego podpasma są transformowane do postaci próbek różnicowych, przy czym próbkę różnicową wyznacza się dla danej próbki podpasma jako różnicę pomiędzy rzeczywistą wartością tej próbki podpasma a jej wartością przewidywaną, a przewidywanie wartości próbki danego podpasma korzystnie przeprowadza się wyłącznie na podstawie już przetransformowanych próbek tego podpasma.

Description

Opis wynalazku

Przedmiotem wynalazku jest system i sposób adaptacyjnego przetwarzania obrazów zwłaszcza w urządzeniach akwizycji, przetwarzania i składowania lub transmisji przeprowadzających kompresję obrazów cyfrowych z wykorzystaniem dyskretnej transformacji falkowej DWT i kodowania entropijnego.

Kompresja obrazu cyfrowego jest czynnością techniczną zmieniającą stan i postać sygnału zawierającego obraz. W znanym stanie techniki wiele systemów akwizycji, przetwarzania i składowania lub transmisji obrazów przeprowadza kompresję obrazów cyfrowych zgodnie z międzynarodowym standardem JPEG 2000 [ITU-T; ISO/IEC: „Information technology - JPEG 2000 image coding system: Core coding system”, ITU-T Recommendation T.800 and ISO/IEC International Standard 15444-1, 2016]. Standard JPEG 2000 definiuje sposób kompresji stratnej i bezstratnej obrazów z wykorzystaniem takich środków technicznych jak między innymi transformacja DWT i koder entropijny. W szczególności standard ten definiuje złożoną postać i strukturę skompresowanego sygnału zawierającego obraz, wyprowadzanego jako ciąg pól bitowych o różnych długościach. Ze standardem JPEG 2000, poza systemami dla rynku konsumenckiego, zgodne są systemy stosowane w medycynie (JPEG 2000 zawarty jest w powszechnie uznawanym przez użytkowników i producentów systemów medycznych standardzie DICOM [National Electrical Manufacturers Association: „Digital imaging and communications in medicine (DICOM) part 5: Data structures and encoding”, NEMA Standard PS3.5 2019e, 2019]).

W znanych w stanie techniki systemach kompresja obrazów stosowana jest do ograniczenia rozmiarów sygnałów cyfrowych zawierających obrazy. W konsekwencji oszczędniej wykorzystuje się zarówno pamięci masowe, w których sygnały te zapisywane są w postaci plików, jak i szerokości pasm przenoszenia sieci teleinformatycznych, którymi te sygnały są transmitowane. Ze względu na znaczne i ciągle rosnące w obecnych czasach rozmiary i ilości pozyskiwanych obrazów, kompresja jest kluczowa dla wyżej wymienionych systemów.

Celem kompresji jest usuwanie nadmiarowości z sygnałów cyfrowych. Nadmiarowość jest naturalna dla niektórych klas sygnałów, takich jak sygnały zawierające teksty pisane, gdzie często powtarzają się niektóre wyrazy lub ich fragmenty, czy też sygnały zawierające obrazy, w których sąsiadujące piksele mają zazwyczaj zbliżoną barwę. Podstawowym kryterium determinującym przydatność danej metody kompresji jest uzyskiwany z jej użyciem współczynnik kompresji, który jest wprost proporcjonalny do stosunku rozmiaru sygnału po kompresji do rozmiaru przed kompresją. Bezstratna metoda kompresji to taka, której działanie jest w pełni odwracalne, tzn. z każdego skompresowanego nią sygnału można odtworzyć sygnał identyczny z sygnałem poddanym kompresji. W przypadku sygnałów zawierających obrazy cyfrowe stosowane są również metody stratne. Metody stratne pozwalają na odtworzenie jedynie przybliżonej zawartości obrazu sprzed kompresji, przy czym uzyskują współczynniki kompresji istotnie lepsze od metod bezstratnych. W pewnych obszarach zastosowania kompresji takich jak: obrazy medyczne będące podstawą diagnozy, obrazy traktowane jako dokumenty, obrazy które będą podlegać dalszemu przetwarzaniu bądź analizie oraz obrazy których akwizycja jest kosztowna, należy stosować kompresję bezstratną.

Obraz cyfrowy jest dyskretną reprezentacją naturalnego obrazu otrzymaną w wyniku procesu akwizycji bądź wygenerowaną w sposób sztuczny. Obraz najczęściej jest reprezentowany w pamięci operacyjnej maszyny cyfrowej jako prostokątna tablica pikseli. Piksel, jako element obrazu cyfrowego, reprezentuje odpowiadający mu fragment powierzchni obrazu rzeczywistego. Rozróżniamy wiele klas obrazów cyfrowych, w tym obrazy w stopniach szarości oraz obrazy barwne. Piksel obrazu w stopniach szarości jest liczbą całkowitą proporcjonalną do jasności odpowiadającego temu pikselowi fragmentu obrazu rzeczywistego. Sygnał z obrazem zazwyczaj ma postać ciągu pól bitowych, przy czym dla każdego piksela obrazu odpowiadające mu pole bitowe zawiera próbkę sygnału o wartości równej wartości piksela, a pola te zazwyczaj umieszczone są w sygnale w kolejności rastrowej, tzn. od najwyżej do najniżej położonego wiersza obrazu, a w ramach danego wiersza obrazu od skrajnego lewego do skrajnego prawego piksela. Ponadto sygnał z obrazem może zawierać, zazwyczaj umieszczone na początku sygnału, metadane obrazu, czyli informacje dodatkowe, takie jak parametry procesu akwizycji, rozdzielczość i zakres dynamiczny obrazu, prawa autorskie.

Dla obrazu barwnego, barwa piksela (kolor, nasycenie i jasność) obrazu barwnego opisywana jest za pomocą kilku wartości - składowych barwy w pewnej przestrzeni barw.

Powszechnie stosowaną w urządzeniach prezentacji obrazów cyfrowych - takich jak monitory komputerowe, przestrzenią barw jest przestrzeń RGB w której zawarte składowe R, G i B oznaczają

PL 241 052 B1 odpowiednio składowe jasności koloru czerwonego, zielonego i niebieskiego. Przestrzeń RGB jest stosowana, gdyż ze względu na budowę zmysłu wzroku człowieka zaprezentowanie mu barwy będącej sumą składowych R, G i B pozwala wywołać wrażenie odbierania barwy z prawie pełnego spektrum barw występujących w naturze. Również urządzenia akwizycji i przetwarzania obrazów często wykorzystują przestrzeń barw RGB. Metody kompresji obrazów barwnych oparte zazwyczaj są o metody kompresji obrazów w stopniach szarości. W najprostszym przypadku składowe R, G i B obrazu cyfrowego traktowane są jak trzy niezależne obrazy w stopniach szarości (jasność danej składowej traktowana jest jako jasność stopnia szarości) i kompresowane niezależnie od siebie. Składowe przestrzeni RGB są silnie skorelowane. Dla przykładu jasny fragment obrazu będzie zazwyczaj miał dużą jasność we wszystkich trzech składowych obrazu. Dlatego też lepsze współczynniki kompresji uzyska się poprzedzając kompresję transformacją składowych barwy do innego, mniej nadmiarowego, zestawu składowych dla uniknięcia wielokrotnego kompresowania tej samej informacji, przy czym transformacje stosowane w kompresji bezstratnej muszą być odwracalne.

Z polskiego opisu patentowego PL229208 znana jest odwracalna transformacja składowych obrazu stosowana w kompresji obrazów, prostsze odwracalne transformacje przestrzeni barw znane są z polskich opisów patentowych PL224996 i PL227649, znane są również odwracalne transformacje zgodne ze standardami kompresji obrazów: transformacja Reversible Color Transform (RCT) zdefiniowana standardzie JPEG 2000 i transformacja YCoCg-R zdefiniowana w międzynarodowym standardzie kompresji stratnej i bezstratnej obrazów JPEG XR [ITU-T; ISO/IEC: „Information technology -JPEG XR image coding system - Image coding specification”, ITU-T Recommendation T. 832 and ISO/IEC International Standard 29199-2, 2019].

Nowoczesne metody kompresji obrazów w stopniach szarości wykorzystują kodery entropijne, takie jak koder Huffmana bądź koder arytmetyczny. Kodery te kodują próbki sygnału reprezentującego obraz na podstawie prawdopodobieństw występowania poszczególnych wartości próbek tak, aby wyrażona w bitach długość zakodowanej próbki była jak najbliższa pomnożonemu przez -1 logarytmowi o podstawie 2 z prawdopodobieństwa wystąpienia wartości tej próbki, czyli dążą do tego, aby długość zakodowanego sygnału była bliska entropii tego sygnału (stąd nazwa entropijne). Koder entropijny nie zredukuje skutecznie rozmiaru sygnału, którego rozkład prawdopodobieństwa próbek jest równomierny, a poradzi sobie tym lepiej w im większym stopniu rozkład będzie nierównomierny. Ponieważ rozkłady prawdopodobieństw dla typowych obrazów w stopniach szarości (oraz dla składowych obrazów barwnych, również tych przetransformowanych z użyciem transformacji przestrzeni barw) są zbliżone do równomiernych to, aby umożliwić efektywne zastosowanie kodera entropijnego, konieczne jest od powiednie przetworzenie obrazów przed zastosowaniem do nich kodera entropijnego. Znane i praktycznie stosowane w kompresji obrazów są dwa sposoby przetwarzania obrazów, które powodują, że rozkład prawdopodobieństwa sygnału reprezentującego obraz staje się w przybliżeniu wykładniczy, lub symetryczny wykładniczy (rozkład Laplace’a), a więc silnie nierównomierny, tym samym znacznie redukując entropię sygnału.

Pierwszy sposób określa się mianem kodowania predykcyjnego, polega na tym, że dla każdej próbki sygnału reprezentującej piksel obrazu, za pomocą tak zwanego predyktora, przewiduje się wartość próbki (proces przewidywania wartości próbek nazywamy predykcją). Następnie kodowaniu entropijnemu podlega, zamiast oryginalnego sygnału, sygnał różnicowy zawierający próbki, które wyznaczane są jako różnice pomiędzy próbkami oryginalnego sygnału a przewidywanymi wartościami tych próbek wyznaczonymi z użyciem predyktora. Predyktor przewiduje wartość próbki reprezentującej dany piksel obrazu na podstawie próbek reprezentujących inne piksele, zazwyczaj wyłącznie te, dla których już wyznaczono wartości próbek sygnału różnicowego. Na kodowaniu predykcyjnym oparty jest międzynarodowy standard kompresji bezstratnej JPEG-LS [ITU-T; ISO/IEC: „Information technology - Lossless and near-lossless compression of continuous-tone still images - Baseline”, ITU-T Recommendation T. 87 and ISO/IEC International Standard 14495-1, 2000]. Standard ten między innymi definiuje predyktor MED, który przewiduje, że wartość próbki reprezentującej dany piksel obrazu równa jest medianie z następujących trzech wartości: M, N, oraz M+N-O, gdzie M oznacza wartość próbki reprezentującej górnego sąsiada danego piksela, N oznacza wartość próbki reprezentującej lewego sąsiada danego piksela, a O oznacza wartość próbki reprezentującej lewego górnego sąsiada danego piksela.

Odmienną metodę przekształcania pikseli obrazu do postaci lepiej nadającej się do kodowania entropijnego określa się mianem kodowania transformacyjnego. Kodowanie transformacyjne polega na zastosowaniu dwuwymiarowych transformacji, na przykład takich jak DWT wykorzystywana w standar

PL 241 052 B1 dzie JPEG 2000. W metodach transformacyjnych kodowaniu podlega sygnał zawierający, zamiast pikseli obrazu, macierz próbek uzyskanych po transformacji przeprowadzonej na obrazie w całości bądź po dekompozycji obrazu na fragmenty. Transformacja DWT w kompresji obrazów wykorzystywana jest do dekompozycji sygnału zawierającego obraz na kodowane osobno i zazwyczaj niezależnie od siebie podpasma reprezentujące detale obrazu o różnych orientacjach i wielkościach, przy czym dokładnie jedno z podpasm (podpasmo LL) reprezentuje obraz poddany filtracji dolnoprzepustowej, zazwyczaj pozbawiony detali (w zależności od ich rozdzielczości) oraz pomniejszony. Łączna liczba próbek ws zystkich podpasm po DWT równa jest liczbie pikseli obrazu. Kodowanie entropijne podpasm po DWT jest ułatwione ze względu na ich wąskie i dobrze zdefiniowane charakterystyki, które łatwo jest efektywnie modelować. Piksele obrazu reprezentowane są za pomocą liczb całkowitych i również jako liczby całkowite kodowane są przetransformowane próbki, zatem kompresja bezstratna obrazów wymaga użycia odwracalnych transformacji całkowitoliczbowych. Przykładem takiej transformacji jest DWT z filtrem falkowym Cohen Daubechies Faveau (5,3) zdefiniowana jednoznacznie w standardzie JPEG 2000 i skrótowo przedstawiona poniżej.

Jednowymiarowa DWT (1D-DWT) transformuje jednowymiarowy dyskretny sygnał S do dwóch podpasm:

podpasma L, tj. sygnału po filtrowaniu dolnoprzepustowym, które reprezentuje niskoczęstotliwościowe składniki zawarte w S;

podpasma H zawierającego wysokoczęstotliwościowe składniki S, które razem z podpasmem L pozwala na idealną rekonstrukcję S.

Transformacja realizowana jest w miejscu, tj. tak, że przetransformowany sygnał zastępuje sygnał oryginalny; do zrealizowania transformacji konieczne jest umieszczenie próbek sygnału w buforze pamięciowym umożliwiającym modyfikację ich wartości i położenia. S jest transformowany w trzech krokach. Najpierw (krok 1) wykonujemy górnoprzepustowe filtrowanie próbek nieparzystych (pojęcie parzystości próbki odnosi się tutaj i w dalszej części niniejszego tekstu do położenia próbki w sygnale, a nie do jej wartości) przez pomniejszenie wartości każdej próbki nieparzystej o połowę sumy sąsiadujących z nią próbek parzystych, zaokrągloną w dół do najbliższej liczby całkowitej. W następnym kroku (krok 2) każdą próbkę parzystą powiększamy o sumę sąsiadujących z nią próbek nieparzystych i liczby 2, podzieloną przez 4 oraz zaokrągloną w dół do najbliższej liczby całkowitej. W ostatnim kroku (krok 3) przemieszczamy parzyste próbki do początkowej części oryginalnego sygnału, zachowując ich wzajemnie uporządkowanie (i-ta próbka sygnału jest przemieszczana na pozycję i/2), a nieparzyste do końcowej części sygnału. Otrzymujemy oddzielne podpasma oznaczane odpowiednio L i H.

Dwuwymiarowa DWT jest dla obrazu (40) (patrz rysunek Fig. 3) uzyskiwana przez zastosowanie najpierw 1D-DWT do każdej kolumny obrazu, czego efektem (41) jest dekompozycja obrazu na podpasma L (42) i H (43). Następnie stosując 1D-DWT do każdego wiersza podpasm L i H uzyskujemy DWT rzędu 1 obrazu (44), składającą się z podpasm LL (45) i HL (46) (uzyskanych z transformacji podpasma L (42)) oraz LH (47) i HH (48) (z transformacji podpasma H (43)). Stosowane są również transformacje rzędów innych niż 1, uzyskiwane są one za pomocą tak zwanej dekompozycji Mallata. Transformację rzędu t+1 uzyskujemy stosując transformację rzędu 1 do podpasma LL uzyskanego w wyniku transformacji rzędu t. W wyniku transformacji rzędu wyższego niż 1 otrzymujemy dekompozycję sygnału na podpasma dostarczające wielorozdzielczej reprezentacji obrazu. Na przykład obraz po transformacji DWT rzędu 2 (49) zawiera podpasma uzyskane w wyniku transformacji rzędu 1 (50) (wszystkie za wyjątkiem podpasma LL (45), które podlegało dalszemu transformowaniu w miejscu), reprezentujące detale obrazu o najwyższej rozdzielczości oraz podpasma (51) uzyskane przez zastosowanie DWT rzędu 1 do podpasma LL transformacji rzędu 1 (45) reprezentujące detale o niższej rozdzielczości (podpasma HL (52), LH (53) i HH (54)) i pozostałą niskoczęstotliwościową informację obrazową - zawartą w podpaśmie LL transformacji rzędu 2 (55).

Niezależnie od rzędu DWT, podpasmo LL występuje w przetransform owanym obrazie tylko raz, a sygnał w nim zawarty reprezentuje pomniejszony oryginalny obraz. W przeciwieństwie do podpasm reprezentujących detale (które zawierają próbki sygnału, do których ostatnio zastosowanym rodzajem filtracji była filtracja górnoprzepustowa) podpasmo LL zawiera próbki, które nie były poddane filtracji górnoprzepustowej. Charakterystyki podpasma LL, takie jak rozkład prawdopodobieństwa próbek, zbliżone są do charakterystyk oryginalnego obrazu.

PL 241 052 B1

W przypadku systemu przeprowadzającego kompresję stratną, wpływ modułów realizujących niektóre z wyżej opisanych transformacji sygnału na stan i postać próbek sygnału może być jedynie w przybliżeniu odwracalny; takie transformacje nazywamy nieodwracalnymi. Na przykład, w systemie kompresji zgodnym ze standardem JPEG 2000 podczas kompresji stratnej stosowana może być nieodwracalna transformacja przestrzeni barw ICT oraz nieodwracalny wariant transformacji DWT oparty o filtr falkowy (9, 7). Ponadto system taki zazwyczaj zawiera przynajmniej jeden dodatkowy moduł, którego celem jest odrzucenie z przetwarzanego sygnału tej części zawartej w nim informacji obrazowej, która jest najmniej istotna dla końcowego odbiorcy obrazu. Na przykład w standardzie JPEG 2000 wśród takich opcjonalnie stosowanych modułów są: moduł podpróbkowania składowych chrominancji uzyskanych po transformacji przestrzeni barw oraz moduł kwantyzacji próbek podpasm uzyskanych po DWT.

System adaptacyjnego przetwarzania obrazów zwłaszcza w urządzeniach akwizycji, przetwarzania i składowania lub transmisji przeprowadzających kompresję obrazów cyfrowych z wykorzystaniem dyskretnej transformacji falkowej DWT i kodowania entropijnego, charakteryzuje się tym, że zawiera umieszczony w torze przetwarzania obrazu, po module DWT dekomponującym obraz na podpasma, a przed modułem kodowania entropijnego podpasm uzyskanych po module DWT, moduł predykcji warunkowej, w którym sygnał zawierający podpasma po DWT wprowadzany jest na wejście połączonego z buforem danych podpasma układu selektora adaptacyjnego kodowania sygnału różnicowego, który próbki podpasma wyprowadza na szynę układu predykcji i za pomocą szyny sterującej układu predykcji prowadzącej do układu predykcji połączonego z buforem danych podpasma steruje układem predykcji, który przewidywanie wartości próbek danego podpasma korzystnie przeprowadza na podstawie już przetransformowanych próbek tego samego podpasma przechowywanych w buforze danych podpasma, a przewidziane wartości próbek wyprowadza za pośrednictwem szyny pomocniczej na wejście sumatora, który wyznacza tworzące sygnał różnicowy próbki różnicowe jako różnice pomiędzy wartościami rzeczywistych próbek podpasma dostarczonymi szyną układu predykcji, a dostarczonymi za pośrednictwem szyny pomocniczej wartościami próbek przewidzianymi za pomocą układu predykcji i przesyła je przez szynę próbek różnicowych do przełącznika sygnałów wysterowanego przez układ selektora adaptacyjnego kodowania sygnału różnicowego za pomocą szyny sterującej, przy czym przełącznik sygnałów połączony jest dodatkowo z układem selektora adaptacyjnego kodowania sygnału różnicowego za pomocą szyny próbek niezmodyfikowanych oraz szyny zwrotnej selektora kodowania sygnału różnicowego za pomocą której przesyłane są dane umożliwiające wybór przez układ selektora adaptacyjnego kodowania sygnału różnicowego podpasm uzyskanych po module DWT, które na wyjście modułu predykcji warunkowej wyprowadzane są za pośrednictwem przełącznika sygnałów w postaci ich sygnałów różnicowych, w których dla danego podpasma próbki tego podpasma są przetransformowane do postaci próbek różnicowych, przy czym pozostałe podpasma wyprowadzane są na wyjście modułu predykcji warunkowej w postaci niezmodyfikowanej za pomocą przełącznika sygnałów i szyny próbek niezmodyfikowanych.

Korzystnie system według wynalazku ma moduł DWT i moduł kodowania entropijnego, które zbudowane są zgodnie ze standardem JPEG 2000.

Korzystnie system według wynalazku ma moduł predykcji warunkowej, który za pomocą układu predykcji transformuje do postaci sygnału różnicowego każde podpasmo pośród podpasm uzyskanych po module DWT, którego entropia jest większa od entropii jego sygnału różnicowego.

Korzystnie system według wynalazku ma moduł predykcji warunkowej, który za pomocą układu predykcji transformuje do postaci sygnału różnicowego każde podpasmo pośród podpasm uzyskanych po module DWT, którego rozmiar po kodowaniu entropijnym jest większy od rozmiaru jego sygnału różnicowego po kodowaniu entropijnym.

Korzystnie system według wynalazku ma przewidywanie wartości próbki w układzie predykcji, które przeprowadza się z użyciem predyktora MED zdefiniowanego w standardzie JPEG-LS.

Korzystnie w systemie według wynalazku, jeżeli po zastosowaniu DWT rzędu zerowego w module DWT entropia sygnału wprowadzanego na wejście modułu predykcji warunkowej jest większa od entropii sygnału różnicowego wyznaczonego dla tego sygnału, to cały sygnał wprowadzany na wejście modułu predykcji warunkowej transformowany jest z użyciem układu predykcji do postaci sygnału różnicowego, przy czym w miejsce próbek podpasma po DWT transformowane są próbki reprezentujące piksele obrazu.

Korzystnie w systemie według wynalazku, jeżeli po zastosowaniu DWT rzędu zerowego w module DWT rozmiar sygnału wprowadzanego na wejście modułu predykcji warunkowej po kodowaniu entropijnym jest większy od rozmiaru zakodowanego entropijnie sygnału różnicowego wyznaczonego

PL 241 052 B1 dla tego sygnału, to cały sygnał wprowadzany na wejście modułu predykcji warunkowej transformowany jest z użyciem układu predykcji do postaci sygnału różnicowego, przy czym w miejsce próbek podpasma po DWT transformowane są próbki reprezentujące piksele obrazu.

Korzystnie system według wynalazku zawiera umieszczony w torze przetwarzania obrazu jeden lub więcej dodatkowych modułów, na przykład moduł przeprowadzający kwantyzację próbek podpasm uzyskanych po DWT, przy czym jeżeli dodatkowy moduł umieszczony jest przed modułem kodowania entropijnego i po module DWT, to moduł predykcji warunkowej umieszczony jest bezpośrednio przed modułem kodowania entropijnego.

Sposób adaptacyjnego przetwarzania obrazów zwłaszcza w urządzeniach akwizycji, przetwarzania i składowania lub transmisji przeprowadzających kompresję obrazów cyfrowych z wykorzystaniem dyskretnej transformacji falkowej DWT i kodowania entropijnego, polega na tym, że przed przeprowadzeniem kodowania entropijnego podpasm otrzymanych po DWT transformuje się wybrane podpasma otrzymane po DWT do postaci ich sygnałów różnicowych, przy czym w sygnale różnicowym danego podpasma próbki tego podpasma są transformowane do postaci próbek różnicowych, przy czym próbkę różnicową wyznacza się dla danej próbki podpasma jako różnicę pomiędzy rzeczywistą wartością tej próbki podpasma a jej wartością przewidywaną, przy czym przewidywanie wartości próbki danego podpasma korzystnie przeprowadza się wyłącznie na podstawie już przetransformowanych próbek tego samego podpasma, a decyzja o kwalifikacji danego podpasma do przeprowadzenia transformacji do postaci jego sygnału różnicowego korzystnie podejmowana jest na podstawie próbek tego samego podpasma.

Korzystnie w sposobie według wynalazku do postaci sygnału różnicowego transformowane jest każde podpasmo, pośród podpasm otrzymanych po DWT, którego entropia jest większa od entropii jego sygnału różnicowego.

Korzystnie w sposobie według wynalazku do postaci sygnału różnicowego transformowane każde podpasmo, pośród podpasm otrzymanych po DWT, którego rozmiar po kodowaniu entropijnym jest większy od rozmiaru jego sygnału różnicowego po kodowaniu entropijnym.

Korzystnie w sposobie według wynalazku transformację DWT i kodowanie entropijne przeprowadza się zgodnie ze standardem JPEG 2000.

Korzystnie w sposobie według wynalazku przewidywanie wartości próbki przeprowadza się z użyciem predyktora MED zdefiniowanego w standardzie JPEG-LS.

Korzystnie w sposobie według wynalazku poddawany transformacji DWT sygnał zawierający obraz jest w postaci cyfrowej oraz zawiera ciąg D E-bitowych pól, z których każde zawiera próbkę sygnału reprezentującą jasność pojedynczego piksela, a pola te umieszczone są w sygnale w kolejności rastrowej, czyli od najwyżej do najniżej położonego wiersza, a w ramach wiersza od skrajnego lewego do skrajnego prawego piksela, gdzie D jest liczbą pikseli obrazu, przy czym długość E pola bitowego korzystnie wynosi 8 bitów, przy czym w sygnale poddawanym transformacji DWT próbki sygnału reprezentujące jasności pikseli obrazu umieszczone są po próbkach zawierających metadane obrazu opisujące przynajmniej wymiary obrazu i zakres dynamiczny próbek obrazu.

Korzystnie w sposobie według wynalazku sygnał zawierający podpasma otrzymane po DWT jest w postaci cyfrowej, a dla każdego podpasma uzyskanego po DWT zawiera ciąg pól bitowych zawierających próbki podpasma umieszczone w kolejności rastrowej, przy czym w sygnale zawierającym podpasma otrzymane po DWT, dla każdego podpasma otrzymanego po DWT, próbki tego podpasma umieszczone są po próbkach zawierających metadane tego podpasma pozwalające jednoznacznie zidentyfikować to podpasmo oraz opisujące wymiary podpasma i zakres dynamiczny próbek podpasma.

Korzystnie w sposobie według wynalazku dla transformacji DWT rzędu zerowego, jeżeli entropia sygnału zawierającego obraz jest większa od entropii sygnału różnicowego sygnału zawierającego obraz to cały sygnał zawierający obraz transformowany jest do postaci sygnału różnicowego, przy czym w miejsce próbek podpasma otrzymanego po DWT transformowane są próbki reprezentujące piksele obrazu.

Korzystnie w sposobie według wynalazku dla transformacji DWT rzędu zerowego jeżeli rozmiar sygnału zawierającego obraz po kodowaniu entropijnym jest większy od rozmiaru zakodowanego entropijnie sygnału różnicowego sygnału zawierającego obraz to cały sygnał zawierający obraz transformowany jest do postaci sygnału różnicowego, przy czym w miejsce próbek podpasma otrzymanego po DWT transformowane są próbki reprezentujące piksele obrazu.

Korzystnie w sposobie według wynalazku przed przeprowadzeniem kodowania entropijnego podpasm otrzymanych po DWT sygnał je zawierający poddaje się dodatkowym transformacjom sygnału,

PL 241 052 B1 na przykład kwantyzacji próbek podpasm uzyskanych po DWT, przy czym korzystnie transformacje te wykonuje się przed transformowaniem wybranych podpasm po DWT do postaci ich sygnałów różnicowych.

Zaletą rozwiązania według wynalazku, w odniesieniu do systemu przetwarzającego obraz z wykorzystaniem DWT oraz kodowania entropijnego, ale nie zawierającego modułu predykcji warunkowej na torze przetwarzania sygnału zawierającego obraz, jest poprawa średniego współczynnika kompresji uzyskiwanego przez system. Tym samym po kompresji rozmiary sygnałów cyfrowych zawierających obrazy są mniejsze, co pozwala oszczędniej wykorzystywać zarówno pamięci masowe systemów przetwarzających obrazy, jak i szerokości pasm przenoszenia sieci teleinformatycznych.

Poprawa współczynnika w systemie zbudowanym według wynalazku, w przeciwieństwie do znanych systemów wykorzystujących wyłącznie kodowanie predykcyjne (na przykład systemy zgodne ze standardem JPEG-LS) lub wyłącznie kodowanie transformacyjne (na przykład systemy zgodne ze standardem JPEG 2000 lub JPEG XR), jest efektem łącznego wykorzystania obu wyżej wymienionych sposobów poprawy stanu sygnału zawierającego obraz tak, by lepiej nadawał się on do kodowania entropijnego.

Podpasmo LL uzyskane po DWT jest jednym z wielu podpasm, które podlegają kodowaniu entropijnemu. Jeżeli zastosowano DWT rzędu 1, to liczba próbek podpasma LL wynosi 1/4 liczby wszystkich próbek, które są kodowane entropijnie, jeżeli rząd DWT jest wyższy, to udział próbek podpasma LL we wszystkich kodowanych próbkach jest niższy. Jednak wpływ efektywności kodowania entropijnego podpasma LL na współczynnik kompresji całego obrazu jest większy niż by to wynikało jedynie z liczby próbek podpasma LL, gdyż współczynnik kompresji próbek podpasma LL jest zazwyczaj gorszy od współczynników uzyskiwanych w koderze entropijnym dla pozostałych podpasm. W typowym przypadku, stosując do podpasma LL predykcję, poprawiamy ten współczynnik. Dla niektórych obrazów, uzyskana dla podpasma LL dzięki zastosowaniu predykcji poprawa współczynnika kompresji bezstratnej (wyrażonego w bitach na próbkę a zatem wprost proporcjonalnego do rozmiaru przetransformowanego podpasma po kodowaniu entropijnym) przekracza 50%.

Poprawa nastąpi dla większości obrazów, przy czym, jeżeli obraz jest nietypowy i zastosowanie predykcji do podpasma LL prowadzi do pogorszenia współczynnika kompresji, to sytuacja taka jest wykrywana na sposób według wynalazku (albo na podstawie porównania uzyskanych współczynników kompresji sygnału zawierającego obraz oraz sygnału różnicowego wyznaczonego dla tego sygnału albo w sposób uproszczony na podstawie szybkiej estymacji entropijnej współczynnika kompresji) i predykcja nie jest wykonywana.

W przypadku niektórych obrazów, zwłaszcza zawierających obszary o regularnej okresowej strukturze, dzięki zastosowaniu predykcji poprawa współczynnika kompresji bezstratnej wybranych podpasm innych niż LL może przekraczać 10%. W przypadku podpasm innych niż LL zastosowanie predykcji (częściej niż dla podpasma LL) może również prowadzić do pogorszenia współczynnika k ompresji podpasma. Dlatego też, na sposób według wynalazku (tak jak w przypadku podpasma LL) predykcja jest stosowana do podpasma jedynie wtedy, gdy jej zastosowanie prowadzi do poprawy rzeczywistego lub estymowanego współczynnika kompresji tego podpasma.

Zastosowanie DWT sprawdza się w przypadku typowych obrazów fotograficznych - za takie obrazy uważa się obrazy uzyskane na drodze akwizycji ze scen ze świata rzeczywistego dostępnych dla nieuzbrojonego oka ludzkiego. Dla niektórych innych obrazów, zwłaszcza dla obrazów niefotograficznych (na przykład zawierających komputerowo wygenerowany tekst, rysunki techniczne, czy przedstawiających zawartość ekranu roboczego komputera) zastosowanie DWT może prowadzić do pogorszenia współczynnika kompresji. W takiej sytuacji w systemie, w którym na torze przetwarzania sygnału obrazowego występuje moduł DWT, na przykład w systemach zgodnych z JPEG 2000, można użyć DWT rzędu zerowego, dzięki czemu moduł DWT nie zmieni stanu ani postaci sygnału, co z kolei pozwoli uniknąć pogorszenia współczynnika kompresji. Z drugiej strony dla obrazów niefotograficznych zazwyczaj dobrze sprawdza się kodowanie predykcyjne; w przypadku takich obrazów system przetwarzania obrazu zawierający moduł DWT, ale zbudowany na sposób według wynalazku, uzyska znacznie lepsze współczynniki kompresji. Dzięki modułowi predykcji warunkowej, dla niektórych obrazów niefotograficznych, podobnie jak w przypadku podpasma LL po DWT rzędu większego lub równego 1, poprawa współczynników kompresji przekracza 50%.

Podobnie jak w przypadku podpasma LL po DWT rzędu większego lub równego 1, zastosowanie predykcji do sygnału zawierającego obraz uzyskanego po DWT rzędu zerowego może dla nietypowych

PL 241 052 B1 obrazów prowadzić do pogorszenia współczynnika kompresji tego sygnału. Dlatego też, na sposób według wynalazku predykcja jest stosowana do sygnału zawierającego obraz jedynie wtedy, gdy jej zastosowanie prowadzi do poprawy rzeczywistego lub estymowanego współczynnika kompresji tego sygnału.

W systemach przeprowadzających kompresję obrazów barwnych (na przykład zgodnych z JPEG 2000), w których poszczególne składowe obrazu, po ewentualnej transformacji przestrzeni barw oraz ewentualnym podpróbkowaniu składowych obrazu barwnego, kompresowane są z wykorzystaniem DWT oraz kodowania entropijnego, rozwiązanie według wynalazku stosowane jest przez umieszczenie na torze przetwarzania obrazu modułu predykcji warunkowej tak samo jak w przypadku systemów kompresujących obrazy w stopniach szarości. W systemie kompresji obrazu barwnego część toru przetwarzania obrazu od modułu DWT do modułu kodowania entropijnego nie różni się istotnie od analogicznej części toru w systemie kompresji obrazu w stopniach szarości.

Przetwarzanie na sposób wg wynalazku może być zrealizowane za pomocą umieszczonych na torze przetwarzania sygnału odpowiednio połączonych cyfrowych układów sprzętowych, takich jak bufory próbek sygnału, przełącznik sygnałów, czy układ predykcji, jak również programowo lub za pomocą symulowanego w maszynie cyfrowej układu elektronicznego. Istota wynalazku nie ogranicza możliwości jego zastosowania do wyłącznie układu sprzętowego ani do wyłącznie realizacji programowej.

Celem umieszczenia modułu predykcji warunkowej w torze przetwarzania obrazu jest zmiana cech technicznych sygnału zawierającego obraz tak, aby poprawić współczynnik kompresji uzyskany po kodowaniu entropijnym tego sygnału. W szczególności zmiana stanu sygnału polega na zmniejszeniu entropii próbek wybranych na sposób według wynalazku podpasm po DWT, osiąganym dzięki diametralnej zmianie rozkładu prawdopodobieństwa próbek. Próbkę różnicową w module predykcji warunkowej wyznacza się jako różnicę pomiędzy rzeczywistą wartością odpowiadającej jej próbki wybranego podpasma a wartością przewidywaną tej próbki. Zakres dynamiczny przewidywanych wartości próbek jest taki sam jak zakres dynamiczny próbek wybranego podpasma. W konsekwencji, zakres dynamiczny próbek różnicowych będzie większy od zakresu próbek wybranego podpasma i będzie wynosił 2*Z-1, gdzie Z to zakres dynamiczny próbek wybranego podpasma. Zatem moduł predykcji warunkowej oddziałuje na sygnał z obrazem zmieniając nie tylko stan tego sygnału ale również jego postać. Dla przykładu, jeżeli próbki wybranego podpasma przyjmują wartości z przedziału -127..128 (zakres dynamiczny Z=256) i kodowane są na polach bitowych o długości 8 bitów oraz mają równomierny (w przybliżeniu, dla typowych obrazów) rozkład wartości to zakres dynamiczny próbek różnicowych w sygnale różnicowym uzyskanym w wyniku transformacji tego podpasma przez moduł predykcji warunkowej wynosił będzie 511 (jego próbki będą przyjmować wartości z przedziału -255...255) i będzie wymagał kodowania z użyciem pól o długości 9 bitów, a przede wszystkim ich rozkład będzie silnie nierównomierny (w przybliżeniu rozkład Laplace'a). Dla kodowania entropijnego sygnału zmiana postaci sygnału, polegająca na zwiększeniu rozmiaru pól bitowych o 1 bit, nie jest korzystna. Jednak w praktyce rozmiar pola jest się znacznie mniej istotny od jednocześnie uzyskiwanej korzystnej zmiany stanu sygnału polegającej na zmianie rozkładu prawdopodobieństwa próbek, dzięki której entropia sygnału zostaje zmniejszona i w konsekwencji sygnał po kompresji ma mniejszy rozmiar.

Przedmiot wynalazku przedstawiono w przykładzie wykonania na rysunku na którym Fig. 1 przedstawia tor przetwarzania sygnału z obrazem w urządzeniu dokonującym akwizycji i kompresji obrazu, a Fig. 2 przedstawia tor przetwarzania w urządzeniu prezentującym na wyświetlaczu cyfrowym obraz zapisany w postaci skompresowanej na nośniku pamięci masowej.

Przykładowy system przetwarzania obrazów zastosowany jest w cyfrowym aparacie fotograficznym zapisującym na karcie pamięci zdjęcia monochromatyczne (w poziomach szarości). Uzyskiwany w aparacie fotograficznym wysokorozdzielczy obraz ma duży rozmiar, przez co jest kłopotliwy w transmisji i składowaniu. Niedogodności związane z wielkością generowanych przez aparat sygnałów zawierających obrazy ograniczamy stosując kompresję, przy czym w ogólnym przypadku, gdy nie znamy przeznaczenia pozyskiwanych obrazów, nie należy stosować kompresji stratnej. W aparacie, na wyjściu modułu akwizycji obrazu (1), uzyskujemy przeznaczony do kompresji sygnał zawierający piksele obrazu (2), który należy przetworzyć w taki sposób aby zajmował niewiele miejsca oraz aby możl iwe było jego bezstratne odtworzenie. Zatem zastosujemy kompresję bezstratną.

Tor przetwarzania obrazu w aparacie zbudowany jest zgodnie ze standardem JPEG 2000 [ITU-T; ISO/IEC: „Information technology - JPEG 2000 image coding system: Core coding system”, ITU-T Recommendation T.800 and ISO/IEC International Standard 15444-1,2016] za wyjątkiem umieszczonego na tym torze na sposób według wynalazku modułu predykcji warunkowej (7). Sygnał zawierający piksele

PL 241 052 B1 obrazu (2) wprowadzany jest na wejście modułu DWT (3). Transformacja DWT wykonywana jest w miejscu, dlatego moduł DWT (3) zawiera bufor zdolny pomieścić wszystkie piksele obrazu. Odczytywane w module DWT (3) z sygnału zawierającego piksele obrazu (2) piksele obrazu są zapisywane w tym buforze. Po zapisaniu wszystkich pikseli w buforze jest na nich wykonywana transformacja DWT z filtrem falkowym Cohen Daubechies Faveau (5,3) zgodnie ze standardem JPEG 2000, w wyniku której w buforze w miejscu pikseli obrazu otrzymujemy podpasma po DWT w liczbie zależnej od za stosowanego rzędu transformacji DWT. Niezależnie od rzędu transformacji DWT łączna liczba próbek podpasm po DWT równa jest liczbie pikseli obrazu. Jeżeli rząd transformacji wynosi 0 to wszystkie piksele obrazu traktowane dalej są jako próbki pojedynczego podpasma po DWT. Następnie poszczególne podpasma po DWT są odczytywane z bufora i wyprowadzane na zewnątrz modułu w postaci sygnału zawierającego podpasma po DWT (4). Każde z podpasm w tym sygnale reprezentowane jest przez ciągły fragment sygnału zawierający pola bitowe zawierające metadane podpasma (czyli informacje o rodzaju podpasma, wielkości podpasma i zakresie dynamicznym jego próbek) po których znajdują się pola z próbkami podpasma. Sygnał zawierający podpasma po DWT (4) wprowadzany jest na wejście modułu kwantyzacji próbek podpasm (5), jednak gdy system przeprowadza kompresję bezstratną, to ten moduł nie zmienia parametrów technicznych sygnału, zatem próbki wszystkich podpasm w sygnale zawierającym podpasma po DWT i kwantyzacji (6) są takie same jak odpowiednie próbki w sygnale zawierającym podpasma po DWT (4).

Sygnał zawierający podpasma po DWT i kwantyzacji (6) wprowadzany jest na wejście modułu predykcji warunkowej (7) zbudowanego na sposób według wynalazku. Sygnał ten trafia najpierw do układu selektora adaptacyjnego kodowania sygnału różnicowego (12), który wyodrębnia z sygnału zawierającego podpasma po DWT i kwantyzacji (6) kolejne podpasma po DWT na podstawie pól z metadanymi podpasm. Selektor adaptacyjnego kodowania sygnału różnicowego (12) wyposażony jest w bufor danych podpasma (13) do którego zapisywane na bieżąco są odczytywane podpasma. Dla danego podpasma po DWT, po zapisaniu w buforze danych podpasma (13) metadanych podpasma oraz próbek podpasma, selektor adaptacyjnego kodowania sygnału różnicowego (12) sprawdza, na podstawie entropii tego podpasma oraz entropii jego sygnału różnicowego, czy korzystne jest zastosowanie predykcji do tego podpasma. W tym celu, selektor adaptacyjnego kodowania sygnału różnicowego (12):

1. za pomocą szyny sterującej przełącznika sygnałów (14) ustawia przełącznik sygnałów (21) tak, aby na wyjście przełącznika sygnałów na szynę zwrotną selektora kodowania sygnału różnicowego (22) wyprowadzane były pola bitowe transmitowane szyną próbek różnicowych (20), a wyjście przełącznika sygnałów na szynę sygnału kodera entropijnego (8) pozostawało nieaktywne;

2. następnie na szynę predykcji (16) wyprowadza wszystkie próbki podpasma odczytane z bufora danych podpasma (13), dla każdej próbki jednocześnie przekazując jej współrzędne do układu predykcji (17) szyną sterującą układu predykcji (18); po dokonaniu predykcji próbki różnicowe wracają szyną zwrotną selektora kodowania sygnału różnicowego (22) do selektora adaptacyjnego kodowania sygnału różnicowego (12), który na ich podstawie wyznacza histogram próbek różnicowych;

3. następnie selektor adaptacyjnego kodowania sygnału różnicowego (12) wyznacza entropię sygnału różnicowego na podstawie histogramu próbek różnicowych, wyznacza histogram próbek podpasma na podstawie próbek podpasma odczytanych z bufora danych podpasma (13), wyznacza entropię podpasma na podstawie histogramu próbek podpasma.

Jeżeli entropia sygnału różnicowego jest mniejsza niż entropia podpasma (czyli korzystne jest zastosowanie predykcji) to selektor adaptacyjnego kodowania sygnału różnicowego (12): w buforze danych podpasma (13) zmienia wartość pola metadanych podpasma opisującego zakres dynamiczny próbek podpasma na Y=2*Z-1, gdzie Z to zakres dynamiczny próbek podpasma po DWT; następnie za pomocą szyny sterującej przełącznika sygnałów (14) ustawia przełącznik sygnałów (21) tak, aby na wyjście przełącznika sygnałów na szynę sygnału kodera entropijnego (8) wyprowadzane były pola bitowe transmitowane szyną próbek niezmodyfikowanych (15), a wyjście przełącznika sygnałów na szynę zwrotną selektora kodowania sygnału różnicowego (22) pozostawało nieaktywne; następnie wyprowadza na szynę próbek niezmodyfikowanych (15) metadane podpasma odczytane z bufora danych podpasma (13) uzupełnione o dodatkowy marker COM (zgodny ze standardem JPEG 2000; jeżeli metadane podpasma zawierały już przynajmniej jeden marker COM, to dodatkowy marker COM wyprowadzany jest przed pozostałymi markerami COM) zawierający pole bitowe o długości 8 bitów i wartości 1

PL 241 052 B1 (oznaczające, że predykcja jest stosowana do podpasma); następnie za pomocą szyny sterującej przełącznika sygnałów (14) ustawia przełącznik sygnałów (21) tak, aby na wyjście przełącznika sygnałów na szynę sygnału kodera entropijnego (8) wyprowadzane były pola bitowe transmitowane szyną próbek różnicowych (20), a wyjście przełącznika sygnałów na szynę zwrotną selektora kodowania sygnału różnicowego (22) pozostawało nieaktywne; następnie na szynę predykcji (16) wyprowadza wszystkie próbki podpasma odczytane z bufora danych podpasma (13), dla każdej próbki jednocześnie przekazując jej współrzędne do układu predykcji (17) szyną sterującą układu predykcji (18); po dokonaniu predykcji próbki różnicowe kierowane są przez przełącznik sygnałów (21) na szynę sygnału kodera entropijnego (8).

Jeżeli entropia sygnału różnicowego jest większa lub równa entropii podpasma (czyli zastosowanie predykcji nie jest korzystne) to selektor adaptacyjnego kodowania sygnału różnicowego (12): za pomocą szyny sterującej przełącznika sygnałów (14) ustawia przełącznik sygnałów (21) tak, aby na wyjście przełącznika sygnałów na szynę sygnału kodera entropijnego (8) wyprowadzane były pola bitowe transmitowane szyną próbek niezmodyfikowanych (15), a wyjście przełącznika sygnałów na szynę zwrotną selektora kodowania sygnału różnicowego (22) pozostawało nieaktywne; następnie wyprowadza na szynę próbek niezmodyfikowanych (15) metadane podpasma odczytane z bufora danych podpasma (13) uzupełnione o marker COM (zgodny ze standardem JPEG 2000; jeżeli metadane podpasma zawierały już przynajmniej jeden marker COM, to dodatkowy marker COM wyprowadzany jest przed pozostałymi markerami COM) zawierający pole bitowe o długości 8 bitów i wartości 0 (oznaczające, że predykcja nie jest stosowana do podpasma) oraz wszystkie próbki podpasma odczytane z bufora danych podpasma (13).

Próbki różnicowe transmitowane szyną próbek różnicowych (20) wyznaczane są dla danej próbki różnicowej jako różnica pomiędzy wartością odpowiadającej jej próbki podpasma po DWT transmitowanej szyną predykcji (16) a przewidywaną wartością tej próbki podpasma po DWT wyznaczoną w układzie predykcji (17) i wyprowadzoną na szynę pomocniczą (19). Układ predykcji (17) dla danej próbki podpasma po DWT transmitowanej szyną predykcji (16) otrzymuje szyną sterującą układu predykcji (18) jej współrzędnie i na ich podstawie, z wykorzystaniem już przetworzonych sąsiadów tej próbki odczytanych z bufora danych podpasma (13), przewiduje jej wartość za pomocą predyktora MED zgodnie ze standardem JPEG-LS [ITU-T; ISO/IEC: Information technology - Lossless and near-lossless compression of continuous-tone still images - Baseline”, ITU-T Recommendation T. 87 and ISO/IEC International Standard 14495-1,2000]. Dla przykładu, jeżeli dana próbka P podpasma po DWT przekazywana szyną predykcji (16) ma wartość 12 i wszystkie próbki sąsiadujące z nią w podpaśmie po DWT mają taką samą wartość wynoszącą 10, to układ predykcji (17), wyłącznie na podstawie już przetworzonych próbek sąsiadujących w podpaśmie po DWT z P (odczytanych z bufora danych podpasma (13) na podstawie współrzędnych próbki P otrzymanych szyną sterującą układu predykcji (18)) przewidzi, że wartość próbki P wynosi 10. Następnie przewidziana wartość próbki P (wynosząca 10) zostanie wyprowadzona na szynę pomocniczą (19), po czym zostanie odjęta od rzeczywistej wartości próbki P (wynoszącej 12) i w ten sposób wyznaczona próbka różnicowa R o wartości 2 wyprowadzona zostanie na szynę próbek różnicowych (20).

Sygnał kodera entropijnego (8) zawiera podpasma po DWT, pośród których te, dla których zastosowanie predykcji jest korzystne, zostały w module predykcji warunkowej (7) zastąpione sygnałami różnicowymi, których entropia jest mniejsza niż entropia podpasm po DWT. Entropia sygnału jest dobrym estymatorem efektów kodowania entropijnego sygnału. Dzięki temu sygnał zawierający skompresowany obraz (10) otrzymany na wyjściu modułu kodowania entropijnego (9) będzie miał w przeciętnym przypadku mniejszy rozmiar i zajmie mniej miejsca w module pamięci masowej (11), niż gdyby na wejście modułu kodowania entropijnego (9) wprowadzono niezmodyfikowany sygnał zawierający podpasma po DWT i kwantyzacji (6).

Entropia sygnału jest dobrym estymatorem efektów jego kodowania entropijnego, ale nie jest estymatorem idealnym, ponieważ koder entropijny zdefiniowany w standardzie JPEG 2000 jest koderem kontekstowym. Nieco lepszą poprawę współczynnika kompresji obrazu uzyskać można na sposób według wynalazku, jeżeli podpasma, które zostaną zastąpione sygnałami różnicowymi, moduł predykcji warunkowej (7) będzie wybierać na podstawie rzeczywistych współczynników kompresji podpasm a nie ich entropii. Rozwiązanie takie istotnie zwiększa złożoność modułu predykcji warunkowej (7), gdyż wymaga przeprowadzania uproszczonego kodowania entropijnego sygnałów (uproszczonego, tj. bez wyprowadzania strumienia bitów zawierającego zakodowane podpasmo, lub jego sygnał różnicowy, ale z wyznaczaniem długości tego strumienia) zamiast budowania ich histogramów i wyznaczania entropii,

PL 241 052 B1 przy czym moduł odwrotnej predykcji warunkowej (23) stosowany podczas dekompresji obrazu nie zmieni się.

Przedstawiony na Fig. 2 tor przetwarzania obrazu w urządzeniu prezentującym za pomocą modułu wyświetlacza cyfrowego (26) obraz zapisany w postaci skompresowanej na nośniku pamięci masowej w module pamięci masowej (11), zawiera moduły zgodne ze standardem JPEG 2000 odwracające efekty działania odpowiednich modułów aparatu fotograficznego (z Fig. 1): moduł dekodowania entropijnego (27) odwracający efekty działania modułu kodowania entropijnego (9), moduł dekwantyzacji próbek podpasm (24) odwracający efekty działania modułu kwantyzacji próbek podpasm (5) oraz moduł odwrotnej DWT (25) odwracający efekty działania modułu DWT (3). Objaśnienia wymaga działanie modułu odwrotnej predykcji warunkowej (23) odwracającego efekty działania modułu predykcji warunkowej (7). Zawarty w tym module selektor dekodowania sygnału różnicowego (30), dla każdego podpasma po DWT lub jego sygnału różnicowego wyodrębnionego z sygnału kodera entropijnego (8), najpierw pobiera do bufora metadanych podpasma (31) metadane podpasma (lub sygnału różnicowego), które podczas kompresji obrazu zostały w module predykcji warunkowej (7) uzupełnione o marker COM (zgodny ze standardem JPEG 2000, w przypadku gdy metadane zawierają wiele markerów COM, to pod uwagę brany jest pierwszy z markerów COM) zawierający pole bitowe o długości 8 bitów i wartości 0 (oznaczającej, że predykcja nie została zastosowana do podpasma) lub wartości 1 (oznaczającej, że predykcja została stosowana do podpasma). Jeżeli predykcja nie została zastosowana do podpasma, to selektor dekodowania sygnału różnicowego (30): za pomocą szyny sterującej przełącznika sygnałów (32) ustawia przełącznik sygnałów (29) tak, aby na jego wyjście, jako próbki sygnału zawierającego podpasma po DWT i kwantyzacji (6) wyprowadzane były pola bitowe transmitowane szyną próbek niezmodyfikowanych (15); następnie wyprowadza na szynę próbek niezmodyfikowanych (15) metadane podpasma odczytane z bufora metadanych podpasma (31) za wyjątkiem markera COM, o który metadane zostały uzupełnione w module predykcji warunkowej (7), po czym wyprowadza na tę samą szynę wszystkie próbki podpasma odczytywane na bieżąco z sygnału kodera entropijnego (8).

Jeżeli predykcja została zastosowana do podpasma, czyli odczytane metadane są metadanymi sygnału różnicowego i dla odtworzenia podpasma z sygnału różnicowego podpasma konieczne jest zastosowanie do niego odwrotnej predykcji, to selektor dekodowania sygnału różnicowego (30): w buforze metadanych podpasma (31) zmienia wartość pola metadanych sygnału różnicowego opisującego zakres dynamiczny jego próbek na Z=(Y+1)/2, gdzie Y to zakres dynamiczny próbek sygnału różnicowego; następnie za pomocą szyny sterującej przełącznika sygnałów (32) ustawia przełącznik sygnałów (29) tak, aby na jego wyjście, jako próbki sygnału zawierającego podpasma po DWT i kwantyzacji (6) wyprowadzane były pola bitowe transmitowane szyną próbek niezmodyfikowanych (15); następnie wyprowadza na szynę próbek niezmodyfikowanych (15) metadane odczytane z bufora metadanych podpasma (31) za wyjątkiem markera COM, o który metadane zostały uzupełnione w module predykcji warunkowej (7); następnie za pomocą szyny pomocą szyny sterującej przełącznika sygnałów (32) ustawia przełącznik sygnałów (29) tak, aby na jego wyjście, jako próbki sygnału zawierającego podpasma po DWT i kwantyzacji (6) wyprowadzane były pola bitowe transmitowane szyną odwrotnej predykcji (33); następnie na szynę próbek różnicowych (20) wyprowadza wszystkie próbki różnicowe podpasma odczytywane na bieżąco z sygnału kodera entropijnego (8), dla każdej próbki jednocześnie przekazując jej współrzędne do układu predykcji (17) szyną sterującą układu predykcji (18); po dokonaniu predykcji odwrotnej otrzymane próbki podpasma po DWT wysyłane są przez przełącznik sygnałów (29) poza moduł odwrotnej predykcji warunkowej (23), do modułu dekwantyzacji próbek podpasm (24).

Układ predykcji (17) modułu odwrotnej predykcji warunkowej (23) jest taki sam jak w module predykcji warunkowej (7), ale korzysta z mniejszego z bufora, tj. z bufora próbek podpasma (28), do którego już odtworzone próbki podpasma dostarczane zostają szyną odwrotnej predykcji (33). Ponieważ predyktor MED przewiduje wartość danej próbki na podstawie już przetworzonych próbek z poprzedniego i aktualnego wiersza podpasma, to gdy próbki w sygnale ułożone są w kolejności rastrowej wystarczy aby bufor próbek podpasma (28) zdolny był pomieścić przynajmniej 2 wiersze podpasma (w przeciwieństwie do bufora danych podpasma (13) w module predykcji warunkowej (7), którego pojemność musi być wystarczająca do zmieszczenia wszystkich próbek podpasma). Układ predykcji (17) dla danej próbki sygnału różnicowego R transmitowanej szyną próbek różnicowych (20) otrzymuje szyną sterującą układu predykcji (18) współrzędnie próbki P podpasma po DWT która będzie odtwarzana na podstawie tej próbki sygnału różnicowego R, po czym z wykorzystaniem już przetworzonych sąsiadów próbki P odczytanych z bufora próbek podpasma (28), wyznacza jej przewidywaną wartość i wyprowadza ją na szynę pomocniczą (19), a następnie próbka P podpasma po DWT odtwarzana jest

PL 241 052 B1 jako suma próbki różnicowej R umieszczonej na szynie próbek różnicowych (20) i przewidywanej wartości odpowiadającej jej próbki podpasma po DWT wyznaczonej w układzie predykcji (17) i wyprowadzonej na szynę pomocniczą (19). Dla przykładu, jeżeli znajdująca się na szynie próbek różnicowych (20) próbka różnicowa R, na podstawie której zostanie odtworzona próbka P, ma wartość 2 a wszystkie już odtworzone próbki, które sąsiadować będą w podpaśmie po DWT z próbką P mają taką samą wartość 10, to układ predykcji (17), wyłącznie na podstawie już odtworzonych próbek sąsiadujących z P przewidzi za pomocą predyktora MED, że wartość próbki P wynosi 10 i wyprowadzi próbkę o wartości 10 na szynę pomocniczą (19), po czym przewidziana wartość próbki P (wynosząca 10) zostanie dodana do wartości próbki różnicowej R (wynoszącej 2) i na szynę układu predykcji (16) wyprowadzona zostanie odtworzona próbka P o wartości 12.

Claims (18)

1. System adaptacyjnego przetwarzania obrazów, zwłaszcza, w urządzeniach akwizycji, przetwarzania i składowania lub transmisji przeprowadzających kompresję obrazów cyfrowych z wykorzystaniem dyskretnej transformacji falkowej DWT i kodowania entropijnego, znamienny tym, że zawiera umieszczony w torze przetwarzania obrazu, po module DWT (3) dekomponującym obraz na podpasma, a przed modułem kodowania entropijnego (9) podpasm uzyskanych po module DWT (3), moduł predykcji warunkowej (7), w którym sygnał zawierający podpasma po DWT wprowadzany jest na wejście połączonego z buforem danych podpasma (13) układu selektora adaptacyjnego kodowani a sygnału różnicowego (12), który próbki podpasma wyprowadza na szynę układu predykcji (16) i za pomocą szyny sterującej układu predykcji (18) prowadzącej do układu predykcji (17) połączonego z buforem danych podpasma (13) steruje układem predykcji (17), który przewidywanie wartości próbek danego podpasma korzystnie przeprowadza na podstawie już przetransformowanych próbek tego samego podpasma przechowywanych w buforze danych podpasma (13), a przewidziane wartości próbek wyprowadza za pośrednictwem szyny pomocniczej; (19) na wejście sumatora, który wyznacza tworzące sygnał różnicowy próbki różnicowe jako różnice pomiędzy wartościami rzeczywistych próbek podpasma dostarczonymi szyną układu predykcji (16) a dostarczonymi za pośrednictwem szyny pomocniczej (19) wartościami próbek przewidzianymi za pomocą układu predykcji (17) i przesyła je przez szynę próbek różnicowych (20) do przełącznika sygnałów (21) wysterowanego przez układ selektora adaptacyjnego kodowania sygnału różnicowego (12) za pomocą szyny sterującej (14), przy czym przełącznik sygnałów (21) połączony jest dodatkowo z układem selektora adaptacyjnego kodowania sygnału różnicowego (12) za pomocą szyny próbek niezmodyfikowanych (15) oraz szyny zwrotnej selektora kodowania sygnału różnicowego (22) za pomocą której przesyłane są dane, umożliwiające wybór przez układ selektora adaptacyjnego kodowania sygnału różnicowego (12) podpasm uzyskanych po module DWT (3), które na wyjście modułu predykcji warunkowej (7) wyprowadzane są, za pośrednictwem przełącznika sygnałów (21) w postaci ich sygnałów różnicowych, w których dla danego podpasma próbki tego podpasma są przetransformowane do postaci próbek różnicowych, przy czym pozostałe podpasma wyprowadzane są na wyjście modułu predykcji warunkowej (7) w postach niezmodyfikowanej za pomocą przełącznika sygnałów (21) i szyny próbek niezmodyfikowanych (15).

2. System według zastrz. 1, znamienny tym, że moduł DWT (3) i moduł kodowania entropijnego (9) zbudowane są zgodnie ze standardem JPEG 2000.

3. System według zastrz. 1, znamienny tym, że moduł predykcji warunkowej (7) za pomocą, układu predykcji (17) transformuje do postaci sygnału różnicowego każde podpasmo i pośród podpasm uzyskanych po module DWT (3), którego entropia jest większa od entropii jego sygnału różnicowego.

4. System według zastrz. 1, znamienny tym, że moduł predykcji warunkowej (7) za pomocą układu predykcji (17) transformuje do postaci sygnału różnicowego każde podpasmo pośród podpasm uzyskanych po module DWT (3), którego rozmiar po kodowaniu entropijnym jest większy od rozmiaru jego sygnału różnicowego po kodowaniu entropijnym.

PL 241 052 B1

5. System według zastrz. 1, znamienny tym, że przewidywanie wartości próbki, w układzie predykcji (17) przeprowadza się z użyciem predyktora MED zdefiniowanego w standardzie JPEG-LS.

6. System według zastrz. 1, znamienny tym, że jeżeli po zastosowaniu DWT rzędu zerowego w module DWT (3) entropia sygnału wprowadzanego na wejście modułu predykcji warunkowej (7) jest większa od entropii sygnału różnicowego wyznaczonego dla tego sygnału, to cały sygnał wprowadzany na wejście modułu predykcji warunkowej (7) transformowany jest z użyciem układu predykcji (17) do postaci sygnału różnicowego, przy czym w miejsce próbek podpasma po DWT transformowane są próbki reprezentujące piksele obrazu.

7. System według zastrz. 1, znamienny tym, że jeżeli po zastosowaniu DWT rzędu zerowego w module DWT (3) rozmiar sygnału wprowadzanego na wejście modułu predykcji warunkowej (7) po kodowaniu entropijnym jest większy od rozmiaru zakodowanego entropijnie sygnału różnicowego wyznaczonego dla tego sygnału, to cały sygnał wprowadzany na wejście modułu predykcji warunkowej (7) transformowany jest z użyciem układu predykcji (17) d o postaci sygnału różnicowego przy czym w miejsce próbek podpasma po DWT transformowane są próbki reprezentujące piksele obrazu.

8. System według zastrz. 1, znamienny tym, że zawiera umieszczony w torze przetwarzania obrazu jeden lub więcej dodatkowych modułów, na przykład moduł przeprowadzający, kwantyzację próbek podpasm uzyskanych po DWT (5), przy czym jeżeli dodatkowy moduł (5) umieszczony jest przed modułem kodowania entropijnego (9) i po module DWT (3), to moduł predykcji warunkowej (7) umieszczony jest bezpośrednio przed modułem kodowania entropijnego (9).

9. Sposób adaptacyjnego przetwarzania obrazów zwłaszcza w urządzeniach akwizycji, przetwarzania i składowania lub transmisji przeprowadzających kompresję obrazów cyfrowych z wykorzystaniem dyskretnej transformacji falkowej DWT i kodowania entropijnego, znamienny tym, że przed przeprowadzeniem kodowania entropijnego podpasm otrzymanych po DWT transformuje się wybrane podpasma otrzymane po DWT do postaci ich sygnałów różnicowych, przy czym w sygnale różnicowym danego podpasma próbki tego podpasma są transformowane do postaci próbek różnicowych, przy czym próbkę różnicową wyznacza się dla danej próbki podpasma jako różnicę pomiędzy rzeczywistą wartością tej próbki podpasma a jej wartością przewidywaną, przy czym przewidywanie wartości próbki danego podpasma korzystnie przeprowadza się wyłącznie na podstawie już przetransformowanych próbek tego samego podpasma, a decyzja o kwalifikacji danego podpasma do przeprowadzenia transformacji do postaci jego sygnału różnicowego korzystnie podejmowana jest na podstawie próbek tego samego podpasma.

10. Sposób według zastrz. 9, znamienny tym, że do postaci sygnału różnicowego transformowane jest każde podpasmo, pośród podpasm otrzymanych po DWT, którego entropia jest większa od entropii jego sygnału różnicowego.

11. Sposób według zastrz. 9, znamienny tym, że do postaci sygnału różnicowego transformowane każde podpasmo, pośród podpasm otrzymanych po DWT, którego rozmiar po kodowaniu entropijnym jest większy od rozmiaru jego sygnału różnicowego po kodowaniu entropijnym.

12. Sposób według zastrz. 9, znamienny tym, że transformację DWT i kodowanie entropijne przeprowadza się zgodnie ze standardem JPEG 2000.

13. Sposób według zastrz. 9, znamienny tym, że przewidywanie wartości próbki przeprowadza się z użyciem predyktora MED zdefiniowanego w standardzie JPEG-LS.

14. Sposób według zastrz. 9, znamienny tym, że poddawany transformacji DWT sygnał zawierający obraz jest w postaci cyfrowej oraz zawiera ciąg D E-bitowych pól, z których każde zawiera próbkę sygnału reprezentującą jasność pojedynczego piksela, a pola te umieszczone są w sygnale w kolejności rastrowej, czyli od najwyżej do najniżej położonego wiersza, a w ramach wiersza od skrajnego lewego do skrajnego prawego piksela, gdzie D jest liczbą pikseli obrazu, przy czym długość E pola bitowego korzystnie wynosi 8 bitów, przy czym w sygnale poddawanym transformacji DWT próbki sygnału reprezentujące jasności pikseli obrazu umieszczone są po próbkach zawierających metadane obrazu opisujące przynajmniej wymiary obrazu i zakres dynamiczny próbek obrazu.

PL 241 052 B1

15. Sposób według zastrz. 9, znamienny tym, że sygnał zawierający podpasma otrzymane po DWT jest w postaci cyfrowej, a dla każdego podpasma uzyskanego po DWT zawiera ciąg pól bitowych zawierających próbki podpasma umieszczone w kolejności rastrowej, przy czym w sygnale zawierającym podpasma otrzymane po DWT, dla każdego podpasma otrzymanego po DWT, próbki tego podpasma umieszczone są po próbkach zawierających metadane tego podpasma pozwalające jednoznacznie zidentyfikować to podpasmo oraz opisujące wymiary podpasma i zakres dynamiczny próbek podpasma.

16. Sposób według zastrz. 9, znamienny tym, że dla transformacji DWT rzędu zerowego jeżeli entropia sygnału zawierającego obraz jest większa od entropii sygnału różnicowego sygnału zawierającego obraz to cały sygnał zawierający obraz transformowany jest do postaci sygnału różnicowego, przy czym w miejsce próbek podpasma otrzymanego po DWT transformowane są próbki reprezentujące piksele obrazu.

17. Sposób według zastrz. 9, znamienny tym, że dla transformacji DWT rzędu zerowego jeżeli rozmiar sygnału zawierającego obraz po kodowaniu entropijnym jest większy od rozmiaru zakodowanego entropijnie sygnału różnicowego sygnału zawierającego obraz to cały sygnał zawierający obraz transformowany jest do postaci sygnału różnicowego, przy czym w miejsce próbek podpasma otrzymanego po DWT transformowane są próbki reprezentujące piksele obrazu.

18. Sposób według zastrz. 9, znamienny tym, że przed przeprowadzeniem kodowania entropijnego podpasm otrzymanych po DWT sygnał je zawierający poddaje się dodatkowym transformacjom sygnału, na przykład kwantyzacji próbek podpasm uzyskanych po DWT, przy czym korzystnie transformacje te wykonuje się przed transformowaniem wybranych podpasm po DWT do postaci ich sygnałów różnicowych.