PL206719B1 - Sposób kompresji i dekompresji sygnałów wideo - Google Patents

Description

Opis wynalazku

Przedmiotem wynalazku jest sposób kompresji i dekompresji sygnałów wideo.

Sygnały wideo są tworzone i odtwarzane z szybko zmieniających się po sobie kolejnych obrazów. W przypadku telewizji powszechnej (norma PAL) jest to 25 obrazów na sekundę lub 50 półobrazów na sekundę. W przypadku rejestracji cyfrowej stosuje się ok. 30 obrazów na sekundę. Każdy obraz dzielony jest na linie i następnie sekwencyjnie transmitowany i/lub zapisywany.

Znane dotychczas sposoby kompresji sygnałów wideo opierają się w na zmniejszaniu rozdzielczości obrazu, głębi kolorów i zmniejszaniu ilości obrazów na sekundę. W przypadku kompresji cyfrowej, na przykład w systemie MPEG („Motion Picture Export Group”), transmitowane są obrazy różnicowe, tzn. różnice poszczególnych punktów obrazu (pikseli) w porównaniu z poprzednim obrazem, zamiast kompletnych obrazów. Najnowszym standardem dla kodowania wideo jest MPEG-4. Przez grupę MPEG są ustalane formaty danych i oszczędzające miejsce sposoby kompresji i zapisu danych wideo lub multimedialnych (wideo, dane obrazu i dźwięku) o wysokiej jakości. Standard MPEG dzieli się na MPEG-1, MPEG-2, MPEG-3 i MPEG-4, przy czym MPEG-3 został w międzyczasie zintegrowany z MPEG-2. Aby umożliwić przetwarzania takiej ogromnej ilości sygnałów wideo za pomocą znanych urządzeń elektronicznych, zapisywane są tylko zmiany zachodzące w poszczególnych pikselach w stosunku do poprzedniego obrazu. Format MPEG zapisuje w regularnych odstępach typowo dwanaście obrazów tzw. obrazów wewnętrznych (Intra-Frames), tzn. są to pojedyncze obrazy skompresowane w formacie JPEG. Obrazy pomiędzy tymi obrazami wewnętrznymi są w miarę możliwości składane niekompletnie. Wiele więcej zapamiętuje MPEG, a mianowicie jak można je odzyskać poprzez przesuwanie części z poprzednich lub następnych obrazów. Do tego celu wykorzystywane są również obrazy przewidywane (Predicted Frames) i obrazy dwukierunkowe (B-Frames - Bi-directional Frames). Ponieważ sposób ten nie zawsze działa perfekcyjnie, zapisywane są dodatkowo pozostałe odchylenia w kodzie JPEG. Metoda ta pozwala na zmniejszenie zapotrzebowania na dane dla filmu wideo o około 99%. Możliwa kompresja ma wartość do 200:1. MPEG-1 zostało zaprojektowane dla płynnego odtwarzania filmów wideo. Kompresja i dekompresja w MPEG-1, głównie dzięki szybkim procesorom, stała się możliwa kompresja programowa. Standard MPEG-2 polega na kompresji o najwyższym stopniu jakości, co umożliwia obróbkę i edycję materiału filmowego prawie 1 do 1 o jakości studyjnej, co spowodowało, że MPEG-2 stał się powszechnym standardem. Przy czystym kodowaniu obrazów wewnętrznych (Intra-Frame) istnieje nawet możliwość wykorzystania systemu MPEG-2 do pracy z cięciami. Część standardu MPEG-3, przewidzianej dla jakości HDTV (High Definition TV - telewizji wysokiej rozdzielczoś ci), został a włączona do standardu MPEG-2. System MPEG-4 jest wynikiem dalszego rozwoju formatu MPEG-2 i znajduje się w rozwoju od 1996 roku. Mimo że format MPEG-4 pierwotnie był jako standard kodowania dla danych audiowizualnych o niskiej szybkości transmisji, to w dalszym rozwoju wykorzystano go do wielu innych celów niż tylko do przepływów strumieniowych, liniowych danych medialnych, w zastosowaniach internetowych i bezprzewodowych. MPEG-4 jest wydajnym systemem do kompresji i dystrybucji interaktywnych treści medialnych. Ponadto MPEG-4 dysponuje potencjałem techniki 3D, dla wizualizacji lub awangardowego prezentowania sztucznych inteligencji, np. w ramach wideokonferencji. Stopień kompresji w MPEG-4 jest wyższy niż w MPEG-2, przy czym „duszki” („Sprites”) podlegają lepiej kompresji, ponieważ mechanizm kodowania jest do dyspozycji przez dłuższy czas. Język skryptu umożliwia przy wykorzystaniu zaledwie kilku bajtów na znacznie szybsze wykonanie takiej operacji jak „przesuwanie”, niż byłoby możliwe wykonanie takiej operacji przy cyfrowej postaci kompresji. Za pomocą takich „duszków” istnieje możliwość przesuwania dowolnie zarysowanych stałych obrazów na ruchomych obrazach.

Celem wynalazku jest opracowanie takiego sposobu kompresji sygnałów wideo, który umożliwi proste i elastyczne dopasowanie rozdzielczości obrazu i wielkości wyświetlacza do różnych prędkości transmisji lub szerokości pasma transmisji.

Cel ten został zrealizowany przez sposób kompresji i dekompresji sygnałów wideo, który charakteryzuje się tym, że w celu kompresji na sygnałach wideo wykonuje się kolejno następujące czynności: w oparciu o chwilową wartość kontrastu, czyli różnicy wartości określonego parametru sygnału rozpatrywanego piksela, jako piksela odniesienia (P0) i wartości odpowiadających mu parametrów sąsiednich pikseli (P1-P4), otaczającego go obszaru, wyznacza się określoną wartość priorytetu sygnału danego piksela, określającą kolejność jego zapisu, następnie zestawia się razem sygnały pikseli mających jednakową wartość priorytetu w poszczególne grupy pikseli (P0-P4), przy czym sygnały odpowiadające poszczególnym grupom pikseli, a zwłaszcza w zależności od wartości priorytetu ich

PL 206 719 B1 piksela odniesienia zestawia się, tworząc rodzaj tablicy, po czym zapisuje się je w znanej pamięci elektronicznej w kolejności ich priorytetów i/lub ewentualnie transmituje się wybrane sygnały, przy czym w zależności od zastosowanego współczynnika kompresji zapisaniu i/lub transmisji podlega tylko odpowiednia część grup pikseli, a następnie czynności te powtarza się w sposób ciągły dla każdego sygnału obrazu wideo.

W sposobie według wynalazku korzystnym jest, że na początku zapisuje się w pamięci elektronicznej i/lub transmituje sygnały poszczególnych grup pikseli stanowiące wartości charakterystyczne obrazu wideo, a mianowicie jego szerokość i wysokość, wyrażone w pikselach.

W sposobie według wynalazku korzystnie zapisuje się i/lub transmituje kolejno część sygnału odpowiadającą grupie pikseli i stanowiącą pozycję i wartość priorytetu rozpatrywanego piksela odniesienia, jak również wartości priorytetów pozostałych pikseli w danym obszarze.

W sposobie wedł ug wynalazku w sygnale obrazu niektórym jego obszarom celowo nadaje się wyższy priorytet.

W sposobie według wynalazku sygnał zawierający poszczególne grupy pikseli o określonej wartości priorytetu poddaje się dalszej kompresji znanymi sposobami.

W sposobie wedł ug wynalazku transmisję skompresowanych sygnał ów przeprowadza się w stosowanym urzą dzeniu odbioru obrazu, np. skanera, kamery CCD.

W celu konwersji skompresowanych sygnałów wideo w ich róż nych formatach np. AVI, MPEG1, 2, 4 w sposobie według wynalazku stosuje się karty grabujące (przetwarzające lub konwertujące) obraz.

W celu dekompresji otrzymanego z transmisji skompresowanego sygnału wideo, w sposobie według wynalazku, wykonuje się kolejno następujące czynności: generowanie obrysu tablicy wyświetlanego obrazu o wielkości zależnej od jego założonej rozdzielczości, oraz wprowadzanie do tworzonej tablicy kolejnych, zapisywanych i/lub transmitowanych grup pikseli w kolejności wartości ich priorytetu, a następnie łączenie trzech bezpośrednio sąsiadujących ze sobą grup pikseli do postaci trójkątów, oraz wypełnianie pikseli tworzących powierzchnie tych trójkątów poziomymi liniami o średniej wartości parametrów odpowiadających kolorowi i/lub jaskrawości pikselów znajdujących się na tej linii, przy czym czynności te są powtarzane w sposób ciągły z częstotliwością zmian obrazu.

W sposobie według wynalazku wielkość trójkątów tworzonej tablicy dobiera się w zależności od rozdzielczości wyświetlanego obrazu.

W sposobie według wynalazku tworzy się dodatkowe tablice zawierające następujące dane: czas określający, kiedy ostatnio została wyznaczona i/lub transmitowana wartość piksela, podstawę obliczeń określających, jakie transmitowane piksele zostały wykorzystane do wyznaczania wartości piksela, prawdopodobieństwo/dokładność określającą jak wielka jest wariancja grup przetransmitowanych pikseli, stanowiących podstawę ich nowej wartości, oraz odchylenie już wyznaczonych wartości pikseli od ich transmitowanych wartości.

Dzięki zastosowaniu wynalazku możliwe jest równoległe przetwarzanie informacji wideo bezpośrednio w mikroukładzie odbioru obrazu. W celu określenia wartości poszczególnych pikseli i umieszczenia ich w zestawieniu tworzącym tablicę priorytetów. Tablica ta zawiera dla każdego punktu czasowego odpowiednio posortowane zestawienia grup pikseli, zależne od wartości priorytetu. Poszczególne grupy pikseli są transmitowane lub zapisywane w kolejności zgodnej z wartością ich priorytetu. Piksel ma wysoki priorytet, gdy różnice jego parametrów w stosunku do sąsiedniego piksela są odpowiednio duże.

Przy rekonstrukcji obrazu, na wyświetlaczu przedstawiane są każdorazowo aktualne wartości pikseli. Piksele jeszcze nie transmitowane są obliczane z już przetransmitowanych pikseli.

Odpowiednio do mocy obliczeniowej, wartości priorytetu szerokości pasma transmisji i wielkości wyświetlacza, mogą być stosowane różne sposoby do obliczania wartości priorytetów jeszcze nie transmitowanych pikseli. Jeżeli dysponuje się dużą szerokością pasma, może być stosowana prosta interpolacja liniowa. Natomiast mała szerokość pasma może być uwzględniona przy transmisji priorytetowych pikseli.

Dzięki zapisywaniu historii transmisji pikseli istnieje możliwość identyfikacji obiektów i ocena ich ruchu.

Istota sposobu według wynalazku polega na priorytetowym zapisie i/lub transmisji pikseli. Przy zapisie lub transmisji wideo muszą być ponadto uwzględnione zależności czasowe i pozycyjne (w ramach tablicy obrazu) poszczególnych pikseli lub grup pikseli.

PL 206 719 B1

Celem uzyskania skrajnie wysokiej kompresji danych, transmitowane są każdorazowo takie grupy pikseli, które mają najwyższy priorytet i które dotychczas nie były transmitowane. Wartości priorytetów pikseli jeszcze nie przetransmitowanych grup pikseli, są obliczane w oparciu o wartości już przetransmitowanych grup pikseli, na przykład poprzez interpolację.

Dla wyższej rozdzielczości powstaje wówczas (większa tablica obrazu) wzrasta uzyskiwany współczynnik kompresji, gdyż przy naturalnych zdjęciach większych powierzchni mają one najczęściej równomierny przebieg zmian kolorów, (na przykład niebieskie niebo).

Odtwarzanie lub rekonstrukcja sygnałów wideo polega na reakcjach podobnych do zachowania ludzkiego oka. Człowiek odbiera co prawda bodźce, ale interpretacja tego co rozpoznaje na obrazie, odbywa się dopiero w jego umyśle. Bodźce odpowiadają transmitowanym grupom pikseli, a interpretacja odpowiada wypełnianiu powierzchni pomiędzy jeszcze nie transmitowanymi grupami pikseli. Dla realizacji tego mogą być utworzone dodatkowe tablice na przykład zawierające informacje, z jakiej grupy pikseli określona została wartość piksela dla aktualnej pozycji; kiedy wartości te zostały obliczone i/lub transmitowane. Jako dodatkowa informacja może być również zapisana dokładność wartości na przykład obliczenie w oparciu o piksele z bezpośredniego sąsiedztwa, minimalna wariancja pikseli wykorzystywanych do obliczenia itp.

Dzięki wynalazkowi uzyskuje się również znaczne uproszczenie w dopasowaniu strumienia sygnałów wideo do różnych wielkości wyświetlacza i rozdzielczości obrazu.

Dalszą zaletą sposobu według wynalazku jest to, że opisany rodzaj kodowania nie ustala automatycznie, jakim algorytmem ma być dekodowany zapis wideo. Uzyskuje się to dzięki transmisji wartości priorytetu pikseli, które nie podlegają uśrednianiu wartości.

Producenci mają więc możliwości opracowywania urządzeń końcowych do kompresji i dekompresji, od najtańszych do najdroższych mogą wzajemnie konkurować poprzez stosowanie różnych algorytmów.

Kompresja sygnałów wideo w specjalnie opracowanych do tego celu mikroukładach, umożliwia zastosowanie wyjątkowo niskich szybkości transmisji, co ma bardzo korzystny wpływ na zużycie energii.

Dzięki zastosowaniu priorytetów grup pikseli można transmitować określone obszary wideo (na przykład wargi spikera wiadomości) z wyższym priorytetem, a więc i z lepszą rozdzielczością.

Sposób według wynalazku umożliwia również odfiltrowanie ze strumienia sygnałów wideo części, optymalnych dla różnych urządzeń końcowych, bez konieczności uwzględniania takich wymogów podczas nagrywania wideo.

Przykładowe zastosowanie sposobu według wynalazku jest uwidocznione na załączonym rysunku, na którym fig. 1 przedstawia tablicę obrazu o wymiarach 20 x 21 pikseli, fig. 2 - różne postacie grup pikseli, fig. 3 - tablicę obrazu z ruchomym obiektem w punkcie czasowym 11, fig. 4 - tablicę obrazu z ruchomym obiektem w punkcie czasowym 12, fig. 5 - tablicę obrazu z ruchomym obiektem w punkcie czasowym 13, fig. 6 - nowo generowaną tablicę obrazu z dołączonymi grupami pikseli w narożniku obrazu, fig. 7 - wypełnianie powierzchni pomiędzy już wprowadzonymi do tablicy grupami pikseli, a fig. 8 - wprowadzanie dalszych grup pikseli i wypełnianie leżących między nimi powierzchni.

W opisanym poniżej przykładzie sposobu kompresji i dekompresji sygnałów wideo, według wynalazku przyjęto następujące założenia, że jako źródło wideo zastosowano zwykły sygnał wideo (na przykład PAL lub NTSC), który może być odczytany za pomocą zwykłego handlowego urządzenia elektronicznego (na przykład karty grabującej obraz). Dla zobrazowania sposobu zastosowano przykładowo zminimalizowaną tablicę obrazu o szerokości 20 pikseli i wysokości 21 pikseli (fig. 1). Każdy piksel na tablicy jest reprezentowany 32 bitową informacją (wartością piksela), dzieloną na przykład na 4 parametry (przezroczysty, czerwony, zielony, niebieski) po 8 bitów. Pozycja piksela jest określana za pomocą liczby całkowitej od 0 do 419 (fig. 1), podanej wewnątrz każdego okienka. Pomiędzy źródłem i wyjściem istnieje połączenie UDP (User Datagramm Protocol), służące do przesyłania już skompresowanych sygnałów wideo.

Sposób według wynalazku polega na tym, że w sposób ciągły odbywa się ustalanie priorytetów poszczególnych pikseli sygnału wideo, przy czym piksele te są umieszczane w tablicy odpowiednio do ich priorytetu. Taka tablica zawiera dla każdego punktu czasowego aktualne wartości pikseli, posortowane według priorytetu. Piksel otrzymuje wysoki priorytet, jeżeli różnice jego parametrów są duże w stosunku do piksela są siadują cego. Piksel razem z wykorzystanymi do obliczenia sąsiednimi pikselami jest łączony w jedną grupę pikseli. Transmisja i/lub zapis grup odbywa się zgodnie z priorytetem.

PL 206 719 B1

Do zapisu tablic obrazu służy urządzenie grabujące w każdym punkcie czasowym w tablicy obrazu każdorazowo aktualny obraz, przy czym tablica może mieć przykładowo wymiar 20 x 21 pikseli (fig. 1), zaś każdy piksel jest określony przez swoją pozycję (od 0 do 419) i parametr (wartość koloru i jaskrawoś ci).

Powyżej opisano, jakie sąsiadujące piksele tworzą grupę pikseli. Przy czym jako piksel odniesienia p0 oznaczony jest piksel, który określa pozycję grupy pikseli i dla którego oblicza się priorytet. Względna pozycja pozostałych pikseli, na przykład p1-p4, jednej grupy pikseli w stosunku do piksela odniesienia p0, zależy od zastosowanej postaci grupy pikseli. Na fig. 2 przedstawiono przykładowo sposób ustalania grup pikseli i niektóre z możliwych postaci grup pikseli. W stosunku do piksela odniesienia p0 tworzyć można zarówno symetryczne jak i niesymetryczne grupy pikseli. Jaki rodzaj grup pikseli jest stosowany zależy od rodzaju materiału obrazu i stosowanego stopnia kompresji. W zasadzie uzyskiwany stopień kompresji jest tym wyższy, im więcej pikseli obejmuje jedna grupa pikseli. Do kodowania i dekodowania, tzn. do kompresji i dekompresji obrazu wideo, musi być stosowana taka sama postać grup pikseli.

Ustalenie wartości priorytetów odbywa się w następujący sposób. Dla każdego piksela p0 jednej grupy pikseli obliczany jest priorytet w odniesieniu do tej grupy pikseli. Przy tym każdy piksel z pozycji 0-419 obrazu jest jednorazowo definiowany w odniesieniu do piksela odniesienia p0. Rozwiązanie według wynalazku przewiduje, że określanie wartości priorytetów pikseli odbywa się w miarę możliwości w ramach równoległego przetwarzania danych.

Optymalnym rozwiązaniem jest jednoczesne określanie priorytetów wszystkich pikseli obrazu. Ponieważ chodzi o sygnał wideo, priorytety wszystkich pikseli są przez cały czas określane od nowa, gdyż treść obrazu podlega ciągłym zmianom. Liczność grup pikseli, zwłaszcza o niskich priorytetach, z dużym prawdopodobieństwem, nie ulega zmianie. Do obliczania priorytetu istnieją różne metody obliczeniowe. W omówionym przykładzie zastosowano metodę liniową.

W tym celu poszczególne wartości priorytetów pikseli P0, P1, P2, P3 i P4 jednej grupy pikseli są rozkładane na udziały poszczególnych kolorów, czerwonego, zielonego i niebieskiego, przy czym każda z wartości koloru jest reprezentowana 8 bitami. Dla każdego koloru każdego z pikseli P1-P4 wyznaczana jest wartość różnicowa koloru w odniesieniu do piksela odniesienia P0, na przykład P0 czerwony - P1_czerwony, P0_czerwony - P2_czerwony, P0_niebieski - P_niebieski. Bezwzględne wartości różnicowe kolorów są sumowane i dzielone przez ilość kolorów i ilość rozpatrywanych pikseli. Wynik stanowi wartość priorytetu dla rozpatrywanej grupy pikseli. Wartość priorytetu jest tym wyższa, im bardziej zróżnicowane są wartości kolorów poszczególnych pikseli w danej grupie.

Dalszą metodą do wyznaczania wartości priorytetu jest wykorzystywanie wartości szarości albo wartości maksymalnych różnicy odcieni jednego koloru. Ponieważ wartość priorytetu nie podlega później transmisji lub zapisowi, to sposób wyznaczania wartości priorytetu nie ma żadnego wpływu na sposób późniejszego dekodowania.

Taki sposób ustalania priorytetów powoduje, że obszary obrazu, które wykazują dużą zmienność kolorów i kontrastu, jak na przykład krawędzie, otrzymują wysoki priorytet, a stosunkowo mało zmienne treści obrazu, jak na przykład niebieskie niebo, otrzymują niski priorytet.

W kolejnym kroku nastę puje sortowanie wartoś ci priorytetów. Priorytety są sortowane maleją co według wielkości. Sortowanie odbywa się natychmiast po wyznaczeniu każdej nowej wartości priorytetu. W każdym punkcie czasowym dysponuje się więc listą grup pikseli ustawioną według priorytetów i sortowanej maleją co. Należ y nadmienić , ż e opracowane został y odpowiednie czujniki obrazu (np. matryce CCD), które automatycznie tworzą bezpośrednio taką listę ustawioną według wartości priorytetów. Jeżeli obraz przeznaczony do kompresji tworzony jest bezpośrednio za pomocą matrycy kamery CCD lub skanera, to w zasadzie istnieje możliwość otrzymania bezpośrednio z mikroukładu przetwarzającego obraz, tablicy obrazu posortowanej według wartości jej priorytetów. W ten sposób, podczas kompresji, zaoszczędza się na znacznej części pracy obliczeniowej układu elektronicznego.

W nastę pnym kroku nastę puje aktualizacja wartoś ci priorytetów. W przeciwień stwie do nieruchomych obrazów (na przykład fotografii), informacje wideo zawierają stale zmieniane priorytety grup pikseli, na przykład przy obracaniu kamery lub przy ruchomych obiektach. Dla zobrazowania tego na fig. 3 do fig. 5 przedstawiono tablice obrazu wideo w różnych punktach czasowych t1 do t3, przy czym obiekt przesuwa się od strony prawej do lewej.

Zgodnie z przykładem przestawionym na fig. 2 w punkcie czasowym t1 obiekt, powstaje z wypełnienia pikseli 156, 157, 176, 177, 191-197, 211-217, 231-237, 256, 257, 276, 277. Do obliczenia wartości priorytetów pikseli (0-419) obrazu wykorzystana jest grupa pikseli otoczona na fig. 2 grubą

PL 206 719 B1 linią (z lewej na dole). W wyniku obliczenia otrzymuje się rozkład priorytetów pikseli, (zgodnie z tablicą) w punkcie czasowym t1. Tablica zawiera każdorazowo tylko numer piksela odniesienia p0 jednej grupy pikseli. Te grupy pikseli, które znajdują się w obszarach brzegowych obiektu i których piksel odniesienia p0 wykazuje największą różnicę w stosunku do pozostałych pikseli tej grupy pikseli, otrzymują najwyższy priorytet A. Te grupy pikseli, których piksel odniesienia wykazuje mniejszą różnicę w stosunku do pozostałych pikseli tej grupy pikseli, otrzymują średni priorytet B, a te grupy pikseli, których piksel odniesienia nie wykazuje żadnej różnicy w stosunku do pozostałych pikseli tej grupy pikseli, otrzymuje najniższy priorytet C. Podczas kompresji są transmitowane lub grupy zapisywane najpierw pikseli opatrzone priorytetem A, następnie grupy pikseli z priorytetem B, a na końcu grupy pikseli z priorytetem C. Ponieważ obiekt się w międzyczasie porusza i przyjmuje inną pozycję (fig. 3, 4, 5), wartości priorytetów poszczególnych grup pikseli ulegają zmianie. Lista priorytetów podlega stałej aktualizacji i następuje kontynuacja transmisji aktualnych grup pikseli o najwyższym priorytecie. Nowo obliczone priorytety grup pikseli dla punktów czasowych t2 (fig. 4) i t3 (fig. 5) przedstawiono w tablicy 1 (poniż ej):

	Priorytet A	Priorytet B	Priorytet C
Punkt czasowy t1	175, 255, 231, 191, 156, 157, 277, 276	177, 197, 217, 237, 257, 176, 256, 211, 192, ...	0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, ...
Punkt czasowy t2	189, 173, 154, 155, 274, 275, 253, 229	175, 195, 215, 235, 255, 190, 191, 192, 193, ...	0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15,...
Punkt czasowy t3	187, 171,227, 251, 152, 153, 272, 273	172, 193, 213, 233, 253, 188, 190, 191,	0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, ...

Transmisja i/lub zapis skompresowanego sygnału wideo zgodnie z tablicą przebieg następujący:

W punkcie czasowym t1 transmitowane są grupy pikseli o najwyż szym priorytecie, 231, 191, 156, 157, 277, 276, 177, 197, 217.

W punkcie czasowym t2 rozpoznane zostają nowe priorytety. Najwyższy priorytet A otrzymują inne grupy pikseli. Kontynuuje się transmisję nowych priorytetów A: 189, 173, 154, 155, 274, 275, 253, 229.

Następnie transmitowane są grupy pikseli z priorytetem B: 175, 195, 215, 235, 255, 190, 191, 192, 193, ...

W punkcie czasowym t3 rozpoznawane są ponownie nowe priorytety. Najwyższy priorytet A otrzymują znowu inne grupy pikseli. Kontynuuje się więc transmisję nowych priorytetów A: 187, 171, 227, 251, 152, 153, 272, 273.

W dodatkowej tablicy nastę puje sprawdzenie, jakie grupy pikseli został y już przetransmitowane. Przetransmitowane grupy pikseli nie wymagają drugi raz transmisji, o ile w międzyczasie ich priorytet nie uległ zmianie. Określone obszary obrazu, (na przykład twarz), mogą być rozpoznane i transmitowane w sposób uprzywilejowany. Dodatkowo odbiornik sygnału wideo może żądać ponownej transmisji określonych grup pikseli (na przykład po rozpoznaniu błędów transmisji). Żądane w tym przypadku grupy pikseli mogą otrzymać najwyższy priorytet i podlegać natychmiastowej ponownej transmisji.

Pojęcia „zapis” i „transmisja” są dalej stosowane jako synonimy. Najpierw zapisywanie i/lub transmitowane są sygnały zawierające niektóre wielkości parametrów charakterystycznych obrazu wideo, a mianowicie:

- szerokość obrazu (wyraż ona w pikselach), - wysokość obrazu (również wyraż ona w pikselach), - stosowana postać grupy pikseli (nie jest wymagane jeśli standardem jest tylko jedna postać).

Następnie poszczególne grupy pikseli są zapisywane i/lub transmitowane odpowiednio do priorytetu, tzn. w pierwszej kolejności są zapisywane i/lub transmitowane grupy pikseli o najwyższym priorytecie (a później również w pierwszej kolejności odczytywane). Następnie zapisywana i/lub transmitowana jest wartość pozycji piksela odniesienia p0 określonej grupy pikseli, a w końcu zapisywane i/lub transmitowane są wartości pozostałych pikseli P0, P1, P2, P3, P4.

W przykł adzie wykonania wedł ug wynalazku: transmitowana i/lub zapisywana jest jako pierwsza wartość pozycji P0, dla pikseli P0, P1, P2, P3, P4; następna wartość pozycji P0 (z tym samym lub niższym priorytetem), dla pikseli P0, P1, P2, P3, P4, ... itd. i w końcu następna wartość pozycji P0 (z najniższym priorytetem), dla pikseli P0, P1, P2, P3, P4.

PL 206 719 B1

Zapis może być optymalizowany przy wykorzystaniu różnych poniższych metod, np. poprzez grupowe kodowanie grup pikseli. Przykładowo, jeżeli w obszarze obrazu nie występują części zabarwione na czerwono, to obszar ten może być transmitowany zamiast zapisu 8-bitowego (czerwony) tylko jako 2-bitowy lub też można wykorzystać ilość zer wiodących jego struktury sygnału. Ponadto stosować można ogólnie znane metody kompresji, na przykład format ZIP. Dzięki ustaleniu wartości granicznych dla priorytetów, istnieje możliwość zapewnienia odpowiedniej jakości obrazu. Na przykład ustala się taką wartość graniczną dla różnicy wartości pikseli, poniżej których przypisana grupa pikseli otrzyma zawsze najniższą wartość priorytetu. Jeśli dalej przetransmitowane zostaną 4 grupy pikseli z punktów naroż nych, to za pomocą niewielkiej ilo ś ci grup pikseli nastą pi obliczenie maksymalnie wielkiej powierzchni obrazu.

Podczas dekompresji, czyli rekonstrukcji skompresowanych (przetransmitowanych) sygnałów wideo generowana jest na początku nowa tablica obrazu porównywalna z przedstawioną na fig. 1. Do wyznaczenia takiej tablicy wczytuje się i analizuje parametry charakterystyczne obrazu, na przykład szerokość obrazu, wysokość obrazu i postać grupy pikseli stosowana do kompresji. Jeśli wysokość i szerokość obrazu (rozdzielczość) oczekiwanej prezentacji nie odpowiada obrazowi ź ródł owemu (na przykład przez wyświetlanie obrazu na wyświetlaczu PDA lub ekranie o innej rozdzielczości), to obraz podlega odpowiedniemu skalowaniu.

W tym celu wyznacza się najpierw współczynniki przeliczeniowe (szerokość obrazu oryginału do szerokości obrazu wyświetlacza i wysokość obrazu oryginału do wysokości obrazu wyświetlacza), które mogą być wykorzystane do przeliczenia wartości pozycji w obrazie oryginału na wartość pozycji nowego wyświetlacza.

Na fig. 6, przedstawiono sposób wprowadzania grup pikseli do tablicy obrazu. W tym celu odczytywane są grupy pikseli w kolejności ich priorytetów i do tablicy obrazu wpisywane są pierwsze cztery grupy pikseli o najwyższym priorytecie (grupy pikseli w narożnikach obrazu). Pozycja piksela odniesienia p0 danej grupy pikseli jest określona przez pola zaznaczone kolorem czarnym i oznaczone na rysunku jako 21, 38, 381 lub 398. Ta wartość pozycji (p0) występuje w zapisanym sygnale jako liczba całkowita. Następnie do nowej tablicy obrazu mogą być dalej nanoszone wartości pikseli (p1 p4) należące do danej grupy pikseli, zaznaczone na rysunku kolorem ciemnoszarym. Leżące między nimi wartość pikseli, zaznaczone kolorem jasnoszarym, można obliczyć z pól ciemnoszarych i czarnych. Dla celów obliczeniowych znane wartości pikseli są następnie rozkładane na wartości składowe dla koloru czerwonego, zielonego i niebieskiego. Na zakończenie dla każdego koloru obliczana jest wartość średnia, na przykład Piksel(22) = (Piksel(2) + Piksel(21) + Piksel(42))/3).

W kolejnym kroku nastę puje wypeł nianie powierzchni, tzn. istnieją ce już grupy pikseli łączy się wzajemnie liniami (fig. 7). Powstają trójkąty, których narożniki są definiowane przez odpowiednie grupy pikseli np. linia łącząca pozycję piksela 2 i pozycję piksela 17 na fig. 7. Przebieg kolorów linii jest obliczany w oparciu o wartości kolorów piksela 2 i piksela 17. Następnie wyznaczana jest ilość pikseli pomiędzy tymi dwoma pozycjami, w tym przykładzie jest to ilość 14-tu pikseli. Następnie dla każdego koloru (czerwonego, zielonego, niebieskiego) wyznaczana jest różnica kolorów, na przykład wartość koloru dla pozycji 2 = 2; wartość koloru dla pozycji 17 = 30, co daje różnicę kolorów 28. Przyrost wartości koloru na piksel (od piksela 2 do piksela 17) jest obliczany ze wzoru: Różnica kolorów/ilość (co w przykł adzie wykonania daje wynik: 28/14 = 2).

Pozostałe powierzchnie wypełnia się poprzez rysowanie poziomych linii, na przykład od pozycji 63 do pozycji 74, od pozycji 82 do pozycji 93 itd., gdzie podobnie jak powyżej jest obliczany tymczasowy przebieg kolorów pomiędzy punktami.

Według fig. 8, wprowadzenie każdej następnej grupy pikseli tworzy następne trójkąty, które mogą być również odpowiednio wypełnione. W końcu jak cała powierzchnia zostanie wypełniona, np. przy wykorzystaniu 4 punktów narożnych (21, 38, 398, 381), poprzez wprowadzenie dalszych grup pikseli poprawia się rozdzielczość obrazu. Wprowadzenie grupy 87 pikseli tworzy 4 trójkąty z punktami odniesienia (21, 38, 87), (21, 87, 381), (381, 87, 398) i (398, 78, 38). Jeżeli w ramach takiego trójkąta, na przykład w grupę pikseli 87, 381, 398, wprowadzona zostanie następna grupa pikseli (247), to powstaną 3 nowe trójkąty (247, 381, 398), (247, 87, 381) i (247, 87, 398). Każda nowa grupa pikseli wypełnia się wzajemnie i tworzy tym samym 3 nowe trójkąty, które mogą być dalej wypełnione. Im więcej grup pikseli zostanie wprowadzonych, to obliczeniowy przebieg kolorów będzie bardziej zbliżony do rzeczywistego przebiegu kolorów w obrazie. Przy powstawaniu nowych trójkątów, do obliczeń stosuje się zoptymalizowane metody. Ponadto, w celu zwiększenia prędkości obliczeniowej, mogą być

PL 206 719 B1 każdorazowo obliczane równolegle 3 nowo powstające trójkąty. Dodatkowe możliwości równoczesnego obliczania powstają wówczas, gdy nowe grupy pikseli wprowadza się w różnych obszarach obrazu.

W opisanych powyżej krokach postępowania założono, że treść obrazu nie uległa w mię dzyczasie zmianie. Jeżeli treść obrazu się zmienia, to dla poszczególnych grup pikseli następuje nowy przydział priorytetów, po czym następuje znowu transmisja aktualnych grup pikseli o najwyższym priorytecie. Zmienia się tylko kolejność właśnie transmitowanych i wprowadzonych do obrazu grup pikseli.

Aby zmiany treści obrazu nadążały w czasie, mogą być tworzone jeszcze dodatkowe tablice zawierające dane dotyczące czasu, tzn. kiedy ostatnio została obliczona lub przetransmitowana wartość piksela:

- podstawy obliczeń, które transmitowane piksele zostały wykorzystane do obliczeń wartoś ci piksela;

- prawdopodobieństwa/dokładności (jak wielka jest wariancja grup pikseli, z których obliczona została nowa wartość);

- odchylenia transmitowanych wartoś ci pikseli od obliczonych warto ś ci pikseli.

Na podstawie tych wielkości można określić obszary obrazu, w których często zachodzą zmiany grup pikseli. Sąsiadujące grupy pikseli lub nawet całe obszary, podlegać będą podobnym zmianom, na przykład zmianom jaskrawości, zmianom kolorów. Przez ocenę tych zmian można ustalić obiekty i ich dynamiczne zachowanie, na przykład przedmiotu, który porusza się. Równomierne zmiany w odniesieniu do całej tablicy obrazu mogą na przykład świadczyć o poruszeniu kamery. Jeżeli takie informacje zostaną odpowiednio przetworzone, na przykład za pomocą zdolnych do uczenia się sieci neuronowych, to można łatwo oceniać wartość pikseli z jeszcze nie przetransmitowanych grup pikseli. Jeżeli takie oceny miały już miejsce, to można zidentyfikować grupy pikseli, które posiadają szczególny wpływ na zmiany na obiektach. Jeżeli takie grupy pikseli są ponownie przywoływane do transmisji przez źródło, to istnieje możliwość dokładnego określenia i przewidywania ruchów obiektu za pomocą tylko niewielkiej grupy pikseli. W praktyce oznacza to, że mimo dysponowania tylko niską szerokością pasma, transmisji występować będą małe czasy opóźnienia, znacznie mniejsze niż w sposobie bazowanym na technice obrazu telewizyjnego. Wykorzystanie generowanych dodatkowych tablic tworzonych w układach odbiornika umożliwia bardzo dobre rozpoznawanie obiektów w obrazie.

W zależności od dysponowanych zasobów, prócz ustalania priorytetów sąsiadujących pikseli w oparciu o wartoś ci kolorów, moż liwe jest branie również pod uwagę zależ noś ci wynikają cych z poł ożenia priorytetowych grup pikseli. Objaśnia to przykład zastosowania wynalazku, np. na morzu, gdzie obserwuje się horyzont, który wydaje się linią poziomą. Wartości priorytetów każdej grupy pikseli wzdłuż tego horyzontu są w przybliżeniu jednakowe. W takim przypadku punkty linii horyzontu, najbardziej od siebie oddalone, mają największy priorytet. Transmisja skrajnie lewych i skrajnie prawych grup pikseli horyzontu umożliwia w sposób wystarczający rekonstrukcję obrazu horyzontu.

Korzyścią według wynalazku jest to, że przy ustalaniu priorytetów podawane są wyższe oceny określonych obszarów obrazu. Takim obszarem może być na przykład twarz. Mimo że twarz (np. w obrazach filmu nagranego kamerą na urlopie) stanowi procentowo tylko ma ł y wycinek cał ego obrazu, to podczas oglądania oglądający skupia jednak całą uwagę na twarzy. Ten sposób widzenia można uzyskać poprzez wprowadzenie odpowiednich priorytetów grup pikseli takich specjalnych obszarów (obszarów twarzy).

Możliwość takiej optymalizacji wynika w rzeczywistości również z tego, że sąsiadujące grupy pikseli wzajemnie się nakładają. W wyniku odpowiedniego wyboru grup pikseli można uniknąć faktu, że nakładające się wartości pikseli sąsiadujących grup pikseli są ponownie transmitowane.

Dekodowanie sygnału wideo może więc być dowolnie skalowane. W przypadku małych wyświetlaczy (na przykład w telefonach komórkowych) wymagane są mniejsze obliczenia układów elektronicznych niż do odtwarzania tego samego obrazu na dużym ekranie o wysokiej rozdzielczości, mimo że w obydwu przypadkach wykorzystywany jest ten sam źródłowy strumień sygnałów, składający się z priorytetowych grup pikseli. Taka elastyczność skalowania umoż liwia producentom urz ądzeń wyświetlających obrazy stosowanie w nich specjalnych optymalizacji, na przykład ilości wyświetlanych obiektów, historii zmian obrazu, co w efekcie daje dużą kompatybilność dla transmisji sygnałów video.

Claims (10)

1. Zastrzeżenia patentowe

   1. Sposób kompresji i dekompresji sygnałów wideo zawierających sygnały sterujące poszczególnymi pikselami obrazu i jego parametrami, których wartość odpowiada położeniu, barwie i jaskrawości tych pikseli, zwłaszcza w celu zapisu i/lub transmisji kolejnych obrazów przy użyciu znanych układów elektronicznych, znamienny tym, że w celu kompresji na sygnałach wideo wykonuje się kolejno następujące czynności: w oparciu o chwilową wartość kontrastu, czyli różnicy wartości określonego parametru sygnału rozpatrywanego piksela, jako piksela odniesienia (P0) i wartości odpowiadających mu parametrów sąsiednich pikseli (P1-P4), otaczającego go obszaru, wyznacza się określoną wartość priorytetu sygnału danego piksela, określającą kolejność jego zapisu, następnie zestawia się razem sygnały pikseli mających jednakową wartość priorytetu w poszczególne grupy pikseli (P0-P4), przy czym sygnały odpowiadające poszczególnym grupom pikseli, a zwłaszcza w zależności od wartości priorytetu ich piksela odniesienia zestawia się, tworząc rodzaj tablicy, po czym zapisuje się je w znanej pamięci elektronicznej w kolejności ich priorytetów i/lub ewentualnie transmituje się wybrane sygnały, przy czym w zależności od zastosowanego współczynnika kompresji zapisaniu i/lub transmisji podlega tylko odpowiednia część grup pikseli, a następnie czynności te powtarza się w sposób ciągły dla każdego sygnału obrazu wideo.
2. 2. Sposób według zastrz. 1, znamienny tym, ż e na początku zapisuje się w pamięci elektronicznej i/lub transmituje sygnały poszczególnych grup pikseli stanowiące wartości charakterystyczne obrazu wideo, a mianowicie jego szerokość i wysokość, wyrażone w pikselach.
3. 3. Sposób według zastrz. 2, znamienny tym, że kolejno zapisuje się i/lub transmituje część sygnału odpowiadającą grupie pikseli i stanowiącą pozycję i wartość priorytetu rozpatrywanego piksela odniesienia (P0), jak również wartości priorytetów pozostałych pikseli (p1-P4) w danym obszarze.
4. 4. Sposób według zastrz. 1, znamienny tym, że w sygnale obrazu niektórym jego obszarom celowo nadaje się wyższy priorytet.
5. 5. Sposób według zastrz. 1, znamienny tym, że sygnał zawierający poszczególne grupy pikseli o określonej wartości priorytetu poddaje się dalszej kompresji znanymi sposobami.
6. 6. Sposób według zastrz. 1, znamienny tym, że transmisję skompresowanych sygnałów przeprowadza się w stosowanym urządzeniu odbioru obrazu, np. skanera, kamery CCD.
7. 7. Sposób według zastrz. 1, znamienny tym, ż e w celu konwersji skompresowanych sygnałów wideo w ich różnych formatach np. AVI, MPEG1, 2, 4 stosuje się karty grabujące obraz.
8. 8. Sposób wedł ug zastrz. 1, znamienny tym, ż e w celu dekompresji otrzymanego z transmisji skompresowanego sygnału wideo, wykonuje się kolejno następujące czynności: generowanie obrysu tablicy wyświetlanego obrazu o wielkości zależnej od jego założonej rozdzielczości, oraz wprowadzanie do tworzonej tablicy kolejnych, zapisywanych i/lub transmitowanych grup pikseli w kolejności wartości ich priorytetu, a następnie łączenie trzech bezpośrednio sąsiadujących ze sobą grup pikseli do postaci trójkątów, oraz wypełnianie pikseli tworzących powierzchnie tych trójkątów poziomymi liniami o średniej wartości parametrów odpowiadających kolorowi i/lub jaskrawości pikselów znajdujących się na tej linii, przy czym czynności te są powtarzane w sposób ciągły z częstotliwością zmian obrazu.
9. 9. Sposób według zastrz. 8, znamienny tym, że wielkość trójkątów tworzonej tablicy dobiera się w zależności od rozdzielczości wyświetlanego obrazu.
10. 10. Sposób według zastrz. 8, znamienny tym, że tworzy się dodatkowe tablice zawierające następujące dane: czas określający, kiedy ostatnio została wyznaczona i/lub transmitowana wartość piksela, podstawę obliczeń określających, jakie transmitowane piksele zostały wykorzystane do wyznaczania wartości piksela, prawdopodobieństwo/dokładność określającą jak wielka jest wariancja grup przetransmitowanych pikseli, stanowiących podstawę ich nowej wartości, oraz odchylenie już wyznaczonych wartości pikseli od ich transmitowanych wartości.