PL169283B1

PL169283B1 - Uklad do korekcji bledów w ukladzie przetwarzania cyfrowego sygnalu wizyjnego PL PL PL PL PL PL PL

Info

Publication number: PL169283B1
Application number: PL92303410A
Authority: PL
Inventors: Huifang Sun; Joel W Zdepski
Original assignee: Rca Thomson Licensing Corp
Priority date: 1991-11-07
Filing date: 1992-10-13
Publication date: 1996-06-28
Also published as: JP3649729B2; CA2123089C; JPH07503343A; MX9206406A; SG70962A1; TW241350B; EP0611512A1; KR100274524B1; EP0611512B1; DE69225718D1; DE69225718T2; FI942096A0; TR28342A; WO1993009636A1; CN1072553A; ES2116347T3; PT101039A; PT101039B; UA41874C2; RU2119269C1

Abstract

1. Uklad do korekcji bledów w ukladzie prze- twarzania cyfrowego sygnalu wizyjnego, w którym poddaje sie konwersji sygnaly skompresowanych da- nych reperezentujacych obrazy na sygnaly danych nieskompresowanych i w którym dane skompresowa- ne sa pogrupowane w blokach transmisyjnych sklada- jacych sie z wielu makrobloków, kazdy zawierajacy wiele bloków danych, i zawierajacych slowa kodowe, przy czym uklad jest zbudowany z demodulatora cy- frowego sygnalu wizyjnego, którego wyjscia sa pola- czone poprzez uklady korekcji bledów i bufory do procesora transmisyjnego, przy czym procesor trans- misyjny zawiera detektor slowa kodowego w bloku transmisyjnym, znam ienny tym, ze zawiera obwód podstawiania (65-67) makrobloków znajdujacych sie w bloku transmisyjnym, w którym wystapil blad, przez, przynajmniej czesciowo, wczesniej okreslona sekwencje danych poddanych kompresji nasladujaca, przynajm niej czesciow o, skom presow ane dane reprezentujace makrobloki odnoszace sie do usunie- tych makrobloków, dolaczony do procesora transmi- syjnego (25), oraz dolaczony do obwodu podstawiania (65-67) obwód dekompresji (60-64 i 304-312, 314, 316, 360)z wyjsciowym sygnalem zdekompresowa- nych danych reprezentujacych obrazy. FIG. 4 PL PL PL PL PL PL PL

Description

Przedmiotem wynalazku jest układ do korekcji błędów w układzie przetwarzania cyfrowego sygnału wizyjnego.

169 283

Międzynarodowa Organizacja do Spraw Standaryzacji opracowuje standard dotyczący reperezentacji kodowej dla sygnałów wizyjnych zapisywanych w pamięciach cyfrowych przy szybkości ciągłego przekazywania danych rzędu 1.5 Mbitów/sekundę, który to standard jest opisany w dokumencie ISO-IEC JTC1/SC2/WG11; CODING OF MOVING PICTURES AND ASSOCIATED AUDIO (kodowanie ruchomych obrazów i towarzyszącego im dźwięku); MPEG90/176 Rev. 2 18 grudnia 1990. Format ten stał się ogólnie znany jako MPEG. Według tego formatu sekwencje ramek są podzielone na grupy, zaś odpowiednie ramki wewnątrz każdej grupy są zakodowane zgodnie z jednym z wielu sposobów kodowania. Zwykle sposoby kodowania obejmują kodowanie wewnątrzramkowe (ramki I) oraz dwa typy międzyramkowego kodowania prognozowego (ramki P i B). We wszystkich sposobach kodowane są tylko nieparzyste poła, zaś parzyste pola są ignorowane.

Zrzeszenie Badaczy Nowoczesnej Telewizji (ATRC) w Stanach Zjednoczonych zmodyfikowało format MPEG dla transmisji sygnałów telewizji wysokiej rozdzielczości (HDTV) w postaci cyfrowej. Ogólnie, wstępne kodowanie sygnału HDTV jest zbliżone do MPEG poza tym, że zwiększone zostały rozdzielczość punktów i szybkość przepływu danych i że kodowane są zarówno nieparzyste jak i parzyste ramki każdego pola. W systemie HDTV transmisja sygnału zakodowanego jest prowadzona kanałem o wyższym priorytecie lub kanałem o niższym priorytecie. Zakodowane dane mające większe znaczenie dla reprodukcji obrazu są przesyłane z odpowiednim poziomem mocy, zaś dane mniej istotne są przesyłane z mniejszą mocą, dla zminimalizowania przesłuchów miedzykanałowych.

Figura 1 przedstawia format kodowania sygnału według MPEG przed skierowaniem do odpowiedniego kanału transmisyjnego. Sekwencja ramek jest jedynie przykładowa. Litery I, P i B powyżej odpowiednich ramek wskazują sposób kodowania dla odpowiedniej ramki. Sekwencja ramek jest podzielona na grupy ramek GOF, z których każda zawiera tę samą sekwencję sposobów kodowania. Każda ramka zakodowanych danych jest podzielona na warstwy reprezentujące, na przykład, 16 linii obrazu. Każda warstwa jest podzielona na makrobloki, z których każdy reperezentuje, na przykład, matryce 16x16 punktów (pikseli) obrazu. Każdy makroblok jest podzielony na 6 bloków zawierających cztery bloki informacji odnośnie sygnału luminancji i dwa bloki informacji odnośnie sygnału chrominancji. Dane o luminancji i chrominancji są kodowane oddzielnie, a następnie razem transmitowane. Bloki luminancji zawierają dane dotyczące odpowiednich matryc 8x8 punktów. Każdy blok chrominancji zawiera matryce 8 x 8 danych dotyczących całej matrycy 16x16 punktów reprezentowanej przez makroblok.

Bloki danych, zakodowanych według sposobu kodowania wewnątrzramkowego, zawierają matryce Dyskretnych Współczynników Cosinusowych, dla których odpowiednie bloki 8 x 8 punktów są poddane Dyskretnej Transformacji Cosinusowej (DCT) dla uzyskania zakodowanego sygnału. Współczynniki są poddawane odpowiedniej kwantyzacji i przed przekazaniem do procesora priorytetu są kodowane w kodach długość parametru oraz zmienna długość. Zatem odpowiednie bloki przesyłanych danych mogą zawierać matryce słów kodowych mniejsze niż 8x8. Makrobloki wewnątrzramkowo zakodowanych danych zawierają, oprócz współczynników DCT, takie informacje jak użyty poziom kwantyzacji współczynników, adres lub wskaźnik położenia makrobloku oraz typ makrobloku.

Bloki danych zakodowane według sposobu kodowania międzyramkowego P lub B również składają się z matryc Dyskretnych Współczynników Cosinusowych. W tym przypadku jednak współczynniki reprezentują pozostałości lub różnice między prognozowaną matrycą 8 x 8 punktów a rzeczywistą matrycą 8x8 punktów. Te współczynniki są również poddawane kwantyzacji i kodowane w kodach długość parametru i zmienna długość. W sekwencji ramek ramki I oraz P są przeznaczone do synchronizacji. Każda ramka P jest prognozowana z ramki synchronizującej, która ostatnio wystąpiła. Każda ramka B jest prognozowana z jednej lub z obu ramek synchronizujących, miedzy którymi się znajduje. Proces prognostycznego kodowania obejmuje generowanie wektorów przesunięcia, które wskazują, który blok ramki synchronizującej jest najlepiej dopasowany do bloku kodowanej właśnie ramki prognozowanej. Dane o punktach obrazu w dopasowanym bloku w ramce synchronizującej są odejmowane punkt po punkcie od bloku w kodowanej ramce dla uzyskania różnic. Przekształcone różnice i wektory zawierają zakodowane dane dla ramek prognozowanych. Podobnie jak w przypadku ramek z

169 283 kodowaniem wewnątrzramkowym, makrobloki zawierają informacje o kwantyzacji, adresie i typie. Należy zauważyć, że chociaż ramka jest kodowana prognostycznie, jeśli nie został wykryty sensownie dopasowany blok, można zakodować w sposób wewnątrzramkowy konkretny blok lub makroblok w ramce prognozowanej. Dodatkowo pewne makrobloki nie mogą być zakodowane. Makrobloki są pomijane przez zwiększenie adresu następnego kodowanego makrobloku.

Po zakodowaniu danych wizyjnych, są one uporządkowane według formatu MPEG. Hierarchiczny format MPEG obejmuje wiele warstw, z których każda ma odpowiednią informację w nagłówku, jak pokazano na figurze 2. Nominalnie każdy nagłówek zawiera kod startu, dane dotyczące odpowiedniej warstwy i rezerwę dla dodania rozszerzeń nagłówka. Wiele informacji nagłówka, jak podano w wymienionym dokumencie MPEG, jest wymaganych dla celów synchronizacji w środowisku systemów MPEG. Dla przekazu skompresowanego sygnału wizyjnego dla cyfrowego systemu telewizji HDTV, wymagana jest tylko opisowa informacja nagłówka, to jest kody startu oraz opcjonalne rozszerzenia mogą być pominięte. '

Odnośnie sygnału spełniającego warunki formatu MPEG wytwarzanego przez dotychczasowe systemy istotne jest, że kolejne pola/ramki sygnału wizyjnego są kodowane zgodnie z sekwencją kodowania I, P i B oraz zakodowane dane o obrazie - są umieszczane w warstwach lub grupach bloków podobnie jak w MPEG, przy czym liczba warstw na pole/ramkę oraz liczba makrobloków na warstwę mogą się różnić.

Zakodowany sygnał wyjściowy w dotychczasowym systemie jest podzielony na grupy pól/ramek GOF przedstawione jako rząd okienek L1 (fig. 2). Każde okienko GOF (L2) zawiera nagłówek, po którym następują segmenty danych o obrazie. Nagłówek grupy GOF zawiera dane odnośnie poziomej i pionowej wielkości obrazu, współczynnik kształtu obrazu, szybkość przesyłania pola/ramki, szybkość przesyłania bitów itd.

Dane o obrazie L3 w odpowiednich polach/ramkach zawierają nagłówek, po którym następują dane o warstwie L4. Nagłówek obrazu zawiera numer pola/ramki oraz typ kodu obrazu. Każda warstwa L4 zawiera nagłówek, po którym następuje wiele bloków danych MBi. Nagłówek warstwy zawiera numer grupy oraz parametr kwantyzacji.

Każdy blok MBi(L5) reprezentuje makroblok i zawiera nagłówek, po którym następują wektory ruchu oraz zakodowane współczynniki. Nagłówek MBi zawiera adres makrobloku, typ makrobloku oraz parametr kwantyzacji. Zakodowane współczynniki są przedstawione w warstwie L6. Należy zauważyć, że każdy makroblok składa się z 6 bloków, w tym czterech bloków luminancji, jeden blok chrominancji U oraz jeden blok chrominancji V.

Współczynniki blokowe są przekazywane po jednym bloku na raz, przy czym współczynnik DCT DC występuje najpierw, a po nim występują odpowiednie współczynniki DCT AC w porządku zgodnym z ich względną ważnością. Kod końca bloku KOB jest dodawany na końcu każdego -z kolejno powstających bloków danych.

Skompresowane dane wizyjne sformatowane hierarchicznie, jak pokazano na fig. 2, są kierowane do procesora priorytetu, gdzie zakodowane dane są rozdzielane miedzy kanł wysokiego priorytetu HP oraz kanał niskiego priorytetu LP. Do danych o wysokim priorytecie należy informacja, której utrata lub zniekształcenie wywołałoby największe uszkodzenie w reprodukowanych obrazach. Ogólnie mówiąc, jest to najmniejsza ilość informacji potrzebna do wytworzenia obrazu, chociaż za mała, aby uzyskać obraz idealny. Pozostała informacja ma niższy priorytet. Informacja o dużym priorytecie zawiera w zasadzie wszystkie informacje nagłówkowe zawarte w różnych hierarchicznych poziomach plus współczynniki DC odpowiednich bloków i część współczynników AC odpowiednich bloków (poziom 6, fig. 2).

Dla przetwarzania priorytetowego, odpowiednie typy zakodowanych danych mają przypisane klasy lub typy priorytetu. Na przykład cała informacja powyżej nagłówka warstwowego (włącznie z identyfikatorem warstwy, parametrem kwantyzacji warstwy itd.) ma przypisany typ priorytetu 0. Nagłówek makrobloku ma przypisany typ priorytetu 1. Wektory ruchu mają przypisany typ priorytetu 2. Typ priorytetu 3 może być zarezerwowany. Bloki danych mają przypisany typ priorytetu 4. Współczynniki DCT DC mają przypisany typ priorytetu 5, zaś kolejne słowa kodowe reprezentujące współczynniki DCT wyższych rzędów mają przypisane typy priorytetu 6 do 68. Procesor priorytetu określa, według względnej ilości danych wyższego

169 283 i niższego priorytetu, jakie typy priorytetu będą kierowane do kanałów o wyższym i niższym priorytecie. Należy zauważyć, że klasyfikacja priorytetowa sygnalizuje względną ważność poszczególnych typów danych, przy czym typ priorytetu 0 oznacza dane najważniejsze. Procesor określa punkt zmiany priorytetu (PBP), który odnosi się do numeru klasy lub typu, przy czym dane posiadające priorytet o wyższym numerze są przeznaczone do kanału o niższym priorytecie. Pozostałe dane są kierowane do kanału o wyższym priorytecie. Zgodnie z fig. 2 i przyjmując, że dla danego makrobloku ustalony został priorytet pBp równy 5, współczynniki DC i wszystkie ważniejsze w hierarchii dane będą skierowane do kanału HP, zaś współczynniki AC i kody EOB będą przypisane do kanału LP. Dla transmisji wszystkie słowa kodowe HP są połączone w ciąg bitów bez rozdzielania danych należących do odpowiednich bloków. Dodatkowo, słowa są zakodowane w kodzie o zmiennej długości i nie ma przerw miedzy słowami kodowymi, aby uzyskać największą możliwą efektywną szerokość pasma w kanale o ograniczonej szerokości pasma. Priorytet PBP dla odpowiednich makrobloków jest tak przesyłany, że odbiornik ma niezbędną informację dla rozdzielenia danych kanału HP między różne bloki. W kanale LP, dane z odpowiednich bloków są separowane przez kody EOB.

Skompresowane dane wizyjne HP i LP są przekazywane do procesora transmisyjnego, który dzieli strumienie danych HP i LP na odpowiednie bloki transmisyjne HP i LP, wykonuje kontrolę parzystości lub kontroli nadmiarowości w każdym bloku transmisyjnym i dołącza odpowiednie bity kontroli parzystości do bloków oraz przesyła na zmianę dane pomocnicze i dane wizyjne HP i LP. Bity kontroli parzystości są wykorzystywane przez odbiornik do wyszukiwania błędów w połączeniu z nagłówkową informacją synchronizującą i do maskowania błędu w przypadku niemożliwych do poprawienia błędów w odebranych danych.

Figura 3 przedstawia format sygnału uzyskany w procesorze transmisyjnym. Poszczególne bloki transmisyjne mogą zawierać więcej lub mniej niż warstwę danych. Zatem dany blok transmisyjny może zawierać dane z końca jednej warstwy i dane z początku następnej warstwy. Bloki transmisyjne zawierające dane wizyjne mogą być wysyłane na przemian z blokami transmisyjnymi zawierającymi inne dane, np. dźwięk. Każdy blok transmisyjny zawiera nagłówek typu obsługi ST, który wskazuje typ informacji zawartej w danym bloku transmisyjnym. W tym przypadku nagłówek ST jest słowem 8-bitowym, który wskazuje, czy dane mają wysoki priorytet (HP) czy niski (LP) i czy są to dane wizyjne, dźwiękowe, czy pomocnicze.

Każdy blok transmisyjny zawiera nagłówek transmisyjny TH występujący natychmiast po nagłówku ST. Dla kanału LP nagłówek transmisyjny zawiera 7-bitowy wskaźnik makrobloku, 18-bitowy identyfikator i 7-bitowy wskaźnik nagłówka zapisu RH. Nagłówek transmisyjny kanału HP zawiera tylko 8-bitowy wskaźnik nagłówka zapisu RH. Wskaźnik makrobloku jest używany w przypadku podzielonego makrobloku lub elementów nagłówka zapisu i wskazuje na początek następnego elementu do dekodowania. Na przykład, jeśli dany blok transmisyjny zawiera dane makrobloku związane z końcem warstwy n i początkiem warstwy n+1, dane z warstwy n są umieszczane w sąsiedztwie nagłówka transmisyjnego, a wskaźnik wskazuje, że następne dane do dekodowania są w sąsiedztwie nagłówka transmisyjnego TH. Przeciwnie, jeśli nagłówek zapisu RH jest w sąsiedztwie TH, to pierwszy wskaźnik wskazuje pozycje bąjtu następującego za nagłówkiem zapisu RH. Zerowa wartość wskaźnika makrobloku wskazuje, że blok transmisyjny nie zawiera elementów makrobloku.

W bloku transmisyjnym może nie być, może być jeden lub więcej niż jeden nagłówek zapisu. Nagłówek zapisu występuje na początku każdej warstwy danych makrobloku w kanałach HP i LP. Nie ma nagłówków zapisu w blokach transmisyjnych, które zawierają tylko informacje nagłówka danych wizyjnych. Wskaźnik nagłówka zapisu RH wskazuje na pozycję bajtu zawierającego początek nagłówka zapisu w bloku transmisyjnym. Zerowa wartość wskaźnika RH wskazuje, że nie ma nagłówków zapisu w bloku transmisyjnym. Jeśli zarówno wskaźnik nagłówka zapisu jak i wskaźnik makrobloku mają wartość zero, oznacza to, że blok transmisyjny zawiera tylko informacje nagłówka danych wizyjnych.

18-bitowy identyfikator w nagłówku transmisyjnym kanału LP podaje typ bieżącej ramki, numer ramki (modulo 32), numer bieżącej warstwy i pierwszy makroblok znajdujący się w bloku transmisyjnym.

169 283

Ί

Po nagłówku transmisyjnym następuje albo nagłówek zapisu RH albo dane. Jak pokazano na fig. 3, nagłówek zapisu dla danych wizyjnych w kanale HP zawiera następujące informacje: 1-bitowy sygnalizator FLAG, który wskazuje, czy jest rozszerzenie nagłówka EXTEND. Po sygnalizatorze FLAG następuje identyfikator IDENTITY, który wskazuje typ pola/ramki I, B lub P, numer pola/ramki (modulo 32) (FRAMK ID) oraz numer warstwy (modulo 64) (SLICK IDENTITY). Po identyfikatorze w nagłówku zapisu następuje wskaźnik punktu zmiany priorytetu PBP makrobloku, który wskazuje klasę danych, wyznaczoną przez analizator selektora priorytetu dla rozdziału danych między kanały HP i LP. Na końcu nagłówka zapisu kanału HP, może być dołączone rozszerzenie nagłówka.

Nagłówek zapisu w kanale LP obejmuje tylko identyfikator IDENTITY, podobny do identyfikatora występującego w kanale HP.

Każdy blok transmisyjny jest zakończony 16-bitowym kodem kontrolnym ramki FCS, która jest wyliczana po wszystkich bitach bloku transmisyjnego. Ramka FCS może być generowana przy użyciu kodu cyklicznej nadmiarowości.

Bloki transmisyjne są poddawane odpowiednim obróbkom, które przeprowadzają korekcję błędów kodami Reeda Salomona niezależnie od odpowiednich strumieni danych, przeplatają bloki danych, aby wystąpienie dużej ilości błędów nie zniekształciło dużych ciągłych powierzchni reprodukowanego obrazu i dołączają np. kody Barkerado danych dla synchronizacji strumieni danych w odbiorniku.

Odbiornik, dostosowany do transmitowanych sygnałów, które są sformatowane w opisany powyżej sposób, zawiera układy do realiazacji odwrotnej priorytetyzacji i do dekodowania. Odwrotna priorytetyzacja, lub rekombinacja danych z kanałów HP i LP, musi być wykonana przed dekodowaniem, gdyż dekoder przyjmuje, że dane są w określonym formacie (podobnym do pokazanego na fig. 2). Przyjmijmy, że przynajmniej część odbieranego sygnału została zniekształcona w procesie transmisji. Niech w bloku transmisyjnym kanału HP zabraknie kodu priorytetu PBP. Bez tego kodu, informacja odpowiadająca odpowiednim blokom makrobloku nie może być rozdzielona. W wyniku tego znaczna część informacji zawartej w bloku transmisyjnym kanału HP może stać się bezużyteczna. Dodatkowo informacja w bloku transmisyjnym kanału LP, związanym z blokami zawartymi w bloku transmisyjnym kanału HP, staje się również bezużyteczna. W rzeczywistości, strata pojedynczego kodu priorytetu PBP, w bloku transmisyjnym kanału HP może sprawić, że właściwe dane dla całej warstwy staną się bezużyteczne. Drugim przykładem jest strata kodu w nagłówku obrazu, który określa typ kodowania ramki. Bez tego kodu, cala ramka zakodowanych danych staje się bezużyteczna lub przynajmniej niepewna.

Z literatury patentowej znanych jest szereg rozwiązań związanych z przedmiotem wynalazku. Publikacja WO 87/02210 dotyczy metod obliczania zastępczych informacji dla sygnałów telewizyjnych transmitowanych w blokach. Z kolei publikacja WO 92/14339 dotyczy dekodowania sygnałów wizyjnych posiadających poziom podstawowy i poziom wzbogacony. Dane podstawiane na miejsce brakujących komórek warstwy wzbogaconej uzyskuje się w wyniku interpolacji dopiero co zakodowanego sygnału wizyjnego i wektora ruchu aktualnego poziomu podstawowego. W opisie patentowym Wielkiej Brytanii 2 219 463 jest przedstawiony telewizyjny układ wyświetlania, który zapobiega zakłóceniom ciągłego obrazu dzięki powtarzanemu odczytywaniu obrazu z pamięci wizyjnej.

Istotą układu do korekcji błędów w układzie przetwarzania cyfrowego sygnału wizyjnego, w którym poddaje się konwersji sygnały skompresowanych danych reprezentujących obrazy na sygnały danych nieskompresowanych i w którym dane skompresowane są pogrupowane w blokach transmisyjnych składających się z wielu makrobloków, każdy zawierający wiele bloków danych, i zawierających słowa kodowe, przy czym układ jest zbudowany z demodulatora cyfrowego sygnału wizyjnego, którego wyjścia są połączone poprzez układy korekcji błędów i bufory do procesora transmisyjnego, przy czym procesor transmisyjny zawiera detektor słowa kodowego w bloku transmisyjnym, jest to, że zawiera obwód podstawiania makrobloków znajdujących się w bloku transmisyjnym, w którym wystąpił błąd, przez, przynajmniej częściowo, wcześniej określoną sekwencję danych poddanych kompresji naśladującą, przynajmniej częściowo, skompresowane dane reprezentujące makrobloki odnoszące się do usuniętych ma8

169 283 krobloków, dołączony do procesora transmisyjnego, oraz dołączony do obwodu podstawiania obwód dekompresji z wyjściowym sygnałem zdekompresowanych danych reprezentujących obrazy. Korzystnie obwód dekompresji stanowi obwód dostarczania, w odpowiedzi na wcześniej określoną sekwencję skompresowanych danych, zastępczego zdekompresowanego sygnału wizyjnego za zdekompresowany sygnał wizyjny odpowiadający jednemu z bloków skompresowanych danych zawartych w makroblokach, które zostały usunięte, zaś obwód podstawiania stanowi obwód umieszczania wektora ruchu, otrzymanego na podstawie sąsiednich makrobloków, we wcześniej określonej sekwencji danych. Następnie układ zawiera pamięć ekranu dołączoną do obwodu dekompresji, generator znaczników błędów reprezentujących powierzchnię obrazu odpowiadającą blokom, które zostały zastąpione, dołączony do detektora słowa kodowego, oraz kontrolny układ pamięciowy ochrony pamięci ekranu przed zapisaniem zdekompresowanych danych wizyjnych w komórkach pamięci odpowiadających tym z bloków, które zostały zastąpione, połączony z pamięcią ekranu. Obwód podstawiania zawiera także kontroler ramek zastępujący, w odpowiedzi na wejściowe sygnały do użytkownika, cale ramki skompresowanych danych wizyjnych na zastępcze skompresowane dane wizyjne wykorzystywane do efektów specjalnych. Ponadto obwód podstawiania, połączony z detektorem słowa kodowego i obwodem dekompresji stanowi obwód zastępowania zdekompresowanych danych wizyjnych odnoszących się do tych bloków skompresowanych danych, w których wystąpiły błędy, czasowo opóźnionymi i przestrzennie posegregowanymi zdekompresowanymi danymi wizyjnymi.

Korzystnie jest, jeżeli zgodnie z wynalazkiem układ korekcji błędów zawiera kanał wysokiego priorytetu, z pierwszym układem korekcji błędów i pierwszym buforem, przesyłający skompresowane dane wizyjne pogrupowane w bloki transmisyjne zawierające część bloków o wyższym priorytecie danych, oraz kanał niskiego priorytetu, z drugim układem korekcji błędów i drugim buforem, przesyłający skompresowane dane wizyjne pogrupowane w bloki transmisyjne zawierające część bloków o niższym priorytecie danych. Detektor słowa kodowego jest układem wykrywania, na podstawie skompresowanych danych wizyjnych z kanałów wysokiego i niskiego priorytetu, wystąpienia błędów i usunięcia bloków transmisyjnych zawierających błędy, obwód podstawianiajest obwodem rekombinacji części bloków zawierających informacje o wyższym i niższym priorytecie danych i wpisywania, w odpowiedzi na usunięcie bloków transmisyjnych zawierających informację o niskim priorytecie danych, kodu końca bloku do części bloków transmisyjnych zawierających informację o wyższym priorytecie, obwód dekompresji jest obwodem dekompresji połączonych bloków transmisyjnych, układ zawiera następnie pamięć ekranu dołączoną do obwodu dekompresji, generator znaczników błędów reprezentujących powierzchnię obrazu odpowiadającą blokom, które zostały zastąpione, dołączony do detektora słowa kodowego, oraz kontrolny układ pamięciowy ochrony pamięci ekranu przed zapisywaniem zdekompresowanych danych wizyjnych w komórkach pamięci odpowiadających tym z bloków, które zostały zastąpione, połączony z pamięcią ekranu.

Dalsze korzyści z wynalazku uzyskuje się, gdy układ zawiera kanał wysokiego priorytetu, z pierwszym układem korekcji błędów i pierwszym buforem, i kanał niskiego priorytetu, z drugim układem korekcji błędów i drugim buforem, w których skompresowane dane wizyjne są pogrupowane w makroblokach, z których każdy zawiera wiele bloków danych, dane w odpowiednich makroblokach i blokach są podzielone na hierarchiczne poziomy, dane na poziomie hierarchii K, gdzie K jest zmienną, dla odpowiednich bloków są umieszczone w części bloków odpowiednich makrobloków, które są pogrupowane w blokach transmisyjnych w kanałach o wysokim priorytecie, a pozostałe dane poniżej poziomu K w odpowiednich blokach są umieszczone w części bloków odpowiednich makrobloków, które są pogrupowane w blokach transmisyjnych w kanałach o niskim priorytecie, odpowiednie części bloków danych o niskim priorytecie posiadają kod końca bloku i odpowiednie części bloków danych o wysokim priorytecie nie posiadają kodu końca bloku zanim wszystkie dane odpowiadające odpowiedniemu blokowi są zgromadzone w bloku o wysokim priorytecie, przy czym detektor słowa kodowego jest układem wykrywania, na podstawie skompresowanych danych wizyjnych w kanałach o wyższym i niższym priorytecie, błędów i usuwania bloków transmisyjnych zawierających błędy. Układ zawiera także obwód łączący odpowiednie części bloków zawierających informacje o

169 283 wyższym i niższym priorytecie i wpisujący, w odpowiedzi na usunięcie bloków transmisyjnych zawierających informacje o niskim priorytecie, kod końca bloku do odpowiednich części bloków zawierających informacje o wyższym priorytecie, przy czym obwód dekompresji jest obwodem dekompresji połączonych bloków informacji. Obwód łączący jest obwodem włączenia części bloków do kanałów o niższym priorytecie odpowiadającym usuniętej części bloków w kanałach o wyższym priorytecie, oraz zawiera układ przechowywania danych i połączony z nim układ zastępowania danych. Ponadto układ zawiera separator danych wskaźników identyfikujących przynajmniej część informacji zawartych w blokach transmisyjnych, pamięć skompresowanych danych wizyjnych z kanału o wyższym priorytecie, generator znaczników błędów stanowiący także pamięć do przechowywania wcześniej określonych sekwencji skompresowanych danych w formacie skompresowanych danych wizyjnych, przy czym obwód łączący zawiera układ zastępowania danych, zastępujący, na podstawie wskaźników, usunięte makrobloki o wyższym priorytecie i odpowiadające im makrobloki o niższym priorytecie makroblokami zawierającymi wcześniej określone sekwencje skompresowanych danych wizyjnych przechowywanymi w pamięci skompresowanych danych wizyjnych.

Rozwiązanie według wynalazku zapewnia korekcję błędów, które mogą wystąpić w odtwarzanych obrazach telewizyjnych w wyniku utraty danych o obrazie podczas transmisji sygnału.

Wynalazek w przykładzie wykonania jest przedstawiony na rysunku, na którym fig. 1 przedstawia schemat kodowania sygnału według MPEG, fig. 2 - format sygnału według MPEG, fig. 3 - format sygnału przygotowanego do transmisji, fig. 4 - schemat blokowy fragmentu odbiornika HDTV zawierającego układ do korekcji błędów, fig. 5 - schemat blokowy procesora transmisyjnego odbiornika, fig. 6 - schemat blokowy układu deselekcji priorytetu, fig. 7 schemat blokowy przykładowego obwodu elektronicznego, który może być zastosowany jako układ dekompresora z fig. 4, zaś fig. 8 - schemat blokowy połączonych układu deselekcji priorytetu i dekompresora.

Jak przedstawiono na figurze 4 transmitowany sygnał jest kierowany do demodulatora 20, który generuje dwa sygnały odpowiadające danym wizyjnym o dużym priorytecie, HP, oraz o małym priorytecie, LP. Oba sygnały przechodzą przez układy 21, 22 korekcji błędów kodami Reeda Salomona. Po korekcji błędów sygnały są podawane do buforów 23, 24, które odbierają dane ze stałą szybkością, a wysyłają dane ze zmienną szybkością odpowiednio do wymagań następnych układów odbiornika. Wysyłane ze zmiennymi szybkościami dane HP i LP są podawane do procesora transmisyjnego 25, który wykonuje kolejną kontrolę błędów, oddziela odpowiednie typy transmitowanych danych (pomocnicze, audio i wizyjne) i oddziela nagłówki bloku transmisyjnego od danych użytkowych. Użytkowe dane wizyjne i odpowiednie dane o błędach oraz dane nagłówka transmisji są podawane do układu deselekcji priorytetu 26, który reformatuje dane HP i LP na sygnał podzielony na hierarchiczne warstwy, który jest podawany do dekompresora 27. Dekompresor 27 zamienia skompresowany sygnał na sygnał odpowiedni do wyświetlania lub zapamiętywania.

Figura 5 przedstawia procesor transmisyjny 25 umieszczony w odbiorniku HDTV. Wymagane są dwa takie procesory, jeden dla kanału danych wizyjnych o dużym priorytecie HP i jeden dla kanału danych wizyjnych o małym priorytecie LP. Jeśli wiadomo a priori, że dane audio lub pomocnicze będą zawsze usunięte z danego kanału, odpowiednie elementy mogą być wyeliminowane z kanałowego procesora transmisyjnego.

Na fig. 5 dane z bufora pierwszego 23 lub drugiego 24 są podawane na detektor 250 słowa kodowego oraz element opóźniający 251. Element opóźniający 251 wytwarza opóźnienie o czasie trwania jednego bloku transmisyjnego, aby detektor 250 słowa kodowego mógł określić, czy w odpowiednim bloku transmisyjnym są błędy. Detektor 250 słowa kodowego określa, czy wystąpiły błędy, które nie mogły być poprawione przez układy 21 i 22 korekcji błędów i wytwarza sygnał błędu E sygnalizujący obecność lub brak błędów w bloku transmisyjnym. Sygnał błędu jest podawany na wejście demultipleksera jeden-na-trzy 253. Opóźnione dane bloku transmisyjnego są również podawane na wejście tego multipleksera 253. Opóźnione dane bloku transmisyjnego są również podawane na detektor 252 typu obsługi, który kontroluje nagłówek ST i na jego podstawie kieruje dane bloku transmisyjnego i odpowiedni sygnał błędu

169 283 poprzez multiplekser 253 do jednego z obwodów przetwarzających sygnału audio, pomocnicze lub wizyjne.

W obwodzie przetwarzani a sygnałów wizyjnych, dane bloku transmisyjnego i sygnał błędu są podawane na separator 256 danych, który usuwa kod kontrolny ramki FCS oraz nagłówki bloku transmisyjnego ST, TH i RH ze strumienia danych. Opóźnia również cale bloki transmisyjne danych wizyjnych, w których zostały wykryte błędy. Separator 256 kieruje po oddzielnych magistralach dane wizyjne z usuniętymi nagłówkami bloku transmisyjnego, dane o błędach i nagłówki transmisyjne do układu deselekcji priorytetu 26.

Układy 21 i 22 korekcji błędów dostarczają odebrane dane w słowach o stałej długości, odpowiadające słowom o stałej długości dostarczanym do obwodów kodujących w koderze nadajnika. W tym momencie dane nagłówka bloku transmisyjnego występują na bajtowych granicach, które są albo ustalone (ST, TH i FCS) lub są zidentyfikowane (RH) przez nagłówek transmisyjny. Jest zatem stosunkowo proste zidentyfikowanie i wydzielenie wymaganych nagłówków z odpowiednich bloków transmisyjnych.

Figura 6 przedstawia w schemacie blokowym przykładowy układ deselekcji priorytetu 26. Układ deselekcji priorytetu 26 przyjmuje dane z procesora transmisyjnego 25, odbiornika i rekonfiguruje dane HP i LP w pojedynczy strumień danych. W tym celu muszą zostać zidentyfikowane odpowiednie słowa kodowe strumienia danych, tj. muszą być wykrywalne klasy lub typy słów kodowych w każdym bloku. Ponieważ dane mają postać połączonych ze sobą kodów o zmiennej długości (VLC), muszą być przynajmniej częściowo zdekodowane te kody dla zdefiniowania granic i typów słów kodowych.

Kiedy granice słów i odpowiednie typy zostaną określone, można określić punkt zmiany priorytetu PBP (w kanale HP). Następnie dane HP mogąbyć rozmieszczone między odpowiednie bloki i przetworzone na zapis równoległy w kodzie VLC. Dane LP odpowiadające kolejnym blokom mogą być rozróżnione dzięki kodom EOB. Jednakże dekodowanie kodami VLC danych LP jest konieczne, aby wykryć kody EOB i dla podzielenia połączonych ze sobą danych na oddzielne słowa kodowe. Detekcja kodów EOB powoduje, że układ powraca do kanału o wysokim priorytecie. Dodatkowo, poprzez zliczanie kodów EOB układ może określić, kiedy należy oczekiwać, że danych nowego nagłówka dotyczą makrobloku, warstwy, ramki itd.

Zależnie od konfiguracji dekompresora 27 dane wyjściowe wytwarzane przez układ deselekcji priorytetu 26 mogą mieć różną formę. Na przykład, jeśli dekompresor 27 jest zgodny z formatem MPEG i obejmuje dekodowanie kodów o zmiennych długościach vLd, układy deselekcji priorytetu 26 będą skonfigurowane tak, aby wytwarzać dane w formie kodu VLC. Alternatywnie, układy deselekcji priorytetu 26 mogą być zlokalizowane w dekompresorze 27 i realizować funkcje kodowania VLd dekompresora 27, a wtedy wyjściowe słowa kodowe będą w formie zdekodowanej według zmiennej długości.

Figura 6 przedstawia przykład ogólnego schematu układu deselekcji priorytetu 26, który może być skonfigurowany dla wytwarzania albo zdekodowanych albo zakodowanych pod względem zmiennej długości danych wizyjnych. Na fig. 6 przyjęto, że dane HP i LP wytwarzane przez procesor transmisyjny 25 mają stałe długości słów kodowych. Słowa kodowe są podawane na odpowiednie układy przesuwające 60 i 61. Układy przesuwające 60,61 łączą ze sobą jedynki ze słów o stałych długościach i poprzez multiplekser 62 kierują kombinacje bitów danych na tabeli dekodowania zlokalizowane w dekoderze VLD 64. Forma danych wyjściowych z dekodera VLD 64 zależna jest od tabel dekodowania.

Dekoder VLD 64 jest zaprogramowany na przyjmowanie danych HP z multipleksera 62 do momentu wystąpienia zmiany priorytetu, a następnie przyjmowanie danych z kanału LP do momentu wystąpienia kodu EOB, potem ponowne przyjmowanie danych z kanału HP itd. Dokładniej, dekoder VLD 64 zawiera układ sekwencyjnych zmian statusu dekodera, który jest zaprogramowany do kontrolowania sekwencji dekodowania. Sekwencyjny układ statusu jest zaprogramowany na kontrolowanie dekodera VLD 64 według oczekiwanej sekwencji danych wyjściowych, na przykład dostosowanej do formatu danych z fig. 2. Dane nagłówka wysyłane przez procesor transmisyjny 25 są podawane na układ sekwencyjny statusu dla inicjacji jednej z sekwencji kontroli zaprogramowanych w układzie. Raz zsynchronizowany z konkretnym punktem w sekwencji danych, na przykład początkiem ramki lub początkiem warstwy itp. układ

169 283 sekwencyjny realizuje żądane funkcje kontrolne dla zdekodowania kolejno pojawiających się danych. Dodatkowo, w miarę jak odpowiednie słowa kodowe są dekodowane, układ sekwencyjny jest zaprogramowany do wysyłania sygnału wskazującego oczekiwaną klasę lub typ następnego oczekiwanego słowa kodowego. Sygnał TYP jest podawany na jedno wejście komparatora 63. Punkt zmiany priorytetu, priorytet PBP, kod uzyskiwany z procesora transmisyjnego 25 jest podawany na drugie wejście komparatora. Wyjście komparatora powoduje, że multiplekser 62 przepuszcza dane HP do dekodera VLD 64 tak długo, jak długo sygnał TYP z układu sekwencyjnego statusu jest mniejszy niż sygnał PBP, a w przeciwnym przypadku przepuszcza sygnał LP.

Zrekombinowane dane wizyjne HP i LP wytwarzane przez dekoder VLD 64 są podawane na multiplekser 67 i wysyłane do dekompresora 27, jeśli nie ma sygnalizacji błędu. Jeśli błędy zostaną wykryte, wówczas zastępcze dane wizyjne, dostarczone z generatora 65 znaczników błędów są przepuszczane przez multiplekser 67.

, Generator 65 znaczników błędów jest, na przykład, mikroprocesorem, który jest zaprogramowany na reagowanie na informacje nagłówkowe zawarte w blokach transmisyjnych, status dekodera VLD 64 oraz wskaźniki błędów. Generator 65 znaczników błędów może zawierać tabelę danych zastępczych, które symulują skompresowane dane wizyjne. Dane te zbliżone są do konkretnych danych, które są rozpoznawane przez dekompresor typu MPEG. Generator 65 znaczników błędów korzysta również z danych z pamięci 66, które mogą być podstawione zamiast usuniętych danych wizyjnych. W szczególności, do pamięci 66, zależnie od stanu układu sekwencyjnego dekodera VLD 64 zapisywane są wektory ruchu odpowiadające, na przykład, wektorom ruchu z makrobloków z poprzedniej warstwy danych.

Ruch elementów obrazu wystąpi na granicy makrobloków. Dodatkowo błędy będą rozprzestrzeniały się lub wystąpią wzdłuż kierunku poziomego. Zatem jest prawdopodobne, że wektory ruchu z bloków sąsiadujących ze sobą w pionie będą podobne i podstawienie wektorów ruchu z sąsiednich makrobloków da w efekcie zadawalającą korekcję błędów.

Podobnie współczynniki DCT DC z bloków sąsiadujących ze sobą w pionie mogą być zbliżone. A jeśli tak, mogą być również zapamiętane w pamięci 66 dla podstawienia w miejsce utraconych współczynników DC.

Zapis danych w pamięci 66 jest kontrolowany przez układ sekwencyjny statusu. Układ sekwencyjny jest zaprogramowany na sterowanie dekoderem VLD 64, aby wytwarzał dane w przewidzianej kolejności, a zatem może dostarczać odpowiednie sygnały dla przechwytywania żądanych typów danych, kiedy opuszczają one dekoder VLD 64. Dane te mogą być zapisane w pamięci pod przewidzianymi adresami, dostępnymi dla generatora 65 znaczników błędów.

Generator 65 znaczników błędów monitoruje dane nagłówka transmisji i sygnał błędu dla określenia, kiedy i które dane są utracone i odpowiednio do utraconych danych podstawia dane w makrobloku. Sekwencje przewidzianych typów danych są zaprogramowane wcześniej dla podstawień zależnie od typu ramki i typu danych, które zostały stracone. Na przykład, makrobloki zawierają określone adresy i występują w określonej kolejności. Generator 65 znaczników błędów, odpowiednio do danych nagłówka określa, czy wystąpiło zakłócenie w normalnej sekwencji makrobloków i dostarcza makrobloków w miejsce makrobloków utraconych.

Przed omówieniem konkretnych przykładów podstawiania danych realizowanego przez generator 65 znaczników błędów, dobrze byłoby opisać dekompresor, typu MPEG. Na figurze 7 przedstawiono ogólny schemat przykładowego dekompresora 27 typu MPEG.

Dane wizyjne dostarczane przez multiplekser 67 układu deselekcji priorytetu 26 są podawane na pamięć buforową 300. Stąd są odczytywane przez kontrolera dekompresji 302 i podawane na dekoder zmiennych długości 303, których je dekoduje. Dane nagłówka są przejmowane w celu wysterowania kontrolera dekompresji 302. Po zdekodowaniu względem zmiennych długości, słowa kodowe odpowiadające współczynnikom DCT są przejmowane i podawane na dekoder 308, zaś zdekodowane słowa kodowe odpowiadające wektorom ruchu są podawane na kolejny dekoder 306. Dekoder 308 zawiera aparaturę do wykonania dekodowania pod względem długości parametru oraz odwrotnego kodowania DPCM pod nadzorem kontrolera dekompresji 302. Zdekodowane dane z dekodera 308 są podawane na układ z odwrotnym współczynnikiem DCT 310, który obejmuje obwód dla odwrotnej kwantyzacji odpowiednich

169 283 współczynników DCT i do przekształcenia współczynników w matrycę danych dla punktów obrazu. Dane punktów obrazu są następnie podawane na jedno wejście sumatora 312, którego wyjście jest podawane na pamięć 318 ekranu i pamięci buforowe 314 i 316.

Dekoder 306 zawiera obwody do wykonania odwrotnego kodowania DPCM wektorów ruchu pod nadzorem kontrolera dekompresji 302. Zdekodowane wektory ruchu są podawane na układ prognostyczny 304 skompresowany pod względem ruchu. Zgodnie z wektorami ruchu układ prognostyczny odczytuje odpowiednie bloki danych o punktach zapisane w jednej (dane następne) lub obu (dane następne i poprzednie) pamięciach buforowych 314 i 316. Układ prognostyczny kieruje blok danych (z jednej pamięci buforowej) lub blok danych uśrednionych (wyliczonych z odpowiednich bloków z obu pamięci buforowych) na drugie wejście sumatora 312.

Dekompresja jest wykonywana następująco. Jeśli pole/ramka wejściowych danych wizyjnych jest kodowana wewnątrzramkowo, nie ma w niej wektorów ruchu i zdekodowane lub odwrotnie przetworzone współczynniki DCT odpowiadają blokom danych o punktach obrazu. Zatem dla danych zakodowanych wewnątrzramkowo układ prognostyczny 304 podaje zerową wartość na sumator 312 i odwrotnie przekształcone współczynniki DCT są przepuszczane bez zmian przez sumator 312 do pamięci 318 ekranu, gdzie są zapisywane w celu odczytu podczas normalnego przemiatania rastru ekranu. Zdekodowane dane o punktach obrazu są także zapamiętywane w jednej z pamięci buforowych 314 i 316 dla wykorzystania przy formowaniu prognozowanych danych obrazu podczas dekodowania ramek skompresowanych pod względem ruchu (B lub P).

Jeśli pole/ramka danych wejściowych odpowiada wyprzedzająco skompresowanej pod względem ruchu polu/ramce P, odwrotnie przetworzone współczynniki odpowiadają pozostałościom lub różnicom miedzy obecnym polem/ramką a ostatnią ramką I. Układ prognostyczny 304, odpowiednio do zdekodowanych wektorów ruchu odczytuje odpowiedni blok danych ramki I zapisany w pamięci buforowej 314 -lub 316 i kieruje ten blok na sumator 310, gdzie odpowiednie bloki pozostałości, wytwarzane przez układ z odwrotnym współczynnikiem DCT 310 są dodawane do odpowiedniego bloku danych o punktach dostarczonego przez układ prognostyczny 304. Sumy generowane przez sumator 312 odpowiadają wartościom danych o punktach dla odpowiednich bloków ramki/pola P, które do dane są podawane na pamięć 318 ekranu dla zaktualizowania zawartości odpowiednich komórek. Dodatkowo, wartości danych o punktach dostarczane przez sumator 312 są zapisywane w jednej z pamięci buforowych 314 i 316 nie rejestrującej danych o punktach pola/ramki I wykorzystywanych do generowania prognozowanych danych o punktach.

W przypadku dwukierunkowo zakodowanych pół/ramek bloków B, operacjajest podobna, poza tym, że prognozowane wartości są czytane z zarejestrowanych ramek synchronizujących bloków I lub P w obu pamięciach buforowych 314 i 316 zależnie od tego, czy odpowiednie wektory są wektorami w przód, w tył lub w obie strony. Generowane wartości punktów pola/ramki B są podawane dla aktualizacji pamięci 318 ekranu, ale nie są zapisywane w żadnej pamięci buforowej, gdyż dane pola/ramki B nie są wykorzystywane do generowania innych pól/ramek danych obrazu.

Ważną cechą formatu sygnału według MPEG jest to, że w przypadku ramek typu P i B makrobloki mogą być pominięte. Daje to pewną elastyczność w korekcji błędów. Na miejsce pominiętych makrobloków dekoder efektywnie kopiuje makrobloki z poprzedniego obrazu na aktualny obraz lub, dla pominiętych makrobloków, odpowiednie pola pamięci 318 ekranu po prostu nie są aktualizowane. Pomijanie makrobloków może być realizowane przez kodowanie wektorów ruchu o zerowych wartościach i współczynników DCT o zerowych wartościach. Z drugiej strony, w ramkach typu I makrobloki nie są pomijane. Oznacza to, że dekoder oczekuje danych dla wszystkich makrobloków w ramkach I. Zatem stracone makrobloki nie mogą być po prostu zastąpione przez dane z poprzedniej ramki.

Inną cechą jest fakt, że kiedy współczynniki DCT są kodowane, kod EOB jest umieszczany po ostatnim niezerowym współczynniku. Dekoderjednakjest zaprogramowany na uaktualnianie dowolnej liczby zerowych współczynników występujących między ostatnim niezerowym współczynnikiem a ostatnim potencjalnym współczynnikiem w danym bloku.

169 283

Trzecią cechąjest fakt, że dla ramek P i B większa ilość danych, którym przypisano wyższe miejsce w hierarchii danych, będzie transmitowana w kanale LP niż w przypadku ramek I.

Rozważmy teraz przykłady podstawień danych wykonywanych przez generator 65 znaczników błędów. Typ danych podstawianych jest zależny od typu ramki, która aktualnie jest przetwarzana, czy błąd wystąpił w kanale HP czy LP i gdzie w strumieniu danych wystąpił błąd. Rozważmy, że błąd wystąpił w kanale LP ramki I i że współczynniki AC są przesyłane w kanale LP (priorytet PBP jest większy lub równy 5). W tym przypadku odpowiednie kody EOB mogą być wpisane w miejsce współczynników AC, które są oczekiwane w kanale LP dla każdego bloku w makrobloku i każdego makrobloku, który został usunięty w kanale LP. Obraz powstały z danych podstawionych straci swoją konstrukcję, ale będzie miał właściwe wartości jasności. Zatem, dane dla punktów generowane z podstawionych danych wizyjnych, chociaż nieco błędne, nie wytworzą dużych zniekształceń obrazu, które są szczególnie zauważalne. Alternatywnie, jeśli priorytet PBp jest mniejszy niż 5, współczynnik DCT DC jest przesyłany w kanale LP. Zmieniając stracone dane kanału LP na kody EOB, w tym przypadku uzyskamy zbyt mało danych dla dekompresora 27, aby uniknąć znacznych zniekształceń obrazu. Tym razem i w przypadku błędu HP podstawiane dane będą zawierały dostateczną informację dla dekompresora 27 dla zrealizowania dekodowania na bazie makrobloku. Oznacza to, że dekompresor 27 uzyska dość danych, aby nie zablokować się, jednakże odtworzony obraz w miejscach, dla których dane wizyjne są podstawione, może odbiegać od rzeczywistego obrazu. Podstawiane dane mogą obejmować adres makrobloku, typ makrobloku, współczynniki DCT DC odpowiadające średniej wartości dla odpowiednich bloków w makroblokach i kody EOB dla odpowiednich bloków w makrobloku. Zauważ, że takie błędy w ramkach I będą propagowały przez grupy GOF, jeśli nie zostaną zainicjowane procesy, które będą opisane poniżej.

Zastępcze dane dostarczane dla ramek P i B mogą mieć podobną formę. Na przykład przyjmijmy, że dane odpowiadające tylko współczynnikom DCT AC zostały utracone w kanale LP. Tak jak dla ramek I można podstawić kod EOB zamiast tych danych. Alternatywnie przyjmijmy, że wektory ruchu i dane o mniejszej ważności są utracone w jednym lub w obu kanałach LP i HP. Przynajmniej dwa alternatywne rodzaje zastępczych danych mogą być użyte. W pierwszym przypadku można dostarczać zastępcze skompresowane makrobloki z wektorami ruchu o zerowych wartościach i współczynniki DCT o zerowych wartościach dla usuniętych makrobloków. Spowoduje to podstawienie danych o punktach z poprzedniej ramki w miejsce straconych makrobloków. Część odtwarzanego obrazu odpowiadająca podstawionym makroblokom będzie zawierała dane wysokiej rozdzielczości, ale mogą wystąpić anomalie ruchu, gdyż reszta obrazu może poruszać się względem obszaru, dla którego zostały podstawione. W drugim przypadku można dostarczać makrobloki z wektorami ruchu wybranymi z makrobloków sąsiadujących ze sobą w pionie i sygnalizować, że bieżący makroblok nie był kodowany, co oznacza, że wszystkie pozostałości są przyjmowane za zerowe. W tym przypadku rozważany obszar obrazu będzie prawdopodobnie poruszał się jednocześnie z resztą obrazu, jednakże rzeczywiste szczegóły obrazu w tym obszarze mogą być nieco błędne. W tym przypadku należy przyjąć rozwiązanie kompromisowe przy wybieraniu konkretnych danych zastępczych dla różnych typów utraconych danych. Należy zauważyć, że wektory ruchu z makrobloków sąsiadujących ze sobą w pionie są cyklicznie zapamiętywane w pamięci 66, gdzie są dostępne.

Rozważmy również, że współczynniki DCT DC mogą być różnie kodowane (DCPCM) w różnych makroblokach. W tym przypadku ostatni makroblok w sekwencji zastępczych makrobloków nie będzie miał właściwej wartości DCT DC dla pierwszego niezastąpionego makrobloku. Generator 65 znaczników błędów może być zatem zaprogramowany na podstawienie współczynnika DCT DC w ostatnich zastępczych makroblokach uzyskanego z makrobloków sąsiadujących ze sobą w pionie (tj. wziętych z pamięci 66) lub ze zdezaktualizowanego makrobloku dla danego fragmentu obrazu (wziętego z pamięci 66, rejestrującej skompresowane dane dla np. całej ramki).

Spójrzmy znów na fig. 7. Powiedzieliśmy powyżej, że dla ramek I i pewnych typów straconych, danych, dostarczane są zastępcze dane zaledwie wystarczające do utrzymania w ruchu dekompresora, nawet jeśli zdekodowane dane o obrazie, jakie zostaną wygenerowane, stają się nieakceptowalne. Dane te nie są zapisywane w pamięci 318 ekranu dzięki mapie błędów

169 283 dostarczanej przez generator 65 znaczników błędów. Podczas przetwarzania ramek I, generator 65 znaczników błędów opracowuje mapę błędów wszystkich danych zastępczych, które mogą wytworzyć nieakceptowalne obrazy. Mapa błędów może składać się z sekwencji binarnych jedynek i zer, odpowiadających punktom obrazu (lub blokom lub makroblokom), które są lub nie są generowane z konkretnych danych zastępczych. Sekwencja tajest zapisywana w pamięci 313 pod adresem odpowiadającym adresom odpowiednich punktów obrazów w pamięci 318 ekranu. Kiedy adresy dla zapisu podawane są do pamięci 318 ekranu, te same wartości sąpodawane do pamięci 313 dla odczytu informacji obłędach. Jeśli pod danym adresem wskaźnik błędu jest ustawiony, wówczas układ obsługujący pamięć wytwarza sygnał blokujący zapis nowych danych pod dany adres w pamięci 318 ekranu.

Figura 8 przedstawia rozwiązanie, w którym układ deselekcji priorytetu 26 i dekompresor 27 korzystają wspólnie z dekodera kodu zmiennych długości (VLD) 64. Taka konstrukcja nie tylko eliminuje potrzebę stosowania dwu dekoderów VLD w układzie, ale również eliminuje pamięć 313 z rozwiązania według fig. 7. Elementy układu z fig. 8, które są opisane tymi samymi numerami co elementy na fig. 6 i 7 realizują podobne funkcje. Jednak w układach na fig. 8 słowa wyjściowe wytwarzane przez dekoder VLD 64 są w postaci zdekodowanych słów względem kodu zmiennych długości, a tabela zastępczych danych zawarta w generatorze 65 znaczników błędów jest zmieniona tak, aby obejmowała, np. pominięte makrobloki dla ramek I. Algorytm dekompresji dla takiego rozwiązania jest dostosowany w zasadzie do algorytmu dekompresji zalecanego przez MPEG, ale z jednym korzystnym wyjątkiem. Wyjątkiem jest możliwość przyjmowania pominiętych makrobloków w ramkach I. Umożliwienie rozpoznawania przez dekoder VLD 64 pominiętych makrobloków dla ramek I oznacza, że dane ramek I nie będą uaktualniane w pamięci ekranu lub w pamięciach buforowych (314, 316) dla rejonów obrazu odpowiadających pominiętym makroblokom. Ta cecha eliminuje pamięć 313 z fig. 7 i funkcję generowania mapy błędów przez generator 65 znaczników błędów. Zatem podczas gdy w poprzednim rozwiązaniu podstawienie danych ramki I było realizowane tak, aby jedynie spełnić wymaganie, aby dla każdego makrobloku były obecne dane, to w rozwiązaniu z fig. 8 generator 65 znaczników błędów będzie dostarczał dane, które będą reprezentatywne dla pominiętych makrobloków, a dane stracone będą efektywnie zastępowane przez dane zdezaktualizowane dla danego rejonu obrazu. Sygnalizacja pominiętych makrobloków może przyjąć postać zwykłego umieszczania w strumieniu danych następnego wykrytego ważnego nagłówka warstwy.

Układ z fig. 8 zawiera kontroler 370 układu kontroler 360 dekompresji. Kontroler 370 układu kontroluje cały odbiornik i reaguje na sygnały od użytkownika. Kontroler ten steruje pracą dekodera VLD 64, układu sekwencji statusów, generatora 65 znaczników błędów i kontrolera 360 dekompresji dla zainicjowania procedury startowej układu, dla pominięcia pewnych sekwencji dekodowania w celu uzyskania efektów specjalnych, dla kontrolowania zmian kanałów itd. Kontroler 360 dekompresji kontroluje dekompresor 27 i pamięć 318 ekranu. Dane wizyjne z dekodera VLD 64 są podawane na kontroler 360 dekompresji, który jest zaprogramowany na rozpoznawanie danych różnych nagłówków według MPEG i, na ich podstawie, poddawanie danych odpowiednim sposobem dekodowania. Reagując na adresy makrobloku, ten kontroler 360 dekompresji steruje pamięcią 318 ekranu dla zapisu odpowiednich zdekodowanych wartości danych dla punktów w odpowiednich rejonach rastru. Komórki pamięci 318 ekranu odpowiadające rejonom rastru reperezentowanym przez pominięte makrobloki są okresowo odświeżane przez ten kontroler 360 dekompresji, co powoduje tymczasowe podstawienia danych dla tych rejonów.

Ponieważ układ z fig. 8 jest skonstruowany dla przetwarzania (a właściwie nie przetwarzania) pominiętych makrobloków w ramkach I, P i B, pewne specjalne efekty mogą być uzyskane przy pomocy generatora 65 znaczników błędów. Funkcja zamrożonej ramki może być wywołana przez użytkownika jedynie przez wysterowanie kontrolera 370 układu do przejęcia kontroli nad generatorem 65 znaczników błędów i zmuszenia go do podstawiania danych wizyjnych odpowiadających pominiętym makroblokom dla wszystkich makrobloków we wszystkich ramkach lub przez przejęcie kontroli nad kontrolerem 360 dekompresji i zmuszenia go, aby traktował wszystkie makrobloki, jakby były pominięte. Można uzyskać efekt stroboskopowy, na przykład, zaznaczając we wszystkich ramkach P i B makrobloki jako pominięte.

169 283

Częściowy efekt stroboskopowy może być zrealizowany przez zaprogramowanie kontrolera 370 układu na sterowanie generatorem 65 znaczników błędów tak, aby dostarczał danych odpowiadających pominiętym makroblokom w określonych grupach warstw.

Generator 65 znaczników błędów może dostarczać konkretnych danych zastępczych, które nie są związane z korekcji błędów. Tabela danych zastępczych może zawierać dane zastępcze dla wyświetlania pewnych obrazów w pewnych warunkach. Kiedy odbiornik jest zsynchronizowany z kanałem danej stacji nadawczej i procesor transmisyjny 25 nie dostarcza rozpoznawalnych danych nagłówka, generator 65 znaczników błędów może wytwarzać dane zastępcze odpowiadające, na przykład niebieskiemu ekranowi lub planszy kontrolnej. Alternatywnie, kiedy wymuszana jest zmiana kanału, generator 65 znaczników może zamrozić ostatnią ramkę z poprzedniego kanału, który jest odbierany, dopóki układ nie zsynchronizuje się z nowym kanałem.

Wynalazek został opisany w środowisku układu dwuwarstwowego lub dwukanałowego. Jednakże specjaliści w kompresji sygnału wizyjnego łatwo stwierdzą, że może być wykorzystany w układach jednokanałowych i w różnych formatach sygnałów skompresowanych i zastrzeżenia patentowe powinny być rozważane pod tym kątem.

169 283

X3Or-Or- X 2_ΟΟτ-τ“ X SoOOOr*

Q_ GO O

O O τ— r—

169 283

KANAŁ TRANSMISYJNY ’ ·**·

DANE SYGN. POMOC. AKUSTYCZNY

Z BUFORA 253

FIG. 8

DANE NAGŁOWIA

USUWANIE '—“^-TRANSMISYJNEGO

SXj--►D® ^{0 BŁSDACH}

NYCH —Jj —^-'βαμΕ WIZYJNE

169 283

DANE O ^ŁĘDACH

UKŁAD SEKWENCYJNI! STATUSU .64

IDENTYFIKATORY RAMKI WARSTWY I 'MAKROBLOKU

BŁĄD HP, LP PRZERWANIE PRIORYTETU /

KOMPARATOR

MU

LTIPLEK

HP

UKŁAD _Hasuft.HP

LP

JKŁAD ?RZESU®J£CY .LP

WYJŚCIE SYGNAŁU WIZYJNEGO

ZAKAZ ZAPISU DO PAMIĘCI EKRANU

SYGNAŁY OD ' UŻYTKOWNIKA

169 283

Β 8 Ρ Β Β Ρ 8 Β I Β Β Ρ 8 8 Ρ Β Β

SEKWENCJA RAMEK [

GOFi

GOFi+1

-WARSTWA 1 ////////////7777 /

MB1

ID™¹ uiniiLfiirnp

MBr

MAKROBLOK i

.....zL

RAMKA 1

Y1	Y2
Y3	Y4

~T

BLOK

BLOK i _ • · · • · · βί 6

WARSTWA n

FIG. 1

Departament Wydawnictw UP RP. Nakład 90 egz.

Cena 4,00 zł

Claims

Zastrzeżenia patentowe

1. Układ do korekcji błędów w układzie przetwarzania cyfrowego sygnału wizyjnego, w którym poddaje się konwersji sygnały skompresowanych danych reperezentujących obrazy na sygnały danych nieskompresowanych i w którym dane skompresowane są pogrupowane w blokach transmisyjnych składających się z wielu makrobloków, każdy zawierający wiele bloków danych, i zawierających słowa kodowe, przy czym układ jest zbudowany z demodulatora cyfrowego sygnału wizyjnego, którego wyjścia są połączone poprzez układy korekcji błędów i bufory do procesora transmisyjnego, przy czym procesor transmisyjny zawiera detektor słowa kodowego w bloku transmisyjnym, znamienny tym, że zawiera obwód podstawiania (65-67) makrobloków znajdujących się w bloku transmisyjnym, w którym wystąpił błąd, przez, przynajmniej częściowo, wcześniej określoną sekwencję danych poddanych kompresji naśladującą, przynajmniej częściowo, skompresowane dane reprezentujące makrobloki odnoszące się do usuniętych makrobloków, dołączony do procesora transmisyjnego (25), oraz dołączony do obwodu podstawiania (65-67) obwód dekompresji (60-64 i 304-312,314, 316, 360)z wyjściowym sygnałem zdekompresowanych danych reprezentujących obrazy.
2. Układ według zastrz. 1, znamienny tym, że obwód dekompresji (60-64 i 304-312,314, 316, 360) stanowi obwód dostarczania, w odpowiedzi na wcześniej określoną sekwencję skompresowanych danych, zastępczego zdekompresowanego sygnału wizyjnego zazdekompresowany sygnał wizyjny odpowiadający jednemu z bloków skompresowanych danych zawartych w makroblokach, które zostały usunięte.
3. Układ według zastrz. 1, znamienny tym, że obwód podstawiania (65-67)stanowi obwód umieszczania wektora ruchu, otrzymanego na podstawie sąsiednich makrobloków, we wcześniej określonej sekwencji danych.
4. Układ według zastrz. 1, znamienny tym, że zawiera pamięć (318) ekranu dołączoną do obwodu dekompresji (60-64 i 304-312, 314, 316, 360), generator (65) znaczników błędów reprezentujących powierzchnię obrazu odpowiadającą blokom, które zostały zastąpione, dołączony do detektora (250) słowa kodowego, oraz kontrolny układ pamięciowy (313) ochrony pamięci (318) ekranu przed zapisaniem zdekompresowanych danych wizyjnych w komórkach pamięci odpowiadających tym z bloków, które zostały zastąpione, połączony z pamięcią (318) ekranu.
5. Układ według zastrz. 1, znamienny tym, że obwód podstawiania (65-67) zawiera także kontroler ramek zastępujący, w odpowiedzi na wejściowe sygnały od użytkownika, całe ramki skompresowanych danych wizyjnych na zastępcze skompresowane dane wizyjne wykorzystywane do efektów specjalnych.
6. Układ według zastrz. 1, znamienny tym, że obwód podstawiania, (65-67) połączony z detektorem (250) słowa kodowego i obwodem dekompresji (60-64 i 304-312, 314, 316, 360), stanowi obwód zastępowania zdekompresowanych danych wizyjnych odnoszących się do tych bloków skompresowanych danych, w których wystąpiły błędy, czasowo opóźnionymi i przestrzennie posegregowanymi zdekompresowanymi danymi wizyjnymi.
7. Układ według zastrz. 1, znamienny tym, że zawiera kanał wysokiego priorytetu, z pierwszym układem (21) korekcji błędów i pierwszym buforem (23), przesyłający skompresowane dane wizyjne pogrupowane w bloki transmisyjne zawierające część bloków o wyższym priorytecie danych, oraz kanał niskiego priorytetu, z drugim układem (22) korekcji błędów i drugim buforem (24), przesyłający skompresowane dane wizyjne pogrupowane w bloki transmisyjne zawierające część bloków o niższym priorytecie danych, przy czym detektor (250) słowa kodowego jest układem wykrywania, na podstawie skompresowanych danych wizyjnych z kanałów wysokiego i niskiego priorytetu, wystąpienia błędów i usunięcia bloków transmisyj169 283 nych zawierających błędy, obwód podstawiania (65-67) jest obwodem rekombinacji części bloków zawierających informacje o wyższym i niższym priorytecie danych i wpisywania, w odpowiedzi na usunięcie bloków transmisyjnych zawierających informację o niskim priorytecie danych, kodu końca bloku do części bloków transmisyjnych zawierających informację o wyższym priorytecie, obwód dekompresji (60-64 i 304-312, 314, 316, 360) jest obwodem dekompresji połączonych bloków transmisyjnych, oraz zawiera pamięć (318) ekranu dołączoną do obwodu dekompresji (60-64 i 304-312, 314, 316, 360), generator (65) znaczników błędów reprezentujących powierzchnię obrazu odpowiadającą blokom, które zostały zastąpione, dołączony do detektora (250) słowa kodowego, oraz kontrolny układ pamięciowy (313) ochrony pamięci (318) ekranu przed zapisywaniem zdekompresowanych danych wizyjnych w komórkach pamięci odpowiadających tym z bloków, które zostały zastąpione, połączony z pamięcią (318) ekranu.
8. Układ według zastrz. 1, znamienny tym, że zawiera kanał wysokiego priorytetu, z pierwszym układem (21) korekcji błędów i pierwszym buforem (23), i kanał niskiego priorytetu, z drugim układem (22) korekcji błędów i drugim buforem (24), w których skompresowane dane wizyjne są pogrupowane w makroblokach, z których każdy zawiera wiele bloków danych, dane w odpowiednich makroblokach i blokach są podzielone na hierarchiczne poziomy, dane na poziomie hierarchii K, gdzie K jest zmienną, dla odpowiednich bloków są umieszczone w części bloków odpowiednich makrobloków, które są pogrupowane w blokach transmisyjnych w kanałach o wysokim priorytecie, a pozostałe dane poniżej poziomu K w odpowiednich blokach są umieszczone w części bloków odpowiednich makrobloków, które są pogrupowane w blokach transmisyjnych w kanałach o niskim priorytecie, odpowiednie części bloków danych o niskim priorytecie posiadają kod końca bloku i odpowiednie części bloków danych o wysokim priorytecie nie posiadają kodu końca bloku zanim wszystkie dane odpowiadające odpowiedniemu blokowi są zgromadzone w bloku o wysokim priorytecie, przy czym detektor (250) słowa kodowego jest układem wykrywania, na podstawie skompresowanych danych wizyjnych w kanałach o wyższym i niższym priorytecie, błędów i usuwania bloków transmisyjnych zawierających błędy, oraz zawiera obwód łączący (62, 63, 65, 67) odpowiednie części bloków zawierających informacje o wyższym i niższym priorytecie i wpisujący, w odpowiedzi na usunięcie bloków transmisyjnych zawierających informacje o niskim priorytecie, kod końca bloku do odpowiednich części bloków zawierających informacje o wyższym priorytecie, przy czym obwód dekompresji (60-64 i 304-312, 314, 316, 360) jest obwodem dekompresji połączonych bloków informacji.
9. Układ według zastrz. 8, znamienny tym, że obwód łączący (62, 63, 65, 67) jest obwodem włączenia części bloków do kanałów o niższym priorytecie odpowiadającym usuniętej części bloków w kanałach o wyższym priorytecie.
10. Układ według zastrz. 9, znamienny tym, że obwód łączący (62, 63,65, 67) zawiera układ przechowywania danych i połączony z nim układ (67) zastępowania danych.
11. Układ według zastrz. 8, znamienny tym, że zawiera separator (256) danych wskaźników identyfikujących przynajmniej część informacji zawartych w blokach transmisyjnych, pamięć (66) skompresowanych danych wizyjnych z kanału o wyższym priorytecie, generator (65) znaczników błędów stanowiący także pamięć do przechowywania wcześniej określonych sekwencji skompresowanych danych w formacie skompresowanych danych wizyjnych, przy czym obwód łączący (62, 63, 65, 67) zawiera układ (67) zastępowania danych, zastępujący, na podstawie wskaźników, usunięte makrobloki o wyższym priorytecie i odpowiadające im makrobloki o niższym priorytecie makroblokami zawierającymi wcześniej określone sekwencje skompresowanych danych wizyjnych przechowywanymi w pamięci (66) skompresowanych danych wizyjnych.