TWI552584B

TWI552584B - A coding distortion removing method, an encoding method, a decoding method, a coding distortion removing apparatus, an encoding apparatus, and a decoding apparatus

Info

Publication number: TWI552584B
Application number: TW100112645A
Authority: TW
Inventors: Hisao Sasai; Matthias Narroschke
Original assignee: Sun Patent Trust
Priority date: 2010-04-13
Filing date: 2011-04-12
Publication date: 2016-10-01
Also published as: US8606036B2; CN102860009A; JPWO2011129090A1; WO2011129090A1; TW201208381A; US20120045145A1; US8953897B2; US20140037221A1

Description

編碼失真去除方法、編碼方法、解碼方法、編碼失真去除裝置、編碼裝置、及解碼裝置

發明領域

本發明係關於去除編碼圖像訊號時產生於處理邊界之編碼失真的編碼失真去除方法、以及使用該編碼失真去除方法而壓縮率可達更高的編碼方法及解碼方法。

發明背景

稱為H.26之ITU-T規格或稱為MPEG-x之ISO/IEC所代表之習知圖像編碼方法中，將畫面分割為預定單位並就該分割單位來進行編碼。例如，H.264/MPEG-4 AVC方式(例如請參考非專利文獻1)中，將畫面(圖片)以稱作巨區塊之水平16像素、垂直16像素之單位來進行處理。

當進行動態補償時，將巨區塊分割為區塊(最小為水平4像素、垂直4像素)。接著就每個區塊使用不同之運動向量來進行動態補償，並將與原始訊號之差分訊號頻率轉換，而藉由將差分訊號收集於低頻領域而量化可壓縮資訊。使用將差分訊號收集於低頻領域之DCT等正交轉換的區塊單位編碼方法已知會於區塊之邊界見到稱為區塊失真之格子狀失真。

第40圖係使用習知編碼失真去除方法之編碼失真去除部的方塊圖。開關1001係切換應對於水平方向之區塊邊界(以下為「水平邊界」)及垂直方向之區塊邊界(以下為「垂直邊界」)之哪個區塊邊界進行處理。濾波對象像素決定部1002係根據鄰接於區塊邊界之像素之像素值來決定成為編碼失真去除處理(以下亦稱為「濾波處理」)之對象的像素(以下酌情為「濾波對象像素」或「對象像素」)。接著，濾波處理部1003對該濾波對象像素進行編碼失真去除。開關1004係當水平邊界或垂直邊界之處理尚未完成時，設定使編碼失真去除處理完畢之圖像訊號再度輸入至開關1001。濾波對象像素決定部1002會對於尚未處理方向之區塊邊界決定濾波對象像素。如此，編碼失真去除之處理會對於水平邊界及垂直邊界逐次進行。

先行技術文獻【專利文獻】

【非專利文獻1】ISO/IEC 14496-10「MPEG-4 Part 10 Advanced Video Coding」

然而，前述習知之方式由於除次進行對水平邊界之處理、及對垂直邊界之處理，而係使用對水平邊界或垂直邊界已編碼失真去除處理完成之圖像訊號來決定成為編碼失真去除處理之對象的對象像素。因此，存在會誤判區塊邊界之像素值之變化為區塊失真之變化或是為物體邊界之變化，而進行對物體邊界之像素進行編碼失真去除處理的課題。

第41圖係用以說明習知之編碼失真去除處理之課題的圖。第41圖中斜線領域係顯示物體之領域。

如第41(a)圖所示，首先對水平邊界進行濾波處理。其結果，第41(b)圖之陰影線之位置的像素值會根據濾波處理而變更。接著，當對垂直邊界進行濾波處理時，係根據已對水平邊界進行濾波處理後之像素值(陰影線區域)來決定成為濾波處理對象之像素。其結果，變成會對原本為物體邊界之位置(1101)實施濾波處理(平滑處理)。亦即，物體邊界會因濾波處理而被模糊化，其結果會導致編碼效率低落。

本發明之目的係提供一種可解決前述課題，且使圖像訊號之畫質損壞之可能性極小的編碼失真去除方法等。

為達成前述目的，本發明之一實施型態之編碼失真去除方法，係去除第1處理邊界及第2處理邊界的編碼失真者，該第1處理邊界及第2處理邊界係分別為圖像訊號之處理邊界且為相互不同方向之處理邊界，而前述編碼失真去除方法包含以下步驟：第1決定步驟，係根據至少鄰接於前述第1處理邊界之第1鄰接像素的像素值來決定成為對前述第1處理邊界之編碼失真去除處理對象之第1對象像素；第1去除步驟，對已決定之前述第1對象像素進行編碼失真去除處理；第2決定步驟，係根據至少鄰接於前述第2處理邊界之第2鄰接像素的像素值來決定成為對前述第2處理邊界之編碼失真去除處理對象之第2對象像素；及第2去除步驟，對已決定之前述第2對象像素進行編碼失真去除處理，且前述第2決定步驟，係根據以前述第1去除步驟來進行編碼失真去除處理前之前述第2鄰接像素的像素值來決定前述第2對象像素。

根據上述，於第1處理邊界及第2處理邊界之雙方，可根據編碼失真去除處理前之像素值來決定編碼失真去除處理之對象像素。因此，藉由根據編碼失真去除處理後之像素值來決定對象像素可消解將對象像素決定為對應到物體邊界之像素的習知課題。亦即，可實現將編碼失真去除處理進行使圖像訊號之畫質損壞之可能性極小的編碼失真去除方法。

又，本發明之一實施型態之解碼方法係從代碼串解碼圖像者，包含從前述代碼串解碼圖像訊號之解碼步驟、及使用前述編碼失真去除方法來將已於前述解碼步驟解碼之圖像訊號之編碼失真去除的編碼失真去除步驟。

又，本發明之一實施型態之編碼方法，係編碼圖像者，包含有下列步驟：編碼步驟，編碼圖像；重建步驟，從已於前述編碼步驟編碼之圖像重建圖像訊號；及編碼失真去除步驟，使用前述編碼失真去除方法來將已於前述重建步驟重建之圖像訊號的編碼失真去除，而前述編碼步驟係參考已於前述編碼失真去除步驟去除編碼失真之圖像訊號來編碼前述圖像。

又，本發明之一實施型態之編碼失真去除裝置，係去除第1處理邊界及第2處理邊界的編碼失真者，該第1處理邊界及第2處理邊界係分別為圖像訊號之處理邊界且為相互不同方向之處理邊界，前述編碼失真去除裝置包含：第1決定部，係根據至少鄰接於前述第1處理邊界之第1鄰接像素的像素值來決定成為對前述第1處理邊界之編碼失真去除處理對象之第1對象像素者；第1去除部，對已決定之前述第1對象像素進行編碼失真去除處理者；第2決定部，係根據至少鄰接於前述第2處理邊界之第2鄰接像素的像素值來決定成為對前述第2處理邊界之編碼失真去除處理對象之第2對象像素者；及第2去除部，對已決定之前述第2對象像素進行編碼失真去除處理者，且前述第2決定部，係根據以前述第1去除部來進行編碼失真去除處理前之前述第2鄰接像素的像素值來決定前述第2對象像素。

又，本發明之一實施型態之解碼裝置係從代碼串解碼圖像者，包含從前述代碼串解碼圖像訊號的解碼部、及前述之編碼失真去除裝置，而前述編碼失真去除裝置係將已藉由前述解碼部解碼之圖像訊號之編碼失真去除。

又，本發明之一實施型態之編碼裝置，係編碼圖像者，包含有：編碼部，係編碼圖像者；重建部，從已藉由前述編碼部編碼之圖像重建圖像訊號；及前述編碼失真去除裝置，而前述編碼失真去除裝置係將已藉由前述重建部重建之圖像訊號的編碼失真去除，而前述編碼部係參考已藉由前述編碼失真去除裝置去除編碼失真之圖像訊號來編碼前述圖像。

根據本發明，於第1處理邊界及第2處理邊界之雙方，可根據編碼失真去除處理前之像素值來決定編碼失真去除處理之對象像素，藉此可實現將編碼失真去除處理進行使圖像訊號之畫質損壞之可能性極小的編碼失真去除方法。又，由於不使用編碼失真去除處理完畢之像素值來決定編碼失真去除處理之對象像素，因此可實現同時實施對象像素之決定處理(並列處理)。藉此，由於可維持原圖像所具有之物體邊界，其實用價值非常高。

圖式簡單說明

第1圖係顯示本發明之第1實施型態之編碼失真去除裝置之功能構成之一例的方塊圖。

第2圖係顯示本發明之第1實施型態之編碼失真去除方法之一例的流程圖。

第3A圖係用以說明濾波對象像素決定方法之一例的模式圖。

第3B圖係用以說明濾波對象像素決定方法之一例的模式圖。

第3C圖係用以說明濾波對象像素決定方法之一例的模式圖。

第4圖係顯示本發明之第1實施型態之濾波對象像素決定方法之一例的流程圖。

第5(a)～(c)圖係用以說明本發明之第1實施型態之預撥處理概念之圖。

第6圖係顯示本發明之第1實施型態之變形例之編碼失真去除裝置的功能構成方塊圖。

第7(a)～(c)圖係用以說明本發明之第1實施型態施變形例之編碼失真去除處理之處理時間的圖。

第8圖係顯示本發明之第2實施型態之濾波對象像素決定方法之一例的流程圖。

第9圖係顯示本發明之第3實施型態之垂直邊界部的圖。

第10(a)～(f)係用以說明習知編碼失真去除方法中6個逐次步驟的圖。

第11A圖係用以說明決定處理d_l,v內之除次處理之數的圖。

第11B圖係用以說明決定處理D_i,v內之除次處理之數的圖。

第11C圖係用以說明決定處理F_i,v內之除次處理之數的圖。

第12圖係將習知編碼失真去除方法之各處理之依存關係以關鍵路徑之逐次處理之數來顯示的圖。

第13(a)～(d)圖係用以說明本發明第3實施形態之編碼失真去除方法之4個逐次步驟的圖。

第14圖係將本發明之第3實施形態之編碼失真去除方法之個處理依存關係以關鍵路徑之逐次處理之數來顯示。

第15圖係用以說明分層處理單位(多層區塊構造)的圖。

第16A圖係顯示LCU處理順序之一例的圖。

第16B圖係顯示LCU內CU處理順序之一例的圖。

第16C圖係顯示編碼失真去除處理所施行之處理邊界之一例的圖。

第17圖係顯示本發明第4實施形態之編碼失真去除裝置之功能構成的方塊圖。

第18圖係顯示本發明之第4實施形態之編碼失真去除裝置之動作的流程圖。

第19圖係用以說明本發明之第4實施形態之編碼失真去除方法的圖。

第20A圖係顯示本發明之第5實施形態之編碼裝置的方塊圖。

第20B圖係顯示本發明之第6實施形態之解碼裝置的方塊圖。

第20C圖係顯示本發明之一實施形態之編碼失真去除方法的流程圖。

第21圖係實現內容配送服務的內容供給系統之全體構成圖。

第22圖係數位廣播用系統之全體構成圖。

第23圖係顯示電視之構成例之方塊圖。

第24圖係顯示在為光碟之記錄媒體進行資訊讀取的資訊再生/記錄部之構成例的方塊圖。

第25圖係顯示為光碟之記錄媒體之構造例的圖。

第26(a)圖係顯示行動電話之一例的圖；第26(b)圖係顯示行動電話之構成例的方塊圖。

第27圖係顯示多工資料之構成的圖。

第28圖係顯示各個串流在多工資料中是如何被多工的示意圖。

第29圖係更詳細顯示視頻串流是如何儲存於PES封包列的圖。

第30圖係顯示多工資料之TS封包與源封包之構造的圖。

第31圖係顯示PMT之資料構造的圖。

第32圖係顯示多工資料資訊之內部構成的圖。

第33圖係顯示串流屬性資訊之內部構成的圖。

第34圖係顯示識別影像資料之步驟的圖。

第35圖係顯示實現各實施形態之動態影像編碼方法及動態影像解碼方法得積體電路之構成例的方塊圖。

第36圖係顯示切換驅動頻率之構成的圖。

第37圖係顯示識別影像資料並切換驅動頻率之步驟的圖。

第38圖係顯示關聯影像資料之規格與驅動頻率的查找表之一例的圖。

第39(a)圖係顯示共享訊號處理部之膜組之構成之一例的圖；第39(b)圖係顯示共享訊號處理部之膜組之構成之其他例的圖。

第40圖係顯示習知圖像編碼裝置及圖像解碼裝置之編碼失真去除部之構成的方塊圖。

第41(a)～(b)圖係說明使用習知編碼失真去除方法時之課題的示意圖。

以下就本發明之實施形態一面參考圖式一面加以說明。

(第1實施形態)

本發明之第1實施形態係將為構成圖像之至少一個像素之集合的區塊做為處理單位來針對圖像訊號之編碼失真去除方法來加以說明。本實施形態係令區塊為矩形、第1處理邊界為區塊之水平邊界、第2處理邊界為垂直邊界。

具體而言，垂直邊界係現行處理中之區塊(以下為「處理中之區塊」或「現行區塊」)與鄰接於該現行之區塊之左側之於前已處理之區塊(以下為「處理完畢區塊」或「前區塊」)間之邊界。又，水平邊界係現行區塊與鄰接於該現行區塊之上側之前區塊間的邊界。

第1圖係顯示本發明之第1實施形態之編碼失真去除裝置100之功能構成的方塊圖。如第1圖所示，編碼失真去除裝置100包含編碼失真去除裝置100、開關101、濾波對象像素決定部102、濾波後補資訊保持部103、開關104、開關105、濾波處理部106及開關107。輸入至編碼失真去除裝置100之輸入訊號係可能包含編碼失真之圖像訊號。

開關101係進行朝濾波對象像素決定部102之輸入訊號之輸入目標的切換。成為濾波對象像素決定部102所處理之對象的區塊邊界的方向會與前述輸入訊號之輸入目標之切換連動而切換。

本實施形態中，當開關101連接「a」時，圖像訊號會由編碼失真去除裝置100之外部輸入濾波對象像素決定部102。另一方面，當開關101連接「b」時，圖像資訊會由濾波對象像素決定部102再一次輸入至濾波對象像素決定部102。

濾波對象像素決定部102係相當於第1決定部與第2決定部。濾波對象像素決定部102係使用至少鄰接像素之像素值來決定對區塊邊界之濾波對象像素。

在此，鄰接像素係指鄰接於區塊邊界之2個像素。又，區塊對象像素係指成為藉由濾波處理部106進行濾波處理之對象的像素。又，濾波處理係指編碼失真去除處理之一例，例如適應解塊濾波。

具體而言，濾波對象像素決定部102，首先根據鄰接於垂直邊界之鄰接像素(第1鄰接像素)之像素值，來決定對該垂直邊界之濾波對象像素(第1對象像素)。接著，濾波對象像素決定部102會根據鄰接水平邊界之鄰接像素(第2鄰接像素)來決定對該水平邊界之濾波對象像素(第2對象像素)。此時，濾波對象像素決定部102係使用對垂直邊界進行濾波處理前之像素值來做為鄰接於水平邊界之鄰接像素之像素值，決定對該水平邊界之濾波對象像素。

更具體而言，本實施形態中，當開關101連接至「a」時，濾波對象像素決定部102會決定對垂直邊界之濾波對象像素。另一方面，當開關101連接至「b」時，濾波對象像素決定部102會決定對水平邊界之濾波對象像素。

濾波後補資訊保持部103係將關於藉由濾波對象像素決定部102決定之濾波對象像素的資訊做為濾波後補資訊而保持。具體而言，濾波後補資訊保持部103會將例如於每個區塊邊界顯示濾波對象像素位置之資訊做為濾波後補資訊而保持。又，濾波後補資訊保持部103亦可將例如顯示區塊邊界之鄰接像素是否為濾波對象像素之資訊做為濾波後補資訊而保持。

開關104係切換由濾波對象像素決定部102輸出之輸出訊號的輸出目標。本實施形態中，當開關104連接至「a」時，由濾波對象像素決定部102輸出之輸出訊號會輸出至開關101。另一方面，當開關104連接至「b」時，由濾波對象像素決定部102輸出之輸出訊號會輸出至開關105。

開關105係進行朝濾波處理部106輸入之輸入訊號的輸入目標的切換。而成為濾波處理部106所處理之對象的區塊邊界之方向會與該輸入訊號之輸入目標的切換連動而連動。

濾波處理部106相當於第1去除部與第2去除部。濾波處理部106係對已決定之濾波對象像素進行濾波處理。具體而言，當開關105連接至「a」時，濾波處理部106會對對於垂直邊界之濾波對象像素進行濾波處理。另一方面，當開關105連接至「b」時，濾波處理部106會對對於水平邊界之濾波對象像素進行濾波處理。

開關107係切換由濾波處理部106輸出之輸出訊號的輸出目標。該輸出訊號為濾波處理後之圖像訊號。本實施形態中，當開關107連接至「a」時，由濾波處理部106輸出之輸出訊號會輸出至開關105。另一方面，當開關107連接至「b」時，由濾波處理部106輸出之輸出訊號會做為處理完畢之圖像訊號朝編碼失真去除裝置100之外部輸出。

接著，針對如同上述構成之編碼失真去除裝置100之各種動作加以說明。

第2圖係顯示本發明之第1實施形態之編碼失真去除方法之一例的流程圖。具體而言，第2圖係顯示本發明之第1實施形態之編碼失真去除裝置100中對1個區塊之處理流程的流程圖。

首先，濾波對象像素決定部102係與對應於第n濾波處理方向的區塊邊界相對之濾波對象像素，使用指少區塊邊界之鄰接像素之像素值來決定(S201)。該步驟S201相當於第1決定步驟及第2決定步驟。

以下，說明該步驟S201之處理的具體例。

處理開始之時間點，開關101係連接至「a」。輸入至開關101之「a」圖像訊號會輸入至濾波對象像素決定部102。濾波對象像素決定部102，在當開關101連接至「a」之情況下，會對對應於水平方向之濾波處理方向(第1濾波處理方向)之垂直邊界決定濾波對象像素。

又，當決定對垂直邊界之濾波對象像素後，開關104會連接至「b」。由開關104之「a」輸入至開關101之「b」之圖像訊號會輸入至濾波對象像素決定部102。濾波對象像素決定部102，在當開關101連接至「b」之情況下，會對對應於垂直方向之濾波處理方向(第2濾波處理方向)的水平邊界決定濾波對象像素。

在此，使用第3A～3C圖來說明濾波對象像素決定部102之濾波對象像素之決定方法之一例。

如第3A圖及第3B圖所示，將水平邊界附近之像素的索引、及垂直邊界附近之像素的索引分別表示為p0～p3及q0～q3。然而，像素值係藉由該等索引來表示。以下，例如索引為p0之像素則以「像素p0」來記載。

在此，濾波對象像素係由朝濾波處理方向延伸之處理處理行單位來決定。亦即，濾波對象像素決定處理係就每個為排列於與處理邊界正交之方向之像素列的處理行來進行。又，顯示該濾波處理對象像素決定處理的處理行的示意圖顯示於第3C圖。第3C圖係顯示對應垂直邊界之濾波對象像素決定處理中之處理行。例如，第3A圖左端之垂直行係決定像素p0及q0為濾波對象像素，而由左端數來第2行係決定像素p1、p0、q0及q1為濾波對象像素。

第4圖係顯示本發明之第1實施形態之濾波對象像素決定方法之一例的流程圖。

首先，濾波對象像素決定部102算出鄰接區塊邊界之像素p0與像素q0之差分值之絕對值DIFa(步驟S40a)。接著，濾波對象像素決定部102比較已算出之差分值之絕對值DIFa與以預先決定之方法給予之臨界值THa(步驟S40b)。臨界值THa係根據例如編碼或解碼中所使用之量化步驟索決定之值即可。

在此，當絕對值DIFa較臨界值THa小的情況下(步驟S40b之肯定)，濾波對象像素決定部102會決定對像素p0與像素q0進行濾波處理(步驟S40c)。亦即，濾波對象像素決定部102會決定為區塊邊界之鄰接像素的像素p0及像素q0為濾波對象像素。

另一方面，當絕對值DIFa在臨界值THa以上之情況下(步驟S40b之否定)，濾波對象像素決定部102會決定不對像素p0與像素q0進行濾波處理(步驟S40d)。亦即，濾波對象像素決定部102會決定為區塊邊界之鄰接像素的像素p0及像素q0為濾波非對象像素。

像這樣在步驟S201中，濾波對象像素決定部102係根據區塊邊界之鄰接像素的像素值來決定對該區塊邊界之濾波對象像素。又，針對決定濾波對象像素之方法，亦可根據區塊邊界之鄰接像素之像素值的關係(例如差分值或比值等)來決定。針對濾波對象像素之決定方法之其他例子會在其他實施形態中詳細說明。

然而，在此雖然以水平方向與垂直方向做為濾波處理方向而做為範例，但並不限於此，當濾波邊界為斜方向之情況中，可考慮將與該斜方向平行或垂直之方向做為濾波處理方向。又，濾波處理方向也不必一定為2個方向，而亦可因應區塊之形狀為3個方向以上的方向。

接著，濾波對象像素決定部102會將關於濾波對象像素之資訊做為濾波後補資訊輸出至濾波後補資訊保持部103，且在不變更圖像訊號的情況下直接輸出至開關104(步驟S202)。亦即，濾波後補資訊保持部103會將關於藉由濾波對象像素決定部102所決定之對垂直邊界或水平邊界之濾波對象像素的資訊做為濾波後補資訊而保存。

在處理開始之時間點，開關104係連接於「a」。因此，由濾波對象像素決定部102輸出至開關103之圖像訊號，會由開關104之「a」送往開關101之「b」。在此，開關101會由「a」切換到「b」。亦即，由濾波對象像素決定部102所輸出之圖像訊號，會在不經變更之情況下再度輸出至濾波對象像素決定部102。

此時，濾波對象像素決定部102會如前述來決定對於水平邊界之濾波對象像素。濾波對象像素決定部102會將對水平邊界所關於濾波對象像素之資訊輸出至濾波後補資訊保持部103。

當關於第N濾波處理方向的步驟S201及S202之處理結束之後，開關104會連接至「b」。因此，由濾波對象像素決定部102輸出之圖像訊號會輸入至開關105。開關105在處理開始之時間點係連接至「a」。

接著，濾波處理部106會根據由濾波後補資訊保持部103所取得之濾波後補資訊，來進行對所輸入之圖像訊號的濾波處理(步驟S203)。亦即，濾波處理部106會對於根據濾波像像素決定部102所決定之濾波對象像素來進行濾波處理。該步驟S203相當於第1去除步驟及第2去除步驟。

以下說明該步驟S203之處理之具體例子。

濾波處理部106在當開關105連接至「a」的情況下，會進行對垂直邊界的濾波處理。另一方面，在當開關105連接至「b」的情況下，濾波處理部106會對水平邊界進行濾波處理。

第5圖係用以說明本發明之第1實施型態之預撥處理概念之圖。第5圖中橫軸顯示像素位置而縱軸顯示像素值。

例如，當對於顯示於第5(a)圖之原圖像之圖像訊號進行區塊單位之編碼處理時，會如第5(b)圖所示產生區塊失真。所謂區塊失真，意指在區塊內部像素值平滑地連續變化，而僅在區塊邊界像素值不連續變化者。

在此，進行第5(b)圖所示之區塊邊界之濾波處理，藉此如第5(c)圖所示於區塊邊界進行修正使像素值連續變化，而此起因於編碼之區塊失真減少。

如此，濾波處理部106會對藉由濾波對象像素決定部102所決定之濾波對象像素進行濾波處理。又，針對濾波處理之具體方法會於其他之實施形態加以詳細說明。

在此，針對開關107之切換動作加以說明。經濾波處理之圖像訊號會輸出至開關107。在處理開始之時間點，開關107會連接至「a」。因此，由濾波處理部106輸出至開關107之圖像訊號會由開關107之「a」傳送至開關105之「b」。在此開關105會由「a」切換至「b」。亦即，由濾波處理部106所輸出之對於垂直邊界濾波處理完畢之圖像訊號，會再度輸入至濾波處理部106。

此時，濾波處理部106會根據由濾波後補資訊保持部103所取得之濾波後補資訊來進行對水平邊界之濾波處理。經濾波處理之圖像訊號會輸出至開關107。在此開關107會由「a」切換到「b」。因此，對水平邊界濾波處理完畢之圖像訊號會輸出至編碼失真去除裝置100之外部。

如同前述，編碼失真去除裝置100在決定對垂直邊界及水平邊界雙方之濾波對象像素之後，會進行對垂直邊界及水平邊界之濾波處理。亦即，編碼失真去除裝置100會根據濾波處理所進行之前的像素值來決定濾波對象像素。

(第1實施形態之變形例)

又，本實施形態係以對垂直邊界之濾波對象像素之決定、以及對水平邊界之濾波對象像素之決定這樣的順序來決定濾波對象像素，但如第6圖所示，亦可將對垂直邊界之濾波對象像素之決定、及對水平邊界之濾波對象像素之決定並列實施。

第6圖係顯示本發明之第1實施型態之變形例之編碼失真去除裝置的功能構成一例之方塊圖。如第6圖所示，編碼失真去除裝置600係包含有第1濾波對象像素決定部601、第2濾波對象像素決定部602、濾波後補資訊保持部603、開關604、濾波處理部605、開關606。

濾波後補資訊保持部603與濾波後補資訊保持部103相同並且係進行相同動作。又，開關604與開關105相同並且係進行相同動作。又，濾波處理部605與濾波處理部106相同並且係進行相同動作。又，開關606與開關107相同並且係進行相同動作。

又，第1濾對象像素決定部601相當於第1決定部，而第2濾波對象像素決定部602相當於第2決定部。亦即，第1濾波對象像素決定部601與第2對象像素決定部602係相當於將濾波對象像素決定部102分割為水平方向與垂直方向的處理部。因此，第1濾波對象像素決定部601及第2濾波對象像素決定部602雙方都進行與濾波度像像素決定部102同樣之動作。

亦即，第1濾波對象像素決定部601會根據垂直邊界之鄰接像素的像素值，來決定對該垂直邊界之濾波對象像素。又，第2濾波對象像素決定部602會根據水平邊界之鄰接像素的像素值來決定對該水平邊界之濾波對象像素。

又，雖然例子顯示以水平方向與垂直方向做為分割濾波對象像素決定處理之方向，但並不限於此，當區塊邊界為斜方向時，亦可考量以平行或垂直其之方向來分割。

像這樣僵濾波對象像素決定處理(步驟S201)以濾波處理方向(亦即區塊邊界之方向)分割且並列實施，藉此可縮短處理等待之時間，因此可縮短編碼失真去除裝置600之處理時間。處理時間之不同利用第7圖加以說明。

第7圖係用以說明本發明之第1實施型態施變形例之編碼失真去除處理之處理時間的圖。具體而言，第7(a)圖係顯示習知編碼失真去除方法之處理時間的概念圖。又，第7(b)圖係顯示第1實施形態之編碼失真去除方法之處理時間的概念圖。又，第7(c)圖係顯示本變型例之編碼失真去除方法之處理時間的概念圖。

在此，令第1濾波對象像素決定處理(垂直邊界)所需要之處理時間為TDA，而第1濾波對像處理(垂直邊界)所需要得處理時間為TFA。又令第2濾波對象像素決定部(水平邊界)所需要之處理時間為TDB，而第2濾波處理對象(水平邊界)所需要之處理時間為TFB。在此由於各處理間所需要之時間與各處理所需要之時間比教起來非常短，因此令處理間所需要的時間為0來加以說明。

習知之編碼失真去除方法，由於需要依序進行所有的處理，因此編碼失真去除所需要之處理時間為TDA+TFA+TDB+TFB。又，第1實施形態中之編碼失真去除方法亦如第7(b)圖所示，編碼失真去除所需要之處理時間為TDA+TFA+TDB+TFB。亦即第1實施形態之編碼失真去除方法中，編碼失真去除所需要的處理時間與習知編碼失真去除方法沒有變化。

另一方面，本變型例之編碼失真去除方法，如第7(c)圖所示編碼失真去除所需要的處理時間為MAX(TDA,TDB)+TFA+TFB。亦即，本變型例之編碼失真去除方法可以較習知編碼失真去除方法短之時間結束處理。

又，在此雖以對垂直邊界之處理、對水平邊界之處理這樣的順序來實施濾波處理，但亦可以相反順序進行。又針對順序可預先以編碼裝置及解碼裝置決定，或是，藉由做為串流之頭資訊而附加之訊號來切換亦可。又，亦可將對垂直邊界之濾波處理及對水平邊界之濾波處理同時施行。

又，由於無論是第1圖之構成及第6圖之構成處理完畢之圖像會完全一致，因此應選擇哪種構成係可選擇編碼裝置及解碼裝置所適合之構成。例如在不合適並列處理之獨立軟體之情況下，選擇第1圖之構成，而在並列處理有效之硬體之情況下則可選擇第6圖之構成。又，不論選擇何種構成，處理結果都一樣，因此可維持編碼裝置及解碼裝置之互換性，而實用效果非常高。

如同上述若根據本發明之第1實施形態或其變形例之編碼失真去除裝置100、600，可於對水平邊界及垂直邊界之濾波對象像素決定處理輸入濾波處理前之圖像訊號。在此，濾波後補資訊保持部103、603會保持用以特定決定為濾波物對象像素之像素的濾波後補資訊。接著，濾波處理部106、605會在對圖像訊號實施對水平方向及對垂直方向之濾波處理時，對已決定之濾波對象像素進行濾波處理。

藉由這樣的處理動作，編碼失真去除裝置100、600可使用對垂直方向或水平方向之濾波處理前之圖像訊號，來決定對水平邊界或垂直邊界之濾波對象像素。亦即，編碼失真去除裝置100、600可使用濾波處理後之圖像訊號的濾波對象像素來決定濾波對象像素，藉此消除即使對物體邊界亦判斷為濾波對象像素之習知編碼失真去除方法的缺點。亦即，編碼失真去除裝置100、600可在圖像訊號之畫質之損壞的可能性減少的情況下實現編碼失真去除方法。

又，編碼失真去除裝置100、600在濾波對象像素決定處理中，部使用濾波處理後之圖像訊號。藉此，如同第1實施形態之變形例，編碼失真去除裝置600可並列實施對水平邊界即垂直邊界之濾波對象像素決定處理，而可縮短編碼失真去除處理所需要之時間。

又，前述以區塊邊界之失真去除來進行說明，但亦可為H.264之限定為區塊單位者，或於轉換之處理單位間的ㄑ真去除亦具同樣效果。

又，前述第1實施形態中，當決定對垂直邊界及水平邊界雙方之濾波處理對象像素之後，會進行對垂直邊界及水平邊界雙方之濾波處理，但沒有必要一定要如此進行處理。例如，亦可於實施了對垂直邊界之濾波對象像素決定處理及濾波處理後，再實施對水平邊界之濾波對象像素決定處理及濾波處理。此情況下，必須要將進行對垂直邊界之濾波處理前之像素值保存於記憶體等。

又，前述濾波處理對象像素決定處理及濾波處理，可就每1行來進行，但也不是一定要就每1行來進行。

(第2實施形態)

接著，針對本發明之第2實施形態加以說明。具體而言，本實施形態中，會針對與第1實施形態所顯示之濾波對象像素決定方法不同之濾波對象像素決定方法來加以說明。又，亦會針對濾波處理之方法加以詳細說明。然而，本實施形態之編碼失真去除裝置由於與第1圖所示之第1實施形態之編碼失真去除裝置相同，因此省略圖式。

針對濾波對象像素之決定方法，使用第3C圖所示之包含於朝處理方向延伸之處理行得像素p3、p2、p1、p0、q0、q1、q2及q3來加以詳細說明。又，各像素之值係以像素之索引加以表示。

第1實施形態中，顯示了僅使用鄰接於區塊邊界之像素值來決定濾波對象像素之方法之一例。惟，濾波對象像素決定方法亦可因應例如圖像訊號之產生方法而變更。例如，在為使用畫面內預測所編碼之訊號之情況下，使用較廣範圍(例如p2、p1、p0、q0、q1、q2)之像素的像素值之關係來決定濾波對象像素，而以外之情況下，則使用較窄範圍(例如p1、p0、q0、q1)之像素的像素值之關係(例如差分值)來決定濾波對象像素。

以下針對將濾波對象像素決定方法根據圖像訊號產生方法切換之例子加以說明。

首先，濾波對象像素決定部102係調查鄰接於區塊邊界之2個區塊的像素值是否已藉由畫面內預測編碼(步驟S40X)。在此，鄰接於區塊邊界之2個區塊中至少一區塊已藉由畫面內預測編碼之情況下(步驟S40X之肯定)，編碼對象像素決定部102會決定對像素p2、像素p1、像素p0、像素q0、像素q1及像素q2進行濾波處理(步驟S400)。亦即，編碼對象像素決定部102會決定像素p2、像素p1、像素p0、像素q0、像素q1及像素q2為濾波對象像素。

另一方面，當鄰接區塊邊界之2個區塊兩者藉由動態補償預測來編碼之情況下(步驟S40X之否定)，濾波對象像素決定部102會使用區塊邊界附近的像素p0、像素p1、像素q0及像素q1來分別算出第8圖所示之差分值之絕對值DIFa、DIFb及DIFc(步驟S401)。接著，濾波對象像素決定部102會進行算出之差分值之絕對值DIFa、DIFb及DIFc、以及藉由預先決定之方法給予之臨界值(例如藉由編碼‧解碼中使用之量化步驟值所決定之值)THa、及THb的比較(步驟S402)。

在此，另一方面，當步驟S402所示之3個條件中之任1個條件都未滿的情況下(步驟S402之否定)，濾波對象像素決定部102會對包含於該處理行之像素決定不進行濾波處理(步驟S411)。亦即，濾波對象像素決定部102會決定像素p2、像素p1、像素p0、像素q0、像素q1及像素q2為非濾波對象像素。

另一方面，當步驟S402所示之3個條件都滿足之情況下(步驟S402之肯定)。濾波對象像素決定部102會決定實施對像素p0及像素q0之濾波處理(步驟S403)。亦即，濾波對象像素決定部102會決定像素p0及像素q0為濾波對象像素。接著，濾波對象像素決定部102會使用區塊邊界附近之像素p2、像素p0、像素q2及像素q0來分別算出差分值之絕對值DIFd及DIFe(步驟S404)。

接著，濾波對象像素決定部102會進行已算出之差分值之絕對值DIFd、以及藉由預先決定之方法所給予之臨界值Thb的比較(步驟S405)。在此，當滿足步驟S405所示之條件時(步驟S405之肯定)，濾波對象像素決定部102會決定實施對像素p1之濾波處理(步驟S406)。亦即，濾波對象像素決定部102會決定像素p1為濾波對象像素。

另一方面，當未滿步驟S405所示之條件時(步驟S405之否定)，濾波對象像素決定部102會決定不對像素p1進行濾波處理(步驟S407)。亦即，濾波對象像素決定部102決定像素p1為非濾波對象像素。

接著濾波對象像素決定部102會進行已算出之差分值之絕對值DIFe、以及藉由預先決定之方法所給予之臨界值THb的比較(步驟S408)。在此，當滿足步驟S408所示之條件時(步驟S408之肯定)，濾波對象像素決定部102會決定實施對像素q1之濾波處理(步驟S409)。亦即，濾波對象像素決定部102會決定像素q1為濾波對象像素。

另一方面，當未滿步驟S408所示之條件時(步驟S408之否定)，濾波對象像素決定部102會決定不對像素q1進行濾波處理(步驟S410)。亦即，濾波對象像素決定部102會決定像素q1為非濾波對象像素。

濾波對象像素決定部102藉由進行前述處理可決定是否分別對像素q1、像素q0、像素p0及像素p1實施濾波處理。

亦即，本實施形態之編碼失真去除裝置100，藉由進行前述處理，可判斷物體邊界在何處，且可進行不對對應物體邊界之像素進行濾波處理的判斷，而可防止物體邊界由於濾波處理成為模糊影像。

判斷此處是否為物體邊界者，於以下顯示第1實施形態及第2實施形態中記載之臨界值THa及THb之決定方法之一例。該臨界值在編碼及解碼雙方都使用同樣方法來決定。

由於編碼而產生之編碼失真主要起因係由於將差分訊號做量化處理。因此，當量化經度較粗糙時，編碼失真會變大，而量化經度較細緻時量化失真會變小。因此，臨界值THa及臨界值THb亦可使用例如顯示編碼及解碼所使用之量化精度的值QP(QP值越大量化精度越粗糙)，並藉由(第1式)來決定。又，設定使THa＜THb。

【數1】

THa=0.8‧(2^{(QP+OffsetA)/6}+1)　(第1式)

Thb=0.5‧(Qp+OffsetB)-7

在此，OffsetA及OffsetB係用以調整之值，而亦可依串流單位或圖框單位或片單位記述成代碼串。

又，使用(第1式)之臨界值決定方法係為一例。亦即，若存在有可決定臨界值而使量化步驟值或QP值越大臨界值越大的式子，不論用何種式子決定均可。又，將具有(第1式)中所得之值的表以編碼裝置及解碼裝置加以管理，並一面參照該表一面進行編碼失真去除處理亦可。又，例如將(第1式)中之”0.8”、”0.5”之部分表示為變數a、b，亦可將該變數a、b之值依串流單位或圖框單位或片單位記述成代碼串。

藉由前述可提高判斷區塊邊界之像素值之變化是為物體邊界之像素值變化還是編碼失真之像素值變化之判斷的精度。

接著，針對對於以前述所示之方法瘸定之濾波對象像素進行濾波處理的方法加以詳細說明。

如第1實施形態所示，若對例如第5(a)圖所示之原圖像的圖像訊號進行區塊單位之編碼處理，則會如第5(b)圖所示，於區塊內部平滑地連續變化，而僅於區塊邊界產生像素值不連續之區塊失真。在此，藉由進行濾波處理，可如第5(c)圖所示使於區塊邊界部修正使像素值連續，而減少起因於編碼之區塊失真。

在此分別令像素q1、像素q0、像素p0及像素p1之像素值為q1、q0、p0及p1。又，分別令對像素q1、像素q0、像素p0及像素p1濾波處理後之像素像素q’1、像素q’0、像素p’0及像素p’1為q’1、q’0、p’0及p’1。此情況下，濾波處理係根據(第2式)來進行。

【數2】

p’0=c_0,0‧p1+c_0,1‧p0+c_0,2‧q0+c_0,3‧q1(第2式)

p’1=c_1,0‧p2+c_1,1‧p2+c_1,2‧p0+c_1,3‧q0

q’0=c_0,0‧q1+c_0,1‧q0+c_0,2‧p0+c_0,3‧p1

q’1=c_1,0‧q2+c_1,1‧q1+c_1,2‧q0+c_1,3‧q1

c_0,0、c_0,1、c_0,2、c_0,3、c_1,0、c_1,1、c_1,2、c_1,3係濾波係數，例如顯示於(第3式)。

{c_0,0、c_0,1、c_0,2、c_0,3}={1/8,1/2,1/2,-1/8}

{c_0,0、c_0,1、c_0,2、c_0,3}={7/16,3/16,5/16,1/16}(第3式)

使用(第3式)之濾波係數之濾波處理會將第5(b)圖之訊號如第5(c)圖般平滑化。然而，針對濾波係數，並不限於(第3式)，例如亦可為如(第4式)之簡化濾波係數。

【數4】

{c_0,0、c_0,1、c_0,2、c_0,3}={1/4,1/4,1/4,1/4}

{c_0,0、c_0,1、c_0,2、c_0,3}={1/4,1/4,1/4,1/4}(第4式)

(第4式)之濾波係數之情況下，雖然有時會平滑程度會很強列而使包含於輸入圖像訊號之原本包含的資訊亦喪失，但可大幅削減用以濾波處理之處理量。

又，用於濾波處理之濾波係數，亦可預先於編碼側與解碼側絕定相同值(例如(第3式)之值)，並記錄於串流單位或圖框單位或片單位。又，亦可將複數種類(例如(第3式)、(第4式))之濾波係數一面適當切換一面進行處理。

像這樣之濾波係數切換亦可與濾波處理對象像素之決定相同，依存於量化精度。例如，當以較粗糙之量化精度進行編碼處理時，由於參考圖像MC之分割邊界之差分會較大，因此使用平滑程度較強列之濾波係數(例如(第4式))進行濾波處理。另一方面，當以較細緻之量化精度進行編碼時，為了不喪失原訊號之資訊而使用平滑程度較低之濾波係數(例如(第3式))來進行濾波處理。藉此，編碼失真去除裝置100可有效進行編碼失真去除而使畫質提高。

如同前述，本實施形態之編碼失真去除裝置100可藉由考慮編碼失真及物體邊界的濾波對象像素之決定、以及進行濾波處理來有效去除編碼失真。

然而，在此係針對濾波對象像素對區塊邊界之兩側分別2個像素之濾波處理來進行說明，但在對兩側分別3個像素進行濾波處理之情況下，藉由增加濾波係數同樣亦可能實現。

(實施形態3)

接著，針對本發明之第3實施形態加以說明。本實施形態中針對濾波對象像素決定方法之其他一例加以說明。又進一步，係針對本實施形態之編碼失真去除方法之效果，一面與習知方法(HM 0.9 software(http://hevc.kw.bbc.co.uk/trac/browser/tags/0.9))比較一面加以說明。然而以下，在不特定說明之情況下，決定處理由濾波對象像素決定部來進行，而濾波處理由濾波處理部來進行。

第9圖係顯示本發明之第3實施型態之垂直邊界部的圖。以下，分別將垂直邊界之左側像素之集合表示為「A」，右側像素之集合表示為「B」。又，對於水平邊界部，分別將水平邊界部之上側像素之集合表示為「A」，下側像素之集合表示為「B」。

在此，針對於各邊界部進行之決定處理及濾波處理於以下說明。

首先，計算是否滿足(第5式)之條件。

【數5】

|p2₂-2.p1₂+p0₂|+|q2₂-2‧q1₂+q0₂|+|p2₅-2‧p1₅+p0₅|+|q2₅-2‧q15+q05|＜β　(第5式)

又，將為(第5式)左邊第1部分之(第6式)之計算處理(決定處理)在垂直邊界的情況下表示為d_1,v，而在水平邊界之情況下表示為d_1,h。又，將為(第5式)左邊之第2部分之(第7式)之計算處理(決定處理)在垂直邊界的情況下表示為d_2,v，而在水平邊界之情況下表示為d_2,h。

【數6】

|p2₂-2‧p1₂+p0₂|+|q2₂-2‧q1₂+q0₂|　(第6式)

【數7】

|p2₅-2‧p1₅+p0₅|+|q2₅-2‧q1₅+q0₅|　(第7式)

在此，在(第5式)成立之情況下，決定於該邊界部進行濾波處理。而進一步在構成邊界部之8行(i=0～7)之各行中進行決定處理。該決定處理係用以決定是否使用所謂強濾波與弱濾波之其中任一種濾波來實施濾波處理。該決定處理係藉由計算(第8式)來進行。

【數8】

然而，當(第8式)成立之情況下，適用強濾波，而相反則適用弱濾波。又，將(第8式)之各行中之計算處理(決定處理)在垂直邊界之情況下表示為D_i,v，而在水平邊界之情況下表示為D_i,h。

在弱濾波與強濾波中，以下(第9式)所示之弱濾波之濾波處理，在大部分情況下會要求逐次處理。

【數9】

Δ=Clip(-t_c,t_c,(13‧(q0_i-p0_i)+4‧(q1_i-p1_i)-5‧(q2_i-p2_i)+16)＞＞5)

P1_i=Clip(0,225,p1_i+Δ/2)　(第9式)

又，將像這樣的濾波處理在垂直邊界之情況下表示為F_i,v，而在水平邊界之情況下表示為F_i,h。

接著，關於前述之決定處理及濾波處理(d_1,v、d_1,h、d_2,v、d_2,h、D_i,v、D_i,h、F_i,v及F_i,h)，針對關鍵路徑之逐次處理之數，將習知編碼失真去除方法之情況與本實施形態之編碼失真去除方法之情況一面進行比較一面加以說明。又，以下中令成為處理單位之區塊的尺寸為8×8像素來加以說明。

習知編碼失真去除方法之情況下，決定處理及濾波處理中，如以下之6個逐次步驟為必要者。

1、決定處理d₁、d₂及d_2,h之實施。

2、決定處理之D_i,v(i=1～8)之實施。

3、濾波處理F_i,v(i=1～8)之實施。

4、決定處理d_i,h之實施。

5、決定處理之D_i,h(i=1～8)之實施。

6、濾波處理F_i,h(i=1～8)之實施。

第10圖係用以說明習知編碼失真去除方法中6個逐次步驟的圖。第10圖中，右下之區塊為現行區塊，其他區塊為前區塊。在此，對於右下區塊與左下區塊之間之垂直邊界、及右下區塊與右上區塊間之水平邊界施行編碼失真去除處理。右，第10(a)～(f)之各圖中，虛線所包圍之領域係表示使用來實施個處理之像素。

在此針對決定處理或濾波處理內之逐次處理之數加以說明。

第11A圖係用以說明決定處理d_1,v內之除次處理之數的圖。如第11A圖所示，決定處理d_1,v係需要4個逐次處理。又，決定處理d_1,h、d_2,v、及d_2,h係亦需同樣地來實現。且進一步要求對相加處理d_1,v+d_2,v及β之比較處理之2個追加的逐次處理。

第11B圖係用以說明決定處理D_i,v內之除次處理之數的圖。如第11B圖所示決定處理D_i,v係由6個逐次處理來實現。而決定處理D_i,h亦同樣地來實現。

第11C圖係用以說明決定處理F_i,v內之除次處理之數的圖。如第11C圖所示濾波處理F_i,v係由10個逐次處理來實現。而決定處理F_i,h亦同樣地來實現。

第12圖係將習知編碼失真去除方法之各處理之依存關係以關鍵路徑之逐次處理之數來顯示的圖。具體而言，第12圖中係顯示複數之決定處理及複數之濾波處理間之依存關係。在此，藉由在必須之個處理中合計逐次處理之數，可知關鍵路徑中存在有合計44之逐次處理。

以上，如同使用第10～12圖所說明之，習知之編碼失真去除方法中，對垂直邊界之決定處理及濾波處理、與對水平邊界之決定處理及濾波處理存在有相互依存關係。由於其等之依存關係無法並行而實施之處理會增加。其結果，關鍵路徑中逐次處理之數會增加。亦即，習知之編碼失真去除方法中藉由處理之並列化來縮短處理時間是很困難的。

接著，針對本實施形態之編碼失真去除方法中，比起習知更可削減關鍵路徑之逐次處理之數者加以說明。

本實施形態之編碼失真去除方法中，係基於濾波處理前之圖像訊號來進行所有之決定處理d_1,v、d_1,h、d_2,v、d_2,h、D_i,v及D_i,h。藉此，關鍵路徑之逐次處理增大可消解依存關係。

具體而言，本實施形態之編碼失真去除方法的情況下，決定處理及濾波處理僅需要如同以下之4個逐次步驟。

1、決定處理d_1,v、d_1,h、d_2,v及d_2,h之實施。

2、決定處理之D_i,v(i=1～8)及D_i,h(i=1～8)之實施。

3、濾波處理F_i,v(i=1～8)及F_i,h(i=1～4)之實施。

4、濾波處理F_i,h(i=5～8)之實施。

第13圖係用以說明本發明第3實施形態之編碼失真去除方法之4個逐次步驟的圖。如同第13圖所示，所有之處理d_1,v、d_1,h、d_2,v、d_2,h、D_i,v、D_i,h、F_i,v及F_i,h係基於濾波處理前之訊號進行。因此，消解決定處理d_1,v、d_1,h、d_2,v及d_2,h、間之依存關係與D_i,v及D_i,h間之依存關係，會增加可並行進行之處理。

第14圖係將本發明之第3實施形態之編碼失真去除方法之個處理依存關係以關鍵路徑之逐次處理之數來顯示。如第14圖所示，本發明之實施形態之編碼失真去除方法中，關鍵路徑之逐次處理之數由習知之44到大約32約減少30%。

(第4實施形態)

接著針對本發明之第4實施形態加以說明。

前述之第1～3實施形態中，使用包含於現行區塊中之像素之濾波處理前的像素值來針對決定濾波處理對象像素之編碼失真去除裝置加以說明。本實施形態係針對編碼失真去除裝置加以說明，該編碼失真去除裝置係針對包含在鄰接於現行區塊之處理完畢區塊的像素亦使用濾波處理前之像素值來決定濾波處理對象像素。

在此，針對本發明之編碼失真去除裝置加以說明前，先針對以階層化之處理單位(多階層區塊構造)加以說明。

首先，針對在JCT-VC(Joint Collaborative Team on Video Coding)下已檢討之圖像訊號規格加以說明。所謂JCT-VC係ITU-T(國際電性通訊聯合電性通訊標準化部門：International Telecommunication Union-Telecommunication Stadardization Sector)與MPEG(Moving Picture Experts Group)之共同團隊。

JCT-VC中，來自各公司所提案之工具中，於圖像編碼規格採用可能性高之技術的技術群係稱為TMuC(Test Model Under Consideration)。像這樣之技術群之文件及軟體係持續保持來做為TMuC。

做為該TMuC之基本技術之一係具有已階層化之處理單位(多階層區塊構造)之技術。處理單位係分割為複數微小之處理單位，並經階層化使該微小之處理單位更進一步分割為複數更小之處理單位。又，處理單位越小，處理單位所存在之階層越深、越下位且顯示該階層之值會越大。相反的，處理單位越大，處理單位所存在之階層越淺、越上位且顯示該階層之值會越小。

第15圖係用以說明分層處理單位(多層區塊構造)的圖。於處理單位包含有CU(編碼單位：Coding Unit)、PU(預測單位：Prediction Unit)及TU(轉換單位：Transform Unit)。圖片會被分割為複數片，而1個片包含有一組LCU(最大編碼單位：Largest Coding Unit)。

LCU係於片內所允許之最大尺寸之CU。LCU包含有各種尺寸(例如16×16像素、32×32像素及64×64像素等)。LCU之位置係藉由最大編碼單位位址「lcuaddr」來特定。

CU係包含有各種尺寸(例如8×8像素及16×16像素等)且相當於習知之巨區塊之單位。CU會遞迴地分割為4個CU。CU之位置係藉由顯示與位於LCU左上之像素相對之位置關係的編碼單位索引「cuIdx」來特定。

PU係畫面間預測處理的基本單位。PU之尺寸係與CU之尺寸同樣或較小之尺寸。PU之位置係藉由顯示與位於CU之左上之像素相對之位置關係的預測單位索引「puIdx」來特定。

又，PU具有複數之區間。可令該區間為預先決定之任意形狀(例如16×16像素、16×8像素及8×16像素等)。區間之位置係藉由預先顯示區間之形狀的模式資訊「partMode(PUType)」來特定。

TU係正交轉換處理及量化處理之基本單位。TU之尺寸係與PU相同尺寸、或較PU小一階層之尺寸。TU之位置係藉由顯示與位於PU之左上之像素相對之位置關係的轉換單位索引「tuIdx」來特定。

第16A圖係顯示LCU處理順序之一例的圖。又，第16B圖係顯示LCU內CU處理順序之一例的圖。在第16A圖及第16B圖中，記載於處理單位內之數字係顯示處理順序。在如該處理順序中處理各單元時，會於CU、PU或TU之垂直邊界及水平邊界實施編碼失真去除處理。

第16C圖係顯示編碼失真去除處理所施行之處理邊界之一例的圖。第16C圖顯示對應於包含於CU之4個TU之各個處理邊界的4個垂直邊界v1～v4與4個水平邊界h1～h4。

對垂直邊界之編碼失真去除處理係由上至下，接著左至右依序處理。又，對水平邊界之編碼失真去除處理係由左至右，接著由上至下依序處理。

根據以上已階層化之處理單位來說明本實施形態之編碼失真去除裝置。

編碼失真去除裝置700係去除各自為圖像訊號處理邊界且互相不同方向之處理邊界的第1處理邊界及第2處理邊界的編碼失真。如第17圖所示，編碼失真去除裝置700係包含濾波對象像素決定部701、記錄控制部702及濾波處理部703。

又，本實施形態中，圖像訊號係根據藉由第1處理單位、及分割該第1處理單位所得之第2處理單位來編碼之圖像訊號。第1處理單位係例如LCU，第2處理單位係例如CU。

濾波對象像素決定部701係根據於每個第2處理單位、及鄰接該第2處理單位之處理邊界之鄰接像素的像素值來決定對該處理邊界之濾波對象像素。此時，濾波對象像素決定部701會由記錄部710讀取鄰接像素中包含於處理完畢之第2處理單位的像素的像素值。又，於記錄部710記錄濾波處理前之像素值。亦即，濾波對象像素決定部701會針對包含於處理中之第2處理單位的鄰接像素、及包含於處理完畢之第2處理單位的鄰接像素兩者，根據濾波處理前之像素值進行濾波對象像素決定。

記錄控制部702係控制由記錄部710之資料之讀出與朝記錄部710之資料之寫入。本實施形態中，記錄控制部702當現行之第2處理單位、及下個第2處理單位相互包含不同之第1處理單位時，會在濾波對象像素之決定進行後決定可將記錄於記錄部710之像素值消除。又，第2處理單位係藉由分割第1處理單位所得到之處理單位。

濾波處理部703係對藉由濾波像素決定部701所決定之濾波對象像素進行濾波處理。

接著，針對如同前述所構成之編碼失真去除裝置700之各種動作加以說明。以下中，以第1處理單位為LCU，第2處理單位為CU之情況為一個例子加以說明。又，本實施形態之編碼失真去除方法不必要一定要為前述所述之處理單位，例如亦可第1處理單位為CU，第2處理單位為TU。

第18圖係顯示本發明之第4實施形態之編碼失真去除裝置之動作的流程圖。該流程圖反覆實施於每個CU。又，開始前包含於現行及之前之區塊之像素的像素值會記錄於記錄部710。

首先，濾波對象像素決定部701係對垂直邊界及水平邊界決定濾波對象像素(步驟S701)。此時，濾波對係像素決定部701會根據記錄於記錄部710之濾波處理前之鄰接像素之像素值來決定濾波對象像素。

接著，記錄控制部702會判斷現行之CU與下個CU使否包含於同一個LCU(步驟S702)。亦即，記錄控制部702會判斷下個CU是否在現行之LCU內。

在此，當現行之CU與下個CU包含於不同LCU之情況下(步驟S702之否定)，記錄控制部702會決定可消除記錄於記錄部710之濾波處理前之像素值(步驟S703)。另一方面，當現行之CU與下個CU包含於同個CU之情況下(步驟S702之肯定)，記錄控制部702會依原樣保持記錄於記錄部710之濾波處理前之像素值。

接著，濾波處理部703會對已決定之濾波對象像素進行濾波處理(步驟S705)。又，濾波處理亦可於步驟S702之前實施。

在此一面參考第16B圖與第19圖一面進一步詳細說明編碼失真去除方法。

第19圖係用以說明本發明之第4實施形態之編碼失真去除方法的圖。第19圖中，顯示對各CU進行個處理之時序。

例如，對第4號之CU進行逆轉換處理後，濾波對象像素決定部701會決定第1號CU與第4號CU間之垂直邊界的濾波對象像素，並決定第2號CU與第4號CU間之水平邊界的濾波對象像素。

接著，記錄控制部702會將對第1號CU與第4號CU間之垂直邊界決定為濾波對象像素的像素A(第16B圖)之像素值亦即濾波處理前之像素值儲存於記錄部710。

又，記錄控制部702會將對第4號C與第5號CU間之垂直邊界決定為濾波對象像素的像素C(第16B圖)之像素值亦即濾波處理前之像素值儲存於記錄部710。

濾波對象像素決定部701係根據像這樣儲存於記錄部710之像素A及像素C之像素值來決定第4號及第5號CU與第16號CU間之水平邊界之濾波對象像素。

接著，記錄控制部702由於現行之CU(第16號之CU)與下個CU包含於不同LCU，因此決定可消除包含於前個CU(第4號及第5號CU)之像素A及像素C之像素值。

如同前述，若藉由本實施形態之編碼失真去除裝置700，即使對於包含於處理完畢之處理單位的鄰接像素，亦可使用濾波處理前之像素值來決定濾波對象像素。藉此，可進一步實現損及圖像訊號之畫質之可能性較小的編碼失真去除處理。

又，若藉由本實施形態之編碼失真去除裝置700，在切換為包含有處理中之第2處理單位的第1處理單位時，會決定可消除記錄於記錄部710且包含於處理完畢之第2處理單位之像素之濾波處理前的像素值。在此，若使第1處理單位為較小之處理單位，則可使用以記錄濾波處理前之像素值的記錄容量縮小。另一方面，若使第1處理單位為較大之處理單位，則可實現損及圖像訊號之畫質之可能性更小之編碼失真去除處理。

例如，第1處理單位為圖片之情況下，至對應第16A圖之第10號LCU之水平邊界的濾波對象像素決定為止，會將第5號之LCU之濾波處理前之像素值記錄於記錄部。亦即，由於至少圖片之1行分之濾波處理前之像素值必須記錄於記錄部，因此雖然記錄部之記錄容量增大，但損及圖像訊號之畫質之可能性會變得較少。

另一方面，當第1處理單位為LCU之情況下，就包含於第5號LCU之像素之像素值可使用濾波處理後之像素值來決定對應第10號LCU之水平邊界的濾波對象像素。亦即，雖然記錄部之記錄容量縮減，但損及圖像訊號之畫質之可能性會提高。

(第5實施形態)

本實施形態中係針對可實現在第1～4實施形態之任一者中所顯示之編碼失真去除方法的編碼裝置來加以說明。

第20A圖係顯示本發明之第5實施形態之編碼裝置的方塊圖。如第20A圖所示編碼裝置800包含有差分部801、轉換‧量化部802、逆量化‧逆轉換部803、加法部804、編碼失真去除部805、參考圖片用記憶體806、畫面內預測部807、動態補償預測部808、動態檢出部809、開關810、可變長度編碼部811。參考圖片用記憶體806亦可以連接於編碼裝置800之外部記憶體之形式構成。

轉換‧量化部802係編碼部之一個例子。又，逆量化‧逆轉換部803及加法部804係重組態部之一例。

輸入圖像係輸入至編碼裝置800。而於參考圖片用記憶體806，係已積蓄了編碼完畢圖像之解碼圖像，且其係作為編碼輸入圖像時之參考圖片來使用者。

差分部801係取以後述之方法生成之預測圖像PR與輸入影像的差分，並將算出之差分圖像對轉換‧量化部802輸出。轉換‧量化部802會對輸入之差分圖像實施轉換‧量化處理，並將量化訊號QD對逆量化‧逆轉換部803及可邊長度編碼部811輸出。逆量化‧逆轉換部803會對輸入之訊號QD實施逆量化‧逆轉換處理，並對加法部804輸出。加法部804會將由逆量化‧逆轉換部取得之訊號與預測圖像PR相加，並對編碼失真去除部805進行輸出。

在此，編碼失真去除部805係動作為第1～4實施形態之任一者中所說明之編碼失真去除裝置。

編碼失真去除部805會對輸入之訊號實施編碼失真去除處理，並對參考圖片用記憶體806輸出來做為編碼完成圖像之解碼圖像。

預測圖像PR之生成大致分為動態補償預測與畫面內預測，而藉由開關810進行切換。

針對藉由畫面內預測生成預測圖像PR之情況加以說明。畫面內預測部807係由參考用圖片記憶體806取得參考圖片，並由已取得之參考圖片藉由預先決定之方法(例如將鄰接像素朝水平或垂直方像拉伸)來生成畫面內預測圖像輸出至開關810之「a」。當由開關810選擇「a」之情況下，畫面內預測圖像會做為參考圖像PR使用於編碼。

針對藉由動態補償預測來生成預測圖像PR之情況加以說明。動態檢出部809會將對應於成為輸入圖像之編碼對象之區塊的領域，藉由參考圖片來檢出，並將顯示位置之動態資訊MV對動態補償預測部808及可變長度編碼部811輸出。又，檢出方法可使用輸入圖像、參考圖片內之檢出對象圖像之差分和與動態資訊MV的加權總和等，此情況下，只要取預先決定之參考圖片內之領域(例如水平32像素、垂直16像素內)中最小之值的動態資訊MV來輸出即可。

動態補償預測部808係將以取得之動態資訊MV所顯示之參考圖片內之畫像取出，並做為動態補償預測圖像輸出至開關810「b」。

開關810係以預先決定之方法切換於預測圖像PR要使用畫面內預測圖像還是動態補償預測圖像。例如，比較輸入圖像與畫面內預測圖像之差分和、以及輸入圖像與動態補償預測圖像之差分和，並將差分和較小者做為預測圖像PR來使用亦可。預測圖像PR之生成方法之資訊作為預測圖像生成資訊CI輸出至可變長度編碼部811。

可變長度編碼部811係對量化訊號QD、動態資訊MV及預測圖像生成資訊CI實施可變長度編碼處理，並做為代碼串BS加以輸出。

藉由像這樣之構成，可在圖像編碼裝置中實現於第1實施形態所說明之編碼失真方法。藉此，可生成編碼失真較小之參考圖像，並可縮小差分訊號而減少碼量。

(第6實施形態)

本實施形態係針對可實現第1～4實施形態之任一者所顯示之編碼失真去除方法的解碼裝置加以說明。

第20B圖係顯示本發明之第6實施形態之解碼裝置的方塊圖。如第20B圖所示，解碼裝置900包含有可變長度解碼部901、逆量化‧逆轉換部902、加法部903、編碼失真去除部904、參考圖片用記憶體905、畫面內預測部906、動態補償預測部907、開關908。參考圖片用記憶體905亦可由連接至解碼裝置900之外部記憶體之形式構成。可變長度解碼部901及逆量化‧逆轉換部902係解碼部之一個例子。

在此，於參考圖片用記憶體905，係已蓄積了解碼完畢之圖像，而其係作為解碼輸入圖像時之參考圖片來使用者。

代碼串BS輸入至解碼裝置900。可變長度解碼部901會將代碼串BS可變長度解碼而取得預測圖像生成資訊CI、動態資訊MV及量化訊號QD，並分別將其等對開關908、動態補償預測部907及逆量化‧逆轉換部902輸出。逆量化‧逆轉換部902係對量化訊號QD實施逆量化‧逆轉換處理並將其作為差分訊號對加法部903進行輸出。加法部903會將差分訊號與後述之預測圖像PR相加並對編碼失真去除部904加以輸出。

在此，編碼失真去除部904係動作為於第1～4實施形態之任一者所說明之編碼失真去除裝置。

在此，編碼失真去除部904係對已輸入之訊號實施編碼失真去除處理，並作為已解碼完畢之圖像輸出至參考圖片用記憶體905。

又，針對預測圖像PR之生成方法，係根據預測圖像生成資訊CI，並與第2實施形態所顯示之編碼裝置相同，基於由參考圖片用記憶體905取得之參考圖片來由畫面內預測部906、或者動態資訊MV與動態補償預測部907來生成。

藉由此構成，可於圖像解碼裝置實現第1實施形態中所說明之編碼失真去除方法。藉此，可正確地解碼編碼裝置中已實施編碼失真去除方法之代碼串。

又，對於未實施第1實施形態所說明之編碼失真去除方法之代碼串，藉由將第20B圖所示之解碼裝置之構成變形可實現對解碼圖像之編碼失真去除方法。

該構成使第20B圖之加法部903之輸出值不朝編碼失真去除部904，而朝參考圖片用記憶體905輸出。一方面，編碼失真去除部不對參考圖片用記憶體905進行輸出，而僅僅做為解碼圖像而輸出之構成，其動作與前述相同。

藉由如此之構成，由於以編碼失真去除部904處理之圖像不用做參考圖片，因此可生成與編碼裝置同樣之參考圖像PR，而可正確地將代碼串解碼，且由於可進一步對輸出圖像(解碼圖像)硬用解碼失真去除方法，而可減少編碼失真。

已上基於第1～6實施形態說明編碼失真去除方法，但本發明之一形態之編碼失真去除方法，並非限定為該等實施形態者。例如，本發明之一形態之編碼失真去除方法亦可為包含如第20C圖所示之個步驟的方法。

第20C圖係顯示本發明之一實施形態之編碼失真去除方法的流程圖。第20C圖中首先係根據至少鄰接第1處理邊界之第1鄰接像素之像素質來決定成為對應於第1處理邊界之編碼失真去除處理之對象的第1對象像素(S11)。接著，根據至少鄰接於第2處理邊界之第2鄰接像素之像素值來決定成為對應於第2處理邊界之編碼失真去除處理之對象的第2對象像素(步驟S12)。

接著，對已決定之第1對象像素進行編碼失真去除處理(步驟S13)。接下來，對已決定之第2對象像素進行編碼失真去除處理(步驟S14)。

又，本發明亦可做為包含有可實施包含於第20C圖所示之編碼失真去除方法之各步驟之處理的處理部。

(第7實施形態)

將前述各實施形態所示之用以實現動態圖像編碼方法或動態圖像解碼方法之構成的程式記錄於記錄媒體，藉此可於獨立前述各實施形態所示之處理的電腦系統中簡單地實施。記錄媒體可為磁碟、光碟、光磁碟、IC卡、半導體記憶體等只要可記錄程式者即可。

又在此，說明前述各實施形態所顯示之動態圖像編碼方法或動態圖像解碼方法之應用例及使用其之系統。

第21圖係實現內容配送服務的內容供給系統ex100之全體構成圖。將通訊服務之提供區域分割為希望之大小，並在各胞域內設置為分別之固定無線電台之基地台ex106、ex107、ex108、ex109、ex110。

該內容供給系統ex100係於網路ex101透過網路服務供給者ex102、電話網路ex104及基地台ex106～110來連接電腦ex111、PDA(Personal Digital Assistant)ex112、相機ex113、行動電話ex114及遊戲機ex115等。

但，內容供給系統ex100不限於如第21圖之構成，而亦可組合連接任何要素。又，亦可不透過為固定無限電台之基地台ex106～110而於電話網路ex104直接連接各機器。又，各機器亦可透過進距離無線等直接互相地連接。

相機ex113係數位攝影相機等可進行動態圖像攝影之機器，相機ex116係數位相機等可進行進態圖像攝影、動態圖像攝影之機器。又，行動電話ex114係GSM(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或者LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)之行動電話機或PHS(Personal Handyphone System)等，任何一種皆可。

內容供給系統ex100中，相機ex113等通過基地台ex119、電話網路ex104連接至串流伺服器ex103，藉此變成可進行即時配送等。即時配送中，係對使用者使用相機ex113攝影之內容(例如音樂即時影像等)如同前述各實施形態所說明來進行編碼處理，並傳送至串流伺服器ex103。另一方面，串流伺服器103會對有要求之客戶端將已傳送之內容資料串流配送。客戶端為可將前述經編碼處理之資料解碼之電腦ex111、PDAex112、相機ex113、行動電話ex114或遊戲機ex115等。而接收已配送之資料的各機器中，可將已接收之資料解碼處理並再生。

又，已攝影之資料之編碼處理可由相機ex113進行，可由進行資料傳送處理之串流伺服器ex103來進行，亦可相互分担進行。同樣地，已配送之資料之解碼處理可由客戶端進行，可由串流伺服器ex103進行，亦可相互分担進行。又，不限於相機ex113，亦可將以相機ex116所攝影之靜態圖像及/或動態圖像，透過電腦ex111傳送至串流伺服器ex103。該情況之編碼處理可由相機ex116、電腦ex111、串流伺服器ex103中任一者進行，亦可互相分担進行。

又，該等編碼‧解碼之處理，一般而言係於電腦ex111或具有各機器之LSIex500中進行處理。LSIex500可由一晶片或由複數晶片構成。又，亦可將動態圖像編碼‧解碼用之軟體組裝至可以電腦ex111等讀取之任何記錄媒體(CD-ROM、軟碟、硬碟等)，並使用該軟體進行編碼‧解碼處理。又，當行動電話ex114附帶有相機之情況下，將以該相機所照得之動態圖像資料傳送亦可。此時之動態資料係由行動電話ex114具有之LSIex500所編碼處理之資料。

又，串流伺服器ex113為複數伺服器或複數電腦，而亦可為將資料或分散處理或記錄並配送者。

依前述而為，內容供給系統ex100可將已編碼之資料由客戶端接受並再生。如此內容供給系統ex100中，可將使用者所傳送之資訊由客戶端接收並解碼再生，使沒有特別權利或設備之使用者亦可實現個人廣播。

又，不限於內容供給系統ex100之例子，如第22圖所示，數位廣播用系統ex200亦可組裝入前述各實施形態之至少動態圖像編碼裝置或動態圖像解碼裝置之其中一者。具體而言，廣播電台ex201係於影像資料將音樂資料等已多工之多工資料透過電波傳送至通訊或衛星ex202。該影像資料係藉由前述各實施形態中所說明之動態圖像編碼方法所編碼之資料。接收其之廣播衛星ex202係傳送廣撥用之電波並由可衛星廣播接收該電波之家庭之天線ex204來接收。經接收之多工資料會由電視(接收器)ex300或機上盒(set-top-box STB)ex217等裝置解碼並再生。

又，於讀取/記錄器ex218亦可安裝前述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。而該讀取/記錄器ex218將DVD、BD等之記錄於記錄媒體ex215之多工資料讀取並解碼、或者於記錄媒體ex215將影像訊號編碼，並進一步依照情況多工為音樂訊號並加以寫入者。該情況下可將經再生之影像訊號顯示於螢幕ex219，並可藉由多工資料所記錄之記錄媒體ex215於其他裝置或系統再生影像訊號。又，於連接有線電視用之纜線ex203或衛星/地面波廣播之天線ex204的機上盒ex217內安裝動態圖像解碼裝置，並將其顯示於電視之螢幕ex219亦可。此時亦可不於機上盒而於電視內組裝動態圖像解碼裝置。

第23圖係顯示使用前述各實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之電視(接收器)ex300之圖。電視ex300包含有：諧調器ex301，係透過接收前述廣播之天線ex204或纜線ex203等來取得或輸出於影像資料中經多工之聲音訊號之多工資料者；調變/解調部ex302，係將已接收之多工資料解調，或將傳送至外部之多工資料調變者；及多工/分離部ex303，係將解調之多工資料分離為影像資料及聲音資料，或者將以訊號處理部ex306編碼之影像資料、聲音資料進行多工者。

又，電視ex300包含有：訊號處理部ex306，係具有分別解碼聲音資料、影像資料、或者編碼其各別之資訊的聲音訊號處理部ex304、影像訊號處理部ex305；及輸出部ex309，係包含有輸出經解碼之聲音訊號之喇叭ex307、及具有顯示經解碼之影像訊號之顯示器等的顯示部ex308。又，電視ex300具有包含操作輸入部ex312等之介面部ex317，且該操作輸入部ex312可接受使用者操作之輸入。又，電視ex300亦可包含有統籌各部進行控制之控制部ex317、及朝各部供給電力之電源電路部ex311。介面部ex317除了操作輸入部ex312以外，亦可包含：槽部ex314，係包含可用以安裝與讀取/記錄器ex218等外部機器連接之橋接器ex313、SD卡等記錄媒體ex216；驅動器ex315，係與硬碟等外部記錄媒體連接；及數據機ex316，係與電話網路連接者。又，記錄媒體ex216係藉由儲存之非依電性/依電性半導體元件而可電性地記錄資訊者。電視ex300之各部係透過同步匯流排連接。

首先，針對電視ex300藉由天線ex204等將由外部所取得之多工資料解碼並再生之構成加以說明。電視ex300會由遙控器ex220等接受使用者操作，並根據具有CPU等之控制部ex310之控制來將以調變/解調部ex302解調之多工資料於多工/分離部ex303分離。又電視ex300係將已分離之聲音資料於聲音訊號處理部ex304解碼，並將已分離之影像訊號於影像訊號處理部ex305利用前述各實施形態所說明之解碼方法來進行解碼。經解碼之聲音訊號、影像訊號係分別由輸出部ex309朝外部輸出。輸出時，亦可於緩衝器ex318、ex319等暫時蓄積該等訊號而使聲音訊號與影像訊號可同步再生。又，電視ex300亦可不由廣播而由磁/光碟、SD卡等記錄媒體ex215、ex216讀取多工資料。接著，就電視ex300編碼聲音訊號或影像訊號並傳送至外部或寫入記錄媒體之構成加以說明。電視ex300係由遙控器ex220等接受使用者操作並根據控制不ex310之控制，於聲音訊號處理部ex304編碼聲音訊號，而於影像訊號處理部ex305使用前述各實施形態所說明之編碼方法來編碼影像訊號。經編碼之聲音訊號、影像訊號會由多工/分離部ex303多工並輸出至外部。多工時，亦可於緩衝器ex320、ex321等暫時蓄積該等訊號而使聲音訊號與影像訊號可同步再生。又，緩衝器ex318、ex319、ex320、ex321可如圖所示具有複數個，一可為共有1個以上之緩衝器之構成。又，除了圖中所示以外例如調變/解調部ex302或多工/分離部ex303間等亦可將資料蓄積於作為避免系統溢流及欠流之緩衝材的緩衝器。

又，電視ex300除了由廣播等或記錄媒體等取得聲音資料、影像資料以外，亦可具有接收麥克風或相機AV輸入之構成，並對由其等取得之資料進行編碼處理。又，於此，電視ex300係就可進行前述之編碼處理、多工及外部輸出之構成加以說明，但亦可為無法進行該等處理而僅可進行前述接收、解碼處理及外部輸出者。

又，於讀取/記錄器ex218由記錄媒體讀取或寫入多工資料時，前述編碼處理或解碼處理可由電視ex300、讀取/記錄器ex218之其中任一者來進行，亦可由電視ex300及讀取/記錄器ex218相互分擔進行。

舉出其中一例，將由光碟進行資料讀取或寫入之情況下之資訊再生/記錄部ex400之構成顯示於第24圖。資訊再生/記錄部ex400包含有於以下說明之要素ex401、ex402、ex403、ex404、ex405、ex406、ex407。光頭ex401係於為光碟之記錄媒體ex215之記錄面照測雷射點而寫入資訊，並檢出來自記錄媒體ex215之記錄面之反射光進而讀取資訊。調變記錄部ex402會電性驅動內藏於光頭ex401之半導體雷射並根據記錄資料進行雷射光之調變。再生解調部ex403係將藉由內藏於光頭ex401之光檢測器電性檢測來自記錄面之反射光的再生訊號放大，並分離解調記錄於記錄媒體ex215之訊號成分而再生必要之資訊。緩衝器ex404係將用於記錄於記錄媒體ex215之資訊及由記錄媒體ex215再生之資訊暫時保持。光碟馬達ex405會旋轉記錄媒體ex215。伺服控制部ex406係一面控制光碟馬達ex405之旋轉驅動一面將光頭ex401一定至預定之資訊軌，並進行雷射點之追蹤處理。系統控制部ex407係進行資訊再生/記錄部ex400隻全體控制。前述之圖取或寫入之處理係由系統控制部ex407利用保持於緩衝器ex404之各種資訊再因應需要進行新資訊之追加、生成，並一面使調變記錄部ex402、再生解調部ex403即雷射控制部ex406協調動作，一面通過光頭ex401藉由進行資訊之記錄再生來實現。系統控制部ex407係以例如微處理器所構成，而藉由實行讀取寫入之程式來實施該等處理。

以上，光頭ex401係以照射雷射點來加以說明，但亦可為利用近場光進行更高密度記錄之構成。

第25圖係顯示為光碟之記錄媒體ex215之示意圖。於記錄媒體ex215之記錄面導引溝(凹槽)形成為螺旋狀，而於資訊軌ex203記錄有預先根據凹槽之形狀變化顯示碟上之絕對位置的位址資訊。該位址資訊包含為記錄資料之單位之用以特定記錄區塊ex231之位置的資訊，而可於進行記錄或再生之裝置藉由再生資訊軌ex203並讀取位址資訊來特定記錄區塊。又，記錄媒體ex215包含有資料記錄領域ex233、內周領域ex232、外周領域ex234。用於記錄使用者資料之領域係資料記錄領域ex233，而配置於較資料記錄領域ex233內周或外周之內周領域ex232與外周領域ex234係用於記錄使用者資料以外之特定用途。資訊再生/記錄部ex400對於這樣之記錄媒體ex215之資料記錄領域ex233，進行讀取經編碼之聲音資料、影像資料或該等資料經多工之多工資料。

以上係舉1層之DVD、BD等光碟為例子進行說明，但並不限於此，亦可為多層構造即表面以外亦可記錄之光碟。又，於碟之同個地方使用各種不同波長之色光記錄資訊或由各種角度記錄部同資訊層等進行多次元記錄再生之構造光碟亦可。

又，於數位廣播用系統ex200中，亦可在具有天線ex205之車ex210接收由衛星202等之資料，並於車ex210所具有之位星導航ex211等顯示裝置再生動態圖像。又，衛星導航ex211之構成可想成係例如第23圖所示之構成中，加上GPS接收部之構成，同樣之構成亦可想成電腦ex111或行動電話ex114等。

第26(a)圖係顯示使用前述實施形態所說明之動態圖像解碼方法或動態圖像編碼方法之行動電話ex114的圖。行動電話ex114係包含用以於基地台ex110間傳送接收電波之天線ex350、可拍攝影像及靜止圖像之相機部ex365、顯示相機ex365所拍攝之影像及以天線ex350所接收之影像等經解碼之資料的液晶顯示器等之顯示部ex358。行動電話ex114更包含具有：操作鍵部ex366之本體部；為用以輸出聲音之喇叭等之聲音輸出部ex357；用以輸入聲音之麥克風等聲音輸入部ex356；可保存以攝影之影像、靜止圖像、經錄音之聲音或接收之影像、靜止圖像、電郵等經編碼之資料或者經解碼之資料的保存部ex367；及為同樣為保存資料之記錄媒體之介面部的槽部ex364。

又針對行動電話ex114之構成例子使用第26(b)圖加以說明。行動電話ex114係對總括地控制具有顯示部ex358及操作鍵部ex366之本體部之各部的主控制部ex360透過匯流排ex370連接電源電錄部ex361、操作輸入控制部ex362、影像訊號處理部ex355、相機介面部ex363、LCD(Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/分離部ex353、聲音訊號處理部ex354、槽部ex364及記憶體部ex367。

電源電路部ex361當由於使用者操作而開啟終止通話及電源鍵時，藉由從電池組對各部供給電力而將行動電話ex114啟動為可動作之狀態。

行動電話ex114係基於具有CPU、ROM、RAM等之主控制部ex360之控制來於聲音訊號處理部ex354將聲音通話模式時由聲音輸入部ex356接收之聲音訊號轉換為數位聲音訊號，將其藉由調變/解調部ex352頻譜放大處理，並再藉由傳送/接收部ex351實施數位類比轉換處理及頻率轉換處理後透過天線ex350進行傳送。行動電話ex114係於聲音通話模式時放大透過天線ex350接收之接收資料並實施頻率轉換處理及類比數位轉換處理，由調變/解調部ex352進行頻譜放大處理，並以聲音訊號處理部ex354轉換為類比聲音訊號後將其由聲音輸入部ex356輸出。

又於資料通訊模式時傳送電子郵件之情況中，藉由本體部之操作鍵部ex366等之操作所輸入之電子郵件之文字資料會透過操作輸入控制部ex362送出至主控制部ex360。主控制部ex360會將文字資料以調變/解調部ex352進行頻譜放大處理，並於傳送/接收部ex351實施數為類比轉換處理及頻率轉換處理後透過天線ex350傳送至基地台ex110。當接受電子郵件之情況下，對接收之資料進行幾乎逆向之處理而輸出至顯示部ex358。

資料通訊模式時傳送影像、靜態圖像或影像與聲音的情況中，影像訊號ex355會將由相機ex365所供給之影像訊號以前述各實施形態所示之動態圖像編碼方法來壓縮編碼，並將經編碼之影像資料送出至多工/分離部ex353。又，聲音訊號處理部ex354會將以相機部ex365攝影影像、靜態圖像中由聲音輸入部ex365所收音之聲音訊號編碼，並將已編碼之聲音資料送出至多工/分離部ex353。

多工/分離部ex535係將由影像訊號處理部ex355所供給之已編碼之影像訊號、及由聲音訊號處理部ex354所供給之已編碼之聲音訊號以特定方式進行多工，將其結果所得之多工資料以調變/解調部ex352進行頻譜放大處理，並於傳送/接收部ex351實施數位類比轉換處理及頻率轉換處理後透過天線ex350傳送。

接收於資料通訊模式時連接至首頁等之動態圖像檔之資料的情況下，或者接收到添附有影像或聲音之電子郵件之時，為了將透過天線ex350所接收之多工資料解碼，多工/分離部ex535係將多工資料藉由分離來分為影像資料之位元串流與聲音資料之位元串流，並一面透過同步匯流排ex370將已編碼之影像資料供給至影像訊號處理部ex355，一面將已編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355係藉由對應於前述各實施形態所顯示之動態圖像編碼方法之動態圖像解碼方法來解碼，藉此解碼影像，並透過LCD控制部ex359由顯示部ex358顯示包含於連結首頁之動態圖像檔的影像、靜態圖像。又聲音訊號處理部ex354會解碼聲音訊號並由聲音輸出部ex357輸出聲音。

又，前述行動電話ex114等終端，係如電視ex300同樣地，可為具有編碼器、解碼器兩者之傳送接受終端以外，亦可為僅有編碼器之傳送終端、或僅有解碼器之接收終端這樣的3種安裝形式。又，在數位廣播用系統ex200中，就於影像資料接收、傳送音樂資料等經多工之多工資料加以說明，但亦可為聲音資料以外關聯於影像之文字資料等經多工之資料，或亦可不為多工資料而為影像資料本身。

如此，可將前述各實施形態所顯示之動態圖像編碼方法或動態圖像解碼方法使用於前述任一機器或系統，藉此，可得到前述各實施形態所說明之效果。

又，本發明不限於前述實施形態所限定者，而可在不偏離本發明範圍之情況下進行各種變形或修正。

(第8實施形態)

亦可將前述各實施形態顯示之動態圖像編碼方法或裝置、及遵循MPEG-2、MPEG-4、VC-1等不同規格之動態圖像編碼方法或裝置因應需求適當切換，藉此生成影像資料。

在此，生成分別遵循不同規格之複數影像資料時，在解碼時，必須對應各別之規格來選擇解碼方法。惟，解碼影像資料由於無法識別應該遵循何種規格而會產生無法適當選擇解碼方法之課題。

為求解決該課題，令於影像資料多工聲音資料等多工資料為包含影像資料該遵循何種規格之識別資訊的構成。於以下說明藉由前述各實施形態所顯示之動態圖像編碼方法或裝置所生成之影像資料所包含之多工資料之具體構成。多工資料係MPEG-2傳輸串流形式之數位串流。

第27圖係顯示多工資料之構成的圖。如第27圖所示多工資料係將視訊串流、音訊串流、演示圖形串流(PG)及交互圖形串流中多工一個以上而得者。視訊串流係顯示電影之主影像及副影像，音訊串流(IG)係顯示電影之主聲音部分與混合至該主聲音之副聲音，演示圖形串流係顯示電影隻字幕。在此，主影像係顯示表示於畫面之經常影像，而副影像係於主影像中以小畫面顯示之影像。又，交互圖形串流係顯示藉由於畫面上配置GUI零件所做成之對話畫面。視訊串流係藉由前述各實施形態所顯示之動態圖像編碼方法或裝置、及遵循習知之MPEG-2、MPEG-4-AVC、VC-1等規格之動態圖像編碼方法或裝置來加以編碼。音訊串流係藉由杜比-AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD或線性PCM等方式進行編碼。

包含於多工資料之個串流係藉由PID進行識別。例如對利用於電影之影像之視訊串流分配0x1011，對音訊串流分配由0x1100至0x111F，對演示圖形串流分配0x1200至0x121F，對交互圖形串流分配0x1400至0x141F，而對利用於電影之副影像的視訊串流分配0x1B00至0x1B1F，對利用於混合於主聲音之副聲音之音訊串流分配0x1A00至0x1A1F。

第28圖係顯示各個串流在多工資料中是如何被多工的示意圖。首先，將由複數之視訊圖框所形成之視訊串流ex235及由複數音訊圖框所形成之音訊串流ex238，分別轉換為PES封包列ex236及ex239，並轉換為TS封包ex237及ex240。同樣地將演示圖形串流ex241及交互圖形串流ex244之資料分別轉換為PES封包列ex242及ex245，再轉換為TS封包ex243及ex246。多工資料ex247係將該等TS封包多工為1條串流而構成者。

第29圖係更詳細顯示視頻串流是如何儲存於PES封包列的圖。第29圖之第1階段係顯示視訊串流之視訊圖框列。第2階段係顯示PES封包列。如第29圖之箭頭yy1、yy2、yy3、yy4所示，視訊串流之為複數視訊演示單位之I圖片、B圖片及P圖片係分割為每個圖片並儲存於PES封包之酬載。各PES封包具有PES標頭，且於PES標頭儲存有為圖示之顯示時刻之PTS(Presentation Time-Stamp)或為圖片之解碼時刻之DTS(Decoding Time-Stamp)。

第30圖係顯示於多工資料最終寫入之TS封包之形式的圖。TS封包係由184位元之TS酬載所構成之188位元固定長封包，且前述PES封包會被分割並儲存於TS酬載，而該184位元之TS酬載係儲存有具有識別串流之PID等資訊的4位元TS標頭與資料者。在為BD-ROM之情況下，於TS封包賦予4位元之TP_Extra_Header，而構成192位元之源封包而寫入多工資料。於TP_Extra_Header記載有ATS(Arrival_Time_Stamp)等資訊。ATS係顯示朝該當TS封包之解碼之PID濾波器之傳送開始之時刻。於多工資料中如第30圖下段所顯示，源封包形成並列，而由多工資料之前標頭增加之編號係稱為SPN(源封包編號)。

又，包含於多工資料TS封包除影像、聲音、字幕等各串流以外亦包含PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT係於多工資料中顯示所利用之PMT之PID為何，而PAT本身之PID則以0登錄。PMT係具有包含於多工資料中之影像、聲音、字幕等個串流之PID、及對應各PID之串流之屬性資訊，又具有關於多工資料之各種描述符。於描述符具有指示許可或不許可多工資料拷貝之拷貝控制資訊。PCR為取得為ATS之時間軸之ATC(Arrival Time Clock)以及為PTS‧DTS時間軸之STC(System Time Clock)的同步，會具有其PCR封包對應於傳送至解碼器之ATS之STC時間之資訊。

第31圖係顯示PMT之資料構造的圖。PMT之前標頭配置有記錄包含於該PMT之資料之長度等的PMT標頭。其後複數配置有關於多工資料之描述符。前述拷貝控制資訊等係記載作為描述符。描述符之後複數配置有關於包含於多工資料之串流之串流資訊。串流資訊係由用以識別串流之壓縮編解碼器等之串流類型、串流之PID、串流之屬性資訊(圖框率、長寬比等)所記載的串流描述符所構成。串流描述符僅存在有存在於多工資料之串流之數。

記錄於記錄媒體等之情況中，前述多工資料會與多工資料資訊檔一起被記錄。

多工資料資訊檔係如第32圖所示為多工資料之管理資訊，與多工資料1對1對應，並由多工資料資訊、串流屬性資訊及登錄標定所構成。

多工資料資訊係如第32圖所示由系統率、再生開始時刻、再生結束時刻所構成。系統率係顯示多工資料之朝後述系統目標解碼器之PID濾波器之最大傳送率。包含於多工資料中之ATS間隔係設定使其在系統率以下。再生開始時刻係多工資料之前標頭之視訊圖框之PTS，而再生結束時刻係於多工資料之終端之視訊串流之PTS設定滿足1圖框份之再生間隔。

串流屬性資訊係如第33圖所示將針對包含於多工資料之個串流之屬性資訊登錄於每個PID。每個屬性資訊係具有視訊串流、音訊串流、演示圖形串流、交互圖性串流之不同的資訊。視訊串流屬性資訊係具有以下資訊：該視訊串流係以怎麼樣的壓縮編解碼器進行壓縮；構成視訊串流之各個圖片資訊之解析度為多少；長寬比為多少；圖框率為多少等。音訊串流屬性資訊係具有以下資訊：包含於該音訊串流之頻道數有哪些；對應哪種語言；抽樣頻率為多少等。該等資訊係利用於播放器再生前之解碼器初始化等。

本實施形態中，前述多工資料中係利用包含於PMT之串流類型。又，當多工資料記錄於記錄媒體之情況下，係利用包含有多工資料資訊之視訊串流屬性資訊。具體而言，前述各實施形態所示之動態圖像編碼方法或裝置中，設有用以設定顯示對於包含於PMT之串流類型或視訊串流屬性資訊藉由動態圖像編碼方法或裝置所生成之影像資料的固定資訊的步驟或機構。藉由該構成可識別介由前述動態圖像編碼方法或裝置所生成之影像資料、與遵循其他規格之影像資料。

又，本實施形態之動態影像解碼方法之步驟係顯示於第34圖。步驟exS100中，由多工資料取得包含於PMT之串流類型、或包含於多工資料資訊之視訊串流屬性資訊。接著步驟exS101中，係判斷串流類型或視訊串流屬性資訊是否顯示藉由前述各實施形態所顯示之動態圖像編碼方法或裝置來生成之多工資料。又，當串流類型或視訊串流屬性資訊被判斷為係藉由前述各實施形態所顯示之動態圖像編碼方法或裝置所生成者實，會在步驟exS102中介由前述各實施行太所顯示之動態影像解碼方法來進行解碼。又，當顯示視訊串流屬性資訊為遵循習知之MPEG-2、MPEG4-AVC、VC-1等規格者時，會於步驟exS103中藉由遵循習知規格之動態圖像解碼方法來進行解碼。

如此，藉由於串流類型、或視訊串流屬性資訊設定新的固定值，可於解碼時判斷是否可以前述各實施形態所顯示之動態圖像解碼方法來解碼。因此，即使於遵循不同規格之多工資料輸入之情況下亦可選擇適當之解碼方法或裝置，因此可進行不會產生錯誤之解碼。又，亦可將本實施形態所顯示之動態圖像編碼方法或裝置、或者動態圖像解碼方法或裝置使用於前述之任何機器、系統。

(第9實施形態)

前述之各實施形態所顯示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置一般係以為積體電路之LSI來實現。舉例而言，第35圖顯示1晶片化之LSIex500之構成。LSIex500包含以下說明之要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素係透過匯流排ex510連接。電源電路部ex505在電源為開啟時對各部藉由供給電力將其啟動為可動作之狀態。

例如，進行編碼處理時，LSIex500會根據具有CPUex502、記憶體控制器ex503、串流控制部ex504及驅動頻率控制部ex512等的控制部ex510之控制，來藉由AVI/Oex509由麥克風ex117或相機ex113等輸入AV訊號。輸入之AV訊號會暫時蓄積於SDRAM等外部記憶體ex511。根據控制部ex501之控制，蓄積之資料會因應處理量或處理速度分為適當複數次等並送至訊號處理部ex507，而於訊號處理部ex507中進行聲音訊號之編碼及/或影像訊號之編碼。在此影像訊號之編碼處理係前述各實施形態說明之編碼處理。信號處理部ex507會接著根據情況進行將已編碼之聲音資料與已編碼之影像資料多工等之處理，由串流I/Oex506輸出至外部。該經輸出之多工資料會朝基地台ex107傳送、或寫入記錄媒體ex215。又，多工時亦可將資料暫時蓄積於緩衝器ex508以求同步。

又，前述中，係以記憶體ex511為LSIex500之外部之構成來說明，但其亦可為包含於LSIex500內部之構成。緩衝器ex508亦不限制為1個，而亦可具備複數個緩衝器。又，LSIex500可為1晶片化，或複數晶片化亦可。

又，前述中，控制部ex510雖具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等，但控制部ex510之構成不限於此。例如，訊號處理部ex507可為更具有CPU之構成。訊號處理部ex507之內部亦設置CPU可藉此使處理速度更向上提升。又，其他例子，CPUex502亦可具有訊號處理部ex507、或為訊號處理部ex507之一部分的聲音訊號處理部。此情況中，控制部ex501之構成會成為具有包含訊號處理部ex507或其一部分之CPUex502。

又，在此，雖為LSI，但依積體度之不同有時亦可稱為IC、系統LSI、超級LSI及超LSI。

又，積體電路化之手法不限於LSI，亦可以專用電路或通用處理器來實現。於LSI製造後利用可程式之FPGA(Field Programmable Gate Array)、或可重建LSI內部之電路胞之連接或設定之可重組態處理器亦可。

又，若有由於半導體技術之進部或衍生之別的技術而可置換LSI積體電路化技術登場的話，當然亦可使用該技術來進行功能區塊之積體化。生物技術之適應等可能性亦為可能。

(實施形態10)

考量到將藉由前述各實施形態所顯示之動態圖像編碼方法或裝置所生成之影像資料解碼時，比起將遵循習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料解碼之情況會增加處理量。因此，LSIex500中必須設定為較編碼習知遵循習知規格之影像資料時之CPUex502之驅動頻率更高之驅動頻率。惟，若使驅動頻率更高則會產生高消耗電力之課題。

為求解決該課題，電視ex300、LSIex500等之動態圖像解碼裝置係會識別影像資料為遵循何種規格者，並因應規格切換驅動頻率之構成。第36圖係顯示本實施形態之構成ex800。驅動頻率切換部ex803會在影像資料為藉由前述各實施形態所示之動態圖像編碼方法或裝置所生成者的情況下，將驅動頻率設定為較高。接著，對於實行前述各實施形態所示之動態圖像解碼方法的解碼處理部ex801，指示使其解碼影像資料。另一方面，在影像資料遵循習知規格之影像資料時，影像資料跟藉由前述各實施形態所示之動態圖像編碼方法或裝置所生成者相比，驅動頻率會設定為較低。又，對於遵循習知規格之解碼處理部ex802，指示使其解碼影像資料。

更具體而言，驅動頻率切換部ex803系由第35圖之CPU與驅動頻率控制部ex512所構成。又，實行前述各實施形態所示之動態圖像解碼方法之解碼處理部ex801、及遵循習知規格之解碼處理部ex802系對應於第35圖之訊號處理部ex507。CPUex502係識別影像資料是遵循何種規格者。又，根據來自CPUex502之訊號，驅動頻率控制部ex512會設定驅動頻率。又，根據來自CPUex502之訊號，訊號處理部ex507會進行影像資料之解碼。在此，可考量例如將第8實施型態所記載之識別資訊利用於影像資料之識別。而關於影像資料之識別部限定要使用第8實施型態所記載者，而亦可使用可識別影像資料為遵循何種規格之資訊。例如，雖然影像資料是利用於電視者，但基於識別是否為利用於碟者等外部訊號，在可識別影像資料為遵循何種規格者之情況下，基於如前述之外部訊號來進行識別亦可。又，CPUex503之驅動頻率之選擇，可考量根據例如第38圖之影像資料規格、及關聯驅動頻率之查找表來進行。將查找表事先儲存於緩衝器ex508或LSI內部記憶體，而CPUex502可藉由參考此查找表來選擇驅動頻率。

第37圖係顯示實施本實施形態之方法的步驟。首先，步驟exS200係於訊號處理部ex507由多工資料取得識別資訊。接著，步驟exS201係於CPUex502根據識別資訊識別影像資料是否為以前述各實施形態所示之編碼方法或裝置所生成者。當影像資料為以前述實施形態所示之編碼方法或裝置所生成者時，會於步驟exS202中將把高驅動頻率設定為較高之訊號由CPUex502傳送至驅動頻率控制部ex512。接著，於驅動頻率控制部ex512中設定為高驅動頻率。另一方面當顯示影像資料為遵循習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，會於步驟exS203中將把驅動頻率數設定為較低之訊號由CPUex502傳送至驅動頻率控制部ex512。接著於驅動頻率控制部ex512中設定為相較於影像資料藉由前述各實施形態所示之編碼方法或裝置生成者之情況更低之驅動頻率。

又連動於驅動頻率之切換，藉由變更給予LSIex500或包含LSIex500之裝置之電壓可達到更高之省電效果。例如，可考量到伴隨將驅動頻率設為較低之情況，比起將驅動頻率設為較高之情況，會設定較低之給予LSIex500或包含LSIex500之裝置之電壓。

又，驅動頻率之設定方法，亦可為在解碼時之處理量較大之情況下，設定高驅動頻率，而在解碼時處理量較小之情況下設定低驅動頻率，但不限於此種設定方法。例如，當解碼遵循MPEG4-AVC規格之影像資料之處理量，較藉由前述各實施形態所示之動態圖像編碼方法或裝置所生成之處理量大時，亦可考慮使驅動頻率之設定與前述情況相反。

又，驅動頻率之設定方法不限於使驅動頻率減少之構成。例如亦可考慮當識別資訊係顯示為藉由前述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，將給予LSIex500或包含LSIex500之裝置之電壓設定為較高，而在顯示為遵循習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，將給予LSIex500或包含LSIex500之裝置之電壓設定為較低。又，其他例子亦可考慮當識別資訊為藉由前述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，不使CPUex502之驅動停止，而在顯示為遵循習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，由於尚有處理之餘裕，而使CPUex502之驅動暫時停止。在當識別資訊係顯示為藉由前述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，若尚有處理之餘裕，亦可考量使CPUex502之驅動暫時停止。此情況應考慮比起顯示為遵循習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，設定較短之停止時間。

如此，因應影像資料所遵循之規格，藉由切換驅動頻率可達成省電。又，當使用電池來驅動LSIex500或包含LSIex500之裝置時，伴隨著省電可使電池之壽命增長。

(第11實施形態)

有時會於電視或行動電話等前述機器、系統輸入遵循不同規格之複數影像資料。如此，為使得輸入遵循不同規格之複數影像資料之情況下亦可解碼，LSIex500之訊號處理部ex507必須要對應複數規格。惟，當個別使用對應個別規格之訊號處理部ex507時，會產生LSIex500之電路規模變得很大或增加成本之課題。

為求解決該課題，使用以實施前述各實施形態所示之動態圖像解碼方法之解碼處理部、及遵循習知MPEG-2、MPEG4-AVC、VC-1等規格之解碼處理部成為一體共有化之構成。該構成之例子顯示於第39(a)圖之ex900。例如使前述各實施形態之動態圖像解碼方法、及遵循MPEG4-AVC規格之動態圖像解碼方法於熵編碼、逆量化、解塊濾波器及動態補償等處理中一體貫通處理內容。共通處理內容係共有對應MPEG4-AVC規格之處理訊號ex902，而針對MPEG4-AVC規格之本發明特有之其他處理內容則考慮使用專用之解碼處理器ex901之構成。關於解碼處理部之共有化中，針對共通之處理內容，係共有用以實施前述各實施形態所示之動態圖像編碼方法之解碼處理部，而針對於MPEG4-AVC規格特有之處理內容，使用專用之解碼處理部亦可。

又，將處理共有化之其他例子顯示於第39(b)圖之ex1000。該例子中，係使用對應於本發明特有之處理內容之專用解碼處理部ex1001、於其他習知規格對應特有處理內容之專用解碼處理部ex1002、對應於本發明之動態圖像解碼方法與其他習知規格之動態圖像解碼方法共通之處理內容之共用解碼處理部ex1003。在此，專用解碼處理部ex1001、ex1002不一定要實施本發明或其他習知規格特有之處理內容所特化之處理，亦可實施其他通用處理。又，亦可將本實施形態之構成安裝於LSIex500。

如此，針對本發明之動態圖像編碼方法與習知規格之動態圖像編碼方法共通之處理內容，可藉由共有解碼處理部來所小LSI之電路規模，並降低成本。

【產業上之利用性】

使用本發明之一實施形態之編碼失真去除方法的編碼方法及解碼方法，係可維持以習知編碼失真去除方法會損失之物體邊界，並進行編碼失真之去除，而藉此具有可大幅提升解碼圖像之畫質的效果，而可利用於蓄積、傳送、通訊等各種用途。例如可利用於電視、數位錄影機、衛星導航、行動電話、數位相機、數位攝影機等高解析度之資訊顯示機器或攝影機器，利用價值很高。

100、600、700．．．編碼失真去除裝置

101、104、105、107、604、606、810、908、1001、1004．．．開關

102、701、1002．．．濾波對象像素決定部

103、603．．．濾波後補資訊保持部

106、605、703、1003．．．濾波處理部

601．．．第1濾波對象像素決定部

602．．．第2濾波對象像素決定部

800．．．編碼裝置

801．．．差分部

802．．．轉換‧量化部

803、902．．．逆量化‧逆轉換部

804、903．．．加法部

805、904．．．編碼失真去除部

806、905．．．參考圖片用記憶體

807、906．．．畫面內預測部

808、907．．．動態補償預測部

809．．．動態檢出部

811．．．可變長度編碼部

900．．．解碼裝置

901．．．可變長度解碼部

1101．．．原本為物體邊界之位置

ex100．．．內容供給系統

ex101．．．網路

ex102．．．網路服務供給者

ex103．．．串流伺服器

ex104．．．電話網路

ex106～ex110．．．基地台

ex111．．．電腦

ex112．．．PDA

ex113．．．相機

ex114、ex214．．．行動電話

ex115．．．遊戲機

ex116．．．相機

ex200．．．數位廣播用系統

ex201．．．廣播電台

ex202．．．衛星

ex203．．．纜線

ex204、ex205、ex350．．．天線

ex210．．．車

ex211．．．衛星導航

ex212．．．再生裝置

ex213、ex219．．．螢幕

ex215．．．記錄媒體

ex216．．．SD卡

ex217．．．STB

ex218．．．讀取/記錄器

ex220．．．遙控器

ex230．．．資訊軌

ex231．．．記錄區塊

ex232．．．內周領域

ex233．．．資料記錄領域

ex234．．．外周領域

ex235．．．視訊串流

ex236、ex239、ex242、ex245．．．PES封包列

ex237、ex240、ex243、ex246．．．TS封包

ex238．．．音訊串流

ex241．．．演示圖形串流

ex244．．．交互圖形串流

ex247．．．多工資料

ex300．．．電視

ex301．．．諧調器

ex302、ex352．．．調變/解調部

ex303、ex353．．．多工/分離部

ex304、ex354．．．聲音訊號處理部

ex305、ex355．．．影像訊號處理部

ex306、ex507．．．訊號處理部

ex307．．．喇叭

ex308、ex358．．．顯示部

ex309．．．輸出部

ex310．．．控制部

ex311、ex361、ex505．．．電源電路部

ex312、ex362．．．操作輸入部

ex313．．．橋接器

ex314、ex364．．．槽部

ex315．．．驅動器

ex316．．．數據機

ex317．．．介面部

ex351．．．傳送/接收部

ex356．．．聲音輸入部

ex357．．．聲音輸出部

ex359．．．LCD控制部

ex360．．．主控制部

ex363．．．相機I/F部

ex365．．．相機部

ex366．．．操作鍵部

ex367．．．記憶體部

ex370、ex510．．．匯流排

ex500．．．LSI

ex501．．．控制部

ex502．．．CPU

ex503．．．記憶體控制器

ex504．．．串流控制器

ex506．．．串流I/O

ex509．．．AV I/O

ex400．．．資訊再生/記錄部

ex401．．．光頭

ex402．．．調變記錄部

ex403．．．再生解調部

ex404、ex508．．．緩衝器

ex405．．．碟模式

ex406．．．伺服控制部

ex407．．．系統控制部

ex801．．．本發明之解碼處理部

ex802．．．遵循習知規格之解碼處理部

ex803．．．驅動頻率切換

ex900．．．一體共有化之構成

ex901．．．本發明專用之解碼處理部

ex902．．．本發明及習知規格共有之解碼處理部

ex1000．．．處理共有化之其他例子

ex1001．．．本發明及習知規格共有之解碼處理部

ex1002．．．本發明專用之解碼處理部

ex1003．．．習知規格專用之解碼處理部

exS100～exS103、exS200～exS203、S11～S14、S201～S203、S400～S411、S40a～S40d、S40X、S700～S705．．．步驟

d1,v、d1,h、d2,v、d2,h、Di,v、Di,h．．．決定處理

Fi,v、Fi,h．．．濾波處理

P0、p1、p2、p3、q0、q1、q2、q3．．．像素

yy1～yy4．．．箭頭