TW201322186A - 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置 - Google Patents

Abstract

本發明之圖像編碼方法，其係將圖像依每編碼單位進行編碼，該圖像編碼方法包含以下步驟：頻率轉換步驟，其係將包含有複數預定區塊之編碼單位中的複數轉換單位的亮度資料與色差資料，進行頻率轉換，前述複數預定區塊分別係相當於1個以上的轉換單位；及編碼步驟，其係將已進行頻率轉換的亮度資料、與已進行頻率轉換的色差資料進行編碼，而將編碼列輸出，該編碼列係將亮度資料與色差資料依每預定區塊一起經匯整者。

Description

圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置 發明領域

本發明係有關於一種圖像編碼方法或圖像解碼方法，圖像編碼方法係將圖像依每區塊進行編碼，圖像解碼方法係將圖像依每區塊進行解碼。

發明背景

有關於將圖像(包含動態圖像)依每區塊進行編碼的圖像編碼方法，或者將圖像依每區塊進行解碼的圖像解碼方法之技術，有非專利文獻1所記載之技術。

習知技術文獻 非專利文獻

非專利文獻1：ISO/IEC 14496-10「MPEG-4 Part10 Advanced Video Coding」

發明概要

然而，習知技術之圖像編碼方法或圖像解碼方法有時會採用非效率性的處理。

對此，本發明提供一種有效率地將圖像進行編碼的圖像編碼方法，或者有效率地將圖像進行解碼的圖像解碼方法。

本發明之一態樣的圖像編碼方法，係將圖像依每編碼單位進行編碼的圖像編碼方法，其包含以下步驟：頻率轉換步驟，其係將包含有複數預定區塊之編碼單位中的複數轉換單位的亮度資料與色差資料，進行頻率轉換，前述複數預定區塊分別係相當於1個以上的轉換單位；及編碼步驟，其係將已進行頻率轉換的前述亮度資料、與已進行頻率轉換的前述色差資料進行編碼，而將編碼列輸出，該編碼列係將前述亮度資料與前述色差資料依每前述預定區塊一起經匯整者。

又，這些包括或具體的態樣，亦可藉由系統、裝置、積體電路、電腦程式或可進行電腦讀取之CD-ROM(Compact Disc Read Only Memory)等非暫時性記錄媒體來實現，亦可藉由系統、裝置、方法、積體電路、電腦程式及記錄媒體之任意組合來實現。

本發明之圖像編碼方法及圖像解碼方法可有效率地將圖像進行編碼或解碼。

圖式簡單說明

圖1係用以說明習知例之編碼列的圖。

圖2係顯示第1實施形態之圖像編碼裝置的構成的區塊圖。

圖3係用以說明第1實施形態之編碼列的圖。

圖4係用以針對第1實施形態之編碼動作而說明的流程圖。

圖5係用以說明第1實施形態之變形例的編碼列的圖。

圖6係用以針對第1實施形態之變形例的編碼動作而說明的流程圖。

圖7係顯示第2實施形態之圖像編碼裝置的構成的區塊圖。

圖8係用以說明第2實施形態之編碼列的圖。

圖9係用以針對第2實施形態之編碼動作而說明的流程圖。

圖10係用以說明對第2實施形態之複數演算器的處理分配的圖。

圖11係顯示第3實施形態之圖像解碼裝置的構成的區塊圖。

圖12係用以針對第3實施形態之解碼動作而說明的流程圖。

圖13係顯示第4實施形態之圖像解碼裝置的構成的區塊圖。

圖14係用以針對第4實施形態之解碼動作而說明的流程圖。

圖15A係顯示第5實施形態之圖像編碼裝置的構成的區塊圖。

圖15B係用以針對第5實施形態之編碼動作而說明的流程圖。

圖16A係顯示第5實施形態之圖像解碼裝置的構成的區塊圖。

圖16B係用以針對第5實施形態之解碼動作而說明的流程圖。

圖17係將內容傳送服務加以實現的內容供給系統的整體構成圖。

圖18係數位播放用系統的整體構成圖。

圖19係顯示電視機之構成例的區塊圖。

圖20係顯示於光碟(即記錄媒體)進行資訊之讀取寫入的資訊再生/記錄部的構成例的區塊圖。

圖21係顯示光碟(即記錄媒體)的構造例的圖。

圖22A係顯示行動電話之一例的圖。

圖22B係顯示行動電話之構成例的區塊圖。

圖23係顯示多工資料之構成的圖。

圖24係各串流如何於多工資料進行多工的示意圖。

圖25係更詳細地表示視訊串流如何儲存於PES(Packetized Elementarty Stream)封包列的圖。

圖26係顯示多工資料中之TS封包(輸送封包)與源封包的構造的圖。

圖27係顯示PMT(Program Map Table：節目映射表)之資料構成的圖。

圖28係顯示多工資料資訊之內部構成的圖。

圖29係顯示串流屬性資訊之內部構成的圖。

圖30係顯示將影像資料進行識別之步驟的圖。

圖31係顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路的構成例的區塊圖。

圖32係顯示切換驅動頻率之構成的圖。

圖33係顯示將影像資料進行識別，切換驅動頻率之步驟的圖。

圖34係顯示使影像資料之規格與驅動頻率對應的對照表的一例的圖。

圖35A係顯示將訊號處理部之模組共有化的構成的一例的圖。

圖35B係顯示將訊號處理部之模組共有化的構成的其他例的圖。

用以實施發明之形態

(構成本發明之基礎的知識)

本發明者係關於於「背景技術」之欄位所記載之將圖像依每區塊進行編碼的圖像編碼裝置，或者將圖像依每區塊進行解碼的圖像解碼裝置，而發現會產生以下問題。

近年來，數位影像機器的技術進步顯著，將從視訊照相機或電視調諧器輸入的影像訊號(依時間序列順序所排列的複數圖片)進行壓縮編碼，記錄於DVD(數位視訊光碟)或硬碟等記錄媒體的機會正在增加中。

一般而言，將影像訊號進行編碼時，係將圖像資料解多工成亮度資訊(Y)、第1色差資訊(U)及第2色差資訊(V)，並分別對其施以頻率轉換，再使用可變長度編碼或算術編碼等編碼技術，將該結果即係數值，進行編碼。

更詳細而言，係將1張圖像分割成預定的編碼單位 (Coding Unit(以下稱為CU))，再進一步將該CU內分割成轉換單位(Transform Unit(以下稱為TU))，並分別對TU的Y、U及V施以頻率轉換。然後，將Y、U及V的編碼結果加以連結，作成編碼列。又，解碼係從編碼列將Y、U及V各自的係數值進行解碼，再藉由反轉換從係數值取得Y、U及V各自的圖像資訊。

又，CU係用以將圖像進行編碼的資料單位，與稱為H.264/AVC或MPEG-4 AVC的動態圖像編碼規格(參照非專利文獻1)的巨集塊相對應。CU係包含於圖片或圖片內的切片。最大編碼單位(Largest Coding Unit(以下稱為LCU))係預定之固定大小的正方形。CU係預定之固定大小以下的正方形。相同圖片或相同切片內的2個CU亦可為相異大小的正方形。

例如，藉由將圖片或切片內預定之固定大小的正方形分割為4而定義的4個區塊，亦可分別分配至CU。又，例如，藉由將預定之固定大小的正方形多階段地4分割而階層地定義的複數區塊之中，最下層的區塊亦可分配至CU。預定之固定大小的正方形不作4分割時，亦可係LCU分配至CU。按照此般分配，圖像依每CU進行編碼，作成編碼列。

於習知例中，如圖1所示，依每CU將Y、U及V分別連續配置，作成編碼列。於圖1中，Yn係表示TUn的Y資訊，Un係表示TUn的U資訊，Vn係表示TUn的V資訊。又，圖1係4：2：0格式的例子，U及V的像素值分別係Y的4分之1。

然而，於習知編碼列的構成中，若不將CU內的Y全部 進行編碼而將編碼列輸出，則無法將U及V的編碼列輸出，因此，即使在可將U或V的編碼列優先於CU內之Y一部分輸出的狀態，亦無法輸出，必須預先加以緩衝。若使用圖1之(C)作說明，未將Y9的編碼列輸出前，無法輸出U0的編碼列，必須預先將U0的資訊置於緩衝用的記憶體或記錄器。因此，具有緩衝用的記憶體或記錄器必須要多的課題。

又，即使係解碼，未將Y、U及V進行解碼前，亦無法出圖，不先將CU內的Y全部進行解碼，則無法將U及V進行解碼，必須預先將Y的解碼結果加以緩衝。若使用圖1之(C)作說明，不將V0進行解碼的話，則無法將T0的區塊出圖，因此，必須預先將Y0~Y9及U0~U9置於緩衝用的記憶體或記錄器。

為了解決此般問題，本發明之一態樣的圖像編碼方法，係將圖像依每編碼單位進行編碼的圖像編碼方法，該圖像編碼方法包含以下步驟：頻率轉換步驟，其係將包含有複數預定區塊之編碼單位中的複數轉換單位的亮度資料與色差資料，進行頻率轉換，前述複數預定區塊分別係相當於1個以上的轉換單位；及編碼步驟，其係將已進行頻率轉換的前述亮度資料、與已進行頻率轉換的前述色差資料進行編碼，而將編碼列輸出，該編碼列係將前述亮度資料與前述色差資料依每前述預定區塊一起經匯整者。

藉由相關之構成，即使不將CU內之Y全部的編碼列輸出，其後，亦可將U及V的編碼列輸出，變得不再須要將U及V加以緩衝，可削減緩衝用的記憶體或記錄器。

例如，亦可係：前述複數預定區塊分別係相當於預定大小之區塊中的複數轉換單位，或預定大小以上的轉換單位；於前述編碼步驟，將前述亮度資料與前述色差資料進行編碼，而將編碼列輸出，該編碼列係將前述亮度資料與前述色差資料依每前述預定區塊一起經匯整者。

藉由相關之構成，Y、U及V以適當的資料單位配置於編碼列。因此，處理效率提升。

又，例如，亦可於前述頻率轉換步驟，將前述亮度資料依每轉換單位進行頻率轉換；前述色差資料的像素值等於前述亮度資料的像素值時，將前述色差資料依每轉換單位進行頻率轉換；前述色差資料的像素值少於前述亮度資料的像素值時，將前述色差資料依每前述預定區塊進行頻率轉換。

藉由相關之構成，Y、U及V以對應於像素值之適當的資料單位進行頻率轉換。因此，處理效率提升。

又，例如，亦可於前述頻率轉換步驟，將前述編碼單位中的前述複數轉換單位的前述色差資料之中，預定大小以下之區塊中的複數轉換單位的色差資料加以結合，而一次地將所結合的前述色差資料進行頻率轉換。

藉由相關之構成，可避免用以轉換的資料單位變得太小。因此，變得可不設置小的轉換電路。又，若考量：為使U或V不低於最小TU，而無法使Y為最小TU大小的情況，藉由相關之構成，可使Y為最小TU大小，關係到編碼效率提升。

又，例如，亦可係：於前述頻率轉換步驟，轉換單位的大小為已預定之最小大小，且前述轉換單位的色差資料的像素值少於前述轉換單位的亮度資料的像素值時，將前述編碼單位中的前述複數轉換單位的前述色差資料之中，包含有前述轉換單位之區塊中的複數轉換單位的色差資料加以結合，而一次地將所結合的前述色差資料進行頻率轉換。

藉由相關之構成，即使TU大小為最小TU大小，且如4：2：0或4：2：2格式等U或V的像素值少於Y的像素值時，亦可控制U及V分別不低於最小TU大小。因此，變得可不設置小於最小TU的轉換電路。又，若考量：為使U或V不低於最小TU，而無法使Y為最小TU大小的情況，藉由相關之構成，可使Y為最小TU大小，關係到編碼效率提升。

又，例如，亦可係：於前述編碼步驟，將預定區塊中的複數轉換單位的亮度資料與色差資料進行編碼，而將前述預定區塊中的前述複數轉換單位的前述色差資料全部配置在後於前述預定區塊中的前述複數轉換單位的前述亮度資料全部的前述編碼列，加以輸出。

藉由相關之構成，Y之後U及V繼續，維持該順序。因此，不須考慮置換該順序。因此，可減輕圖像處理的複雜程度。

又，例如，亦可係：前述複數預定區塊分別係相當於預定大小之區塊中的複數轉換單位，或預定大小以上的轉換單位；於前述頻率轉換步驟，將前述亮度資料與前述色 差資料依每轉換單位進行頻率轉換；於前述編碼步驟，將前述亮度資料與前述色差資料進行編碼，而將前述亮度資料與前述色差資料依每前述預定區塊一起經匯整的前述編碼列輸出。

藉由相關之構成，可將Y、U及V分別匯整成數區塊來處理，且可將Y、U及V各自的輸入圖像以某程度一筆地輸入。藉此，達到資料傳送效率的提升。又，將YUV的資料單位以複數演算器並列處理時，可抑制1組YUV之像素值的偏差，達到演算器之運轉率的提升。

又，例如，亦可係：前述複數預定區塊分別係相當於轉換單位；於前述頻率轉換步驟，將前述亮度資料與前述色差資料依每轉換單位進行頻率轉換；於前述編碼步驟，將前述亮度資料與前述色差資料進行編碼，而將前述亮度資料與前述色差資料依每轉換單位一起經匯整的前述編碼列輸出。

藉由相關之構成，Y、U及V以簡潔且適當的資料單位配置於編碼列。因此，處理效率提升。

又，本發明之一態樣的圖像解碼方法，係將圖像依每編碼單位進行解碼的圖像解碼方法，亦可係：該圖像解碼方法包含以下步驟：解碼步驟，其係取得編碼列，該編碼列係將包含有複數預定區塊之編碼單位中的複數轉換單位的亮度資料與色差資料進行頻率轉換、編碼，且依每前述預定區塊一起經匯整者，且前述複數預定區塊分別係相當於1個以上的轉換單位，來將前述亮度資料與前述色差資料 進行解碼；及反頻率轉換步驟，其係將已進行解碼的前述亮度資料、與已進行解碼的前述色差資料進行反頻率轉換。

藉由相關之構成，即使不將CU內之Y全部進行解碼，其後，亦可將U及V進行解碼，變得不再須要將U及V的解碼結果加以緩衝，可削減緩衝用的記憶體或記錄器。

例如，亦可係：前述複數預定區塊分別係相當於預定大小之區塊中的複數轉換單位，或預定大小以上的轉換單位；於前述解碼步驟，取得前述亮度資料與前述色差資料依每前述預定區塊一起經匯整的前述編碼列，來將前述亮度資料與前述色差資料進行解碼。

藉由相關之構成，使用Y、U及V以適當的資料單位所配置的編碼列。因此，處理效率提升。

又，例如，亦可係：於前述反頻率轉換步驟，將前述亮度資料依每轉換單位進行反頻率轉換；前述色差資料的像素值等於前述亮度資料的像素值時，將前述色差資料依每轉換單位進行反頻率轉換；前述色差資料的像素值少於前述亮度資料的像素值時，將前述色差資料依每前述預定區塊進行反頻率轉換。

藉由相關之構成，Y、U及V以對應於像素值之適當的資料單位進行反頻率轉換。因此，處理效率提升。

又，例如，亦可係：於前述反頻率轉換步驟，一次地將前述編碼單位中的前述複數轉換單位的前述色差資料之中，預定大小以下之區塊中的複數轉換單位的色差資料進行反頻率轉換。

藉由相關之構成，可避免用以轉換的資料單位變得太小。因此，變得可不設置小的反轉換電路。又，若考量：為使U或V不低於最小TU，而無法使Y為最小TU大小的情況，藉由相關之構成，可使Y為最小TU大小，關係到編碼效率提升。

又，例如，亦可係：於前述反頻率轉換步驟，轉換單位的大小為已預定之最小大小，且前述轉換單位的色差資料的像素值少於前述轉換單位的亮度資料的像素值時，一次地將前述編碼單位中的前述複數轉換單位的前述色差資料之中，包含有前述轉換單位之區塊中的複數轉換單位的色差資料進行反頻率轉換。

藉由相關之構成，TU大小為最小TU大小，且即使如4：2：0或4：2：2格式等U或V的像素值少於Y的像素值的情況，亦可控制U及V分別不低於最小TU大小。因此，變得可不設置小於最小TU的轉換電路。又，若考量：為使U或V不低於最小TU，而無法使Y為最小TU大小的情況，藉由相關之構成，可使Y為最小TU大小，關係到編碼效率提升。

又，例如，亦可係：於前述解碼步驟，取得：前述預定區塊中的前述複數轉換單位的前述色差資料全部配置在後於前述預定區塊中的前述複數轉換單位的前述亮度資料全部前述編碼列，來將前述預定區塊中的前述複數轉換單位的前述亮度資料與前述色差資料進行解碼。

藉由相關之構成，Y之後U及V繼續，維持該順序。因此，不須考慮更換該順序。因此，可使圖像處理的複雜度 下降。

又，例如，亦可係：前述複數預定區塊分別係相當於預定大小之區塊中的複數轉換單位，或預定大小以上的轉換單位，於前述解碼步驟，取得前述亮度資料與前述色差資料依每前述預定區塊一起經匯整的前述編碼列，來將前述亮度資料與前述色差資料進行解碼，於反頻率轉換步驟，將前述亮度資料與前述色差資料依每轉換單位進行反頻率轉換。

藉由相關之構成，可將Y、U及V分別匯整成數區塊來處理，且可將Y、U及V各自的輸入圖像以某程度一筆地輸出。藉此，達到資料傳送效率的提升。又，將YUV的資料單位以複數演算器並列處理時，可抑制YUV1組的像素值的偏差，達到演算器之運轉率的提升。

又，例如，亦可係：前述複數預定區塊分別係相當於轉換單位；於前述解碼步驟，取得前述亮度資料與前述色差資料依每轉換單位一起經匯整的前述編碼列，來將前述亮度資料與前述色差資料進行解碼；於前述反頻率轉換步驟，將前述亮度資料與前述色差資料依每轉換單位進行反頻率轉換。

藉由相關之構成，使用Y、U及V以簡潔且適當的資料單位所配置的編碼列。因此，處理效率提升。

又，這些包括性或具體的態樣，亦可藉由系統、裝置、積體電路、電腦程式或可進行電腦讀取之CD-ROM(唯讀光碟)等非暫時性記錄媒體來實現，亦可藉由系統、裝置、方 法、積體電路、電腦程式及記錄媒體的任意組合來實現。

以下，一面參照圖示，一面針對實施形態具體地作說明。又，在以下說明的實施形態皆表示包括性或具體之例者。以下的實施形態所示之數值、形狀、材料、構成元件、構成元件之配置位置及連接狀態、步驟、步驟之順序等為一例，非為限定於本發明之主旨。又，以下的實施形態之構成元件之中，針對未記載於表示最上位概念的獨立請求項的構成元件，係作為任意的構成元件來說明。

(第1實施形態)

<構成>

圖2係顯示本實施形態之圖像編碼裝置的構成。該圖像編碼裝置係將輸入圖像分割成CU及TU，且分別對YUV實施轉換處理及編碼，而將編碼列輸出。該圖像編碼裝置具有CU分割部101、TU分割部102、YUV解多工部103、鄰接區塊結合部104、Y轉換部105、U轉換部106、V轉換部107、編碼部108及YUV切換部109。

CU分割部101係將圖像輸入，並按照指定之CU大小將圖像分割。TU分割部102係按照指定之TU大小將CU分割。YUV解多工部103係將TU解多工成Y成份、U成份及V成份。於本實施形態中，圖像格式係4：2：0格式，U成份及V成份的大小分別為Y成份的4分之1大小。

鄰接區塊結合部104係分別對U及V，因應TU大小與最小TU大小將鄰接區塊結合。Y轉換部105、U轉換部106及V轉換部107分別對Y、U及V實施轉換處理。編碼部108係對 轉換後的資料實施編碼，將編碼列輸出。YUV切換部109係按照TU大小來切換對編碼部108的輸入。

於圖3顯示編碼列之例。如(A)，CU大小與TU大小相同時，與圖1的習知例相同，但如(B)，TU大小小於CU大小時，與習知例相異，首先，將TU0的Y0、U0及V0進行編碼後，TU1的Y1、U1及V1繼續。又，如(C)的TU0，TU大小為最小TU大小時，因4：2：0格式，故U及V區塊變得小於最小TU大小。在此情況下，分別對U區塊及V區塊，將TU0、TU1、TU2及TU3結合，再對所結合的區塊實施轉換及編碼，作成編碼列。

<動作>

接著，一面參照圖4，一面針對編碼流程作說明。首先，CU分割部101按照指定之CU大小將輸入圖像分割，生成CU，並輸出至TU分割部102(S101)。接著，TU分割部102按照指定之TU大小將CU分割，輸出至YUV解多工部103(S102)。又，圖像編碼裝置係對1張圖像內全部CU實施相對於CU的處理(S102~S116)，因此，反覆進行圖像內CU個數次的處理。

接著，YUV解多工部103係將TU解多工成Y成份、Y成份及V成份(S103)。於本實施形態中，圖像格式係4：2：0格式，U成份及V成份的大小分別為Y成份的4分之1大小。已解多工之Y成份係輸出至Y轉換部105，U成份及V成份係輸出至鄰接區塊結合部。又，圖像編碼裝置係對1個CU內全部TU實施相對於TU的處理(S103~S116)，因此，反覆進 行CU內TU個數次的處理。

接著，YUV切換部109將Y轉換部105的輸出切換為編碼部108的輸入(S104)。Y轉換部105對Y實施轉換處理，將轉換後的結果輸出至編碼部108(S105)。編碼部108將轉換後的Y進行編碼，將編碼列輸出(S106)。

接著，鄰接區塊結合部104判斷現正進行轉換及編碼的U區塊是否已與其他U區塊結合(S107)。而U區塊與其他U區塊結合時(於S107為是)，跳過相對於U區塊及V區塊的處理(S108~S116)。U區塊不與其他U區塊結合時(於S107為否)，進行接下來的處理(S108)。

具體而言，U區塊不與其他U區塊結合時(於S107為否)，鄰接區塊接合部104判斷TU內的U大小是否小於最小TU大小(S108)。而U大小小於最小TU大小時(於S108為是)，進行U區塊的結合處理(S109)。U大小不小於最小TU大小時(於S108為否)，鄰接區塊結合部104將現正進行轉換及編碼的U區塊輸出至U轉換部106，V區塊輸出至V轉換部107。然後，進行YUV切換的處理(S111)。

U大小小於最小TU大小時(於S108為是)，鄰接區塊接合部104將現正進行轉換及編碼的U區塊、與右、下、右下3個U區塊結合，生成4個區塊份的結合U區塊，輸出至U轉換部106(S109)。並且，鄰接區塊結合部104將現正進行轉換及編碼的V區塊、與右、下、右下3個V區塊結合，生成4個區塊份的結合V區塊，輸出至V轉換部107(S110)。

其後，YUV切換部109將U轉換部106的輸出切換為編 碼部108的輸入(S111)。U轉換部106對U實施轉換處理，將轉換後的結果輸出至編碼部108(S112)。編碼部108將轉換後的U進行編碼，將編碼列輸出(S113)。

然後，YUV切換部109將V轉換部107的輸出切換為編碼部108的輸入(S114)。V轉換部107對V實施轉換處理，將轉換後的結果輸出至編碼部108(S115)。編碼部108將轉換後的V進行編碼，將編碼列輸出(S116)。

<效果>

以上，依據本實施形態，即使不將CU內之Y全部的編碼列輸出，其後，亦可將U及V的編碼列輸出，變得不再須要將U及V加以緩衝，可削減緩衝用的記憶體或記錄器。

又，即使TU大小為最小TU大小，且如4：2：0或4：2：2格式等U或V的像素值少於Y的像素值時，亦不會低於最小TU大小，因此，變得可不設置小於最小TU的轉換電路。又，若考量：為使U或V不低於最小TU，而無法使Y為最小TU大小的情況，藉由相關之構成，可使Y為最小TU大小，關係到編碼效率提升。

又，於本實施形態中，係使用4：2：0格式，但亦可使用4：2：2或4：4：4等其他格式。

又，於本實施形態中，CU大小及TU大小係從外部輸入。然而，亦可於裝置內部針對數種模式或全部模式之大小計算編碼效率，使用最佳的大小。

又，於本實施形態中，如圖3，已結合之U及V的區塊係配置於已結合之TU內左上TU之Y編碼列的正後方。然 而，如圖5，已結合之U及V的區塊亦可配置於已結合之TU內右下TU之Y編碼列的正後方。例如，此情況，於圖4所示之動作係變形成如圖6。

具體而言，如圖6，TU內的U大小為最小TU大小以上時(於S108為否)，U區塊及V區塊係直接進行處理(S111~S116)。

然後，TU內的U大小小於最小TU大小(於S108為是)，且處理對象的TU為第4個TU時(於S120為是)，進行U區塊的結合處理(S109)及V區塊的結合處理(S110)。在此，第4個TU如圖5的TU3或TU9，相當於最小TU大小的4個TU之中，第4個進行處理的TU。

於U區塊的結合處理(S109)，鄰接區塊結合部104將處理對象的U區塊、與左、上、左上的3個U區塊結合，生成4個區塊份的結合U區塊。又，於V區塊的結合處理(S110)，鄰接區塊結合部104將處理對象的V區塊、與左、上、左上的3個V區塊結合，生成4個區塊份的結合V區塊。其後，處理U區塊及V區塊(S111~S116)。

TU內的U大小小於最小TU大小(於S108為是)，且處理對象的TU不為第4個時(於S120為否)，跳過相對於U區塊及V區塊的處理(S111~S116)。其他的動作與圖4相同。依此，藉由動作變形，圖5的編碼列輸出。

於圖5中，Y之後U及V繼續，維持該順序。因此，不須考慮置換Y、U及V。因此，可減輕圖像處理的複雜程度。於圖6，係判斷處理對象的TU是否為第4個，但亦可係判斷 處理對象的TU是否為結合對象之最後的TU。並且，亦可係處理對象的TU為結合對象之最後的TU時，進行結合處理(S109及S110)。

又，於本實施形態中，係結合4個區塊，但亦可以4：2：2格式結合2個區塊。例如，亦可結合於水平方向鄰接的2個區塊。並且，2個區塊之中，以第1個進行處理的區塊進行結合處理亦可，以第2個進行處理的區塊進行結合處理亦可。

更進一步，本實施形態中之處理亦可以軟體來加以實現。並且，亦可藉由下載等發佈該軟體。又，亦可將該軟體記錄於CD-ROM等記錄媒體來發佈。又，該事項亦適用於本說明書中之其他實施形態。

(第2實施形態)

<構成>

圖7係顯示本實施形態之圖像編碼裝置的構成。與上述第1實施形態係YUV切換部109相異，因此，僅說明YUV切換部109。

YUV切換部109係按照TU大小及指定之最小區塊大小，來切換對編碼部108的輸入。具體而言，依TU大小及最小區塊大小之中任一較大的每資料單位，將對編碼部108的輸入切換為Y、U及V之任一。於本實施形態中，最小區塊大小係大於最小TU大小的大小，為已預先決定之固定的大小。

於圖8顯示編碼列之例。如(A)、(B)，TU大小不小於最 小區塊大小時，編碼列係與第1實施形態相同。然而，如(C)，TU小於最小區塊大小時，編碼列與第1實施形態相異。首先，TU0~TU3的Y0~Y3進行編碼後，U0~U3及V0~V3進行編碼，接著，TU4的Y4、U4及V4繼續。

<動作>

接著，一面參照圖9，一面針對編碼流程作說明。首先，CU分割部101按照指定之CU大小將輸入圖像分割，生成CU，並輸出至TU分割部102(S201)。接著，TU分割部102按照指定之TU大小將CU分割，輸出至YUV解多工部103(S202)。又，圖像編碼裝置係對1張圖像內全部CU實施相對於CU的處理(S202~S222)，因此，反覆進行圖像內CU個數次的處理。

接著，YUV切換部109判斷TU大小是否小於最小區塊大小(S203)。而TU大小小於最小區塊大小時(於S203為是)，進行編碼的判斷處理(S213)。TU大小不小於最小區塊大小時(於S203為否)，進行YUV的切換處理(S204)。又，圖像編碼裝置係對1個CU內全部TU實施相對於TU的處理(S203~S222)，因此，反覆進行CU內TU個數次的處理。

TU大小不小於最小區塊大小時(於S203為否)，YUV切換部109將Y轉換部105的輸出切換為編碼部108的輸入(S204)。Y轉換部105對Y實施轉換處理，將轉換後的結果輸出至編碼部108(S205)。編碼部108將轉換後的Y進行編碼，而將編碼列輸出(S206)。

接著，YUV切換部109將U轉換部106的輸出切換為編 碼部108的輸入(S208)。U轉換部106對U實施轉換處理，將轉換後的結果輸出至編碼部108(S208)。編碼部108將轉換後的U進行編碼，而將編碼列輸出(S209)。

接著，YUV切換部109係將V轉換部107的輸出切換為編碼部108的輸入(S210)。V轉換部107對V實施轉換處理，將轉換後的結果輸出至編碼部108(S211)。編碼部108將轉換後的V進行編碼，而將編碼列輸出(S212)。

TU大小為小於最小區塊大小時(於S203為是)，YUV切換部109判斷現正進行轉換及編碼的Y區塊、U區塊及V區塊是否已結束編碼(S213)。而其結束編碼時(於S213為是)，跳過相對於TU的處理(S214~S222)。其未結束編碼時(於S213為否)，進行YUV的切換處理(S214)。

具體而言，Y區塊、U區塊及V區塊未結束編碼時(於S213為否)，YUV切換部109將Y轉換部105的輸出切換為編碼部108的輸入(S214)。Y轉換部105對Y實施轉換處理，將轉換後的結果輸出至編碼部108(S215)。又，圖像編碼裝置係對最小區塊內全部TU實施相對於Y的處理(S215~S216)，因此，反覆進行最小區塊內TU個數次的處理。編碼部108將轉換後的Y進行編碼，而將編碼列輸出(S216)。

接著，YUV轉換部109將U轉換部106的輸出切換為編碼部108的輸入(S217)。U轉換部106對U實施轉換處理，將轉換後的結果輸出至編碼部108(S218)。又，圖像編碼裝置係對最小區塊內全部TU實施相對於U的處理 (S218~S219)，因此，反覆進行最小區塊內TU個數次的處理。編碼部108將轉換後的U進行編碼，而將編碼列輸出(S219)。

接著，YUV轉換部109將V轉換部107的輸出切換為編碼部108的輸入(S220)。V轉換部107對V實施轉換處理，將轉換後的結果輸出至編碼部108(S221)。又，圖像編碼裝置係對最小區塊內全部TU實施相對於V的處理(S221~S222)，因此，反覆進行最小區塊內TU個數次的處理。編碼部108將轉換後的V進行編碼，而將編碼列輸出(S222)。

<效果>

以上，依據本實施形態，可將Y、U及V分別匯整成數區塊來處理，且可將Y、U及V各自的輸入圖像以某程度一筆地輸入。藉此，達到資料傳送效率的提升。此於採用快取記憶體等快速記憶體的系統上亦特別地有效，接著藉由可處理Y、U或V，關係到快取記憶體之命中率的提升。又，將YUV的資料單位以複數演算器並列處理時，可抑制YUV共計之像素值的偏差，達到演算器之運轉率的提升。使用圖10來說明具體例。

圖10係假設處理1組YUV的演算器存在4個系統，將1組YUV從前頭依序分配至演算器A至演算器D。如(A)，始終以TU大小配置YUV時，相較於演算器A、演算器B，演算器C及演算器D的處理量較小，結果，演算器C及演算器D的運轉率變低。然而，如本實施形態，藉由以最小區塊大 小及TU大小之中任一較大的資料單位配置YUV，使演算器A~演算器D的處理量相同，提升演算器C、演算器D的運轉率。

(第3實施形態)

<構成>

圖11係顯示本實施形態之圖像解碼裝置的構成。該圖像解碼裝置係將以第1實施形態所示之圖像編碼裝置進行編碼的編碼列，加以解碼時所使用者。該圖像解碼裝置具有解碼部301、Y反轉換部302、U反轉換部303、V反轉換部304、YUV結合部305、TU結合部306、CU結合部307、YUV切換部308及鄰接區塊分割部309。

解碼部301係對編碼列實施解碼，將轉換後的YUV資料輸出。Y反轉換部302、U反轉換部303及V反轉換部304係分別對Y、U及V實施反轉換處理。YUV結合部305係將Y成份、U成份及V成份結合。於本實施形態中，圖像格式係4：2：0格式，U成份及V成份的大小分別為Y成份的4分之1大小。

TU結合部306係按照指定之TU大小將CU內的TU結合，生成CU。CU結合部307係按照指定之CU大小將圖像內的CU結合，生成圖像。YUV切換部308係按照TU大小切換解碼部301之輸出目的地。鄰接區塊分割部309係分別對U及V的反轉換結果，因應TU大小與最小TU大小，進行4分割。

<動作>

接著，一面參照圖12，一面針對解碼流程作說明。首先，YUV切換部308將解碼部301的輸出目的地切換為Y反轉換部302(S301)。又，圖像解碼裝置係對1個CU內全部TU實施相對於TU的處理(S301~S314)，因此，反覆進行CU內TU個數次的處理。又，圖像解碼裝置係對1張圖像內全部CU實施相對於CU的處理(S301~S315)，因此，反覆進行圖像內CU個數次的處理。

接著，解碼部301將編碼列進行解碼，往Y反轉換部302輸出(S302)。Y反轉換部302對Y實施反轉換處理，將反轉換後的結果輸出至YUV結合部305(S303)。

接著，鄰接區塊分割部309判斷現正進行解碼的U區塊是否已結束解碼(S304)。而U區塊已結束解碼時(於S304為是)，跳過相對於U區塊及V區塊的處理(S305~S313)。U區塊未結束解碼時(於S304為否)，進行YUV的切換處理(S305)。

具體而言，U區塊未結束解碼時(於S304為否)，YUV切換部308將解碼部301的輸出切換為往U反轉換部303輸入(S305)。解碼部301將編碼列進行解碼，往U反轉換部303輸出(S306)。U反轉換部303對U實施反轉換處理，將反轉換後的結果輸出至鄰接區塊分割部309(S307)。

接著，YUV切換部308將解碼部301的輸出切換為往V反轉換部304輸入(S308)。解碼部301將編碼列進行解碼，往V反轉換部304輸出(S309)。V反轉換部304對V實施反轉換處理，將反轉換後的結果輸出至鄰接區塊分割部309(S310)。

接著，鄰接區塊分割部309判斷TU內的U大小是否小於最小TU大小(S311)。而U大小小於最小TU大小時(於S311為是)，進行U區塊的分割處理(S312)。U大小不小於最小TU大小時(於S311為否)，進行YUV的切換處理(S204)。輸入的U與V的反轉換結果直接輸出至YUV結合部305，進行YUV的結合處理(S314)。

U大小小於最小TU大小時(於S311為是)，鄰接區塊分割部309將反轉換後的U區塊縱向一半及橫向一半地4分割，輸出至YUV結合部305(S312)。鄰接區塊分割部309將反轉換後的V區塊縱向一半及橫向一半地4分割，輸出至YUV結合部305(S313)。

YUV結合部305將Y成份、U成份及V成份結合，生成TU的像素值(S314)。TU結合部306將CU內的TU結合，生成CU(S315)。CU結合部307將圖像內的CU結合，生成圖像(S316)。

<效果>

以上，依據本實施形態，即使不將CU內之Y全部進行解碼，亦可將U及V進行解碼，變得不再須要將Y及U的解碼結果加以緩衝，可削減緩衝用的記憶體或記錄器。

又，即使TU大小為最小TU大小，且如4：2：0或4：2：2格式等U或V的像素值少於Y的像素值時，亦不會低於最小TU大小。因此，變得可不設置小於最小TU的反轉換電路。又，若考量：為使U或V不低於最小TU，而無法使Y為最小TU大小的情況，藉由相關之構成，可使Y為最小TU大小， 關係到編碼效率提升。

又，於本實施形態中，係使用4：2：0格式，但亦可使用4：2：2或4：4：4等其他格式。使用4：2：2格式時，亦可係鄰接區塊分割部309不將U區塊及V區塊進行4分割處理(圖12的S312及S313)，而係將U區塊及V區塊左右2分割。

又，於本實施形態中，CU大小及TU大小係從外部輸入。然而，CU大小及TU大小亦可存在於編碼列內。並且，亦可係解碼部301將CU大小及TU大小進行解碼而取得。

又，使用圖5的編碼列時，亦可係鄰接區塊分割部309不判斷U區塊是否結束解碼(圖12的S304)，而係判斷處理對象的U區塊是否存在。而處理對象的U區塊不存在時，圖像解碼裝置亦可跳過相對於U及V的處理(圖12的S305~S314)。藉此，與圖3的編碼列相同，圖像解碼裝置可將圖5的編碼列進行解碼。

(第4實施形態)

<構成>

圖13係顯示本實施形態之圖像解碼裝置的構成。該圖像解碼裝置係將以第2實施形態所示之圖像編碼裝置進行編碼的編碼列，加以解碼時所使用者。與上述第3實施形態係YUV切換部308相異，因此，僅說明YUV切換部308。

YUV切換部308係按照TU大小及指定之最小區塊大小切換解碼部301的輸出目的地。具體而言，依TU大小及最小區塊大小之中任一較大的每資料單位，將解碼部301的輸出目的地切換為Y反轉換部302、U反轉換部303及V反轉換 部304之任一。

<動作>

接著，一面參照圖14，一面針對解碼流程作說明。首先，YUV切換部308判斷TU大小是否小於最小區塊大小(S401)。而TU大小小於最小區塊大小時(於S401為是)，進行解碼的判斷處理(S411)。TU大小不小於最小區塊大小時(於S401為否)，進行YUV的切換處理(S402)。

又，圖像解碼裝置係對1個CU內全部TU實施相對於TU的處理(S401~S421)，因此，反覆進行CU內TU個數次的處理。又，圖像解碼裝置係對1張圖像內全部CU實施相對於CU的處理(S401~S422)，因此，反覆進行圖像內CU個數次的處理。

判斷後，TU大小不小於最小區塊大小時(於S401為否)，YUV切換部308將解碼部301的輸出目的地切換為Y反轉換部302(S402)。解碼部301將編碼列進行解碼，往Y反轉換部302輸出(S403)。Y反轉換部302對Y實施反轉換處理，將反轉換後的結果輸出至YUV結合部305(S404)。

接著，YUV切換部308將解碼部301的輸出目的地切換為U反轉換部303(S405)。解碼部301將編碼列進行解碼，往U反轉換部303輸出(S406)。U反轉換部303對U實施反轉換處理，將反轉換後的結果輸出至YUV結合部305(S407)。

接著，YUV切換部308將解碼部301的輸出目的地切換為V反轉換部304(S408)。解碼部301將編碼列進行解碼，往V反轉換部304輸出(S409)。V反轉換部304對V實施反轉換 處理，將反轉換後的結果輸出至YUV結合部305(S410)。

TU大小為小於最小區塊大小時(於S401為是)，YUV切換部308判斷現正進行解碼的區塊是否已結束解碼(S411)。而區塊已結束解碼時(於S411為是)，進行YUV的結合處理(S421)。區塊未結束解碼時(於S411為否)，進行YUV的切換處理(S412)。

具體而言，區塊未結束解碼時(於S411為否)，YUV切換部308將解碼部301的輸出目的地切換為Y反轉換部302(S412)。解碼部301將編碼列進行解碼，往Y反轉換部302輸出(S413)。又，圖像解碼裝置係對最小區塊內全部TU實施相對於Y的處理(S413~S414)，因此，反覆進行最小區塊內TU個數次的處理。Y反轉換部302對Y實施反轉換處理，將反轉換後的結果輸出至YUV結合部305(S414)。

接著，YUV切換部308將解碼部301的輸出目的地切換為U反轉換部303(S415)。解碼部301將編碼列進行解碼，往U反轉換部303輸出(S416)。又，圖像解碼裝置係對最小區塊內全部TU實施相對於U的處理(S416~S417)，因此，反覆進行最小區塊內TU個數次的處理。U反轉換部303對U實施反轉換處理，將反轉換後的結果輸出至YUV結合部305(S417)。

接著，YUV切換部308將解碼部301的輸出目的地切換為V反轉換部304(S418)。解碼部301將編碼列進行解碼，往V反轉換部304輸出(S419)。又，圖像解碼裝置係對最小區塊內全部TU實施相對於V的處理(S419~S420)，因此，反覆 進行最小區塊內TU個數次的處理。V反轉換部304對V實施反轉換處理，將反轉換後的結果輸出至YUV結合部305(S420)。

分別對Y、U及V進行處理後，YUV結合部305將Y成份、U成份及V成份結合，生成TU的像素值(S421)。TU結合部306係將CU內的TU結合，生成CU(S422)。CU結合部307將圖像內的CU結合，生成圖像(S423)。

<效果>

以上，依據本實施形態，可將Y、U及V分別匯整成數區塊來處理，且可將Y、U及V各自的輸出圖像以某程度一筆地輸出。藉此，達到資料傳送效率的提升。又，將YUV的資料單位以複數演算器並列處理時，可抑制YUV共計之像素值的偏差，達到演算器之運轉率的提升。

(第5實施形態)

於本實施形態中，明確性地表示包含於第1~4實施形態之特徵性構成及順序。本實施形態之構成及順序與第1~4實施形態所示之構成及順序相對應。即，第1~4實施形態所示之概念包含有本實施形態之構成及順序。

圖15A係顯示本實施形態之圖像編碼裝置的構成的區塊圖。圖15A所示之圖像編碼裝置500係將圖像依每編碼單位進行編碼。又，圖像編碼裝置500具有頻率轉換部501及編碼部502。頻率轉換部501與第1實施形態或第2實施形態所示之Y轉換部105、U轉換部106及V轉換部107等相對應。編碼部502係與第1實施形態或第2實施形態所示之編碼部 108等相對應。

圖15B係用以說明圖15A所示之圖像編碼裝置500的動作的流程圖。

首先，頻率轉換部501係將編碼單位中的複數轉換單位的亮度資料與色差資料進行頻率轉換(S501)。該編碼單位包含有複數預定區塊。複數預定區塊分別相當於1個以上的轉換單位。

接著，編碼部502將已進行頻率轉換的亮度資料、與已進行頻率轉換的色差資料進行編碼，而將編碼列輸出(S502)。該編碼列係亮度資料與色差資料依每預定區塊一起經匯整的編碼列。

藉此，可削減用以將複數轉換單位之資料加以緩衝的記憶體或記錄器。即，圖像有效率地進行編碼。

圖16A係顯示本實施形態之圖像解碼裝置的構成的區塊圖。圖16A所示之圖像解碼裝置600係將圖像依每編碼單位進行解碼。又，圖像解碼裝置600具有解碼部601及反頻率轉換部602。解碼部601與第3實施形態或第4實施形態所示之解碼部301等相對應。反頻率轉換部602係與第3實施形態或第4實施形態所示之Y反轉換部302、U反轉換部303及V反轉換部304等相對應。

圖16B係用以說明圖16A所示之圖像解碼裝置600的動作的流程圖。

首先，解碼部601取得編碼列，來將亮度資料與色差資料進行解碼(S601)。該編碼列係編碼單位中的複數轉換單位 的亮度資料與色資料進行頻率轉換、編碼，依每預定區塊一起經匯整的編碼列。又，該編碼單位包含有複數預定區塊。複數預定區塊分別相當於1個以上的轉換單位。

接著，反頻率轉換部602將已進行解碼的亮度資料、與已進行解碼的色差資料進行反頻率轉換(S602)。

藉此，可削減用以將複數轉換單位之資料加以緩衝的記憶體或記錄器。即，圖像有效率地進行解碼。

又，例如，亦可係複數預定區塊分別相當於轉換單位。又，例如，亦可係複數預定區塊分別相當於預定大小之區塊中的複數轉換單位，或預定大小以上的轉換單位。預定大小亦可係轉換單位之預定最小大小的2倍，亦可係4倍。預定大小亦可根據圖像格式來切換。

又，例如，亦可係：於編碼列中，複數預定區塊各自的亮度資料與色差資料連續，一起匯整。又，例如，亦可係：於編碼列中，預定區塊中的複數轉換單位的色差資料全部，係後於預定區塊中的複數轉換單位的亮度資料全部配置。又，例如，亦可係：於編碼列中，第2預定區塊的亮度資料及色差資料係後於第1預定區塊的亮度資料及色差資料配置。

又，例如，亦可係：頻率轉換部501係將亮度資料與色差資料依每轉換單位進行頻率轉換，反頻率轉換部602係將亮度資料與色差資料依每轉換單位進行反頻率轉換。又，例如，亦可係：色差資料的像素值少於亮度資料的像素值時，頻率轉換部501係將色差資料依每預定區塊進行頻率轉 換，反頻率轉換部602係將色差資料依每預定區塊進行反頻率轉換。

又，例如，亦可係：頻率轉換部501係將預定大小以下之區塊中的複數轉換單位的色差資料結合，一次地將所結合的色差資料進行頻率轉換。頻率轉換部501亦可於轉換單位的大小為已預先決定之最小大小、且轉換單位之色差資料的像素值少於轉換單位之亮度資料的像素值時，進行此般處理。圖像編碼裝置500亦可具有將複數轉換單位的色差資料結合的結合部。

又，例如，亦可係：反頻率轉換部602係一次地將預定大小以下之區塊中的複數轉換單位的色差資料進行反頻率轉換。反頻率轉換部602亦可於轉換單位的大小為已預先決定之最小大小、且轉換單位之色差資料的像素值少於轉換單位之亮度資料的像素值時，進行此般處理。圖像解碼裝置600亦可具有將色差資料分割的分割部。

又，例如，圖像編碼解碼裝置亦可具有圖像編碼裝置500及圖像解碼裝置600。又，於其他實施形態所示之構成元件亦可追加於圖像編碼裝置500或圖像解碼裝置600。

於以上之各實施形態中，通常功能區塊分別可藉MPU(Micro-Processing Unit)或記憶體等來實現。又，通常利用功能區塊各自的處理可藉由軟體(程式)來實現，該軟體係記錄於ROM(Read Only Memory：唯讀記憶體)等記錄媒體。並且，亦可藉由下載等發佈此般軟體。又，各功能區塊當然可藉由硬體(專用電路)來實現。

又，於各實施形態所說明的處理亦可藉由使用單一裝置(系統)而集中處理來實現，或亦可藉由使用複數裝置而分散處理來實現。又，執行上述程式的電腦亦可係單數，亦可係複數。即，亦可進行集中處理，或亦可進行分散處理。

本發明非限定於以上實施形態，可作各式各樣的變更，其當然亦包含在本發明之範圍內。例如，其他處理部亦可執行特定處理部所執行的處理。又，亦可變更執行處理的順序，亦可同時執行複數處理。

又，如上述，於上述各實施形態中，各構成元件亦可以專用的硬體所構成，或亦可藉由執行各構成元件之適用的軟體程式來實現。各構成元件亦可係藉由CPU或處理器等程式執行部將記錄於硬體或半導體記憶體等記錄媒體的軟體讀出來加以實現。在此，執行上述各實施形態的圖像編碼裝置等的軟體係如接下來的程式。

即，該程式係於電腦執行圖像編碼方法，圖像編碼方法係將圖像依每編碼單位進行編碼，該圖像編碼方法包含以下步驟：頻率轉換步驟，其係將包含有複數預定區塊之編碼單位中的複數轉換單位的亮度資料與色差資料，進行頻率轉換，前述複數預定區塊分別係相當於1個以上的轉換單位；及編碼步驟，其係將已進行頻率轉換的前述亮度資料、與已進行頻率轉換的前述色差資料進行編碼，而將編碼列輸出，該編碼列係將前述亮度資料與前述色差資料依每前述預定區塊一起經匯整者。

又，該程式亦可係於電腦執行圖像解碼方法，圖像解 碼方法係將圖像依每編碼單位進行解碼，該圖像解碼方法包含以下步驟：解碼步驟，其係取得編碼列，該編碼列係將包含有複數預定區塊之編碼單位中的複數轉換單位的亮度資料與色差資料進行頻率轉換、編碼，且依每前述預定區塊一起經匯整者，且前述複數預定區塊分別係相當於1個以上的轉換單位，來將前述亮度資料與前述色差資料進行解碼；及反頻率轉換步驟，其係將已進行解碼的前述亮度資料、與已進行解碼的前述色差資料進行反頻率轉換。

以上，根據實施形態，針對一個或複數態樣之圖像編碼方法及圖像解碼方法作說明，但本發明非限定於該實施形態者。只要未脫離本發明之主旨，亦可係將相關領域者可思及之各種變形實施於本實施形態者、或係組合相異實施形態之構成元件而構建的形態，包含於一個或複數態樣的範圍內。

(第6實施形態)

將用以實現上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成的程式記錄於記憶媒體，藉此可於將上述各實施形態所示之處理獨立的電腦系統簡單地實施。記憶媒體係磁性光碟、光碟、光磁性光碟、IC卡、半導體記憶體等，只要係可記錄程式者即可。

在此，更進一步地說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例與使用此應用例的系統。該系統之特徵在 於：具有由使用圖像編碼方法之圖像編碼裝置、及使用圖像解碼方法之圖像解碼裝置所形成的圖像編碼解碼裝置。關於系統中之其他構成，可因應情況而適當地變更。

圖17係顯示將內容傳送服務加以實現的內容供給系統ex100的整體構成的圖。將通訊服務的提供區域分割成希望的大小，於各單元內分別設置固定無線台，即基地台ex106、ex107、ex108、ex109、ex110。

該內容供給系統ex100於網路ex101從網路服務提供者ex102及電話網ex104、及基地台ex106，透過ex110與電腦ex111、PDA(Personal Digital Assistant：個人數位助理)ex112、照相機ex113、行動電話ex114、遊戲機ex115等各機器連接。

然而，內容供給系統ex100非限定於如圖17之構成，係可結合任一元件而連接。又，亦可從固定無線台(即基地台ex106)不透過ex110，直接連接各機器與電話網ex104。又，各機器亦可透過近距離無線等而直接相互地連接。

照相機ex113係可進行數位視訊照相機等動態攝影的機器，照相機ex116係可進行數位照相機等靜態圖像攝影、動態圖像攝影的機器。又，行動電話ex114可為GSM(登錄商標)(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或者LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)的行動電話、或者PHS(Personal Handyphone System) 等任一。

在內容供給系統ex100中，照相機ex113等通過基地台ex109、電話網ex104，與串流伺服器ex103連接，藉此可現場傳送等。在現場傳送中，使用者使用照相機ex113對攝影的內容(例如音樂現場的影像等)，進行如上述各實施形態所說明的編碼處理(即，作為本發明之一態樣的圖像編碼裝置而作用)，傳送至串流伺服器ex103。另一方面，串流伺服器103對有需求的用戶端進行串流傳送已發送的內容資料。用戶端係可將上述已進行編碼處理的資料加以解碼的電腦ex111、PDAex112、照相機ex113、行動電話ex114、遊戲機ex115等。在接收所傳送之資料的各機器中，將已接收的資料進行解碼處理、再生(即，作為本發明之一態樣的圖像解碼裝置而作用)。

又，已進行攝影之資料的編碼處理可在照相機ex113進行，亦可由進行資料之發送處理的串流伺服器ex103進行，亦可互相分擔進行。同樣地，已傳送之資料的解碼處理可在用戶端進行，亦可在串流伺服器ex103進行，亦可互相分擔進行。又，不限定於照相機ex113，亦可將在照相機ex116所攝影之靜態圖像及/或動態圖像資料，透過電腦ex111發送至串流伺服器ex103。此時的編碼處理可在照相機ex116、電腦ex111、串流伺服器ex103之任一進行，亦可互相分擔來進行。

又，一般這些編碼、解碼處理係於電腦ex111或各機器所具有的LSI(大型積體電路)ex500進行處理。LSIex500可由 單晶片或複數晶片所構成。又，亦可將動態圖像編碼、解碼用的軟體組入於電腦ex111等可讀取之任何記錄媒體(CD-ROM(唯讀光碟)、軟性磁碟、硬碟等)，使用該軟體來進行編碼、解碼處理。更進一步，在附有照相機之行動電話ex114的情況下，亦可將在該照相機所取得的動態圖像資料發送。此時的動態圖像資料係在行動電話ex114所具有之LSIex500進行編碼處理的資料。

又，串流伺服器ex103亦可係複數的伺服器或複數的電腦，將資料分散來處理、記錄而傳送者。

如以上，在內容供給系統ex100中，可將已編碼的資料由用戶端接收而再生。依此，在內容供給系統ex100中，使用者可將已發送的資訊即時地由用戶端接收而解碼、再生，且即使係未具有特別權利或設備的使用者，亦可實現個人播送。

又，不限定於內容供給系統ex100之例，如圖18所示，亦可將上述各實施形態之動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)至少其中之一組入於數位播放用系統ex200。具體而言，播放基台ex201將多工資料透過電波通訊或傳輸至衛星ex202，該多工資料係音樂資料於影像資料加以多工者。該影像資料係藉由於上述各實施形態所說明的動態圖像編碼裝置而進行編碼的資料(即，藉由本發明之一態樣的圖像編碼裝置而進行編碼的資料)。接收此資料的播放衛星ex202將播放用的電波發送，可接收衛星播放之家庭的天線ex204接收該電波。電視機 (接收器)ex300或視訊盒(STB)ex217等裝置將所接收的多工資料進行解碼、再生(即，作為本發明之一態樣的圖像解碼裝置而作用)。

又，亦可於讀取器/記錄器ex218安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置，讀取器/記錄器ex218係將記錄於DVD(數位視訊光碟)、BD(藍光光碟)等記錄媒體ex215的多工資料讀取、進行解碼，或係於記錄媒體ex215將影像訊號進行編碼，更根據情況將音樂訊號加以多工、寫入。此時，已再生的影像訊號可顯示於顯示器ex219，而藉由記錄多工資料的記錄媒體ex215，可於其他裝置或系統將影像資料再生。又，亦可於與有線電視機用的纜線ex203或衛星/地上波播放的天線ex204連接的視訊盒ex217內，安裝動態圖像解碼裝置，將其顯示於電視機的顯示器ex219。此時，不於視訊盒組入動態圖像解碼裝置，而係於電視機內組入動態圖像解碼裝置。

圖19係顯示使用上述各實施形態所說明的動態圖像解碼方法及動態圖像編碼方法之電視機(接收器)ex300的圖。電視機ex300具有：調諧器ex301，其係透過接收上述播放的天線ex204或纜線ex203等取得或輸出多工資料，該多工資料係聲音資料於影像資料加以多工者；調變/解調部ex302，其係將所接收的多工資料解調，或將發送至外部的多工資料調變；及多工/解多工部ex303，其係將已解調的多工資料解多工為影像資料與聲音資料，或將於訊號處理部ex306已進行編碼的影像資料、聲音資料加以多工。

又，電視機ex300具有：訊號處理部ex306，其具有將聲音資料、影像資料分別進行解碼，或者將其各自的資訊進行編碼的聲音訊號處理部ex304、影像訊號處理部ex305(作為本發明之一態樣的圖像編碼裝置或圖像解碼裝置而作用)；及輸出部ex309，其具有將已解碼的聲音訊號輸出的揚聲器ex307、顯示已解碼之影像訊號的顯示器等顯示部ex308。電視機ex300更具有介面部ex317，其具有接收使用者操作輸入的操作輸入部ex312等。更進一步，電視機ex300具有總括地控制各部的控制部ex310、供給電力至各部的電源電路部ex311。介面部ex317除了操作輸入部ex312之外，亦可具有：與讀取器/記錄器ex218等外部機器連接的電橋ex313、用以可安裝SD卡(安全數碼卡)等記錄媒體ex216的插槽部ex314、用以與硬碟等外部記錄媒體連接的驅動器ex315、與電話網連接的數據機ex316等。又，記錄媒體ex216係藉由儲存的非揮發性/揮發性半導體記憶元件，可電性地記錄資訊者。電視機ex300之各部透過同期匯排流而互相連接。

首先，針對電視機ex300將藉由天線ex204等從外部所取得的多工資料進行解碼、再生的構成作說明。電視機ex300接收從遠程控制器ex220等使用者操作，並根據具有CPU(中央處理器)等的控制部ex310的控制，將於調變/解調部ex302所解調的多工資料於多工/解多工部ex303解多工。更進一步，電視機ex300於聲音訊號處理部ex304將已解多工的聲音資料進行解碼，並使用上述各實施形態所說明的 解碼方法，於影像訊號處理部ex305將已解多工的影像資料進行解碼。已解碼的聲音訊號、影像訊號各自從輸出部ex309向外部而輸出。在輸出之際，為使聲音訊號與影像訊號同期、再生，可暫時地將該等訊號內存於緩衝器ex318、ex319等。又，電視機ex300亦可不從播放等，而從磁性/光碟片、SD卡等記錄媒體ex215、ex216，將多工資料讀出。接著，針對電視機ex300將聲音訊號或影像訊號進行編碼，發送至外部或寫入記錄媒體等的構成作說明。電視機ex300接收從遠程控制器ex220等使用者操作，並根據控制部ex310的控制，於聲音訊號處理部ex304將聲音訊號進行編碼，且使用上述各實施形態所說明的編碼方法，於影像訊號處理部ex305將影像訊號進行編碼。已編碼的聲音訊號、影像訊號於多工/解多工部ex303進行多工而輸出至外部。在進行多工時，為使聲音訊號與影像訊號同期，可暫時將該等訊號內存於緩衝器ex320、ex321等。又，緩衝器ex318、ex319、ex320、ex321亦可如圖示具有複數個，亦可係共有1個以上的緩衝器的構成。更進一步，除了圖示之外，例如調變/解調部ex302或多工/解多工部ex303之間等亦可作為避免系統溢位、下溢的緩衝材，使資料內存於緩衝器。

又，電視機ex300除了從播放等或記錄媒體等取得聲音資料、影像資料之外，亦可對從其所具有之接收傳聲器或照相機之AV(視聽)輸入的構成而取得的資料，進行編碼處理。又，在此，電視機ex300係作為可進行上述編碼處理、多工、及外部輸出之構成而說明，但亦可係無法進行該等 處理，而只可進行上述接收、解碼處理、外部輸出之構成。

又，於讀取器/記錄器ex218從記錄媒體讀出多工資料或寫入時，上述解碼處理或編碼處理可藉由電視機ex300、讀取器/記錄器ex218之任一來進行，亦可係電視機ex300與讀取器/記錄器ex218互相分擔來進行。

作為一例，將從光碟進行資料的讀入或寫入時之資訊再生/記錄部ex400的構成顯示於圖20。資訊再生/記錄部ex400具有以下說明的元件ex401、ex402、ex403、ex404、ex405、ex406、ex407。光學磁頭ex401將雷射光點照射在光碟(即記錄媒體ex215)之記錄面，寫入資訊，並測出從記錄媒體ex215之記錄面的反射光，讀入資訊。調變記錄部ex402係電性地驅動光學磁頭ex401所內裝的半導體雷射，並因應記錄資料，進行雷射光的調變。再生解調部ex403係將再生訊號放大，將記錄媒體ex215所記錄之訊號成份解多工而解調，再生所需資訊，再生訊號係藉由光學磁頭ex401所內裝的光偵測器，電性地測出從記錄面的反射光者。緩衝器ex404係將用以記錄於記錄媒體ex215之資訊，以及從記錄媒體ex215所再生之資訊暫時地保存。光碟馬達ex405係使記錄媒體ex215旋轉。伺服器控制部ex406係一面控制光碟馬達ex405的旋轉驅動、一面使光學磁頭ex401移動於預定的資訊軌道，來進行電射光點的追蹤處理。系統控制部ex407係進行資訊再生/記錄部ex400整體的控制。實現上述讀出或寫入的處理係藉由：系統控制部ex407利用保存於緩衝器ex404之各種資訊，又因應需要進行新的資訊的生 成、追加之同時，一面使調變記錄部ex402、再生解調部ex403、伺服器控制部ex406動作協調，一面使光學磁頭ex401通過，來進行資訊的記錄再生。系統控制部ex407例如係以微處理器所構成，藉由執行讀出、寫入的程式，來執行這些處理。

以上，光學磁頭ex401係作為將雷射光點照射來說明，但亦可係使用近場光學，進行更高密度之記錄的構成。

於圖21顯示光碟(即記錄媒體ex215)的示意圖。記錄媒體ex215之記錄面形成有螺旋狀的引導溝(溝槽)，於資訊軌道ex230記錄有門牌號碼資訊，該門牌號碼資訊係根據預先溝槽的形狀變化，表示光碟上的絕對位置。該門牌號碼資訊包含有用以將記錄資料之單位(即記錄區塊ex231)的位置特定的資訊，並於進行記錄或再生的裝置，將資訊軌道ex230再生、讀取門牌號碼資訊，藉此將記錄區塊加以特定。又，記錄媒體ex215包含有資料記錄區域ex233、內圍區域ex232、外圍區域ex234。用於為了記錄使用者資料的區域係資料記錄區域ex233，配置於較資料記錄區域ex233內周、外周的內圍區域ex232與外圍區域ex234，係用於記錄使用者資料之外的特定用途。資訊再生/記錄部ex400對此般記錄媒體ex215的資料記錄區域ex233，進行多工資料的讀寫，該多工資料係將已編碼之聲音資料、影像資料或該等聲音資料、影像資料加以多工者。

以上，係舉1層的DVD、BD等光碟為例作說明，但非限定於此，亦可係於多層構造、於表面之外可記錄的光碟。 又，亦可係於光碟相同位置使用各式各樣相異的波長顏色的光來記錄資訊，或從各式各樣的角度來記錄相異的資訊層等，進行多元性記錄/再生之構造的光碟。

又，於數位播放用系統ex200中，亦可藉由具有天線ex205的汽車ex210從衛星ex202等接收資料，將動態圖像於汽車ex210所具有的汽車導航系統ex211等顯示裝置再生。又，若考量了汽車導航系統ex211的構成例如係圖19所示之構成中加入GPS(全球定位系統)接收部的構成，則電腦ex111或行動電話ex114等亦同。

圖22A係顯示使用上述實施形態所說明的動態圖像解碼方法及動態圖像編碼方法的行動電話ex114的圖。行動電話ex114具有：天線ex350，其係於與基地台ex110之間，用以發送、接收電波者；照相機部ex365，其係可對影像、靜態圖像進行攝影者；顯示部ex358，其係將於照相機部ex365所拍攝的影像、於天線ex350所接收的影像等已進行解碼之資料加以顯示的液晶顯示器等。行動電話ex114更具有：本體部，其具有操作鍵部ex366；聲音輸出部ex357，其係用以輸出聲音的揚聲器等；聲音輸入部ex356，其係用以輸入聲音的麥克風等；記憶體部ex367，其係將已拍攝之影像、靜態圖像、已錄音的聲音、或已接收之影像、靜態圖像、郵件等已進行編碼之資料或已進行解碼之資料加以保存者；或插槽部ex364，其係與記錄媒體同樣保存資料的界面部者。

更進一步，針對行動電話ex114的構成例，使用圖22B 作說明。行動電話ex114係相對總括地控制本體部之各部的主控制部ex360，透過匯流排ex370，與電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、照相機I/F部ex363、LCD(Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/解多工部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367而互相連接，其中本體部係具有顯示部ex358及操作鍵部ex366。

若電源電路部ex361藉由使用者的操作，結束通話及電源按鍵呈on狀態時，則從電池組對各部供給電力，藉此，使行動電話ex114於可動作的狀態啟動。

行動電話ex114根據具有CPU、ROM、RAM等之主控制部ex360的控制，在聲音通話模式時，將於聲音輸入部ex356所收音的聲音訊號，於聲音訊號處理部ex354轉換為數位聲音訊號，並將其於調變/解調部ex352進行展頻處理，於發送/接收部ex351施行數位類比轉換處理及頻率轉換處理後，透過天線ex350而發送。又，行動電話ex114係在聲音通話模式時，透過天線ex350將所接收的接收資料放大，施行頻率轉換處理及類比數位轉換處理，並於調變/解調部ex352進行反展頻處理，於聲音訊號處理部ex354轉換為類比聲音訊號後，將其從聲音輸出部ex357輸出。

更進一步，在資料通訊模式時，於發送電子郵件的情況下，藉由本體部之操作鍵部ex366等操作而輸入之電子郵件的內文資料，係透過操作輸入控制部ex362送出至主控制部ex360。主控制部ex360係將內文資料於調變/解調部ex352 進行展頻處理，於發送/接收部ex351施行數位類比轉換處理及頻率轉換處理後，透過天線ex350而發送至基地台ex110。於接收電子郵件的情況下，大致對所接收的資料進行與此相反的處理，輸出至顯示部ex358。

在資料通訊模式時，於發送影像、靜態圖像、或影像與聲音的情況下，影像訊號處理部ex355係將從照相機部ex365所供給的影像訊號，藉由上述各實施形態所示之動態圖像編碼方法，進行壓縮編碼(即，作為本發明之一態樣的圖像編碼裝置而作用)，將所編碼的影像資料送出至多工/解多工部ex353。又，聲音訊號處理部ex354係影像、靜止圖像等於照相機部ex365拍攝中，將聲音輸入部ex356所收音的聲音訊號進行編碼，將所編碼的聲音資料送出至多工/解多工部ex353。

多工/解多工部ex353係將從影像訊號處理部ex355所供給之已編碼的影像資料、與從聲音訊號處理部ex354所供給之已編碼的聲音資料，以預定方式加以多工，結果，將所得到的多工資料於調變/解調部(調變/解調電路部)ex352，進行展頻處理，於發送/接收部ex351施行數位類比轉換處理及頻率轉換處理後，透過天線ex350而發送。

在資料通訊模式時，於接收首頁等所連結之動態圖像檔之資料的情況下，或者接收添附有影像及、或聲音的電子郵件的情況下，為了將透過天線ex350而接收的多工資料進行解碼，多工/解多工部ex353將多工資料解多工，藉此使影像資料的位元串流與聲音資料的位元串流分開，並透過 同期匯流排ex370將已編碼之影像資料供給至影像訊號處理部ex355，且將已編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355係藉由與上述各實施形態所示之動態圖像編碼方法相對應的動態圖像解碼方法進行解碼，藉此將影像訊號進行解碼(即，作為本發明之一態樣的圖像解碼裝置而作用)，透過LCD控制部ex359從顯示部ex358顯示：例如包含於首頁所連結之動態圖像檔的影像、靜態圖像。又，聲音訊號處理部ex354將聲音訊號進行解碼，從聲音輸出部ex357輸出聲音。

又，上述行動電話ex114等端末與電視機ex300相同，除了具有編碼器、解碼器兩者之發送、接收型端末之外，還可考慮只有編碼器的發送端末，只有解碼器的接收端末等3種安裝形式。更進一步，數位播放用系統200係作為接收、發送於影像資料多工音樂資料等多工資料來說明，但除了聲音資料之外，亦可係多工與影像關連的文字資料等資料，亦可係影像資料本身而不是多工資料。

依此，可將上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法應用於上述任一機器、系統，如此一來，可獲得於上述各實施形態所說明的效果。

又，本發明非限定於相關上述實施形態者，在未脫離本發明的範圍內，可作各式各樣的變形或修正。

(第7實施形態)

因應需求，適當地切換於上述各實施形態所示之動態圖像編碼方法或裝置、與依據MPEG-2、MPEG4-AVC、VC-1 等相異規格的動態圖像編碼方法或裝置，藉此可生成影像資料。

於此，在將依據各自相異之規格的複數影像資料生成的情況下，於進行解碼時，必須選擇與各規格對應的解碼方法。然而，進行解碼的影像資料無法識別係依據何種規格，因此，產生無法選擇適當之解碼方法的課題。

為了解決此課題，於影像資料多工聲音資料的多工資料係使影像資料為：包含有表示依據何種規格之識別資訊的構成。以下，將對包含有藉由上述各實施形態所示之動態圖像編碼方法或裝置而生成之影像資料的多工資料的具體構成作說明。多工資料係MPEG-2傳輸串流形式的數位串流。

圖23係顯示多工資料之構成的圖。如圖23所示，多工資料係藉由將視訊串流、音訊串流、表示圖形串流(PG)、交互圖形串流之中1個以上，進行多工而得之。視訊串流係顯示電影的主影像及副影像，音訊串流(IG)係顯示電影的主聲音部分與混合該主聲音的副聲音，表示圖形串流係顯示電影的字幕。在此，主影像係顯示畫面所顯示之一般影像，副影像係於主影像中以小畫面顯示之影像。又，交互圖形串流係表示藉由配置GUI零件於畫面上所作成的對話畫面。視訊串流係藉由上述各實施形態所示之動態圖像編碼方法或裝置、依據習知之MPEG-2、MPEG4-AVC、VC-1等規格的動態圖像編碼方法或裝置而進行編碼。音訊串流係以杜比(Dolby)-AC-3、Dolby Digital Plus、MLP(多級程序)、 DTS(資料傳輸系統)、或linear PCM等方式進行編碼。

包含於多工資料的各串流係藉由PID(圖像輸入裝置)而識別。例如，利用於電影之影像的視訊串流係分配為0x1011，音訊串流係分配為0x1100至0x111F，表示圖形串流係分配為0x1200至0x121F，交互圖形串流係分配為0x1400至0x141F，利用於電影之副影像的視訊串流係分配為0x1B00至0x1B1F，利用於與主聲音混合之副聲音的音訊串流係分配為0x1A00至0x1A1F。

圖24係顯示多工資料如何加以多工的示意圖。首先，將由複數視訊框所形成的視訊串流ex235、由複數音訊框所形成的音訊串流ex238分別轉換成PES封包列ex236及ex239、TS封包ex237及ex240。相同地，將表示圖形串流ex241及交互圖形串流ex244的資料分別轉換成PES封包列ex242及ex245，更進一步，轉換成TS封包ex243及ex246。多工資料ex247係藉由將該等TS封包多工為1條串流而構成。

圖25係更詳細地表示視訊串流如何儲存於PES封包列的圖。圖25之第1層係表示視訊串流的視訊框列，第2層係表示PES封包列。如圖25的箭頭yy1、yy2、yy3、yy4所示，視訊串流之複數視訊表示單元(video presentation unit)，即I圖片、B圖片、P圖片，係分割成每1圖片，且儲存於PES封包的酬載。各PES封包具有PES標頭，於PES標頭儲存有圖片的顯示時刻，即PTS(Presentation Time-Stamp：出現時戳)，或圖片的解碼時刻，即DTS(Decoding Time-Stamp：解 碼時間戳記)。

圖26係顯示最後寫入至多工資料之TS封包的形式。TS封包係由具有識別串流之PID等資訊、4Byte(位元組)的TS標頭、與儲存資料、184Byte的封包酬載所構成的188Byte固定長度封包，上述PES封包被分割且儲存於TS酬載。在BD-ROM(藍光光碟唯讀記憶體)的情況下，於TS封包賦予有4Byte的TP_Extra_Header，構成192Byte的原始封包，寫入至多工資料。於TP_Extra_Header記載有ATS(Arrival_Time_Stamp)等資訊。ATS係表示往該TS封包之解碼器的PID過濾器的轉送開始時刻。如圖26下層所示，於多工資料並列有原始封包，從多工資料之前頭增加的號碼稱為SPN(原始封包號碼)。

又，於多工資料所包含的TS封包，除了影像、聲音、字幕等各串流之外，還有PAT(Program Association Table：節目關聯表)、PMT(Program Map Table：節目映射表)、PCR(Program Clock Reference：節目時鐘基準)等。PAT係表示利用於多工資料中的PMT的PID為何，PAT本身的PID係登記為0。PMT具有多工資料所包含之影像、聲音、字幕等各串流的PID與對應於各PID之串流的屬性資訊，又，具有與多工資料相關的各種描述符。於描述符具有指示允許、不允許多工資料之複製的複製控制資訊等。PCR為了取得ATS之時間軸(即ATC(Arrival Time Clock))與PTS、DTS的時間軸(即STC(System Time Clock))的同期，其PCR封包具有與轉送至解碼器之ATS相對應的STC時間的資訊。

圖27係詳細地說明PMT之資料構造的圖。於PMT的前頭配置有記載該PMT所包含之資料長度等的PMT標頭。其後配置有與多工資料相關的複數描述符。上述複製控制資訊等係記載為描述符。於描述符之後配置有與多工資料所包含之各串流相關的複數串流資訊。串流資訊為了識別串流的壓縮編解碼器等，係由串流形式、串流的PID、串流的屬性資訊(框率、長寬比等)所記載之串流描述符而構成。串流描述符存在有存在於多工資料之串流的數量。

記錄於記錄媒體等時，上述多工資料係與多工資料資訊檔同時記錄。

如圖28所示，多工資料資訊檔係多工資料的管理資訊，與多工資料1對1相對應，且由多工資料資訊、串流屬性資訊與登錄圖(entry map)所構成。

如圖28所示，多工資料資訊係由系統率、再生開始時刻、再生結束時刻所構成。系統率係表示多工資料之稍後敘述之系統標的解碼器的PID檔的最大轉送率。多工資料中所包含的ATS的間隔係設定成系統率以下。再生開始時刻係多工資料之前頭的視訊框的PTS，再生結束時刻係設定成於多工資料之終端的視訊框的PTS加上每1框的再生間隔者。

如圖29所示，串流屬性資訊係關於多工資料所包含之各串流的屬性資訊登記在每PID。屬性資訊依每視訊串流、音訊串流、表示圖形串流、交互圖形串流具有相異的資訊。視訊串流屬性資訊具有：該視訊串流以何種壓縮編解碼器進行壓縮、長寬比多少、框率多少等資訊。音訊串流屬性 資訊具有：該音訊串流以何種壓縮編解碼器進行壓縮、包含於該音訊串流的頻道數為何、對應於何種語言、樣本頻率為多少等資訊。這些資訊係利用於播放裝置進行再生前解碼器的初始化。

於本實施形態中，在上述多工資料之中，係利用PMT所包含的串流形式。又，於記錄媒體記錄多工資料時，利用多工資料資訊所包含的視訊串流屬性資訊。具體而言，於上述各實施形態所示之動態圖像編碼方法或裝置中，對PMT所包含的串流形式，或視訊串流屬性資訊，設置將固有資訊加以設定的步驟或裝置，該固有資訊係表示由上述各實施形態所示之動態圖像編碼方法或裝置而生成的影像資料之一事。藉由此構成，可識別由上述各實施形態所示之動態圖像編碼方法或裝置而生成的影像資料、與依據其他規格的影像資料。

又，將本實施形態之動態圖像解碼方法的步驟顯示於圖30。於步驟exS100，從多工資料取得PMT所包含的串流形式，或者多工資料資訊所包含的視訊串流屬性資訊。接著，於步驟exS101，對表示串流形式，或視訊串流屬性資訊是否於上述各實施形態所示之動態圖像編碼方法或裝置而生成之多工資料一事進行判斷。然後，判斷串流形式，或視訊串流屬性資訊係於上述各實施形態所示之動態圖像編碼方法或裝置而生成者時，於步驟exS102，藉由於上述各實施形態所示之動態圖像解碼方法，進行解碼。又，表示串流形式，或視訊串流屬性資訊係依據習知之MPEG-2、 MPEG4-AVC、VC-1等規格者時，於步驟exS103，藉由依據習知之規格的動態圖像解碼方法，進行解碼。

依此，藉由於串流形式，或視訊串流屬性資訊設定新的固有值，於進行解碼之際，可判斷是否能以上述各實施形態所示之動態圖像解碼方法或裝置進行解碼。因此，即使在輸入依據相異規格的多工資料時，仍可選擇適當的解碼方法或裝置，因此，可不發生錯誤地進行解碼。又，可將本實施形態所示之動態圖像編碼方法或裝置，或者動態圖像解碼方法或裝置應用於上述任一機器、系統。

(第8實施形態)

於上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置係典型地於積體電路(即LSI(大型積體電路))實現。作為一例，於圖31顯示已進行單晶片化之LSIex500的構成。LSIex500具有於以下說明的元件ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，且各元件係透過匯流排ex510而連接。電源電路部ex505在電源為on狀態時，對各部供給電力，藉此，於可動作的狀態啟動。

例如在進行編碼處理時，LSIex500係根據具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等的控制部ex501的控制，藉由AV I/Oex509，從麥克風ex117或照相機ex113等將AV訊號輸入。所輸入的AV訊號暫時內存於SDRAM等外部的記憶體ex511。根據控制部ex501的控制，所內存的資料因應處理 量或處理速度分成適當數次等，而送至訊號處理部ex507，於訊號處理部ex507進行聲音訊號的編碼及/或影像訊號的編碼。在此，影像訊號的編碼處理係於上述各實施形態所說明的編碼處理。於訊號處理部ex507更因情況而進行將已編碼之聲音資料與已編碼之影像資料多工等處理，並從串流I/Oex506輸出至外部。該已輸出之多工資料係朝向基地台ex107發送，或寫入記錄媒體ex215。又，在進行多工時，為了同期，可暫時將資料內存於緩衝器ex508。

又，於上述，記憶體ex511係作為LSIex500之外部構成來說明，但亦可係包含於LSIex500之內部的構成。緩衝器ex508亦不限定於1個，亦可具有複數個緩衝器。又，可對LSIex500進行單晶片化，亦可進行複數晶片化。

又，於上述，使控制部ex501具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等，但控制部ex501的構成並不限定於此構成。例如，訊號處理部ex507係可更具有CPU的構成。於訊號處理部ex507之內部亦可設置CPU，藉此可更加提升處理速度。又，作為其他例，CPUex502亦可具有訊號處理部ex507，或訊號處理部ex507之一部分，即例如聲音訊號處理部的構成。在此般情況下，控制部ex501變為具有CPUex502的構成，該CPUex502具有訊號處理部ex507，或其一部分。

又，在此係LSI，但因積合度的差異，有時亦稱之為IC(積體電路)、系統LSI、Super LSI或者Ultra LSI。

又，積體電路化的方法不限定於LSI者，亦可藉由專用 電路或者通用處理器來實現。LSI製造後，亦可利用可程式化的FPGA(Field Programmable Gate Array：現場可程式閘陣列)，或者可將LSI內部之電路單元的連接或設定再構成的可重組態處理機。

更進一步，若因半導體技術之進步或者衍生出其他技術而出現置換LSI之積體電路化的技術的話，當然，亦可使用該技術，進行功能區塊的積體化。亦可能適用於生物技術。

(第9實施形態)

相較於將依據習知之MPEG-2、MPEG4-AVC、VC-1等規格的影像資料進行解碼的情況，將藉由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料進行解碼時，處理量會增加。因此，於LSIex500，必須設定高於將依據習知規格的影像資料進行解碼時之CPUex502的驅動頻率。然而，驅動頻率提高時，將產生消耗電力提升的課題。

為了解決此課題，使電視機ex300、LSIex500等動態圖像解碼裝置為：識別影像資料依據何種規格者，且因應規格切換驅動頻率的構成。圖32係顯示本實施形態的構成ex800。驅動頻率切換部ex803係在影像資料為上述各實施形態所示之動態圖像編碼方法或裝置所生成者時，提高設定驅動頻率。然後，對執行上述各實施形態所示之動態圖像解碼方法的解碼處理部ex801進行指示，以將影像資料進行解碼。另一方面，相較於影像資料為藉由上述各實施形 態所示之動態圖像編碼方法或裝置所生成者的情況，影像資料為依據習知規格的影像資料時，降低設定驅動頻率。然後，對依據習知規格的解碼處理部ex802進行指示，以將影像資料進行解碼。

更具體而言，驅動頻率切換部ex803係由圖31的CPUex502與驅動頻率控制部ex512所構成。又，執行上述各實施形態所示之動態圖像解碼方法的解碼處理部ex801、及依據習知規格的解碼處理部ex802係相當於圖31的訊號處理部ex507。CPUex502識別影像資料係依據何種規格者。然後，根據從CPUex502的訊號，驅動頻率控制部ex512設定驅動頻率數。又，根據從CPUex502的訊號，訊號處理部ex507進行影像資料的解碼。在此，影像資料的識別上，例如利用第7實施形態所記載之識別資訊。關於識別資訊，並不限定於第7實施形態所記載者，只要係可識別影像資料係依據何種規格即可。例如，根據識別影像資料係利用於電視機、或利用於光碟等的外部訊號，在可識別影像資料係依據何種規格者的情況下，亦可根據此般外部訊號進行識別。又，CPUex502之驅動頻率的選擇，例如可根據如圖34之使影像資料之規格與頻率數對應的對照表來進行。預先將對照表儲存於緩衝器ex508、或LSI的內部記憶體，CPUex502參照此對照表，藉此可選擇驅動頻率。

圖33係顯示實施本實施形態之方法的步驟。首先，於步驟exS200，訊號處理部ex507從多工資料取得識別資訊。接著，於步驟exS201，CPUex502根據識別資訊，識別影像 資料是否為由上述各實施形態所示之編碼方法或裝置而生成者。影像資料為由上述各實施形態所示之編碼方法或裝置而生成者時，於步驟exS202，CPUex502將提高設定驅動頻率的訊號送至驅動頻率控制部ex512。然後，驅動頻率控制部ex512設定成高的驅動頻率。另一方面，表示影像資料係依據習知之MPEG-2、MPEG4-AVC、VC-1等規格時，於步驟exS203，CPUex502將降低設定驅動頻率的訊號送至驅動頻率控制部ex512。並且，相較於影像資料為由上述各實施形態所示之編碼方法或裝置而生成者的情況，驅動頻率控制部ex512設定成低的驅動頻率。

更進一步，藉由將驅動頻率之切換聯動，變更給予LSIex500或包含LSIex500之裝置的電壓，可更提升省電效果。例如，相較於提高設定驅動頻率的情況，降低設定驅動頻率時，隨此降低設定給予LSIex500或包含LSIex500之裝置的電壓。

又，驅動頻率的設定方法係只要在進行解碼時之處理量大的情況，提高設定驅動頻率，在進行解碼時之處理量小的情況，降低設定驅動頻率即可，並不限定於上述設定方法。例如，將依據MPEG4-AVC規格的影像資料進行解碼的處理量，大於將由上述各實施形態所示之動態圖像編碼方法或裝置而生成的影像資料進行解碼的處理量時，可使驅動頻率的設定與上述情況相反。

更進一步，驅動頻率的設定方法並不限定於將驅動頻率降低之構成。例如，識別資訊表示為由上述各實施形態 所示之動態圖像編碼方法或裝置而生成的影像資料時，提高設定給予LSIex500或包含LSIex500之裝置的電壓，表示依據習知之MPEG-2、MPEG4-AVC、VC-1等規格的影像資料時，降低設定給予LSIex500或包含LSIex500之裝置的電壓。又，作為其他例，識別資訊表示為由上述各實施形態所示之動態圖像編碼方法或裝置而生成的影像資料時，不使CPUex502的驅動停止，表示依據習知之MPEG-2、MPEG4-AVC、VC-1等規格的影像資料時，處理上充裕，因此，暫時使CPUex502的驅動停止。即使識別資訊表示為由上述各實施形態所示之動態圖像編碼方法或裝置而生成的影像資料時，若處理上充裕，亦可考慮暫時使CPUex502的驅動停止。相較於表示依據習知之MPEG-2、MPEG4-AVC、VC-1等規格的影像資料的情況，在此情況下，可考慮縮短設定停止時間。

依此，藉由因應影像資料所依據的規格，切換驅動頻率，可達到省電。又，使用電池來驅動LSIex500或包含LSIex500之裝置時，伴隨著省電，還可延長電池的壽命。

(第10實施形態)

有時於電視機、行動電話等上述機器、系統會輸入依據相異規格的複數影像資料。依此，為了即使在輸入依據相異規格之複數影像資料的情況亦可進行解碼，LSIex500的訊號處理部ex507必須與複數規格相對應。然而，當個別地使用與各規格相對應的訊號處理部ex507時，LSIex500的電路規模會變大，又產生成本增加的課題。

為了解決此課題，使用以執行上述各實施形態所示之動態圖像解碼方法的解碼處理部、與依據習知之MPEG-2、MPEG4-AVC、VC-1等規格的解碼處理部作為一部分共有的構成。將此構成例顯示於圖35A的ex900。例如，上述各實施形態所示之動態圖像解碼方法、與依據MPEG4-AVC規格的動態圖像解碼方法，係於熵編碼、反量化、解塊濾波、移動補償等處理中，處理內容為一部分共通。針對共通的處理內容，係共有與MPEG4-AVC規格相對應的解碼處理部ex902，針對與MPEG4-AVC規格不相對應、於本發明之一態樣特有的其他處理內容，係考慮使用專用的解碼處理部ex901的構成。特別地，因本發明之一態樣係於熵編碼具有特徵，例如，針對熵編碼係使用專用的解碼處理部ex901，除此之外的反量化、解塊濾波器、移動補償之任一，或針對全部的處理，則係共有解碼處理部。相關的解碼處理部的共有化，係針對共通的處理內容，共有用以執行上述各實施形態所示之動態圖像解碼方法的解碼處理部，針對於MPEG4-AVC規格特有的處理內容，亦可係使用專用的解碼處理部的構成。

又，將一部分共有化之處理的其他例顯示於圖35B。於此例中，係使用與本發明之一態樣特有之處理內容相對應之專用的解碼處理部ex1001、與其他習知規格特有之處理內容相對應之專用的解碼處理部ex1002、與本發明之一態樣的動態圖像解碼方法及其他習知規格的動態圖像解碼方法共通的處理內容相對應、共用的解碼處理部ex1003的構 成。在此，專用的解碼處理部ex1001、ex1002非必然為本發明之一態樣，或於其他習知規格特有的處理內容所特殊化者，係可為執行其他通用處理者。又，亦可將本實施形態的構成安裝於LSIex500。

依此，針對本發明之一態樣的動態圖像解碼方法、與習知規格的動態解碼方法共通的處理內容，係共有解碼處理部，藉此可縮小LSI的電路規模且降低成本。

產業上之可利用性

本發明之圖像編碼方法及圖像解碼方法係有益於視訊照相機、附照相機之行動電話、DVD記錄器或電視機等各式各樣的圖像編碼裝置及圖像解碼裝置。

101‧‧‧CU分割部

102‧‧‧TU分割部

103‧‧‧YUV解多工部

104‧‧‧鄰接區塊結合部

105‧‧‧Y轉換部

106‧‧‧U轉換部

107‧‧‧V轉換部

108、502‧‧‧編碼部

109、308‧‧‧YUV切換部

301、601‧‧‧解碼部

302‧‧‧Y反轉換部

303‧‧‧U反轉換部

304‧‧‧V反轉換部

305‧‧‧YUV結合部

306‧‧‧TU結合部

307‧‧‧CU結合部

309‧‧‧鄰接區塊分割部

500‧‧‧圖像編碼裝置

501‧‧‧頻率轉換部

600‧‧‧圖像解碼裝置

602‧‧‧反頻率轉換部

ex100‧‧‧內容供給系統

ex101‧‧‧網路

ex102‧‧‧網路服務提供者

ex103‧‧‧串流伺服器

ex104‧‧‧電話網

ex106~ex110‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧PDA

ex113、ex116‧‧‧照相機

ex114‧‧‧行動電話

ex115‧‧‧遊戲機

ex117‧‧‧麥克風

ex200‧‧‧數位播放用系統

ex201‧‧‧播放基台

ex202‧‧‧衛星

ex203‧‧‧纜線

ex204、ex205、ex350‧‧‧天線

ex210‧‧‧汽車

ex211‧‧‧汽車導航系統

ex212‧‧‧再生裝置

ex213、ex219‧‧‧顯示器

ex214、ex215‧‧‧記錄媒體(光碟)

ex216‧‧‧記錄媒體(SD卡)

ex217‧‧‧視訊盒

ex218‧‧‧讀取器/記錄器

ex220‧‧‧遠程控制器

ex230‧‧‧資訊軌道

ex231‧‧‧記錄區塊

ex232‧‧‧內圍區域

ex233‧‧‧資料記錄區域

ex234‧‧‧外圍區域

ex235‧‧‧視訊串流

ex236、ex239、ex242、ex245‧‧‧PES封包列

ex237、ex240、ex243、ex246‧‧‧TS封包

ex238‧‧‧音訊串流

ex241‧‧‧表示圖形串流

ex244‧‧‧交互圖形串流

ex247‧‧‧多工資料

ex300‧‧‧電視機

ex301‧‧‧調諧器

ex302‧‧‧調變/解調部

ex303、ex353‧‧‧多工/解多工部

ex304‧‧‧聲音訊號處理部

ex305‧‧‧影像訊號處理部

ex306‧‧‧訊號處理部

ex307‧‧‧揚聲器

ex308‧‧‧顯示部

ex309‧‧‧輸出部

ex310、ex501‧‧‧控制部

ex311、ex361、ex505‧‧‧電源電路部

ex312‧‧‧操作輸入部

ex313‧‧‧電橋

ex314、ex364‧‧‧插槽部

ex315‧‧‧驅動器

ex316‧‧‧數據機

ex317‧‧‧介面部

ex318、ex319、ex320、ex321、ex404、ex508‧‧‧緩衝器

ex351‧‧‧發送/接收部

ex352‧‧‧調變/解調部

ex354‧‧‧聲音訊號處理部

ex355‧‧‧影像訊號處理部

ex356‧‧‧聲音輸入部

ex357‧‧‧聲音輸出部

ex358‧‧‧顯示部

ex359‧‧‧LCD控制部

ex360‧‧‧主控制部

ex362‧‧‧操作輸入控制部

ex363‧‧‧照相機I/F部

ex365‧‧‧照相機部

ex366‧‧‧操作鍵部

ex367‧‧‧記憶體部

ex370、ex510‧‧‧匯流排

ex400‧‧‧再生/記錄部

ex401‧‧‧光學磁頭

ex402‧‧‧調變記錄部

ex403‧‧‧再生解調部

ex405‧‧‧光碟馬達

ex406‧‧‧伺服器控制部

ex407‧‧‧系統控制部

ex500‧‧‧LSI

ex502‧‧‧CPU

ex503‧‧‧記憶體控制器

ex504‧‧‧串流控制器

ex506‧‧‧串流I/O

ex507‧‧‧訊號處理部

ex509‧‧‧AV I/O

ex511‧‧‧記憶體

ex512‧‧‧驅動頻率控制部

ex801‧‧‧本發明之解碼處理部

ex802‧‧‧依據習知規格的解碼處理部

ex803‧‧‧驅動頻率切換部

ex901、ex1001‧‧‧於本發明專用的解碼處理部

ex902、ex1003‧‧‧於本發明及習知規格共有的解碼處理部

ex1002‧‧‧於習知規格專用的解碼處理部

exS100~exS103、exS200~exS203、S101~S116、S120、 S201~S222、S301~S316、S401~S423、S501~S502、S601~S602‧‧‧步驟

yy1~yy4‧‧‧箭頭

圖1係用以說明習知例之編碼列的圖。

圖2係顯示第1實施形態之圖像編碼裝置的構成的區塊圖。

圖3係用以說明第1實施形態之編碼列的圖。

圖4係用以針對第1實施形態之編碼動作而作說明的流程圖。

圖5係用以說明第1實施形態之變形例的編碼列的圖。

圖6係用以針對第1實施形態之變形例的編碼動作而說明的流程圖。

圖7係顯示第2實施形態之圖像編碼裝置的構成的區塊圖。

圖8係用以說明第2實施形態之編碼列的圖。

圖9係用以針對第2實施形態之編碼動作而說明的流程圖。

圖10係用以說明對第2實施形態之複數演算器的處理分配的圖。

圖11係顯示第3實施形態之圖像解碼裝置的構成的區塊圖。

圖12係用以針對第3實施形態之解碼動作而說明的流程圖。

圖13係顯示第4實施形態之圖像解碼裝置的構成的區塊圖。

圖14係用以針對第4實施形態之解碼動作而說明的流程圖。

圖15A係顯示第5實施形態之圖像編碼裝置的構成的區塊圖。

圖15B係用以針對第5實施形態之編碼動作而說明的流程圖。

圖16A係顯示第5實施形態之圖像解碼裝置的構成的區塊圖。

圖16B係用以針對第5實施形態之解碼動作而說明的流程圖。

圖17係將內容傳送服務加以實現的內容供給系統的整體構成圖。

圖18係數位播放用系統的整體構成圖。

圖19係顯示電視機之構成例的區塊圖。

圖20係顯示於光碟(即記錄媒體)進行資訊之讀取寫入的資訊再生/記錄部的構成例的區塊圖。

圖21係顯示光碟(即記錄媒體)的構造例的圖。

圖22A係顯示行動電話之一例的圖。

圖22B係顯示行動電話之構成例的區塊圖。

圖23係顯示多工資料之構成的圖。

圖24係各串流如何於多工資料進行多工的示意圖。

圖25係更詳細地表示視訊串流如何儲存於PES(Packetized Elementarty Stream)封包列的圖。

圖26係顯示多工資料中之TS封包(輸送封包)與源封包的構造的圖。

圖27係顯示PMT(Program Map Table：節目映射表)之資料構成的圖。

圖28係顯示多工資料資訊之內部構成的圖。

圖29係顯示串流屬性資訊之內部構成的圖。

圖30係顯示將影像資料進行識別之步驟的圖。

圖31係顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路的構成例的區塊圖。

圖32係顯示切換驅動頻率之構成的圖。

圖33係顯示將影像資料進行識別，切換驅動頻率之步驟的圖。

圖34係顯示使影像資料之規格與驅動頻率對應的對照表的一例的圖。

圖35A係顯示將訊號處理部之模組共有化的構成的一 例的圖。

圖35B係顯示將訊號處理部之模組共有化的構成的其他例的圖。

S501~S502‧‧‧步驟

Claims (19)

1. 一種圖像編碼方法，其係將圖像依每編碼單位進行編碼，該圖像編碼方法包含以下步驟：頻率轉換步驟，其係將包含有複數預定區塊之編碼單位中的複數轉換單位的亮度資料與色差資料，進行頻率轉換，前述複數預定區塊分別係相當於1個以上的轉換單位；及編碼步驟，其係將已進行頻率轉換的前述亮度資料、與已進行頻率轉換的前述色差資料進行編碼，而將編碼列輸出，該編碼列係將前述亮度資料與前述色差資料依每前述預定區塊一起經匯整者。
2. 如申請專利範圍第1項之圖像編碼方法，其中前述複數預定區塊分別係相當於預定大小之區塊中的複數轉換單位，或預定大小以上的轉換單位；於前述編碼步驟，將前述亮度資料與前述色差資料進行編碼，而將前述編碼列輸出，該前述編碼列係將前述亮度資料與前述色差資料依每前述預定區塊一起經匯整者。
3. 如申請專利範圍第1項或第2項之圖像編碼方法，其中於前述頻率轉換步驟，將前述亮度資料依每轉換單位進行頻率轉換；前述色差資料的像素值等於前述亮度資料的像素值時，將前述色差資料依每轉換單位進行頻率轉換；前述色差資料的像素值少於前述亮度資料的像素值時，將前述色差資料依每前述預定區塊進行頻率轉換。
4. 如申請專利範圍第1項或第2項之動態圖像編碼方法，其中於前述頻率轉換步驟，將前述編碼單位中的前述複數轉換單位的前述色差資料之中，預定大小以下之區塊中的複數轉換單位的色差資料加以結合，而一次地將所結合的前述色差資料進行頻率轉換。
5. 如申請專利範圍第1項或第2項任一項之圖像編碼方法，其中於前述頻率轉換步驟，轉換單位的大小為已預定之最小大小，且前述轉換單位的色差資料的像素值少於前述轉換單位的亮度資料的像素值時，將前述編碼單位中的前述複數轉換單位的前述色差資料之中，包含有前述轉換單位之區塊中的複數轉換單位的色差資料加以結合，而一次地將所結合的前述色差資料進行頻率轉換。
6. 如申請專利範圍第1項或第2項之圖像編碼方法，其中於前述編碼步驟，將預定區塊中的複數轉換單位的亮度資料與色差資料進行編碼，而將前述預定區塊中的前述複數轉換單位的前述色差資料全部配置在後於前述預定區塊中的前述複數轉換單位的前述亮度資料全部的前述編碼列，加以輸出。
7. 如申請專利範圍第1項或第2項之圖像編碼方法，其中前述複數預定區塊分別係相當於預定大小之區塊中的複數轉換單位，或預定大小以上的轉換單位；於前述頻率轉換步驟，將前述亮度資料與前述色差資料依每轉換單位進行頻率轉換， 於前述編碼步驟，將前述亮度資料與前述色差資料進行編碼，而將前述亮度資料與前述色差資料依每前述預定區塊一起經匯整的前述編碼列輸出。
8. 如申請專利範圍第1項之圖像編碼方法，其中前述複數預定區塊分別係相當於轉換單位；於前述頻率轉換步驟，將前述亮度資料與前述色差資料依每轉換單位進行頻率轉換，於前述編碼步驟，將前述亮度資料與前述色差資料進行編碼，而將前述亮度資料與前述色差資料依每轉換單位一起經匯整的前述編碼列輸出。
9. 一種圖像解碼方法，其係將圖像依每編碼單位進行解碼，該圖像解碼方法包含以下步驟：解碼步驟，其係取得編碼列，該編碼列係將包含有複數預定區塊之編碼單位中的複數轉換單位的亮度資料與色差資料進行頻率轉換、編碼，且依每前述預定區塊一起經匯整者，且前述複數預定區塊分別係相當於1個以上的轉換單位，來將前述亮度資料與前述色差資料進行解碼；及反頻率轉換步驟，其係將已進行解碼的前述亮度資料、與已進行解碼的前述色差資料進行反頻率轉換。
10. 如申請專利範圍第9項之圖像解碼方法，其中前述複數預定區塊分別係相當於預定大小之區塊中的複數轉換單位，或預定大小以上的轉換單位；於前述解碼步驟，取得前述亮度資料與前述色差資料依每前述預定區塊 一起經匯整的前述編碼列，來將前述亮度資料與前述色差資料進行解碼。
11. 如申請專利範圍第9項或第10項之圖像解碼方法，其中於前述反頻率轉換步驟，將前述亮度資料依每轉換單位進行反頻率轉換；前述色差資料的像素值等於前述亮度資料的像素值時，將前述色差資料依每轉換單位進行反頻率轉換；前述色差資料的像素值少於前述亮度資料的像素值時，將前述色差資料依每前述預定區塊進行反頻率轉換。
12. 如申請專利範圍第9項或第10項之圖像解碼方法，其中於前述反頻率轉換步驟，一次地將前述編碼單位中的前述複數轉換單位的前述色差資料之中，預定大小以下之區塊中的複數轉換單位的色差資料進行反頻率轉換。
13. 如申請專利範圍第9項或第10項之圖像解碼方法，其中於前述反頻率轉換步驟，轉換單位的大小為已預定之最小大小，且前述轉換單位的色差資料的像素值少於前述轉換單位的亮度資料的像素值時，一次地將前述編碼單位中的前述複數轉換單位的前述色差資料之中，包含有前述轉換單位之區塊中的複數轉換單位的色差資料進行反頻率轉換。
14. 如申請專利範圍第9項或第10項之圖像解碼方法，其中於前述解碼步驟，取得：前述預定區塊中的前述複數轉換單位的前述色差資料全部配置在後於前述預定區塊中的前述複數轉換單位的前述亮度資料全部的前述編 碼列，來將前述預定區塊中的前述複數轉換單位的前述亮度資料與前述色差資料進行解碼。
15. 如申請專利範圍第9項或第10項之圖像解碼方法，其中前述複數預定區塊分別相當於預定大小之區塊中的複數轉換單位，或預定大小以上的轉換單位；於前述解碼步驟，取得前述亮度資料與前述色差資料依每前述預定區塊一起經匯整的前述編碼列，來將前述亮度資料與前述色差資料進行解碼；於反頻率轉換步驟，將前述亮度資料與前述色差資料依每轉換單位進行反頻率轉換。
16. 如申請專利範圍第9項之圖像解碼方法，其中前述複數預定區塊分別相當於轉換單位；於前述解碼步驟，取得前述亮度資料與前述色差資料依每轉換單位一起經匯整的前述編碼列，來將前述亮度資料與前述色差資料進行解碼；於前述反頻率轉換步驟，將前述亮度資料與前述色差資料依每轉換單位進行反頻率轉換。
17. 一種圖像編碼裝置，其係將圖像依每編碼單位進行編碼，該圖像編碼裝置具有：頻率轉換部，其係將包含有複數預定區塊之編碼單位中的複數轉換單位的亮度資料與色差資料，進行頻率轉換，前述複數預定區塊分別係相當於1個以上的轉換單位；及編碼部，其係將已進行頻率轉換的前述亮度資料、與已進行頻率轉換的前述色差資料進行編碼，而將前述亮度資料與前述色差資料依每前述預定區塊一起經匯 整的編碼列輸出。
18. 一種圖像解碼裝置，其係將圖像依每編碼單位進行解碼，該圖像解碼裝置具有：解碼部，其係取得編碼列，該編碼列係包含有複數預定區塊之編碼單位中的複數轉換單位的亮度資料與色差資料進行頻率轉換、編碼，且依每前述預定區塊一起經匯整者，且前述複數預定區塊分別係相當於1個以上的轉換單位，來將前述亮度資料與前述色差資料進行解碼；及反頻率轉換部，其係將已進行解碼的前述亮度資料、與已進行解碼的前述色差資料進行反頻率轉換。
19. 一種圖像編碼解碼裝置，其係具有：圖像編碼裝置，其係將圖像依每編碼單位進行編碼；以及圖像解碼裝置，其係將圖像依每編碼單位進行解碼；前述圖像編碼裝置具有：頻率轉換部，其係將包含有複數預定區塊之編碼單位中的複數轉換單位的亮度資料與色差資料，進行頻率轉換，前述複數預定區塊分別係相當於1個以上的轉換單位；及編碼部，其係將已進行頻率轉換的前述亮度資料、與已進行頻率轉換的前述色差資料進行編碼，而將前述亮度資料與前述色差資料依每前述預定區塊一起經匯 整的編碼列輸出；前述圖像解碼裝置具有：解碼部，其係取得編碼列，該編碼列係包含有複數預定區塊之編碼單位中的複數轉換單位的亮度資料與色差資料進行頻率轉換、編碼，且依每前述預定區塊一起經匯整者，且前述複數預定區塊分別係相當於1個以上的轉換單位，來將前述亮度資料與前述色差資料進行解碼；及反頻率轉換部，其係將已進行解碼的前述亮度資料、與已進行解碼的前述色差資料進行反頻率轉換。