TWI581606B

TWI581606B - An image coding method, an image decoding method, an image coding apparatus, and an image decoding apparatus

Info

Publication number: TWI581606B
Application number: TW102124893A
Authority: TW
Inventors: Steffen Kamp; Matthias Narroschke; Thomas Wedi; Semih Esenlik
Original assignee: Sun Patent Trust
Priority date: 2012-07-19
Filing date: 2013-07-11
Publication date: 2017-05-01
Also published as: EP2876878A4; EP2876878A1; KR102058606B1; CN103688535B; WO2014013695A1; JPWO2014013695A1; TW201414316A; JP6167906B2; KR20150035685A; EP2876878B1; CN103688535A; US20140184742A1; US10104360B2

Description

圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置

發明領域

本發明係有關於一種圖像編碼方法及圖像解碼方法。

發明背景

在3D影像(立體視覺影像)應用程式中，典型而言，是將包含2個以上之圖像的多視點圖像，例如，以依據視訊編碼標準H.264/MVC(Multi View Coding)的圖像編碼裝置進行攝影並且編碼，來生成編碼資料。另外，在多視點圖像，有時也會含有深度資訊。然後將編碼資料發送至圖像解碼裝置。圖像解碼裝置將編碼資料解碼，顯示藉由解碼所得的多視點圖像。

在此，例如，圖像編碼裝置會使用分開預定之距離而配置的2台攝影機，來將多視點圖像攝影(例如，參照非專利文獻1)。

【先行技術文獻】【非專利文獻】

【非專利文獻1】A. Norkin, I. GIrdziiauskas, Y. Zhao, Y. Luo, “Show-case and syntax for SEI message on reference display information signaling”, MPEG document m26275

發明概要

然而，在如上述般之圖像編碼方法及圖像解碼方法中，希望可不依存於圖像解碼裝置，而將最適當的遠近感提供給視聽者。

於此，本發明之目的在於提供一種可不依存於圖像解碼裝置，而將最適當的遠近感提供給視聽者的圖像編碼方法或圖像解碼方法。

本發明之一態樣的圖像編碼方法，是把從複數之攝影視點所攝影的多視點圖像進行編碼的圖像編碼方法，包含有：生成步驟，分別與圖像解碼裝置所使用的複數之各畫面尺寸相對應，生成用以將前述圖像解碼裝置使用於顯示的複數之視點，即複數之顯示視點特定出來的視點識別資訊；及編碼步驟，將前述視點識別資訊編碼。

另外，該等之全般的或具體的態樣可由系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等記錄媒體來實現，亦可由系統、方法、積體電路、電腦程式及記錄媒體的任意組合來實現。

本發明可提供一種不依存於圖像解碼裝置，而可將最適當的遠近感提供給視聽者的圖像編碼方法或圖像解碼方法。

100、300、300A、300B‧‧‧圖像編碼裝置

111、311‧‧‧第1攝影機

112、312‧‧‧第2攝影機

121、321‧‧‧第1編碼器

122、322‧‧‧第2編碼器

131、331、331A、331B‧‧‧SEI生成部

132、332、332A、332B‧‧‧SEI編碼器

151、351‧‧‧第1圖像

161、361‧‧‧第1編碼圖像

152、352‧‧‧第2圖像

162、362‧‧‧第2編碼圖像

171‧‧‧最佳距離

172‧‧‧編碼最佳距離

200、400、400A、400B‧‧‧圖像解碼裝置

211、411‧‧‧第1解碼器

212、412‧‧‧第2解碼器

221、421、421A、421B‧‧‧SEI解碼器

222、422、422A、422B‧‧‧顯示裝置

251、451‧‧‧第1解碼圖像

252、452‧‧‧第2解碼圖像

261‧‧‧本身的畫面尺寸

262‧‧‧最佳距離

313‧‧‧第3攝影機

323‧‧‧第3編碼器

353‧‧‧第3圖像

363‧‧‧第3編碼圖像

371‧‧‧視點位置

372‧‧‧編碼視點位置

373‧‧‧視點識別符

374‧‧‧編碼視點識別符

375‧‧‧視點座標

376‧‧‧編碼視點座標

413‧‧‧第3解碼器

453‧‧‧第3解碼圖像

461‧‧‧畫面尺寸

462‧‧‧視點位置

463‧‧‧視點識別符

464‧‧‧視點座標

ex100‧‧‧內容供給系統

ex101‧‧‧網際網路

ex102‧‧‧網際網路服務提供者

ex104‧‧‧電話線路網

ex106~ex110‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧PDA

ex113、ex116‧‧‧相機

ex114‧‧‧行動電話

ex115‧‧‧遊戲機

ex117‧‧‧麥克風

ex201‧‧‧廣播台

ex202‧‧‧衛星

ex203‧‧‧電纜線

ex204、ex205、ex350‧‧‧天線

ex210‧‧‧車輛

ex211‧‧‧車輛導航系統

ex215、ex216‧‧‧記錄媒體

ex217‧‧‧機上盒(STB)

ex218‧‧‧讀取器/記錄器

ex219‧‧‧監視器

ex220‧‧‧遙控器

ex230‧‧‧資訊軌道

ex231‧‧‧記錄區塊

ex232‧‧‧內周區

ex233‧‧‧資料記錄區

ex234‧‧‧外周區

ex235‧‧‧視訊流

ex238‧‧‧聲訊流

ex236、ex239、ex242、ex245‧‧‧PES封包列

ex237、ex240、ex243、ex246‧‧‧TS封包

ex241‧‧‧表達圖形流

ex244‧‧‧交互圖形流

ex247‧‧‧多工資料

ex300‧‧‧電視機

ex301‧‧‧調諧器

ex302‧‧‧調變/解調部

ex303‧‧‧多工/解多工部

ex304‧‧‧聲音訊號處理部

ex305‧‧‧影像訊號處理部

ex306‧‧‧訊號處理部

ex307‧‧‧揚聲器

ex308、ex358‧‧‧顯示部

ex309‧‧‧輸出部

ex310‧‧‧控制部

ex311‧‧‧電源電路部

ex312‧‧‧操作輸入部

ex313‧‧‧橋接器

ex314‧‧‧插槽部

ex315‧‧‧驅動器

ex316‧‧‧數據機

ex317‧‧‧介面部

ex318、ex319、ex320、ex321‧‧‧緩衝器

ex351‧‧‧傳送/接收部

ex352‧‧‧調變/解調部

ex353‧‧‧多工/解多工部

ex354‧‧‧聲音訊號處理部

ex355‧‧‧影像訊號處理部

ex356‧‧‧聲音輸入部

ex357‧‧‧聲音輸出部

ex359‧‧‧LCD控制部

ex360‧‧‧主控制部

ex361‧‧‧電源電路部

ex362‧‧‧操作輸入控制部

ex363‧‧‧相機I/F部

ex364‧‧‧插槽部

ex365‧‧‧相機部

ex366‧‧‧操作鍵部

ex367‧‧‧記憶體部

ex400‧‧‧資訊再生/記錄部

ex401‧‧‧光學磁頭

ex402‧‧‧調變記錄部

ex403‧‧‧再生解調部

ex404‧‧‧緩衝器

ex405‧‧‧光碟馬達

ex406‧‧‧伺服器控制部

ex407‧‧‧系統控制部

ex500‧‧‧LSI

ex501‧‧‧控制部

ex502‧‧‧CPU

ex503‧‧‧記憶體控制器

ex504‧‧‧串流控制器

ex505‧‧‧電源電路部

ex506‧‧‧串流I/O

ex507‧‧‧訊號處理部

ex508‧‧‧緩衝器

ex509‧‧‧AV I/O

ex510‧‧‧匯流排

ex511‧‧‧記憶體

ex512‧‧‧驅動頻率控制部

ex801、ex802、ex901、ex902、ex1001~ex1003‧‧‧解碼處理部

ex803‧‧‧驅動頻率切換部

ex900‧‧‧構成

ID1、ID2、ID3‧‧‧識別符

S101-S102、S201-S202‧‧‧步驟

圖1是參考例之圖像編碼裝置及圖像解碼裝置的方塊圖。

圖2是參考例之圖像編碼裝置及圖像解碼裝置的方塊圖。

圖3是參考例之圖像編碼裝置及圖像解碼裝置的方塊圖。

圖4是顯示參考例之SEI之語法構成之一例的圖。

圖5是實施形態1之圖像編碼裝置及圖像解碼裝置的方塊圖。

圖6A是實施形態1之圖像編碼處理的流程圖。

圖6B是實施形態1之圖像解碼處理的流程圖。

圖7是實施形態1之圖像編碼裝置及圖像解碼裝置的方塊圖。

圖8是實施形態1之圖像編碼裝置及圖像解碼裝置的方塊圖。

圖9是實施形態1之圖像編碼裝置及圖像解碼裝置的方塊圖。

圖10是實施形態1別的例子之圖像編碼裝置及圖像解碼裝置的方塊圖。

圖11是顯示實施形態1之SEI之語法構成之一例的圖。

圖12是實現內容配送服務之內容供給系統的全體構成圖。

圖13是數位放送用系統的全體構成圖。

圖14是顯示電視之構成例的方塊圖。

圖15是顯示對記錄媒體(光碟)寫入資訊之資訊再生/記錄部之構成例的方塊圖。

圖16是顯示記錄媒體(光碟)之構造例的圖。

圖17A是顯示行動電話之一例的圖。

圖17B是顯示行動電話之構成例的方塊圖。

圖18是顯示多工資料之構成的圖。

圖19是模式性地顯示各串流在多工資料中是如何被多工的圖。

圖20是更詳細地顯示視訊流是如何被儲存於PES封包列的圖。

圖21是顯示多工資料中之TS封包與資源封包之構造的圖。

圖22是顯示PMT之資料構成的圖。

圖23是顯示多工資料資訊之內部構成的圖。

圖24是顯示串流屬性資訊之內部構成的圖。

圖25是顯示識別影像資料之步驟的圖。

圖26是顯示可實現各實施形態之動態圖像編碼方法及動態圖像解碼方法的積體電路之構成例的方塊圖。

圖27是顯示切換驅動頻率之構成的圖。

圖28是顯示識別影像資料而切換驅動頻率之步驟的圖。

圖29是顯示影像資料之規格與驅動頻率相對應之查找表之一例的圖。

圖30A是顯示將信號處理部之模組共有化之構成之一例的圖。

圖30B是顯示將信號處理部之模組共有化之構成之其他例的圖。

用以實施發明之形態 (成為本發明基礎的知識)

本發明人發現：關於「先前技術」之欄中所記載的圖像編碼方法及圖像解碼方法，會產生以下的問題。

如非專利文獻1所說明般，當攝影機間之距離為一定時，視聽者所感覺的遠近感，會依存於顯示器的畫面尺寸。

對於此，在非專利文獻1中，把關於攝影時之攝影機間的實際距離的SEI(Supplemental enhancement information：補充增強資訊)「depth＿acquisition＿info」發送至圖像解碼裝置，以使圖像解碼裝置(顯示裝置)可調節遠近感。此外，根據SEI「3d＿reference＿displays＿info」，例如，依各視聽條件，把以該視聽條件可實現最適當的遠近感的最適當的攝影機間距離進行發送。在此，視聽條件具體而言指的是顯示器的畫面尺寸。

藉此，圖像解碼裝置根據實際之攝影機間距離與最適當的攝影機間距離之間的關係，顯示出與最適當的距離相對應的圖像，藉此，可調節遠近感。

又，所顯示的各視點之圖像，有時也會藉由合成2個視點之圖像來生成。

圖1~圖3是顯示本實施形態之參考例的圖像編碼裝置100及圖像解碼裝置200之構成的圖。

圖像編碼裝置100從複數之視點將被攝體(場景；scene)攝影，並將攝影所得之多視點圖像編碼，藉此來生成編碼位元流。此圖像編碼裝置100具有：第1攝影機111、第2攝影機112、第1編碼器121、第2編碼器122、SEI生成部131、及SEI編碼器132。

第1攝影機111及第2攝影機112將多視點圖像攝影。具體而言，第1攝影機111從第1視點將被攝體(場景)攝影，藉此來生成第1圖像151。第2攝影機112則從第2視點將被攝體攝影，藉此來生成第2圖像152。

第1編碼器121將第1圖像151編碼，藉此來生成第1編碼圖像161。而第2編碼器122則將第2圖像152編碼，藉此來生成第2編碼圖像162。

SEI生成部131生成與各畫面尺寸對應的最佳距離171。也就是說，SEI生成部131生成與複數之圖像尺寸相對應的複數之最佳距離171。各最佳距離171是當在與所對應的畫面尺寸之顯示器顯示多視點圖像時，可給予視聽者最適當的遠近感的攝影機間(視點間)之距離。

SEI編碼器132將複數之最佳距離171編碼，藉此來生成編碼最佳距離172。

如此，圖像編碼裝置100將包含第1編碼圖像 161、第2編碼圖像162及編碼最佳距離172的編碼位元流生成。然後，該編碼位元流是透過頻道傳播至圖像解碼裝置200。

圖像解碼裝置200把由圖像編碼裝置100所生成的編碼位元流進行解碼，顯示多視點圖像。此圖像解碼裝置200包含：第1解碼器211、第2解碼器212、SEI解碼器221、顯示裝置222。

第1解碼器211將第1編碼圖像161解碼，藉此來生成第1解碼圖像251。而第2解碼器212則將第2編碼圖像162解碼，藉此來生成第2解碼圖像252。

SEI解碼器221將編碼最佳距離172解碼，藉此來生成複數之最佳距離262。

顯示裝置222(顯示器)使用第1解碼圖像251及第 2解碼圖像252，顯示多視點圖像(立體視覺圖像)。具體而言，顯示裝置222在複數之最佳距離262中，取得與本身的畫面尺寸261相對應的最佳距離262。然後，顯示裝置222因應已取得的最佳距離262，顯示多視點圖像。

例如，如圖1所示，顯示裝置222使用第1解碼圖像251及第2解碼圖像252，進行視點合成，藉此，來生成與第1視點和第2視點之間的視點相對應的合成圖像。然後，顯示裝置222將已生成的合成圖像以及第1攝影機111之圖像(第1解碼圖像251)顯示為多視點圖像。在此，合成圖像、與第1攝影機111之圖像的視點間之距離，等於最佳距離262。

另外，如圖2所示，顯示裝置222亦可顯示合成圖像與第2攝影機112之圖像(第2解碼圖像252)。又，如圖3所示，顯示裝置222亦可顯示兩個合成圖像。

又，圖4是顯示SEI「3d＿reference＿displays＿ info」之語法的圖。圖4所示之exponet＿ref＿baseline〔i〕及maintissa＿ref＿baseline〔i〕對應於最佳距離171(262)。另外，圖4所示之各參數的意思，例如記載於非專利文獻1中。

如此，圖像解碼裝置200將關於使用於將複數之視點的圖像進行編碼的攝影機間之實際距離的資訊，從編碼位元流解碼。又，圖像解碼裝置200將顯示1個以上之視聽條件的資訊從編碼位元流解碼。在此，視聽條件指的是：例如，圖像解碼裝置200所具有的顯示裝置222的畫面尺寸。圖像解碼裝置200更從編碼位元流，把表示各視聽條件之最適當的攝影機間距離的資訊，即複數之最佳距離262解碼。在此，最適當的攝影機間距離指的是：為了給予視聽者最適當的遠近感而應使用於將各視點之圖像進行攝影的攝影機間距離。

圖像解碼裝置200使用實際的視聽條件、經解碼之最適當的攝影機間距離、及實際的攝影機間距離，來選擇可實現希望之遠近感的、使用於顯示的視點(視野；view)。圖像解碼裝置200更可藉由視點合成，來將所顯示之圖像生成，以使使用於顯示的2個視點之距離成為最適當的攝影機間距離。

如此，圖像編碼裝置100將用以算出最適當之攝影機間距離的參數，發送至圖像解碼裝置200，以使圖像解碼裝置200可算出用於視點合成之視點位置。

又，圖像解碼裝置200從SEI，把握實際之攝影機間距離與最適當的攝影機間距離之間的關係，選擇使用於顯示的視點。也就是說，圖像解碼裝置200決定2個視點的位置，以使2個視點間之距離成為最適當的攝影機間距離。

然而，若2個視點間之距離為最適當的攝影機距離，則圖像解碼裝置200可任意地設定2個視點。例如，圖像解碼裝置200可如圖1~圖3所示，任意地選擇使用於顯示之2個視點。也就是說，由於要選擇哪個視點，是依存於圖像解碼裝置200，所以並不是對於所有視聽者都會顯示相同的內容。

如此，在上述技術中，本發明人發現：會有產生因應圖像解碼裝置而顯示出之內容不同之情況的問題。

據此，該圖像編碼方法因應圖像解碼裝置之畫面尺寸，把用以將圖像解碼裝置應選擇之視點特定出來的視點識別資訊，發送至圖像解碼裝置。藉此，圖像解碼裝置使用以與本身的畫面尺寸對應的視點識別資訊所特定的視點，來顯示圖像。如此，決定圖像解碼裝置中獨一地(uniquely)使用於顯示的視點。因此，該圖像編碼方法可不依存於圖像解碼裝置，而將最適當的遠近感提供給視聽者。

例如，前述視點識別資訊亦可表示：前述複數之攝影視點中之一個攝影視點。

例如，前述視點識別資訊亦可表示：把以前述複數之攝影視點中之二個攝影視點所攝影的圖像進行合成而藉此生成的合成圖像之視點。

例如，前述視點識別資訊亦可是用以識別前述複數之攝影視點的識別符。

又，本發明之一態樣的圖像解碼方法，是將藉由把從複數之攝影視點所攝影的多視點圖像編碼而生成的位元流進行解碼的圖像解碼方法，包含有：解碼步驟，把前述位元流所含的、分別與複數之各畫面尺寸相對應之用以將複數之視點特定出來的視點識別資訊進行解碼；及決定步驟，在經解碼的複數之視點識別資訊中，使用與圖像解碼裝置所具有的顯示裝置之畫面尺寸相對應的視點識別資訊，來決定前述圖像解碼裝置使用於顯示的複數之視點，即複數之顯示視點。

據此，該圖像解碼方法是使用以與圖像解碼裝置之畫面尺寸相對應的視點識別資訊所特定的視點，來顯示圖像。如此，決定圖像解碼裝置中獨一地使用於顯示的視點。因此，該圖像解碼方法可將不依存於圖像解碼裝置的最適當的遠近感提供給視聽者。

例如，前述視點識別資訊亦可表示前述複數之攝影視點中之一個攝影視點，且在前述決定步驟中，將前述複數之攝影視點中前述視點識別資訊所示的前述一個攝影視點，決定為前述複數之顯示視點之一。

又，本發明之一態樣的圖像編碼裝置，是把從複數之攝影視點所攝影的多視點圖像進行編碼的圖像編碼裝置，具有：視點識別資訊生成部，分別與圖像解碼裝置所使用的複數之各畫面尺寸相對應，生成用以將前述圖像解碼裝置使用於顯示的複數之視點，即複數之顯示視點特定出來的視點識別資訊；及視點識別資訊編碼部，將前述視點識別資訊編碼。

據此，該圖像編碼裝置因應圖像解碼裝置的畫面尺寸，把用以將圖像解碼裝置應選擇之視點特定出來的視點識別資訊，發送至圖像解碼裝置。藉此，圖像解碼裝置使用以與本身的畫面尺寸相對應的視點識別資訊所特定出來的視點，來將圖像顯示。如此，決定圖像解碼裝置中獨一地使用於顯示的視點。因此，該圖像編碼裝置可不依存於圖像解碼裝置，而可將最適當的遠近感提供給視聽者。

又，本發明之一態樣的圖像解碼裝置，是將藉由把從複數之攝影視點所攝影的多視點圖像編碼而生成的位元流進行解碼的圖像解碼裝置，具有：視點識別資訊解碼部，把前述位元流所含的、分別與複數之各畫面尺寸相對應之用以將複數之視點特定出來的視點識別資訊進行解碼；及視點決定部，在經解碼的複數之視點識別資訊中，使用與圖像解碼裝置所具有的顯示裝置之畫面尺寸相對應的視點識別資訊，來決定前述圖像解碼裝置使用於顯示的複數之視點，即複數之顯示視點。

據此，該圖像解碼裝置使用以與本身的畫面尺寸相對應的視點識別資訊所特定出來的視點，來將圖像顯示。如此，決定圖像解碼裝置中獨一地使用於顯示的視點。因此，該圖像解碼裝置可將不依存於本身之機能的最適當的遠近感提供給視聽者。

又，本發明一態樣之圖像編碼解碼裝置，亦可具備有前述圖像編碼裝置、及前述圖像解碼裝置。

另外，該等之全般性或具體的態樣可藉由系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等記錄媒體來實現，亦可由系統、方法、積體電路、電腦程式及記錄媒體之任意組合來實現。

以下，參照圖示，說明本發明之實施形態。

另外，以下所說明之實施形態，皆顯示本發明之一具體例。以下之實施形態所示之數值、形狀、材料、構成要素、構成要素之配置及接續形態、步驟、步驟之順序等，皆為一例，並非限定申請專利範圍之主旨。又，在以下之實施形態中的構成要素中，關於顯示最上位概念的獨立請求項中未記載的構成要素，係作為任意之構成要素來進行說明。

(實施形態1)

本實施形態說明：為了保證所顯示的內容對於所有視聽者皆相同，可將圖像解碼裝置使用於顯示之視點定義的有效率之手法。

具體而言，本實施形態之圖像編碼裝置是對於1個以上的各視聽條件(具體而言為畫面尺寸)，分別選擇與最適當的攝影機間距離相對應的視點位置，將位元流內的關於此視點位置的資訊進行編碼。

圖像解碼裝置將顯示1個以上之視聽條件的資訊，從位元流解碼。圖像解碼裝置更從位元流，對於經解碼之各視聽條件，將關於視點位置的資訊解碼。此視點位置相當於：為了給予視聽者最適當的遠近感，應使用於將各視點之圖像進行攝影的最適當的攝影機間距離。也就是說，圖像解碼裝置無須將來自於位元流之顯示實際攝影機距離的資訊進行解碼。圖像解碼裝置使用實際的視聽條件以及經解碼之視點位置，選擇可達成希望之遠近感的複數之視點。

圖5是顯示本實施形態之圖像編碼裝置300及圖像解碼裝置400之構成的方塊圖。

圖像編碼裝置300將被攝體(場景)從複數之視點(攝影視點)攝影，並將藉由攝影所得的多視點圖像(多視點影像)編碼，藉此來生成編碼位元流。此圖像編碼裝置300具有：第1攝影機311、第2攝影機312、第1編碼器321、第2編碼器322、SEI生成部331、及SEI編碼器332。

第1攝影機311及第2攝影機312將多視點圖像攝影。具體而言，第1攝影機311從第1視點，將被攝體(場景)攝影，藉此來生成第1圖像351。第2攝影機312從第2視點，將被攝體攝影，藉此來生成第2圖像352。第1圖像351及第2圖像352被包含於多視點圖像。

第1編碼器321將第1圖像351編碼，藉此來生成第1編碼圖像361。第2編碼器322將第2圖像352編碼，藉此來生成第2編碼圖像362。

SEI生成部331是把與各畫面尺寸相對應之視點位置371生成的視點識別資訊生成部。也就是說，SEI生成部331生成與複數之圖像尺寸相對應的複數之視點位置371。各視點位置371是將多視點圖像(立體視角圖像)顯示於所對應之畫面尺寸的顯示器之時，可將最適當的遠近感給予視聽者的二個視點(顯示視點)之位置。

SEI編碼器332是將複數之視點位置371編碼，藉此來生成編碼視點位置372的視點識別資訊編碼部。

如此，圖像編碼裝置300將包含第1編碼圖像361、第2編碼圖像362及編碼視點位置372的編碼位元流生成。然後，該編碼位元流透過頻道被傳播至圖像解碼裝置400。

圖像解碼裝置400把藉由圖像編碼裝置300所生成的編碼位元流解碼，顯示多視點圖像。此圖像解碼裝置400包含：第1解碼器411、第2解碼器412、SEI解碼器421、顯示裝置422。

第1解碼器411將第1編碼圖像361解碼，藉此來生成第1解碼圖像451。第2解碼器412將第2編碼圖像362解碼，藉此來生成第2解碼圖像452。

SEI解碼器421是藉由將編碼視點位置372解碼，來生成複數之視點位置462的視點識別資訊解碼部。

顯示裝置422(顯示器)使用第1解碼圖像451及第2解碼圖像452，來顯示多視點圖像(立體視覺圖像)。具體而言，顯示裝置422在複數之視點位置462中，取得與本身的畫面尺寸461相對應的視點位置462。然後，顯示裝置422因應已取得的視點位置462，決定使用於顯示的複數之視點，即複數之顯示視點，將來自於已決定的顯示視點之圖像作為多視點圖像而顯示。此顯示視點之決定，是由顯示裝置422所含的視點決定部來進行。

例如，如圖5所示，顯示裝置422使用第1解碼圖像451及第2解碼圖像452，進行視點合成，藉此，生成對應於第1視點與第2視點之間之視點的合成圖像。在此，藉由視點合成所生成的二個合成圖像之視點位置，與所取得之二個視點位置462對應。例如，二個合成圖像之視點位置，與二個視點位置462相同。

並且，顯示裝置422將已生成的二個合成圖像作為多視點圖像而顯示。另外，二個視點位置462之至少一者，亦可等於第1攝影機之視點位置或第2攝影機之視點位置。此時，不進行視點合成，將第1解碼圖像451或第2解碼圖像452使用於顯示。

圖6A是顯示圖像編碼裝置300之圖像編碼處理概要的流程圖。

如圖6A所示，圖像編碼裝置300與圖像解碼裝置所使用的複數之各畫面尺寸相對應，生成用以將圖像解碼裝置使用於顯示的複數之視點，即複數之顯示視點特定出來的視點識別資訊(S101)。在此，視點識別資訊是對應於上述之視點位置371。

接著，圖像編碼裝置300將上述視點識別資訊編碼(S102)。然後，將包含有經編碼之視點識別資訊的位元流發送至圖像解碼裝置400。

圖6B是顯示圖像解碼裝置400之圖像解碼處理概要的流程圖。

如圖6B所示，圖像解碼裝置400把位元流所含、與複數之各畫面尺寸相對應、用以將複數之視點特定出來的視點識別資訊，進行解碼(S201)。

接著，圖像解碼裝置400在經解碼的複數之視點識別資訊中，使用與圖像解碼裝置400具有之顯示裝置422之畫面尺寸461相對應的視點識別資訊，來決定圖像解碼裝置400使用於顯示的複數之視點，即複數之顯示視點(S202)。又，圖像解碼裝置400使用所決定的複數之顯示視點，來顯示多視點圖像。具體而言，圖像解碼裝置400使用第1視點之第1解碼圖像451及第2視點之第2解碼圖像452，來生成從複數之顯示視點看到的複數之圖像，將已生成的複數之圖像顯示。

由以上，在本實施形態中，視點(例如，用於立體顯示的2個視點)之視點識別資訊是直接包含在位元流中。此時，圖像解碼裝置400無須知道最適當的攝影機間距離。也就是說，可省略最適當的攝影機間距離。

此外，圖像解碼裝置400無須自動地選擇使用於顯示之視點。因此，在不同的圖像解碼裝置中，只要視聽條件相同，就會選擇同一視點，來作為使用於顯示之視點。所以，即使在圖像解碼裝置不同的情況下，也可保證相同的遠近感。

也就是說，在本實施形態中，不是將顯示視點間之距離(視點間的相對位置)的資訊，而是將直接顯示視點位置的資訊，從圖像編碼裝置300送至圖像解碼裝置400。

又，圖像編碼裝置300可控制在圖像解碼裝置400中要將哪個視點使用於顯示。因此，內容製作者例如可因應最適當的畫質、或適合的內容等各個要求，來影響要顯示的內容。這是因為是從複數之視點在獨創之場面中略有不同之視點而來的影像，所以，所顯示的內容會依存於經編碼之視點選擇而不同之故。

如此，本實施形態僅藉由將圖像解碼裝置所顯示之視點進行定義，不只可保證所顯示之內容對於所有的視聽者都會相同，此外，更可以圖像編碼裝置來選擇視點，例如使主觀畫質為最大限度。

另外，在上述中，描述了使用立體圖像來作為多視點圖像之例，但多視點圖像亦可包含3個以上的視點的圖像。又，圖像編碼裝置300所生成的多視點圖像之視點數、及圖像解碼裝置400所顯示的多視點圖像之視點數亦可不同。

以下，說明視點識別資訊(視點位置462等)的具體例。

圖7是顯示將視點識別符使用為視點識別資訊時之圖像編碼裝置300A及圖像解碼裝置400A之構成的方塊圖。另外，對於與圖5同樣的要素附加同一符號，以下主要說明不同點。

圖7所示之圖像編碼裝置300A除了圖像編碼裝置300之構成外，更具有第3攝影機313及第3編碼器323。又，SEI生成部331A及SEI編碼器332A的機能與SEI生成部331及SEI編碼器332不同。

第3攝影機313從第3視點，將被攝體(場景)攝影，藉此來生成第3圖像353。也就是說，第1攝影機311、第2攝影機312及第3攝影機313，生成包含第1圖像351、第2圖像352及第3圖像353的多視點圖像。又，在第1攝影機311、第2攝影機312及第3攝影機313，分配有用以將各攝影機獨一地識別的識別符(ID1、ID2及ID3)。

第3編碼器323將第3圖像353編碼，藉此來生成第3編碼圖像363。

SEI生成部331A是生成與各畫面尺寸相對應之視點識別符373的視點識別資訊生成部。也就是說，SEI生成部331A生成與複數之圖像尺寸相對應的複數之視點識別符373。各視點識別符373是用以識別複數之攝影視點的識別符，例如，顯示分配於攝影機的識別符(ID1、ID2及ID3)。換言之，此視點識別符373是識別第1圖像351、第2圖像352及第3圖像353的識別符，同時也是識別後述之第1解碼圖像451、第2解碼圖像452及第3解碼圖像453的識別符。

又，此視點識別符373表示如下之攝影視點：在將多視點圖像(立體視覺圖像)顯示於所對應之畫面尺寸之顯示器時，與可將最適當的遠近感給予視聽者的二個視點(顯示視點)相對應的攝影視點。具體而言，此識別符是視點ID(view ID)或視點順序索引(view order index)。

SEI編碼器332A是將複數之視點識別符373編碼，藉此來生成編碼視點識別符374的視點識別資訊編碼部。

如此，圖像編碼裝置300A生成包含有第1編碼圖像361、第2編碼圖像362、第3編碼圖像363及編碼視點識別符374的編碼位元流。並且，該編碼位元流是透過頻道，傳播至圖像解碼裝置400A。

圖像解碼裝置400A把藉由圖像編碼裝置300A所生成的編碼位元流進行解碼，顯示多視點圖像。此圖像解碼裝置400A除了圖像解碼裝置400之構成外，更具備有第3解碼器413。又，SEI解碼器421A及顯示裝置422A之機能與SEI解碼器421及顯示裝置422不同。

第3解碼器413將第3編碼圖像363解碼，藉此來生成第3解碼圖像453。

SEI解碼器421A是藉由將編碼視點識別符374解碼，來生成複數之視點識別符463的視點識別資訊解碼部。

顯示裝置422A(顯示器)使用第1解碼圖像451、第2解碼圖像452及第3解碼圖像453，來顯示多視點圖像(立體視覺圖像)。具體而言，顯示裝置422A在複數之視點識別符463中，取得與本身的畫面尺寸461相對應的視點識別符463。然後，顯示裝置422A因應已取得之視點識別符463，決定使用於顯示的複數之視點，即複數之顯示視點，將來自於已決定之顯示視點的圖像作為多視點圖像來顯示。此顯示視點之決定，是藉由顯示裝置422A所含的視點決定部來進行。

具體而言，顯示裝置422A將複數之攝影視點中由視點識別資訊所示的一個攝影視點，決定為複數之顯示視點的一個。也就是說，顯示裝置422A在複數之解碼圖像(第1解碼圖像451、第2解碼圖像452及第3解碼圖像453)中，顯示與視點識別符463對應的複數之解碼圖像。例如，如圖7所示，當視點識別符463表示為ID1及ID2時，顯示裝置422A顯示第1解碼圖像451及第2解碼圖像452。又，如圖8所示，當視點識別符463表示為ID1及ID3時，顯示裝置422A顯示第1解碼圖像451及第3解碼圖像453。又，如圖9所示，當視點識別符463表示為ID2及ID3時，顯示裝置422A顯示第2解碼圖像452及第3解碼圖像453。

如以上，藉由使用視點識別符來作為視點識別資訊，圖像解碼裝置400A可容易地選擇要顯示的圖像。

另外，視點識別資訊亦可表示如下之視點：在複數之攝影視點中，將二個攝影視點所攝影之圖像進行合成而生成的合成圖像之視點。此時，顯示裝置422A在複數之攝影視點中把與二個攝影視點對應的解碼圖像進行合成，藉此，生成視點識別資訊所示之視點的合成圖像，而將所生成之合成圖像顯示。

例如，視點識別資訊包含：用以將合成圖像之視點位置特定的一個以上之視點識別符、以及表示從該等一個以上之視點識別符至合成圖像之視點位置為止之距離的資訊。另外，在顯示立體圖像的情況下，對於一個顯示視點，定義一個視點識別符以及上述距離。

又，上述距離亦可藉由如下來表示：表示合成圖像之視點位在第1視點與第2視點之間何處的分數(例如，a)。此時，上述距離是以「a×第1視點與第2視點之間的實際距離」來表示。

另外，在上述說明中，描述了以圖像編碼裝置300A生成3個視點的圖像，以圖像解碼裝置400A顯示2個視點的圖像之例，但亦可以圖像編碼裝置300A生成4個視點以上的圖像，或者也可以圖像解碼裝置400A顯示3個視點以上的圖像。

以下，說明視點識別資訊的別的具體例。

圖10是顯示將視點座標使用為視點識別資訊時之圖像編碼裝置300B及圖像解碼裝置400B之構成的方塊圖。另外，對於與圖5同樣的要素附加同一符號，以下主要說明不同點。

圖10所示之圖像編碼裝置300B，相對於圖像編碼裝置300的構成，SEI生成部331B及SEI編碼器332B的機能與SEI生成部331及SEI編碼器332不同。

SEI生成部331B是將與各畫面尺寸相對應的視點座標375生成的視點識別資訊生成部。也就是說，SEI生成部331B生成與複數之圖像尺寸相對應的複數之視點座標375。各視點座標375表示複數之顯示視點的座標。換言之，視點座標375表示在顯示裝置422B中之座標系的座標。又，此視點座標375表示可在將多視點圖像(立體視角圖像)顯示於相對應之畫面尺寸的顯示器時，將最適當的遠近感給予視聽者的二個視點(顯示視點)之座標。

SEI編碼器332B是將複數之視點座標375編碼，藉此來生成編碼視點座標376的視點識別資訊編碼部。

如此，圖像編碼裝置300B生成包含有第1編碼圖像361、第2編碼圖像362、及編碼視點座標376的編碼位元流。並且，該編碼位元流透過頻道，傳播至圖像解碼裝置400B。

圖像解碼裝置400B將藉由圖像編碼裝置300B所生成的編碼位元流解碼，顯示多視點圖像。此圖像解碼裝置400B相對於圖像解碼裝置400之構成，SEI解碼器421B及顯示裝置422B的機能與SEI解碼器421及顯示裝置422不同。

SEI解碼器421B是藉由將編碼視點座標376解碼來生成複數之視點座標464的視點識別資訊解碼部。

顯示裝置422B(顯示器)使用第1解碼圖像451、及第2解碼圖像452，來顯示多視點圖像(立體視覺圖像)。具體而言，顯示裝置422B在複數之視點座標464中，取得與本身的畫面尺寸461相對應的視點座標464。然後，顯示裝置422B因應已取得的視點座標464，決定使用於顯示的複數之視點，即複數之顯示視點，將來自於已決定之顯示視點的圖像作為多視點圖像而顯示。此顯示視點之決定，是藉由顯示裝置422B所含的視點決定部所進行。

例如，顯示裝置422B使用第1解碼圖像451及第2解碼圖像452，來進行視點合成，藉此，生成對應於第1視點與第2視點之間之視點的合成圖像。在此，藉由視點合成所生成的二個合成圖像之視點位置，對應於所取得之二個視點座標464。例如，二個合成圖像之視點位置，位於二個視點座標464。

並且，顯示裝置422B將已生成的二個合成圖像作為多視點圖像而顯示。另外，二個視點位置462之至少一者，亦可等於第1攝影機之視點位置或第2攝影機之視點位置。此時，不進行視點合成，將第1解碼圖像451或第2解碼圖像452使用於顯示。

以下，說明包含上述視點識別資訊的SEI訊息之語法構造。

圖11是顯示本實施形態之SEI「3d＿reference＿displays＿info〕之語法例的圖。

圖11所示之語法元件preferred＿left＿view＿id ＿flag，是表示：圖像解碼裝置使用於左眼用顯示的視點之視點識別資訊(preferred＿left＿view＿id)，是否被包含在位元流中。

語法元件preferred＿left＿view＿id，是圖像解碼裝置使用於左眼用顯示的視點之視點識別資訊，例如，與上述視點識別符相對應。

語法元件preferred＿right＿view＿id＿flag，是表示：圖像解碼裝置使用於右眼用顯示的視點之視點識別資訊(preferred＿right＿view＿id)，是否被包含在位元流中。

語法元件preferred＿right＿view＿id，是圖像解碼裝置使用於右眼用顯示的視點之視點識別資訊，例如，與上述視點識別符相對應。

又，當左眼用及右眼用兩方的視點識別資訊被編碼時，最適當的攝影機間距離無須包含於位元流中。

僅左眼用及右眼用之任一方的視點識別資訊被編碼時，圖像解碼裝置使用該一方之視點識別資訊，決定使用於該一方之眼用顯示的第1視點。此外，此時，最適當的攝影機間距離(exponet＿ref＿baseline及maintissa＿ref＿baseline)被編碼於位元流內。並且，圖像解碼裝置使用此攝影機間距離，來識別與第1視點相對應的第2視點(也包含合成視點)之位置。

具體而言，當左視點之識別符與最適當的攝影機間距離一起被編碼時，第2(右)視點的位置，被決定為左視點之位置的右側。而當右視點之識別符與最適當的攝影機間距離一起被編碼時，第2(左)視點的位置，被決定為右視點之位置的左側。

當左及右兩方視點的視點識別資訊都未被編碼時，僅將最適當的攝影機間距離編碼。另外，此時之圖像編碼裝置及圖像解碼裝置的動作，與上述之參考例的動作相同。

以上，已說明了實施形態之圖像編碼裝置及圖像解碼裝置，但本發明並非限定於此實施形態。

例如，視點識別資訊亦可是編碼於SPS(序列參數組)之VUI(Video Usability Information)的、顯示動作點的動作點ID(operating point ID)。

又，上述實施形態之圖像編碼裝置及圖像解碼裝置所含的各處理部，典型而言係以積體電路之LSI來實現。該等可個別地1晶片化，亦可包含一部分或全部地1晶片化。

又，積體電路化不限於LSI，但亦可以專用電路或萬用處理器實現。在LSI製造之後，亦可利用可程式化之FPGA(Field Programmable Gate Array)或可再構成LSI內部之電路胞元之連接或設定之可重組態處理器。

在上述各實施形態中，各構成要素可由專用的硬體來構成，或者亦可藉由執行適於各構成要素之軟體程式來實現。亦可藉由CPU或處理器等之程式執行部，讀出記錄在硬碟或半導體記憶體等記録媒體的軟體程式並執行來實現各構成要素。

換言之，圖像編碼裝置及圖像解碼裝置具備處理電路(processing circuitry)、及與該處理電路電性連接(可從該控制電路存取)的記憶裝置(storage)。處理電路包含專用的硬體及程式執行部中之至少一者。又，記憶裝置在處理電路包含程式執行部時，記憶藉由該程式執行部所執行的軟體程式。處理電路使用記憶裝置，執行上述實施形態之圖像編碼方法或圖像解碼方法。

此外，本發明可係上述軟體程式，亦可係記錄有上述程式之非暫時性的電腦可讀取之記録媒體。又，上述程式可透過網際網路等傳送媒體而流通，也不言而喻。

又，上述所使用之數字，全為用以具體說明本發明而舉之例，本發明並不限制於所舉例之數字。

另外，方塊圖中之機能區塊的分割僅為一例，亦可將複數之機能區塊實現為一個機能區塊，將一個機能區塊分割成複數，或將一部份的機能移至其他機能區塊。又，亦可將具有類似機能之複數機能區塊的機能，由單一之硬體或軟體並列或分時地進行處理。

又，執行上述圖像編碼方法或圖像解碼方法所含步驟的順序，係用以具體說明本發明所舉之例，亦可為上述以外之順序。又，上述步驟的一部份，亦可與其他步驟同時(並列)地執行。

以上，已根據實施形態說明了本發明之一個或複數態樣之圖像編碼裝置及圖像解碼裝置，但本發明並非限定於該等實施形態者。只要不脫離本發明之旨趣，將熟悉此項技藝者可想到的各種變形施行於本實施形態者，或者組合不同實施形態中之構成要素而構築成的形態，皆可包含在本發明之一個或複數態樣之範圍內。

(實施形態2)

藉由將用以實現為執行在上述各實施形態所示之動畫圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成的程式記錄在記憶媒體，可在將上述各實施形態所示之處理獨立存在之電腦系統中簡單地實施。記憶媒體只要是磁碟、光碟、光學磁碟、IC卡、半導體記憶體等可記錄程式者即可。

進而，在此，說明在上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例與使用該例之系統。該系統係以具有由使用了圖像編碼方法之圖像編碼裝置、及使用了圖像解碼方法之圖像解碼裝置所構成之圖像編碼解碼裝置為特徵。針對系統中之其他構成，可因應情況而適當地變更。

圖12係顯示實現內容傳送服務之內容供給系統ex100之整體構成之圖。將通訊服務之提供領域分割成所期望之大小，在各胞元內分別設置作為固定無線台之基地台ex106、ex107、ex108、ex109、ex110。

該內容供給系統ex100係於網際網路ex101，經由網際網路服務提供者ex102、電話線路網ex104及基地台ex106至ex110，而連接電腦ex111、PDA(Personal Digital Assistant)ex112、相機ex113、行動電話ax114、遊戲機 ex115等各機器。

但是，內容供給系統ex100不限於如圖12之構成，亦可組合任何要素而連接。又，亦可不經由作為固定無線台之基地台ex106至ex110，將各機器直接連接於電話線路網ex104。又，各機器亦可經由近距離無線等而直接相互連接。

相機ex113係數位攝影機(digital video camera)等之可進行動態圖像攝影之機器，相機ex116係數位相機等之可進行靜態圖像攝影、動態圖像攝影之機器。又，行動電話ex114係指GSM(登錄商標)(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或者是LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)之行動電話機、或PHS(Personal Handyphone System)等，不管是哪一種皆可。

在內容供給系統ex100，相機ex113等透過基地台ex109、電話線路網ex104而連接於串流伺服器ex103，就可做即時傳送者。在即時傳送上，對於用戶使用相機ex113攝影之內容(例如音樂演唱會之影像等)，如上述各實施形態之說明，進行編碼處理(即，作為本發明之一態樣之圖像編碼裝置而展現功能)，傳送至串流伺服器ex103。另一方面，串流伺服器ex103係對於有請求之客戶，串流傳送所傳送之內容資料。客戶係指可將業經上述編碼處理之資料解碼的電腦ex111、PDAex112、相機ex113、行動電話ex114、遊戲機ex115等。在接收了所傳送之資料之各機器上，將所接收之資料進行解碼處理而再生(即，作為本發明之一態樣之圖像解碼裝置而展現功能)。

此外，所攝影之資料之編碼處理亦可以相機ex113進行，亦可以進行資料之傳送處理之串流伺服器ex103進行，亦可相互分擔進行。同樣，所傳送之資料之解碼處理亦可在客戶端進行，亦可在串流伺服器ex103進行，亦可相互分擔進行。又，不限於相機ex113，亦可經由電腦ex111而將以相機ex116所攝影之靜態圖像及/或動態圖像資料傳送至串流伺服器ex103。此時之編碼處理亦可由相機ex116、電腦ex111、串流伺服器ex103之任一者進行，亦可相互分擔進行。

又，其等編碼處理及解碼處理一般是在電腦ex111或具有各機器之LSIex500予以處理。LSIex500可為單一晶片，亦可為由複數晶片構成之構成者。此外，動態圖像編碼、解碼用之軟體亦可內建於電腦ex111等可讀取之任一種記錄媒體(CD-ROM、軟碟、硬碟等)，使用該軟體來進行編碼、解碼處理。進而，在行動電話ex114為附有相機時，亦可傳送以該相機所取得之動畫資料。此時之動態圖像資料為藉行動電話ex114所具有之LSIex500所編碼處理之資料。

又，串流伺服器ex103係複數之伺服器或複數之電腦，亦可為將資料分散處理或記錄而傳送者。

按如上執行，在內容供給系統ex100中，可讓客戶接收業已編碼之資料後進行再生者。如此，在內容供給系統ex100中，客戶可實時接收用戶所傳送之資訊再予以解碼並再生，就算沒有特別的權利或設備之用戶，亦可實現個人廣播。

又，不限於內容供給系統ex100之例，如圖13所示，在數位式廣播用系統ex200中亦可組裝上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一者。具體來說，在廣播台ex201中，可透過電波而將在圖像資料多工有音樂資料等之多工資料進行通訊或傳送至衛星ex202。該圖像資料係指藉上述各實施形態所說明之動態圖像編碼方法所編碼之資料(即，藉本發明之一態樣之圖像編碼裝置編碼之資料)。接收該資料之廣播衛星ex202係傳送廣播用之電波，讓可進行衛星廣播接收之家庭之天線ex204接收該電波。電視機(接收機)ex300或機上盒(STB)ex217等之裝置將所接收之多工資料解碼後再生(即，作為本發明之一態樣之圖像解碼裝置而展現功能)。

又，讀取暨解碼記錄在DVD、BD等之記錄媒體ex215之多工資料、或將影像訊號編碼至記錄媒體ex215，進而依情況而多工有音樂訊號而寫入之讀取器(reader)/記錄器(recorder)ex218，亦可安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。此時，所再生之影像訊號顯示在顯示器ex219，藉記錄有多工資料之記錄媒體ex215可在其他裝置或系統將影像訊號再生。又，在連接於電纜線電視機用之電纜線ex203或衛星/地上波廣播之天線ex204之機上盒ex217內亦可安裝動態圖像解碼裝置，將此在電視機之顯示器ex219顯示者。此時，亦可在電視機內安裝動態圖像解碼裝置，而非機上盒。

圖14係顯示使用有上述各實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之電視機(接收機)ex300之圖。電視機ex300包含有：調諧器ex301，係經由接收上述廣播之天線ex204或電纜線ex203等，而取得或輸出圖像資料上多工有聲音資料之多工資料者；調變/解調部ex302，係將所接收之多工資料解調或將傳送至外部之多工資料調變；及多工/解多工部ex303，係將具有已解調之多工資料解多工成圖像資料與聲音資料，或將以訊號處理部ex306所編碼之圖像資料、聲音資料多工者。

又，電視機ex300包含有：具有各將聲音資料、圖像資料解碼或將各自的資訊編碼之聲音訊號處理部ex304、影像訊號處理部ex305(作為本發明之一態樣之圖像編碼裝置或圖像解碼裝置發揮功能)之訊號處理部ex306、及具有將業經解碼之聲音訊號輸出之揚聲器ex307、顯示所解碼之圖像訊號之顯示器等之顯示部ex308之輸出部ex309。進而，電視機ex300具有介面部ex317，該介面部ex317具有受理用戶操作之操作輸入部ex312等。進而，電視機ex300包含有統籌地控制各部之控制部ex310、供電至各部之電源電路部ex311。介面部ex317，除了操作輸入部ex312外，還有與讀取器/記錄器ex218等之外部機器連接之橋接器ex313、可裝設SD卡等之記錄媒體ex216用之插槽部ex314、與硬碟等之外部記錄媒體連接用之驅動器ex315、及與電話線路網連接之數據機ex316等。此外，記錄媒體ex216是可藉所儲存之非依電性(non-volatile)/依電性之半導體記憶體元件進行電性資訊記錄者。電視機ex300之各部係經由同步匯流排而相互連接。

首先，針對電視機ex300將藉天線ex204等而由外部取得之多工資料解碼並再生之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據具有CPU等之控制部ex310之控制，在多工/解多工部ex303將調變/解調部ex302所解調之多工資料解多工。進而，電視機ex300係於聲音訊號處理部ex304將所解多工之聲音資料解碼，且將所解多工之圖像資料在影像訊號處理部ex305使用在上述各實施形態所說明解碼方法予以解碼。已解碼之聲音訊號、圖像訊號各由輸出部ex309而向外部輸出。又在輸出之時，為了使聲音訊號與圖像訊號同步再生，只要先暫時將其等訊號儲存在緩衝器ex318、ex319等即可。又，電視機ex300，亦可不由廣播等，亦可由磁碟/光碟、SD卡等之記錄媒體ex215、ex216將多工資料讀出。其次，針對電視機ex300將聲音訊號或圖像訊號編碼後傳送至外部或寫入至記錄媒體等之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據控制部ex310之控制，在聲音訊號處理部ex304將聲音訊號編碼，在影像訊號處理部ex305，使用在上述各實施形態所說明之編碼方法進行編碼。業經編碼之聲音訊號、圖像訊號係於多工/解多工部ex303多工，而輸出至外部。在多工之時，為了使聲音訊號與圖像訊號同步，只要先暫時將其等訊號儲存在緩衝器ex320、ex321等即可。此外，緩衝器ex318、ex319、ex320、ex321係如圖所示，可具有複數，亦可為共有一個以上之緩衝器之構成。進而，除圖示之外，例如調變/解調部ex302或多工/解多工部ex303之間等亦可先將資料儲存在避免系統的溢位(overflow)、下溢(underflow)之緩衝件之緩衝器。

又，電視機ex300除了由廣播等或記錄媒體等取得聲音資料、圖像資料外，亦可具有受理麥克風或相機之AV輸入之構成，對於由其等取得之資料進行編碼處理。此外，在此電視機ex300係以可進行上述之編碼處理、多工處理及外部輸出之構成進行說明，但不能進行其等處理，但亦可為只做上述接收、解碼處理、外部輸出之構成。

又，在讀取器/記錄器ex218由記錄媒體讀出多工資料或將多工資料寫入記錄媒體時，上述解碼處理或編碼處理亦可由電視機ex300、讀取器/記錄器ex218之任一者進行，亦可使電視機ex300與讀取器/記錄器ex218相互分擔進行。

以一例而言，將由光碟進行資料之讀入或寫入時之資訊再生/記錄部ex400之構成顯示在圖15。資訊再生/記錄部ex400包含有以下所說明之要素ex401、ex402、ex403、ex404、ex405、ex406、及ex407。光學磁頭ex401 係於作為光碟之記錄媒體ex215之記錄面照射雷射光點寫入資訊，檢測來自記錄媒體ex215之記錄面之反射光來讀入資訊。調變記錄部ex402係電驅動內建在光學磁頭ex401之半導體雷射，因應記錄資料進行雷射光之調變。再生解調部ex403係將內建在光學磁頭ex401之光學探測器電檢測來自記錄面之反射光之再生訊號放大，將記錄媒體ex215所記錄之訊號成分分離且解調，將所需的資訊再生。緩衝器ex404係將由用以記錄在記錄媒體ex215之資訊及記錄媒體ex215再生之資訊暫時固持。光碟馬達ex405係將記錄媒體ex215旋轉。伺服器控制部ex406係控制光碟馬達ex405之旋轉驅動，且將光學磁頭ex401移動在預定之資訊軌道，進行雷射光點之追蹤處理。系統控制部ex407係進行資訊再生/記錄部ex400整體之控制。上述之讀出或寫入之處理係使系統控制部ex407利用緩衝器ex404所固持之各種資訊，又因應必要進行新的資訊的生成及追加，並一邊使調變記錄部ex402、再生解調部ex403、伺服器控制部ex406協調作動，一邊透過光學磁頭ex401，進行資訊之記錄再生而予以實現。系統控制部ex407係以例如微處理部構成，執行讀出寫入之程式，而執行其等之處理。

在以上的說明中，光學磁頭ex401係照射雷射光點來進行說明，亦可為利用接近場光而進行更高密度之記錄之構成。

圖16係顯示成為光碟之記錄媒體ex215之模式圖。記錄媒體ex215之記錄面形成螺旋狀的導槽(溝槽 groove)，在資訊軌道ex230上事先記錄有溝槽的形狀變化而顯示光碟上的絕對位置之地點資訊。該地點資訊含有用以界定記錄區塊ex231之位置之資訊，該記錄區塊ex231係記錄資料之單位，在進行記錄或再生之裝置中將資訊軌道ex230再生，讀取地點資訊，以界定記錄區塊。又，記錄媒體ex215係含有資料記錄區ex233、內周區ex232、及外周區ex234。為記錄用戶資料所用之區域為資料記錄區ex233，配置在資料記錄區ex233內周或外周之內周區ex232及外周區ex234係用於用戶資料之記錄以外之特定用途。資訊再生/記錄部ex400係對於如此記錄媒體ex215之資料記錄區ex233，進行將業已編碼之聲音資料、影像資料或其等資料多工之多工資料之讀寫。

在以上說明中，是以一層的DVD、BD等之光碟為例進行說明，但不限於其等，亦可為多層構造且在表面以外亦可記錄之光碟。又，亦可為在光碟之相同地方利用各種不同波長之顏色之光記錄資訊，或由各種角度記錄不同資訊之層等進行多次元之記錄/再生之構造之光碟。

又，亦可在數位廣播用系統ex200中，在具有天線ex205之車輛ex210由衛星ex202等接收資料，在車輛ex210所具有之車輛導航系統ex211等之顯示裝置將動畫再生。此外，車輛導航系統ex211之構成可考慮如圖14所示之構成中加上GPS接收部之構成，同樣的事情亦可考慮在電腦ex111或行動電話ex114等實現。

圖17A係顯示使用上述實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之行動電話ex114之圖。行動電話ex114包含有用以於基地台ex110之間接送電波之天線ex350、可攝影圖像、靜態圖像之相機部ex365、及顯示使以相機部ex365所攝影之圖像、天線ex350所接收之圖像解碼之資料之液晶顯示器等之顯示部ex358。行動電話ex114更包含有具有操作鍵部ex366之本體部、用以輸出聲音之揚聲器等之聲音輸出部ex357、用以輸入聲音之麥克風等之聲音輸入部ex356、及保存所攝影之影像、靜態圖像、所錄音之聲音或所接收之影像、靜態圖像、郵件等之業已編碼之資料或者是業已解碼之資料之記憶體部ex367、或同樣，在與作為保存資料之記錄媒體之間之介面部之插槽(slot)部ex364。

進而，針對行動電話ex114之構成例，使用圖17B予以說明。行動電話ex1l4係相對於統籌地控制具有顯示部ex358及操作鍵部ex366之本體部之各部之主控制部ex360，經由匯流排ex370而使電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、相機介面部ex363、液晶顯示器(LCD,Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/解多工部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367相互連接。

電源電路部ex361係一藉用戶之操作而將結束對話及電源鍵呈開啟狀態時，由電池組對著各部供電，將行動電話ex114起動為可作動之狀態。

行動電話ex114係根據具有CPU、ROM、RAM 等之主控制部ex360之控制，在聲音通話模式時，以聲音訊號處理部ex354而將以聲音輸入部ex356收音之聲音訊號轉換成數位聲音訊號，以調變/解調部ex352對此進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送。又，行動電話ex114係於聲音通話模式時，將經由天線ex350所接收之接收資料放大，施行頻率變換處理及類比數位轉換處理，以調變/解調部ex352進行頻譜逆擴散處理，以聲音訊號處理部ex354轉換成類比聲音訊號之後，且由聲音輸出部ex357予以輸出。

進而，在於資料通訊模式時傳送電子郵件時，藉本體部之操作鍵部ex366等之操作所輸入之電子郵件之正文資料係經由操作輸入控制部ex362而送出至主控制部ex360。主控制部ex360係以調變/解調部ex352而將正文資料進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送至基地台ex110。在接收電子郵件時，對於所接收之資料進行與前述處理幾乎相反之處理，輸出至顯示部ex358。

在於資料通訊模式時傳送影像、靜態圖像或影像與聲音時，影像訊號處理部ex355係將由相機部ex365所供給之影像訊號，藉以上述各實施形態所示之動態圖像編碼方法進行壓縮編碼(即，當作本發明之一態樣之圖像編碼裝置發揮功能)，將業經編碼之影像資料送出至多工/解多工部ex353。又，聲音訊號處理部ex354係在以相機部 ex365將影像、靜態圖像等攝影之中將聲音輸入部ex356所收音之聲音訊號編碼，將業已編碼之聲音資料送出至多工/解多工部ex353。

多工/解多工部ex353係以預定方式將由影像訊號處理部ex355所供給且業已編碼之影像資料及由聲音訊號處理部ex354所供給且業已編碼之聲音資料多工，將其結果所得到之多工資料在調變/解調部(調變/解調電路部)ex352進行頻譜擴散處理，在於傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送者。

為了在資料通訊模式時、在接收連到網頁等之動態圖像檔案之資料時、或在接收附有影像或聲音之電子郵件時，將經由天線ex350而所接收之多工資料解碼，多工/解多工部ex353將多工資料解多工，分成影像資料之位元流與聲音資料之位元流，經由同步匯流排ex370而將業已編碼之影像資料供給至影像訊號處理部ex355，並將業已編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355係藉由與上述各實施形態所示之動態圖像編碼方法對應之動態圖像解碼方法解碼，將圖像訊號解碼(即，作為本發明之一態樣之圖像解碼裝置發揮)，經由LCD控制部ex359，由顯示部ex358顯示例如連到網路之動態圖像檔案所含之影像、靜態圖像。又，聲音訊號處理部ex354係將聲音訊號解碼，且由聲音輸出部ex357輸出聲音。

又，上述行動電話ex114等之終端機係與電視機 ex300同樣，可考慮到除了具有編碼器及解碼器兩者之收發型終端機之外，只有編碼器之傳送終端機、只有解碼器之接收終端機等三種安裝方式。進而，在數位廣播用系統ex200中，是說明接收、傳送在影像資料多工有音樂資料等之多工資料，但除了聲音資料外，亦可為有與影像有關連之文字資料等多工之資料，亦可為影像資料本身而非多工資料。

如此，可將上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法運用在上述之任一種機器或系統，藉此，可得到在上述各實施形態所說明之效果。

又，本發明不限於上述實施形態者，可在不脫離本發明範圍下可做各種變形或修正。

(實施形態3)

亦可因應情況適當地切換上述各實施形態所示之動態圖像編碼方法或裝置、與以MPEG-2、MPEG4-AVC、VC-1等相異之規格為準之動態圖像編碼方法或裝置，生成影像資料者。

在此，在生成有以各為不同之規格為準之複數影像資料時，在解碼時，必須選擇與各規格對應之解碼方法。惟，由於不能識別欲解碼之影像資料是已哪一規格為準，因此衍生有不能選擇適當的解碼方法之課題。

為了解決該課題，將聲音資料等多工至影像資料之多工資料係構建為含有顯示影像資料是以哪一規格為準者之識別資訊之構成。如下說明含有藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料之多工資料之具體構成。多工資料為MPEG-2傳輸流形式之數位流。

圖18係顯示多工資料之構成圖。如圖18所示，多工資料係將視訊流、聲訊流、演示圖形流(PG)、交互圖形流之中將一個以上多工而所得到者。視訊流表示電影之主圖像及副圖像、聲訊流(IG)表示電影之主聲音部分及與該主聲音混合之副聲音部分，演示圖形流表示電影之字幕。在此，主圖像係指顯示在畫面之通常圖像，副圖像係指以小畫面顯示在主圖像中之圖像者。又，交互圖形流係指於畫面上配置GUI零件所作成之對話畫面。視訊流係指藉以上述各實施形態所示之動態圖像編碼方法或裝置、以習知之MPEG-2、MPEG4-AVC、VC-1等規格為準之動態圖像編碼方法或裝置所編碼者。聲訊流係以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD或、線性PCM等方式所編碼者。

多工資料所含之各串流係藉PID所識別。例如在於電影之圖像所利用之視訊流劃分有0×1011，音訊流劃分有0×1100至0×111F，演示圖形流劃分有0×1200至0×121F，交互圖形流劃分有0×1400至0×141F，在於電影之副圖像所利用之視訊流劃分有0×1B00至0×1B1F，與主聲音混合之副聲音所利用之音訊流劃分有0×1A00至0×1A1F。

圖19係模式地顯示多工資料是如何被多工之圖。首先，將由複數視訊框所構成之視訊流ex235、由複數聲訊流所構成之聲訊流ex238各變換成PES封包列ex236及ex239、TS封包ex237及ex240。同樣將演示圖形流ex241及交互圖形流ex244之資料各變換成PES封包列ex242及ex245，進行變換成TS封包ex243及ex246。多工資料ex247係將其等TS封包多工成一條串流來構成者。

圖20係進一步詳細顯示在PES封包列中如何儲存視訊流。圖20中之第1段係顯示視訊流之視訊框列。第2段係顯示PES封包列。如圖20之箭頭符號yy1、yy2、yy3、yy4所示，視訊流中之複數視訊表達單元(Video Presentation Unit)之I圖片、B圖片、P圖片係按每一圖片分割，且儲存在PES封包之酬載。各PES封包係具有PES標頭，PES標頭儲存有成為圖片之顯示時刻之表達時間戳記(PTS,Presentation Time-Stamp)或圖片之解碼時刻之解碼時間戳記(DTS,Decoding Time-Stamp)。

圖21係顯示最終寫入於多工資料之TS封包之形式。TS封包係188位元組(Byte)固定長度之封包，由具有識別串流之PID等之資訊之4位元組之TS標頭及儲存資料之184位元組之TS酬載所構成，上述PES封包被分割而儲存在TS酬載。在BD-ROM時，TS封包被附與有4位元組之TP_Extra_Header，構成192位元組之原始封包，寫入至多工資料。TP_Extra_Header記載有ATS(Arrival_Time_Stamp)等之資訊。ATS係顯示該TS封包轉送記錄器之PID濾波器之轉送開始時間。多工資料中，如圖21下段所示，構成有原始封包排列者，由多工資料之前頭開始增加之號碼被稱為原始封包號碼(SPN；source packet number)。

又，多工資料所含之TS封包，除了圖像、聲音、字幕等之各串流外，更有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示多工資料中所利用之PMT之PID為何者，PAT本身之PID係登錄為0。PMT係具有多工資料中所含之影像‧聲音‧字幕等之各串流之PID及與各PID對應之串流之屬性資訊，又具有與多工資料有關之各種描述符。描述符具有指示允許及不允許多工資料之複製的複製控制資訊等。PCR係為了取得作為ATS之時軸之到達時間時鐘(ATC,Arrival Time Clock)與成為PTS．DTS之時軸之系統時間時鐘(STC,System Time Clock)之同步，而具有與該PCR封包轉送至記錄器之ATS對應之STC時間之資訊。

圖22係詳細說明PMT之資料構造之圖。PMT之前頭配置有記著該PMT所含之資料的長度等之PMT標頭。在其之後面配置有複數與多工資料有關之描述符。上述複製控制資訊等係記載為描述符。描述符之後配置有複數與多工資料所含之各串流有關之串流資訊。串流資訊係為於識別串流之壓縮編解碼器等，而由記載有串流形式、串流之PID、串流之屬性資訊(框速率、長寬比等)之串流描述符所構成。串流描述符之數有存在於多工資料之串流數這麼多。

在記錄於記錄媒體等的時候，上述多工資料係與多工資料資訊檔案一起記錄。

多工資料資訊檔案，如圖23所示，為多工資料之管理資訊，與多工資料呈一對一之對應關係，由多工資料資訊、串流屬性資訊及登錄圖(entry map)所構成者。

多工資料資訊，如圖23所示，由系統速率、再生開始時刻、再生結束時刻所構成者。系統速率表示多工資料轉送至後述的系統指標解碼器之PID濾波器之最大轉送速率。多工資料中所含之ATS之間隔係設定為系統速率以下。再生開始時刻係多工資料之前頭之視訊框之PTS，再生結束時刻係於在多工資料之末端之視訊框之PTS加上一框量之再生間隔者。

串流屬性資訊，如圖24所示，針對多工資料所含之各串流之屬性資訊係登錄於每PID。屬性資訊具有視訊流、聲訊流、演示圖形流、交互圖形流各為不同之資訊。視訊流屬性資訊具有該視訊流是以何種壓縮編碼解碼器所壓縮、構成視訊流之每個圖片資料之圖像解析度有多少、長寬比有多少、框速率有多少等之資訊。聲訊流屬性資訊具有該聲訊流是以哪種壓縮編碼解碼器所壓縮、該聲訊流所含之頻道數為何、是對應何種語言、抽樣頻率有多少等之資訊。其等資訊是利用在於播放器再生前之記錄器之初始化等。

在本實施形態中，利用上述多工資料中PMT所含之串流形式。又，記錄媒體記錄有多工資料時，利用包含在多工資料資訊之視訊流屬性資訊。具體來說，在於上述各實施形態所示之動態圖像編碼方法或裝置中，設置設定固有資訊之步驟或手法，固有資訊係相對於PMT所含之串流形式或視訊流屬性資訊，顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料者。藉該構成，可識別藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料與以其他規格為準之影像資料。

又，將本實施形態中之動態圖像解碼方法之步驟顯示在圖25。在步驟exS100中，由多工資料取得PMT所含之串流形式或多工資料資訊所含之視訊流屬性資訊。其次，在步驟exS101中，判斷串流形式或視訊流屬性資訊是否顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之多工資料。接著，在串流形式或視訊流屬性資料被判斷為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成者之時，在步驟exS102中，藉上述各實施形態所示之動態圖像解碼方法，來進行解碼。又，在串流形式或視訊流屬性資訊被判斷為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格者之時，在步驟exS103中，藉以習知之規格為準之動態圖像解碼方法進行解碼。

如此，藉於串流形式或視訊流屬性資訊設定新的固有值，在解碼時，能判斷是否可以上述各實施形態所示之動態圖像解碼方法或裝置解碼者。因此，即使在輸入有以不同的規格為準之多工資料時，亦可選擇適當的解碼方法或裝置，因此可在不產生錯誤之狀態下進行解碼。又，亦可將本實施形態所示之動態圖像編碼方法或裝置或者是動態圖像解碼方法或裝置運用在上述任一機器及系統。

(實施形態4)

上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置典型上可以積體電路之LSI實現。以一例來說，在圖26顯示構成為單一晶片之LSIex500之構成。LSIex500包含有以下說明之要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素係經由匯流排ex510而連接者。電源電路部ex505係於電源為開啟狀態時，對於各部供電，而在可作動之狀態下起動。

例如在進行編碼處理時，LSIex500係根據包含有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501之控制，藉AV I/Oex509，由麥克風ex117或相機ex113等輸入AV訊號。所輸入之AV訊號暫時先儲存在SDRAM等外部之記憶體ex511。根據控制部ex501之控制，所儲存之資料係按處理量或處理速度，例如適當地分成數次等，而送至訊號處理部ex507，在訊號處理部ex507中，進行聲音訊號之編碼及/或圖像訊號之編碼。在此圖像訊號之編碼處理是上述各實施形態所說明之編碼處理。在訊號處理部ex507中，依情況進而進行業已編碼之聲音資料及業已編碼之影像資料多工等之處理，由串流I/Oex506輸出至外部。該所輸出之多工資料係朝基地台ex107傳送，或寫入至記錄媒體ex215。此外，在多工處理時，為了同步，只要先將資料暫時儲存在緩衝器ex508即可。

此外，在上述說明中，說明了記憶體ex511為LSIex500之外部構成，亦可為包含在LSIex500之內部之構成。緩衝器ex508亦可不限於一個，亦可為具有複數緩衝器者。又，LSIex500可為單一晶片，亦可複數晶片化。

又，在上述說明中，控制部ex501係構成為具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等者，但控制部ex501之構成不限於該構成。例如，訊號處理部ex507亦可為更具有CPU之構成。在訊號處理部ex507之內部亦設置CPU，就可更加提昇處理速度。又，以另一例而言，CPUex502亦可為具有訊號處理部ex507或具有訊號處理部ex507之一部例如聲音處理部之構成。在如此形態下，控制部ex501成為具有訊號處理部ex507或具有該一部分之CPUex502之構成。

此外，在此是構成為LSI，但依積體度的不同，亦可被稱為IC、系統LSI、SUPER LSI、ULTRA LSI。

又，實現積體電路之手法不限於LSI，但亦可以專用電路或萬用處理器實現。在LSI製造之後，亦可利用可程式化之FPGA(Field Programmable Gate Array)或可再構成LSI內部之電路胞元之連接或設定之可重組態處理器。如此之可程式性邏輯裝置，典型來說，可將構成軟體或韌體的程式，藉由負載或是從記憶體等讀入，而可執行上述各實施形態所示之動態圖像編碼方法、或動態圖像解碼方法。

進而，在藉半導體技術之進步或衍生之其他技術來讓替換成LSI之積體電路化之技術上場時，當然亦可使用該技術來進行功能區塊之積體化。生技的運用等亦存在著可能性。

(實施形態5)

在與對藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料進行解碼時，與對以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之圖像資料的時候相比，考慮將處理量增加者。為此，在LSIex500，必須設定在比將以習知規格為準之影像資料解碼時之CPUex502之驅動頻率更高之驅動頻率。惟，會產生一提高驅動頻率就使耗電高之課題。

為解決該課題，採用電視機ex300、LSIex500等之動態圖像解碼裝置係識別影像資料是以哪一規格為準者，因應規格而切換驅動頻率之構成。圖27係顯示本實施形態中之構成ex800。驅動頻率切換部ex803係於影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成時，將驅動頻率提高設定。接著，對於執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801發出指示，來對影像資料解碼者。另一方面，在影像資料為以習知規格為準之圖像資料時，與影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之時候相比，將驅動頻率降低設定。接著對於以習知規格為準之解碼處理部ex802發出指示，來將影像資料解碼者。

更具體地說，驅動頻率切換部ex803係由圖26之CPUex502與驅動頻率控制部ex512所構成者。又，執行上述各實施形態中所示之動態圖像解碼方法之解碼處理部ex801及以習知規格為準之解碼處理部ex802係相當於圖26之訊號處理部ex507。CPUex502係識別影像資料是以哪一規格為準者。接著，根據來自CPUex502之訊號，驅動頻率控制部ex512係設定驅動頻率。又，根據來自CPUex502之訊號，訊號處理部ex507係進行影像資料之解碼。在此，影像資料之識別上，例如可考慮利用實施形態3所記述之識別資訊。有關於識別資訊，不限於實施形態3所記載者，只要是可識別影像資料是以哪一規格為準之資訊即可。例如，根據識別影像資料是利用在電視者或者是利用在光碟者之外部訊號，在可識別出影像資料是以哪一規格為準者的時候，亦可根據如此之外部訊號進行識別。又，CPUex502中之驅動頻率選擇，可考慮根據具有圖29所示之影像資料的規格及驅動頻率之對應關係之查找表進行者。先將查找表儲存在緩衝器ex508或LSI之內部記憶體，CPUex502係參考該查找表，就可選擇驅動頻率。

圖28係顯示實施本實施形態之方法之步驟。首先，在步驟exS200中，於訊號處理部ex507上由多工資料取得識別資訊。其次，在步驟exS201中，於CPUex502上，根據識別資訊，識別影像資料是否為藉由上述各實施形態所示之編碼方法或裝置所生成者。在影像資料為藉由上述各實施形態所示之編碼方法或裝置所生成之時，在步驟exS202中，CPUex502係將驅動頻率提高設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512 中，設定高驅動頻率。另一方面，在顯示為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，在步驟exS203中，CPUex502係將驅動頻率降低設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512上，和影像資料經由上述各實施形態所示之編碼方法或裝置所生成之時候相比，設定較低的驅動頻率。

進而，與驅動頻率之切換連動而變更提供給含有LSIex500或LSIex500之裝置之電壓，就更能提高省電效果。例如，將驅動頻率降低設定時，隨此，與將驅動頻率提高設定的時候相比，可考慮將提供至含有LSIex500或LSIex500之裝置之電壓降低設定者。

又，驅動頻率之設定方法係於欲解碼時之處理量很大時，只要將驅動頻率提高設定，而於欲解碼時之處理量很小時，則將驅動頻率降低設定，即可採用，不限於上述之設定方法。例如，將以MPEG4-AVC規格為準之影像資料解碼之處理量比經由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料解碼之處理量大時，可考慮與上述時候相反地執行驅動頻率之設定者。

進而，驅動頻率的設定方法不限於將驅動頻率降低之構成。例如在識別資訊係顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，亦可考慮提高設定供應至含有LSIex500或LSIex500之裝置之電壓，在顯示為以習知MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，可考慮降低設定提供至含有 LSIex500或LSIex500之裝置之電壓。又，以另一例來說，識別資訊係於顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，亦可考慮不使CPUex502之驅動停止，在顯示以習知MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，因為處理能充裕進行，因此可考慮暫時將CPUex502之驅動停止。即使在識別資訊於顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，只要處理能充裕進行時，亦可考慮暫時停止CPUex502之驅動。此時，與顯示為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料的時候相比，可考慮將停止時間縮短設定者。

如此，因應影像資料所依據之規格來切換驅動頻率，可謀求省電。又，在使用電池以驅動含有LSIex500或LSIex500之裝置時，隨著省電，可延長電池的壽命。

(實施形態6)

在電視機或行動電話等上述之機器及系統有以不同規格為準之複數影像資料輸入之狀況。像這樣為了做到能在輸入有以不同規格為準之複數影像資料時也能解碼者，LSIex500之訊號處理部ex507必須能對應於複數規格。惟，如果分別使用對應於各規格之訊號處理部ex507時，將使LSIex500之電路規模變得龐大，又會衍生有增加成本之課題。

為解決該課題，採用將用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部及以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之解碼處理部局部共有之構成。將該構成例顯示於圖30A之ex900。例如，以上述各實施形態所示之動態圖像解碼方法與以MPEG4-AVC規格為準之動畫解碼方法係於熵編碼、逆量化、解塊(deblocking)濾波器、動態補償等之處理上有處理內容部分共通者。可考慮採用一種針對共通之處理內容，共有對應於MPEG4-AVC規格之解碼處理部ex902，而針對不對應於MPEG4-AVC規格之本發明之一態樣特有之其他處理內容，則可考慮使用專用的解碼處理部ex901之構成。特別是，本發明之一態樣由於在多視點圖像的控制上具有特徵，故例如關於多視點圖像的控制，使用專用的解碼處理部ex901，關於其外之逆量化、熵解碼、解塊濾波器、動態補償等任一者、或全部的處理，可共用解碼處理部。有關於解碼處理部之共有化，是針對共通的處理內容共有用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部，對於MPEG4-AVC規格所特有之處理內容，亦可為使用專用的解碼處理部之構成。

又，將使部分處理共有之另一例顯示在圖30B之ex1000。在該例中，係構成為對應於本發明之一態樣特有之處理內容之專用的解碼處理部ex1001、對應於其他習知規格特有之處理內容之專用的解碼處理部ex1002、對應於本發明之一態樣之動態圖像解碼方法與其他習知規格之動態圖像解碼方法所共通之處理內容之共用的解碼處理部 ex1003之構成。在此，專用的解碼處理部ex1001、ex1002未必為本發明之一態樣、或其他特殊規格所特有之處理內容特殊化者，亦可為可執行其他萬用處理者。又，本實施形態之構成亦可以LSIex500安裝者。

如此，本發明之一態樣之動態圖像解碼方法與習知規格之動態圖像解碼方法共通之處理內容係共有解碼處理部，因此可將LSI的電路規模縮小，且可降低成本。

產業上利用之可能性

本發明適用於圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置。又，本發明可利用於具有圖像編碼裝置的電視、數位影像錄影機、車輛導航系統、行動電話、數位照相機及數位影像攝影機等高解析度的資訊顯示機器或攝影機器。

S101、S102‧‧‧步驟

Claims

一種圖像編碼方法，是把從複數之攝影視點所攝影的多視點圖像進行編碼的圖像編碼方法，包含有：生成步驟，生成與有可能在圖像解碼裝置使用的複數個畫面尺寸之各個畫面尺寸相對應，且用以將在前述圖像解碼裝置使用於顯示的複數之視點，即複數之顯示視點特定出來的視點識別資訊；及編碼步驟，將前述視點識別資訊編碼，複數個前述視點識別資訊之各個視點識別資訊是與有可能在前述圖像解碼裝置使用的前述複數個畫面尺寸之各個畫面尺寸相對應。
如請求項1之圖像編碼方法，其中前述視點識別資訊是表示前述複數之攝影視點中之一個攝影視點。
如請求項1之圖像編碼方法，其中前述視點識別資訊是表示把以前述複數之攝影視點中之二個攝影視點所攝影的圖像進行合成而藉此生成的合成圖像之視點。
如請求項1或2之圖像編碼方法，其中前述視點識別資訊是用以識別前述複數之攝影視點的識別符。
一種圖像解碼方法，是將藉由把從複數之攝影視點所攝影的多視點圖像編碼而生成的位元流進行解碼的圖像解碼方法，包含有：解碼步驟，把前述位元流所含的與有可能在圖像解碼裝置使用的複數個畫面尺寸之各個畫面尺寸相對應之用以將複數之視點特定出來的視點識別資訊進行解碼；及決定步驟，在經解碼的複數之視點識別資訊中，使用與圖像解碼裝置所具有的顯示裝置之畫面尺寸相對應的視點識別資訊，來決定前述圖像解碼裝置使用於顯示的複數之視點，即複數之顯示視點，前述複數個視點識別資訊之各個視點識別資訊是與有可能在前述圖像解碼裝置使用的前述複數個畫面尺寸之各個畫面尺寸相對應。
如請求項5之圖像解碼方法，其中前述視點識別資訊是表示前述複數之攝影視點中之一個攝影視點，且在前述決定步驟中，將前述複數之攝影視點中前述視點識別資訊所示的前述一個攝影視點，決定為前述複數之顯示視點之一。
如請求項5之圖像解碼方法，其中前述視點識別資訊是表示把以前述複數之攝影視點中之二個攝影視點所攝影的圖像進行合成而藉此生成的合成圖像之視點。
如請求項5或6之圖像解碼方法，其中前述視點識別資訊是用以識別前述複數之攝影視點的識別符。
一種圖像編碼裝置，是把從複數之攝影視點所攝影的多視點圖像進行編碼的圖像編碼裝置，具有：視點識別資訊生成部，生成與有可能在圖像解碼裝置使用的複數個畫面尺寸之各個畫面尺寸相對應，且用以將在前述圖像解碼裝置使用於顯示的複數之視點，即複數之顯示視點特定出來的視點識別資訊；及視點識別資訊編碼部，將前述視點識別資訊編碼，前述複數個視點識別資訊之各個視點識別資訊是與有可能在前述圖像解碼裝置使用的前述複數個畫面尺寸之各個畫面尺寸相對應。
一種圖像解碼裝置，是將藉由把從複數之攝影視點所攝影的多視點圖像編碼而生成的位元流進行解碼的圖像解碼裝置，具有：視點識別資訊解碼部，把前述位元流所含的與有可能在圖像解碼裝置使用的複數個畫面尺寸之各個畫面尺寸相對應之用以將複數之視點特定出來的視點識別資訊進行解碼；及視點決定部，在經解碼的複數之視點識別資訊中，使用與圖像解碼裝置所具有的顯示裝置之畫面尺寸相對應的視點識別資訊，來決定前述圖像解碼裝置使用於顯示的複數之視點，即複數之顯示視點，前述複數個視點識別資訊之各個視點識別資訊是與有可能在前述圖像解碼裝置使用的前述複數個畫面尺寸之各個畫面尺寸相對應。