TW201322736A - 立體影像編碼裝置、立體影像解碼裝置、立體影像編碼方法、立體影像解碼方法、立體影像編碼程式以及立體影像解碼程式 - Google Patents

立體影像編碼裝置、立體影像解碼裝置、立體影像編碼方法、立體影像解碼方法、立體影像編碼程式以及立體影像解碼程式 Download PDF

Info

Publication number
TW201322736A
TW201322736A TW101138183A TW101138183A TW201322736A TW 201322736 A TW201322736 A TW 201322736A TW 101138183 A TW101138183 A TW 101138183A TW 101138183 A TW101138183 A TW 101138183A TW 201322736 A TW201322736 A TW 201322736A
Authority
TW
Taiwan
Prior art keywords
viewpoint
image
depth map
bit stream
residual
Prior art date
Application number
TW101138183A
Other languages
English (en)
Other versions
TWI549475B (zh
Inventor
Takanori Senoh
Yasuyuki Ichihashi
Hisayuki Sasaki
Kenji Yamamoto
Ryutaro Oi
Taiichiro Kurita
Original Assignee
Nat Inst Inf & Comm Tech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nat Inst Inf & Comm Tech filed Critical Nat Inst Inf & Comm Tech
Publication of TW201322736A publication Critical patent/TW201322736A/zh
Application granted granted Critical
Publication of TWI549475B publication Critical patent/TWI549475B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

立體影像編碼裝置(1)係輸入基準視點影像(C)及左視點影像(L)、以及附隨於該等的深度值的圖亦即基準視點深度圖(Cd)及左視點深度圖(Ld)。立體影像編碼裝置(1)係藉由深度圖合成手段(12)，由2個深度圖生成中間視點中的左合成深度圖(Md)，藉由射影影像預測手段(15)，將基準視點影像射影至其他視點時，由左視點影像(L)抽出成為遮蔽洞的像素區域的像素而生成左殘差影像(Lv)，將基準視點影像(C)、左合成深度圖(Md)、及左殘差影像(Lv)分別進行編碼來傳送。

Description

立體影像編碼裝置、立體影像解碼裝置、立體影像編碼方法、立體影像解碼方法、立體影像編碼程式以及立體影像解碼程式
本發明係有關於將立體影像進行編碼的立體影像編碼 裝置、立體影像編碼方法及立體影像編碼程式、及將經編碼的立體影像進行解碼的立體影像解碼裝置、立體影像解碼方法及立體影像解碼程式。
近年來，雙眼式立體電視或雙眼式立體電影不斷在普及，但是僅實現一部分的立體觀視要因，由於沒有運動視差，因此不自然，或因戴眼鏡以致眼睛疲勞等。因此，期望更加自然的裸眼立體影像的實用化。
裸眼立體影像係以多視點影像來實現，但是必須傳送/蓄積多數視點影像，資料量多且實用化困難。因此，在多視點影像，針對其視點影像，以被攝體的深度資訊而言，藉由附加與其他視點影像之間的各像素中的視差(在相同被攝體點的影像內的像素位置的偏移量)的圖亦即深度圖，將視點數外抽來進行傳送/蓄積，將所得的少數視點影像以深度圖進行射影，藉此內插所被外抽的視點影像，來恢復多視點影像的方法已為人所知。
如上所示之使用少數的視點影像與深度圖來恢復多視點影像的方法被揭示於例如專利文獻1。在專利文獻1中係記載一種將多視點影像(畫像訊號)及其深度圖(深度訊號)進行編碼/解碼的方法。參照第35圖，說明專利文獻1所記載之畫像編碼裝置。如第35圖所示，專利文獻1所記載之畫像編碼裝置係包括：編碼管理部101、畫像訊號編碼部107、深度訊號編碼部108、單元化部109及參數資 訊編碼部110所構成。在該畫像編碼裝置中，各視點影像(畫像訊號)係在畫像訊號編碼部107進行視點影像間的預測編碼，1個以上的視點的深度圖(深度訊號)係在深度訊號編碼部108同樣地進行視點間預測編碼。
(先前技術文獻) (專利文獻)
(專利文獻1)日本特開2010-157821號公報
在專利文獻1所記載之方法中，所有經編碼的視點影像係具有與原影像相同的尺寸。但是，目前實用化的多視點立體顯示器係為了抑制其製造成本，使用與以往普及的顯示器相同的像素數的顯示器，各視點影像係以(視點數)分之1對像素數進行外抽來顯示，因此捨棄所被編碼/傳送的像素資料的大部分，編碼效率較低。此外，在專利文獻1係記載一種使用附隨於所被傳送的視點影像的深度圖，將所被外抽的視點影像進行合成的方法，但是必須將與視點數相同數量的深度圖進行編碼/傳送，而有編碼效率低的問題。
此外，在專利文獻1所記載之方法中，多視點影像與深度圖係分別個別進行視點間預測編碼。但是，習知之視點間預測編碼方法係在視點影像間，搜尋相對應的像素位置，抽出該像素位置的偏移量作為視差向量，使用所抽出 的視差向量來進行視點間預測編碼/解碼。因此，會有視差向量的搜尋耗費時間，並且預測精度差、編碼/解碼速度慢的問題。
本發明係鑑於如上所示之問題所研創者，課題為提供將立體影像效率佳地進行編碼且傳送的立體影像編碼裝置、立體影像編碼方法及立體影像編碼程式、及將該經編碼的立體影像進行解碼的立體影像解碼裝置、立體影像解碼方法及立體影像解碼程式。
為解決前述課題，申請專利範圍第1項所述之立體影像編碼裝置係將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖進行編碼的立體影像編碼裝置，其形成為以下構成：包括：基準視點影像編碼手段、中間視點深度圖合成手段、深度圖編碼手段、深度圖解碼手段、射影影像預測手段、及殘差影像編碼手段，前述射影影像預測手段係具有遮蔽孔檢測手段、及殘差影像切出手段。
藉由該構成，立體影像編碼裝置係藉由基準視點影像編碼手段，將前述多視點影像的基準視點中的影像亦即基準視點影像進行編碼，作為基準視點影像位元串流來進行輸出。此外，立體影像編碼裝置係藉由中間視點深度圖合成手段，使用前述基準視點中的深度圖亦即基準視點深度圖、及前述多視點影像的前述基準視點以外的視點亦即副視點中的深度圖亦即副視點深度圖，將前述基準視點與前 述副視點的中間視點中的深度圖亦即中間視點深度圖進行合成。接著，立體影像編碼裝置係藉由深度圖編碼手段，將前述中間視點深度圖進行編碼，作為深度圖位元串流來進行輸出。
藉此，針對所編碼的深度圖的資料量係若原本的深度圖為2個時，被刪減為一半。
此外，立體影像編碼裝置係藉由深度圖解碼手段，將前述經編碼的中間視點深度圖進行解碼，生成解碼中間視點深度圖。接著，立體影像編碼裝置係藉由射影影像預測手段，使用前述解碼中間視點深度圖，將前述基準視點影像射影至其他視點時，由前述副視點影像切出無法射影的像素區域亦即成為遮蔽孔的像素而生成殘差影像。此時，立體影像編碼裝置為了生成殘差影像，藉由遮蔽孔檢測手段，使用前述解碼中間視點深度圖，將前述基準視點影像射影至前述副視點時，檢測成為遮蔽孔的像素，藉由殘差影像切出手段，由前述副視點影像切出成為前述遮蔽孔的像素而生成前述殘差影像。在此，立體影像編碼裝置係使用經由編碼/解碼的中間視點深度圖，而非被編碼前的中間視點深度圖。尤其以高壓縮率進行編碼時，經解碼的深度圖係對原本的深度圖包含多數的誤差。因此，藉由使用與以立體影像解碼裝置將前述位元串流進行解碼而生成多視點影像時所使用的中間視點中的深度圖為相同的深度圖，可正確地檢測成為遮蔽孔的像素。接著，立體影像編碼裝置係藉由殘差影像編碼手段，將前述殘差影像進行編 碼，作為殘差影像位元串流來進行輸出。
藉此，在關於副視點影像的資料中，僅有作為殘差影像所被切出的部分成為編碼對象，刪減被編碼的資料量。
申請專利範圍第2項所述之立體影像編碼裝置係在申請專利範圍第1項所述之立體影像編碼裝置中，前述遮蔽孔檢測手段係形成為具有副視點射影手段、及孔像素檢測手段的構成。
藉由該構成，立體影像編碼裝置係藉由副視點射影手段，將前述解碼中間視點深度圖射影至前述副視點，生成前述副視點中的深度圖亦即副視點射影深度圖。此外，立體影像編碼裝置係藉由孔像素檢測手段，在前述副視點射影深度圖中，按每一像素，針對作為是否為成為前述遮蔽孔的像素的判定對象所注目的像素亦即注目像素，若由該注目像素接近前述基準視點側遠離預定的像素數的像素中的深度值，比前述注目像素中的深度值還大預定的值以上時，將前述注目像素作為成為前述遮蔽孔的像素來進行檢測。亦即，立體影像編碼裝置係使用遠離基準視點的副視點中的深度圖，來檢測成為遮蔽孔的像素。
藉此，立體影像編碼裝置係遺漏少地檢測被預測成為遮蔽孔的像素區域。
申請專利範圍第3項所述之立體影像編碼裝置係在申請專利範圍第2項所述之立體影像編碼裝置中，前述遮蔽孔檢測手段係形成為具有使表示遮蔽孔的像素位置的穴遮罩膨脹的穴遮罩膨脹手段的構成。
藉由該構成，前述遮蔽孔檢測手段係藉由穴遮罩膨脹手段，使藉由前述孔像素檢測手段所得之檢測結果亦即由所被檢測出的像素所構成的穴遮罩，以預定的像素數膨脹。接著，立體影像編碼裝置係藉由前述殘差影像切出手段，由前述副視點影像切出藉由前述穴遮罩膨脹手段而膨脹的穴遮罩(第1穴遮罩)所包含的像素而生成前述殘差影像。
藉此，立體影像編碼裝置係尤其使用壓縮率高的編碼方式來將深度圖進行編碼時，可吸收因含有多數對原本深度圖之被解碼的深度圖的誤差所造成之成為遮蔽孔的像素的檢測遺漏。
申請專利範圍第4項所述之立體影像編碼裝置係在申請專利範圍第2或申請專利範圍第3項所述之立體影像編碼裝置中，前述遮蔽孔檢測手段係形成為另外具有：第2孔像素檢測手段、將所被檢測到的穴位置射影至副視點的第2副視點射影手段、及將所被生成的複數穴遮罩進行統合的穴遮罩合成手段的構成。
藉由該構成，立體影像編碼裝置係藉由第2孔像素檢測手段，在前述解碼中間視點深度圖中，按每一像素，針對作為是否為成為前述遮蔽孔的像素的判定對象所注目的像素亦即注目像素，若由該注目像素接近前述基準視點側遠離預定的像素數的像素中的深度值，比前述注目像素中的深度值還大預定的值以上時，將前述注目像素作為成為前述遮蔽孔的像素來進行檢測而生成穴遮罩。接著，立體 影像編碼裝置係藉由第2副視點射影手段，生成將藉由第2孔像素檢測手段所生成的穴遮罩射影至副視點的穴遮罩(第2穴遮罩)。接著，立體影像編碼裝置係藉由穴遮罩合成手段，將藉由前述孔像素檢測手段所得之檢測結果亦即第1穴遮罩及藉由前述第2孔像素檢測手段所得之檢測結果射影至副視點的第2穴遮罩的邏輯和，設為前述遮蔽孔檢測手段的檢測結果。
亦即，立體影像編碼裝置係除了使用副視點中的深度圖的遮蔽孔的檢測以外，進行使用中間視點中的深度圖亦即中間視點深度圖的遮蔽孔的檢測，更適當地檢測成為遮蔽孔的像素。
申請專利範圍第5項所述之立體影像編碼裝置係在申請專利範圍第4項所述之立體影像編碼裝置中，前述遮蔽孔檢測手段係形成為另外具有指定視點射影手段、第3孔像素檢測手段、及第3副視點射影手段的構成。
藉由該構成，立體影像編碼裝置係藉由指定視點射影手段，將前述解碼中間視點深度圖射影至任意的指定視點位置，生成前述指定視點中的深度圖亦即指定視點深度圖。此外，立體影像編碼裝置係藉由第3孔像素檢測手段，在前述指定視點深度圖中，按每一像素，針對作為是否為成為前述遮蔽孔的像素的判定對象所注目的像素亦即注目像素，若由該注目像素接近前述基準視點側遠離預定的像素數的像素中的深度值，比前述注目像素中的深度值還大預定的值以上時，將前述注目像素作為成為前述遮蔽孔的 像素進行檢測而生成穴遮罩。接著，立體影像編碼裝置係藉由第3副視點射影手段，生成將藉由第3孔像素檢測手段所生成的穴遮罩射影至副視點的穴遮罩(第3穴遮罩)。接著，立體影像編碼裝置係藉由前述穴遮罩合成手段，將藉由前述孔像素檢測手段所得之檢測結果亦即第1穴遮罩、將藉由前述第2孔像素檢測手段所得之檢測結果射影至副視點的第2穴遮罩、及將藉由前述第3孔像素檢測手段所得之檢測結果射影至副視點的第3穴遮罩的邏輯和，設為前述遮蔽孔檢測手段的檢測結果。
亦即，立體影像編碼裝置係除了使用副視點中的深度圖的遮蔽孔的檢測以外，進行使用在解碼側將編碼資料進行解碼而生成多視點影像時的指定視點中的深度圖的遮蔽孔的檢測，更適當地檢測遮蔽孔。
申請專利範圍第6項所述之立體影像編碼裝置係在申請專利範圍第1至申請專利範圍第5中任一項所述之立體影像編碼裝置中，形成為另外包括深度圖圖框化手段、深度圖分離手段、及殘差影像圖框化手段的構成。
藉由該構成，立體影像編碼裝置係藉由深度圖圖框化手段，在前述多視點影像中，將針對前述基準視點與複數前述副視點的複數前述中間視點深度圖進行縮小而結合，生成圖框化成1個圖框畫像的圖框化深度圖。此外，立體影像編碼裝置係藉由深度圖分離手段，由前述圖框化深度圖，將經圖框化之複數縮小的前述中間視點深度圖進行分離，生成與前述基準視點影像為相同大小的複數前述合成 深度圖。再者此外，立體影像編碼裝置係藉由殘差影像圖框化手段，在前述多視點影像中，將針對前述基準視點與複數前述副視點的複數前述殘差影像進行縮小而結合，生成圖框化成1個圖框畫像的圖框化殘差影像。
在此，立體影像編碼裝置係藉由前述中間視點深度圖合成手段，生成前述基準視點、與複數前述副視點的各個之間的中間視點中的複數前述中間視點深度圖。立體影像編碼裝置係藉由前述深度圖圖框化手段，將藉由前述深度圖合成手段所被生成的複數中間視點深度圖進行縮小而結合，藉此生成前述圖框化深度圖。接著，立體影像編碼裝置係藉由前述深度圖編碼手段，將前述圖框化深度圖進行編碼，作為前述深度圖位元串流來進行輸出。
藉此，立體影像編碼裝置係減低針對在複數組的視點間所被生成的複數中間視點深度圖的資料量來進行編碼。
此外，立體影像編碼裝置係藉由前述深度圖解碼手段，將藉由前述深度圖編碼手段所被編碼的圖框化深度圖進行解碼而生成解碼圖框化深度圖。立體影像編碼裝置係藉由前述深度圖分離手段，將由前述解碼圖框化深度圖所被縮小的複數前述中間視點深度圖進行分離，生成與前述基準視點影像為相同大小的前述解碼中間視點深度圖。接著，立體影像編碼裝置係藉由前述射影影像預測手段，使用藉由前述深度圖分離手段所被分離的解碼中間視點深度圖，由與各個的前述解碼中間視點深度圖相對應的前述副視點中的前述副視點影像，生成前述殘差影像。接著，立 體影像編碼裝置係藉由前述殘差影像圖框化手段，將藉由前述射影影像預測手段所生成的複數前述殘差影像進行縮小而結合，生成前述圖框化殘差影像。接著，立體影像編碼裝置係藉由前述殘差影像編碼手段，將前述圖框化殘差影像進行編碼，作為前述殘差影像位元串流來進行輸出。
藉此，立體影像編碼裝置係可減低針對在複數組的視點間所生成的複數殘差影像的資料量來進行編碼。
申請專利範圍第7項所述之立體影像解碼裝置係將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖被編碼後的位元串流進行解碼而生成多視點影像的立體影像編碼裝置，形成為包括：基準視點影像解碼手段、深度圖解碼手段、殘差影像解碼手段、深度圖射影手段、及射影影像合成手段，前述射影影像合成手段係具有：基準視點影像射影手段、及殘差影像射影手段的構成。
藉由該構成，立體影像解碼裝置係藉由基準視點影像解碼手段，將前述多視點影像的基準視點中的影像亦即基準視點影像被編碼後的基準視點影像位元串流進行解碼，生成解碼基準視點影像。此外，立體影像解碼裝置係藉由深度圖解碼手段，將前述基準視點與遠離前述基準視點的其他視點亦即副視點的中間的視點中的深度圖亦即中間視點深度圖被編碼後的深度圖位元串流進行解碼，生成解碼合成深度圖。此外，立體影像解碼裝置係藉由殘差影像解碼手段，將前述基準視點影像射影至其他視點時，將由前 述副視點影像切出無法射影的像素區域亦即成為遮蔽孔的像素的影像亦即殘差影像被編碼後的殘差影像位元串流進行解碼，生成解碼殘差影像。接著，立體影像解碼裝置係藉由深度圖射影手段，將前述解碼中間視點深度圖，射影至作為前述多視點影像的視點而由外部所被指定的視點亦即指定視點，生成前述指定視點中的深度圖亦即指定視點深度圖。接著，立體影像解碼裝置係藉由射影影像合成手段，使用前述指定視點深度圖，將前述解碼基準視點影像及前述解碼殘差影像射影至前述指定視點的影像進行合成，生成前述指定視點中的影像亦即指定視點影像。此時，立體影像解碼裝置係藉由基準視點影像射影手段，使用前述指定視點深度圖，將前述解碼基準視點影像射影至前述指定視點時，檢測無法射影的像素區域亦即成為遮蔽孔的像素，針對未成為前述遮蔽孔的像素，使用前述指定視點深度圖，將前述解碼基準視點影像射影至前述指定視點而設為前述指定視點影像的像素。接著，立體影像解碼裝置係藉由殘差影像射影手段，針對成為前述遮蔽孔的像素，使用前述指定視點深度圖，將前述解碼殘差影像射影至前述指定視點而設為前述指定視點影像的像素。
藉此，立體影像解碼裝置係使用基準視點影像、基準視點與副視點的中間視點中的深度圖、及由副視點影像所被切出的殘差影像，生成任意的視點中的影像。
申請專利範圍第8項所述之立體影像解碼裝置係在申請專利範圍第7項所述之立體影像解碼裝置中，形成為前 述基準視點影像射影手段係具有孔像素檢測手段的構成。
藉由該構成，立體影像解碼裝置係藉由孔像素檢測手段，在前述指定視點深度圖中，按每一像素，針對作為是否為成為遮蔽孔的像素的判定對象所注目的像素亦即注目像素，若由該注目像素接近前述基準視點側遠離預定的像素數的像素中的深度值，比前述注目像素中的深度值還大預定的值以上時，將前述注目像素作為成為遮蔽孔的像素來進行檢測。亦即，立體影像解碼裝置係使用生成影像的視點亦即指定視點中的深度圖，因此適當地檢測成為遮蔽孔的像素。接著，立體影像解碼裝置係按照該檢測結果，由將基準視點影像射影至指定視點的影像及將殘差影像射影至指定視點的影像選擇像素而生成指定視點影像，因此選擇適當的像素而生成指定視點影像。
亦即，立體影像解碼裝置係利用使用實際生成影像的視點亦即指定視點中的深度圖來檢測成為遮蔽孔的像素的結果，由將基準視點影像射影至指定視點的影像及將殘差影像射影至指定視點的影像選擇適當的像素而生成指定視點影像。
申請專利範圍第9項所述之立體影像解碼裝置係在申請專利範圍第8項所述之立體影像解碼裝置中，形成為前述基準視點影像射影手段係具有使表示遮蔽孔的像素位置的穴遮罩膨脹的穴遮罩膨脹手段的構成。
藉由該構成，立體影像解碼裝置係藉由穴遮罩膨脹手段，使表示以前述孔像素檢測手段所檢測到的像素位置的 穴遮罩以預定的像素數膨脹。接著，立體影像解碼裝置係藉由前述殘差影像射影手段，針對藉由前述穴遮罩膨脹手段而膨脹的穴遮罩中的像素，將前述解碼殘差影像射影至前述指定視點而設為前述指定視點影像的像素。接著，立體影像解碼裝置係按照將使用指定視點中的深度圖所檢測到的穴遮罩膨脹後的結果，由將基準視點影像射影至指定視點的影像及將殘差影像射影至指定視點的影像選擇像素而生成指定視點影像。
藉此，尤其解碼中間視點深度圖以較高的壓縮率予以編碼時，立體影像解碼裝置係吸收因經解碼的中間視點深度圖所包含的誤差所造成的遮蔽孔的檢測遺漏。
申請專利範圍第10項所述之立體影像解碼裝置係在申請專利範圍第9項所述之立體影像解碼裝置中，形成為前述殘差影像射影手段係具有填孔處理手段的構成。
藉由該構成，立體影像解碼裝置係藉由填孔處理手段，在前述指定視點影像中，檢測未包含在前述殘差影像的像素，以該未包含的像素的周圍的像素值來內插該未包含的像素的像素值。
藉此，立體影像解碼裝置係生成沒有穴的指定視點影像。
申請專利範圍第11項所述之立體影像解碼裝置係在申請專利範圍第7至申請專利範圍第10中任一項所述之立體影像解碼裝置中，形成為另外包括深度圖分離手段、及殘差影像分離手段的構成。
藉由該構成，立體影像解碼裝置係藉由深度圖分離手段，將前述基準視點與複數前述副視點的各個之間的中間視點中的複數前述中間視點深度圖進行縮小而結合的1個圖框畫像亦即圖框化深度圖，按複數每一前述中間視點進行分離，生成與前述基準視點影像為相同大小的中間視點深度圖。此外，立體影像解碼裝置係藉由殘差影像分離手段，將針對前述複數副視點的複數前述殘差影像進行縮小而結合的1個圖框畫像亦即圖框化殘差影像進行分離，生成與前述基準視點影像為相同大小的前述解碼殘差影像。
在此，立體影像解碼裝置係藉由前述深度圖解碼手段，將前述圖框化深度圖被編碼的前述深度圖位元串流進行解碼，而生成解碼圖框化深度圖。此外，立體影像解碼裝置係藉由前述殘差影像解碼手段，將前述圖框化殘差影像被編碼的前述殘差影像位元串流進行解碼，而生成解碼圖框化殘差影像。此外，立體影像解碼裝置係藉由前述深度圖分離手段，由前述解碼圖框化深度圖，將複數縮小的前述中間視點深度圖進行分離，生成與前述基準視點影像為相同大小的複數前述解碼中間視點深度圖。此外，立體影像解碼裝置係藉由前述殘差影像分離手段，由前述解碼圖框化殘差影像，將複數縮小的前述殘差影像進行分離，生成與前述基準視點影像為相同大小的複數前述解碼殘差影像。此外，立體影像解碼裝置係藉由前述深度圖射影手段，按複數每一前述指定視點，將分別對應的前述解碼中間視點深度圖射影至前述指定視點，生成前述指定視點中 的深度圖亦即指定視點深度圖。此外，立體影像解碼裝置係藉由前述射影影像合成手段，按複數每一前述指定視點，使用分別對應的前述指定視點深度圖，將分別對應的前述解碼基準視點影像及前述解碼殘差影像射影至前述指定視點的影像進行合成，生成前述指定視點中的影像亦即指定視點影像。
藉此，立體影像解碼裝置係使用基準視點影像、複數中間視點深度圖被圖框化的深度圖、及複數殘差影像被圖框化的殘差影像，而生成任意的視點中的影像。
申請專利範圍第12項所述之立體影像編碼方法係將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖進行編碼的立體影像編碼方法，包含：基準視點影像編碼處理步驟、中間視點深度圖合成處理步驟、深度圖編碼處理步驟、深度圖解碼處理步驟、射影影像預測處理步驟、及殘差影像編碼處理步驟，前述射影影像預測處理步驟係包含遮蔽孔檢測處理步驟、及殘差影像切出處理步驟作為順序。
藉由該順序的立體影像編碼方法，在基準視點影像編碼處理步驟中，將前述多視點影像的基準視點中的影像亦即基準視點影像進行編碼，作為基準視點影像位元串流來進行輸出。此外，在中間視點深度圖合成處理步驟中，使用前述基準視點中的深度圖亦即基準視點深度圖、及前述多視點影像的前述基準視點以外的視點亦即副視點中的深度圖亦即副視點深度圖，生成前述基準視點與前述副視點 的中間視點中的深度圖亦即中間視點深度圖。接著，在深度圖編碼處理步驟中，將前述中間視點深度圖進行編碼，作為深度圖位元串流來進行輸出。
藉此，針對所編碼的深度圖的資料量係若原本的深度圖為2個時，被刪減為一半。
此外，在深度圖解碼處理步驟中，將前述經編碼的中間視點深度圖進行解碼，生成解碼中間視點深度圖。接著，在射影影像預測處理步驟中，使用前述解碼中間視點深度圖，將前述基準視點影像射影至其他視點時，由前述副視點影像切出無法射影的像素區域亦即成為遮蔽孔的像素而生成殘差影像。此時，為了生成殘差影像，在遮蔽孔檢測處理步驟中，使用前述解碼中間視點深度圖，將前述基準視點影像射影至前述副視點時檢測成為遮蔽孔的像素，在殘差影像切出處理步驟中，由前述副視點影像切出成為前述遮蔽孔的像素而生成前述殘差影像。在此，使用經由編碼/解碼的中間視點深度圖，並非為被編碼前的中間視點深度圖者。尤其以較高的壓縮率進行編碼時，經解碼的深度圖係相對原本的深度圖，包含多數的誤差。因此，使用與將前述位元串流進行解碼而生成多視點影像時所使用的中間視點中的深度圖為相同的深度圖，藉此可正確地檢測成為遮蔽孔的像素。接著，在殘差影像編碼處理步驟中，將前述殘差影像進行編碼，作為殘差影像位元串流來進行輸出。
藉此，在關於副視點影像的資料中，僅有作為殘差影 像所被切出的部分成為編碼對象，刪減所被編碼的資料量。
申請專利範圍第13項所述之立體影像解碼方法係將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖經編碼後的位元串流進行解碼而生成多視點影像的立體影像編碼方法，包含：基準視點影像解碼處理步驟、深度圖解碼處理步驟、殘差影像解碼處理步驟、深度圖射影處理步驟、及射影影像合成處理步驟，前述射影影像合成處理步驟形成為包含：基準視點影像射影處理步驟、及殘差影像射影處理步驟的順序。
藉由該順序的立體影像解碼方法，在基準視點影像解碼處理步驟中，將前述多視點影像的基準視點中的影像亦即基準視點影像被編碼後的基準視點影像位元串流進行解碼，生成解碼基準視點影像。此外，在深度圖解碼處理步驟中，將前述基準視點與遠離前述基準視點的其他視點亦即副視點的中間的視點中的深度圖亦即中間視點深度圖被編碼後的深度圖位元串流進行解碼，生成解碼合成深度圖。此外，在殘差影像解碼處理步驟中，將前述基準視點影像射影至其他視點時，將由前述副視點影像切出無法射影的像素區域亦即成為遮蔽孔的像素的影像亦即殘差影像被編碼後的殘差影像位元串流進行解碼，而生成解碼殘差影像。接著，在深度圖射影處理步驟中，將前述解碼中間視點深度圖，射影至作為前述多視點影像的視點而由外部所被指定的視點亦即指定視點，生成前述指定視點中的深 度圖亦即指定視點深度圖。接著，在射影影像合成處理步驟中，使用前述指定視點深度圖，將前述解碼基準視點影像及前述解碼殘差影像射影至前述指定視點的影像進行合成，生成前述指定視點中的影像亦即指定視點影像。此時，在基準視點影像射影處理步驟中，使用前述指定視點深度圖，將前述解碼基準視點影像射影至前述指定視點時，檢測無法射影的像素區域亦即成為遮蔽孔的像素，針對未成為前述遮蔽孔的像素，使用前述指定視點深度圖，將前述解碼基準視點影像射影至前述指定視點而設為前述指定視點影像的像素。接著，在殘差影像射影處理步驟中，針對成為前述遮蔽孔的像素，使用前述指定視點深度圖，將前述解碼殘差影像射影至前述指定視點而設為前述指定視點影像的像素。
藉此，使用基準視點影像、基準視點與副視點的中間視點中的深度圖、及由副視點影像所被切出的殘差影像，而生成任意的視點中的影像。
申請專利範圍第14項所述之立體影像編碼程式係為了將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖進行編碼，用以使電腦作為：基準視點影像編碼手段、中間視點深度圖合成手段、深度圖編碼手段、深度圖解碼手段、射影影像預測手段、殘差影像編碼手段、遮蔽孔檢測手段、殘差影像切出手段而發揮功能的程式。
藉由該構成，立體影像編碼程式係藉由基準視點影像 編碼手段，將前述多視點影像的基準視點中的影像亦即基準視點影像進行編碼，作為基準視點影像位元串流來進行輸出。此外，立體影像編碼程式係藉由中間視點深度圖合成手段，使用前述基準視點中的深度圖亦即基準視點深度圖、及前述多視點影像的前述基準視點以外的視點亦即副視點中的深度圖亦即副視點深度圖，將前述基準視點與前述副視點的中間視點中的深度圖亦即中間視點深度圖進行合成。接著，立體影像編碼程式係藉由深度圖編碼手段，將前述中間視點深度圖進行編碼，作為深度圖位元串流來進行輸出。
藉此，針對所編碼的深度圖的資料量係若原本的深度圖為2個時，被刪減為一半。
此外，立體影像編碼程式係藉由深度圖解碼手段，將前述經編碼的中間視點深度圖進行解碼，生成解碼中間視點深度圖。接著，立體影像編碼程式係藉由射影影像預測手段，使用前述解碼中間視點深度圖，將前述基準視點影像射影至其他視點時，由前述副視點影像切出無法射影的像素區域亦即成為遮蔽孔的像素而生成殘差影像。此時，立體影像編碼程式係為了生成殘差影像，藉由遮蔽孔檢測手段，使用前述解碼中間視點深度圖，在將前述基準視點影像射影至前述副視點時檢測成為遮蔽孔的像素，藉由殘差影像切出手段，由前述副視點影像切出成為前述遮蔽孔的像素而生成前述殘差影像。在此，立體影像編碼程式是使用經由編碼/解碼的中間視點深度圖，而並非為被編碼 前的中間視點深度圖。尤其以較高的壓縮率進行編碼時，所被解碼的深度圖係相對原本的深度圖，包含多數的誤差。因此，使用與將前述位元串流進行解碼而生成多視點影像時所使用的中間視點中的深度圖為相同的深度圖，藉此可正確地檢測成為遮蔽孔的像素。接著，立體影像編碼程式係藉由殘差影像編碼手段，將前述殘差影像進行編碼，作為殘差影像位元串流來進行輸出。
藉此，在關於副視點影像的資料中，僅有作為殘差影像所被切出的部分成為編碼對象，刪減所被編碼的資料量。
申請專利範圍第15項所述之立體影像解碼程式係為了將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖被編碼後的位元串流進行解碼而生成多視點影像，用以使電腦作為：基準視點影像解碼手段、深度圖解碼手段、殘差影像解碼手段、深度圖射影手段、射影影像合成手段、基準視點影像射影手段、殘差影像射影手段而發揮功能的程式。
藉由該構成，立體影像解碼程式係藉由基準視點影像解碼手段，將前述多視點影像的基準視點中的影像亦即基準視點影像被編碼後的基準視點影像位元串流進行解碼，生成解碼基準視點影像。此外，立體影像解碼程式係藉由深度圖解碼手段，將前述基準視點與遠離前述基準視點的其他視點亦即副視點的中間的視點中的深度圖亦即中間視點深度圖被編碼後的深度圖位元串流進行解碼，生成解碼合成深度圖。此外，立體影像解碼程式係藉由殘差影像解 碼手段，將前述基準視點影像射影至其他視點時，將由前述副視點影像切出無法射影的像素區域亦即成為遮蔽孔的像素的影像亦即殘差影像被編碼的殘差影像位元串流進行解碼，生成解碼殘差影像。接著，立體影像解碼程式係藉由深度圖射影手段，將前述解碼中間視點深度圖射影至作為前述多視點影像的視點而由外部所被指定的視點亦即指定視點，生成前述指定視點中的深度圖亦即指定視點深度圖。接著，立體影像解碼程式係藉由射影影像合成手段，使用前述指定視點深度圖，將前述解碼基準視點影像及前述解碼殘差影像射影至前述指定視點的影像進行合成，生成前述指定視點中的影像亦即指定視點影像。此時，立體影像解碼程式係藉由基準視點影像射影手段，使用前述指定視點深度圖，將前述解碼基準視點影像射影至前述指定視點時，檢測無法射影的像素區域亦即成為遮蔽孔的像素，針對未成為前述遮蔽孔的像素，使用前述指定視點深度圖，將前述解碼基準視點影像射影至前述指定視點而設為前述指定視點影像的像素。接著，立體影像解碼程式係藉由殘差影像射影手段，針對成為前述遮蔽孔的像素，使用前述指定視點深度圖，將前述解碼殘差影像射影至前述指定視點而設為前述指定視點影像的像素。
藉此，立體影像解碼程式係使用基準視點影像、基準視點與副視點的中間視點中的深度圖、及由副視點影像所被切出的殘差影像，來生成任意視點中的影像。
申請專利範圍第16項所述之立體影像編碼裝置係將 多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖進行編碼的立體影像編碼裝置，形成為包括：基準視點影像編碼手段、深度圖合成手段、深度圖編碼手段、深度圖解碼手段、射影影像預測手段、及殘差影像編碼手段的構成。
藉由該構成，立體影像編碼裝置係藉由基準視點影像編碼手段，將前述多視點影像的基準視點中的影像亦即基準視點影像進行編碼，作為基準視點影像位元串流來進行輸出。此外，立體影像編碼裝置係藉由深度圖合成手段，將前述基準視點中的深度圖亦即基準視點深度圖、及由前述多視點影像的前述基準視點遠離的其他視點亦即副視點中的深度圖亦即副視點深度圖射影至預定的視點來進行合成，生成前述預定的視點中的深度圖亦即合成深度圖。
藉此，減低關於所編碼的深度圖的資料量。
此外，立體影像編碼裝置係藉由深度圖編碼手段，將前述合成深度圖進行編碼，作為深度圖位元串流來進行輸出。接著，立體影像編碼裝置係藉由深度圖解碼手段，將前述經編碼的合成深度圖進行解碼，生成解碼合成深度圖。接著，立體影像編碼裝置係藉由射影影像預測手段，使用前述解碼合成深度圖，生成由前述基準視點影像預測其他視點中的影像時的預測殘差亦即殘差影像。接著，立體影像編碼裝置係藉由殘差影像編碼手段，將前述殘差影像進行編碼，作為殘差影像位元串流來進行輸出。
藉此，減低關於其他視點的影像的資料量。
申請專利範圍第17項所述之立體影像編碼裝置係在申請專利範圍第16項所述之立體影像編碼裝置中，前述深度圖合成手段係形成為將前述基準視點深度圖與複數前述副視點深度圖射影至共通視點來進行合成，藉此生成前述共通視點中的1個合成深度圖，此外另外包括殘差影像圖框化手段的構成。
藉由該構成，立體影像編碼裝置係藉由深度圖合成手段，將包含基準視點深度圖為3個以上的深度圖合成為共通視點中的1個合成深度圖。
藉此，關於深度圖的資料量被減低為1/3以下。
此外，立體影像編碼裝置係藉由殘差影像圖框化手段，將針對前述基準視點與複數前述副視點的複數前述殘差影像進行縮小而結合，生成圖框化成1個圖框畫像的圖框化殘差影像。接著，立體影像編碼裝置係藉由前述殘差影像編碼手段，將前述圖框化殘差影像進行編碼，作為前述殘差影像位元串流來進行輸出。
藉此，關於殘差影像的資料量被減低為1/2以下。
申請專利範圍第18項所述之立體影像編碼裝置係在申請專利範圍第16或申請專利範圍第17項所述之立體影像編碼裝置中，前述射影影像預測手段係使用前述解碼合成深度圖，將前述基準視點影像射影至其他視點時，構成為由前述副視點影像切出無法射影的像素區域亦即成為遮蔽孔的像素而生成殘差影像。
藉由該構成，立體影像編碼裝置係藉由射影影像預測 手段，進行僅切出成為遮蔽孔的像素的資料的邏輯運算而生成殘差影像。
藉此，大幅減低關於殘差影像的資料量。
申請專利範圍第19項所述之立體影像編碼裝置係在申請專利範圍第16或申請專利範圍第17項所述之立體影像編碼裝置中，前述射影影像預測手段係使用前述解碼合成深度圖，算出將前述基準視點影像射影至前述副視點的影像、及前述副視點影像的每一像素的差而生成殘差影像。
藉由該構成，立體影像編碼裝置係藉由射影影像預測手段，藉由進行針對影像全體的2個影像間的減算而生成殘差影像。
藉此，在立體影像解碼裝置側，係可使用該殘差影像，來合成高品質的立體影像。
申請專利範圍第20項所述之立體影像編碼裝置係在申請專利範圍第16項所述之立體影像編碼裝置中，形成為另外包括位元串流多工化手段的構成，其係前述基準視點影像位元串流、前述深度圖位元串流、及前述殘差影像位元串流係分別具有依序包含預定的開始碼、及識別屬於1視點影像的第1識別資訊的標頭，將包含表示前述基準視點及前述副視點的各位置的資訊的輔助資訊、前述基準視點影像位元串流、前述深度圖位元串流、及前述殘差影像位元串流進行多工化，作為多工化位元串流而進行輸出。
藉由該構成，立體影像編碼裝置係藉由位元串流多工化手段，針對前述基準視點影像位元串流係照原樣地輸 出，針對前述深度圖位元串流，係在前述開始碼與前述第1識別資訊之間，依序插入識別屬於關於立體影像的資料的第2識別資訊、及識別屬於前述深度圖位元串流的第3識別資訊來進行輸出，針對前述殘差影像位元串流，係在前述開始碼與前述第1識別資訊之間，依序插入前述第2識別資訊、及識別屬於前述殘差影像位元串流的第4識別資訊來進行輸出，針對前述輔助資訊，係將依序包含前述開始碼、前述第2識別資訊、及識別屬於前述輔助資訊的第5識別資訊的標頭附加在前述輔助資訊來進行輸出。
藉此，關於立體影像的位元串流被多工化而被傳送至立體影像解碼裝置。此時，基準視點影像係作為1視點影像的位元串流而被傳送，其他資訊係作為關於與1視點影像為不同的立體影像的位元串流而被傳送。
申請專利範圍第21項所述之立體影像解碼裝置係將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖被編碼後的位元串流進行解碼而生成多視點影像的立體影像解碼裝置，形成為包括：基準視點影像解碼手段、深度圖解碼手段、殘差影像解碼手段、深度圖射影手段、及射影影像合成手段的構成。
藉由該構成，立體影像解碼裝置係藉由基準視點影像解碼手段，將前述多視點影像的基準視點中的影像亦即基準視點影像被編碼後的基準視點影像位元串流進行解碼，生成解碼基準視點影像。此外，立體影像解碼裝置係藉由 深度圖解碼手段，將前述基準視點中的深度圖亦即基準視點深度圖、及由前述多視點影像的前述基準視點遠離的其他視點亦即副視點中的深度圖亦即副視點深度圖進行合成所生成的預定的視點中的深度圖亦即合成深度圖被編碼後的深度圖位元串流進行解碼，生成解碼合成深度圖。此外，立體影像解碼裝置係藉由殘差影像解碼手段，由前述基準視點影像，將使用前述解碼合成深度圖來預測遠離前述基準視點的其他視點中的影像時的預測殘差亦即殘差影像被編碼後的殘差影像位元串流進行解碼，生成解碼殘差影像。接著，立體影像解碼裝置係藉由深度圖射影手段，將前述解碼合成深度圖射影至作為前述多視點影像的視點而由外部所被指定的視點亦即指定視點，生成前述指定視點中的深度圖亦即指定視點深度圖。接著，立體影像解碼裝置係藉由射影影像合成手段，使用前述指定視點深度圖，將前述解碼基準視點影像及前述解碼殘差影像射影至前述指定視點的影像進行合成，生成前述指定視點中的影像亦即指定視點影像。
藉此，生成由基準視點與指定視點中的影像所構成的多視點影像。
申請專利範圍第22項所述之立體影像解碼裝置係在申請專利範圍第21項所述之立體影像解碼裝置中，前述合成深度圖係將前述基準視點深度圖與複數前述副視點深度圖射影至共通視點所被合成的前述共通視點中的1個深度圖，形成為另外包括殘差影像分離手段的構成，其係將針 對前述複數副視點的複數前述殘差影像進行縮小而結合的1個圖框畫像亦即圖框化殘差影像進行分離，生成與前述基準視點影像為相同大小的前述解碼殘差影像。
藉由該構成，立體影像解碼裝置係藉由前述殘差影像解碼手段，將前述圖框化殘差影像被編碼後的前述殘差影像位元串流進行解碼，生成解碼圖框化殘差影像，藉由前述殘差影像分離手段，由前述解碼圖框化殘差影像，將複數縮小的前述殘差影像進行分離，生成與前述基準視點影像為相同大小的複數前述解碼殘差影像。接著，立體影像解碼裝置係藉由前述射影影像合成手段，使用前述指定視點深度圖，將前述解碼基準視點影像、及複數前述解碼殘差影像的任1個射影至前述指定視點的影像進行合成，而生成前述指定視點中的影像亦即指定視點影像。
藉此，使用藉由圖框化而資料量被減低的殘差影像，生成多視點影像。
申請專利範圍第23項所述之立體影像解碼裝置係在申請專利範圍第21或申請專利範圍第22項所述之立體影像解碼裝置中，前述殘差影像位元串流係當將前述基準視點影像射影至遠離前述基準視點的其他視點時，由前述副視點影像切出無法射影的像素區域亦即成為遮蔽孔的像素而生成的殘差影像被編碼，前述射影影像合成手段係形成為具有基準視點影像射影手段、及殘差影像射影手段的構成。
藉由該構成，立體影像解碼裝置係藉由基準視點影像 射影手段，將前述解碼基準視點影像射影至前述指定視點時，使用前述指定視點深度圖，檢測無法射影的像素區域亦即成為遮蔽孔的像素，針對未成為前述遮蔽孔的像素，使用前述指定視點深度圖，將前述解碼基準視點影像射影至前述指定視點而設為前述指定視點影像的像素。此外，立體影像解碼裝置係藉由殘差影像射影手段，針對成為前述遮蔽孔的像素，使用前述指定視點深度圖，將前述解碼殘差影像射影至前述指定視點而設為前述指定視點影像的像素的。
藉此，生成關於基準視點的影像、及關於副視點的影像亦即殘差影像被合成後的指定視點影像。
申請專利範圍第24項所述之立體影像解碼裝置係在申請專利範圍第21或申請專利範圍第22項所述之立體影像解碼裝置中，形成為前述殘差影像位元串流係藉由算出使用前述解碼合成深度圖而將前述基準視點影像射影至前述副視點的影像、與前述副視點影像的每一像素的差所生成的殘差影像被編碼，前述射影影像合成手段係具有殘差加算手段的構成。
藉由該構成，立體影像解碼裝置係藉由殘差加算手段，對使用前述指定視點深度圖而將前述解碼基準視點影像射影至前述指定視點的影像，將使用前述指定視點深度圖而將前述解碼殘差影像射影至前述指定視點的影像按每一像素進行加算而生成前述指定視點影像。
藉此，生成關於基準視點的影像、及關於副視點的影 像亦即殘差影像被合成後的指定視點影像。
申請專利範圍第25項所述之立體影像解碼裝置係在申請專利範圍第21項所述之立體影像解碼裝置中，形成為前述基準視點影像位元串流係具有依序包含預定的開始碼、及識別屬於1視點影像的第1識別資訊的標頭，前述深度圖位元串流係在前述開始碼與前述第1識別資訊之間，具有依序包含識別屬於關於立體影像的資料的第2識別資訊、及識別屬於前述深度圖位元串流的第3識別資訊的標頭，前述殘差影像位元串流係在前述開始碼與前述第1識別資訊之間，具有依序包含前述第2識別資訊、及識別屬於前述殘差影像位元串流的第4識別資訊的標頭，前述輔助資訊位元串流係具有依序包含前述開始碼、前述第2識別資訊、及識別屬於前述輔助資訊位元串流的第5識別資訊的標頭，另外包括位元串流分離手段，前述位元串流分離手段係具有：基準視點影像位元串流分離手段、深度圖位元串流分離手段、殘差影像位元串流分離手段、及輔助資訊分離手段的構成。
藉由該構成，立體影像解碼裝置係藉由所分離的位元串流分離手段，將前述基準視點影像位元串流、前述深度圖位元串流、前述殘差影像位元串流、及包含表示前述基準視點及前述副視點的各位置的資訊的輔助資訊的位元串流被多工化後的多工化位元串流，分離成前述基準視點影像位元串流、前述深度圖位元串流、前述殘差影像位元串流、及前述輔助資訊。
此時，立體影像解碼裝置係藉由基準視點影像位元串流分離手段，由前述多工化位元串流，將在前述開始碼之後馬上具有前述第1識別資訊的位元串流作為前述基準視點影像位元串流來進行分離，將分離後的基準視點影像位元串流輸出至前述基準視點影像解碼手段。此外，立體影像解碼裝置係藉由深度圖位元串流分離手段，由前述多工化位元串流，將前述開始碼之後馬上依序具有前述第2識別資訊與前述第3識別資訊的位元串流作為前述深度圖位元串流來進行分離，將由該位元串流將前述第2識別資訊及前述第3識別資訊去除後的位元串流輸出至前述深度圖解碼手段。此外，立體影像解碼裝置係藉由殘差影像位元串流分離手段，由前述多工化位元串流，將在前述開始碼之後馬上依序具有前述第2識別資訊與前述第4識別資訊的位元串流作為前述殘差影像位元串流來進行分離，將由該位元串流將前述第2識別資訊及前述第4識別資訊去除後的位元串流輸出至前述殘差影像解碼手段。接著，立體影像解碼裝置係藉由輔助資訊分離手段，由前述多工化位元串流，將在前述開始碼之後馬上依序具有前述第2識別資訊與前述第5識別資訊的位元串流作為前述輔助資訊位元串流來進行分離，將由該位元串流將前述第2識別資訊及前述第5識別資訊去除後的位元串流作為輔助資訊而輸出至前述射影影像合成手段。
藉此，立體影像解碼裝置係接收多工化位元串流，而生成多視點影像。
申請專利範圍第26項所述之立體影像編碼方法係將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖進行編碼的立體影像編碼方法，形成為包含：基準視點影像編碼處理步驟、深度圖合成處理步驟、深度圖編碼處理步驟、深度圖解碼處理步驟、射影影像預測處理步驟、及殘差影像編碼處理步驟的順序。
藉由該順序的立體影像編碼方法，在基準視點影像編碼處理步驟中，將前述多視點影像的基準視點中的影像亦即基準視點影像進行編碼，作為基準視點影像位元串流來進行輸出。此外，在深度圖合成處理步驟中，將前述基準視點中的深度圖亦即基準視點深度圖、及由前述多視點影像的前述基準視點遠離的其他視點亦即副視點中的深度圖亦即副視點深度圖射影至預定的視點來進行合成，生成前述預定的視點中的深度圖亦即合成深度圖。
藉此，減低關於所編碼的深度圖的資料量。
接著，在深度圖編碼處理步驟中，將前述合成深度圖進行編碼，作為深度圖位元串流來進行輸出。接著，在深度圖解碼處理步驟中，將前述經編碼的合成深度圖進行解碼，生成解碼合成深度圖。接著，在射影影像預測處理步驟中，使用前述解碼合成深度圖，生成由前述基準視點影像預測其他視點中的影像時的預測殘差亦即殘差影像的。接著，在殘差影像編碼處理步驟中，將前述殘差影像進行編碼，作為殘差影像位元串流來進行輸出。
藉此，減低關於其他視點的影像的資料量。
申請專利範圍第27項所述之立體影像編碼方法係在申請專利範圍第26項所述之立體影像編碼方法中，前述基準視點影像位元串流、前述深度圖位元串流、及前述殘差影像位元串流係分別具有依序包含預定的開始碼、及識別屬於1視點影像的第1識別資訊的標頭，形成為另外包含位元串流多工化處理步驟，其係將包含表示前述基準視點及前述副視點的各位置的資訊的輔助資訊、前述基準視點影像位元串流、前述深度圖位元串流、及前述殘差影像位元串流進行多工化，作為多工化位元串流來進行輸出的順序。
藉由該順序的立體影像編碼方法，在前述位元串流多工化處理步驟中，針對前述基準視點影像位元串流，係照原樣地輸出，針對前述深度圖位元串流，係在前述開始碼與前述第1識別資訊之間，依序插入識別屬於關於立體影像的資料的第2識別資訊、及識別屬於前述深度圖位元串流的第3識別資訊來進行輸出，針對前述殘差影像位元串流，係在前述開始碼與前述第1識別資訊之間，依序插入前述第2識別資訊、及識別屬於前述殘差影像位元串流的第4識別資訊來進行輸出，針對前述輔助資訊，係將依序包含前述開始碼、前述第2識別資訊、及識別屬於前述輔助資訊的第5識別資訊的標頭附加在前述輔助資訊來進行輸出。
藉此，關於立體影像的位元串流被多工化而被傳送至 立體影像解碼裝置。此時，基準視點影像係作為1視點影像的位元串流而被傳送，其他資訊係作為關於不同於1視點影像的立體影像的位元串流而被傳送。
申請專利範圍第28項所述之立體影像解碼方法係將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖經編碼後的位元串流進行解碼而生成多視點影像的立體影像解碼方法，形成為包含：基準視點影像解碼處理步驟、深度圖解碼處理步驟、殘差影像解碼處理步驟、深度圖射影處理步驟、及射影影像合成處理步驟的順序。
藉由該順序的立體影像解碼方法，在基準視點影像解碼處理步驟中，將前述多視點影像的基準視點中的影像亦即基準視點影像被編碼後的基準視點影像位元串流進行解碼，生成解碼基準視點影像。此外，在深度圖解碼處理步驟中，將前述基準視點中的深度圖亦即基準視點深度圖、及由前述多視點影像的前述基準視點遠離的其他視點亦即副視點中的深度圖亦即副視點深度圖進行合成所生成的預定的視點中的深度圖亦即合成深度圖被編碼後的深度圖位元串流進行解碼，生成解碼合成深度圖。此外，在殘差影像解碼處理步驟中，由前述基準視點影像，將使用前述解碼合成深度圖來預測遠離前述基準視點的其他視點中的影像時的預測殘差亦即殘差影像被編碼的殘差影像位元串流進行解碼，生成解碼殘差影像。此外，在深度圖射影處理步驟中，將前述解碼合成深度圖射影至作為前述多視點影 像的視點而由外部所被指定的視點亦即指定視點，生成前述指定視點中的深度圖亦即指定視點深度圖。接著，在射影影像合成處理步驟中，使用前述指定視點深度圖，將前述解碼基準視點影像及前述解碼殘差影像射影至前述指定視點的影像進行合成，生成前述指定視點中的影像亦即指定視點影像。
藉此，生成由基準視點與指定視點中的影像所構成的多視點影像。
申請專利範圍第29項所述之立體影像解碼方法係在申請專利範圍第28項所述之立體影像解碼方法中，前述基準視點影像位元串流係具有依序包含預定的開始碼、及識別屬於1視點影像的第1識別資訊的標頭，前述深度圖位元串流係在前述開始碼與前述第1識別資訊之間，具有依序包含識別屬於關於立體影像的資料的第2識別資訊、及識別屬於前述深度圖位元串流的第3識別資訊的標頭，前述殘差影像位元串流係在前述開始碼與前述第1識別資訊之間，具有依序包含前述第2識別資訊、及識別屬於前述殘差影像位元串流的第4識別資訊的標頭，前述輔助資訊位元串流係具有依序包含前述開始碼、前述第2識別資訊、及識別屬於前述輔助資訊位元串流的第5識別資訊的標頭，形成為另外包含位元串流分離處理步驟的順序。
藉由該順序的立體影像解碼方法，在前述位元串流分離步驟中，將前述基準視點影像位元串流、前述深度圖位元串流、前述殘差影像位元串流、及包含表示前述基準視 點及前述副視點的各位置的資訊的輔助資訊的位元串流被多工化後的多工化位元串流，分離成前述基準視點影像位元串流、前述深度圖位元串流、前述殘差影像位元串流、及前述輔助資訊。
在此，由前述多工化位元串流，將在前述開始碼之後馬上具有前述第1識別資訊的位元串流作為前述基準視點影像位元串流來進行分離，在前述基準視點影像解碼處理步驟使用分離後的基準視點影像位元串流，由前述多工化位元串流，將前述開始碼之後馬上依序具有前述第2識別資訊與前述第3識別資訊的位元串流作為前述深度圖位元串流來進行分離，在前述深度圖解碼處理步驟使用由該位元串流將前述第2識別資訊及前述第3識別資訊去除後的位元串流，由前述多工化位元串流，將在前述開始碼之後馬上依序具有前述第2識別資訊與前述第4識別資訊的位元串流作為前述殘差影像位元串流來進行分離，在前述殘差影像解碼處理步驟使用由該位元串流將前述第2識別資訊及前述第4識別資訊去除後的位元串流，由前述多工化位元串流，將在前述開始碼之後馬上依序具有前述第2識別資訊與前述第5識別資訊的位元串流作為前述輔助資訊位元串流來進行分離，在前述射影影像合成處理步驟使用由該位元串流將前述第2識別資訊及前述第5識別資訊去除後的位元串流作為輔助資訊。
藉此，使用多工化位元串流，而生成立體影像。
此外，申請專利範圍第16項所述之立體影像編碼裝置 亦可藉由用以使一般電腦所包括的CPU(中央運算裝置)、記憶體等硬體資源，作為基準視點影像編碼手段、深度圖合成手段、深度圖編碼手段、深度圖解碼手段、射影影像預測手段、殘差影像編碼手段而發揮功能的申請專利範圍第30項所述之立體影像編碼程式來實現。
此外，申請專利範圍第20項所述之立體影像編碼裝置亦可藉由用以使一般電腦另外作為位元串流多工化手段而發揮功能的申請專利範圍第31項所述之立體影像編碼程式來實現。
此外，申請專利範圍第21項所述之立體影像解碼裝置亦可藉由一般電腦所包括的CPU、記憶體等硬體資源，作為基準視點影像解碼手段、深度圖解碼手段、殘差影像解碼手段、深度圖射影手段、射影影像合成手段而發揮功能的申請專利範圍第32項所述之立體影像解碼程式來實現。
此外，申請專利範圍第25項所述之立體影像解碼裝置亦可藉由用以使一般電腦所包括的CPU、記憶體等硬體資源，另外作為位元串流分離手段而發揮功能的申請專利範圍第33項所述之立體影像解碼程式來實現。
藉由申請專利範圍第1項、申請專利範圍第12項或申請專利範圍第14項所述之發明，針對基準視點影像、副視點影像、及附隨於該等影像的各個的深度圖，以所編碼的對象資料而言，針對深度圖的資料係作為基準視點與副視點的中間視點中的深度圖，針對副視點影像的資料係作為 無法由基準視點影像進行射影而僅抽出成為遮蔽孔的像素的殘差影像，來分別減低資料量，因此可相對原本的資料量，以較高的效率來進行編碼。
藉由申請專利範圍第2項所述之發明，由於遺漏少地檢測成為遮蔽孔的像素，因此使用該檢測結果來切出副視點影像的像素而生成殘差影像時，可適當地切出在立體影像解碼裝置中生成任意的視點中的影像時所需的像素。
藉由申請專利範圍第3項所述之發明，藉由表示遮蔽孔的像素位置的穴遮罩的膨脹處理，可減少成為遮蔽洞的像素的檢測遺漏，因此使用該檢測結果來切出副視點影像的像素而生成殘差影像時，可更加適當地切出在立體影像解碼裝置中生成任意的視點中的影像時所需的像素。
藉由申請專利範圍第4項所述之發明，除了使用副視點中的深度圖的遮蔽洞的檢測以外，進行使用中間視點中的深度圖亦即中間視點深度圖的遮蔽洞的檢測，更適當地檢測成為遮蔽的像素，因此可使用該檢測結果，來生成更適當的殘差影像。
藉由申請專利範圍第5項所述之發明，除了使用副視點中的深度圖的遮蔽洞的檢測以外，進行使用在解碼側將編碼資料進行解碼而生成多視點影像時的指定視點中的深度圖的遮蔽洞的檢測，因此可使用該檢測結果而生成更適當的殘差影像。
藉由申請專利範圍第6項所述之發明，藉由將複數視點間中的中間視點深度圖及殘差影像分別圖框化來減低資 料量，因此立體影像編碼裝置係可將該等資料以高效率來進行編碼。
藉由申請專利範圍第7、申請專利範圍第13或申請專利範圍第15項所述之發明，針對深度圖與副視點影像的資料量被減低，可將以高效率予以編碼後的資料進行解碼而生成多視點影像。此外，以深度圖而言，可使用基準視點與副視點的中間視點中的深度圖亦即合成深度圖，所生成的影像的視點的位置比僅使用基準視點或副視點中的深度圖的情形相比，由於較為接近，因此可生成良好畫質的指定視點影像。
藉由申請專利範圍第8項所述之發明，使用實際上使用生成影像的視點亦即指定視點中的深度圖來檢測成為遮蔽洞的像素的結果，由將基準視點影像射影至指定視點的影像、及將殘差影像射影至指定視點的影像，適當選擇像素而生成指定視點影像，因此可生成良好畫質的指定視點影像。
藉由申請專利範圍第9項所述之發明，使用吸收因經解碼的中間視點深度圖所包含的誤差所造成的遮蔽洞的檢測遺漏的檢測結果，由將基準視點影像射影至指定視點的影像、及將殘差影像射影至指定視點的影像，選擇像素而生成指定視點影像，因此可生成良好畫質的指定視點影像。
藉由申請專利範圍第10項所述之發明，由於生成沒有穴的影像，因此可生成良好畫質的指定視點影像。
藉由申請專利範圍第11項所述之發明，可將經圖框化 的深度圖及殘差影像進行分離而生成原本尺寸的深度圖及殘差影像，因此在將複數系統的多視點影像進行編碼時，將複數系統中的深度圖及殘差影像縮小而圖框化成各自的圖框畫像而減低資料量，可將以高效率予以編碼後的資料進行解碼而生成多視點影像。
藉由申請專利範圍第16、申請專利範圍第26或申請專利範圍第30項所述之發明，針對深度圖，將基準視點深度圖與副視點深度圖進行合成來減低資料量，並且針對副視點影像，生成殘差影像而減低資料量，因此可以高效率來將多視點影像進行編碼。
藉由申請專利範圍第17項所述之發明，將3以上的深度圖合成為1個而更加減低資料量，並且將2以上的殘差影像縮小而圖框化而更加減低資料量，因此可更加提升編碼效率。
藉由申請專利範圍第18項所述之發明，針對副視點影像，僅切出成為遮蔽洞的像素，由於資料減低，因此可提升編碼效率。
藉由申請專利範圍第19項所述之發明，針對副視點影像，藉由算出與將基準視點影像射影至副視點的影像的影像全體的差而生成殘差影像，因此在立體影像解碼裝置側，係可使用該殘差影像，來合成高品質的多視點影像。
藉由申請專利範圍第20項、申請專利範圍第27項或申請專利範圍第31項所述之發明，將立體影像作為多工化位元串流來進行輸出時，關於基準視點的影像係作為1視 點影像的位元串流而被傳送，其他資訊係作為關於立體影像的位元串流而被傳送，因此在將1視點影像進行解碼的既有的立體影像解碼裝置中，係可不會進行錯誤動作，而將多工化位元串流作為1視點影像來進行解碼。
藉由申請專利範圍第21項、申請專利範圍第28項或申請專利範圍第32項所述之發明，針對深度圖與副視點影像的資料量被減低，可以高效率將經編碼的資料進行解碼而生成多視點影像。
藉由申請專利範圍第22項所述之發明，關於深度圖與副視點影像的資料量更加被減低，可以更高的效率將經編碼的資料進行解碼而生成多視點影像。
藉由申請專利範圍第23項所述之發明，關於副視點影像的資料量被更加減低，可以更高的效率將經編碼的資料進行解碼而生成多視點影像。
藉由申請專利範圍第24項所述之發明，針對副視點影像，可將高品質的殘差影像被編碼後的資料進行解碼，而高品質地生成多視點影像。
藉由申請專利範圍第25項、申請專利範圍第29項或申請專利範圍第33項所述之發明，可將已分離多工化位元串流的位元串流進行解碼，而生成多視點影像。
以下參照圖示，說明本發明之實施形態。
<第1實施形態> 〔立體影像傳送系統〕
首先，參照第1圖，說明包含本發明之第1實施形態之立體影像編碼裝置及立體影像解碼裝置的立體影像傳送系統S。
立體影像傳送系統S係將以攝影機等所攝影到的立體影像連同深度圖一起進行編碼且傳送，在傳送目的地生成多視點影像。在此，立體影像傳送系統S係包括：立體影像編碼裝置1、立體影像解碼裝置2、立體影像作成裝置3、及立體影像顯示裝置4。
立體影像編碼裝置1係將在立體影像作成裝置3所作成的立體影像進行編碼，作為位元串流而輸出至傳送路，且傳送至立體影像解碼裝置2。此外，立體影像解碼裝置2係將由立體影像編碼裝置1所被傳送的位元串流進行解碼，生成多視點影像，輸出至立體影像顯示裝置4，而使立體影像顯示。
其中，由立體影像編碼裝置1被傳送至立體影像解碼裝置2的位元串流亦可例如與複數種類的訊號的各個相對應而形成為複數個位元串流。此外，如後述第4實施形態般，亦可將該等訊號多工化而形成為1個位元串流來進行傳送。關於後述其他實施形態亦同。
此外，立體影像作成裝置3係可對立體影像進行攝影的攝影機或CG(computer graphic，電腦圖形)作成裝置等，生成立體影像(多視點影像)、及附隨此的深度圖，且輸出至立體影像編碼裝置1。立體影像顯示裝置4係輸入 藉由立體影像解碼裝置2所生成的多視點影像，且顯示立體影像。
〔立體影像編碼裝置的構成〕
接著，參照第2圖至第4圖(適當參照第1圖)，說明第1實施形態之立體影像編碼裝置1的構成。
如第2圖所示、第1實施形態之立體影像編碼裝置1(以下適當稱為「編碼裝置」)係包括：基準視點影像編碼手段11、深度圖合成手段12、深度圖編碼手段13、深度圖解碼手段14、射影影像預測手段15、及殘差影像編碼手段16。此外，射影影像預測手段15係具有：遮蔽洞檢測手段151、及殘差影像切出手段152所構成。
編碼裝置1係輸入：由作為基準的視點所觀看到的影像亦即基準視點影像C；由基準視點以水平朝左方向遠離的視點亦即左視點(副視點)所觀看到的影像亦即左視點影像(副視點影像)L；與該等影像分別相對應的基準視點深度圖Cd；左視點深度圖(副視點深度圖)Ld；及在立體影像解碼裝置2所生成的多視點影像中被指定影像生成的視點亦即左指定視點1~n(指定視點)，作為立體影像。
其中，在本實施形態中，係將朝向被攝體為右側視點設為基準視點，將左側視點設為左視點(副視點)，但是並非限定於此。例如，亦可將左側視點設為基準視點，將右側視點設為副視點。此外，基準視點與副視點並非侷限於朝水平方向遠離的情形，亦可為如垂直方向或斜向等由視點觀察被攝體的角度發生改變的任意方向遠離。
接著，編碼裝置1係根據該等輸入資料，將已將基準視點影像C進行編碼的編碼基準視點影像c輸出作為基準視點影像位元串流，將已將基準視點與左視點的中間視點亦即左合成視點(中間視點)中的深度圖亦即左合成深度圖(中間視點深度圖)Md進行編碼的編碼深度圖md輸出作為深度位元圖串流，將已將基準視點影像C與左視點影像L的差分亦即左殘差影像(殘差影像)Lv進行編碼的編碼殘差影像lv輸出作為殘差影像位元串流。
此外，由編碼裝置1所被輸出的各位元串流係透過傳送路而被傳送至立體影像解碼裝置2(參照第1圖)。
以下一面參照第4圖所示之影像及深度圖之例，一面說明各構成要素。其中，為簡單說明，在第4圖中，如基準視點影像C及左視點影像L等所示，各影像係設為由位於圓形前景的被攝體、及成為其他背景的被攝體所構成者。
此外，如第4圖的基準視點深度圖Cd或左視點深度圖Ld所示，在各深度圖中，與位於前景的被攝體相對應的像素(圓形區域)係具有深度值較大的值，在圖示中顯示較亮。此外，與位於背景的被攝體相對應的像素係具有深度值較小的值，在圖示中顯示較暗。
其中，附隨各視點的影像的深度圖係形成為按每個像素來決定與基準視點影像C及左視點影像L之中所映照的相同被攝體點相對應的像素位置的偏移量所對應的值亦即深度值的圖，按各個視點的影像的每一像素預先被供予。
基準視點影像編碼手段11係由外部輸入基準視點影 像C，藉由預定的編碼方式進行編碼而生成編碼基準視點影像c，作為基準視點影像位元串流而輸出至傳送路。
以在此所使用的編碼方式而言，較佳為使用作為2D(2次元)影像編碼方式所普及的編碼方式。具體而言，可列舉：目前播送所使用的MPEG-2(Moving Picture Experts Group-2)規格的編碼方式、或光碟記錄器所使用的H.264 | MPEG-4 AVC(Moving Picture Experts Group-4 Advanced Video Coding)規格的編碼方式。藉此，具有即使為僅包括普及的習知的2D解碼器的解碼裝置，亦可將作為立體影像的一部分的基準視點影像C作為平面影像來觀看的優點。
深度圖合成手段(中間視點深度圖合成手段)12係由外部輸入基準視點深度圖Cd與左視點深度圖Ld，分別射影至基準視點與左視點的中間的視點亦即中間視點，而生成中間視點中的深度圖。接著，深度圖合成手段12係將所生成的中間視點中的2個深度圖進行合成，生成左合成深度圖(中間視點深度圖)Md，且輸出至深度圖編碼手段13。
其中，在本實施形態中所使用的深度圖係任何深度圖均作為與基準視點影像C等影像為相同形式的畫像資料來處理。例如若使用Hi-Vision規格的形式時，設定深度值作為亮度成分(Y)，分別設定預定值(平均每1成分為8位元訊號時，例如「128」)作為色差成分(Pb，Pr)。藉此，即使為藉由深度圖編碼手段13，將左合成深度圖Md，使用與影像相同的編碼方式來進行編碼的情形下，亦可防止作為深度圖而未具有有效資訊的色差成分(Pb，Pr)所造成的 編碼效率的降低。
此外，深度圖合成手段12係如第3圖(a)所示，具有中間視點射影手段121、122、及圖合成手段123所構成。
中間視點射影手段121係針對基準視點深度圖Cd，使各像素，以其像素值亦即深度值的1/2所對應的像素數，由基準視點觀看朝向與中間視點的方向為相反側亦即右方向移位，藉此生成中間視點中的深度圖MCd。結果，在深度圖MCd內，產生藉由將像素進行移位所產生的沒有深度值(像素值)的像素，將此稱為遮蔽洞。針對沒有深度值的像素，將該像素位置的預定範圍的近傍的有效像素中的深度值設為該像素的深度值。此時，較佳為將在預定範圍的近傍的像素的深度值之中最小的深度值設為該像素的深度值。藉此，可將藉由遮蔽而被隱蔽在前景的被攝體之後的後景(背景)的被攝體所對應的像素的深度值，大致正確地進行內插。
中間視點射影手段121係將所生成的深度圖MCd輸出至圖合成手段123。
在此，參照第5圖(a)，說明深度圖的射影。
如第5圖(a)所示，將由基準視點至左視點的距離設為b，由基準視點至任意視點亦即左指定視點的距離設為c，由左中間視點至左指定視點的距離設為a，由左指定視點至左視點的距離設為d。此外，由基準視點至左中間視點的距離及由左中間視點至左視點的距離均為b/2。
深度值係指若將深度圖或影像射影至以基準視點與左 視點的距離亦即距離b分離的視點時，將該像素，與朝與視點的移位方向為相反側亦即右方向移位的像素數(視差量)相對應者，通常係使影像中的最大視差量與最大深度值相對應來使用。此外，該像素數的移位量係與視點的移位量成正比。因此，若將基準視點中的深度圖射影至與基準視點分離c的指定視點時，將各像素，以與該深度值的(c/b)倍相對應的像素數，朝右側移位。其中，若視點的移位方向為右方向，像素係朝相反側亦即右方向移位。
因此，若在中間視點射影手段121中，將基準視點中的深度圖射影至中間視點時，如前所述，以與深度值的((b/2)/b)=1/2倍相對應的像素數，朝右方向移位。
此外，如接著說明的中間視點射影手段122所示，若將左視點中的深度圖射影至由左視點觀看為位於右方向的中間視點時，使左視點中的深度圖的各像素，以與該像素的深度值的((b/2)/b)=1/2倍相對應的像素數，朝左方向移位。
返回至第3圖(a)繼續說明。
中間視點射影手段122係針對左視點深度圖Ld，使該各像素，以該像素值亦即深度值的1/2所對應的像素數，由左視點觀看為與中間視點的方向為相反側亦即左方向移位，藉此生成中間視點中的深度圖MLd。結果，在深度圖MLd內發生遮蔽洞，因此與前述中間視點射影手段121同樣地，將其以該像素周圍的有效像素的像素值填埋。
中間視點射影手段122係將所生成的深度圖MLd輸出 至圖合成手段123。
其中，中間視點射影手段121、122分別生成中間視點中的深度圖MCd、MLd時，由於各深度圖中的各像素的深度值的不同，會有在原深度圖(基準視點深度圖Cd、左視點深度圖Ld)中不同位置的像素在移位後成為相同位置的情形。在將像素位置移位後，複數像素在相同位置相重疊時，將其中具有最大深度值的像素設為該像素中的深度值。藉此，在射影後的深度圖(中間視點中的深度圖MCd、MLd)中，會殘留前景的被攝體的深度值，而可正確保持被攝體的重疊關係亦即遮蔽關係。
圖合成手段123係將由中間視點射影手段121、122所輸入的2個中間視點中的深度圖MCd、MLd合成為1個，生成左合成深度圖Md，且輸出至深度圖編碼手段13。
圖合成手段123係將2個深度圖MCd、MLd合成為1個，生成左合成深度圖Md時，針對雙方的深度圖MCd、MLd，將相同像素位置的深度值的平均值設為該像素中的深度值。
接著，圖合成手段123係對左合成深度圖Md，依序施行3×3、5×5、7×7、9×9、11×11、13×13、15×15、及17×17的像素尺寸的中值濾波處理。藉此，即使為濾波處理前的深度圖的品質差、含有多數錯誤的深度值之非為平順的深度圖，亦藉由以周圍像素區域內的各像素的深度值的中央值予以置換，可得更為平順的深度圖，在立體影像解碼裝置2所被合成的指定視點影像的品質即被改善。其中，即使施行中值濾波處理，深度值大幅變化的部分亦被保存， 因此不會有前景與背景的深度值相混合的情形。
深度圖編碼手段13係將由深度圖合成手段12所輸入的左合成深度圖Md以預定的編碼方式進行編碼，而生成編碼深度圖md，作為深度圖位元串流而輸出至傳送路。
在此所使用的編碼方式係可與將前述基準視點影像進行編碼的編碼方式相同，亦可使用例如HEVC(High Efficiency Video Coding)般的編碼效率更高的編碼方式。
深度圖解碼手段14係將藉由深度圖編碼手段13所生成的編碼深度圖md亦即深度圖位元串流，根據其編碼方式進行解碼，生成中間視點中的深度圖亦即解碼左合成深度圖(解碼中間視點深度圖)M’d。深度圖解碼手段14係將所生成的解碼左合成深度圖M’d輸出至遮蔽洞檢測手段151。
射影影像預測手段15係如第2圖所示，由外部輸入基準視點影像C、左視點影像L及左指定視點Pt1~Ptn，由深度圖解碼手段14輸入解碼左合成深度圖M’d，生成左殘差影像Lv，且輸出至殘差影像編碼手段16。此外，射影影像預測手段15係具有遮蔽洞檢測手段151與殘差影像切出手段152所構成。
遮蔽洞檢測手段151係由外部輸入基準視點影像C及左指定視點Pt1~Ptn，由深度圖解碼手段14輸入解碼左合成深度圖M’d，檢測將基準視點影像C射影至左視點、中間視點及左指定視點Pt1~Ptn時預測會發生之成為遮蔽洞的像素區域。遮蔽洞檢測手段151係生成表示成為遮蔽洞 的像素區域的穴遮罩Lh作為檢測結果，且輸出至殘差影像切出手段152。
其中，本實施形態中的穴遮罩Lh係與基準視點影像C等影像相同尺寸的2值資料(0，1)，針對將基準視點影像C，可未形成為遮蔽洞地射影至左視點等的像素，設定值「0」，針對成為遮蔽洞的像素，係設定為值「1」。
在此說明遮蔽洞OH。其中，如第4圖所示，以將基準視點影像C，使用左視點中的深度圖亦即左視點射影深度圖L’d，射影至左視點時為例來進行說明。
成為接近對影像進行攝影的攝影機的設置場所等亦即視點位置的前景的被攝體的像素，係藉由視點位置的移位，被射影至大幅偏移的位置。此外，成為由視點位置遠離的背景的被攝體的像素係藉由視點位置的移位而被射影至幾乎未偏移的位置。因此，如作為第4圖的左視點射影影像LC來顯示般，在成為前景的圓形被攝體朝右方向偏移後，隱藏在前景而在基準視點影像C並沒有相對應的像素的黑暗顯示的月牙狀的區域，係作為像素未被射影的區域而殘留下來。該像素未被射影的區域為遮蔽洞OH。
其中，並非侷限於該說明之例，將影像使用關於該影像的深度圖(視點亦可與影像不同)而射影至任意的視點時，一般會發生遮蔽洞。
另一方面，在前景的被攝體朝右方向偏移所被攝影的左視點影像L，係被攝影到該遮蔽洞OH中的像素。因此，在本實施形態中，藉由後述的殘差影像切出手段152，由 左視點影像L，抽出該遮蔽洞OH中的像素區域的像素而生成左殘差影像Lv。
藉此，並非為左視點影像L的全部，而是僅對除了可由基準視點影像C進行射影的像素區域以外的殘差影像進行編碼，因此編碼效率佳，可減低所傳送的資料量。其中，關於遮蔽洞檢測手段151的詳細內容，容後詳述。
其中，若使用左合成深度圖Md藉由編碼及解碼而被可逆轉換的編碼方式時，為了檢測成為遮蔽洞的像素區域，亦可使用左合成深度圖Md，來取代解碼左合成深度圖M’d。此時，並不需要深度圖解碼手段14。但是，獲得高壓縮率的編碼方式一般而言為非逆轉換，因此如本實施形態般，以使用解碼左合成深度圖M’d為佳。藉此，在立體影像解碼裝置2(參照第1圖)，可正確預測使用解碼左合成深度圖M’d而生成多視點影像時所發生的遮蔽洞。
殘差影像切出手段152係由外部輸入左視點影像L，由遮蔽洞檢測手段151輸入穴遮罩Lh，由左視點影像L抽出穴遮罩Lh所示之成為遮蔽洞的像素區域中的像素而生成左殘差影像Lv。殘差影像切出手段152係將所生成的左殘差影像Lv輸出至殘差影像編碼手段16
其中，左殘差影像Lv係形成為與基準視點影像C或左視點影像L為相同形式的畫像資料。此時，針對未形成為遮蔽洞的像素區域的像素，係設為預定的像素值。預定值係例如平均1成分為8位元的像素資料，較佳為亮度成分(Y)、色差成分(Pb，Pr)均設為中間的像素值亦即128。如 上所示，可減少具殘差影像的部分、與不具殘差影像的部分的變化量，而減小左殘差影像Lv在編碼處理的失真。此外，以立體影像解碼裝置2(參照第1圖)生成左指定視點Pt中的影像時，若由左殘差影像Lv未得到適當的像素時，在左殘差影像Lv中，檢測未形成為遮蔽洞的部分的像素，針對該像素，可以具殘差影像的有效的周圍的像素進行內插。
殘差影像編碼手段16係由殘差影像切出手段152輸入左殘差影像Lv，以預定的編碼方式將左殘差影像Lv進行編碼而生成編碼殘差影像lv，作為殘差影像位元串流而輸出至傳送路。
在此所使用的編碼方式係可與將前述基準視點影像C進行編碼的編碼方式相同，亦可使用如HEVC般編碼效率更高的編碼方式。
接著，參照第3圖(b)(適當參照第2圖及第4圖)，更詳細說明遮蔽洞檢測手段151。
遮蔽洞檢測手段151係如第3圖(b)所示，具有第1穴遮罩生成手段1511、第2穴遮罩生成手段1512、第3穴遮罩生成手段1513(15131~1513n)、穴遮罩合成手段1514、及穴遮罩膨脹手段1515所構成。
第1穴遮罩生成手段1511係當將基準視點影像C射影至左視點時，預測成為遮蔽洞OH的像素區域，生成表示該像素區域的穴遮罩Lh1而輸出至穴遮罩合成手段1514。因此，第1穴遮罩生成手段1511係具有：左視點射影手段 1511a、及第1洞像素檢測手段1511b所構成。
左視點射影手段(副視點射影手段)1511a係由深度圖解碼手段14輸入解碼左合成深度圖M’d，將該解碼左合成深度圖M’d射影至左視點，生成左視點中的深度圖亦即左視點射影深度圖L’d，且輸出至第1洞像素檢測手段1511b。
其中，左視點射影深度圖L’d係可藉由針對中間視點的深度圖亦即解碼左合成深度圖M’d的各像素，以該像素的深度值的1/2的值所對應的像素數，朝右方向移位而生成。將所有像素移位後，複數像素重疊在相同像素時，與藉由前述中間視點射影手段121、122(參照第3圖(a))而生成中間視點中的深度圖時同樣地，將複數像素的深度值之中最大的深度值設為該像素位置的深度值。此外，若沒有有效像素時，藉由前述圖合成手段123，與生成中間視點中的深度圖時同樣地，將該像素位置的預定範圍的近傍的有效像素中的深度值設為該像素的深度值。此時，亦可將預定範圍的近傍的像素的深度值之中最小的深度值設為該像素的深度值。
接著，第1洞像素檢測手段(洞像素檢測手段)1511b係由外部輸入基準視點影像C，由左視點射影手段1511a輸入左視點射影深度圖L’d，使用左視點射影深度圖L’d，將基準視點影像C射影至左視點時，預測成為遮蔽洞OH的像素區域，生成表示該像素區域的穴遮罩Lh1，且輸出至穴遮罩合成手段1514。
其中，第1洞像素檢測手段1511b係對由左視點射影手段1511a所輸入的左視點射影深度圖L’d，依序施行3×3及5×5像素的中值濾波處理，使藉由編碼、解碼、及射影所產生的深度值的誤差減輕。接著，使用施行中值濾波處理後的左視點射影深度圖L’d，來檢測成為遮蔽洞OH的像素區域。
在此，參照第6圖，說明使用左視點射影深度圖L’d來預測成為遮蔽洞OH的像素區域的方法。
如第6圖所示，在深度圖(左視點射影深度圖L’d)中，若形成為是否為成為遮蔽洞的像素的判定對象的注目像素(圖中以×記號所示之像素)的右近傍像素(圖中以●所示之像素)具有大於注目像素中的深度值的深度值時，該注目像素係判定為成為遮蔽洞的像素，生成表示為成為遮蔽洞的像素的穴遮罩Lh。其中，在第6圖所示之穴遮罩Lh中，成為遮蔽洞的像素係以白表示，其他像素係以黑表示。
以下更加詳細說明成為遮蔽洞的像素的檢測方法。將注目像素中的深度值設為x，由注目像素朝右方向遠離預定的像素數Pmax的像素中的深度值設為y。在此，朝右方向遠離的預定的像素數Pmax係指例如相當於所對應的影像內的最大視差量的像素數，亦即與最大的深度值相對應的視差量。接著，將由注目像素朝右方向遠離成為與深度值的差g=(y-x)相對應的視差量的像素數的像素設為右近傍像素。此時，將右近傍像素中的深度值設為z。接著，若成為 (z-x)≧k×g>(預定值)………式(1)時，將注目像素判定為成為遮蔽洞的像素。
其中，在式(1)中，k為預定的係數，可設為例如「0.8」~「0.6」左右的值。如上所示藉由乘以未達「1」的係數k，即使在因被攝體的形狀或深度值的不正確度，成為前景的被攝體的深度值有稍微變動的情形下，亦可正確地檢測遮蔽洞。
其中，以上判定中未被檢測到遮蔽洞時，會有看漏微細的前景被攝體的可能性，因此以另外將前述Pmax形成為一半，一面反覆前述遮蔽洞檢測為佳。反覆次數係藉由設定為例如4次，可使看漏的情形幾乎消失。
此外，在式(1)中，「預定值」係可設為例如「4」。藉由加上注目像素與右近傍像素之間的深度值的差大於預定值的條件，無須檢測實質上幾乎不會發生遮蔽的較小的深度值的不連續部分，可抑制作為左殘差影像Lv所被抽出的像素數，可抑制編碼殘差影像lv的資料量。
第2穴遮罩生成手段1512係如第3圖(b)所示，當將基準視點影像C射影至中間視點時，預測成為遮蔽洞OH的像素區域，生成表示該像素區域的穴遮罩Lh2，而輸出至穴遮罩合成手段1514者。因此，第2穴遮罩生成手段1512係具有第2洞像素檢測手段1512a、及左視點射影手段1512b所構成。
第2洞像素檢測手段1512a係由外部輸入基準視點影像C，由深度圖解碼手段14輸入解碼左合成深度圖M’d， 將基準視點影像C射影至中間視點時，檢測成為遮蔽洞的像素區域，生成表示該像素區域的中間視點中的穴遮罩，且輸出至左視點射影手段1512b。
此時，第2洞像素檢測手段1512a係對解碼左合成深度圖M’d，依序施行3×3與5×5像素的中值濾波處理，使藉由編碼、解碼所產生的深度值的誤差減輕之後，再檢測成為遮蔽洞的像素區域。
其中，第2洞像素檢測手段1512a中的穴遮罩的生成係僅有所使用的深度圖不同，即可與前述第1洞像素檢測手段1511b中的穴遮罩Lh1的生成同樣地進行。
左視點射影手段(第2副視點射影手段)1512b係由第2洞像素檢測手段1512a輸入中間視點中的穴遮罩，將該穴遮罩，生成射影至左視點的穴遮罩Lh2。左視點射影手段1512b係將所生成的穴遮罩Lh2輸出至穴遮罩合成手段1514。
其中，中間視點中的穴遮罩對左視點的射影係可藉由針對中間視點中的穴遮罩的各像素，以與解碼左合成深度圖M’d所對應的像素中的深度值的1/2倍相對應的像素數，朝右方向移位而生成。
第3穴遮罩生成手段15131~1513n(1513)係如第3圖(b)所示，將基準視點影像C分別射影至左指定視點Pt1~Ptn時，預測成為遮蔽洞OH的像素區域，分別生成表示該像素區域的穴遮罩Lh31~Lh3n而輸出至穴遮罩合成手段1514。因此，各第3穴遮罩生成手段1513(15131~1513n) 係具有：指定視點射影手段1513a；第3洞像素檢測手段1513b；及左視點射影手段1513c所構成。
指定視點射影手段(指定視點射影手段)1513a係由深度圖解碼手段14輸入解碼左合成深度圖M’d，將該解碼左合成深度圖M’d射影至左指定視點Pt(Pt1~Ptn)，而生成左指定視點Pt(Pt1~Ptn)中的深度圖亦即左指定視點深度圖，且輸出至第3洞像素檢測手段1513b。
其中，左指定視點Ptl~Ptn中的深度圖係如第5圖(a)所示，若將由中間視點至左指定視點的距離設為a、由基準視點至左視點的距離設為b時，關於中間視點中的深度圖亦即解碼左合成深度圖M’d的各像素，以將該像素中的深度值作(a/b)倍後的值所對應的像素數，藉由使其由中間視點觀看為與左指定視點為相反側的方向(在第5圖(a)之例中為右方向)移位而生成。
第3洞像素檢測手段1513b係由外部輸入基準視點影像C，由指定視點射影手段1513a輸入左指定視點深度圖，將基準視點影像C射影至相對應的左指定視點Pt1~Ptn時，檢測成為遮蔽洞的像素區域，生成表示該像素區域的該左指定視點Pt1~Ptn中的穴遮罩，且輸出至左視點射影手段1513c。
其中，第3洞像素檢測手段1513b係以周圍的有效像素內插在由指定視點射影手段1513a所輸入的左指定視點射影深度圖所產生的遮蔽洞後，另外依序施行3×3與5×5像素的中值濾波處理，來使藉由編碼、解碼、及射影所產 生的深度值的誤差減輕。之後，第3洞像素檢測手段1513b係使用左指定視點射影深度圖來檢測成為遮蔽洞的像素區域。
其中，第3洞像素檢測手段1513b中的穴遮罩的生成係僅有所使用的深度圖不同，即可與前述第1洞像素檢測手段1511b中的穴遮罩Lh1的生成同樣地進行。
左視點射影手段(第3副視點射影手段)1513c係由第3洞像素檢測手段1513b輸入所對應的左指定視點Pt1~Ptn中的穴遮罩，將該穴遮罩，生成射影至左視點的穴遮罩Lh31~Lb3n。左視點射影手段1513c係將所生成的穴遮罩Lh31~Lh3n輸出至穴遮罩合成手段1514。
其中，左視點中的穴遮罩Lh31~Lh3n係如第5圖(a)所示，若將由左指定視點至左視點的距離設為d、由基準視點至左視點的距離設為b時，關於左指定視點中的穴遮罩的各像素，可以將與該像素相對應的左指定視點中的深度圖的像素的深度值作(d/b)倍後的值所對應的像素數，使其朝右方向移位而生成。
此外，左指定視點Pt1~Ptn較佳為使用與輸入至立體影像解碼裝置2者為相同的視點，來作為在立體影像解碼裝置2(參照第1圖)所被生成的多視點影像中的視點，但是若不明時，亦可使用將基準視點位置與副視點(左、或右視點)位置之間以等間隔分割的視點。左指定視點Pt1~Ptn可為1個，亦可為2個以上。如本實施形態般，設置第3穴遮罩生成手段1513(15131~1513n)，實際上藉由追加射 影至以立體影像解碼裝置2(參照第1圖)所被指定的左指定視點Pt1~Ptn時所被預測之成為遮蔽洞的像素區域的穴遮罩Lh31~Lh3n，可生成更為適當的左殘差影像Lv，故較為理想。
穴遮罩合成手段1514係分別由第1穴遮罩生成手段1511輸入穴遮罩Lh1，由第2穴遮罩生成手段1512輸入穴遮罩Lh2，由第3穴遮罩生成手段15131~1513n輸入穴遮罩Lh31~Lh3n，來作為成為遮蔽洞的像素區域的檢測結果，合成所輸入的該等穴遮罩(檢測結果)，生成1個穴遮罩Lh0，且輸出至穴遮罩膨脹手段1515。
其中，穴遮罩合成手段1514係針對所輸入的複數穴遮罩Lh1、Lh2、Lh31~Lh3n，對成為遮蔽洞的像素區域的邏輯和進行運算，在至少一個穴遮罩中，成為遮蔽洞的像素係設為成為遮蔽洞的像素。
穴遮罩膨脹手段1515係由穴遮罩合成手段1514輸入穴遮罩Lh0，使該穴遮罩Lh0中成為遮蔽洞的像素區域，以預定的像素數，針對所有方向膨脹。穴遮罩膨脹手段1515係將膨脹後的穴遮罩Lh輸出至殘差影像切出手段152(參照第2圖)。
在此，膨脹的預定的像素數係指可設為例如16像素。將使穴遮罩Lh0以預定像素數膨脹的穴遮罩Lh使用在左殘差影像Lv的抽出，藉此在立體影像解碼裝置2(第1圖參照)中，當生成多視點影像時，彌補因視點(指定視點)的不同所致之遮蔽洞的不同，可將適當的像素由左殘差影像Lv 進行複製來使用。
其中，穴遮罩膨脹手段1515亦可在穴遮罩合成手段1514之前。亦即，在使各個穴遮罩膨脹後，即使進行邏輯和運算，亦可得相同效果。
〔立體影像解碼裝置的構成〕
接著，參照第7圖至第9圖(適當參照第1圖)，說明第1實施形態之立體影像解碼裝置2的構成。立體影像解碼裝置2係將由第2圖所示之立體影像編碼裝置1透過傳送路所被傳送的位元串流進行解碼而生成多視點影像。
如第7圖所示，第1實施形態之立體影像解碼裝置2(以下適當稱為「解碼裝置」)係包括：基準視點影像解碼手段21、深度圖解碼手段22、深度圖射影手段23、殘差影像解碼手段24、及射影影像合成手段25。此外，射影影像合成手段25係具有基準視點影像射影手段251、及殘差影像射影手段252所構成。
解碼裝置2係由編碼裝置1，輸入：作為基準視點影像位元串流所被輸出的編碼基準視點影像c、作為深度位元圖串流所被輸出的編碼深度圖md、及作為殘差影像位元圖串流所被輸出的編碼殘差影像lv，將該等輸入資料進行加工，生成基準視點中的影像亦即基準視點影像(解碼基準視點影像)C’、及左指定視點(指定視點)Pt中的影像亦即左指定視點影像(指定視點影像)P，輸出至立體影像顯示裝置4，而使立體影像顯示。其中，解碼裝置2所生成的左指定視點影像P可為1個，亦可為2以上。
以下，一面參照第9圖所示之影像及深度圖之例，一面說明各構成要素。
基準視點影像解碼手段21係由編碼裝置1，輸入作為基準視點影像位元串流所被輸出的編碼基準視點影像c，以其編碼方式將編碼基準視點影像c進行解碼而生成基準視點影像(解碼基準視點影像)C’者。基準視點影像解碼手段21係將所生成的基準視點影像C’輸出至射影影像合成手段25的基準視點影像射影手段251，並且作為多視點影像的一個影像(基準視點影像)而輸出至立體影像顯示裝置4。
深度圖解碼手段22係由編碼裝置1輸入作為深度位元圖串流所被輸出的編碼深度圖md，以其編碼方式將編碼深度圖md進行解碼，而生成中間視點中的深度圖亦即解碼左合成深度圖(解碼中間視點深度圖)M’d。該解碼左合成深度圖M’d係與以編碼裝置1的深度圖解碼手段14(參照第2圖)所生成的解碼左合成深度圖M’d相同。深度圖解碼手段22係將所生成的解碼左合成深度圖M’d輸出至深度圖射影手段23。
深度圖射影手段23係由深度圖解碼手段22輸入中間視點中的深度圖亦即解碼左合成深度圖M’d，將所輸入的解碼左合成深度圖M’d射影至左指定視點Pt，而生成左指定視點Pt中的深度圖亦即左指定視點深度圖Pd。深度圖射影手段23係在以周圍的像素值內插所射影的左指定視點深度圖Pd的遮蔽洞後，另外依序施行3×3及5×5像素 的中值濾波處理，在使因編碼、解碼、及射影所產生的誤差減輕之後，再將所生成的左指定視點深度圖Pd輸出至射影影像合成手段25的基準視點影像射影手段251及殘差影像射影手段252。
其中，左指定視點Pt係以解碼裝置2所生成的多視點影像中的左指定視點Pt，可由在解碼裝置2中被預先決定的設定手段(未圖示)進行輸入，亦可由外部透過鍵盤等輸入手段而藉由使用者的操作進行輸入。此外，左指定視點Pt係可為1個，亦可為2以上。左指定視點Pt為2以上時，係按每個左指定視點Pt，依序生成各自的左指定視點Pt中的左指定視點深度圖Pd，且依序輸出至射影影像合成手段25。
殘差影像解碼手段24係由編碼裝置1輸入作為殘差影像位元串流所被輸出的編碼殘差影像lv，以其編碼方式將編碼殘差影像lv進行解碼而生成左殘差影像(解碼殘差影像)L’v，且輸出至射影影像合成手段25的殘差影像射影手段252。
射影影像合成手段25係分別由基準視點影像解碼手段21輸入基準視點影像C’，由殘差影像解碼手段24輸入左殘差影像L’v，由深度圖射影手段23輸入左指定視點深度圖Pd，使用該等輸入資料，生成左指定視點Pt中的影像亦即左指定視點影像P，作為多視點影像的一個而輸出至立體影像顯示裝置4。因此，射影影像合成手段25係具有基準視點影像射影手段251、及殘差影像射影手段 252所構成。
構成射影影像合成手段25的基準視點影像射影手段251係分別由基準視點影像解碼手段21輸入基準視點影像C’，由深度圖射影手段23輸入左指定視點深度圖Pd，作為左指定視點Pt中的影像，而生成關於可將基準視點影像C’射影至該左指定視點Pt的像素的左指定視點影像PC。基準視點影像射影手段251係將所生成的左指定視點影像PC輸出至殘差影像射影手段252。其中，關於基準視點影像射影手段251的詳細構成，容後詳述。
構成射影影像合成手段25的殘差影像射影手段252係分別由殘差影像解碼手段24輸入左殘差影像L’v，由深度圖射影手段23輸入左指定視點深度圖Pd，作為左指定視點Pt中的影像，將無法將基準視點影像C’進行射影的像素，亦即成為遮蔽洞的像素在左指定視點影像PC進行增補而生成左指定視點影像P。殘差影像射影手段252係將所生成的左指定視點影像P輸出至立體影像顯示裝置4(參照第1圖)。其中，關於殘差影像射影手段252的詳細構成，容後詳述。
接著，說明基準視點影像射影手段251的詳細構成。
基準視點影像射影手段251係如第8圖所示，包括：洞像素檢測手段251a、指定視點影像射影手段251b、基準視點影像像素複製手段251c、中值濾波器251d、及穴遮罩膨脹手段251e所構成。
洞像素檢測手段251a係由深度圖射影手段23輸入左 指定視點深度圖Pd，將由基準視點影像解碼手段21所輸入的基準視點影像C’，使用該左指定視點深度圖Pd，檢測在射影至左指定視點Pt時成為遮蔽洞的像素，生成表示所檢測的像素區域的穴遮罩P1h作為檢測結果而輸出至基準視點影像像素複製手段251c。
在此，說明使用左指定視點深度圖Pd，檢測成為遮蔽洞的像素的方法。洞像素檢測手段251a中成為遮蔽洞的像素的檢測方法係使用左指定視點深度圖Pd，來取代前述編碼裝置1的第1洞像素檢測手段1511b(參照第3圖(a))中的左視點射影深度圖L’d，若形成為是否為成為遮蔽洞的像素的判定對象的注目像素的右近傍像素具有大於注目像素中的深度值的深度值時，該注目像素係作為成為遮蔽洞的像素來進行檢測。此時，由於各自的深度圖的視點位置及射影目的地的視點位置不同，因此必須進行其調整。
如第5圖(a)所示，將由基準視點至左視點的距離設為b，由基準視點至左指定視點的距離設為c。
此外，將形成為是否為成為遮蔽洞的像素的判定對象的注目像素中的深度值設為x，將由注目像素朝右方向遠離預定的像素數Pmax的像素中的深度值設為y。
接著，以將以預定的像素數Pmax遠離的像素中的深度值的y、與注目像素中的深度值的x的差g=(y-x)作(c/b)倍後的「(y-x)×(c/b)」所對應的像素數朝右方向遠離的像素中的深度值設為z。此時，若成為(z-x)≧k×g>(預定值)………式(2) 時，將注目像素判定為成為遮蔽洞的像素。
其中，在式(2)中，k為預定的係數，可設為例如「0.8」~「0.6」左右的值。如上所示乘以未達「1」的係數k，藉此由於被攝體的形狀或深度值的不正確度，即使在成為前景的被攝體的深度值有稍微變動的情形下，亦可正確地檢測遮蔽洞。
此外，在式(2)中，「預定值」係可設為例如「4」。藉由附加注目像素與右近傍像素之間的深度值的差大於預定值的條件，無須檢測實質上幾乎不會發生遮蔽的較小深度值的不連續部分，即可藉由後述的基準視點影像像素複製手段251c，由對基準視點影像C’進行射影的影像亦即左指定視點射影影像P1 C，來複製適當的像素。
其中，在本實施形態中，朝右方向遠離的預定的像素數係設定為4階段，按各階段進行同樣的判定，在至少1個階段被判定為成為遮蔽洞的像素時，係將該注目像素判定為成為遮蔽洞的像素。
此外，以設定為4階段之朝右方向遠離的預定的像素數Pmax而言，例如以第1階段而言，係設為相當於所對應的影像內的最大視差量的像素數，亦即與最大深度值相對應的像素數。以第2階段而言，係設為在第1階段中所設定的像素數的1/2。以第3階段而言，係設為在第1階段中所設定的像素數的1/4。接著，以第4階段而言，係設為在第1階段中所設定的像素數的1/8。
如上所示，參照與以複數階段的像素數遠離的位置中 的像素的深度值的差來進行成為遮蔽洞的像素的檢測，藉此在設定較大視差量時，係可適當檢測因遮蔽洞被看漏之成為寬幅狹窄的前景的被攝體所致之遮蔽洞，較為理想。其中，設定朝右方向遠離的預定的像素數Pmax的階段數並非限定於4階段，亦可設為2~3階段、或5階段以上。
其中，前述洞像素檢測手段251a係當檢測遮蔽洞時，在左殘差影像(殘差影像)L’v未包含的區域亦即離畫面右端為預定的範圍中，作為遮蔽洞不檢測區域，未進行遮蔽洞檢測而在該部分所產生的遮蔽洞係以填孔處理手段252c來進行填埋。藉此，防止殘差影像未包含的遮蔽洞被穴遮罩膨脹手段251e予以放大，且防止合成影像的品質降低。作為遮蔽洞不檢測區域的預定範圍係例如第9圖所示，形成為由影像的右端為相當於最大視差量的像素範圍。
指定視點影像射影手段251b係分別由基準視點影像解碼手段21輸入基準視點影像C’，由深度圖射影手段23輸入左指定視點深度圖Pd，生成將基準視點影像C’射影至左指定視點Pt的影像亦即左指定視點射影影像P1 C，且輸出至基準視點影像像素複製手段251c。
如第5圖(a)所示，將由基準視點至左視點的距離設為b，由基準視點至左指定視點的距離設為c。此時，指定視點影像射影手段251b係針對左指定視點深度圖Pd的各像素，由基準視點影像C’抽出以將該像素位置中的深度值設為(c/b)倍後的值所對應的像素數朝左方向移位後的位置中的像素，將所抽出的像素值設為所參照的深度值的像 素位置中的像素值，藉此生成左指定視點射影影像P1 C。
基準視點影像像素複製手段251c係分別由指定視點影像射影手段251b輸入左指定視點射影影像P1 C，由洞像素檢測手段251a輸入穴遮罩P1h，由該等輸入資料，複製可不會形成為遮蔽洞地將基準視點影像C’射影至左指定視點Pt的像素，而生成左指定視點影像P2 C。
此外，基準視點影像像素複製手段251c係將所生成的左指定視點影像P2 C、及所輸入的穴遮罩P1h輸出至中值濾波器251d。
其中，基準視點影像像素複製手段251c係當生成左指定視點影像P2 C時，針對左指定視點影像P2 C的所有像素值，進行設定預定值的初期化處理。該預定值係指在前述編碼裝置1的殘差影像切出手段152(參照第2圖)中，設為與不具殘差影像的像素所設定的像素值為相同(例如若平均1成分為8位元時，亮度成分(Y)、色差成分(Pb，Pr)均為「128」)。藉此，以成為遮蔽洞的像素而言，生成設定好該預定值的左指定視點影像P2 C。
中值濾波器251d係由基準視點影像像素複製手段251c輸入左指定視點影像P2 C及穴遮罩P1h，對各自的輸入資料施行中值濾波處理，分別生成左指定視點影像PC及穴遮罩P2h，分別將所生成的左指定視點影像PC輸出至殘差影像射影手段252的殘差影像像素複製手段252b，將穴遮罩P2h輸出至穴遮罩膨脹手段251e。
對左指定視點影像P2 C所施行的中值濾波處理係可使 用例如3×3的像素尺寸的濾波。藉此，無關於不具有與左指定視點射影影像P1 C中相對應的有效像素，以洞像素檢測手段251a未被檢測到的成為孤立的遮蔽洞的像素，以其周圍的3×3的像素區域內的各像素值的中央值予以內插。
其中，藉由該中值濾波處理，在處理前為有效像素的像素置換成表示成為遮蔽洞的像素的像素值時，針對該像素，並不適用中值濾波處理的結果，而維持中值濾波處理前的像素值。
穴遮罩膨脹手段251e係由中值濾波器251d輸入穴遮罩P2h，生成使穴遮罩P2h中成為遮蔽洞的像素區域以預定的像素數膨脹後的穴遮罩Ph，將所生成的穴遮罩Ph輸出至殘差影像射影手段252的殘差影像像素複製手段252b。
在此，膨脹的預定的像素數係可設為例如8像素。藉由該膨脹處理，藉由前述的基準視點影像像素複製手段251c，針對由於左指定視點深度圖Pd的生成誤差而誤由左指定視點射影影像P1 C複製的像素，可恢復成實質上成為遮蔽洞的像素亦即「無像素」的狀態。其中，針對該像素，係藉由後述的殘差影像射影手段252來複製適當的像素值。
接著，說明殘差影像射影手段252的詳細構成。
殘差影像射影手段252係如第8圖所示，具有：指定視點影像射影手段252a、殘差影像像素複製手段252b、及填孔處理手段252c所構成。
指定視點影像射影手段252a係分別由殘差影像解碼 手段24輸入左殘差影像L’v，由深度圖射影手段23輸入左指定視點深度圖Pd，生成將左殘差影像L’v射影至左指定視點Pt的影像亦即左指定視點射影殘差影像PLv，且輸出至殘差影像像素複製手段252b。
如第5圖(a)所示，將由基準視點至左視點的距離設為b、由左視點至左指定視點的距離設為d。此時，指定視點影像射影手段252a係針對左指定視點深度圖Pd的各像素，將以與將該像素位置中的深度值設為(d/b)倍後的值所對應的像素數朝右方向移位的位置中的像素，由左殘差影像L’v抽出，將所抽出的像素值設為所參照的深度值的像素位置中的像素值，藉此生成左指定視點射影殘差影像PLv。
殘差影像像素複製手段252b係分別由基準視點影像射影手段251的中值濾波器251d輸入左指定視點影像PC，由穴遮罩膨脹手段251e輸入穴遮罩Ph，由指定視點影像射影手段252a輸入左指定視點射影殘差影像PLv，由該等輸入資料，針對成為遮蔽洞的像素，由左指定視點射影殘差影像PLv抽出像素值，而複製在左指定視點影像PC，而生成左指定視點Pt中的影像亦即左指定視點影像P1。殘差影像像素複製手段252b係將所生成的左指定視點影像P1輸出至填孔處理手段252c。
填孔處理手段252c係由殘差影像像素複製手段252b輸入左指定視點影像P1，在該左指定視點影像P1中，藉由基準視點影像像素複製手段251c及殘差影像像素複製手 段252b，針對未被複製有效像素的像素，設定適當的像素值，藉此生成左指定視點影像P，且作為多視點影像中的1個影像而輸出至立體影像顯示裝置4(參照第1圖)。
填孔處理手段252c係調查左指定視點影像P1的各像素的像素值，藉由基準視點影像像素複製手段251c，檢測與作為初期值所設定的像素值相一致的像素及像素值在預定的範圍內與初期值相一致的像素，生成表示為該像素區域的穴遮罩。在此，像素值在預定的範圍內與初期值相一致係指若例如將各成分的初期值設為「128」時，各個成分的值成為127至129之間的值。藉此，即使在以編碼處理等，該像素值由初期值稍微改變的情形下，亦可適當檢測。
填孔處理手段252c係使所生成的穴遮罩所示的像素區域膨脹預定的像素數。在此，預定的像素數係指例如可形成為1像素。填孔處理手段252c係針對膨脹後的該像素區域的像素，藉由該像素周圍的有效像素的有效的像素值來進行內插，藉此設定左指定視點影像P1之成為穴的像素的適當的像素值。
如上所示，使穴遮罩所示的像素區域膨脹來進行填孔，藉此針對左殘差影像L’v所未包含的像素，可以不會有與周邊的像素有不協調感的方式來設定像素值。此外，即使在藉由利用中值濾波器251d所為的中值濾波處理，而在穴遮罩P1h的像素發生偏移的情形下，亦可適當地進行成為穴遮罩的像素區域的像素的填孔。
其中，以膨脹的像素數而言，藉由設定大於1像素的 像素數，與周邊像素的不協調感較少而可進行填孔。此時，所生成的左指定視點影像P中的解析度雖會降低，但是可吸收因深度圖的非可逆的編碼/解碼所致的誤差，來進行與周邊像素的不協調感較少的填孔。此外，為了良好地吸收因該編碼/解碼所致的誤差，亦可按照編碼中的壓縮率的大小，來加大壓縮率愈高愈呈膨脹的像素數。
〔立體影像編碼裝置的動作〕
接著，參照第10圖(適當參照第1圖及第2圖)，說明第1實施形態之立體影像編碼裝置1的動作。
(基準視點影像編碼處理)
編碼裝置1係先藉由基準視點影像編碼手段11，將由外部所輸入的基準視點影像C，以預定的編碼方式進行編碼而生成編碼基準視點影像c，且輸出作為基準視點影像位元串流(步驟S11)。
(深度圖合成處理(中間視點深度圖合成處理))
接著，編碼裝置1係藉由深度圖合成手段12，使用由外部所輸入的基準視點深度圖Cd及左視點深度圖Ld，將基準視點與左視點的中間的視點亦即中間視點中的深度圖亦即左合成深度圖Md進行合成(步驟S12)。
(深度圖編碼處理)
接著，編碼裝置1係藉由深度圖編碼手段13，將在步驟S12所合成的左合成深度圖Md，以預定的編碼方式進行編碼而生成編碼深度圖md，輸出作為深度圖位元串流(步驟S13)。
(深度圖解碼處理)
接著，編碼裝置1係藉由深度圖解碼手段14，將在步驟S13所生成的編碼深度圖md進行解碼而生成解碼左合成深度圖M’d(步驟S14)。
(射影影像預測處理)
接著，編碼裝置1係藉由射影影像預測手段15，使用在步驟S14所生成的解碼左合成深度圖M’d、及由外部所輸入的左視點影像L，生成左殘差影像Lv(步驟S15)。
其中，在該步驟S15中，編碼裝置1係藉由遮蔽洞檢測手段151，使用解碼左合成深度圖M’d，檢測成為遮蔽洞的像素(遮蔽洞檢測處理)。接著，編碼裝置1係藉由殘差影像切出手段152，由左視點影像L抽出(切出)遮蔽洞檢測手段151所檢測到的像素區域的像素，而生成左殘差影像Lv(殘差影像切出處理)。
(殘差影像編碼處理)
接著，編碼裝置1係藉由殘差影像編碼手段16，將在步驟S15所生成的左殘差影像Lv，以預定的編碼方式進行編碼而生成編碼殘差影像lv，且輸出作為殘差影像位元串流(步驟S16)。
〔立體影像解碼裝置的動作〕
接著，參照第11圖(適當參照第1圖及第7圖)，說明第1實施形態之立體影像解碼裝置2的動作。
(基準視點影像解碼處理)
解碼裝置2係先藉由基準視點影像解碼手段21，將基 準視點影像位元串流進行解碼，生成基準視點影像C’，且輸出作為多視點影像的1個影像(步驟S21)。
(深度圖解碼處理)
接著，解碼裝置2係藉由深度圖解碼手段22，將深度圖位元串流進行解碼，而生成解碼左合成深度圖M’d(步驟S22)。
(深度圖射影處理)
接著，解碼裝置2係藉由深度圖射影手段23，將在步驟S22所生成的解碼左合成深度圖M’d射影至左指定視點Pt，生成左指定視點Pt中的深度圖亦即左指定視點深度圖Pd(步驟S23)。
(殘差影像解碼處理)
接著，解碼裝置2係藉由殘差影像解碼手段24，將殘差影像位元串流進行解碼而生成左殘差影像L’v(步驟S24)。
(射影影像合成處理)
接著，解碼裝置2係藉由射影影像合成手段25，使用在步驟S23所生成的左指定視點深度圖Pd，將在步驟S21所生成的基準視點影像C’、及在步驟S24所生成的左殘差影像L’v，分別射影至左指定視點Pt的影像進行合成，而生成左指定視點Pt中的影像亦即左指定視點影像P(步驟S25)。
其中，在步驟S25中，解碼裝置2係首先藉由基準視點影像射影手段251，使用左指定視點深度圖Pd，將基準 視點影像C’射影至左指定視點Pt時，檢測無法射影的像素區域亦即成為遮蔽洞的像素，針對未成為遮蔽洞的像素區域，複製將基準視點影像C’射影至左指定視點Pt的影像的像素作為左指定視點影像的像素。
接著，解碼裝置2係藉由殘差影像射影手段252，針對成為遮蔽洞的像素區域，將使用左指定視點深度圖Pd而將左殘差影像L’v射影至左指定視點Pt的影像的像素進行複製作為左指定視點影像的像素。藉此，左指定視點影像P即完成。
如以上說明所示，第1實施形態之編碼裝置1係將基準視點影像C、基準視點與左視點的中間的視點亦即中間視點中的深度圖亦即左合成深度圖Md、及由基準視點影像C射影至其他視點時由成為遮蔽洞的像素區域所成的左殘差影像Lv進行編碼，作為位元串流來進行傳送，因此可以高編碼效率來進行編碼。此外，第1實施形態之解碼裝置2係可將由該編碼裝置1所傳送而來的該等編碼資料進行解碼，而生成多視點影像。
<第2實施形態>
接著，說明包含本發明之第2實施形態之立體影像編碼裝置及立體影像解碼裝置的立體影像傳送系統的構成。
包含第2實施形態之立體影像編碼裝置及立體影像解碼裝置的立體影像傳送系統係在第1圖所示之立體影像傳送系統S中，分別包含立體影像編碼裝置1A(參照第12圖)及立體影像解碼裝置2A(參照第14圖)，來取代立體影像 編碼裝置1及立體影像解碼裝置2以外，其他相同，故省略詳細說明。
〔立體影像編碼裝置的構成〕
接著，參照第12圖及第13圖，說明第2實施形態之立體影像編碼裝置1A的構成。
如第12圖所示，第2實施形態之立體影像編碼裝置1A(以下適當稱為「編碼裝置」)係包括：基準視點影像編碼手段11、深度圖合成手段12A、深度圖編碼手段13A、深度圖解碼手段14A、射影影像預測手段15A、殘差影像編碼手段16A、深度圖圖框化手段17、深度圖分離手段18、及殘差影像圖框化手段19。
此外，第2實施形態之編碼裝置1A係除了基準視點中的影像亦即基準視點影像C及左視點中的影像亦即左視點影像(副視點影像)L、以及該等所附隨的深度圖亦即基準視點深度圖Cd及左視點深度圖(副視點深度圖)Ld以外，輸入右視點中的影像亦即右視點影像(副視點影像)R及附隨於此的深度圖亦即右視點深度(副視點深度圖)圖Rd，但是與第1實施形態之編碼裝置1(參照第2圖)不同。亦即，第2實施形態之編碼裝置1A係將複數系統(2系統)的立體影像進行編碼者。
第2實施形態之編碼裝置1A係與第1實施形態之編碼裝置1(參照第2圖)相同，使用基準視點影像C、左視點影像L、基準視點深度圖Cd及左視點深度圖Ld，生成基準視點與左視點的中間視點亦即左中間視點中的深度圖亦即左 合成深度圖(中間視點深度圖)Md、及左殘差影像(殘差影像)Lv。編碼裝置1A係除此之外，另外使用基準視點影像C、右視點影像R、基準視點深度圖Cd及右視點深度圖(副視點深度圖)Rd，生成基準視點與右視點的中間視點亦即右中間視點中的深度圖亦即右合成深度圖(中間視點深度圖)Nd、及右殘差影像Rv。
接著，編碼裝置1A係將左合成深度圖Md及右合成深度圖Nd、以及左殘差影像Lv及右殘差影像Rv，分別縮小而相結合，藉此圖框化成1個畫像，分別以預定的編碼方式進行編碼，作為深度圖位元串流及殘差影像位元串流而進行輸出。其中，關於基準視點影像C，與第1實施形態之編碼裝置1(參照第2圖)相同，以預定的編碼方式進行編碼，而作為基準視點影像位元串流來進行輸出。
其中，由基準視點及右視點中的影像及深度圖來生成右合成深度圖Nd及右殘差影像Rv的方法，係在由基準視點及左視點中的影像及深度圖來生成左合成深度圖Md及左殘差影像Lv的方法中，更換左右位置關係者，故適當省略詳細說明。此外，關於與第1實施形態同樣的構成要素，係適當省略說明。
以下一面參照第13圖所示之影像及深度圖之例，一面說明編碼裝置1A的構成要素。其中，在第2實施形態中，係朝向被攝體而使3個視點被設定在朝水平方向延伸的直線上以等間隔分離的位置。此外，將中央的視點設為基準視點，將左側的視點亦即左視點、及右側的視點亦即右視 點設為副視點。但是，並非限定於此，3個視點亦可以不同的間隔作配置，此外，基準視點與副視點並非限定於朝水平方向遠離的情形，亦可朝垂直方向或斜向等任意方向遠離。
此外，為簡單說明，在第13圖中，係與第4圖所示之例同樣地，如基準視點影像C、左視點影像L及右視點影像R等所示，各影像係設為由圓形的位於前景的被攝體、及成為其他背景的被攝體所構成。
第12圖所示之基準視點影像編碼手段11係與第2圖所示之基準視點影像編碼手段11相同，故省略說明。
深度圖合成手段(中間視點深度圖合成手段)12A係包括左深度圖合成手段12L及右深度圖合成手段12R，分別將基準視點與左視點的中間視點亦即左中間視點中的深度圖亦即左合成深度圖Md、及基準視點與右視點的中間視點亦即右中間視點中的深度圖亦即右合成深度圖Nd進行合成。深度圖合成手段12A係將所合成的左合成深度圖Md及右合成深度圖Nd分別輸出至深度圖圖框化手段17的縮小手段17a及縮小手段17b。
其中，左深度圖合成手段12L係與第2圖所示之深度圖合成手段12為相同的構成。此外，右深度圖合成手段12R係輸入右視點深度圖Rd，來取代左視點深度圖Ld，如第5圖(b)所示，除了與基準視點深度圖Cd之間的左右位置關係相反以外，其他係與左深度圖合成手段12L相同，故省略詳細說明。
深度圖圖框化手段17係將由左深度圖合成手段12L及右深度圖合成手段12R所輸入的左合成深度圖Md及右合成深度圖Nd圖框化成1個畫像，生成圖框化深度圖Fd，將所生成的圖框化深度圖Fd輸出至深度圖編碼手段13A。因此，深度圖圖框化手段17係具有縮小手段17a、17b與結合手段17c所構成。
縮小手段17a及縮小手段17b係分別由左深度圖合成手段12L及右深度圖合成手段12R，分別輸入左合成深度圖Md及右合成深度圖Nd，藉由將各自所輸入的深度圖朝縱向進行外抽而縮小，生成高度(縱向的像素數)成為1/2之左縮小合成深度圖M2d及右縮小合成深度圖N2d且輸出至結合手段17c。
其中，縮小手段17a及縮小手段17b係當將分別對應的深度圖的高度設為1/2時，較佳為在施行藉由低通濾波器所為之濾波處理後，每隔1條線來對資料進行外抽。藉此，可防止因外抽所致之高頻成分的折返失真的發生。
結合手段17c係由縮小手段17a及縮小手段17b，分別輸入左縮小合成深度圖M2d及右縮小合成深度圖N2d，將2個深度圖以縱向進行結合，生成成為與縮小前的深度圖為相同高度的深度圖的圖框化深度圖Fd。結合手段17c係將所生成的圖框化深度圖Fd輸出至深度圖編碼手段13A。
深度圖編碼手段13A係由深度圖圖框化手段17的結合手段17c輸入圖框化深度圖Fd，將該圖框化深度圖Fd以預定的編碼方式進行編碼而生成編碼深度圖fd，作為深度 圖位元串流而輸出至傳送路。
深度圖編碼手段13A係在第2圖所示之深度圖編碼手段13中，所編碼的深度圖為經圖框化的深度圖，來取代單一的深度圖以外，其他為相同，故省略詳細說明。
深度圖解碼手段14A係將藉由深度圖編碼手段13A所生成的編碼深度圖fd亦即深度圖位元串流，根據該編碼方式進行解碼，而生成經圖框化的深度圖亦即圖框化深度圖(解碼圖框化深度圖)F’d。深度圖解碼手段14A係將所生成的圖框化深度圖F’d輸出至深度圖分離手段18的分離手段18a。
深度圖解碼手段14A係在第2圖所示之深度圖解碼手段14中，所解碼的深度圖為經圖框化的深度圖，來取代單一的深度圖以外，其他為相同，故省略詳細說明。
深度圖分離手段18係輸入由深度圖解碼手段14A所被解碼的圖框化深度圖F’d，將經圖框化的2個縮小深度圖亦即解碼左縮小合成深度圖M2’d及解碼右縮小合成深度圖N2’d進行分離，放大成原本的高度而生成解碼左合成深度圖(解碼中間視點深度圖)M’d及解碼右合成深度圖(解碼中間視點深度圖)N’d，分別輸出至射影影像預測手段15A的左射影影像預測手段15L及右射影影像預測手段15R。因此，深度圖分離手段18係具有分離手段18a、及放大手段18b、18c所構成。
分離手段18a係由深度圖解碼手段14A輸入圖框化深度圖F’d，將經圖框化的解碼左縮小合成深度圖M2’d及 解碼右縮小合成深度圖N2’d進行分離，分別輸出至放大手段18b及放大手段18c。
放大手段18b及放大手段18c係由分離手段18a分別輸入解碼左縮小合成深度圖M2’d及解碼右縮小合成深度圖N2’d，將高度分別放大為2倍，生成原本高度的深度圖亦即解碼左合成深度圖M’d及解碼右合成深度圖N’d。放大手段18b及放大手段18c係將所生成的解碼左合成深度圖M’d及解碼右合成深度圖N’d分別輸出至左射影影像預測手段15L及右射影影像預測手段15R。
其中，經縮小的深度圖的放大亦可為針對各線，複製相同線資料進行插入的單純放大，但是將每隔1條線所被插入的像素的值，對周邊像素的值施加雙三次濾波(Bicubic filter)而以平順地相連的方式進行內插時，經縮小時的像素外抽效果被補正，較為理想。
射影影像預測手段15A係使用由深度圖分離手段18的放大手段18b及放大手段18c所輸入的解碼左合成深度圖M’d及解碼右合成深度圖N’d，將基準視點影像C，將分別射影至左視點等及右視點等時成為遮蔽洞的像素區域中的像素由左視點影像L及右視點影像R抽出，而生成左殘差影像(殘差影像)Lv及右殘差影像(殘差影像)Rv。射影影像預測手段15A係將所生成的左殘差影像Lv及右殘差影像Rv分別輸出至殘差影像圖框化手段19的縮小手段19a及縮小手段19b。
左射影影像預測手段15L係由外部輸入基準視點影像 C、左視點影像L及左指定視點Pt，並且輸入由放大手段18b所被解碼的解碼左合成深度圖M’d，生成左殘差影像Lv，將所生成的左殘差影像Lv輸出至殘差影像圖框化手段19的縮小手段19a。此外，左射影影像預測手段15L係與第2圖所示之射影影像預測手段15在資料的輸出入目的地不同以外，其他為相同構成，故省略詳細說明。其中，在第12圖所示之例中，係將由外部所輸入的左指定視點Pt設為1個，但是如第2圖所示之例，亦可輸入複數左指定視點Pt。
此外，右射影影像預測手段15R係在左射影影像預測手段15L中，分別輸入右視點影像R、解碼右合成深度圖N’d及右指定視點Qt，來取代左視點影像L、解碼左合成深度圖M’d及左指定視點Pt，輸出右殘差影像Rv來取代左殘差影像Lv，及基準視點影像C等與深度圖的左右位置關係相反以外，其他為相同的構成，故省略詳細說明。
殘差影像圖框化手段19係將由左射影影像預測手段15L及右射影影像預測手段15R所輸入的左殘差影像Lv及右殘差影像Rv圖框化成1個畫像，生成圖框化殘差影像Fv，將所生成的圖框化殘差影像Fv輸出至殘差影像編碼手段16A。因此，殘差影像圖框化手段19係具有縮小手段19a、19b與結合手段19c所構成。
縮小手段19a及縮小手段19b係分別由左射影影像預測手段15L及右射影影像預測手段15R，分別輸入左殘差影像Lv及右殘差影像Rv，藉由將所輸入的殘差影像以縱向 進行像素外抽而縮小，高度(縱向的像素數)成為1/2，生成左縮小殘差影像L2v及右縮小殘差影像R2v，且輸出至結合手段19c。
其中，縮小手段19a及縮小手段19b係與縮小手段17a及縮小手段17b相同的構成，故省略詳細說明。
結合手段19c係由縮小手段19a及縮小手段19b分別輸入左縮小殘差影像L2v及右縮小殘差影像R2v，將2個殘差影像以縱向進行結合，生成成為與縮小前的1個殘差影像為相同高度的殘差影像的圖框化殘差影像Fv。結合手段19c係將所生成的圖框化殘差影像Fv輸出至殘差影像編碼手段16A。
殘差影像編碼手段16A係由殘差影像圖框化手段19的結合手段19c輸入圖框化殘差影像Fv，將該圖框化殘差影像Fv以預定的編碼方式進行編碼而生成編碼殘差影像fv，作為殘差影像位元串流而輸出至傳送路。
殘差影像編碼手段16A係在第2圖所示之殘差影像編碼手段16中，除了編碼的殘差影像為經圖框化的殘差影像，取代單一的殘差影像以外，其他為相同，故省略詳細說明。
〔立體影像解碼裝置的構成〕
接著，參照第14圖及第15圖，說明第2實施形態之立體影像解碼裝置2A的構成。立體影像解碼裝置2A係將由第12圖所示之立體影像編碼裝置1A透過傳送路所被傳送的位元串流進行解碼而生成多視點影像者。
如第14圖所示，第2實施形態之立體影像解碼裝置2A(以下適當稱為「解碼裝置」)係包括：基準視點影像解碼手段21、深度圖解碼手段22A、深度圖射影手段23A、殘差影像解碼手段24A、射影影像合成手段25A、深度圖分離手段26、及殘差影像分離手段27。
此外，第2實施形態之解碼裝置2A係輸入複數系統(2系統)的深度圖及殘差影像分別被圖框化的編碼深度圖fd及編碼殘差影像fv，作為深度圖位元串流及殘差影像位元串流，將經圖框化的深度圖及殘差影像進行分離，生成左指定視點影像P及右指定視點影像Q，作為複數系統的指定視點影像，但是與第1實施形態之解碼裝置2(參照第7圖)不同。
基準視點影像解碼手段21係與第7圖所示之基準視點影像解碼手段21相同，故省略說明。
深度圖解碼手段22A係將深度位元串流進行解碼，生成圖框化深度圖(解碼圖框化深度圖)F’d，且輸出至深度圖分離手段26的分離手段26a。
深度圖解碼手段22A係與編碼裝置1A中的深度圖解碼手段14A(參照第12圖)為相同的構成，故省略詳細說明。
深度圖分離手段26係輸入由深度圖解碼手段22A所被解碼的圖框化深度圖F’d，將經圖框化的2個縮小深度圖亦即解碼左縮小合成深度圖M2’d及解碼右縮小合成深度圖N2’d進行分離，放大成原本高度而生成解碼左合成深度圖M’d及解碼右合成深度圖N’d。深度圖分離手段26 係將所生成的解碼左合成深度圖M’d及解碼右合成深度圖N’d分別輸出至深度圖射影手段23A的左深度圖射影手段23L及右深度圖射影手段23R。因此，深度圖分離手段26係具有分離手段26a及放大手段26b、26c所構成。
其中，深度圖分離手段26係與第12圖所示之編碼裝置1A中的深度圖分離手段18相同的構成，故省略詳細說明。其中，分離手段26a、放大手段26b及放大手段26c係分別與第12圖所示之分離手段18a、放大手段18b及放大手段18c相對應。
深度圖射影手段23A係具有左深度圖射影手段23L及右深度圖射影手段23R所構成，將左右2系統的中間視點中的深度圖射影至各自的系統的指定視點亦即左指定視點Pt及右指定視點Qt，生成各自的指定視點中的深度圖亦即左指定視點深度圖Pd及右指定視點深度圖Qd。深度圖射影手段23A係將所生成的左指定視點深度圖Pd及右指定視點深度圖Qd，分別輸出至射影影像合成手段25A的左射影影像合成手段25L及右射影影像合成手段25R。
其中，左指定視點(指定視點)Pt及右指定視點(指定視點)Qt係可在解碼裝置2A所生成的多視點影像中的左指定視點及右指定視點，由在解碼裝置2A中預先決定的設定手段(未圖示)輸入，亦可由外部藉由透過鍵盤等輸入手段的使用者的操作而被輸入。此外，左指定視點Pt及右指定視點Qt係可分別為1個，亦可為2以上。左指定視點Pt及右指定視點Qt為2以上時，係分別按每個左指定視點 Pt及右指定視點Qt，依序生成各自的指定視點中的左指定視點深度圖Pd及右指定視點深度圖Qd，依序輸出至射影影像合成手段25A的左射影影像合成手段25L及右射影影像合成手段25R者。
左深度圖射影手段23L係輸入由放大手段26b所被解碼的深度圖亦即解碼左合成深度圖M’d，將該解碼左合成深度圖M’d射影至左指定視點Pt，生成左指定視點Pt中的左指定視點深度圖(指定視點深度圖)Pd。左深度圖射影手段23L係將所生成的左指定視點深度圖Pd輸出至左射影影像合成手段25L。
此外，右深度圖射影手段23R係輸入由放大手段26c所被解碼的深度圖亦即解碼右合成深度圖N’d，將該解碼右合成深度圖N’d射影至右指定視點Qt，生成右指定視點Qt中的右指定視點深度圖(指定視點深度圖)Qd。右深度圖射影手段23R係將所生成的右指定視點深度圖Qd輸出至右射影影像合成手段25R。
其中，左深度圖射影手段23L係與第7圖所示之深度圖射影手段23為相同的構成，故省略詳細說明。此外，右深度圖射影手段23R與左深度圖射影手段23L係除了與基準視點的左右位置關係相反以外，其他為相同的構成，故省略詳細說明。
殘差影像解碼手段24A係將殘差影像位元串流進行解碼，生成圖框化殘差影像(解碼圖框化殘差影像)F’v，而輸出至殘差影像分離手段27的分離手段27a。
殘差影像解碼手段24A係僅有解碼裝置2中的殘差影像解碼手段24(參照第7圖)、與所解碼的對象為單一的殘差影像或經圖框化的殘差影像為不同，由於為相同的構成，故省略詳細說明。
殘差影像分離手段27係輸入由殘差影像解碼手段24A所被解碼的圖框化殘差影像F’v，將經圖框化的2個縮小殘差影像亦即左縮小殘差影像L2’v及右縮小殘差影像R2’v進行分離，放大成原本高度，生成左殘差影像(解碼殘差影像)L’v及右殘差影像(解碼殘差影像)R’v。殘差影像分離手段27係將所生成的左殘差影像L’v及右殘差影像R’v分別輸出至射影影像合成手段25A的左射影影像合成手段25L及右射影影像合成手段25R。因此，殘差影像分離手段27係具有分離手段27a、及放大手段27b、27c所構成。
其中，殘差影像分離手段27係僅有所分離的對象為殘差影像或深度圖為不同，由於與深度圖分離手段26為相同的構成，故省略詳細說明。其中，分離手段27a、放大手段27b及放大手段27c係分別與分離手段26a、放大手段26b及放大手段26c相對應。
射影影像合成手段25A係由：由基準視點影像解碼手段21所輸入的基準視點影像C’、由殘差影像分離手段27所輸入的左右2系統的殘差影像亦即左殘差影像L’v及右殘差影像R’v、由深度圖射影手段23A所輸入的左右2系統的深度圖亦即左指定視點深度圖Pd及右指定視點深度 圖Qd，生成左右2系統的指定視點亦即左指定視點Pt及右指定視點Qt中的指定視點影像亦即左指定視點影像P及右指定視點影像Q。因此，射影影像合成手段25A係具有左射影影像合成手段25L及右射影影像合成手段25R所構成。
左射影影像合成手段25L係分別由基準視點影像解碼手段21輸入基準視點影像C’，由殘差影像分離手段27的放大手段27b輸入左殘差影像L’v，由深度圖射影手段23A的左深度圖射影手段23L輸入左指定視點深度圖Pd，生成左指定視點影像P。
此外，右射影影像合成手段25R係分別由基準視點影像解碼手段21輸入基準視點影像C’，由殘差影像分離手段27的放大手段27c輸入右殘差影像R’v，由深度圖射影手段23A的右深度圖射影手段23R輸入右指定視點深度圖Qd，生成右指定視點影像Q。
其中，左射影影像合成手段25L係與第7圖所示之解碼裝置2中的射影影像合成手段25為相同的構成，故省略詳細說明。
此外，右射影影像合成手段25R與左射影影像合成手段25L係除了與基準視點的左右位置關係相反以外，其他為相同的構成，故省略詳細說明。
如以上說明所示，第2實施形態之編碼裝置1A係針對複數系統的立體影像，將深度圖與殘差影像分別圖框化而進行編碼，作為位元串流而進行輸出，因此可以高編碼效 率將立體影像進行編碼。
此外，解碼裝置2A係可將以該編碼裝置1A進行編碼的立體影像進行解碼而生成多視點影像。
〔立體影像編碼裝置的動作〕
接著，參照第16圖(適當參照第12圖及第13圖)，說明第2實施形態之立體影像編碼裝置1A的動作。
(基準視點影像編碼處理)
編碼裝置1A係先藉由基準視點影像編碼手段11，將由外部所輸入的基準視點影像C，以預定的編碼方式進行編碼而生成編碼基準視點影像c，輸出作為基準視點影像位元串流(步驟S31)。
(深度圖合成處理(中間視點深度圖合成處理))
接著，編碼裝置1A係藉由深度圖合成手段12A，使用由外部所輸入的基準視點深度圖Cd及左視點深度圖Ld，將基準視點與左視點的中間的視點亦即左中間視點中的深度圖亦即左合成深度圖Md進行合成，並且使用由外部所輸入的基準視點深度圖Cd及右視點深度圖Rd，將基準視點與右視點的中間的視點亦即右中間視點中的深度圖亦即右合成深度圖Nd進行合成(步驟S32)。
(深度圖圖框化處理)
接著，編碼裝置1A係藉由深度圖圖框化手段17，將在步驟S32所合成的2個深度圖亦即左合成深度圖Md及右合成深度圖Nd進行縮小而相結合，藉此圖框化成1個畫像而生成圖框化深度圖Fd(步驟S33)。
(深度圖編碼處理)
接著，編碼裝置1A係藉由深度圖編碼手段13A，將在步驟S33所生成的圖框化深度圖Fd，以預定的編碼方式進行編碼而生成編碼深度圖fd，且輸出作為深度圖位元串流(步驟S34)。
(深度圖解碼處理)
接著，編碼裝置1A係藉由深度圖解碼手段14A，將在步驟S34所生成的編碼深度圖fd進行解碼而生成圖框化深度圖F’d(步驟S35)。
(深度圖分離處理)
接著，編碼裝置1A係藉由深度圖分離手段18，將與在步驟S35所生成之經解碼的圖框化深度圖F’d相結合的2個深度圖進行分離，且分別放大為原本尺寸，而生成解碼左合成深度圖M’d及解碼右合成深度圖N’d(步驟S36)。
(射影影像預測處理)
接著，編碼裝置1A係藉由射影影像預測手段15A，使用在步驟S36所生成的解碼左合成深度圖M’d、及由外部所輸入的左視點影像L，生成左殘差影像Lv，並且使用在步驟S36所生成的解碼右合成深度圖N’d、及由外部所輸入的右視點影像R，生成右殘差影像Rv(步驟S37)。
(殘差影像圖框化處理)
接著，編碼裝置1A係藉由殘差影像圖框化手段19，將在步驟S37所生成的2個殘差影像亦即左殘差影像Lv及 右殘差影像Rv進行縮小而相結合，藉此圖框化成1個畫像而生成圖框化殘差影像Fv(步驟S38)。
(殘差影像編碼處理)
接著，編碼裝置1A係藉由殘差影像編碼手段16A，將在步驟S38所生成的圖框化殘差影像Fv，以預定的編碼方式進行編碼而生成編碼殘差影像fv，且輸出作為殘差影像位元串流(步驟S39)。
〔立體影像解碼裝置的動作〕
接著，參照第17圖(適當參照第14圖及第15圖)，說明第2實施形態之立體影像解碼裝置2A的動作。
(基準視點影像解碼處理)
解碼裝置2A係先藉由基準視點影像解碼手段21，將基準視點影像位元串流進行解碼，生成基準視點影像C’，且輸出作為多視點影像的1個影像(步驟S51)。
(深度圖解碼處理)
接著，解碼裝置2A係藉由深度圖解碼手段22A，將深度圖位元串流進行解碼，生成圖框化深度圖F’d(步驟S52)。
(深度圖分離處理)
接著，解碼裝置2A係藉由深度圖分離手段26，將與在步驟S52所生成之經解碼的圖框化深度圖F’d相結合的2個深度圖進行分離，分別放大為原本尺寸，而生成解碼左合成深度圖M’d及解碼右合成深度圖N’d(步驟S53)。
(深度圖射影處理)
接著，解碼裝置2A係藉由深度圖射影手段23A，將在步驟S53所生成的解碼左合成深度圖M’d射影至左指定視點Pt，生成左指定視點Pt中的深度圖亦即左指定視點深度圖Pd，並且將在步驟S53所生成的解碼右合成深度圖N’d，射影至右指定視點Qt，生成右指定視點Qt中的深度圖亦即右指定視點深度圖Qd(步驟S54)。
(殘差影像解碼處理)
此外，解碼裝置2A係藉由殘差影像解碼手段24A，將殘差影像位元串流進行解碼，而生成圖框化殘差影像F’v(步驟S55)。
(殘差影像分離處理)
接著，解碼裝置2A係藉由殘差影像分離手段27，將與在步驟S55所生成之經解碼的圖框化殘差影像F’v相結合的2個殘差影像進行分離，分別放大成原本尺寸，而生成左殘差影像L’v及右殘差影像R’v(步驟S56)。
(射影影像合成處理)
接著，解碼裝置2A係藉由左射影影像合成手段25L，使用在步驟S54所生成的左指定視點深度圖Pd，將在步驟S51所生成的基準視點影像C’、及在步驟S55所生成的左殘差影像L’v，分別射影至左指定視點Pt的影像進行合成，而生成左指定視點Pt中的影像亦即左指定視點影像P，並且藉由右射影影像合成手段25R，使用在步驟S54所生成的右指定視點深度圖Qd，將在步驟S51所生成的基準視點影像C’、及在步驟S55所生成的右殘差影像R’v， 分別射影至右指定視點Qt的影像進行合成，而生成右指定視點Qt中的影像亦即右指定視點影像Q(步驟S57)。
<第2實施形態的變形例>
接著，說明本發明之第2實施形態的變形例之立體影像編碼裝置及立體影像解碼裝置。
本變形例之立體影像編碼裝置係在第12圖所示之第2實施形態之編碼裝置1A的深度圖圖框化手段17及殘差影像圖框化手段19中，將深度圖及殘差影像縮小時，如第18圖(a)及第18圖(b)所示，以橫向將像素外抽而縮小為1/2的寬幅，以橫向排列而相結合，而圖框化成1個畫像。
因此，變形例之立體影像編碼裝置係在編碼裝置1A的深度圖分離手段18中，構成為將以橫向縮小結合的圖框化深度圖F’d進行分離。
此外，本變形例之立體影像解碼裝置係在第14圖所示之第2實施形態之解碼裝置2A的深度圖分離手段26及殘差影像分離手段27中，構成為將以橫向縮小結合的圖框化深度圖F’d及圖框化殘差影像F’v進行分離。
本變形例之立體影像編碼裝置及立體影像解碼裝置的構成及動作係除了將深度圖及殘差影像以橫向縮小結合，而且分離放大以外，其他與第2實施形態之編碼裝置1A及解碼裝置2A為相同，故省略詳細說明。
此外，第1實施形態、第2實施形態中所使用的深度圖係對於與基準視點影像C等的影像為相同形式的畫像資料，設定深度值作為亮度成分(Y)，對於色差成分(Pb，Pr) 係設定預定值來處理，但是亦可作為僅具有亮度成分(Y)的單色畫像資料來處理。藉此，可使因色差成分(Pb，Pr)所致之編碼效率的降低完全為零。
<第3實施形態>
接著，說明包含本發明之第3實施形態之立體影像編碼裝置及立體影像解碼裝置的立體影像傳送系統的構成。
包含有第3實施形態之立體影像編碼裝置及立體影像解碼裝置的立體影像傳送系統係除了在第1圖所示之立體影像傳送系統S中，分別包含立體影像編碼裝置1B(參照第19圖)及立體影像解碼裝置2B(參照第22圖)，來取代立體影像編碼裝置1及立體影像解碼裝置2以外，其他為相同，故省略詳細說明。
〔立體影像編碼裝置的構成〕
接著，參照第19圖及第20圖，說明第3實施形態之立體影像編碼裝置1B的構成。
如第19圖所示，第3實施形態之立體影像編碼裝置1B(以下適當稱為「編碼裝置1B」)係包括：基準視點影像編碼手段11、深度圖合成手段12B、深度圖編碼手段13B、射影影像預測手段15B、殘差影像編碼手段16B、殘差影像圖框化手段19B、及深度圖恢復手段30。
此外，第3實施形態之編碼裝置1B係與第12圖所示之第2實施形態之編碼裝置1A同樣地，輸入基準視點中的影像亦即基準視點影像C、左視點中的影像亦即左視點影像(副視點影像)L及右視點中的影像亦即右視點影像(副視 點影像)R、以及附隨該等影像的深度圖亦即基準視點深度圖Cd、左視點深度圖(副視點深度圖)Ld及右視點深度圖(副視點深度圖)Rd，將分別以預定的編碼方式進行編碼的編碼基準視點影像c及編碼殘差影像fv，分別作為基準視點影像位元串流及殘差影像位元串流而進行輸出。在此，編碼裝置1B係將所輸入的3視點中的深度圖Cd、Ld、Rd，合成為預定的1個共通視點中的深度圖亦即合成深度圖Gd來進行編碼，作為深度圖位元串流來進行輸出，此與第2實施形態之編碼裝置1A(參照第12圖)不同。
其中，關於與第1實施形態或第2實施形態相同的構成要素，係標註相同符號且適當省略說明。
以下，一面參照第20圖所示之影像及深度圖之例，一面說明編碼裝置1B的構成要素。其中，在第3實施形態中，與第2實施形態相同地，朝向被攝體而使3個視點被設定在朝水平方向延伸的直線上以等間隔分離的位置。此外，將中央的視點設為基準視點，將左側的視點亦即左視點、及右側的視點亦即右視點設為副視點。但是並非限定於此，3個視點係可以不同的間隔作配置，此外，基準視點與副視點並非限定於朝水平方向分離的情形，亦可朝垂直方向或斜向等任意方向分離。
此外，為簡單說明，在第20圖中，與第13圖所示之例相同地，如基準視點影像C、左視點影像L及右視點影像R等所示，各影像係由圓形的位於前景的被攝體、及成為其他背景的被攝體所構成。
第19圖所示之基準視點影像編碼手段11係與第2圖所示之基準視點影像編碼手段11相同，故省略說明。
深度圖合成手段12B係包括：左深度圖射影手段121B、右深度圖射影手段122B、圖合成手段123B及縮小手段124所構成。
左深度圖射影手段121B及右深度圖射影手段122B係分別輸入左視點深度圖Ld及右視點深度圖Rd，生成分別射影至預定的1個共通視點的深度圖亦即共通視點深度圖CLd及共通視點深度圖CRd，且輸出至圖合成手段123B。
在本例中，由於將基準視點設為共通視點，因此左深度圖射影手段121B係將左視點深度圖Ld射影至基準視點，因此針對各像素，使其以與各像素的深度值相一致的像素數朝左方向移位，藉此生成共通視點深度圖CLd。
在左視點深度圖Ld的射影中，有複數像素值被射影的像素時，將所被射影的像素值之中的最大值設為該像素的深度值。藉由將最大值設為共通視點深度圖CLd的深度值，前景的被攝體的深度值被保存，因此可正確地保持遮蔽關係來進行射影。
此外，若有未被射影的像素時，該部分係在該像素的左右所近接之經射影的像素之中，將較小的深度值設為該像素的深度值來進行填孔。藉此，在原本的視點位置，在前景被遮隱而看不到的背景的深度值被正確地進行內插。
右深度圖射影手段122B亦同樣地，由於將右視點深度圖Rd射影至基準視點，關於各像素，以與各像素的深度值 相一致的像素數朝右方向移位，藉此生成共通視點深度圖CRd。關於右深度圖射影手段122B，亦與左深度圖射影手段121B同樣地，在右視點深度圖Rd的射影中，若有複數像素值被射影的像素時，將所被射影的像素值之中的最大值設為該像素的深度值。此外，若有未被射影的像素，該部分係在該像素的左右所近接之經射影的像素之中，將較小的深度值設為該像素的深度值來進行填孔。
其中，在本例中係將由外部所被輸入的3個視點的重心亦即基準視點設為共通視點。因此，基準視點深度圖Cd並不需要進行進行射影。
但是，並非限定於此，可將任意視點設為共通視點。若將基準視點以外設為共通視點時，取代基準視點深度圖Cd，而將基準視點深度圖Cd構成為將射影至該共通視點的深度圖輸入至圖合成手段123B即可。此外，針對左深度圖射影手段121B及右深度圖射影手段122B，亦按照由基準視點至共通視點的距離，來適當調整射影時的像素的移位量即可。
圖合成手段123B係由左深度圖射影手段121B及右深度圖射影手段122B，分別輸入共通視點深度圖CLd及共通視點深度圖CRd，並且由外部(例如立體影像作成裝置3(參照第1圖))輸入基準視點深度圖Cd，將該等3個深度圖合成為1個，而生成共通視點亦即基準視點中的1個合成深度圖Gd。
圖合成手段123B係將所生成的合成深度圖Gd輸出至 縮小手段124。
在本例中，圖合成手段123B係按每個像素將3個深度圖的像素值平滑化而設為合成深度圖Gd的像素值，藉此生成合成深度圖Gd。在此，以像素值的平滑化而言，係可列舉3個像素值的算術平均或使用中值濾波的中央值的算出。
如上所示，藉由將3個深度圖合成，各個深度圖中所包含的深度的誤差被平滑化，將用以在解碼裝置側構成立體影像的多數視點的影像進行合成時，可改善所被合成的視點影像的品質。
縮小手段124係由圖合成手段123B輸入合成深度圖Gd，生成將所輸入的合成深度圖Gd縮小後的縮小合成深度圖G2d接著，縮小手段124係將所生成的縮小合成深度圖G2d輸出至深度圖編碼手段13B。
在此，縮小手段124係將合成深度圖Gd的像素，以縱向及橫向分別每隔1像素進行外抽，藉此縱橫分別縮小為1/2而生成縮小合成深度圖G2d。
其中，縮小手段124係較佳為當進行深度圖的外抽處理時，未施行藉由低通濾波器所為之濾波處理，而直接將資料進行外抽。藉此，可防止藉由濾波處理所致之在原本的深度圖所未有的等級的的深度值的發生，保持合成影像的品質。
此外，縮小率並非為被限定為1/2，藉由反覆複數次1/2的外抽處理，可以1/4、1/8等縮小率進行縮小， 亦可形成為1/3、1/5等縮小率。此外，亦可在縱向與橫向使縮小率為不同。再者此外，亦可省略縮小手段124，由圖合成手段123B，將保持等倍資料原樣的合成深度圖Gd輸出至深度圖編碼手段13B。
深度圖編碼手段13B係由深度圖合成手段12B的縮小手段124輸入縮小合成深度圖G2d，將該縮小合成深度圖G2d以預定的編碼方式進行編碼而生成編碼深度圖g2d，作為深度圖位元串流而輸出至傳送路。
在本實施形態中，作為深度圖位元串流所被傳送的深度圖係將3個視點中的深度圖合成為1個，而更加縮小，因此減低深度圖的資料量，且改善編碼效率。
深度圖編碼手段13B係在第2圖所示之深度圖編碼手段13中，除了所編碼的深度圖為經縮小的深度圖，來取代等倍尺寸的單一深度圖以外，其他相同，故省略詳細說明。
深度圖恢復手段30係將藉由深度圖編碼手段13B所生成的編碼深度圖g2d亦即深度圖位元串流，根據其編碼方式來進行解碼，並且放大而將原本尺寸的解碼合成深度圖G’d進行恢復。因此，深度圖恢復手段30係包括深度圖解碼手段30a及放大手段30b所構成。
此外，深度圖恢復手段30係將經恢復的解碼合成深度圖G’d輸出至射影影像預測手段15B的左射影影像預測手段15BL及右射影影像預測手段15BR。
深度圖解碼手段30a係由深度圖編碼手段13B輸入編碼深度圖g2d，根據該編碼方式進行解碼而生成解碼縮小合 成深度圖G’2d。深度圖解碼手段30a係將所生成的解碼縮小合成深度圖G’2d輸出至放大手段30b。深度圖解碼手段30a係使用與第2圖所示之深度圖解碼手段14相同者，故省略詳細說明。
放大手段30b係由深度圖解碼手段30a輸入解碼縮小合成深度圖G’2d，生成與合成深度圖Gd為相同尺寸的解碼合成深度圖G’d。放大手段30b係將所生成的解碼合成深度圖G’d輸出至左射影影像預測手段15BL及右射影影像預測手段15BR。
其中，放大手段30b係以放大處理而言，當將藉由利用縮小手段124所為之縮小處理所被外抽的像素進行內插時，若該像素的近傍所存在的複數像素的像素值(深度值)的差較小，係將該近傍像素的像素值的平均值設為該像素的像素值。此外，若該像素的近傍所存在的複數像素的像素值的差較大，則係將該近傍像素的像素值的最大值設為該像素的像素值。藉此，在前景與背景的交界部分恢復前景的深度值，因此可保持以解碼裝置2B(參照第22圖)所合成的多視點影像的品質。
其中，放大處理時，對放大後的深度圖施行2次元中值濾波。藉此，可將前景的被攝體的深度值的輪廓部分平順地相連，可提升使用該合成深度圖所生成的合成影像的品質。
射影影像預測手段15B係使用由深度圖恢復手段30的放大手段30b所輸入的解碼合成深度圖G’d，將基準視點 影像C分別射影至左視點等及右視點等時成為遮蔽洞的像素區域中的像素，由左視點影像L及右視點影像R抽出，而生成左殘差影像(殘差影像)Lv及右殘差影像(殘差影像)Rv。射影影像預測手段15B係將所生成的左殘差影像Lv及右殘差影像Rv分別輸出至殘差影像圖框化手段19B的縮小手段19Ba及縮小手段19Bb。
左射影影像預測手段15BL係由外部輸入左視點影像L及左指定視點Pt，並且輸入由放大手段30b所被解碼的解碼合成深度圖G’d，生成左殘差影像Lv，而將所生成的左殘差影像Lv輸出至殘差影像圖框化手段19B的縮小手段19Ba。
在此，參照第21圖(a)(適當參照第19圖及第20圖)，說明本實施形態中的左射影影像預測手段15BL的詳細構成。
如第21圖(a)所示，本實施形態中的左射影影像預測手段15BL係包括遮蔽洞檢測手段151B、及殘差影像切出手段152所構成。本實施形態中的左射影影像預測手段15BL與第2圖所示之第1實施形態中的射影影像預測手段15係在包括遮蔽洞檢測手段151B來取代遮蔽洞檢測手段151為不同之處。
此外，本實施形態中的遮蔽洞檢測手段151B係具有：第1穴遮罩生成手段1511B、第2穴遮罩生成手段1512B、第3穴遮罩生成手段1513B(1513B1~1513Bn)、穴遮罩合成手段1514、及穴遮罩膨脹手段1515所構成。本實施形態 中的遮蔽洞檢測手段151B與第3圖(b)所示之第1實施形態中的遮蔽洞檢測手段151，係分別包括第1穴遮罩生成手段1511B、第2穴遮罩生成手段1512B及第3穴遮罩生成手段1513B(1513B1~1513Bn)，來取代第1穴遮罩生成手段1511、第2穴遮罩生成手段1512及第3穴遮罩生成手段1513(15131~1513n)為不同之處。
其中，關於與第1實施形態中的射影影像預測手段15及遮蔽洞檢測手段151相同構成要素，係標註相同符號，且適當省略說明。
本實施形態中的第1穴遮罩生成手段1511B、第2穴遮罩生成手段1512B及第3穴遮罩生成手段1513B係使用共通視點亦即基準視點中的解碼合成深度圖G’d來作為供遮蔽洞檢測用的深度圖。因此，使用基準視點與左視點的中間視點中的深度圖亦即解碼左合成深度圖M’d的第1實施形態中的第1穴遮罩生成手段1511、第2穴遮罩生成手段1512及第3穴遮罩生成手段1513係分別輸入至第1洞像素檢測手段1511b、第2洞像素檢測手段1512Bb及第3洞像素檢測手段1513b的深度圖的射影手段(1511Ba、1512Ba、1513Ba)所為之射影時的移位量為不同。除了該移位量不同以外，第1穴遮罩生成手段1511B、第2穴遮罩生成手段1512B及第3穴遮罩生成手段1513B係具有與第1實施形態中的第1穴遮罩生成手段1511、第2穴遮罩生成手段1512及第3穴遮罩生成手段1513為相同的功能。
亦即，第1穴遮罩生成手段1511B、第2穴遮罩生成 手段1512B及第3穴遮罩生成手段1513B係將使用所輸入的深度圖的基準視點影像C分別射影至左視點時，射影至左中間視點時、及射影至左指定視點時，預測成為遮蔽洞OH的區域。接著，將分別所預測的區域射影至左視點，生成表示該射影的區域的穴遮罩Lh1、Lh2、Lh31~Lh3n而輸出至穴遮罩合成手段1514。
其中，遮蔽洞OH的檢測係可僅使用解碼合成深度圖G’d來進行，因此並不需要基準視點影像C。在第3圖(b)所示之第1實施形態中的遮蔽洞檢測手段151亦同樣地，可省略基準視點影像C的輸入。
第1穴遮罩生成手段1511B係當將基準視點影像C射影至左視點時，預測成為遮蔽洞OH的像素區域，生成表示該像素區域的穴遮罩Lh1而輸出至穴遮罩合成手段1514。因此，第1穴遮罩生成手段1511B係具有：左視點射影手段1511Ba、及第1洞像素檢測手段1511b所構成。
左視點射影手段1511Ba係由深度圖恢復手段30輸入解碼合成深度圖G’d，將該解碼合成深度圖G’d射影至左視點，生成左視點中的深度圖亦即左視點射影深度圖L’d，且輸出至第1洞像素檢測手段1511b。
左視點射影手段1511Ba與第3圖(b)所示之左視點射影手段1511a係僅有將深度圖進行射影時的移位量為不同，由於可使用相同者，故省略詳細說明。
第2穴遮罩生成手段1512B係當將基準視點影像C射影至基準視點與左視點的中間的視點亦即左中間視點時， 預測成為遮蔽洞OH的像素區域，生成表示該像素區域的穴遮罩Lh2而輸出至穴遮罩合成手段1514。因此，第2穴遮罩生成手段1512B係具有：左中間視點射影手段1512Ba、第2洞像素檢測手段1512Bb、及左視點射影手段1512Bc所構成。
左中間視點射影手段1512Ba係由深度圖恢復手段30輸入解碼合成深度圖G’d，將該解碼合成深度圖G’d射影至左中間視點，生成左中間視點中的深度圖亦即解碼左合成深度圖M’d，且輸出至第2洞像素檢測手段1512Bb。
左中間視點射影手段1512Ba與第3圖(b)所示之左視點射影手段1511a係僅有將深度圖進行射影時的移位量不同，由於可使用相同者，故省略詳細說明。
此外，第2洞像素檢測手段1512Bb及左視點射影手段1512Bc係分別與第3圖(b)所示之第2洞像素檢測手段1512a及左視點射影手段1512b相同，故省略說明。
其中，第2穴遮罩生成手段1512B亦可省略。
第3穴遮罩生成手段1513B1~1513Bn(1513B)係將基準視點影像C分別射影至左指定視點Pt1~Ptn時，預測成為遮蔽洞OH的像素區域，分別生成表示該像素區域的穴遮罩Lh31~Lh3n而輸出至穴遮罩合成手段1514。因此，各第3穴遮罩生成手段1513B(1513B1~1513Bn)係具有：左指定視點射影手段1513Ba、第3洞像素檢測手段1513b、及左視點射影手段1513c所構成。
左指定視點射影手段1513Ba係由深度圖恢復手段30 輸入解碼合成深度圖G’d，將該解碼合成深度圖G’d射影至左指定視點Pt(Pt1~Ptn)，生成左指定視點Pt(Pt1~Ptn)中的深度圖亦即左指定視點深度圖P’d，且輸出至第3洞像素檢測手段1513b。
左指定視點射影手段1513Ba與第3圖(b)所示之左視點射影手段1511a係僅有將深度圖射影時的移位量為不同，由於可使用相同者，故省略詳細說明。
此外，第3穴遮罩生成手段1513B係如第21圖(a)所示，可在射影至1或複數左指定視點Pt(Pt1~Ptn)時檢測成為遮蔽洞OH的區域，亦可省略。
穴遮罩合成手段1514、穴遮罩膨脹手段1515及殘差影像切出手段152係可使用與第1實施形態相同者。
其中，在殘差影像切出手段152中，以由左視點影像以穴遮罩Lh所示之成為遮蔽洞OH的區域以外的像素值而言，除了設為128等固定值以外，亦可使用左視點影像L的全像素值的平均值。藉由如上所示，更加減少具有殘差影像的有效像素值的部分(亦即成為遮蔽洞OH的區域)與不具有的部分(其他區域)的變化量，可減低殘差影像的編碼處理中的失真。
此外，在第1實施形態的殘差影像切出手段152中，亦可使用殘差影像的全像素地的平均值作為沒有有效像素值的區域的像素值。
此外，右射影影像預測手段15BR係在左射影影像預測手段15BL中，除了分別輸入右視點影像R及右指定視點 Qt，來取代左視點影像L及左指定視點Pt，輸出右殘差影像Rv來取代左殘差影像Lv，且基準視點與深度圖的視點位置的左右位置關係相反以外，由於為相同的構成，故省略說明。
返回至第19圖及第20圖，繼續說明編碼裝置1B的構成。
殘差影像圖框化手段19B係將由左射影影像預測手段15BL及右射影影像預測手段15BR所輸入的左殘差影像Lv及右殘差影像Rv圖框化成1個畫像，生成圖框化殘差影像Fv，將所生成的圖框化殘差影像Fv輸出至殘差影像編碼手段16B。因此，殘差影像圖框化手段19B係具有縮小手段19Ba、19Bb及結合手段19Bc所構成。
縮小手段19Ba及縮小手段19Bb係分別由左射影影像預測手段15BL及右射影影像預測手段15BR輸入左殘差影像Lv及右殘差影像Rv，藉由將所輸入的殘差影像以縱向及橫向進行像素外抽而縮小，生成高度(縱向的像素數)及寬幅(橫向的像素數)分別成為1/2的左縮小殘差影像L2v及右縮小殘差影像R2v，且輸出至結合手段19Bc。
一般而言，使用殘差影像的區域係在解碼裝置2B(參照第22圖)側所被合成的多視點影像的一部分，因此即使進行像素外抽，合成畫像的畫質並不會大幅降低。因此，藉由進行殘差影像的外抽(縮小處理)，不會使畫質大幅劣化，而可使編碼效率提升。
此外，縮小手段19Ba及縮小手段19Bb係當對左殘差 影像Lv及右殘差影像Rv進行縮小處理時，較佳為在例如使用係數(1，2，1)的3多頭分接濾波器等的低通濾波處理後，施行外抽處理。藉此，可防止因外抽所致之高頻成分的折返失真的發生。
其中，低通濾波處理係針對縱向及橫向，朝各個方向外抽前，使用前述之係數的1次元濾波器來進行，但是由於可減低處理量，故較為理想。但是，並非限定於此，亦可在進行2次元的低通濾波處理之後，進行縱向及橫向的外抽處理。
此外，較佳為在左縮小殘差影像L2v與右縮小殘差影像R2v之成為遮蔽洞OH的區域(有有效像素的區域)與其他區域的交界部施行低通濾波處理。藉此，有有效像素的區域與沒有的區域的交界中的像素值的變化被平滑化，可使編碼處理的效率提升。
此外，縮小手段19Ba及縮小手段19Bb並非限定為縱橫的縮小率為1/2，可為1/4、1/3等其他縮小率，亦可縮小率在縱向與橫向為不同。此外，亦可將尺寸保持原樣，而省略縮小手段19Ba、19Bb。
結合手段19Bc係由縮小手段19Ba及縮小手段19Bb，分別輸入左縮小殘差影像L2v及右縮小殘差影像R2v，以縱向結合2個殘差影像，對於縮小前的原本尺寸，生成縱向為等倍、橫向為1/2的1個影像圖框亦即圖框化殘差影像Fv。結合手段19Bc係將所生成的圖框化殘差影像Fv輸出至殘差影像編碼手段16B。
其中，結合手段19Bc亦可以橫向結合2個殘差影像。
殘差影像編碼手段16B係由殘差影像圖框化手段19B的結合手段19Bc輸入圖框化殘差影像Fv，將該圖框化殘差影像Fv以預定的編碼方式進行編碼而生成編碼殘差影像fv，作為殘差影像位元串流而輸出至傳送路。
殘差影像編碼手段16B係在第2圖所示之殘差影像編碼手段16中，所編碼的殘差影像為經圖框化的殘差影像，來取代單一的殘差影像以外，其他為相同，故省略詳細說明。
〔立體影像解碼裝置的構成〕
接著，參照第22圖及第23圖，說明第3實施形態之立體影像解碼裝置2B的構成。立體影像解碼裝置2B係將由第19圖所示之立體影像編碼裝置1B透過傳送路所被傳送的位元串流進行解碼，而生成多視點影像。
如第22圖所示，第3實施形態之立體影像解碼裝置2B(以下適當稱為「解碼裝置2B」)係包括：基準視點影像解碼手段21、深度圖恢復手段28、深度圖射影手段23B、殘差影像解碼手段24B、射影影像合成手段25B、及殘差影像分離手段27B。
此外，第3實施形態之解碼裝置2B係輸入作為深度圖位元串流之1系統的深度圖經編碼的編碼深度圖g2d、及作為殘差影像位元串流之複數系統(2系統)的殘差影像經圖框化的編碼殘差影像fv，將經圖框化的殘差影像進行分離，作為複數系統的指定視點影像而生成左指定視點影像 P及右指定視點影像Q。
本實施形態之解碼裝置2B係將使3視點中的深度圖Cd、Ld、Rd被合成在預定的1個共通視點中的深度圖亦即合成深度圖Gd的1系統的深度圖更加縮小，且輸入經編碼的編碼縮小合成深度圖g2d來使用，但是與第2實施形態之解碼裝置2A(參照第14圖)不同。
基準視點影像解碼手段21係與第7圖所示之基準視點影像解碼手段21相同，故省略說明。
深度圖恢復手段28係將深度位元串流進行解碼，生成解碼縮小合成深度圖G2’d，另外生成原本尺寸的解碼合成深度圖G’d，輸出至深度圖射影手段23B的左深度圖射影手段23BL及右深度圖射影手段23BR。因此，深度圖恢復手段28係具有深度圖解碼手段28a及放大手段28b所構成。
深度圖恢復手段28係與編碼裝置1B中的深度圖恢復手段30(參照第19圖)相同的構成，故省略詳細說明。其中，深度圖解碼手段28a及放大手段28b係分別與第19圖所示之深度圖解碼手段30a及放大手段30b相對應。
深度圖射影手段23B係具有：左深度圖射影手段23BL及右深度圖射影手段23BR所構成，將共通視點亦即基準視點中的深度圖射影至各自的系統的指定視點亦即左指定視點Pt及右指定視點Qt，生成各自的指定視點中的深度圖亦即左指定視點深度圖Pd及右指定視點深度圖Qd。深度圖射影手段23B係將所生成的左指定視點深度圖Pd及右指定視點深度圖Qd，分別輸出至射影影像合成手段25B的左 射影影像合成手段25BL及右射影影像合成手段25BR。
其中，本實施形態中的深度圖射影手段23B係與第14圖所示之深度圖射影手段23A同樣地，輸入1個或複數左指定視點(指定視點)Pt及右指定視點(指定視點)Qt，生成與各自的指定視點相對應的左指定視點深度圖Pd及右指定視點深度圖Qd，且輸出至射影影像合成手段25B的左射影影像合成手段25BL及右射影影像合成手段25BR。
左深度圖射影手段23BL係輸入經解碼的基準視點中的深度圖亦即解碼合成深度圖G’d，將該解碼合成深度圖G’d射影至左指定視點Pt，生成左指定視點Pt中的左指定視點深度圖(指定視點深度圖)Pd。左深度圖射影手段23BL係將所生成的左指定視點深度圖Pd輸出至左射影影像合成手段25BL。
其中，本實施形態中的左深度圖射影手段23BL與第14圖所示之第2實施形態中的左深度圖射影手段23BL係除了依所輸入的深度圖的視點位置的不同，射影時的移位量不同以外，其他為相同，故省略詳細說明。
此外，右深度圖射影手段23BR係輸入經解碼的基準視點中的深度圖亦即解碼合成深度圖G’d，將該解碼合成深度圖G’d射影至右指定視點Qt，生成右指定視點Qt中的右指定視點深度圖(指定視點深度圖)Qd。右深度圖射影手段23BR係將所生成的右指定視點深度圖Qd輸出至右射影影像合成手段25BR。
其中，右深度圖射影手段23BR與左深度圖射影手段 23BL係除了對基準視點的左右位置關係相反以外，其他為相同的構成，故省略詳細說明。
殘差影像解碼手段24B係將殘差影像位元串流進行解碼，生成圖框化殘差影像(解碼圖框化殘差影像)F’v，且輸出至殘差影像分離手段27B的分離手段27Ba。
殘差影像解碼手段24B與第14圖所示之第2實施形態中的殘差影像解碼手段24A係除了所解碼的對象的圖框化殘差影像的尺寸不同以外，其他為相同的構成，故省略詳細說明。
殘差影像分離手段27B係輸入由殘差影像解碼手段24B所被解碼的圖框化殘差影像F’v，將經圖框化的2個縮小殘差影像亦即左縮小殘差影像L2’v及右縮小殘差影像R2’v進行分離，放大成原本尺寸而生成左殘差影像(解碼殘差影像)L’v及右殘差影像(解碼殘差影像)R’v。殘差影像分離手段27B係將所生成的左殘差影像L’v及右殘差影像R’v，分別輸出至射影影像合成手段25B的左射影影像合成手段25BL及右射影影像合成手段25BR。
其中，殘差影像分離手段27B與第14圖所示之第2實施形態中的殘差影像分離手段27係除了所分離的對象的圖框化殘差影像的尺寸不同以外，其他為相同的構成，故省略詳細說明。其中，殘差影像分離手段27B中的分離手段27Ba、放大手段27Bb及放大手段27Bc係分別與殘差影像分離手段27中的分離手段27a、放大手段27b及放大手段27c相對應。
射影影像合成手段25B係由：由基準視點影像解碼手段21所輸入的基準視點影像C’、由殘差影像分離手段27B所輸入的左右2系統的殘差影像亦即左殘差影像L’v及右殘差影像R’v、由深度圖射影手段23B所輸入的左右2系統的深度圖亦即左指定視點深度圖Pd及右指定視點深度圖Qd，生成左右2系統的指定視點亦即左指定視點Pt及右指定視點Qt中的指定視點影像亦即左指定視點影像P及右指定視點影像Q者。因此，射影影像合成手段25B係具有左射影影像合成手段25BL及右射影影像合成手段25BR所構成。
左射影影像合成手段25BL係分別由基準視點影像解碼手段21輸入基準視點影像C’，由殘差影像分離手段27B的放大手段27Bb輸入左殘差影像L’v，由深度圖射影手段23B的左深度圖射影手段23BL輸入左指定視點深度圖Pd，而生成左指定視點影像P。
此外，右射影影像合成手段25BR係分別由基準視點影像解碼手段21輸入基準視點影像C’，由殘差影像分離手段27B的放大手段27Bc輸入右殘差影像R’v，由深度圖射影手段23B的右深度圖射影手段23BR輸入右指定視點深度圖Qd，而生成右指定視點影像Q。
在此，參照第24圖(a)(適當參照第22圖及第23圖)，說明左射影影像合成手段25BL的詳細構成。
如第24圖(a)所示，本實施形態中的左射影影像合成手段25BL係具有：基準視點影像射影手段251B、及殘差影 像射影手段252B所構成。
基準視點影像射影手段251B係分別由基準視點影像解碼手段21輸入基準視點影像C’，由深度圖射影手段23B輸入左指定視點深度圖Pd，作為左指定視點Pt中的影像，生成關於可將基準視點影像C’射影至該左指定視點Pt的像素的左指定視點影像PC。基準視點影像射影手段251B係將所生成的左指定視點影像PC輸出至殘差影像射影手段252B。
因此，基準視點影像射影手段251B係包括：洞像素檢測手段251Ba、指定視點影像射影手段251Bb、基準視點影像像素複製手段251Bc、及穴遮罩膨脹手段251Bd所構成。
洞像素檢測手段251Ba係由深度圖射影手段23B的左深度圖射影手段23BL輸入左指定視點深度圖Pd，使用該左指定視點深度圖Pd，將基準視點影像C’射影至左指定視點Pt時，檢測成為遮蔽洞的像素，生成表示所檢測的像素區域的穴遮罩P1h作為檢測結果且輸出至穴遮罩膨脹手段251Bd。
藉由洞像素檢測手段251Ba所為之成為遮蔽洞的像素的檢測方法係與第8圖所示之第1實施形態中的洞像素檢測手段251a相同，故省略詳細說明。
指定視點影像射影手段251Bb係分別由基準視點影像解碼手段21輸入基準視點影像C’，由深度圖射影手段23B的左深度圖射影手段23BL輸入左指定視點深度圖Pd，生成將基準視點影像C’射影至左指定視點Pt的影像亦即左指 定視點射影影像P1 C，而輸出至基準視點影像像素複製手段251Bc。
其中，指定視點影像射影手段251Bb與第8圖所示之第1實施形態中的指定視點影像射影手段251b相同，故省略詳細說明。
基準視點影像像素複製手段251Bc係分別由指定視點影像射影手段251Bb輸入左指定視點射影影像P1 C，由穴遮罩膨脹手段251Bd輸入穴遮罩P2h，由該等輸入資料，複製未成為遮蔽洞地可將基準視點影像C’射影至左指定視點Pt的像素，而生成左指定視點影像PC。
此外，基準視點影像像素複製手段251Bc係將所生成的左指定視點影像PC輸出至殘差影像射影手段252B的殘差影像像素複製手段252Bb。
其中，基準視點影像像素複製手段251Bc係與第8圖所示之第1實施形態中的基準視點影像像素複製手段251c相同，故省略詳細說明。
穴遮罩膨脹手段251Bd係由洞像素檢測手段251Ba輸入穴遮罩P1h，生成使穴遮罩P1h中成為遮蔽洞的像素區域膨脹預定的像素數的穴遮罩P2h，將所生成的穴遮罩P2h輸出至基準視點影像像素複製手段251Bc、及殘差影像射影手段252B的共通穴檢測手段252Be。
在此，膨脹的預定的像素數係可形成為例如2像素。藉由該膨脹處理，可防止由於左指定視點深度圖Pd的生成誤差而基準視點影像像素複製手段251Bc誤由左指定視點 射影影像P1 C複製像素。
殘差影像射影手段252B係分別由殘差影像解碼手段24B輸入左殘差影像L’v，由深度圖射影手段23B的左深度圖射影手段23BL輸入左指定視點深度圖Pd，作為左指定視點Pt中的影像，將無法射影基準視點影像C’的像素，亦即成為遮蔽洞的像素增補至左指定視點影像PC而生成左指定視點影像P。殘差影像射影手段252B係將所生成的左指定視點影像P輸出至立體影像顯示裝置4(參照第1圖)。
因此，殘差影像射影手段252B係具有：指定視點影像射影手段252Ba、殘差影像像素複製手段252Bb、填孔處理手段252Bc、洞像素檢測手段252Bd、及共通穴檢測手段252Be所構成。
指定視點影像射影手段252Ba係分別由殘差影像分離手段27B的放大手段27Bb輸入左殘差影像L’v，由深度圖射影手段23B的左深度圖射影手段23BL輸入左指定視點深度圖Pd，生成將左殘差影像L’v射影至左指定視點Pt的影像亦即左指定視點射影殘差影像PLv，而輸出至殘差影像像素複製手段252Bb。
殘差影像像素複製手段252Bb係分別由基準視點影像射影手段251B的基準視點影像像素複製手段251Bc輸入左指定視點影像PC，由穴遮罩膨脹手段251Bd輸入穴遮罩P2h，由指定視點影像射影手段252Ba輸入左指定視點射影殘差影像PLv，由洞像素檢測手段252Bd輸入穴遮罩P3h。接著，殘差影像像素複製手段252Bb係參照穴遮罩P2h，關 於在左指定視點影像PC中成為遮蔽洞的像素，由左指定視點射影殘差影像PLv抽出像素值而複製成左指定視點影像PC，生成左指定視點Pt中的影像亦即左指定視點影像P1。此時，殘差影像像素複製手段252Bb係參照表示無法將左殘差影像L’v使用左指定視點深度圖Pd而作為左指定視點Pt中的影像來進行射影的像素區域(遮蔽洞)的穴遮罩P3h，針對在穴遮罩P3h中成為遮蔽洞的像素，係無法由左指定視點射影殘差影像PLv來複製像素。
殘差影像像素複製手段252Bb係將所生成的左指定視點影像P1輸出至填孔處理手段252Bc。
填孔處理手段252Bc係分別由殘差影像像素複製手段252Bb輸入左指定視點影像P1，由共通穴檢測手段252Be輸入穴遮罩P4h。填孔處理手段252Bc係在該左指定視點影像P1中，參照表示即使藉由基準視點影像像素複製手段251Bc或殘差影像像素複製手段252Bb的任一者，亦未被複製有效的像素的像素的穴遮罩P4h，針對成為該等穴的像素，使用該像素周圍的有效的像素值進行填孔而生成左指定視點影像P。填孔處理手段252Bc係將所生成的左指定視點影像P作為多視點影像中的1個影像而輸出至立體影像顯示裝置4(參照第1圖)。
洞像素檢測手段252Bd係由深度圖射影手段23B的左深度圖射影手段23BL輸入左指定視點深度圖Pd，使用該左指定視點深度圖Pd，將左視點中的影像亦即左殘差影像L’v射影至左指定視點Pt時檢測成為遮蔽洞的像素，生 成表示所檢測的像素區域的穴遮罩P3h作為檢測結果而輸出至殘差影像像素複製手段252Bb。
洞像素檢測手段252Bd係假定左指定視點位於比左視點更為右側，檢測成為遮蔽洞的像素者。因此，藉由洞像素檢測手段252Bd所為之成為遮蔽洞的像素的檢測方法係在第8圖所示之第1實施形態中的洞像素檢測手段251a中，位於注目像素的左近傍的像素的像素值(深度值)大於注目像素的像素值，在滿足預定條件時，判定為成為遮蔽洞的像素。
其中，預定的條件係除了左右關係調換以外，與藉由洞像素檢測手段251a所致的判定條件相同。
共通穴檢測手段252Be係分別由穴遮罩膨脹手段251Bd輸入穴遮罩P2h，由洞像素檢測手段252Bd輸入穴遮罩P3h。接著，共通穴檢測手段252Be係按每個像素算出穴遮罩P2h與穴遮罩P3h的邏輯積，生成穴遮罩P4h，且輸出至填孔處理手段252Bc。
其中，穴遮罩P4h係如前所述，在左指定視點影像P1中，即使藉由基準視點影像像素複製手段251Bc或殘差影像像素複製手段252Bb的任一者，均未複製有效的像素，而表示形成為未具有有效的像素值的穴的像素。
返回至第22圖，右射影影像合成手段25BR與左射影影像合成手段25BL係除了對基準視點的左右位置關係相反以外，其他為相同的構成，故省略詳細說明。
如以上說明所示，第3實施形態之編碼裝置1B係關於 複數系統的立體影像，將深度圖合成為共通視點亦即基準視點中的1個深度圖來進行編碼，並且將殘差影像圖框化來進行編碼，輸出作為位元串流，因此可以高編碼效率來將立體影像進行編碼。
此外，解碼裝置2B係可將以該編碼裝置1B進行編碼的立體影像進行解碼而生成多視點影像。
〔立體影像編碼裝置的動作〕
接著，參照第25圖(適當參照第19圖)說明第3實施形態之立體影像編碼裝置1B的動作。
(基準視點影像編碼處理)
編碼裝置1B係先藉由基準視點影像編碼手段11，將由外部所輸入的基準視點影像C，以預定的編碼方式進行編碼而生成編碼基準視點影像c，輸出作為基準視點影像位元串流(步驟S71)。
(深度圖合成處理)
接著，編碼裝置1B係藉由深度圖合成手段12B，合成由外部所輸入的基準視點深度圖Cd、左視點深度圖Ld及右視點深度圖Rd，將基準視點作為共通視點而生成共通視點中的1個深度圖(步驟S72)。在本實施形態中，該步驟S72係由以下所示之3個子步驟所構成。
首先，編碼裝置1B係藉由左深度圖射影手段121B及右深度圖射影手段122B，分別將左視點深度圖Ld及右視點深度圖Rd射影至共通視點亦即基準視點，而生成共通視點深度圖CLd及共通視點深度圖CRd。
接著，編碼裝置1B係藉由圖合成手段123B，將共通視點(基準視點)中的3個深度圖亦即基準視點深度圖Cd、共通視點深度圖CLd及共通視點深度圖CRd合成為1個，而生成合成深度圖Gd。
最後，編碼裝置1B係藉由縮小手段124而將合成深度圖Gd縮小而生成縮小合成深度圖G2d。
(深度圖編碼處理)
接著，編碼裝置1B係藉由深度圖編碼手段13B，將在步驟S72所生成的縮小合成深度圖G2d，以預定的編碼方式進行編碼而生成編碼深度圖g2d，輸出作為深度圖位元串流(步驟S73)。
(深度圖恢復處理)
接著，編碼裝置1B係藉由深度圖恢復手段30，將在步驟S73所生成的編碼深度圖g2d恢復而生成解碼合成深度圖G’d(步驟S74)。在本實施形態中，該步驟S74係由以下所示的2個子步驟所構成。
首先，編碼裝置1B係藉由深度圖解碼手段30a，將編碼深度圖g2d進行解碼而生成解碼縮小合成深度圖G2’d。
接著，編碼裝置1B係藉由放大手段30b，將解碼縮小合成深度圖G2’d放大成原本尺寸而生成解碼合成深度圖G’d。
(射影影像預測處理)
接著，編碼裝置1B係藉由射影影像預測手段15B的左射影影像預測手段15BL，使用在步驟S74所生成的解碼合 成深度圖G’d、及由外部所輸入的左視點影像L，生成左殘差影像Lv，並且藉由射影影像預測手段15B的右射影影像預測手段15BR，使用解碼合成深度圖G’d、及由外部所輸入的右視點影像R而生成右殘差影像Rv(步驟S75)。
(殘差影像圖框化處理)
接著，編碼裝置1B係藉由殘差影像圖框化手段19B，將在步驟S75所生成的2個殘差影像亦即左殘差影像Lv及右殘差影像Rv縮小而結合，藉此圖框化成1個畫像而生成圖框化殘差影像Fv(步驟S76)。
(殘差影像編碼處理)
接著，編碼裝置1B係藉由殘差影像編碼手段16B，將在步驟S76所生成的圖框化殘差影像Fv，以預定的編碼方式進行編碼而生成編碼殘差影像fv，且輸出作為殘差影像位元串流(步驟S77)。
〔立體影像解碼裝置的動作〕
接著，參照第26圖(適當參照第22圖)，說明第3實施形態之立體影像解碼裝置2B的動作。
(基準視點影像解碼處理)
解碼裝置2B係先藉由基準視點影像解碼手段21，將基準視點影像位元串流進行解碼，生成基準視點影像C’，且輸出作為多視點影像的1個影像(步驟S91)。
(深度圖恢復處理)
接著，解碼裝置2B係藉由深度圖恢復手段28，將深度圖位元串流進行解碼而生成解碼合成深度圖G’d(步驟 S92)。在本實施形態中，該S92係由以下所示之2個子步驟所構成。
首先，解碼裝置2B係藉由深度圖解碼手段28a，將作為深度圖位元串流所被傳送的編碼深度圖g2d進行解碼而生成解碼縮小合成深度圖G2’d。
接著，解碼裝置2B係藉由放大手段28b，將解碼縮小合成深度圖G2’d放大成原本尺寸而生成解碼合成深度圖G’d。
(深度圖射影處理)
接著，解碼裝置2B係藉由深度圖射影手段23B的左深度圖射影手段23BL，將在步驟S92所生成的解碼合成深度圖G’d射影至左指定視點Pt，生成左指定視點Pt中的深度圖亦即左指定視點深度圖Pd，並且藉由右深度圖射影手段23BR，將解碼合成深度圖G’d射影至右指定視點Qt，而生成右指定視點Qt中的深度圖亦即右指定視點深度圖Qd(步驟S93)。
(殘差影像解碼處理)
此外，解碼裝置2B係藉由殘差影像解碼手段24B，將殘差影像位元串流進行解碼而生成圖框化殘差影像F’v(步驟S94)。
(殘差影像分離處理)
接著，解碼裝置2B係藉由殘差影像分離手段27B的分離手段27Ba，將與在步驟S94所生成之經解碼的圖框化殘差影像F’v相結合的2個殘差影像進行分離，另外藉由放 大手段27Bb及放大手段27Bc，分別放大成原本尺寸而生成左殘差影像L’v及右殘差影像R’v(步驟S95)。
(射影影像合成處理)
接著，解碼裝置2B係藉由左射影影像合成手段25BL，使用在步驟S93所生成的左指定視點深度圖Pd，將在步驟S91所生成的基準視點影像C’、及在步驟S95所生成的左殘差影像L’v，分別射影至左指定視點Pt的影像進行合成，而生成左指定視點Pt中的影像亦即左指定視點影像P，並且藉由右射影影像合成手段25BR，使用在步驟S93所生成的右指定視點深度圖Qd，將在步驟S91所生成的基準視點影像C’、及在步驟S95所生成的右殘差影像R’v，分別射影至右指定視點Qt的影像進行合成，而生成右指定視點Qt中的影像亦即右指定視點影像Q(步驟S96)。
藉由解碼裝置2B，在步驟S91所生成的基準視點影像C’、及在步驟96所生成的左指定視點影像P及右指定視點影像Q係作為多視點影像，而被輸出至例如第1圖所示之立體影像顯示裝置4，而顯示多視點立體影像。
<第3實施形態的變形例>
接著，說明本發明之第3實施形態的變形例之立體影像編碼裝置及立體影像解碼裝置。
〔立體影像編碼裝置的構成〕
首先，參照第19圖及第21圖(b)，說明本變形例之立體影像編碼裝置的構成。
本變形例之立體影像編碼裝置(全體構成雖未圖示，但 是以下適當稱之為「編碼裝置1C」)係在第19圖所示之第3實施形態之編碼裝置1B的射影影像預測手段15B中，按每一像素，針對影像全體來算出將左視點影像L與將編碼基準視點影像c進行解碼後的解碼基準視點影像C’射影至左視點的影像的像素值的差(減算型)，藉此生成左殘差影像Lv，來取代由左視點影像L切出成為遮蔽洞的區域的像素(邏輯運算型)，藉此生成左殘差影像Lv。此外，關於右殘差影像Rv的生成亦同樣地，按每個像素，針對影像全體來算出右視點影像R與將解碼基準視點影像C’射影至右視點的影像的像素值的差，藉此生成右殘差影像Rv。
其中，右殘差影像Rv的生成係除了在左殘差影像Lv的生成中，使用右視點影像R取代左視點影像L，使用將解碼基準視點影像C’射影至右視點的影像來取代使用將解碼基準視點影像C’射影至左視點的影像以外，其他為相同，故適當省略說明。
本變形例之編碼裝置1C係為了生成左殘差影像Lv，包括第21圖(b)所示之左射影影像預測手段15CL，來取代第21圖(a)所示之第3實施形態中的左射影影像預測手段15BL。其中，關於右射影影像預測手段亦同。
此外，編碼裝置1C係在第19圖所示之第3實施形態之編碼裝置1B中，另外包括將基準視點影像編碼手段11所生成的編碼基準視點影像c進行解碼的基準視點影像解碼手段(未圖示)。其中，該基準視點影像解碼手段係與第22圖所示之基準視點影像解碼手段21相同。
如第21圖(b)所示，本變形例中的左射影影像預測手段15CL係包括：左視點射影手段153、及殘差算出手段154所構成。
左射影影像預測手段15CL係分別由未圖示的基準視點影像解碼手段輸入解碼基準視點影像C’，由深度圖恢復手段30的放大手段30b輸入解碼合成深度圖G’d，將左殘差影像Lv輸出至殘差影像圖框化手段19B的縮小手段19Ba。
左視點射影手段153係由未圖示的基準視點影像解碼手段輸入解碼基準視點影像C’，將解碼基準視點影像C’射影至左視點而生成左視點影像L’C。左視點射影手段153係將所生成的左視點影像L’C輸出至殘差算出手段154。此時，在左視點影像L’C中若有未由解碼基準視點影像C’被射影的像素，亦即成為遮蔽洞的像素時，設定預定的值來作為該像素的像素值。該預定的值係若為例如各成分8位元的資料時，較佳為將各成分均設為像素值可取得範圍的中央值亦即「128」。藉此，與左視點影像L的像素值的差連同各成分均包含符號而成為8位元以下的資料，因此可提升編碼效率。
殘差算出手段154係由左視點射影手段153輸入左視點影像L’C，並且由外部輸入左視點影像L，生成左視點影像L與左視點影像L’C之間的差分亦即左殘差影像Lv。具體而言，殘差算出手段154係按各像素每一成分，針對影像全體，生成將由左視點影像L的像素值減算左視點影 像L’C的像素值後的值亦即差設為像素值的左殘差影像Lv。
殘差算出手段154係將所生成的左殘差影像Lv輸出至殘差影像圖框化手段19B的縮小手段19Ba。
在本變形例中，係當生成殘差影像時，使用解碼基準視點影像C’，因此在解碼裝置側加算殘差影像而恢復指定視點影像時，基準視點影像成為相同的條件，可形成為更高品質的多視點影像。
其中，在生成殘差影像時，亦可使用基準視點影像C來取代解碼基準視點影像C’。藉此，可省略基準視點影像解碼手段(未圖示)。
關於本變形例之編碼裝置1C的其他構成，由於與第3實施形態之編碼裝置1B相同，故省略說明。
〔立體影像解碼裝置的構成〕
接著，參照第22圖及第24圖(b)，說明本變形例之立體影像解碼裝置的構成。本變形例之立體影像解碼裝置係將由前述之變形例之編碼裝置1C透過傳送路所被傳送的位元串流進行解碼而生成多視點影像。
亦即，本變形例之立體影像解碼裝置(全體構成並未圖示，以下適當稱為「解碼裝置2C」)係在第22圖所示之第3實施形態之解碼裝置2B的射影影像合成手段25B中，使用藉由前述減算型所生成的左殘差影像Lv來生成左指定視點影像P，來取代使用藉由前述邏輯運算型所生成的左殘差影像Lv來生成左指定視點影像P。
此外，關於右指定視點影像Q的生成亦同，使用藉由算出右視點影像R與將解碼基準視點影像C’射影至右視點的影像的每個像素的像素值的差所生成的右殘差影像Rv而生成。
其中，右指定視點影像Q的生成係在左指定視點影像P的生成中，使用右殘差影像Rv來取代左殘差影像Lv，射影的方向相對基準視點形成左右相反以外，其他為相同，故適當省略說明。
本變形例之解碼裝置2C係為了生成左指定視點影像P，包括第24圖(b)所示之左射影影像合成手段25CL，來取代第24圖(a)所示之第3實施形態中的左射影影像合成手段25BL。其中，關於右射影影像合成手段亦同。
如第24圖(b)所示，本變形例中的左射影影像合成手段25CL係與第24圖(a)所示之左射影影像合成手段25BL同樣地，分別由基準視點影像解碼手段21輸入基準視點影像C’，由殘差影像分離手段27B的放大手段27Bb輸入左殘差影像L’v，由深度圖射影手段23B的左深度圖射影手段23BL輸入左指定視點深度圖Pd，而生成左指定視點影像P。
因此，左射影影像合成手段25CL係具有：基準視點影像射影手段251C、及殘差影像射影手段252C所構成。
基準視點影像射影手段251C與第24圖(a)所示之基準視點影像射影手段251B不同之處在於：不具有穴遮罩膨脹手段251Bd；具有基準視點影像像素複製手段251Cc來取代基準視點影像像素複製手段251Bc；及將洞像素檢測手 段251Ba所生成的穴遮罩P1h輸出至基準視點影像像素複製手段251Cc及共通穴檢測手段252Be。
其中，關於與第3實施形態相同的構成，係標註相同符號且適當省略說明。
其中，以減算型生成殘差影像時，係與以邏輯運算型生成殘差影像時不同，殘差影像由於全像素具有有效的像素值，因此不會有如邏輯運算型般不具有效像素的部分被使用在指定視點影像的合成之虞，而不需要使穴遮罩P1h膨脹。
基準視點影像像素複製手段251Cc係分別由指定視點影像射影手段251Bb輸入左指定視點射影影像P1 C，由洞像素檢測手段251Ba輸入穴遮罩P1h。接著，基準視點影像像素複製手段251Cc係參照穴遮罩P1h，將在左指定視點射影影像P1 C中未成為遮蔽洞的區域的像素，由左指定視點射影影像P1 C進行複製而生成左指定視點影像PC。
此時，基準視點影像像素複製手段251Cc係針對成為遮蔽洞的區域的像素，將前述左視點射影手段153(參照第21圖(b))對成為遮蔽洞的像素所設定的預定的值，作為該像素的像素值來進行設定。藉此，針對在左指定視點影像PC中成為遮蔽洞的像素，亦藉由後述的殘差加算手段252f，在該像素加算左指定視點射影殘差影像PLv的像素，藉此恢復適當的像素值。
此外，基準視點影像像素複製手段251Cc係將所生成的左指定視點影像PC輸出至殘差影像射影手段252C的殘 差加算手段252f。
殘差影像射影手段252C與第24圖(a)所示之殘差影像射影手段252B，係在分別具有指定視點影像射影手段252Ca及殘差加算手段252f，來取代指定視點影像射影手段252Ba及殘差影像像素複製手段252Bb，以及將穴遮罩P1h取代穴遮罩P2h來輸入至共通穴檢測手段252Be有所不同。
其中，關於與第3實施形態相同的構成，係標註相同符號而適當省略說明。
本變形例中的指定視點影像射影手段252Ca與第3實施形態中的指定視點影像射影手段252Ba係在以減算型所生成，來取代所射影的對象亦即左殘差影像L’v為以邏輯運算型所生成而有所不同。
指定視點影像射影手段252Ca係使用左指定視點深度圖Pd，將左殘差影像L’v射影至左指定視點，藉此生成左指定視點射影殘差影像PLv，將所生成的左指定視點射影殘差影像PLv輸出至殘差加算手段252f。
此外，指定視點影像射影手段252Ca係針對將左殘差影像L’v射影至左指定視點時成為遮蔽洞的像素，設定預定的值。在此，以預定的值而言，針對像素的全成分設定「0」。藉此，即使在藉由該射影所生成的左指定視點射影殘差影像PLv中成為遮蔽洞的像素，藉由後述殘差加算手段252f，被加算在左指定視點影像PC的像素時，亦由於平常在殘差影像內成為遮蔽洞的像素部分係在基準視點影像內 存在有與該像素相對應的有效像素，因此恢復適當的像素值。
其中，指定視點影像射影手段252Ca的其他構成係與第3實施形態中的指定視點影像射影手段252Ba相同，故省略詳細說明。
殘差加算手段252f係分別由基準視點影像像素複製手段251Cc輸入左指定視點影像PC，由指定視點影像射影手段252Ca輸入左指定視點射影殘差影像PLv。接著，殘差加算手段252f係將左指定視點射影殘差影像PLv、與左指定視點影像PC所對應的各像素彼此進行加算，而生成左指定視點Pt中的影像亦即左指定視點影像P1。
殘差加算手段252f係將所生成的左指定視點影像P1輸出至填孔處理手段252Bc。
共通穴檢測手段252Be係分別由洞像素檢測手段251Ba輸入關於左指定視點影像Pc的穴遮罩P1h，由洞像素檢測手段252Bd輸入關於左指定視點射影殘差影像PLv的穴遮罩P3h。接著，共通穴檢測手段252Be係按每個像素算出穴遮罩P1h與穴遮罩P3h的邏輯積而生成共通穴遮罩亦即穴遮罩P4h，且輸出至填孔處理手段252Bc。
填孔處理手段252Bc係在該左指定視點影像P1中，參照表示無法藉由基準視點影像像素複製手段251Cc來複製有效的像素，而且無法藉由殘差加算手段252f來加算有效的殘差的像素的穴遮罩P4h，針對成為該等穴的像素，使用該像素周圍的有效的像素值來進行填孔而生成左指定視點 影像P。填孔處理手段252Bc係將所生成的左指定視點影像P作為多視點影像中的1個影像而輸出至立體影像顯示裝置4(參照第1圖)。
本變形例中的共通穴檢測手段252Be係分別由洞像素檢測手段251Ba輸入穴遮罩P1h，由洞像素檢測手段252Bd輸入穴遮罩P3h。接著，共通穴檢測手段252Be係按每個像素算出穴遮罩P1h與穴遮罩P3h的邏輯積，生成穴遮罩P4h，且輸出至填孔處理手段252Bc。
其中，穴遮罩P4h係如前所述，在左指定視點影像P1中，未藉由基準視點影像像素複製手段251Cc來複製有效的像素，而且未藉由殘差加算手段252f來加算有效的殘差，因此表示未具有有效的像素值而形成為穴的像素。
本變形例之編碼裝置1C的動作係在第25圖所示之第3實施形態之編碼裝置1B的動作中，進行在基準視點影像編碼處理步驟S71與射影影像預測處理步驟S75之間，藉由基準視點影像解碼手段(未圖示)，將在步驟S71所生成的編碼基準視點影像c進行解碼而生成解碼基準視點影像C’的步驟；及在射影影像預測處理步驟S75中，藉由包括第21圖(b)所示之左射影影像預測手段15CL、及具有與此為相同構成的右射影影像預測手段(未圖示)的射影影像預測手段(未圖示)，來生成減算型的左殘差影像Lv及右殘差影像Rv為不同。其他處理係與第3實施形態之編碼裝置1B相同，故省略說明。
此外，本變形例之解碼裝置2C的動作係在第26圖所 示之第3實施形態之解碼裝置2B的射影影像合成處理步驟S96中，藉由包括第24圖(b)所示之左射影影像合成手段25CL、及具有與此為相同構成的右射影影像合成手段(未圖示)的射影影像合成手段(未圖示)，使用減算型的左殘差影像Lv及右殘差影像Rv來生成左指定視點影像P及右指定視點影像Q為不同。其他處理係與第3實施形態之解碼裝置2B相同，故省略說明。
如本變形例所示，以減算型生成殘差影像，藉此與以邏輯運算型生成殘差影像的情形相比，殘差影像的資料量會增加，但是在解碼裝置側，可以殘差訊號來補正在基準視點影像的射影中並未完全近似的微妙的顏色的差異等，因此可生成更高品質的多視點影像。
此外，關於以減算型生成殘差影像的射影影像預測手段的本變形例的構成，亦可適用於第1實施形態中的射影影像預測手段15及第2實施形態中的射影影像預測手段15A。同樣地，關於使用減算型的殘差影像而生成指定視點影像的射影影像合成手段的本變形例的構成，亦可適用於第1實施形態中的射影影像合成手段25及第2實施形態中的射影影像合成手段25A。
<第4實施形態>
接著，說明包含本發明之第4實施形態之立體影像編碼裝置及立體影像解碼裝置的立體影像傳送系統的構成。
包含第4實施形態之立體影像編碼裝置及立體影像解碼裝置的立體影像傳送系統係在第1圖所示之立體影像傳 送系統S中，分別包含立體影像編碼裝置5(參照第27圖)及立體影像解碼裝置6(參照第31圖)，來取代立體影像編碼裝置1及立體影像解碼裝置2。此外，由立體影像編碼裝置5被傳送至立體影像解碼裝置6的位元串流，係將基準視點影像位元串流、深度圖位元串流、殘差影像位元串流及指定視點影像進行合成時所需的輔助資訊被多工化的多工化位元串流。
其中，除了位元串流被多工化以外，其他係與前述各實施形態中的立體影像傳送系統相同，因此關於共通構成的詳細說明係適當省略。
〔立體影像編碼裝置的構成〕
接著，參照第27圖，說明第4實施形態之立體影像編碼裝置5的構成。
如第27圖所示，第4實施形態之立體影像編碼裝置5(以下適當稱為「編碼裝置5」)係包括：位元串流多工化手段50及編碼處理部51所構成。
編碼處理部51係相當於前述第1實施形態、第2實施形態、第3實施形態及其變形例之編碼裝置1、1A、1B、1C(以下適當稱為「編碼裝置1等」)，由外部(例如第1圖所示之立體影像作成裝置3)輸入複數視點影像C、L、R及附隨於該等的深度圖Cd、Ld、Rd，將基準視點影像位元串流、深度圖位元串流及殘差影像位元串流輸出至位元串流多工化手段50。
此外，位元串流多工化手段50係生成由編碼處理部 51所被輸出的各位元串流、及將由外部所輸入的輔助資訊h多工化的多工化位元串流，且輸出至解碼裝置6(參照第31圖)。
編碼處理部51係如前所述相當於編碼裝置1等，包括：基準視點影像編碼手段511、深度圖合成手段512、深度圖編碼手段513、深度圖恢復手段514、射影影像預測手段515、及殘差影像編碼手段516。
以下參照第27圖(適當參照第2圖、第12圖及第19圖)，說明編碼處理部51的各構成要素。其中，編碼處理部51的各構成要素係可藉由編碼裝置1等中的1或2以上的構成要素所構成，因此顯示兩者的構成要素的對應關係，且適當省略詳細說明。
基準視點影像編碼手段511係由外部輸入基準視點影像C，生成將基準視點影像C以預定的編碼方式進行編碼的編碼基準視點影像c，且輸出至位元串流多工化手段50。
基準視點影像編碼手段511係相當於編碼裝置1等中的基準視點影像編碼手段11。
深度圖合成手段512係由外部輸入基準視點深度圖Cd、左視點深度圖Ld及右視點深度圖Rd，將該等深度圖適當合成而生成合成深度圖G2d，且輸出至深度圖編碼手段513。由外部所輸入的深度圖並非限定為3個，亦可為2或4以上。此外，合成深度圖係可為經縮小者，亦可為2以上的合成深度圖被圖框化而更加縮小者。
其中，在第27圖中，為方便說明，在各構成要素間進 行輸出入的資料的符號，係以使用第19圖所示之第3實施形態之編碼裝置1B作為編碼處理部51的構成來使用時的符號(G2d、g2d、G2’d、Fv、fv、c)為例來顯示。若使用其他實施形態之編碼裝置1等，設為適當重讀符號者。關於後述第28圖亦同。
深度圖合成手段512係相當於編碼裝置1的深度圖合成手段12、編碼裝置1A的深度圖合成手段12A及深度圖圖框化手段17、或編碼裝置1B、1C的深度圖合成手段12B。
深度圖編碼手段513係由深度圖合成手段512輸入合成深度圖G2d，以預定的編碼方式進行編碼而生成編碼深度圖g2d，且輸出至深度圖恢復手段514及位元串流多工化手段50。
深度圖編碼手段513係相當於編碼裝置1的深度圖編碼手段13、編碼裝置1A的深度圖編碼手段13A、或編碼裝置1B、1C的深度圖編碼手段13B。
深度圖恢復手段514係由深度圖編碼手段513輸入編碼深度圖g2d，將編碼深度圖g2d進行解碼，而生成解碼合成深度圖G’d。深度圖恢復手段514係將所生成的解碼合成深度圖G’d輸出至射影影像預測手段515。
在此，被輸入至深度圖恢復手段514的編碼深度圖亦可為複數深度圖被圖框化而更加縮小者，而非侷限於單一的合成深度圖。深度圖恢復手段514係若所被輸入的編碼深度圖被圖框化時，在解碼後分離成各個合成深度圖，而且被縮小時，係在解碼後或分離後放大成原本尺寸來進行 輸出。
深度圖恢復手段514係相當於編碼裝置1的深度圖解碼手段14、編碼裝置1A的深度圖解碼手段14A及深度圖分離手段18、或編碼裝置1B、1C的深度圖恢復手段30。
射影影像預測手段515係分別由深度圖恢復手段514輸入解碼合成深度圖G’d，由外部輸入左視點影像L、右視點影像R及視需要輸入指定視點Pt、Qt的資訊，而生成殘差影像Fv。射影影像預測手段515係將所生成的殘差影像Fv輸出至殘差影像編碼手段516。
在此，所生成的殘差影像可為1個殘差影像，亦可為基準視點與複數其他視點之間中的殘差影像被圖框化成1個者，亦可更加被縮小者。任何情形均為所生成的殘差影像係被輸出至殘差影像編碼手段516作為1視點影像。
射影影像預測手段515係相當於編碼裝置1的射影影像預測手段15、編碼裝置1A的射影影像預測手段15A及殘差影像圖框化手段19、編碼裝置1B的射影影像預測手段15B及殘差影像圖框化手段19B、或編碼裝置1C的射影影像預測手段15C(未圖示)。
其中，若使用第3實施形態的變形例之編碼裝置1C作為編碼處理部51，編碼處理部51係另外包括基準視點影像解碼手段(未圖示)。該基準視點影像解碼手段(未圖示)係將由基準視點影像編碼手段511所被輸出的編碼基準視點影像c進行解碼而生成解碼基準視點影像C’，將所生成的解碼基準視點影像C’輸出至射影影像預測手段515。
該基準視點影像解碼手段(未圖示)係可使用與第7圖所示之基準視點影像解碼手段21相同者。
其中，未包括基準視點影像解碼手段，射影影像預測手段515亦可輸入基準視點影像C來使用。
殘差影像編碼手段516係由射影影像預測手段515輸入殘差影像Fv，藉由預定的編碼方式進行編碼而生成編碼殘差影像fv。殘差影像編碼手段516係將所生成的編碼殘差影像fv輸出至位元串流多工化手段50。
殘差影像編碼手段516係相當於編碼裝置1的殘差影像編碼手段16、編碼裝置1A的殘差影像編碼手段16A、或編碼裝置1B、1C的殘差影像編碼手段16B。
接著，參照第28圖及第29圖(適當參照第27圖)，說明位元串流多工化手段50的構成。
如第28圖所示，位元串流多工化手段50係包括：開關(切換手段)501；輔助資訊標頭附加手段502；深度標頭附加手段503；及殘差標頭附加手段504所構成。
其中，在第28圖中，為方便說明，以編碼處理部51而言，假想使用編碼裝置1B的情形，針對各位元串流加以說明，但是並非限定於此。若使用其他實施形態中的編碼裝置1等時，係將殘差影像Fv等的訊號名適當改讀者。
位元串流多工化手段50係由編碼處理部51輸入基準視點影像位元串流、深度圖位元串流及殘差影像位元串流，並且由外部(例如第1圖所示之立體影像作成裝置3)輸入表示關於該等位元串流所包含的影像的屬性的輔助資 訊h，以可分別識別該等位元串流及輔助資訊h的方式附加識別資訊，而生成多工化位元串流。
開關(切換手段)501係切換4個輸入端子A1~A4與1個輸出端子B的連接，選擇被輸入至輸入端子A1~A4的訊號的1個而由輸出端子B輸出，藉此將被輸入至4個輸入端子A1~A4的位元串流進行多工化而輸出。
在此，在輸入端子A1係被輸入由輔助資訊標頭附加手段502被附加預定的標頭的輔助資訊的位元串流。在輸入端子A2係由編碼處理部51的基準視點影像編碼手段511被輸入編碼基準視點影像c作為基準視點影像位元串流。在輸入端子A3係被輸入由深度標頭附加手段503被附加預定的標頭的深度圖位元串流。在輸入端子A4係被輸入由殘差標頭附加手段504被附加預定的標頭的殘差影像位元串流。
在此說明位元串流的資料構造。
首先，在本實施形態之編碼裝置5中，基準視點影像編碼手段511、深度圖編碼手段513及殘差影像編碼手段516所生成的位元串流係均具有表示作為1視點影像所被編碼的標頭者。
基準視點影像編碼手段511、深度圖編碼手段513及殘差影像編碼手段516在例如MPEG-4 AVC編碼方式中，作為1視點影像進行編碼時，如第29圖(a)所示，該等編碼手段所輸出的位元串流70係依據該編碼方式的規格書所規定的「1視點影像」位元串流構造，均具有相同的標頭。
具體而言，在該等前頭具有獨特的開始碼701(例如3位元組長的資料「001」)，接著有表示1視點影像的位元串流的1視點影像標頭(第1識別資訊)702(例如為1位元組資料，下位5位元為「00001」)，之後接續1視點影像的位元串流本體703。位元串流的結束係可例如藉由檢測3位元組以上的「0」呈連續的結束碼來辨識。
其中，在位元串流本體703係予以編碼成並未包含有與開始碼及結束碼相一致的位元列。
其中，該例的情形下，係可在位元串流的最後作為結束碼而將3位元組長的「000」作為標尾來附加，但是亦可附加1位元組的「0」。藉由附加1位元組的「0」，與接續該位元串流之後的位元串流中的標頭的開始碼的前頭的2位元組的「00」一起會出現3位元組的「000」，因此可辨識位元串流的結束。
此外，將開始碼設為4位元組，將上位的3位元組設為「000」，將下位的1位元組設為「1」，藉此無須在位元串流的終端附加「0」，藉由之後接續的位元串流的標頭的開始碼的前頭的3位元組的「000」，可辨識之前的位元串流的結束。
由編碼處理部51被輸入至位元串流多工化手段50的3系統的位元串流係均具有第29圖(a)所示之位元串流70的構造者。因此，位元串流多工化手段50係在藉由編碼手段所被賦予的既有標頭，追加標頭及旗標，分別作為用以識別由編碼處理部51輸入的3系統的位元串流為基準視點 影像、或深度圖、或殘差影像的識別資訊。此外，位元串流多工化手段50係除了該等位元串流以外，以本實施形態之解碼裝置6(參照第31圖)，針對將多視點影像合成所需的輔助資訊，作為用以識別為關於立體影像的輔助資訊的識別資訊來附加標頭及旗標而進行輸出。
具體而言，位元串流多工化手段50係針對基準視點影像編碼手段511所輸出的位元串流，如第29圖(b)所示，無須改變位元串流71的構造，照原樣地作為基準視點影像位元串流來透過開關501進行輸出。藉此，若接收該位元串流的為將1視點影像進行解碼的既有的解碼裝置，可將該位元串流作為1視點影像而照習知技術來進行解碼，且可保持作為影像的解碼裝置的互換性。
深度標頭附加手段503係由編碼處理部51的深度圖編碼手段513作為深度位元串流而輸入編碼深度圖g2d，在既有的標頭插入預定的識別資訊，藉此生成具有第29圖(c)所示的位元串流72的構造的位元串流而輸出至開關501。
具體而言，深度標頭附加手段503係檢測由深度圖編碼手段513所輸入的深度圖位元串流所包含的1視點影像位元串流的開始碼701，在其後馬上插入表示該深度圖位元串流為關於立體影像的資料的1位元組的「立體影像標頭(第2識別資訊)704」。立體影像標頭704的值係將下位5位元的值，以例如MPEG-4 AVC的規格，設為至今未被規定的標頭值，例如「11000」。藉此，顯示立體影像標頭704以後的位元串流為本發明之關於立體影像的位元串 流。此外，如上所示作為立體影像標頭704而分配獨特的值，藉此將1視點影像進行解碼的既有的解碼裝置接收到具有立體影像標頭704的位元串流時，係可將以後的位元串流作為不明資料而予以忽略。因此，可防止既有的解碼裝置的錯誤動作。
此外，深度標頭附加手段503係顯示立體影像標頭704以後的位元串流為深度圖位元串流，因此在立體影像標頭704之後，另外插入1位元組的深度旗標(第3識別資訊)705，透過開關501而與其他位元串流進行多工化來輸出。以深度旗標705而言，係可分配例如8位元的「100000000」的值。
藉此，本發明之解碼裝置6(參照第31圖)係可辨識該位元串流為深度圖位元串流。
殘差標頭附加手段504係由編碼處理部51的殘差影像編碼手段516輸入編碼殘差影像fv來作為殘差影像位元串流，在既有的標頭插入預定的識別資訊，藉此生成具有第29圖(d)所示之位元串流73的構造的位元串流且輸出至開關501。
具體而言，殘差標頭附加手段504係將由殘差影像編碼手段516所輸入的殘差影像位元串流所包含的1視點影像位元串流的開始碼701，與深度標頭附加手段503同樣地進行檢測，在其後馬上插入表示該殘差影像位元串流為關於立體影像的資料的1位元組的立體影像標頭704(例如下位5位元的值為「11000」)、及另外表示為殘差影像的 1位元組的殘差旗標(第4識別資訊)706，透過開關501而與其他位元串流進行多工化來輸出。
其中，以殘差旗標706而言，係可分配與深度旗標705不同的值，例如8位元的「10100000」的值。
與前述深度圖位元串流的情形相同地，藉由插入立體影像標頭704，可防止將1視點影像進行解碼的既有的解碼裝置的錯誤動作。此外，藉由插入殘差旗標706，本發明之解碼裝置6(參照第31圖)係可識別該位元串流為殘差影像圖位元串流。
輔助資訊標頭附加手段502係由外部(例如第1圖所示之立體影像作成裝置3)輸入解碼裝置6將多視點影像合成所需的輔助資訊h，附加預定的標頭，生成具有第29圖(e)所示之位元串流74的構造的位元串流而輸出至開關501。
輔助資訊標頭附加手段502係在由外部所輸入的輔助資訊h的前頭附加前述開始碼701(例如3位元組的資料「001」)，在其後馬上附加表示之後的位元列為關於立體影像的資料的立體影像標頭704(例如下位5位元的值為「11000」)。此外，輔助資訊標頭附加手段502係在立體影像標頭704之後，附加表示之後的資料為輔助資訊的1位元組的輔助資訊旗標(第5識別資訊)707。
其中，以輔助資訊旗標707而言，係可分配既非為深度旗標705、亦非為殘差旗標706的值，例如8位元的「11000000」的值。
如上所示，輔助資訊標頭附加手段502係在將開始碼 701、立體影像標頭704、及輔助資訊旗標707附加在輔助資訊本體後，透過開關501，與其他位元串流多工化來進行輸出。
與前述深度圖位元串流及殘差影像位元串流的情形相同地，藉由插入立體影像標頭704，可防止將1視點影像進行解碼的既有的解碼裝置的錯誤動作。此外，藉由插入輔助資訊旗標707，本發明之解碼裝置6(參照第31圖)係可識別該位元串流為多視點影像合成所需的輔助資訊位元串流。
開關501係以輔助資訊位元串流、基準視點影像位元串流、深度圖位元串流、及殘差影像位元串流依序被選擇的方式作切換，藉此將該等位元串流作為多工化位元串流來進行輸出。
接著，參照第30圖，說明輔助資訊的構成的具體例。
輔助資訊係表示關於以編碼裝置5予以編碼且被輸出的多視點影像的屬性的資訊。在輔助資訊係包含有例如模式、最近距離、最遠距離、焦點距離、以及表示基準視點及副視點的各位置的資訊，附隨於多視點影像而由編碼裝置5被輸出至解碼裝置6。
解碼裝置6係使用將由編碼裝置5所輸入的位元串流進行解碼所得的深度圖、基準視點影像及殘差影像，將該等影像射影至指定視點而將指定視點中的射影影像合成時，視需要來參照輔助資訊。
此外，輔助資訊係在前述其他實施形態之解碼裝置2 等中，亦在將深度圖或影像射影至其他視點時被適當參照。
例如第5圖所示之表示各視點位置的資訊被包含於輔助資訊，被使用在算出射影深度圖或影像時的移位量時。
本發明之解碼裝置6(參照第31圖)進行多視點影像合成所需的輔助資訊係作為第29圖(e)所示之輔助資訊本體708，以空白來隔開例如第30圖所示之參數名稱及其值，排列而構成。此外，亦可將各參數的順序固定，依序以空白僅隔開該值，排列而構成。再者此外，亦可預先設定參數的資料長與排列順序，將參數的值依序排列而構成，以由前頭而來的位元組數來識別參數的種類。
以下說明第30圖所示之參數。
「模式」係表示所被編碼的殘差影像及合成深度圖為例如藉由第1實施形態之編碼裝置1所生成的「2視野1深度」、或藉由第2實施形態之編碼裝置1A所生成的「3視野2深度」、或藉由第3實施形態之編碼裝置1B所生成的「3視野1深度」等的立體影像資料的生成模式。例如，可與前述各實施形態相對應，分別分配值「0」、「1」、「2」等來作區別。
其中，在此「視野」係表示基準視點影像位元串流與殘差影像位元串流所包含的影像的視點數的合計。此外，「深度」係表示深度圖位元串流所包含的合成深度圖的視點數。
「最近距離」係表示由外部所被輸入的多視點影像所映照的被攝體之中至最為接近攝影機的被攝體的距離。此 外，「最遠距離」係表示在由外部所被輸入的多視點影像所映照的被攝體之中至離攝影機最遠的被攝體為止的距離，均在解碼裝置6(參照第31圖)中合成指定視點影像時，使用在將深度圖的值轉換成視差量時，被使用在用以決定使像素移位的量。
「焦點距離」係表示對所被輸入的多視點影像進行攝影的攝影機的焦點距離，被使用在用以決定以解碼裝置6(參照第31圖)進行合成的指定視點影像的位置。其中，焦點距離係可以對多視點影像進行攝影的攝影機的攝像元件或立體影像顯示裝置的像素尺寸為單位來設定。但是並非限定於此。
「左視點座標值」、「基準視點座標值」及「右視點座標值」係分別表示左視點影像、對中央的基準視點影像及右視點影像進行攝影的攝影機的X座標，被使用在用以決定以解碼裝置6(參照第31圖)進行合成的指定視點影像的位置。
輔助資訊亦可包含其他參數，而非侷限於以上說明的參數。亦可例如攝影機內的攝像元件的中心位置離攝影機的光軸偏移時，另外包含表示該偏移量的值。該值係可使用在用以補正合成影像的位置。
其中，輔助資訊係若有按位元串流的每一圖框改變的參數時，亦可將改變的參數與未改變的參數作為各個的輔助資訊而插入在多工化位元串流。例如包含模式、焦點距離等般在一連串關於立體影像的位元串流全體不會改變的 參數的輔助資訊係僅插入一次在該一連串位元串流的前頭。接著，有按每一圖框改變的可能性的最近距離、最遠距離、左視點座標、右視點座標等參數亦可作為其他輔助資訊而按每一圖框而插入在位元串流。
此時，位元串流之中的開始碼701(參照第29圖)係按每個圖框所附加者，為了區別輔助資訊的種類，形成為複數種類的輔助資訊旗標707，例如定義8位元的「11000000」的值、及「11000001」的值，以與前述相同的順序，按每個圖框插入包含在途中改變的參數的輔助資訊。如上所示，可防止輔助資訊重複，而可改善編碼效率。
其中，將途中改變的輔助資訊按每個圖框插入在一連串位元串流中時，在屬於各圖框的基準視影像位元串流、深度圖位元串流、殘差影像位元串流及輔助資訊之中，以將輔助資訊在最初輸出至多工化位元串流為佳。藉此，在解碼裝置6(參照第31圖)中，可減小使用該輔助資訊而生成多視點影像時的延遲時間。
〔立體影像解碼裝置的構成〕
接著，參照第31圖，說明第4實施形態之立體影像解碼裝置6的構成。立體影像解碼裝置6係將由第27圖所示之立體影像編碼裝置5透過傳送路所被傳送的位元串流進行解碼，而生成多視點影像者。
如第31圖所示，第4實施形態之立體影像解碼裝置6(以下適當稱為「解碼裝置6」)係包括：位元串流分離手段60及解碼處理部61所構成。
位元串流分離手段60係由編碼裝置5(參照第27圖)輸入多工化位元串流，將所輸入的多工化位元串流，分離成基準視點影像位元串流、深度圖位元串流、殘差影像位元串流、及輔助資訊。位元串流分離手段60係分別將分離的基準視點影像位元串流輸出至基準視點影像解碼手段611，將深度圖位元串流輸出至深度圖恢復手段612，將殘差影像位元串流輸出至殘差影像恢復手段614，將輔助資訊輸出至深度圖射影手段613及射影影像合成手段615。
此外，解碼處理部61係分別由位元串流分離手段60輸入基準視點影像位元串流，將深度圖位元串流及殘差影像位元串流，輸入關於於由外部(例如第1圖所示之立體影像顯示裝置4)進行合成的多視點的指定視點Pt、Qt，將基準視點影像C’進行解碼，並且將左指定視點影像P及右指定視點影像Q進行合成，藉此生成多視點影像(C’、P、Q)。
此外，解碼處理部61係將所生成的多視點影像輸出至例如第1圖所示之立體影像顯示裝置4。接著，立體影像顯示裝置4係以可視認的方式顯示該多視點影像。
其中，在本實施形態之解碼裝置6中，以所輸入的基準視點影像位元串流、深度圖位元串流及殘差影像位元串流係與前述編碼裝置5相對應，而以MPEG-4 AVC編碼方式進行編碼，具有第29圖所示之位元串流構造者來進行說明。
首先，說明解碼處理部61。
解碼處理部61係相當於前述第1實施形態、第2實施 形態、第3實施形態及其變形例之解碼裝置2、2A、2B、2C(以下適當稱為「解碼裝置2等」)者，包括：基準視點影像解碼手段611、深度圖恢復手段612、深度圖射影手段613、殘差影像恢復手段614、及射影影像合成手段615。
以下參照第31圖(適當參照第7圖、第14圖及第22圖)，說明解碼處理部61的各構成要素。其中，解碼處理部61的各構成要素係可藉由解碼裝置2等中的1或2以上的構成要素來構成，因此表示兩者的構成要素的對應關係且適當省略詳細說明。
基準視點影像解碼手段611係由位元串流分離手段60輸入編碼基準視點影像c作為基準視點影像位元串流，以其編碼方式進行解碼而生成解碼基準視點影像C’，將所生成的解碼基準視點影像C’作為多視點影像的基準視點影像而輸出至外部(例如第1圖所示之立體影像顯示裝置4)。
基準視點影像解碼手段611係相當於解碼裝置2等中的基準視點影像解碼手段21。
深度圖恢復手段612係由位元串流分離手段60輸入編碼深度圖g2d作為深度圖位元串流，以其編碼方式進行解碼而生成解碼合成深度圖G’d，將所生成的解碼合成深度圖G’d輸出至深度圖射影手段613。
其中，深度圖恢復手段612係若所輸入的編碼合成深度圖被圖框化時，在解碼後將經圖框化的深度圖進行分離，若編碼合成深度圖被縮小時，係在解碼後或分離後放 大成原本尺寸，而輸出至深度圖射影手段613。
深度圖恢復手段612係相當於解碼裝置2中的深度圖解碼手段22、解碼裝置2A中的深度圖解碼手段22A及深度圖分離手段26、或解碼裝置2B、2C中的深度圖恢復手段28。
深度圖射影手段613係分別由深度圖恢復手段612輸入解碼合成深度圖G’d，由位元串流分離手段60輸入輔助資訊h，由外部(例如第1圖所示之立體影像顯示裝置4)輸入左指定視點Pt及右指定視點Qt，生成左指定視點Pt及右指定視點Qt中的深度圖亦即左指定視點深度圖Pd及右指定視點深度圖Qd，將所生成的左指定視點深度圖Pd及右指定視點深度圖Qd輸出至射影影像合成手段615。
其中，深度圖射影手段613並非由外部所輸入的指定視點被限定為2個，可為1個，亦可為3個以上。此外，深度圖射影手段613係由深度圖恢復手段612所輸入的解碼合成深度圖並非限定於1個，亦可為2以上。此外，深度圖射影手段613係與所輸入的各自的指定視點相對應而生成指定視點深度圖，且輸出至射影影像合成手段615。
深度圖射影手段613係相當於解碼裝置2中的深度圖射影手段23、解碼裝置2A中的深度圖射影手段23A、解碼裝置2B、2C中的深度圖射影手段23B。
殘差影像恢復手段614係由位元串流分離手段60輸入編碼殘差影像fv作為殘差影像位元串流，以其編碼方式進行解碼而生成左殘差影像L’v及右殘差影像R’v，將所 生成的左殘差影像L’v及右殘差影像R’v輸出至射影影像合成手段615。
其中，殘差影像恢復手段614係若編碼殘差影像被圖框化時，將解碼後被圖框化的殘差影像進行分離，若編碼殘差影像被縮小時，係在解碼後或分離後放大成原本尺寸而輸出至射影影像合成手段615。
殘差影像恢復手段614係相當於解碼裝置2中的殘差影像解碼手段24、解碼裝置2A中的殘差影像解碼手段24A及殘差影像分離手段27、或解碼裝置2B、2C中的殘差影像解碼手段24B及殘差影像分離手段27B。
射影影像合成手段615係分別由基準視點影像解碼手段611輸入解碼基準視點影像C’，由深度圖射影手段613輸入左右的指定視點深度圖Pd、Qd，由殘差影像恢復手段614輸入左殘差影像L’v及右殘差影像R’v，由位元串流分離手段輸入輔助資訊h，而生成左右的指定視點Pt、Qt中的指定視點影像P、Q。射影影像合成手段615係將所生成的指定視點影像P、Q作為多視點影像的指定視點影像而輸出至外部(例如第1圖所示之立體影像顯示裝置4)。
射影影像合成手段615係相當於解碼裝置2中的射影影像合成手段25、解碼裝置2A中的射影影像合成手段25A、解碼裝置2B、2C中的射影影像合成手段25B。
接著，參照第32圖(適當參照第29圖及第31圖)，說明位元串流分離手段60。
位元串流分離手段60係將由編碼裝置5(參照第27圖) 所輸入的多工化位元串流，分離成指定視點影像位元串流、深度圖位元串流、殘差影像位元串流、及輔助資訊，而輸出至解碼處理部61的各部。因此，位元串流分離手段60係如第32圖所示，包括：基準視點影像位元串流分離手段601、深度圖位元串流分離手段602、殘差影像位元串流分離手段603、及輔助資訊分離手段604所構成。
基準視點影像位元串流分離手段601係由編碼裝置5(參照第27圖)輸入多工化位元串流，由多工化位元串流分離基準視點影像位元串流，且將作為基準視點影像位元串流所分離的編碼基準視點影像c輸出至基準視點影像解碼手段611。
此外，基準視點影像位元串流分離手段601係若所輸入的多工化位元串流為基準視點影像位元串流以外的位元串流時，將多工化位元串流轉送至深度圖位元串流分離手段602。
具體而言，基準視點影像位元串流分離手段601係由所輸入的多工化位元串流的前頭，調查其值，找尋以MPEG-4AVC編碼方式所被規定的開始碼701亦即3位元組的值「001」。基準視點影像位元串流分離手段601係若檢測開始碼701時，調查其後馬上的1位元組的標頭的值，確認是否為表示為立體影像標頭704的值(例如下位5位元為「11000」)。
若該標頭非為立體影像標頭704時，基準視點影像位元串流分離手段601係將由該開始碼701至結束碼亦即3 位元組的「000」被檢測為止的位元列，作為基準視點影像位元串流而輸出至基準視點影像解碼手段611。
另一方面，若開始碼701之後馬上的標頭為立體影像標頭704，基準視點影像位元串流分離手段601係亦包含該開始碼701而將之後的位元串流，至結束碼(例如3位元組的「000」)被檢測為止，轉送至深度圖位元串流分離手段602。
深度圖位元串流分離手段602係由基準視點影像位元串流分離手段601輸入多工化位元串流，由所輸入的多工化位元串流，將深度位元圖串流進行分離，將作為深度圖位元串流進行分離的編碼深度圖g2d輸出至深度圖恢復手段612
此外，深度圖位元串流分離手段602係若所輸入的多工化位元串流為深度圖位元串流以外的位元串流時，係將多工化位元串流轉送至殘差影像位元串流分離手段603
具體而言，深度圖位元串流分離手段602係與前述基準視點影像位元串流分離手段601同樣地，檢測多工化位元串流之中的開始碼701，若其後馬上的1位元組的標頭為立體影像標頭704，另外確認其後馬上的1位元組的旗標是否為深度旗標705。
若該旗標為表示深度旗標705的值(例如8位元的「10000000」)時，深度圖位元串流分離手段602係開始碼701保持原樣，將已刪除1位元組的立體影像標頭704與1位元組的深度旗標705的位元串流，至結束碼(例如3位元 組的「000」)被檢測為止，作為深度圖位元串流而輸出至深度圖恢復手段612。
亦即，深度圖位元串流分離手段602係由從多工化位元串流所分離的深度圖位元串流，將藉由編碼裝置5(參照第27圖)的位元串流多工化手段50所被插入的立體影像標頭704與深度旗標705刪除，如第29圖(a)所示，恢復成具有1視點影像的位元串流的構造的位元串流，且輸出至深度圖恢復手段612。
藉此，深度圖恢復手段612係可將由深度圖位元串流分離手段602所被輸入的深度圖位元串流作為1視點影像來進行解碼。
另一方面，若立體影像標頭704之後馬上的旗標非為深度旗標705時，深度圖位元串流分離手段602係將由開始碼701至結束碼被檢測為止的位元串流，包含至結束碼，轉送至殘差影像位元串流分離手段603。
殘差影像位元串流分離手段603係由深度圖位元串流分離手段602輸入多工化位元串流，由所輸入的多工化位元串流分離殘差影像位元圖串流，將作為殘差影像位元串流所分離的編碼殘差影像fv輸出至殘差影像恢復手段614。
此外，殘差影像位元串流分離手段603係若所輸入的多工化位元串流為殘差影像位元串流以外的位元串流時，將多工化位元串流轉送至輔助資訊分離手段604。
具體而言，殘差影像位元串流分離手段603係與前述 基準視點影像位元串流分離手段601同樣地，檢測多工化位元串流之中的開始碼701，若其後馬上的1位元組的標頭為立體影像標頭704，另外確認其後馬上的1位元組的旗標是否為殘差旗標706。
若該旗標為表示殘差旗標706的值(例如8位元的「10100000」)時，殘差影像位元串流分離手段603係開始碼701保持原樣，將1位元組的立體影像標頭704與1位元組的殘差旗標706刪除後的位元串流，至結束碼(例如3位元組的「000」)被檢測為止，作為殘差影像位元串流而輸出至殘差影像恢復手段614。
亦即，殘差影像位元串流分離手段603係由從多工化位元串流所分離的殘差影像位元串流，刪除藉由編碼裝置5(參照第27圖)的位元串流多工化手段50所被插入的立體影像標頭704與殘差旗標706，第29圖(a)所示，恢復成具有1視點影像的位元串流的構造的位元串流，且輸出至殘差影像恢復手段614。
藉此，殘差影像恢復手段614係可將由殘差影像位元串流分離手段603所被輸入的殘差影像位元串流作為1視點影像來進行解碼。
另一方面，若緊接立體影像標頭704之後馬上的旗標非為殘差旗標706，殘差影像位元串流分離手段603係將由開始碼701至結束碼被檢測為止的位元串流，包含至結束碼，轉送至輔助資訊分離手段604。
輔助資訊分離手段604係由殘差影像位元串流分離手 段603輸入多工化位元串流，由所輸入的多工化位元串流將輔助資訊h進行分離，將所分離的輔助資訊h輸出至深度圖射影手段613及射影影像合成手段615。
此外，輔助資訊分離手段604係若所輸入的多工化位元串流為輔助資訊以外的位元串流時，係作為不明資料而予以忽略。
具體而言，輔助資訊分離手段604係與前述基準視點影像位元串流分離手段601同樣地，檢測多工化位元串流之中的開始碼701，若其後馬上的1位元組的標頭為立體影像標頭704，更加確認其後馬上的1位元組的旗標是否為輔助資訊旗標707。
若該旗標為表示輔助資訊旗標707的值(例如8位元的「11000000」)時，輔助資訊分離手段604係將由輔助資訊旗標707的接下來的位元至結束碼被檢測為止的位元列作為輔助資訊h而進行分離。
輔助資訊分離手段604係將所分離的輔助資訊h輸出至深度圖射影手段613及射影影像合成手段615。
此外，輔助資訊分離手段604係若所輸入的多工化位元串流為輔助資訊以外的位元串流時，作為不明資料而予以忽略。
其中，在位元串流分離手段60中，藉由基準視點影像位元串流分離手段601、深度圖位元串流分離手段602、殘差影像位元串流分離手段603及輔助資訊分離手段604，將各位元串流分離的順序係可任意變更，而非限定於第32 圖所示之例。此外，亦可並列進行該等分離處理。
〔立體影像編碼裝置的動作〕
接著，參照第33圖(適當參照第27圖~第29圖)，說明編碼裝置5的動作。
(基準視點影像編碼處理)
如第33圖所示，首先，編碼裝置5係藉由基準視點影像編碼手段511，由外部輸入基準視點影像C，生成將基準視點影像C以預定的編碼方式進行編碼的編碼基準視點影像c，將所生成的編碼基準視點影像c作為基準視點影像位元串流而輸出至位元串流多工化手段50(步驟S111)。
(深度圖合成處理)
接著，編碼裝置5係藉由深度圖合成手段512，由外部輸入基準視點深度圖Cd、左視點深度圖Ld及右視點深度圖Rd，將該等深度圖適當合成而生成合成深度圖G2d，且輸出至深度圖編碼手段513(步驟S112)。
(深度圖編碼處理)
接著，編碼裝置5係藉由深度圖編碼手段513，由深度圖合成手段512輸入合成深度圖G2d，以預定的編碼方式進行編碼而生成編碼深度圖g2d，將所生成的編碼深度圖g2d作為深度圖位元串流而輸出至深度圖恢復手段514及位元串流多工化手段50(步驟S113)。
(深度圖恢復處理)
接著，編碼裝置5係藉由深度圖恢復手段514，由深度圖編碼手段513輸入編碼深度圖g2d，將編碼深度圖g2d 進行解碼而生成解碼合成深度圖G’d。深度圖恢復手段514係將所生成的解碼合成深度圖G’d輸出至射影影像預測手段515(步驟S114)。
(射影影像預測處理)
接著，編碼裝置5係藉由射影影像預測手段515，分別由深度圖恢復手段514輸入解碼合成深度圖G’d，由外部輸入左視點影像L、右視點影像R及視需要輸入指定視點Pt、Qt的資訊，而生成殘差影像Fv。射影影像預測手段515係將所生成的殘差影像Fv輸出至殘差影像編碼手段516(步驟S115)。
(殘差影像編碼處理)
接著，編碼裝置5係藉由殘差影像編碼手段516，由射影影像預測手段515輸入殘差影像Fv，藉由預定的編碼方式進行編碼而生成編碼殘差影像fv。殘差影像編碼手段516係將所生成的編碼殘差影像fv作為殘差影像位元串流而輸出至位元串流多工化手段50(步驟S116)。
(位元串流多工化處理)
接著，編碼裝置5係藉由位元串流多工化手段50，將在步驟S111所生成的編碼基準視點影像c亦即基準視點影像位元串流、在步驟S113所生成的編碼深度圖g2d亦即深度圖位元串流、在步驟S116所生成的編碼殘差影像fv亦即殘差影像位元串流、及由外部連同基準視點影像C等一起輸入的輔助資訊h進行多工化，作為多工化位元串流而輸出至解碼裝置6(參照第31圖)(步驟S117)。
其中，位元串流多工化手段50係針對基準視點影像位元串流，無須改變既有的標頭，而照原樣進行多工化。
此外，位元串流多工化手段50係藉由深度標頭附加手段503，針對深度圖位元串流，在既有的標頭的開始碼701之後馬上插入立體影像標頭704與深度旗標705來進行多工化。
此外，位元串流多工化手段50係藉由殘差標頭附加手段504，針對殘差影像位元串流，在既有的標頭的開始碼701之後馬上插入立體影像標頭704與殘差旗標706來進行多工化。
此外，位元串流多工化手段50係藉由輔助資訊標頭附加手段502，針對輔助資訊h，作為標頭而附加開始碼701與立體影像標頭704與輔助資訊旗標707來進行多工化。
如以上所示，編碼裝置5係將基準視點影像位元串流、深度圖位元串流、殘差影像位元串流、及附隨於該等的輔助資訊的位元串流被多工化後的多工化位元串流輸出至解碼裝置6(參照第31圖)。
〔立體影像解碼裝置的動作〕
接著，參照第34圖(適當參照第29圖、第31圖及第32圖)，說明解碼裝置6的動作。
(位元串流分離處理)
如第34圖所示，首先，解碼裝置6係藉由位元串流分離手段60，由編碼裝置5(參照第27圖)輸入多工化位元串流，將所輸入的多工化位元串流，分離成基準視點影像位 元串流、深度圖位元串流、殘差影像位元串流、及輔助資訊h。位元串流分離手段60係分別將經分離的基準視點影像位元串流輸出至基準視點影像解碼手段611，將深度圖位元串流輸出至深度圖恢復手段612，將殘差影像位元串流輸出至殘差影像恢復手段614，將輔助資訊h輸出至深度圖射影手段613及射影影像合成手段615(步驟S121)。
其中，位元串流分離手段60係藉由基準視點影像位元串流分離手段601，將開始碼701之後馬上的標頭非為立體影像標頭704的位元串流作為基準視點影像位元串流來進行分離。
此外，位元串流分離手段60係藉由深度圖位元串流分離手段602，將開始碼701之後馬上的標頭為立體影像標頭704且另外其後馬上的旗標為深度旗標705的位元串流作為深度圖位元串流來進行分離，輸出將立體影像標頭704與深度旗標705去除後的位元串流。
此外，位元串流分離手段60係藉由殘差影像位元串流分離手段603，將開始碼701之後馬上的標頭為立體影像標頭704且另外其後馬上的旗標為殘差旗標706的位元串流作為殘差影像位元串流來進行分離，輸出將立體影像標頭704與殘差旗標706去除後的位元串流。
此外，位元串流分離手段60係藉由輔助資訊分離手段604，將開始碼701之後馬上的標頭為立體影像標頭704且另外其後馬上的旗標為輔助資訊旗標707亦即位元串流作為輔助資訊串流來進行分離，將輔助資訊本體708作為輔 助資訊h來進行輸出。
(基準視點影像解碼處理)
接著，解碼裝置6係藉由基準視點影像解碼手段611，由位元串流分離手段60作為基準視點影像位元串流而輸入編碼基準視點影像c，以該編碼方式進行解碼而生成解碼基準視點影像C’，將所生成的解碼基準視點影像C’作為多視點影像的基準視點影像而輸出至外部(步驟S122)。
(深度圖恢復處理)
接著，解碼裝置6係藉由深度圖恢復手段612，由位元串流分離手段60作為深度圖位元串流而輸入編碼深度圖g2d，以其編碼方式進行解碼而生成解碼合成深度圖G’d，將所生成的解碼合成深度圖G’d輸出至深度圖射影手段613(步驟S123)。
(深度圖射影處理)
接著，解碼裝置6係藉由深度圖射影手段613，分別由深度圖恢復手段612輸入解碼合成深度圖G’d，由位元串流分離手段60輸入輔助資訊h，由外部輸入左指定視點Pt及右指定視點Qt，生成左指定視點Pt及右指定視點Qt中的深度圖亦即左指定視點深度圖Pd及右指定視點深度圖Qd，將所生成的左指定視點深度圖Pd及右指定視點深度圖Qd輸出至射影影像合成手段615步驟S124)。
(殘差影像恢復處理)
接著，解碼裝置6係藉由殘差影像恢復手段614，由位元串流分離手段60作為殘差影像位元串流而輸入編碼 殘差影像fv，以該編碼方式進行解碼而生成左殘差影像L’v及右殘差影像R’v，將所生成的左殘差影像L’v及右殘差影像R’v輸出至射影影像合成手段615(步驟S125)。
(射影影像合成處理)
接著，解碼裝置6係藉由射影影像合成手段615，分別由基準視點影像解碼手段611輸入解碼基準視點影像C’，由深度圖射影手段613輸入左右的指定視點深度圖Pd、Qd，由殘差影像恢復手段614輸入左殘差影像L’v及右殘差影像R’v，由位元串流分離手段輸入輔助資訊h，生成左右指定視點Pt、Qt中的指定視點影像P、Q。射影影像合成手段615係將所生成的指定視點影像P、Q作為多視點影像的指定視點影像而輸出至外部(步驟S126)。
如以上所示，解碼裝置6係由從編碼裝置5(參照第27圖)所輸入的多工化位元串流，將基準視點影像位元串流、深度圖位元串流、殘差影像位元串流、及輔助資訊h進行分離，使用該等分離的資料而生成立體影像。
以上針對第1實施形態、第2實施形態、第3實施形態、第4實施形態及該等變形例之立體影像編碼裝置1、1A、1B、1C、5及立體影像解碼裝置2、2A、2B、2C、6，該等裝置係可使用專用硬體來構成各構成手段，但是並非限定於此。例如，該等裝置係可藉由使一般電腦執行程式，來使電腦內的運算裝置或記憶裝置進行動作來實現。該程式(立體影像編碼程式及立體影像解碼程式)係可透過通訊 線路來發佈，亦可寫入至CD-ROM等記錄媒體來發佈。
此外，藉由本發明，將必須要有多數視點影像的裸眼立體影像作為少數視點影像、及其深度圖，可效率佳地進行壓縮編碼來傳送，可以低成本來提供高效率且高品質的立體影像。因此，使用本發明的立體影像蓄積/傳送裝置或服務即使為必須要有多數視點影像的裸眼立體影像，亦可輕易地將資料進行蓄積/傳送，並且可提供高品質的立體影像。
此外，本發明係可廣泛使用於使用立體電視播送或立體影像記錄器、立體電影、立體影像的教育機器或展示機器、網際網路服務等，來發揮其效果。此外，本發明係即使使用在視聽者自由改變視點位置的自由視點電視或自由視點電影，亦可發揮其效果。
此外，本發明之立體影像編碼裝置中所生成的多視點影像係即使為無法將多視點影像進行解碼的既有的解碼裝置，亦可作為1視點影像來利用。
1、1A、1B‧‧‧立體影像編碼裝置
11‧‧‧基準視點影像編碼手段
12、12A、12B‧‧‧深度圖合成手段
12L‧‧‧左深度圖合成手段
12R‧‧‧右深度圖合成手段
121、122‧‧‧中間視點射影手段
121B‧‧‧左深度圖射影手段
122B‧‧‧右深度圖射影手段
123、123B‧‧‧圖合成手段
124‧‧‧縮小手段
13、13A、13B‧‧‧深度圖編碼手段
14、14A、30a‧‧‧深度圖解碼手段
15、15A、15B、15C‧‧‧射影影像預測手段
15L‧‧‧左射影影像預測手段
15R‧‧‧右射影影像預測手段
15BL‧‧‧左射影影像預測手段
15BR‧‧‧右射影影像預測手段
151、151B‧‧‧遮蔽洞檢測手段
1511‧‧‧第1穴遮罩生成手段
1511a‧‧‧左視點射影手段(副視點射影手段)
1511b‧‧‧第1洞像素檢測手段(洞像素檢測手段)
1511Ba‧‧‧左視點射影手段
1512‧‧‧第2穴遮罩生成手段
1512a‧‧‧第2洞像素檢測手段
1512b‧‧‧左視點射影手段(第2副視點射影手段)
1512Ba‧‧‧左中間視點射影手段
1512Bb‧‧‧第2洞像素檢測手段
1512Bc‧‧‧左視點射影手段
1513‧‧‧第3穴遮罩生成手段
1513a‧‧‧指定視點射影手段
1513b‧‧‧第3洞像素檢測手段
1513c‧‧‧左視點射影手段(第3副視點射影手段)
1513Ba‧‧‧左指定視點射影手段
1514‧‧‧穴遮罩合成手段
1515‧‧‧穴遮罩膨脹手段
152‧‧‧殘差影像切出手段
153‧‧‧左視點射影手段(副視點射影手段)
154‧‧‧殘差算出手段
16、16A、16B‧‧‧殘差影像編碼手段
17‧‧‧深度圖圖框化手段
17a、17b‧‧‧縮小手段
17c‧‧‧結合手段
18‧‧‧深度圖分離手段
18a‧‧‧分離手段
18b、18c‧‧‧放大手段
19、19B‧‧‧殘差影像圖框化手段
19a、19b、19Ba、19Bb‧‧‧縮小手段
19c、19Bc‧‧‧結合手段
2、2A、2B‧‧‧立體影像解碼裝置
21‧‧‧基準視點影像解碼手段
22、22A、28a‧‧‧深度圖解碼手段
23、23A、23B‧‧‧深度圖射影手段
23L‧‧‧左深度圖射影手段
23R‧‧‧右深度圖射影手段
23BL‧‧‧左深度圖射影手段
23BR‧‧‧右深度圖射影手段
24、24A、24B‧‧‧殘差影像解碼手段
25、25A、25B、25C‧‧‧射影影像合成手段
25L、25BL‧‧‧左射影影像合成手段
25R、25BR‧‧‧右射影影像合成手段
251、251B、251C‧‧‧基準視點影像射影手段
251a、251Ba‧‧‧洞像素檢測手段
251b、251Bb‧‧‧指定視點影像射影手段
251c、251Bc、251Cc‧‧‧基準視點影像像素複製手段
251d‧‧‧中值濾波器
251e、251Bd‧‧‧穴遮罩膨脹手段
252、252B、252C‧‧‧殘差影像射影手段
252a、252Ba、252Ca‧‧‧指定視點影像射影手段
252b、252Bb‧‧‧殘差影像像素複製手段
252c、252Bc‧‧‧填孔處理手段
252f‧‧‧殘差加算手段
252Bd‧‧‧洞像素檢測手段
252Be‧‧‧共通穴檢測手段
26‧‧‧深度圖分離手段
26a‧‧‧分離手段
26b、26c‧‧‧放大手段
27、27B‧‧‧殘差影像分離手段
27a、27Ba‧‧‧分離手段
27b、27c、27Bb、27Bc‧‧‧放大手段
28‧‧‧深度圖恢復手段
28a‧‧‧深度圖解碼手段
28b‧‧‧放大手段
3‧‧‧立體影像作成裝置
30‧‧‧深度圖恢復手段
30a‧‧‧深度圖解碼手段
30b‧‧‧放大手段
4‧‧‧立體影像顯示裝置
5‧‧‧立體影像編碼裝置
50‧‧‧位元串流多工化手段
501‧‧‧開關(切換手段)
502‧‧‧輔助資訊標頭附加手段
503‧‧‧深度標頭附加手段
504‧‧‧殘差標頭附加手段
51‧‧‧編碼處理部
511‧‧‧基準視點影像編碼手段
512‧‧‧深度圖合成手段
513‧‧‧深度圖編碼手段
514‧‧‧深度圖恢復手段
515‧‧‧射影影像預測手段
516‧‧‧殘差影像編碼手段
6‧‧‧立體影像解碼裝置
60‧‧‧位元串流分離手段
601‧‧‧基準視點影像位元串流分離手段
602‧‧‧深度圖位元串流分離手段
603‧‧‧殘差影像位元串流分離手段
604‧‧‧輔助資訊分離手段
61‧‧‧解碼處理部
611‧‧‧基準視點影像解碼手段
612‧‧‧深度圖恢復手段
613‧‧‧深度圖射影手段
614‧‧‧殘差影像恢復手段
615‧‧‧射影影像合成手段
701‧‧‧開始碼
702‧‧‧1視點影像標頭(第1識別資訊)
703‧‧‧位元串流本體
704‧‧‧立體影像標頭(第2識別資訊)
705‧‧‧深度旗標(第3識別資訊)
706‧‧‧殘差旗標(第4識別資訊)
707‧‧‧輔助資訊旗標(第5識別資訊)
708‧‧‧輔助資訊本體
101‧‧‧編碼管理部
107‧‧‧畫像訊號編碼部
108‧‧‧深度訊號編碼部
109‧‧‧單元化部
110‧‧‧參數資訊編碼部
c‧‧‧編碼基準視點影像
C、C’‧‧‧基準視點影像
Cd‧‧‧基準視點深度圖
CLd、CRd‧‧‧共通視點深度圖
fd‧‧‧編碼深度圖
Fd、F’d‧‧‧圖框化深度圖
fv‧‧‧編碼殘差影像
Fv、F’v‧‧‧圖框化殘差影像
g2d‧‧‧編碼深度圖
Gd‧‧‧合成深度圖
G’d‧‧‧解碼合成深度圖
G2d‧‧‧縮小合成深度圖
G2’d‧‧‧解碼縮小合成深度圖
L‧‧‧左視點影像(副視點影像)
Ld‧‧‧左視點深度圖(副視點深度圖)
L’d‧‧‧左視點射影深度圖
Lh、Lh0、Lh1、Lh2、Lh31~Lh3n、Ph、P1h、P2h‧‧‧穴遮 罩
lv‧‧‧編碼殘差影像
Lv、L’v‧‧‧左殘差影像(殘差影像)
L2v、L2’v‧‧‧左縮小殘差影像
MCd、MLd‧‧‧深度圖
md‧‧‧編碼深度圖
Md‧‧‧左合成深度圖(中間視點深度圖)
M’d‧‧‧解碼左合成深度圖
M2d‧‧‧左縮小合成深度圖
M2’d‧‧‧解碼左縮小合成深度圖
Nd‧‧‧右合成深度圖
N’d‧‧‧解碼右合成深度圖
N2d‧‧‧右縮小合成深度圖
N2’d‧‧‧解碼右縮小合成深度圖
OH‧‧‧遮蔽洞
P、P1、PC、P2 C‧‧‧左指定視點影像
P1 C‧‧‧左指定視點射影影像
Pd‧‧‧左指定視點深度圖
PLv‧‧‧左指定視點射影殘差影像
Pt、Pt1~Ptn‧‧‧左指定視點
Q‧‧‧右指定視點影像
Qd‧‧‧右指定視點深度圖
Qt‧‧‧右指定視點
Rd‧‧‧右視點深度圖(副視點深度圖)
Rv、R’v‧‧‧右殘差影像
R2v、R2’v‧‧‧右縮小殘差影像
S‧‧‧立體影像傳送系統
第1圖係顯示包含本發明之第1實施形態及第2實施形態之立體影像編碼裝置及立體影像解碼裝置的立體影像傳送系統的構成的方塊圖。
第2圖係顯示本發明之第1實施形態之立體影像編碼裝置的構成的方塊圖。
第3圖係顯示本發明之第1實施形態之立體影像編碼 裝置的詳細構成的方塊圖，(a)係顯示深度圖合成手段，(b)係顯示遮蔽洞檢測手段的構成。
第4圖係用以說明本發明之第1實施形態之立體影像編碼裝置中的編碼處理的概要的說明圖。
第5圖係用以說明本發明中的深度圖的合成順序的說明圖，(a)係顯示使用基準視點及左視點中的深度圖的情形，(b)係顯示使用基準視點及右視點中的深度圖的情形。
第6圖係用以說明本發明中的遮蔽洞檢測的順序的說明圖。
第7圖係顯示本發明之第1實施形態之立體影像解碼裝置的構成的方塊圖。
第8圖係顯示本發明之第1實施形態之立體影像解碼裝置中的射影影像合成手段的構成的方塊圖。
第9圖係用以說明本發明之第1實施形態之立體影像解碼裝置中的解碼處理的概要的說明圖。
第10圖係顯示本發明之第1實施形態之立體影像編碼裝置的動作的流程圖。
第11圖係顯示本發明之第1實施形態之立體影像解碼裝置的動作的流程圖。
第12圖係顯示本發明之第2實施形態之立體影像編碼裝置的構成的方塊圖。
第13圖係用以說明本發明之第2實施形態之立體影像編碼裝置中的編碼處理的概要的說明圖。
第14圖係顯示本發明之第2實施形態之立體影像解碼 裝置的構成的方塊圖。
第15圖係用以說明本發明之第2實施形態之立體影像解碼裝置中的解碼處理的概要的說明圖。
第16圖係顯示本發明之第2實施形態之立體影像編碼裝置的動作的流程圖。
第17圖係顯示本發明之第2實施形態之立體影像解碼裝置的動作的流程圖。
第18圖係用以說明本發明之第2實施形態的變形例之立體影像編碼裝置中的圖框化處理的概要的說明圖，(a)係顯示深度圖的圖框化，(b)係顯示殘差影像的圖框化。
第19圖係顯示本發明之第3實施形態之立體影像編碼裝置的構成的方塊圖。
第20圖係用以說明本發明之第3實施形態之立體影像編碼裝置中的編碼處理的概要的說明圖。
第21圖(a)係顯示本發明之第3實施形態之立體影像編碼裝置中的射影影像預測手段的詳細構成的方塊圖，(b)係顯示其變形例中的射影影像預測手段的構成的方塊圖。
第22圖係顯示本發明之第3實施形態之立體影像解碼裝置的構成的方塊圖。
第23圖係用以說明本發明之第3實施形態之立體影像解碼裝置中的解碼處理的概要的說明圖。
第24圖(a)係顯示本發明之第3實施形態之立體影像解碼裝置中的射影影像預測手段的詳細構成的方塊圖，(b)係顯示其變形例中的射影影像預測手段的構成的方塊圖。
第25圖係顯示本發明之第3實施形態之立體影像編碼裝置的動作的流程圖。
第26圖係顯示本發明之第3實施形態之立體影像解碼裝置的動作的流程圖。
第27圖係顯示本發明之第4實施形態之立體影像編碼裝置的構成的方塊圖。
第28圖係顯示本發明之第4實施形態之立體影像編碼裝置中的位元串流多工化手段的詳細構成的方塊圖。
第29圖係顯示本發明之第4實施形態中的資料構造的圖，(a)係顯示習知之位元串流，(b)係顯示基準視點影像位元串流，(c)係顯示深度圖位元串流，(d)係顯示殘差影像位元串流，(e)係顯示輔助資訊。
第30圖係用以說明本發明之第4實施形態中的輔助資訊的內容的圖。
第31圖係顯示本發明之第4實施形態之立體影像解碼裝置的構成的方塊圖。
第32圖係顯示本發明之第4實施形態之立體影像解碼裝置中的位元串流分離手段的詳細構成的方塊圖。
第33圖係顯示本發明之第4實施形態之立體影像編碼裝置的動作的流程圖。
第34圖係顯示本發明之第4實施形態之立體影像解碼裝置的動作的流程圖。
第35圖係顯示習知之立體影像編碼裝置的構成的方塊圖。
1‧‧‧立體影像編碼裝置
11‧‧‧基準視點影像編碼手段
12‧‧‧深度圖合成手段
13‧‧‧深度圖編碼手段
14‧‧‧深度圖解碼手段
15‧‧‧射影影像預測手段
16‧‧‧殘差影像編碼手段
151‧‧‧遮蔽洞檢測手段
152‧‧‧殘差影像切出手段
c‧‧‧編碼基準視點影像
C‧‧‧基準視點影像
Cd‧‧‧基準視點深度圖
L‧‧‧左視點影像(副視點影像)
Ld‧‧‧左視點深度圖(副視點深度圖)
Lh‧‧‧穴遮罩
lv‧‧‧編碼殘差影像
Lv‧‧‧左殘差影像(殘差影像)
md‧‧‧編碼深度圖
Md‧‧‧左合成深度圖(中間視點深度圖)
M’d‧‧‧解碼左合成深度圖
Pt1~Ptn‧‧‧左指定視點

Claims (33)

  1. 一種立體影像編碼裝置，將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖進行編碼，其特徵在於包括：基準視點影像編碼手段，其係將前述多視點影像的基準視點中的影像亦即基準視點影像進行編碼，作為基準視點影像位元串流來進行輸出；中間視點深度圖合成手段，其係使用前述基準視點中的深度圖亦即基準視點深度圖、及前述多視點影像的前述基準視點以外的視點亦即副視點中的深度圖亦即副視點深度圖，生成前述基準視點與前述副視點的中間視點中的深度圖亦即中間視點深度圖；深度圖編碼手段，其係將前述中間視點深度圖進行編碼，作為深度圖位元串流來進行輸出；深度圖解碼手段，其係將前述經編碼的中間視點深度圖進行解碼，生成解碼中間視點深度圖；射影影像預測手段，其係使用前述解碼中間視點深度圖，將前述基準視點影像射影至其他視點時，將無法射影的像素區域亦即成為遮蔽洞的像素由前述副視點影像切出而生成殘差影像；及殘差影像編碼手段，其係將前述殘差影像進行編碼，作為殘差影像位元串流來進行輸出，前述射影影像預測手段係具有： 遮蔽洞檢測手段，其係使用前述解碼中間視點深度圖，檢測將前述基準視點影像射影至前述副視點時成為遮蔽洞的像素；及殘差影像切出手段，其係將前述遮蔽洞檢測手段所檢測到的成為遮蔽洞的像素由前述副視點影像切出，而生成前述殘差影像。
  2. 如申請專利範圍第1項所述的立體影像編碼裝置，其中，前述遮蔽洞檢測手段係具有：副視點射影手段，其係將前述解碼中間視點深度圖射影至前述副視點，生成前述副視點中的深度圖亦即副視點射影深度圖；及洞像素檢測手段，其係在前述副視點射影深度圖中，按每一像素，針對作為是否為成為前述遮蔽洞的像素的判定對象所注目的像素亦即注目像素，若由該注目像素接近前述基準視點側遠離預定的像素數的像素中的深度值，比前述注目像素中的深度值還大預定的值以上時，將前述注目像素作為成為前述遮蔽洞的像素來進行檢測。
  3. 如申請專利範圍第2項所述的立體影像編碼裝置，其中，前述遮蔽洞檢測手段係具有使表示藉由前述洞像素檢測手段所被檢測出的像素位置的穴遮罩，以預定的像素數膨脹的穴遮罩膨脹手段，前述殘差影像切出手段係將藉由前述穴遮罩膨脹手段所膨脹的穴遮罩所包含的像素由前述副視點影像切出而生成前述殘差影像。
  4. 如申請專利範圍第2或3項所述的立體影像編碼裝 置，其中，前述遮蔽洞檢測手段係另外具有：第2洞像素檢測手段，其係在前述解碼中間視點深度圖中，按每一像素，針對作為是否為成為前述遮蔽洞的像素的判定對象所注目的像素亦即注目像素，若由該注目像素接近前述基準視點側遠離預定的像素數的像素中的深度值，比前述注目像素中的深度值還大預定的值以上時，將前述注目像素作為成為前述遮蔽洞的像素來進行檢測；第2副視點射影手段，其係將藉由前述第2洞像素檢測手段所得的檢測結果射影至前述副視點；及穴遮罩合成手段，其係將藉由前述洞像素檢測手段所得的檢測結果及藉由前述第2副視點射影手段所被射影之藉由前述第2洞像素檢測手段所得的檢測結果的邏輯和，設為前述遮蔽洞檢測手段的檢測結果。
  5. 如申請專利範圍第4項所述的立體影像編碼裝置，其中，前述遮蔽洞檢測手段係另外具有：指定視點射影手段，其係將前述解碼中間視點深度圖射影至任意的指定視點位置，生成前述指定視點中的深度圖亦即指定視點深度圖；第3洞像素檢測手段，其係在前述指定視點深度圖中，按每一像素，針對作為是否為成為前述遮蔽洞的像素的判定對象所注目的像素亦即注目像素，若由該注目像素接近前述基準視點側遠離預定的像素數的像素中的深度值，比前述注目像素中的深度值還大預定的值以上時，將前述注目像素作為成為前述遮蔽洞的像素來進行檢測；及 第3副視點射影手段，其係將藉由前述第3洞像素檢測手段所得的檢測結果射影至前述副視點，前述穴遮罩合成手段係將藉由前述洞像素檢測手段所得的檢測結果、藉由前述第2副視點射影手段所被射影之藉由前述第2洞像素檢測手段所得的檢測結果、及藉由前述第3副視點射影手段所被射影之藉由前述第3洞像素檢測手段所得的檢測結果的邏輯和，設為前述遮蔽洞檢測手段的檢測結果。
  6. 如申請專利範圍第1至5項中任一項所述的立體影像編碼裝置，其中，另外包括：深度圖圖框化手段，其係在前述多視點影像中，將針對前述基準視點與複數前述副視點的複數前述中間視點深度圖進行縮小而結合，生成圖框化成1個圖框畫像的圖框化深度圖；深度圖分離手段，其係由前述圖框化深度圖，將經圖框化之複數縮小的前述中間視點深度圖進行分離，生成與前述基準視點影像為相同大小的複數前述中間視點深度圖；及殘差影像圖框化手段，其係在前述多視點影像中，將針對前述基準視點與複數前述副視點的複數前述殘差影像進行縮小而結合，生成圖框化成1個圖框畫像的圖框化殘差影像，前述中間視點深度圖合成手段係生成前述基準視點、與複數前述副視點的各個之間的中間視點中的複數前述中 間視點深度圖，前述深度圖圖框化手段係將藉由前述中間視點深度圖合成手段所生成的複數中間視點深度圖縮小而結合，藉此生成前述圖框化深度圖，前述深度圖編碼手段係將前述圖框化深度圖進行編碼，作為前述深度圖位元串流來進行輸出，前述深度圖解碼手段係將藉由前述深度圖編碼手段所被編碼的圖框化深度圖進行解碼而生成解碼圖框化深度圖，前述深度圖分離手段係將由前述解碼圖框化深度圖所被縮小的複數前述中間視點深度圖進行分離，生成與前述基準視點影像為相同大小的前述解碼中間視點深度圖，前述射影影像預測手段係使用藉由前述深度圖分離手段所生成的解碼中間視點深度圖，由與各自的前述解碼中間視點深度圖相對應的前述副視點中的前述副視點影像，生成前述殘差影像，前述殘差影像圖框化手段係將藉由前述射影影像預測手段所生成的複數前述殘差影像進行縮小而結合，藉此生成前述圖框化殘差影像，前述殘差影像編碼手段係將前述圖框化殘差影像進行編碼，作為前述殘差影像位元串流來進行輸出。
  7. 一種立體影像解碼裝置，將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖經編碼後的位元串流進行解碼而生成多視 點影像，其特徵在於包括：基準視點影像解碼手段，其係將前述多視點影像的基準視點中的影像亦即基準視點影像被編碼的基準視點影像位元串流進行解碼，生成解碼基準視點影像；深度圖解碼手段，其係將前述基準視點與遠離前述基準視點的其他視點亦即副視點的中間的視點中的深度圖亦即中間視點深度圖被編碼的深度圖位元串流進行解碼，生成解碼中間視點深度圖；殘差影像解碼手段，其係將前述基準視點影像射影至其他視點時，將由前述副視點影像切出無法射影的像素區域亦即成為遮蔽洞的像素的影像亦即殘差影像被編碼後的殘差影像位元串流進行解碼，生成解碼殘差影像；深度圖射影手段，其係將前述解碼中間視點深度圖射影至作為前述多視點影像的視點而由外部所被指定的視點亦即指定視點，生成前述指定視點中的深度圖亦即指定視點深度圖；及射影影像合成手段，其係使用前述指定視點深度圖，將前述解碼基準視點影像及前述解碼殘差影像射影至前述指定視點的影像進行合成，生成前述指定視點中的影像亦即指定視點影像，前述射影影像合成手段係具有：基準視點影像射影手段，其係使用前述指定視點深度圖，將前述解碼基準視點影像射影至前述指定視點時，檢 測無法射影的像素區域亦即成為遮蔽洞的像素，針對未形成為前述遮蔽洞的像素，使用前述指定視點深度圖，將前述解碼基準視點影像射影至前述指定視點而設為前述指定視點影像的像素；及殘差影像射影手段，其係針對成為前述遮蔽洞的像素，使用前述指定視點深度圖，將前述解碼殘差影像射影至前述指定視點而設為前述指定視點影像的像素。
  8. 如申請專利範圍第7項所述的立體影像解碼裝置，其中，前述基準視點影像射影手段係具有洞像素檢測手段，其係在前述指定視點深度圖中，按每一像素，針對作為是否為成為遮蔽洞的像素的判定對象所注目的像素亦即注目像素，若由該注目像素接近前述基準視點側遠離預定的像素數的像素中的深度值，比前述注目像素中的深度值還大預定的值以上時，將前述注目像素作為成為遮蔽洞的像素來進行檢測。
  9. 如申請專利範圍第8項所述的立體影像解碼裝置，其中，前述基準視點影像射影手段係具有穴遮罩膨脹手段，其係使由以前述洞像素檢測手段所檢測到的像素所構成的遮蔽洞以預定的像素數進行膨脹，前述殘差影像射影手段係針對藉由前述穴遮罩膨脹手段而膨脹的遮蔽洞中的像素，將前述解碼殘差影像射影至前述指定視點而設為前述指定視點影像的像素。
  10. 如申請專利範圍第9項所述的立體影像解碼裝置，其中，前述殘差影像射影手段係包括填孔處理手段， 其係在前述指定視點影像中，檢測前述殘差影像所未包含的像素，以該未包含的像素的周圍的像素值將該未包含的像素的像素值進行內插。
  11. 如申請專利範圍第7至10項中任一項所述的立體影像解碼裝置，其中，另外包括：深度圖分離手段，其係將前述基準視點與複數前述副視點的各個之間的中間視點中的複數前述中間視點深度圖進行縮小而結合的1個圖框畫像亦即圖框化深度圖，按複數每一前述中間視點進行分離，生成與前述基準視點影像為相同大小的中間視點深度圖；及殘差影像分離手段，其係將針對前述複數副視點的複數前述殘差影像進行縮小而結合的1個圖框畫像亦即圖框化殘差影像進行分離，生成與前述基準視點影像為相同大小的前述解碼殘差影像，前述深度圖解碼手段係將前述圖框化深度圖被編碼後的前述深度圖位元串流進行解碼，生成解碼圖框化深度圖，前述殘差影像解碼手段係將前述圖框化殘差影像被編碼後的前述殘差影像位元串流進行解碼，生成解碼圖框化殘差影像，前述深度圖分離手段係由前述解碼圖框化深度圖，將複數縮小的前述中間視點深度圖進行分離，生成與前述基準視點影像為相同大小的複數前述解碼中間視點深度圖，前述殘差影像分離手段係由前述解碼圖框化殘差影像，將複數縮小的前述殘差影像進行分離，生成與前述基 準視點影像為相同大小的複數前述解碼殘差影像，前述深度圖射影手段係按複數每一前述指定視點，將分別對應的前述解碼中間視點深度圖射影至前述指定視點，生成前述指定視點中的深度圖亦即指定視點深度圖，前述射影影像合成手段係按複數每一前述指定視點，使用分別對應的前述指定視點深度圖，將分別對應的前述解碼基準視點影像及前述解碼殘差影像射影至前述指定視點的影像進行合成，生成前述指定視點中的影像亦即指定視點影像。
  12. 一種立體影像編碼方法，將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖進行編碼，其特徵在於包含：基準視點影像編碼處理步驟，其係將前述多視點影像的基準視點中的影像亦即基準視點影像進行編碼，作為基準視點影像位元串流來進行輸出；中間視點深度圖合成處理步驟，其係使用前述基準視點中的深度圖亦即基準視點深度圖、及前述多視點影像的前述基準視點以外的視點亦即副視點中的深度圖亦即副視點深度圖，生成前述基準視點與前述副視點的中間視點中的深度圖亦即中間視點深度圖；深度圖編碼處理步驟，其係將前述中間視點深度圖進行編碼，作為深度圖位元串流來進行輸出；深度圖解碼處理步驟，其係將前述經編碼的中間視點 深度圖進行解碼，生成解碼中間視點深度圖；射影影像預測處理步驟，其係使用前述解碼中間視點深度圖，將前述基準視點影像射影至其他視點時，將無法射影的像素區域亦即成為遮蔽洞的像素由前述副視點影像切出而生成殘差影像；及殘差影像編碼處理步驟，其係將前述殘差影像進行編碼，作為殘差影像位元串流來進行輸出，前述射影影像預測處理步驟係包含：遮蔽洞檢測處理步驟，其係使用前述解碼中間視點深度圖，檢測在將前述基準視點影像射影至前述副視點時成為遮蔽洞的像素；及殘差影像切出處理步驟，其係將在前述遮蔽洞檢測處理步驟所檢測到的成為遮蔽洞的像素由前述副視點影像切出而生成前述殘差影像。
  13. 一種立體影像解碼方法，將多視點影像、與前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖被編碼後的位元串流進行解碼而生成多視點影像，其特徵在於包含：基準視點影像解碼處理步驟，其係將前述多視點影像的基準視點中的影像亦即基準視點影像被編碼後的基準視點影像位元串流進行解碼，生成解碼基準視點影像；深度圖解碼處理步驟，其係將前述基準視點與遠離前述基準視點的其他視點亦即副視點的中間的視點中的深度 圖亦即中間視點深度圖被編碼後的深度圖位元串流進行解碼，生成解碼中間視點深度圖；殘差影像解碼處理步驟，其係將前述基準視點影像射影至其他視點時，將由前述副視點影像切出無法射影的像素區域亦即成為遮蔽洞的像素的影像亦即殘差影像被編碼後的殘差影像位元串流進行解碼，生成解碼殘差影像；深度圖射影處理步驟，其係將前述解碼中間視點深度圖射影至作為前述多視點影像的視點而由外部所被指定的視點亦即指定視點，生成前述指定視點中的深度圖亦即指定視點深度圖；及射影影像合成處理步驟，其係使用前述指定視點深度圖，將前述解碼基準視點影像及前述解碼殘差影像射影至前述指定視點的影像進行合成，生成前述指定視點中的影像亦即指定視點影像，前述射影影像合成處理步驟係包含：基準視點影像射影處理步驟，其係使用前述指定視點深度圖，將前述解碼基準視點影像射影至前述指定視點時，檢測無法射影的像素區域亦即成為遮蔽洞的像素，針對未形成為前述遮蔽洞的像素，使用前述指定視點深度圖，將前述解碼基準視點影像射影至前述指定視點而設為前述指定視點影像的像素；及殘差影像射影處理步驟，其係針對成為前述遮蔽洞的像素，使用前述指定視點深度圖，將前述解碼殘差影像射影至前述指定視點而設為前述指定視點影像的像素。
  14. 一種立體影像編碼程式，為了將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖進行編碼，使電腦作為以下手段來發揮功能：基準視點影像編碼手段，其係將前述多視點影像的基準視點中的影像亦即基準視點影像進行編碼，作為基準視點影像位元串流來進行輸出；中間視點深度圖合成手段，其係使用前述基準視點中的深度圖亦即基準視點深度圖、與前述多視點影像的前述基準視點以外的視點亦即副視點中的深度圖亦即副視點深度圖，生成前述基準視點與前述副視點的中間視點中的深度圖亦即中間視點深度圖；深度圖編碼手段，其係將前述中間視點深度圖進行編碼，作為深度圖位元串流來進行輸出；深度圖解碼手段，其係將前述經編碼的中間視點深度圖進行解碼，生成解碼中間視點深度圖；射影影像預測手段，其係使用前述解碼中間視點深度圖，將前述基準視點影像射影至其他視點時，將無法射影的像素區域亦即成為遮蔽洞的像素由前述副視點影像切出而生成殘差影像；殘差影像編碼手段，其係將前述殘差影像進行編碼，作為殘差影像位元串流來進行輸出；遮蔽洞檢測手段，其係使用前述解碼中間視點深度圖，將前述基準視點影像射影至前述副視點時，對無法射 影的像素區域亦即成為遮蔽洞的像素進行檢測；殘差影像切出手段，其係將前述遮蔽洞檢測手段所檢測到的成為遮蔽洞的像素由前述副視點影像切出，而生成前述殘差影像。
  15. 一種立體影像解碼程式，為了將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖經編碼後的位元串流進行解碼而生成多視點影像，使電腦作為以下手段來發揮功能：基準視點影像解碼手段，其係將前述多視點影像的基準視點中的影像亦即基準視點影像被編碼後的基準視點影像位元串流進行解碼，生成解碼基準視點影像；深度圖解碼手段，其係將前述基準視點與遠離前述基準視點的其他視點亦即副視點的中間的視點中的深度圖亦即中間視點深度圖被編碼後的深度圖位元串流進行解碼，生成解碼中間視點深度圖；殘差影像解碼手段，其係將前述基準視點影像射影至其他視點時，將由前述副視點影像切出無法射影的像素區域亦即成為遮蔽洞的像素的影像亦即殘差影像進行編碼後的殘差影像位元串流進行解碼，生成解碼殘差影像；深度圖射影手段，其係將前述解碼中間視點深度圖射影至作為前述多視點影像的視點而由外部所被指定的視點亦即指定視點，生成前述指定視點中的深度圖亦即指定視點深度圖；射影影像合成手段，其係使用前述指定視點深度圖， 將前述解碼基準視點影像及前述解碼殘差影像射影至前述指定視點的影像進行合成，生成前述指定視點中的影像亦即指定視點影像；基準視點影像射影手段，其係使用前述指定視點深度圖，將前述解碼基準視點影像射影至前述指定視點時，檢測無法射影的像素區域亦即成為遮蔽洞的像素，針對未形成為前述遮蔽洞的像素，使用前述指定視點深度圖，將前述解碼基準視點影像射影至前述指定視點而設為前述指定視點影像的像素；及殘差影像射影手段，其係針對成為前述遮蔽洞的像素，使用前述指定視點深度圖，將前述解碼殘差影像射影至前述指定視點而設為前述指定視點影像的像素。
  16. 一種立體影像編碼裝置，將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖進行編碼，其特徵在於包括：基準視點影像編碼手段，其係將前述多視點影像的基準視點中的影像亦即基準視點影像進行編碼，作為基準視點影像位元串流來進行輸出；深度圖合成手段，其係將前述基準視點中的深度圖亦即基準視點深度圖、及由前述多視點影像的前述基準視點遠離的其他視點亦即副視點中的深度圖亦即副視點深度圖射影至預定的視點來進行合成，生成前述預定的視點中的深度圖亦即合成深度圖； 深度圖編碼手段，其係將前述合成深度圖進行編碼，作為深度圖位元串流來進行輸出；深度圖解碼手段，其係將前述經編碼的合成深度圖進行解碼，生成解碼合成深度圖；射影影像預測手段，其係使用前述解碼合成深度圖，生成由前述基準視點影像預測其他視點中的影像時的預測殘差亦即殘差影像；及殘差影像編碼手段，其係將前述殘差影像進行編碼，作為殘差影像位元串流來進行輸出。
  17. 如申請專利範圍第16項所述的立體影像編碼裝置，其中，前述深度圖合成手段係將前述基準視點深度圖與複數前述副視點深度圖射影至共通視點而進行合成，藉此生成前述共通視點中的1個合成深度圖，另外包括殘差影像圖框化手段，其係將針對前述基準視點與複數前述副視點的複數前述殘差影像進行縮小而結合，生成圖框化成1個圖框畫像的圖框化殘差影像，前述殘差影像編碼手段係將前述圖框化殘差影像進行編碼，作為前述殘差影像位元串流來進行輸出。
  18. 如申請專利範圍第16或17項所述的立體影像編碼裝置，其中，前述射影影像預測手段係使用前述解碼合成深度圖，將前述基準視點影像射影至其他視點時，將無法射影的像素區域亦即成為遮蔽洞的像素由前述副視點影像切出而生成殘差影像。
  19. 如申請專利範圍第16或17項所述的立體影像編碼 裝置，其中，前述射影影像預測手段係使用前述解碼合成深度圖，算出將前述基準視點影像射影至前述副視點的影像、與前述副視點影像的每一像素的差而生成殘差影像。
  20. 如申請專利範圍第16項所述的立體影像編碼裝置，其中，前述基準視點影像位元串流、前述深度圖位元串流、及前述殘差影像位元串流係分別具有依序包含預定的開始碼、與識別屬於1視點影像的第1識別資訊的標頭，另外包括位元串流多工化手段，其係將包含表示前述基準視點及前述副視點的各位置的資訊的輔助資訊、前述基準視點影像位元串流、前述深度圖位元串流、及前述殘差影像位元串流進行多工化，作為多工化位元串流來進行輸出，前述位元串流多工化手段係針對前述基準視點影像位元串流係照原樣地輸出，針對前述深度圖位元串流，在前述開始碼與前述第1識別資訊之間，依序插入識別屬於關於立體影像的資料的第2識別資訊、與識別屬於前述深度圖位元串流的第3識別資訊來進行輸出，針對前述殘差影像位元串流，在前述開始碼與前述第1識別資訊之間，依序插入前述第2識別資訊、及識別屬於前述殘差影像位元串流的第4識別資訊來進行輸出，針對前述輔助資訊，將依序包含前述開始碼、前述第2識別資訊、及識別屬於前述輔助資訊的第5識別資訊的標頭附加在前述輔助資訊來進行輸出。
  21. 一種立體影像解碼裝置，將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖經編碼後的位元串流進行解碼而生成多視點影像，其特徵在於包括：基準視點影像解碼手段，其係將前述多視點影像的基準視點中的影像亦即基準視點影像被編碼後的基準視點影像位元串流進行解碼，生成解碼基準視點影像；深度圖解碼手段，其係將前述基準視點中的深度圖亦即基準視點深度圖、及由前述多視點影像的前述基準視點遠離的其他視點亦即副視點中的深度圖亦即副視點深度圖進行合成所生成的預定的視點中的深度圖亦即合成深度圖被編碼後的深度圖位元串流進行解碼，生成解碼合成深度圖；殘差影像解碼手段，其係由前述基準視點影像，將使用前述解碼合成深度圖來預測遠離前述基準視點的其他視點中的影像時的預測殘差亦即殘差影像被編碼後的殘差影像位元串流進行解碼，生成解碼殘差影像；深度圖射影手段，其係將前述解碼合成深度圖射影至作為前述多視點影像的視點而由外部所被指定的視點亦即指定視點，生成前述指定視點中的深度圖亦即指定視點深度圖；及射影影像合成手段，其係使用前述指定視點深度圖，將前述解碼基準視點影像及前述解碼殘差影像射影至前述 指定視點的影像進行合成，生成前述指定視點中的影像亦即指定視點影像。
  22. 如申請專利範圍第21項所述的立體影像解碼裝置，其中，前述合成深度圖係將前述基準視點深度圖與複數前述副視點深度圖射影至共通視點所被合成的前述共通視點中的1個深度圖，另外包括殘差影像分離手段，其係將針對前述複數副視點的複數前述殘差影像進行縮小而結合的1個圖框畫像亦即圖框化殘差影像進行分離，生成與前述基準視點影像為相同大小的前述解碼殘差影像，前述殘差影像解碼手段係將前述圖框化殘差影像被編碼後的前述殘差影像位元串流進行解碼，生成解碼圖框化殘差影像，前述殘差影像分離手段係由前述解碼圖框化殘差影像，將複數縮小的前述殘差影像進行分離，生成與前述基準視點影像為相同大小的複數前述解碼殘差影像，前述射影影像合成手段係使用前述指定視點深度圖，將前述解碼基準視點影像、及複數前述解碼殘差影像的任1個射影至前述指定視點的影像進行合成，生成前述指定視點中的影像亦即指定視點影像。
  23. 如申請專利範圍第21或22項所述的立體影像解碼裝置，其中，前述殘差影像位元串流係當將前述基準視點影像射影至遠離前述基準視點的其他視點時，藉由將無法射影的像素區域亦即成為遮蔽洞的像素由前述副視點影像 切出而生成的殘差影像被編碼，前述射影影像合成手段係具有：基準視點影像射影手段，其係將前述解碼基準視點影像射影至前述指定視點時，使用前述指定視點深度圖，檢測無法射影的像素區域亦即成為遮蔽洞的像素，針對未形成為前述遮蔽洞的像素，使用前述指定視點深度圖，將前述解碼基準視點影像射影至前述指定視點而設為前述指定視點影像的像素；及殘差影像射影手段，其係針對成為前述遮蔽洞的像素，使用前述指定視點深度圖，將前述解碼殘差影像射影至前述指定視點而設為前述指定視點影像的像素。
  24. 如申請專利範圍第21或22項所述的立體影像解碼裝置，其中，前述殘差影像位元串流係藉由算出使用前述解碼合成深度圖而將前述基準視點影像射影至前述副視點的影像、與前述副視點影像的每一像素的差所生成的殘差影像被編碼，前述射影影像合成手段係具有殘差加算手段，其係對使用前述指定視點深度圖而將前述解碼基準視點影像射影至前述指定視點的影像，將使用前述指定視點深度圖而將前述解碼殘差影像射影至前述指定視點的影像按每一像素進行加算而生成前述指定視點影像。
  25. 如申請專利範圍第21項所述的立體影像解碼裝置，其中，前述基準視點影像位元串流係具有依序包含預定的開始碼與識別為1視點影像的第1識別資訊的標頭， 前述深度圖位元串流係在前述開始碼與前述第1識別資訊之間，具有依序包含識別屬於關於立體影像的資料的第2識別資訊、及識別屬於前述深度圖位元串流的第3識別資訊的標頭，前述殘差影像位元串流係在前述開始碼與前述第1識別資訊之間，具有依序包含前述第2識別資訊、及識別屬於前述殘差影像位元串流的第4識別資訊的標頭，前述輔助資訊位元串流係具有依序包含前述開始碼、前述第2識別資訊、及識別屬於前述輔助資訊位元串流的第5識別資訊的標頭，另外包括位元串流分離手段，其係將前述基準視點影像位元串流、前述深度圖位元串流、前述殘差影像位元串流、及包括包含表示前述基準視點及前述副視點的各位置的資訊的輔助資訊的位元串流被多工化後的多工化位元串流，分離成前述基準視點影像位元串流、前述深度圖位元串流、前述殘差影像位元串流、及前述輔助資訊，前述位元串流分離手段係具有：基準視點影像位元串流分離手段，其係由前述多工化位元串流，將在前述開始碼之後馬上具有前述第1識別資訊的位元串流作為前述基準視點影像位元串流來進行分離，將分離後的基準視點影像位元串流輸出至前述基準視點影像解碼手段；深度圖位元串流分離手段，其係由前述多工化位元串流，將在前述開始碼之後馬上依序具有前述第2識別資訊 與前述第3識別資訊的位元串流作為前述深度圖位元串流來進行分離，將由該位元串流將前述第2識別資訊及前述第3識別資訊去除後的位元串流輸出至前述深度圖解碼手段；殘差影像位元串流分離手段，其係由前述多工化位元串流，將在前述開始碼之後馬上依序具有前述第2識別資訊與前述第4識別資訊的位元串流作為前述殘差影像位元串流來進行分離，將由該位元串流將前述第2識別資訊及前述第4識別資訊去除後的位元串流輸出至前述殘差影像解碼手段；及輔助資訊分離手段，其係由前述多工化位元串流，將在前述開始碼之後馬上依序具有前述第2識別資訊與前述第5識別資訊的位元串流作為前述輔助資訊位元串流來進行分離，將由該位元串流將前述第2識別資訊及前述第5識別資訊去除後的位元串流作為輔助資訊而輸出至前述射影影像合成手段。
  26. 一種立體影像編碼方法，將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖進行編碼，其特徵在於包含：基準視點影像編碼處理步驟，其係將前述多視點影像的基準視點中的影像亦即基準視點影像進行編碼，作為基準視點影像位元串流來進行輸出；深度圖合成處理步驟，其係將前述基準視點中的深度 圖亦即基準視點深度圖、及由前述多視點影像的前述基準視點遠離的其他視點亦即副視點中的深度圖亦即副視點深度圖射影至預定的視點來進行合成，生成前述預定的視點中的深度圖亦即合成深度圖；深度圖編碼處理步驟，其係將前述合成深度圖進行編碼，作為深度圖位元串流來進行輸出；深度圖解碼處理步驟，其係將前述經編碼的合成深度圖進行解碼，生成解碼合成深度圖；射影影像預測處理步驟，其係使用前述解碼合成深度圖，生成由前述基準視點影像預測其他視點中的影像時的預測殘差亦即殘差影像；及殘差影像編碼處理步驟，其係將前述殘差影像進行編碼，作為殘差影像位元串流來進行輸出。
  27. 如申請專利範圍第26項所述的立體影像編碼方法，其中，前述基準視點影像位元串流、前述深度圖位元串流、及前述殘差影像位元串流係分別具有依序包含預定的開始碼、及識別屬於1視點影像的第1識別資訊的標頭，另外包含位元串流多工化處理步驟，其係將包含表示前述基準視點及前述副視點的各位置的資訊的輔助資訊、前述基準視點影像位元串流、前述深度圖位元串流、及前述殘差影像位元串流進行多工化，作為多工化位元串流來進行輸出，前述位元串流多工化處理步驟係：針對前述基準視點影像位元串流係照原樣地輸出， 針對前述深度圖位元串流，係在前述開始碼與前述第1識別資訊之間，依序插入識別屬於關於立體影像的資料的第2識別資訊、及識別屬於前述深度圖位元串流的第3識別資訊來進行輸出，針對前述殘差影像位元串流，係在前述開始碼與前述第1識別資訊之間，依序插入前述第2識別資訊、及識別屬於前述殘差影像位元串流的第4識別資訊來進行輸出，針對前述輔助資訊，係將依序包含前述開始碼、前述第2識別資訊、識別屬於前述輔助資訊的第5識別資訊的標頭附加在前述輔助資訊來進行輸出。
  28. 一種立體影像解碼方法，將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖被編碼後的位元串流進行解碼而生成多視點影像，其特徵在於包含：基準視點影像解碼處理步驟，其係將前述多視點影像的基準視點中的影像亦即基準視點影像被編碼後的基準視點影像位元串流進行解碼，生成解碼基準視點影像；深度圖解碼處理步驟，其係將前述基準視點中的深度圖亦即基準視點深度圖、及由前述多視點影像的前述基準視點遠離的其他視點亦即副視點中的深度圖亦即副視點深度圖進行合成所生成的預定的視點中的深度圖亦即合成深度圖被編碼後的深度圖位元串流進行解碼，生成解碼合成深度圖； 殘差影像解碼處理步驟，其係由前述基準視點影像，將使用前述解碼合成深度圖來預測遠離前述基準視點的其他視點中的影像時的預測殘差亦即殘差影像被編碼後的殘差影像位元串流進行解碼，生成解碼殘差影像；深度圖射影處理步驟，其係將前述解碼合成深度圖射影至作為前述多視點影像的視點而被外部所被指定的視點亦即指定視點，生成前述指定視點中的深度圖亦即指定視點深度圖；及射影影像合成處理步驟，其係使用前述指定視點深度圖，將前述解碼基準視點影像及前述解碼殘差影像射影至前述指定視點的影像進行合成，生成前述指定視點中的影像亦即指定視點影像。
  29. 如申請專利範圍第28項所述的立體影像解碼方法，其中，前述基準視點影像位元串流係具有依序包含預定的開始碼、及識別屬於1視點影像的第1識別資訊的標頭，前述深度圖位元串流係在前述開始碼與前述第1識別資訊之間，具有依序包含識別屬於關於立體影像的資料的第2識別資訊、及識別屬於前述深度圖位元串流的第3識別資訊的標頭，前述殘差影像位元串流係在前述開始碼與前述第1識別資訊之間，具有依序包含前述第2識別資訊、及識別屬於前述殘差影像位元串流的第4識別資訊的標頭，前述輔助資訊位元串流係具有依序包含前述開始碼、 前述第2識別資訊、及識別屬於前述輔助資訊位元串流的第5識別資訊的標頭，另外包含位元串流分離處理步驟，其係將前述基準視點影像位元串流、前述深度圖位元串流、前述殘差影像位元串流、及包括包含表示前述基準視點及前述副視點的各位置的資訊的輔助資訊的位元串流被多工化後的多工化位元串流，分離成前述基準視點影像位元串流、前述深度圖位元串流、前述殘差影像位元串流、及前述輔助資訊，前述位元串流分離步驟係由前述多工化位元串流，將在前述開始碼之後馬上具有前述第1識別資訊的位元串流作為前述基準視點影像位元串流來進行分離，在前述基準視點影像解碼處理步驟使用分離後的基準視點影像位元串流，由前述多工化位元串流，將在前述開始碼之後馬上依序具有前述第2識別資訊與前述第3識別資訊的位元串流作為前述深度圖位元串流來進行分離，在前述深度圖解碼處理步驟使用由該位元串流將前述第2識別資訊及前述第3識別資訊去除後的位元串流，由前述多工化位元串流，將在前述開始碼之後馬上依序具有前述第2識別資訊與前述第4識別資訊的位元串流作為前述殘差影像位元串流來進行分離，在前述殘差影像解碼處理步驟使用由該位元串流將前述第2識別資訊及前述第4識別資訊去除後的位元串流，由前述多工化位元串流，將在前述開始碼之後馬上依 序具有前述第2識別資訊與前述第5識別資訊的位元串流作為前述輔助資訊位元串流來進行分離，在前述射影影像合成處理步驟使用由該位元串流將前述第2識別資訊及前述第5識別資訊去除後的位元串流來作為輔助資訊。
  30. 一種立體影像編碼程式，為了將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的資訊的圖亦即深度圖進行編碼，而使電腦作為以下手段來發揮功能：基準視點影像編碼手段，其係將前述多視點影像的基準視點中的影像亦即基準視點影像進行編碼，作為基準視點影像位元串流來進行輸出；深度圖合成手段，其係將前述基準視點中的深度圖亦即基準視點深度圖、及由前述多視點影像的前述基準視點遠離的其他視點亦即副視點中的深度圖亦即副視點深度圖射影至預定的視點來進行合成，生成前述預定的視點中的深度圖亦即合成深度圖；深度圖編碼手段，其係將前述合成深度圖進行編碼，作為深度圖位元串流來進行輸出；深度圖解碼手段，其係將前述經編碼的合成深度圖進行解碼，生成解碼合成深度圖；射影影像預測手段，其係使用前述解碼合成深度圖，生成由前述基準視點影像預測其他視點中的影像時的預測殘差亦即殘差影像；殘差影像編碼手段，其係將前述殘差影像進行編碼， 作為殘差影像位元串流來進行輸出。
  31. 如申請專利範圍第30項所述的立體影像編碼程式，其中，前述基準視點影像位元串流、前述深度圖位元串流、及前述殘差影像位元串流係分別具有依序包含預定的開始碼、及識別屬於1視點影像的第1識別資訊的標頭，另外作為位元串流多工化手段來發揮功能，其係將包含表示前述基準視點及前述副視點的各位置的資訊的輔助資訊、前述基準視點影像位元串流、前述深度圖位元串流、及前述殘差影像位元串流進行多工化，作為多工化位元串流來進行輸出，前述位元串流多工化手段係：針對前述基準視點影像位元串流係照原樣地輸出，針對前述深度圖位元串流，係在前述開始碼與前述第1識別資訊之間，依序插入識別屬於關於立體影像的資料的第2識別資訊、及識別屬於前述深度圖位元串流的第3識別資訊來進行輸出，針對前述殘差影像位元串流，係在前述開始碼與前述第1識別資訊之間，依序插入前述第2識別資訊、及識別屬於前述殘差影像位元串流的第4識別資訊來進行輸出，針對前述輔助資訊，係將依序包含：前述開始碼、前述第2識別資訊、及識別屬於前述輔助資訊的第5識別資訊的標頭附加至前述輔助資訊來進行輸出。
  32. 一種立體影像解碼程式，為了將多視點影像、及前述多視點影像中的視點間的視差亦即深度值的每一像素的 資訊的圖亦即深度圖被編碼後的位元串流進行解碼而生成多視點影像，使電腦作為以下手段來發揮功能：基準視點影像解碼手段，其係將前述多視點影像的基準視點中的影像亦即基準視點影像被編碼後的基準視點影像位元串流進行解碼，生成解碼基準視點影像；深度圖解碼手段，其係將前述基準視點中的深度圖亦即基準視點深度圖、及由前述多視點影像的前述基準視點遠離的其他視點亦即副視點中的深度圖亦即副視點深度圖進行合成所生成的預定的視點中的深度圖亦即合成深度圖被編碼後的深度圖位元串流進行解碼，生成解碼合成深度圖；殘差影像解碼手段，其係由前述基準視點影像，將使用前述解碼合成深度圖來預測遠離前述基準視點的其他視點中的影像時的預測殘差亦即殘差影像被編碼後的殘差影像位元串流進行解碼，生成解碼殘差影像；深度圖射影手段，其係將前述解碼合成深度圖射影至作為前述多視點影像的視點而由外部所被指定的視點亦即指定視點，生成前述指定視點中的深度圖亦即指定視點深度圖；射影影像合成手段，其係使用前述指定視點深度圖，將前述解碼基準視點影像及前述解碼殘差影像射影至前述指定視點的影像進行合成，生成前述指定視點中的影像亦即指定視點影像。
  33. 如申請專利範圍第32項所述的立體影像解碼程 式，其中，前述基準視點影像位元串流係具有依序包含預定的開始碼、及識別屬於1視點影像的第1識別資訊的標頭，前述深度圖位元串流係在前述開始碼與前述第1識別資訊之間，具有依序包含識別屬於關於立體影像的資料的第2識別資訊、及識別屬於前述深度圖位元串流的第3識別資訊的標頭，前述殘差影像位元串流係在前述開始碼與前述第1識別資訊之間，具有依序包含：前述第2識別資訊、及識別屬於前述殘差影像位元串流的第4識別資訊的標頭，前述輔助資訊位元串流係具有依序包含前述開始碼、前述第2識別資訊、及識別屬於前述輔助資訊位元串流的第5識別資訊的標頭，另外作為位元串流分離手段而發揮功能，其係將前述基準視點影像位元串流、前述深度圖位元串流、前述殘差影像位元串流、及包括包含表示前述基準視點及前述副視點的各位置的資訊的輔助資訊的位元串流被多工化後的多工化位元串流，分離成前述基準視點影像位元串流、前述深度圖位元串流、前述殘差影像位元串流、及前述輔助資訊，前述位元串流分離手段係由前述多工化位元串流，將在前述開始碼之後馬上具有前述第1識別資訊的位元串流作為前述基準視點影像位元串流來進行分離，將所分離的基準視點影像位元串流輸出至前述基準視點影像解碼手 段，由前述多工化位元串流，將在前述開始碼之後馬上依序具有前述第2識別資訊與前述第3識別資訊的位元串流作為前述深度圖位元串流來進行分離，將由該位元串流將前述第2識別資訊及前述第3識別資訊去除後的位元串流輸出至前述深度圖解碼手段，由前述多工化位元串流，將在前述開始碼之後馬上依序具有前述第2識別資訊與前述第4識別資訊的位元串流作為前述殘差影像位元串流來進行分離，由該位元串流將前述第2識別資訊及前述第4識別資訊去除後的位元串流輸出至前述殘差影像解碼手段，由前述多工化位元串流，將在前述開始碼之後馬上依序具有前述第2識別資訊與前述第5識別資訊的位元串流作為前述輔助資訊位元串流來進行分離，將由該位元串流將前述第2識別資訊及前述第5識別資訊去除後的位元串流作為輔助資訊而輸出至前述射影影像合成手段。
TW101138183A 2011-11-14 2012-10-17 Dimensional image coding apparatus, stereoscopic image decoding apparatus, stereo image coding method, stereo image decoding method, stereo image coding program, and stereo image decoding program TWI549475B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011248176 2011-11-14
PCT/JP2012/076045 WO2013073316A1 (ja) 2011-11-14 2012-10-05 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム

Publications (2)

Publication Number Publication Date
TW201322736A true TW201322736A (zh) 2013-06-01
TWI549475B TWI549475B (zh) 2016-09-11

Family

ID=48429386

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101138183A TWI549475B (zh) 2011-11-14 2012-10-17 Dimensional image coding apparatus, stereoscopic image decoding apparatus, stereo image coding method, stereo image decoding method, stereo image coding program, and stereo image decoding program

Country Status (7)

Country Link
US (1) US20140376635A1 (zh)
EP (1) EP2797327A4 (zh)
JP (1) JP6095067B2 (zh)
KR (1) KR20140092910A (zh)
CN (1) CN104041024B (zh)
TW (1) TWI549475B (zh)
WO (1) WO2013073316A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9865083B2 (en) * 2010-11-03 2018-01-09 Industrial Technology Research Institute Apparatus and method for inpainting three-dimensional stereoscopic image
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
JP6150277B2 (ja) * 2013-01-07 2017-06-21 国立研究開発法人情報通信研究機構 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
WO2014183787A1 (en) * 2013-05-14 2014-11-20 Huawei Technologies Co., Ltd. Method and apparatus for computing a synthesized picture
JP2014235615A (ja) * 2013-06-03 2014-12-15 富士通株式会社 画像処理装置、画像処理回路、画像処理プログラム、及び画像処理方法
KR20150010660A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 인터 레이어 비디오 복호화 및 부호화 장치 및 방법을 위한 깊이 영상의 화면내 예측 방법
CN104756489B (zh) * 2013-07-29 2018-01-23 北京大学深圳研究生院 一种虚拟视点合成方法及系统
KR102156402B1 (ko) * 2013-11-05 2020-09-16 삼성전자주식회사 영상 처리 방법 및 장치
KR102350235B1 (ko) * 2014-11-25 2022-01-13 삼성전자주식회사 영상 처리 방법 및 장치
US20170339380A1 (en) * 2014-12-10 2017-11-23 Nec Corporation Video generating device, video output device, video output system, video generating method,video output method, video output system control method, and recording medium
EP3035688B1 (en) * 2014-12-18 2019-07-31 Dolby Laboratories Licensing Corporation Encoding and decoding of 3d hdr images using a tapestry representation
US10567739B2 (en) * 2016-04-22 2020-02-18 Intel Corporation Synthesis of transformed image views
CN114531590A (zh) 2016-10-04 2022-05-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
US12022199B2 (en) 2016-10-06 2024-06-25 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
EP3432581A1 (en) * 2017-07-21 2019-01-23 Thomson Licensing Methods, devices and stream for encoding and decoding volumetric video
JP6980496B2 (ja) * 2017-11-21 2021-12-15 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
EP3499896A1 (en) * 2017-12-18 2019-06-19 Thomson Licensing Method and apparatus for generating an image, and corresponding computer program product and non-transitory computer-readable carrier medium
EP3691277A1 (en) * 2019-01-30 2020-08-05 Ubimax GmbH Computer-implemented method and system of augmenting a video stream of an environment
WO2021122983A1 (en) * 2019-12-20 2021-06-24 Interdigital Vc Holdings France A method and apparatus for coding and decoding volumetric video with view-driven specularity
CN116710962A (zh) * 2020-12-14 2023-09-05 浙江大学 图像填充方法及装置、解码方法及装置、电子设备及介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3769850B2 (ja) * 1996-12-26 2006-04-26 松下電器産業株式会社 中間視点画像生成方法および視差推定方法および画像伝送方法
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
KR100751422B1 (ko) * 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
US7324594B2 (en) * 2003-11-26 2008-01-29 Mitsubishi Electric Research Laboratories, Inc. Method for encoding and decoding free viewpoint videos
JP4706068B2 (ja) * 2007-04-13 2011-06-22 国立大学法人名古屋大学 画像情報処理方法及び画像情報処理システム
KR101483660B1 (ko) * 2007-07-26 2015-01-16 코닌클리케 필립스 엔.브이. 깊이－관련 정보 전파를 위한 방법 및 장치
CN101453662B (zh) * 2007-12-03 2012-04-04 华为技术有限公司 立体视频通信终端、系统及方法
JP4838275B2 (ja) * 2008-03-03 2011-12-14 日本電信電話株式会社 距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
KR20110039537A (ko) * 2008-07-21 2011-04-19 톰슨 라이센싱 3ｄ 비디오 신호들을 위한 멀티 표준 코딩 장치
KR101468267B1 (ko) * 2008-10-02 2014-12-15 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
JP2010157821A (ja) 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
US9648346B2 (en) * 2009-06-25 2017-05-09 Microsoft Technology Licensing, Llc Multi-view video compression and streaming based on viewpoints of remote viewer
WO2011046607A2 (en) * 2009-10-14 2011-04-21 Thomson Licensing Filtering and edge encoding
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
US9451232B2 (en) * 2011-09-29 2016-09-20 Dolby Laboratories Licensing Corporation Representation and coding of multi-view images using tapestry encoding

Also Published As

Publication number Publication date
KR20140092910A (ko) 2014-07-24
EP2797327A1 (en) 2014-10-29
CN104041024A (zh) 2014-09-10
US20140376635A1 (en) 2014-12-25
JPWO2013073316A1 (ja) 2015-04-02
EP2797327A4 (en) 2015-11-18
CN104041024B (zh) 2016-03-16
WO2013073316A1 (ja) 2013-05-23
JP6095067B2 (ja) 2017-03-15
TWI549475B (zh) 2016-09-11

Similar Documents

Publication Publication Date Title
TWI549475B (zh) Dimensional image coding apparatus, stereoscopic image decoding apparatus, stereo image coding method, stereo image decoding method, stereo image coding program, and stereo image decoding program
KR101468267B1 (ko) 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
KR101185870B1 (ko) 3ｄ 입체 영상 처리 장치 및 방법
US8422801B2 (en) Image encoding method for stereoscopic rendering
Mueller et al. View synthesis for advanced 3D video systems
RU2497196C2 (ru) Способ и устройство для обработки карты глубины
JP6150277B2 (ja) 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
US8780173B2 (en) Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
JP5584292B2 (ja) 相対的奥行きを持たせた立体画像への３ｄオブジェクトの組み入れ
US10158838B2 (en) Methods and arrangements for supporting view synthesis
WO2012111756A1 (ja) 画像処理装置および画像処理方法
US8941718B2 (en) 3D video processing apparatus and 3D video processing method
JP2014132722A (ja) 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
Salman et al. Overview: 3D Video from capture to Display
KR20120089605A (ko) 깊이 정보를 강화 계층으로 이용하기 위한 방법 및 시스템

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees