JPWO2012111755A1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

本技術は、低解像度化されたデプス画像が送信される場合において、受信側で、デプス画像のワーピング処理を正確に行うことができるようにする画像処理装置および画像処理方法に関する。視差画像生成部は、視差画像Ｂ１’，Ｃ１’を低解像度化する。境界情報生成部は、視差画像Ｂ１’，Ｃ１’の境界情報を生成する。多重化部は、低解像度化された視差画像Ｂ１’，Ｃ１’と境界情報を含む多重化ストリームを伝送する。本技術は、例えば、メガネ無し方式の３Ｄ画像を符号化する符号化装置に適用することができる。

Description

本技術は、画像処理装置および画像処理方法に関し、特に、低解像度化されたデプス画像が送信される場合において、受信側で、デプス画像のワーピング処理を正確に行うことができるようにした画像処理装置および画像処理方法に関する。

現在、３Ｄ画像の視聴方式としては、２視点の画像のうちの一方の画像の表示時に左目用のシャッタが開き、他方の画像の表示時に右目用のシャッタが開くメガネを装着して、交互に表示される２視点の画像を見る方式（以下、メガネ有り方式という）が一般的である。

しかしながら、このようなメガネ有り方式では、視聴者は、３Ｄ画像の表示装置とは別にメガネを購入する必要があり、視聴者の購買意欲は低下する。また、視聴者は、視聴時にメガネを装着する必要があるため、煩わしい。従って、メガネを装着せずに３Ｄ画像を視聴可能な視聴方式（以下、メガネ無し方式という）の需要が高まっている。

メガネ無し方式では、３視点以上の視点の画像が、視点ごとに視認可能な角度が異なるように表示され、視聴者が、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。

メガネ無し方式の視聴を提供する復号装置は、例えば、２視点の画像から３視点以上の視点（以下では、３視点以上の視点を多視点という）の画像を生成し、表示する。具体的には、符号化装置が、２視点の画像の視差(depth)値を求め、その視差値を輝度値等で表す視差画像（デプス画像）を復号装置に伝送する。そして、復号装置は、受信された２視点の画像の視差画像のワーピング処理を行うことにより多視点の視差画像を生成し、その多視点の視差画像を用いて２視点の画像のワーピング処理を行うことにより多視点の画像を生成し、合成して表示する。

なお、ワーピング処理とは、所定の視点の視差画像（または画像）の各画素の視差値（または画素値）を、その画素に対応する、仮想視点の視差画像（または画像）上の画素の視差値（または画素値）とする処理である。

また、既存の画像の符号化方式としては、AVC（Advanced Video Coding）やMVC（Multiview Video Coding）方式がある。さらに、多視点の画像を符号化する方式も考案されている（例えば、特許文献１参照）。

特開２００８−１８２６６９号公報

ところで、メガネ無し方式の視聴を提供する復号装置に対応する符号化装置が、視差画像を低解像度化することにより、視差画像のデータ量を削減する場合、復号装置は、受信された視差画像を高解像度化し、低解像度化前の視差画像を生成する必要がある。

しかしながら、低解像度化された視差画像を高解像度化し、低解像度化前の視差画像を生成することは困難である。特に、視差値が大きく変化する境界位置では、低解像度化前の視差値と高解像度化後の視差値の誤差が大きくなる。その結果、復号装置において、視差画像のワーピング処理を正確に行うことができなかった。

本技術は、このような状況に鑑みてなされたものであり、低解像度化されたデプス画像が送信される場合において、受信側で、デプス画像のワーピング処理を正確に行うことができるようにするものである。

本技術の第１の側面の画像処理装置は、デプス画像を低解像度化する低解像度化部と、前記デプス画像の画素値が変化する位置である境界位置に隣接する画素を示す境界情報を生成する生成部と、前記低解像度化部により低解像度化された前記デプス画像と、前記生成部により生成された前記境界情報とを伝送する伝送部とを備える画像処理装置である。

本技術の第１の側面の画像処理方法は、本技術の第１の側面の画像処理装置に対応する。

本技術の第１の側面においては、デプス画像が低解像度化され、前記デプス画像の画素値が変化する位置である境界位置に隣接する画素を示す境界情報が生成され、低解像度化された前記デプス画像と前記境界情報とが伝送される。

本技術の第２の側面の画像処理装置は、低解像度化されたデプス画像と、前記デプス画像の画素値が変化する位置である境界位置に隣接する画素を示す境界情報とを受け取る受け取り部と、前記受け取り部により受け取られた前記デプス画像を高解像度化する高解像度化部と、前記受け取り部により受け取られた前記境界情報と仮想視点の位置とに基づいて、前記高解像度化部により高解像度化された前記デプス画像に対してワーピング処理を行うことにより、前記仮想視点のデプス画像を生成するデプス画像ワーピング処理部とを備える画像処理装置である。

本技術の第２の側面の画像処理方法は、本技術の第２の側面の画像処理装置に対応する。

本技術の第２の側面においては、低解像度化されたデプス画像と、前記デプス画像の画素値が変化する位置である境界位置に隣接する画素を示す境界情報とが受け取られ、受け取られた前記デプス画像が高解像度化され、受け取られた前記境界情報と仮想視点の位置とに基づいて、高解像度化された前記デプス画像に対してワーピング処理が行われることにより、前記仮想視点のデプス画像が生成される。

なお、第１の側面の画像処理装置および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、第１の側面の画像処理装置および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本技術の第１の側面によれば、受信側で、デプス画像のワーピング処理を正確に行うことができるように、低解像度化されたデプス画像を送信することができる。

また、本技術の第２の側面によれば、低解像度化されたデプス画像が送信されてくる場合において、デプス画像のワーピング処理を正確に行うことができる。

本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。 境界情報の例を示す図である。 図１の符号化装置による符号化処理を説明するフローチャートである。 図１の符号化装置による符号化処理を説明するフローチャートである。 図４の境界情報生成処理の詳細を説明するフローチャートである。 図１の符号化装置に対応する復号装置の構成例を示す図である。 図６の３Ｄ画像生成部の詳細構成例を示すブロック図である。 仮想視点の画像の生成を説明する図である。 視差画像のワーピング処理を説明する図である。 低解像度化される前の視差画像と、その視差画像のワーピング処理結果を示す図である。 低解像度化された視差画像、高解像度化された視差画像、ワーピング処理時の視差画像、および、その視差画像のワーピング処理結果を示す図である。 高解像度化された視差画像と、その視差画像のワーピング処理結果を示す図である。 図６の復号装置による復号処理を説明するフローチャートである。 図１３の多視点画像生成処理の詳細を説明するフローチャートである。 本技術を適用した符号化装置の第２実施の形態の構成例を示すブロック図である。 図１５の符号化装置の境界情報生成処理を説明するフローチャートである。 図１５の符号化装置に対応する復号装置の構成例を示す図である。 図１７の３Ｄ画像生成部の詳細構成例を示すブロック図である。 境界情報および左側境界情報に基づく視差画像のワーピング処理を説明する図である。 図１７の復号装置の多視点画像生成処理を説明するフローチャートである。 本技術を適用した符号化装置の第３実施の形態の構成例を示すブロック図である。 視差画像の低解像度化を説明する図である。 図２１の符号化装置による符号化処理を説明するフローチャートである。 図２１の符号化装置による符号化処理を説明するフローチャートである。 図２１の符号化装置に対応する復号装置の構成例を示す図である。 図２５の３Ｄ画像生成部の詳細構成例を示すブロック図である。 視差画像の高解像度化を説明する図である。 図２５の復号装置による復号処理を説明するフローチャートである。 図２８の多視点画像生成処理の詳細を説明するフローチャートである。 視差と奥行きについて説明する図である。 コンピュータの一実施の形態の構成例を示す図である。 本技術を適用したテレビジョン装置の概略構成を示す図である。 本技術を適用した携帯電話機の概略構成を示す図である。 本技術を適用した記録再生装置の概略構成を示す図である。 本技術を適用した撮像装置の概略構成を示す図である。

＜本明細書におけるデプス画像（視差画像）の説明＞
図３０は、視差と奥行きについて説明する図である。

図３０に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（ａ）で定義される。

・・・（ａ）

なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影された撮影画像上の被写体Ｍの位置の、撮影画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影された撮影画像上の被写体Ｍの位置の、撮影画像の中心からの水平方向の距離ｕ２を減算した値、即ち視差である。さらに、fは、カメラｃ１の焦点距離であり、式（ａ）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。

式（ａ）に示すように、視差ｄと奥行きＺは、一意に変換可能である。従って、本明細書では、カメラｃ１とカメラｃ２により撮影された２視点のカラー画像の視差ｄを表す画像と奥行きＺを表す画像とを総称して、デプス画像（視差画像）とする。

なお、デプス画像（視差画像）は、視差ｄまたは奥行きＺを表す画像であればよく、デプス画像（視差画像）の画素値としては、視差ｄまたは奥行きＺそのものではなく、視差ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。

視差ｄを8bit（0〜255）で正規化した値Ｉは、以下の式（ｂ）により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。

なお、式（ｂ）において、Ｄ_ｍａｘは、視差ｄの最大値であり、Ｄ_ｍｉｎは、視差ｄの最小値である。最大値Ｄ_ｍａｘと最小値Ｄ_ｍｉｎは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。

また、奥行きＺの逆数１／Ｚを8bit（0〜255）で正規化した値ｙは、以下の式（ｃ）により求めることができる。なお、奥行きＺの逆数１／Ｚの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。

なお、式（ｃ）において、Ｚ_ｆａｒは、奥行きＺの最大値であり、Ｚ_ｎｅａｒは、奥行きＺの最小値である。最大値Ｚ_ｆａｒと最小値Ｚ_ｎｅａｒは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。

このように、本明細書では、視差dと奥行きZとは一意に変換可能であることを考慮して、視差ｄを正規化した値Iを画素値とする画像と、奥行きＺの逆数１／Ｚを正規化した値yを画素値とする画像とを総称して、デプス画像（視差画像）とする。ここでは、デプス画像（視差画像）のカラーフォーマットは、YUV420又はYUV400であるものとするが、他のカラーフォーマットにすることも可能である。

なお、デプス画像（視差画像）の画素値としてではなく、値I又は値yの情報自体に着目する場合には、値I又は値yを、デプス情報（視差情報）とする。更に、値I又は値yをマッピングしたものをデプスマップ（視差マップ）とする。

＜第１実施の形態＞
［符号化装置の第１実施の形態の構成例］
図１は、本技術を適用した画像処理装置としての符号化装置の第１実施の形態の構成例を示すブロック図である。

図１の符号化装置５０は、撮影部５１Ａ乃至５１Ｃ、画像変換部５２、視差画像生成部５３、画像情報生成部５４、互換情報生成部５５、撮影情報生成部５６、視差画像多重化情報生成部５７、境界情報生成部５８、エンコーダ５９、および多重化部６０により構成される。

符号化装置５０は、視差画像を低解像度化して符号化し、視差画像の視差値が大きく変化する位置である境界位置に隣接する画素であるかどうかを示す情報である境界情報（is_depth_edge）を付加して伝送する。

具体的には、符号化装置５０において、撮影部５１Ａは、所定の視点のHD（High Definition）画像を視点画像Ａ１として撮影し、画像変換部５２、視差画像生成部５３、および撮影情報生成部５６に供給する。撮影部５１Ｂは、撮影部５１Ａから距離Δｄ１_ＡＢだけ水平方向に離れた位置で、視点画像Ａ１とは異なる視点のHD画像を視点画像Ｂ１として撮影し、画像変換部５２、視差画像生成部５３、および撮影情報生成部５６に供給する。撮影部５１Ｃは、撮影部５１Ａから距離Δｄ１_ＡＣだけ撮影部５１Ａとは反対の水平方向に離れた位置で、視点画像Ａ１および視点画像Ｂ１とは異なる視点のHD画像を視点画像Ｃ１として撮影し、画像変換部５２、視差画像生成部５３、および撮影情報生成部５６に供給する。

なお、視点画像Ｂ１と視点画像Ｃ１に対応する視点は、３Ｄ画像として知覚可能な画像の視点のうち、より外側の視点である。これにより、符号化装置５０に対応する復号装置は、視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ｂ１および視点画像Ｃ１の視点より内側の視点の画像を補間することで、多視点の画像を生成することができる。その結果、内側の視点の画像を用いて外側の視点の画像を補間する場合に比べて、多視点の画像を高精度に生成することができる。距離Δｄ１_ＡＢと距離Δｄ１_ＡＣは、固定であってもよいし、時間ごとに変化するようにしてもよい。

画像変換部５２は、撮影部５１Ａ乃至撮影部５１Ｃのうちの水平方向の位置が内側にある撮影部５１Ａから供給される視点画像Ａ１を互換画像に決定する。なお、互換画像とは、多視点の画像のうちの、既存の符号化装置との互換性を確保するために既存の符号化方式で符号化される画像である。画像変換部５２は、互換画像として視点画像Ａ１を指定する情報を互換情報生成部５５に供給し、互換画像である視点画像Ａ１をそのままエンコーダ５９に供給する。

また、画像変換部５２は、視点画像Ａ１以外の視点画像Ｂ１および視点画像Ｃ１を補助画像とする。なお、補助画像とは、互換画像を用いて互換画像の視点数より多い視点の画像を生成するための画像である。画像変換部５２は、所定の多重化方式に基づいて、補助画像である視点画像Ｂ１および視点画像Ｃ１を低解像度化して多重化する。具体的には、例えば多重化方式がサイドバイサイド方式である場合、画像変換部５２は、視点画像Ｂ１および視点画像Ｃ１の解像度を半分にする。そして、画像変換部５２は、解像度が半分にされた視点画像Ｂ１（以下、1/2解像度視点画像Ｂ１という）が画面の左半分の画像となり、解像度が半分にされた視点画像Ｃ１（以下、1/2解像度視点画像Ｃ１という）が画面の右半分の画像となるように、1/2解像度視点画像Ｂ１および1/2解像度視点画像Ｃ１を多重化する。画像変換部５２は、多重化の結果得られる多重化画像をエンコーダ５９に供給し、補助画像の多重化方式を示す情報を画像情報生成部５４に供給する。

視差画像生成部５３は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ａ１乃至視点画像Ｃ１の各画素の視差値を検出する。視差画像生成部５３は、互換画像である視点画像Ａ１の各画素の視差値を表す視差画像Ａ１’を生成し、エンコーダ５９に供給する。

また、視差画像生成部５３は、補助画像である視点画像Ｂ１の各画素の視差値を表す視差画像Ｂ１’と、補助画像である視点画像Ｃ１の各画素の視差値を表す視差画像Ｃ１’を生成し、境界情報生成部５８に供給する。さらに、視差画像生成部５３は、低解像度化部として機能し、所定の多重化方式に基づいて、視差画像Ｂ１’と視差画像Ｃ１’を低解像度化して多重化し、その結果得られる多重化画像をエンコーダ５９に供給する。視差画像生成部５３は、補助画像の視差画像の多重化方式を示す情報を視差画像多重化情報生成部５７に供給する。

画像情報生成部５４は、画像変換部５２から供給される情報に基づいて、補助画像の多重化方式を示す情報などを、互換画像および補助画像に関する情報である画像情報として生成し、エンコーダ５９に供給する。

互換情報生成部５５は、画像変換部５２から供給される情報に基づいて、互換画像を指定する情報、互換モードなどを、互換に関する情報である互換情報として生成し、エンコーダ５９に供給する。

なお、互換モードとは、互換画像の符号化方法を表すモードである。互換モードとしては、例えば、１視点の互換画像をAVC方式で符号化する符号化方法を表すモノモード(mono)、２視点の互換画像を多重化し、AVC方式で符号化する符号化方法を表すフレームパッキングモード(frame packing)、２視点の互換画像をMVC方式で符号化する符号化方法を表すステレオモード(stereo)などがある。

撮影情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ａ１乃至視点画像Ｃ１のうちの２枚の視点画像の視点間の距離（以下、視点間距離という）を検出する。具体的には、撮影情報生成部５６は、撮影部５１Ａと撮影部５１Ｂの間の水平方向の距離Δｄ１_ＡＢ、および、撮影部５１Ａと撮影部５１Ｃの間の水平方向の距離Δｄ１_ＡＣを視点間距離として検出する。

また、撮影情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから、撮影部５１Ａ乃至撮影部５１Ｃの内部パラメータとワーピング処理用の回転行列を取得する。なお、内部パラメータとしては、焦点距離、画像中心である主点(レンズの光学的な中心)の位置、半径方向の歪み係数などがある。撮影情報生成部５６は、視点間距離、内部パラメータ、ワーピング処理用の回転行列などの撮影に関する情報を撮影情報として生成し、エンコーダ５９に供給する。

視差画像多重化情報生成部５７は、視差画像生成部５３から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などの視差画像の多重化に関する情報を、視差画像多重化情報として生成し、エンコーダ５９に供給する。

境界情報生成部５８は、境界検出部として機能し、視差画像生成部５３から供給される視差画像Ｂ１’および視差画像Ｃ１’から、それぞれ、境界位置を検出する。そして、境界情報生成部５８は、生成部として機能し、検出された境界位置に基づいて、画素単位またはマクロブロック単位で境界情報を生成し、エンコーダ５９に供給する。なお、マクロブロックとは、符号化の単位である。

エンコーダ５９は、互換用エンコーダ６１と補助用エンコーダ６２により構成される。互換用エンコーダ６１は、画像変換部５２から供給される互換画像の多重化画像を既存のAVC方式で符号化して各種の情報を付加し、その結果得られる符号化ストリームを互換ストリームとして多重化部６０に供給する。

補助用エンコーダ６２は、符号化部として機能し、画像変換部５２からの補助画像の多重化画像、並びに視差画像生成部５３からの互換画像の視差画像Ａ１’および補助画像の視差画像の多重化画像を所定の方式で符号化する。なお、補助用エンコーダ６２における符号化方式としては、AVC方式、MVC方式、MPEG2（Moving Picture Experts Group phase 2）方式などを用いることができる。

また、補助用エンコーダ６２は、符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、撮影情報生成部５６からの撮影情報、視差画像多重化情報生成部５７からの視差画像多重化情報、および境界情報生成部５８からの境界情報などを付加して、符号化ストリームを生成する。補助用エンコーダ６２は、その符号化ストリームを補助ストリームとして多重化部６０に供給する。

多重化部６０は、互換用エンコーダ６１から供給される互換ストリームと補助用エンコーダ６２から供給される補助ストリームから、それぞれＴＳ（Transport Stream）を生成し、多重化する。多重化部６０は、伝送部として機能し、多重化の結果得られる多重化ストリームを伝送する。

［境界情報の例］
図２は、境界情報の例を示す図である。

なお、図２において、小さい丸は画素を表し、丸の柄は視差値を表す。

図２の例の視差画像では、図２の左側に示すように、画面中央に位置する円形の領域の視差値と、その領域以外の領域の視差値が大きく異なっている。従って、画面中央に存在する円形の領域と、その領域以外の領域の境界に、境界位置が存在する。

画素単位で境界情報が生成される場合、例えば、図２の右上に示すように、境界位置に隣接する2つの画素の境界情報は、境界位置に隣接する画素であることを示す1となる。また、それ以外の画素の境界情報は、境界位置に隣接する画素ではないことを示す0となる。

一方、マクロブロック単位で境界情報が生成される場合、例えば、図２の右下に示すように、境界位置に隣接する2つの画素を含むマクロブロック（MB）の境界情報が、境界位置に隣接する画素であることを示す1となる。また、それ以外のマクロブロックの境界情報は、境界位置に隣接する画素ではないことを示す0となる。

［符号化装置の処理の説明］
図３および図４は、図１の符号化装置５０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部５１Ａ乃至撮影部５１Ｃから視点画像Ａ１乃至視点画像Ｃ１が出力されたとき開始される。

図３のステップＳ１０において、撮影情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから、撮影部５１Ａ乃至撮影部５１Ｃの内部パラメータとワーピング処理用の回転行列を取得する。

ステップＳ１１において、撮影情報生成部５６は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ａ１乃至視点画像Ｃ１のうちの２枚の視点画像の視点間距離を検出する。

ステップＳ１２において、撮影情報生成部５６は、視点間距離、内部パラメータ、ワーピング処理用の回転行列などの撮影に関する情報を撮影情報として生成し、エンコーダ５９に入力する。

ステップＳ１３において、画像変換部５２は、撮影部５１Ａ乃至撮影部５１Ｃのうちの水平方向の位置が内側にある撮影部５１Ａから供給される視点画像Ａ１を互換画像に決定し、補助画像の多重化方式を決定する。画像変換部５２は、互換画像として視点画像Ａ１を指定する情報を互換情報生成部５５に供給し、補助画像の多重化方式を画像情報生成部５４に供給する。

ステップＳ１４において、互換情報生成部５５は、画像変換部５２から供給される情報に基づいて、互換画像として視点画像Ａ１を指定する情報、互換モードとしてのモノモードなどを互換情報として生成し、エンコーダ５９に入力する。

ステップＳ１５において、画像情報生成部５４は、画像変換部５２から供給される情報に基づいて、補助画像の多重化方式を示す情報などを画像情報として生成し、エンコーダ５９に入力する。

ステップＳ１６において、画像変換部５２は、視点画像Ａ１以外の視点画像Ｂ１および視点画像Ｃ１を補助画像とし、ステップＳ１３で決定された補助画像の多重化方式に基づいて補助画像を低解像度化して多重化し、補助画像の多重化画像を得る。

ステップＳ１７において、画像変換部５２は、互換画像である視点画像Ａ１と補助画像の多重化画像をエンコーダ５９に入力する。

図４のステップＳ１８において、視差画像生成部５３は、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて視点画像Ａ１乃至視点画像Ｃ１の各画素の視差値を検出し、視差画像Ａ１’乃至視差画像Ｃ１’を生成する。そして、視差画像生成部５３は、視差画像Ｂ１’および視差画像Ｃ１’を境界情報生成部５８に供給する。

ステップＳ１９において、境界情報生成部５８は、視差画像生成部５３から供給される視差画像Ｂ１’および視差画像Ｃ１’の境界情報を生成する境界情報生成処理を行う。この境界情報生成処理の詳細は、後述する図５を参照して説明する。

ステップＳ２０において、境界情報生成部５８は、ステップＳ１９で生成された境界情報を、エンコーダ５９に入力する。

ステップＳ２１において、視差画像生成部５３は、補助画像の視差画像の多重化方式を決定し、その多重化方式を示す情報を視差画像多重化情報生成部５７に供給する。

ステップＳ２２において、視差画像多重化情報生成部５７は、視差画像生成部５３から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などを、視差画像多重化情報として生成し、エンコーダ５９に入力する。

ステップＳ２３において、視差画像生成部５３は、ステップＳ２１で決定された補助画像の視差画像の多重化方式に基づいて、補助画像の視差画像Ｂ１’と視差画像Ｃ１’を低解像度化して多重化し、補助画像の視差画像の多重化画像を得る。

ステップＳ２４において、視差画像生成部５３は、互換画像の視差画像Ａ１'と補助画像の視差画像の多重化画像をエンコーダ５９に入力する。

ステップＳ２５において、エンコーダ５９の互換用エンコーダ６１は、画像変換部５２から供給される互換画像である視点画像Ａ１を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部６０に供給する。

ステップＳ２６において、補助用エンコーダ６２は、画像変換部５２からの補助画像の多重化画像、並びに、視差画像生成部５３からの互換画像の視差画像Ａ１’および補助画像の視差画像の多重化画像を所定の方式で符号化する。

ステップＳ２７において、補助用エンコーダ６２は、ステップＳ２６の処理による符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、撮影情報生成部５６からの撮影情報、視差画像多重化情報生成部５７からの視差画像多重化情報、および境界情報生成部５８からの境界情報などを付加して、符号化ストリームを生成する。補助用エンコーダ６２は、その符号化ストリームを補助ストリームとして多重化部６０に供給する。

ステップＳ２８において、多重化部６０は、互換用エンコーダ６１から供給される互換ストリームと、補助用エンコーダ６２から供給される補助ストリームから、それぞれＴＳを生成し、多重化して送信する。そして、処理は終了する。

図５は、図４のステップＳ１９の境界情報生成処理の詳細を説明するフローチャートである。なお、図５では、画素単位で境界情報が生成される場合の境界情報生成処理について説明する。また、図５の境界情報生成処理は、視差画像ごとに行われる。

図５のステップＳ４１において、境界情報生成部５８は、視差画像生成部５３から供給される視差画像を取得する。

ステップＳ４２において、境界情報生成部５８は、視差画像の水平方向に隣接する画素どうしのうちの、まだステップＳ４２の処理の対象となっていないものの視差値の差分を求める。

ステップＳ４３において、境界情報生成部５８は、ステップＳ４２で求められた視差値の差分が所定の閾値より大きいかどうかを判定する。

ステップＳ４３で視差値の差分が所定の閾値より大きいと判定された場合、ステップＳ４４において、境界情報生成部５８は、ステップＳ４２の処理の対象である隣接する2つの画素の間を境界位置として検出し、その２つの画素の境界情報を1に設定する。

一方、ステップＳ４３で視差値の差分が所定の閾値より大きくはないと判定された場合、ステップＳ４５において、境界情報生成部５８は、ステップＳ４２の処理の対象である隣接する2つの画素の境界情報のうちの、1が設定されていない境界情報を0に設定する。

ステップＳ４４またはステップＳ４５の処理後、ステップＳ４６において、境界情報生成部５８は、視差画像の全ての水平方向に隣接する2つの画素どうしの視差値の差分を求めたかどうかを判定する。

ステップＳ４６で視差画像の全ての水平方向に隣接する画素どうしの視差値の差分をまだ求めていないと判定された場合、処理はステップＳ４２に戻り、視差画像の全ての水平方向に隣接する画素どうしの視差値の差分が求められるまで、ステップＳ４２乃至Ｓ４６の処理が繰り返される。

一方、ステップＳ４６で視差画像の全ての水平方向に隣接する画素どうしの視差値の差分を求めたと判定された場合、処理は図４のステップＳ１９に戻り、処理はステップＳ２０に進む。

なお、境界情報生成部５８は、境界情報をマクロブロック単位で生成する場合、図５の境界情報生成処理において、ステップＳ４２乃至Ｓ４６の処理をマクロブロック単位で行う。

具体的には、境界情報生成部５８は、ステップＳ４２で視差画像の所定のマクロブロック内の水平方向に隣接する画素どうしの視差値の差分を求め、ステップＳ４３で少なくとも1つの視差値の差分が所定の閾値より大きいかどうかを判定する。そして、少なくとも1つの視差値の差分が所定の閾値より大きいと判定された場合、ステップＳ４４で、境界情報生成部５８は、その差分に対応するマクロブロックの境界情報を1に設定する。一方、全ての視差値の差分が所定の閾値以下である判定された場合、ステップＳ４５で、境界情報生成部５８は、その差分に対応するマクロブロックの境界情報のうちの1が設定されていない境界情報を0に設定する。

以上のように、符号化装置５０は、視差画像を低解像度化し、低解像度化された視差画像と境界情報を送信するので、後述する復号装置において、境界情報に基づいて補助画像の視差画像のワーピング処理を行うことができる。その結果、復号装置において、後述するように、補助画像の視差画像のワーピング処理を正確に行うことができる。

また、符号化装置５０は、補助画像および補助画像の視差画像の解像度を低解像度化して符号化するので、低解像度化せずに符号化する場合に比べて、符号化対象の情報量を削減し、符号化処理および復号処理の処理コストを軽減することができる。その結果、復号装置における復号処理の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。

さらに、符号化装置５０は、多視点の画像のうちの１視点の画像を互換画像とし、既存の符号化方式で符号化するので、既存の２Ｄ画像を符号化する符号化装置との互換性を確保することができる。

また、符号化装置５０は、視差画像を生成し、符号化ストリームに含めて送信するので、符号化装置５０に対応する復号装置は、多視点の画像を生成するために視差画像を生成する必要がなく、復号装置の処理の負荷を軽減することができる。その結果、復号装置のコストを低減することができる。また、復号装置の視差検出の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。

［復号装置の構成例］
図６は、図１の符号化装置５０から送信される多重化ストリームを復号する、本技術を適用した画像処理装置としての復号装置の構成例を示す図である。

図６の復号装置１２０は、分離部１２１、デコーダ１２２、画像情報取得部１２３、撮影情報取得部１２４、視差画像多重化情報取得部１２５、互換情報取得部１２６、境界情報取得部１２７、および画像生成部１２８により構成される。復号装置１２０は、符号化装置５０から送信される多重化ストリームを復号し、境界情報に基づいて視差画像のワーピング処理を行って多視点の画像を生成し、図示せぬ表示装置に表示させる。

具体的には、復号装置１２０の分離部１２１は、受け取り部として機能し、符号化装置５０から送信されてくる多重化ストリームを受け取り、ＴＳごとに分離する。分離部１２１は、分離されたＴＳから互換ストリームと補助ストリームを抽出し、デコーダ１２２に供給する。

デコーダ１２２は、互換用デコーダ１３１と補助用デコーダ１３２により構成される。デコーダ１２２の互換用デコーダ１３１は、補助用デコーダ１３２から供給される互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。互換用デコーダ１３１は、互換情報に基づいて、互換ストリームに含まれる符号化された互換画像をAVC方式に対応する方式で復号する。互換用デコーダ１３１は、復号の結果得られる視点画像Ａ１を画像生成部１２８に供給する。

補助用デコーダ１３２は、分離部１２１から供給される補助ストリームに含まれる互換情報を互換用デコーダ１３１に供給する。補助用デコーダ１３２は、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、補助ストリームを識別する。補助用デコーダ１３２は、復号部として機能し、分離部１２１から供給される補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、図１の補助用エンコーダ６２に対応する方式で復号する。

補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を画像生成部１２８に供給する。また、補助用デコーダ１３２は、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、撮影情報を撮影情報取得部１２４に供給する。さらに、補助用デコーダ１３２は、補助ストリームに含まれる視差画像多重化情報を視差画像多重化情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。また、補助用デコーダ１３２は、補助ストリームに含まれる境界情報を境界情報取得部１２７に供給する。

画像情報取得部１２３は、補助用デコーダ１３２から供給される画像情報を取得し、画像生成部１２８に供給する。撮影情報取得部１２４は、補助用デコーダ１３２から供給される撮影情報を取得し、画像生成部１２８に供給する。

視差画像多重化情報取得部１２５は、補助用デコーダ１３２から供給される視差画像多重化情報を取得し、画像生成部１２８に供給する。互換情報取得部１２６は、補助用デコーダ１３２から供給される互換情報を取得し、画像生成部１２８に供給する。境界情報取得部１２７は、補助用デコーダ１３２から供給される境界情報を取得し、画像生成部１２８に供給する。

画像生成部１２８は、２Ｄ画像生成部１４１と３Ｄ画像生成部１４２により構成される。画像生成部１２８の２Ｄ画像生成部１４１は、視聴者からの２Ｄ画像表示指令に応じて、互換用デコーダ１３１から供給される互換画像である視点画像Ａ１を出力して、図示せぬ表示装置に表示させる。これにより、視聴者は、２Ｄ画像を見ることができる。

また、３Ｄ画像生成部１４２は、デコーダ１２２から供給される視点画像Ａ１、補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を用いて、画像情報、撮影情報、視差画像多重化情報、互換情報、境界情報等に基づいて、図示せぬ表示装置に対応する3以上の視点数の、互換画像と同一の解像度の画像を生成する。そして、３Ｄ画像生成部１４２は、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。

このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示される。視聴者は、任意の2視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。

［３Ｄ画像生成部の詳細構成例］
図７は、図６の３Ｄ画像生成部１４２の詳細構成例を示すブロック図である。

図７に示すように、３Ｄ画像生成部１４２は、仮想視点位置決定部１６０、視差画像分離部１６１、視差画像高解像度化部１６２、視差画像ワーピング処理部１６３、視差画像ワーピング処理部１６４、視点画像ワーピング処理部１６５、視点画像ワーピング処理部１６６、視点画像分離部１６７、視点画像高解像度化部１６８、多視点画像生成部１６９、および多視点画像合成処理部１７０により構成される。

３Ｄ画像生成部１４２の仮想視点位置決定部１６０は、撮影情報取得部１２４から供給される撮影情報に含まれる視点間距離と、図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の視点の位置を仮想視点の位置として決定する。そして、仮想視点位置決定部１６０は、各仮想視点の位置に基づいて、視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４のそれぞれに対して、その仮想視点の画像の生成に用いる、その仮想視点より外側の視点の視差画像を特定する情報である視差画像特定情報を生成する。なお、各仮想視点に対して、視差画像ワーピング処理部１６３に供給される視差画像特定情報と、視差画像ワーピング処理部１６４に供給される視差画像特定情報は異なるように生成される。

また、仮想視点位置決定部１６０は、各仮想視点の位置と、対応する視差画像特定情報を視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４に供給する。

視差画像分離部１６１は、互換情報取得部１２６から供給される互換情報に基づいて、デコーダ１２２から供給される互換画像の視差画像Ａ１’をそのまま視差画像高解像度化部１６２に供給する。また、視差画像分離部１６１は、デコーダ１２２から供給される補助画像の視差画像の多重化画像を、視差画像多重化情報取得部１２５から供給される視差画像多重化情報に基づいて分離する。そして、視差画像分離部１６１は、その結果得られる互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１の視差画像を視差画像高解像度化部１６２に供給する。

視差画像高解像度化部１６２は、高解像度化部として機能し、視差画像分離部１６１から供給される互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１の視差画像をそれぞれ高解像度化する。これにより、視差画像高解像度化部１６２は、互換画像と同一の解像度の視点画像Ｂ１と視点画像Ｃ１の視差画像を得る。そして、視差画像高解像度化部１６２は、得られた視点画像Ｂ１と視点画像Ｃ１の視差画像、並びに、視差画像分離部１６１から供給される視差画像Ａ１’を、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４に供給する。

視差画像ワーピング処理部１６３は、視差画像ワーピング処理部として機能する。具体的には、視差画像ワーピング処理部１６３は、仮想視点ごとに、仮想視点位置決定部１６０から供給される視差画像特定情報に基づいて、視差画像高解像度化部１６２から供給される視点画像Ｂ１および視点画像Ｃ１の視差画像並びに視差画像Ａ１’のうちの１つを選択する。視差画像ワーピング処理部１６３は、仮想視点ごとに、撮影情報取得部１２４からの撮影情報、境界情報取得部１２７からの境界情報、および、仮想視点位置決定部１６０からの仮想視点の位置に基づいて、選択された視差画像のワーピング処理を行う。視差画像ワーピング処理部１６３は、ワーピング処理により生成される各仮想視点の視差画像を視点画像ワーピング処理部１６５に供給する。

視差画像ワーピング処理部１６４は、視差画像ワーピング処理部として機能し、視差画像ワーピング処理部１６３と同様の処理を行い、その結果生成された各仮想視点の視差画像を、視点画像ワーピング処理部１６６に供給する。

視点画像ワーピング処理部１６５は、視点画像ワーピング処理部として機能する。具体的には、視点画像ワーピング処理部１６５は、視差画像ワーピング処理部１６３から供給される各仮想視点の視差画像に基づいて、仮想視点ごとに、その視差画像に対応する、視点画像高解像度化部１６８から供給される視点画像のワーピング処理を行う。これにより、オクルージョン領域（詳細は後述する）を有する各仮想視点の画像が生成される。視点画像ワーピング処理部１６５は、オクルージョン領域を有する各仮想視点の画像を多視点画像生成部１６９に供給する。

なお、オクルージョン領域とは、仮想視点と、実際に撮影された視点画像の視点が異なることによって生じる、仮想視点の画像には存在するが、その仮想視点の視差画像の生成に用いられた視差画像に対応する視点画像には存在しない領域である。

視点画像ワーピング処理部１６６は、視点画像ワーピング処理部として機能し、視差画像ワーピング処理部１６４から供給される各仮想視点の視差画像に基づいて、視点画像ワーピング処理部１６５と同様の処理を行う。

視点画像分離部１６７は、互換情報取得部１２６から供給される互換情報に基づいて、デコーダ１２２から供給される互換画像である視点画像Ａ１を、そのまま視点画像高解像度化部１６８に供給する。また、視点画像分離部１６７は、画像情報取得部１２３から供給される画像情報に基づいて、デコーダ１２２から供給される補助画像の多重化画像を分離する。視点画像分離部１６７は、その結果得られる互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１を視点画像高解像度化部１６８に供給する。

視点画像高解像度化部１６８は、視点画像分離部１６７から供給される互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１それぞれに対して補間処理を行うことにより、高解像度化を行う。これにより、視点画像高解像度化部１６８は、互換画像と同一の解像度の視点画像Ｂ１および視点画像Ｃ１を得る。そして、視点画像高解像度化部１６８は、得られた視点画像Ｂ１および視点画像Ｃ１の視差画像、並びに、視点画像分離部１６７から供給される視点画像Ａ１を、視点画像ワーピング処理部１６５および視点画像ワーピング処理部１６６に供給する。

多視点画像生成部１６９は、補間部として機能し、仮想視点ごとに、視点画像ワーピング処理部１６５および視点画像ワーピング処理部１６６のいずれか一方から供給される仮想視点の画像のオクルージョン領域を、他方から供給される仮想視点の画像で補間する。多視点画像生成部１６９は、その結果得られる各仮想視点の画像を多視点の画像として多視点画像合成処理部１７０に供給する。

多視点画像合成処理部１７０は、多視点画像生成部１６９から供給される多視点の画像の解像度を、互換画像や補助画像の解像度の、仮想視点数分の１の解像度に変換して合成し、図示せぬ表示装置に表示させる。

［仮想視点の画像の生成の説明］
図８は、図７の３Ｄ画像生成部１４２による仮想視点の画像の生成を説明する図である。

図８に示すように、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４は、視差画像特定情報に基づいて、それぞれ、異なる視差画像を選択する。図８の例では、視差画像ワーピング処理部１６３は、画面上の左側に位置する視差値が0以外の所定値である円形の領域と、その領域以外の視差値が0である領域からなる視差画像（以下、視差画像＃１という）を選択している。また、視差画像ワーピング処理部１６４は、画面上の右側に位置する視差値が0以外の所定値である円形の領域と、その領域以外の視差値が0である領域からなる視差画像（以下、視差画像＃２という）を選択している。

視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４は、それぞれ、仮想視点の位置と撮影情報に基づいて、選択された視差画像のワーピング処理を行う。これにより、図８に示すように、例えば、視差画像＃１内の円形の領域が右側に移動し、その円形の領域の左側に、図中黒く塗りつぶされているオクルージョン領域が発生した仮想視点の視差画像＃１が生成される。また、視差画像＃２内の円形の領域が左側に移動し、その円形の領域の右側に、図中黒く塗りつぶされているオクルージョン領域が発生した仮想視点の視差画像＃２が生成される。なお、仮想視点の視差画像＃１内の円形の領域の位置と仮想視点の視差画像＃２内の円形の領域の位置は、同一である。また、オクルージョン領域は、例えば、黒画で表される。

視点画像ワーピング処理部１６５は、仮想視点の視差画像＃１に基づいて、視差画像＃１に対応する視点画像＃１のワーピング処理を行う。図８の例では、視点画像＃１は、視差値が0以外の所定値である円形の領域が、その領域以外の視差値が0である領域とは異なる色の画像となっている。従って、ワーピング処理後の視点画像＃１は、周囲の領域と色が異なる円形の領域がワーピング処理前の視点画像＃１に比べて右側に移動し、その領域の左側にオクルージョン領域が存在する画像となる。

一方、視点画像ワーピング処理部１６６は、仮想視点の視差画像＃２に基づいて、視差画像＃２に対応する視点画像＃２のワーピング処理を行う。図８の例では、視点画像＃２は、視差値が0以外の所定値である円形の領域が、その領域以外の視差値が0である領域とは異なる色の画像となっている。従って、ワーピング処理後の視点画像＃２は、周囲の領域と色が異なる円形の領域がワーピング処理前の視点画像＃２に比べて左側に移動し、その領域の右側にオクルージョン領域が存在する画像となる。

多視点画像生成部１６９は、ワーピング処理後の視点画像＃１および視点画像＃２のいずれか一方の視点画像のオクルージョン領域を、他方の視点画像で補間する。具体的には、視差画像特定情報は、仮想視点より外側の視点の視差画像を特定する情報であるので、ワーピング処理後の視点画像＃１および視点画像＃２のいずれか一方に存在するオクルージョン領域の画像は、他方の視点画像内に存在する。従って、多視点画像生成部１６９は、ワーピング処理後の視点画像＃１および視点画像＃２のいずれか一方に存在するオクルージョン領域の画像を、他方の視点画像内に存在する、そのオクルージョン領域の画像で補間する。これにより、図８に示すように、オクルージョン領域が存在しない仮想視点の画像が生成される。

［視差画像のワーピング処理の説明］
図９は、視差画像のワーピング処理を説明する図である。

視差画像のワーピング処理では、まず、図９に示すように、選択された位置t（t_ｘ,t_ｙ,t_ｚ）の視点の視差画像の各画素の位置m（x,y,z）と、位置t'（t'_ｘ,t'_ｙ,t'_ｚ）の仮想視点の視差画像の位置m'（x',y',z'）を、３次元空間を介して対応付ける。

具体的には、以下の式（１）により、位置t（t_ｘ,t_ｙ,t_ｚ）の視点の視差画像の視差値Zの画素の位置m（x,y,z）に対応する３次元空間の位置M(X,Y,Z)が求められ、その位置M(X,Y,Z)に対応する、位置t'（t'_ｘ,t'_ｙ,t'_ｚ）の仮想視点の視差画像の位置m'（x',y',z'）が求められる。

(X,Y,Z)^Ｔ=RA^−１（x,y,1）^ＴZ+（t_ｘ,t_ｙ,t_ｚ）^Ｔ
s（x',y',1）^Ｔ=A’R'^−１[（X,Y,Z）^Ｔ-（t'_ｘ,t'_ｙ,t'_ｚ）^Ｔ]
・・・（１）

なお、式（１）において、Rは、視差画像を撮影する撮影部５１Ａ乃至撮影部５１Ｃのワーピング処理用の回転行列であり、以下の式（２）で表される。

なお、式（２）において、r_11乃至r_13，r_21乃至r_23、およびr_31乃至r_33は、所定値である。

また、式（１）において、Aは、視差画像を撮影する撮影部５１Ａ乃至撮影部５１Ｃの内部パラメータを含む行列であり、以下の式（３）で表される。

なお、式（３）において、focal_length_x,focal_length_yは、それぞれ、内部パラメータに含まれるx方向、y方向の焦点距離を表す。principal_point_x,principal_point_yは、それぞれ、内部パラメータに含まれる主点のx方向、y方向の位置を表す。radial_distortionは、内部パラメータに含まれる半径方向の歪み係数を表す。

さらに、式（１）において、R’は、Rと同様に表される仮想視点の視差画像を撮影する仮想の撮影部のワーピング処理用の回転行列であり、A’は、Aと同様に表される仮想視点の視差画像を撮影する仮想の撮影部の内部パラメータを含む行列である。また、式（１）においてsは、スケーリングファクタ（scaling factor）である。

以上のようにして対応付けが行われた後、各画素の位置m（x,y,z）に対応する位置m'（x',y',z'）に基づいて、選択された視差画像の各画素に対応する仮想視点の視差画像の各画素が決定される。なお、仮想視点の視差画像の所定の画素に、複数の画素が対応付けられる場合、その複数の画素のうちの視差値が最も大きい画素、即ち手前側の被写体に対応する画素が、仮想視点の視差画像の所定の画素に対応する画素とされる。そして、選択された視差画像の各画素の視差値が、その画素に対応する仮想視点の視差画像の画素の視差値とされ、その結果、仮想視点の視差画像が生成される。

［境界情報に基づく視差画像のワーピング処理の説明］
図１０乃至図１２は、図７の視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４による境界情報に基づく視差画像のワーピング処理を説明する図である。なお、図１０乃至図１２において、小さい丸は画素を表し、丸の柄は視差値を表す。

図１０は、符号化装置５０の視差画像生成部５３により低解像度化される前の視差画像と、その視差画像のワーピング処理結果を示す図である。

図１０の例では、低解像度化される前の視差画像が、図１０のＡに示すように、画面中央に位置する円形の領域の視差値が0とは大きく異なる所定値であり、その領域以外の領域の視差値が0である視差画像である。この場合、低解像度化される前の視差画像のワーピング処理が行われると、ワーピング処理の結果得られる仮想視点の視差画像では、例えば、図１０のＢに示すように、円形の領域が10画素だけ左側に移動する。

図１１は、符号化装置５０の視差画像生成部５３により低解像度化された視差画像、視差画像高解像度化部１６２により高解像度化された視差画像、ワーピング処理対象の視差画像、および、その視差画像のワーピング処理結果を示す図である。

視差画像生成部５３が、図１０のＡの低解像度化される前の視差画像の水平方向に隣接する2つの画素の視差値の平均値を、その画素に対応する低解像度化後の視差画像の画素の視差値とすることにより低解像度化する場合、低解像度化された視差画像は、図１１のＡに示すようになる。

なお、図１１において、縦線が付された丸で表される画素の視差値は、チェック柄が付された丸で表される画素の視差値と、灰色が付された丸で表される画素の視差値の平均値である。また、図１１のＡでは、説明の便宜上、低解像度化前の画素を丸で表しており、低解像度化により間引かれる画素は、柄が付されない丸で表している。

また、この場合、図１０のＡの低解像化される前の視差画像のうちの、視差値が0以外の所定値である円形の領域と、その領域以外の視差値が0である領域の境界に隣接する画素の境界情報が1に設定され、それ以外の画素の境界情報を0に設定される。

図１１のＡの低解像度化された視差画像が供給される場合、視差画像高解像度化部１６２は、例えば、高解像度化後の視差画像の各画素の視差値を、その画素に対応する、図１１のＡの低解像度化された視差画像の水平方向に隣接する2つの画素の視差値を用いて線形補間することにより高解像度化を行う。これにより、図１１のＢの高解像度化された視差画像が生成される。なお、図１１のＢにおいて、横線が付された丸で表される画素の視差値は、チェック柄が付された丸で表される画素の視差値と縦線が付された丸で表される画素の視差値の範囲内の値である。このことは、後述する図１２のＡにおいても同様である。

視差画像ワーピング処理部１６３（１６４）は、図１１のＣに示すように、境界情報に基づいて、図１１のＢの高解像度化された視差画像のうちの、境界位置に隣接する画素であることを示す境界情報に対応する画素の視差値を、その画素に隣接する画素の視差値に変更する。

例えば、視差画像ワーピング処理部１６３（１６４）は、図１１のＢの高解像度化された視差画像の、画素単位の境界情報に対応する隣接する２つの画素のうち、左側に位置する画素の視差値を、その画素の左側に隣接する画素の視差値に変更する。また、視差画像ワーピング処理部１６３（１６４）は、右側に位置する画素の視差値を、その画素の右側に隣接する画素の視差値に変更する。

このようにして視差値が変更された視差画像のワーピング処理が行われると、ワーピング処理の結果得られる仮想視点の視差画像では、例えば、図１１のＤに示すように、視差値が0以外の所定値である円形の領域が10画素だけ左側に移動する。

以上のように、視差画像ワーピング処理部１６３（１６４）は、境界情報に基づいて、高解像度化された視差画像のうちの、境界位置に隣接する画素の視差値を、その画素と隣接する画素の視差値に変更し、ワーピング処理の対象とする。従って、ワーピング処理対象の視差画像の境界位置に隣接する画素の視差値が、低解像度化前の視差画像の視差値に近い値となる。よって、より正確に補助画像の視差画像のワーピング処理を行うことができる。

これに対して、図１２に示すように、図１１のＢと同一の図１２のＡの高解像度化された視差画像そのものを用いてワーピング処理が行われる場合、ワーピング処理の結果得られる仮想視点の視差画像では、図１２のＢに示すように、オクルージョン領域に視差値が対応付けられてしまう。

具体的には、例えば、横線が付された丸で表される画素は、本来、図１０のＢに示したように、10画素だけ左側に移動する必要があるが、図１２のＢに示すように、5画素だけしか左側に移動しない。即ち、正確にワーピング処理が行われない。その結果、本来、視差値が対応付けられないオクルージョン領域に視差値が対応付けられ、仮想視点の画像が破綻する。

［復号装置の処理の説明］
図１３は、図６の復号装置１２０による復号処理を説明するフローチャートである。この復号処理は、例えば、図１の符号化装置５０から送信される多重化ストリームが復号装置１２０に入力されたとき、開始される。

図１３のステップＳ６１において、復号装置１２０の分離部１２１は、符号化装置５０から送信されてくる多重化ストリームを受信し、ＴＳごとに分離する。分離部１２１は、分離されたＴＳから互換ストリームと補助ストリームを抽出し、デコーダ１２２に供給する。デコーダ１２２の補助用デコーダ１３２は、分離部１２１から供給される補助ストリームに含まれる互換情報を互換用デコーダ１３１に供給する。

ステップＳ６２において、互換用デコーダ１３１は、補助用デコーダ１３２から供給される互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。

ステップＳ６３において、互換用デコーダ１３１は、互換情報に基づいて、互換ストリームに含まれる互換画像をAVC方式に対応する方式で復号し、その結果得られる視点画像Ａ１を画像生成部１２８に供給する。

ステップＳ６４において、画像生成部１２８は、視聴者から２Ｄ画像の表示が指令されたかどうかを判定する。ステップＳ６４で視聴者から２Ｄ画像の表示が指令されていないと判定された場合、即ち視聴者からメガネ無し方式の３Ｄ画像の表示が指令された場合、補助用デコーダ１３２は、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうちの補助ストリームを識別する。

そして、ステップＳ６５において、補助用デコーダ１３２は、補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を、図１の補助用エンコーダ６２に対応する方式で復号する。補助用デコーダ１３２は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を画像生成部１２８に供給する。また、補助用デコーダ１３２は、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、撮影情報を撮影情報取得部１２４に供給する。さらに、補助用デコーダ１３２は、補助ストリームに含まれる視差画像多重化情報を視差画像多重化情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。また、補助用デコーダ１３２は、補助ストリームに含まれる境界情報を境界情報取得部１２７に供給する。

ステップＳ６６において、画像情報取得部１２３は、補助用デコーダ１３２から供給される画像情報を取得し、画像生成部１２８に入力する。ステップＳ６７において、撮影情報取得部１２４は、補助用デコーダ１３２から供給される撮影情報を取得し、画像生成部１２８に入力する。

ステップＳ６８において、視差画像多重化情報取得部１２５は、補助用デコーダ１３２から供給される視差画像多重化情報を取得し、画像生成部１２８に入力する。ステップＳ６９において、互換情報取得部１２６は、補助用デコーダ１３２から供給される互換情報を取得し、画像生成部１２８に入力する。

ステップＳ７０において、境界情報取得部１２７は、補助用デコーダ１３２から供給される境界情報を取得し、画像生成部１２８に入力する。

ステップＳ７１において、画像生成部１２８の３Ｄ画像生成部１４２は、多視点の画像の合成画像を生成する多視点画像生成処理を行う。この多視点画像生成処理の詳細は、後述する図１４を参照して説明する。

ステップＳ７２において、３Ｄ画像生成部１４２の多視点画像合成処理部１７０は、ステップＳ７１の処理により生成される多視点の画像の合成画像を図示せぬ表示装置に出力し、視点ごとに視認可能な角度が異なるように表示させる。そして、処理は終了する。

一方、ステップＳ６４で視聴者から２Ｄ画像の表示が指令されたと判定された場合、ステップＳ７３において、画像生成部１２８の２Ｄ画像生成部１４１は、互換用デコーダ１３１から供給される互換画像である視点画像Ａ１を図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。

図１４は、図１３のステップＳ７１の多視点画像生成処理の詳細を説明するフローチャートである。

図１４のステップＳ９０において、３Ｄ画像生成部１４２の仮想視点位置決定部１６０（図７）は、撮影情報取得部１２４から供給される撮影情報に含まれる視点間距離と、図示せぬ表示装置に対応する視点数に基づいて、各仮想視点の位置を決定する。そして、仮想視点位置決定部１６０は、各仮想視点の位置に基づいて、視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４のそれぞれに対して、視差画像特定情報を生成する。また、仮想視点位置決定部１６０は、各仮想視点の位置と、対応する視差画像特定情報を視差画像ワーピング処理部１６３と視差画像ワーピング処理部１６４に供給する。

ステップＳ９１において、視差画像分離部１６１は、補助用デコーダ１３２から供給される互換画像の視差画像Ａ１’と補助画像の視差画像の多重化画像を取得する。

ステップＳ９２において、視差画像分離部１６１は、視差画像多重化情報取得部１２５から供給される視差画像多重化情報に基づいて、補助画像の視差画像の多重化画像を分離する。視差画像分離部１６１は、その結果得られる互換画像の解像度の1/2の解像度の、補助画像である視点画像Ｂおよび視点画像Ｃの視差画像を、視差画像高解像度化部１６２に供給する。また、視差画像分離部１６１は、互換情報取得部１２６から供給される互換情報に基づいて、視差画像Ａ１’をそのまま視差画像高解像度化部１６２に供給する。

ステップＳ９３において、視差画像高解像度化部１６２は、視差画像分離部１６１から供給される互換画像の解像度の1/2の解像度の、補助画像である視点画像Ｂおよび視点画像Ｃの視差画像を、それぞれ高解像度化する。これにより、視差画像高解像度化部１６２は、互換画像と同一の解像度の視点画像Ｂ１および視点画像Ｃ１の視差画像を得る。そして、視差画像高解像度化部１６２は、得られた視点画像Ｂ１および視点画像Ｃ１の視差画像、並びに、視差画像分離部１６１から供給される視差画像Ａ１’を、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４に供給する。

ステップＳ９４において、視差画像ワーピング処理部１６３は、仮想視点ごとに、仮想視点位置決定部１６０からの視差画像特定情報に基づいて、視差画像高解像度化部１６２から供給される視点画像Ｂ１および視点画像Ｃ１の視差画像並びに視差画像Ａ１’のうちの１つを選択する。また、視差画像ワーピング処理部１６４は、視差画像ワーピング処理部１６３と同様の処理を行う。

そして、ステップＳ９５乃至Ｓ９８において、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４は、選択された視差画像のワーピング処理を行う。

具体的には、まず、境界情報の単位ごとに、その境界情報に対応する、選択された視差画像の画素が視差画像のワーピング処理の対象とする画素（以下、対象画素という）とされ、ステップＳ９５乃至Ｓ９７の処理が行われる。

即ち、ステップＳ９５において、視差画像ワーピング処理部１６３（１６４）は、それぞれ、対象画素の境界情報が1であるかどうかを判定する。ステップＳ９５で対象画素の境界情報が1であると判定された場合、処理はステップＳ９６に進む。

ステップＳ９６において、視差画像ワーピング処理部１６３（１６４）は、対象画素の視差値を、対象画素の左側または右側に隣接する画素の視差値に変更し、処理をステップＳ９７に進める。

一方、ステップＳ９５で対象画素の境界情報が1ではないと判定された場合、即ち対象画素の境界情報が0である場合、処理はステップＳ９７に進む。

ステップＳ９７において、視差画像ワーピング処理部１６３（１６４）は、仮想視点ごとに、その仮想視点の位置、撮影情報、および対象画素の視差値に基づいて、上述した式（１）により、対象画素に対応する仮想視点の視差画像上の画素を決定する。なお、ここで用いられる対象画素の視差値は、対象画素の境界情報が1である場合、ステップＳ９７で変更された視差値である。一方、対象画素の境界情報が0である場合、ステップＳ９４で選択された視差画像の対象画素の視差値である。

そして、ステップＳ９８において、視差画像ワーピング処理部１６３（１６４）は、仮想視点ごとに、ステップＳ９７で決定された画素に基づいて、選択された視差画像から仮想視点の視差画像を生成する。具体的には、視差画像ワーピング処理部１６３（１６４）は、仮想視点ごとに、選択された視差画像の各画素の視差値を、仮想視点の視差画像のステップＳ９７で決定された画素の視差値とする。視差画像ワーピング処理部１６３（１６４）は、その結果生成された各仮想視点の視差画像を視点画像ワーピング処理部１６５（１６６）に供給する。

ステップＳ９９において、視点画像分離部１６７は、画像情報取得部１２３から供給される画像情報に基づいて、補助用デコーダ１３２から供給される補助画像の多重化画像を分離する。そして、視点画像分離部１６７は、その結果得られる互換画像の解像度の1/2の解像度の視点画像Ｂ１および視点画像Ｃ１を視差画像高解像度化部１６２に供給する。また、視点画像分離部１６７は、互換情報取得部１２６から供給される互換情報に基づいて、互換用デコーダ１３１から供給される互換画像である視点画像Ａ１を、そのまま視点画像高解像度化部１６８に供給する。

ステップＳ１００において、視点画像高解像度化部１６８は、視点画像分離部１６７から供給される互換画像の解像度の1/2の解像度の、補助画像である視点画像Ｂ１および視点画像Ｃ１をそれぞれ高解像度化する。これにより、視点画像高解像度化部１６８は、互換画像と同一の解像度の視点画像Ｂ１および視点画像Ｃ１を得る。そして、視点画像高解像度化部１６８は、得られた視点画像Ｂ１および視点画像Ｃ１、並びに、視点画像分離部１６７から供給される視点画像Ａ１を、視点画像ワーピング処理部１６５および視点画像ワーピング処理部１６６に供給する。

ステップＳ１０１において、視点画像ワーピング処理部１６５は、視差画像ワーピング処理部１６３から供給される各仮想視点の視差画像に基づいて、仮想視点ごとに、その視差画像に対応する、視点画像高解像度化部１６８から供給される視点画像のワーピング処理を行う。これにより、オクルージョン領域を有する各仮想視点の画像が生成される。視点画像ワーピング処理部１６５は、オクルージョン領域を有する各仮想視点の画像を多視点画像生成部１６９に供給する。また、視点画像ワーピング処理部１６６は、視差画像ワーピング処理部１６４から供給される各仮想視点の視差画像に基づいて、視点画像ワーピング処理部１６５と同様の処理を行う。

ステップＳ１０２において、多視点画像生成部１６９は、仮想視点ごとに、視点画像ワーピング処理部１６５および視点画像ワーピング処理部１６６のいずれか一方から供給される仮想視点の画像のオクルージョン領域を、他方から供給される仮想視点の画像で補間する。多視点画像生成部１６９は、その結果得られる各仮想視点の画像を多視点の画像として多視点画像合成処理部１７０に供給する。

ステップＳ１０３において、多視点画像合成処理部１７０は、多視点画像生成部１６９から供給される多視点の画像の解像度を、互換画像や補助画像の解像度の、仮想視点数分の１の解像度に変換して合成し、多視点の画像の合成画像を生成する。そして、処理は、図１３のステップＳ７１に戻り、処理はステップＳ７２に進む。

以上のように、復号装置１２０は、符号化装置５０から送信されてくる境界情報に基づいて、補助画像の視差画像のワーピング処理を行う。従って、復号装置１２０は、例えば、高解像度化された補助画像の視差画像のうちの境界位置に隣接する画素の視差値を、その画素に隣接する画素の視差値に変更し、変更後の視差画像をワーピング処理の対象とすることにより、ワーピング処理の対象の視差画像を、低解像度化前の視差画像に近づけることができる。その結果、補助画像の視差画像のワーピング処理を正確に行うことができる。

＜第２実施の形態＞
［符号化装置の第２実施の形態の構成例］
図１５は、本技術を適用した画像処理装置としての符号化装置の第２実施の形態の構成例を示すブロック図である。

図１５に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１５の符号化装置２００の構成は、主に、境界情報生成部５８の代わりに境界情報生成部２０１が設けられている点、および、エンコーダ５９の代わりにエンコーダ２０２が設けられている点が図１の構成と異なる。

符号化装置２００は、画素単位の境界情報と、境界位置に隣接する画素であることを示す境界情報に対応する画素が境界位置の左側に位置するかどうかを示す情報である左側境界情報（is_left_edge）を伝送する。

具体的には、符号化装置２００の境界情報生成部２０１は、視差画像生成部５３から供給される視差画像Ｂ１’および視差画像Ｃ１’から、それぞれ、境界位置を検出する。そして、境界情報生成部２０１は、生成部として機能し、検出された境界位置に基づいて、画素単位の境界情報と左側境界情報を生成し、エンコーダ２０２に供給する。

エンコーダ２０２は、互換用エンコーダ６１と補助用エンコーダ２１１により構成される。

エンコーダ２０２の補助用エンコーダ２１１は、図１の補助用エンコーダ６２と同様に、画像変換部５２からの補助画像の多重化画像、並びに視差画像生成部５３からの互換画像の視差画像Ａ１’および補助画像の視差画像の多重化画像を所定の方式で符号化する。

また、補助用エンコーダ２１１は、符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、撮影情報生成部５６からの撮影情報、視差画像多重化情報生成部５７からの視差画像多重化情報、境界情報生成部２０１からの境界情報および左側境界情報などを付加して、符号化ストリームを生成する。補助用エンコーダ２１１は、その符号化ストリームを補助ストリームとして多重化部６０に供給する。

［符号化装置の処理の説明］
図１５の符号化装置２００の符号化処理は、図４のステップＳ２０で境界情報とともに左側境界情報がエンコーダ２０２に入力される点、および、境界情報生成処理を除いて、図３および図４に示した符号化処理と同様であるので、境界情報生成処理についてのみ説明する。

図１６は、図１５の符号化装置２００の境界情報生成処理を説明するフローチャートである。

図１６のステップＳ１２１乃至Ｓ１２４，Ｓ１２９、およびＳ１３０の処理は、図５のステップＳ４１乃至Ｓ４６の処理と同様である。

図１６のステップＳ１２４の処理後、処理はステップＳ１２５に進み、以降のステップＳ１２５乃至Ｓ１２８の処理は、ステップＳ１２４の処理で境界情報が設定された2つの画素の各画素に対して行われる。

ステップＳ１２５において、境界情報生成部２０１は、ステップＳ１２４の処理で境界情報が設定された画素と、その画素の左右に隣接する画素の視差値の差分を求める。

ステップＳ１２６において、境界情報生成部２０１は、ステップＳ１２５で求められた左側に隣接する画素との差分が、右側に隣接する画素との差分に比べて小さいかどうかを判定する。

ステップＳ１２６で左側に隣接する画素との差分が、右側に隣接する画素との差分に比べて小さいと判定された場合、処理はステップＳ１２７に進む。ステップＳ１２７において、境界情報生成部２０１は、ステップＳ１２４の処理で境界情報が設定された画素の左側境界情報を1に設定し、処理をステップＳ１３０に進める。

一方、ステップＳ１２６で左側に隣接する画素との差分が、右側に隣接する画素との差分に比べて小さくはないと判定された場合、境界情報生成部２０１は、ステップＳ１２４の処理で境界情報が設定された画素の左側境界情報を0に設定する。そして、処理はステップＳ１３０に進む。

以上のように、符号化装置２００は、境界情報とともに左側境界情報を送信するので、後述する復号装置において、境界情報と左側境界情報に基づいて補助画像の視差画像のワーピング処理を行うことができる。その結果、復号装置において、後述するように、補助画像の視差画像のワーピング処理をより正確に行うことができる。

［復号装置の構成例］
図１７は、図１５の符号化装置２００から送信される多重化ストリームを復号する、本技術を適用した画像処理装置としての復号装置の構成例を示す図である。

図１７に示す構成のうち、図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１７の復号装置２２０の構成は、主に、デコーダ１２２、境界情報取得部１２７、画像生成部１２８の代わりに、デコーダ２２１、境界情報取得部２２２、画像生成部２２３が設けられている点が図６の構成と異なる。復号装置２２０は、符号化装置２００から送信される多重化ストリームを復号し、境界情報と左側境界情報に基づいて視差画像のワーピング処理を行うことにより多視点の画像を生成し、図示せぬ表示装置に表示させる。

具体的には、復号装置２２０のデコーダ２２１は、互換用デコーダ１３１と補助用デコーダ２３１により構成される。デコーダ２２１の補助用デコーダ２３１は、図６の補助用デコーダ１３２と同様に、分離部１２１から供給される補助ストリームに含まれる互換情報を互換用デコーダ１３１に供給する。補助用デコーダ２３１は、補助用デコーダ１３２と同様に、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、補助ストリームを識別する。補助用デコーダ２３１は、分離部１２１から供給される補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、図１５の補助用エンコーダ２１１に対応する方式で復号する。

補助用デコーダ２３１は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を画像生成部２２３に供給する。また、補助用デコーダ２３１は、補助用デコーダ１３２と同様に、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、撮影情報を撮影情報取得部１２４に供給する。さらに、補助用デコーダ２３１は、補助用デコーダ１３２と同様に、補助ストリームに含まれる視差画像多重化情報を視差画像多重化情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。また、補助用デコーダ２３１は、補助ストリームに含まれる境界情報と左側境界情報を境界情報取得部２２２に供給する。

境界情報取得部２２２は、補助用デコーダ２３１から供給される境界情報と左側境界情報を取得し、画像生成部２２３に供給する。

画像生成部２２３は、２Ｄ画像生成部１４１と３Ｄ画像生成部２４１により構成される。画像生成部２２３の３Ｄ画像生成部２４１は、デコーダ２２１から供給される視点画像Ａ１、補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を用いて、画像情報、撮影情報、視差画像多重化情報、境界情報、および左側境界情報等に基づいて、図示せぬ表示装置に対応する3以上の視点数の、互換画像と同一の解像度の画像を生成する。そして、３Ｄ画像生成部２４１は、図６の３Ｄ画像生成部１４２と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。

このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示される。視聴者は、任意の2視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。

［３Ｄ画像生成部の詳細構成例］
図１８は、図１７の３Ｄ画像生成部２４１の詳細構成例を示すブロック図である。

図１８に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１８の３Ｄ画像生成部２４１の構成は、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４の代わりに、視差画像ワーピング処理部２５１および視差画像ワーピング処理部２５２が設けられている点が図７の構成と異なる。

３Ｄ画像生成部２４１の視差画像ワーピング処理部２５１は、視差画像ワーピング処理部として機能する。具体的には、視差画像ワーピング処理部２５１は、図７の視差画像ワーピング処理部１６３と同様に、仮想視点ごとに、仮想視点位置決定部１６０から供給される視差画像特定情報に基づいて、視差画像高解像度化部１６２から供給される視点画像Ｂ１および視点画像Ｃ１の視差画像並びに視差画像Ａ１’のうちの１つを選択する。視差画像ワーピング処理部１６３は、仮想視点ごとに、撮影情報取得部１２４からの撮影情報、境界情報取得部１２７からの境界情報および左側境界情報、並びに、仮想視点位置決定部１６０からの各仮想視点の位置に基づいて、選択された視差画像のワーピング処理を行う。視差画像ワーピング処理部１６３は、ワーピング処理により生成される各仮想視点の視差画像を視点画像ワーピング処理部１６５に供給する。

視差画像ワーピング処理部２５２は、視差画像ワーピング処理部２５１と同様の処理を行い、その結果生成された各仮想視点の視差画像を、視点画像ワーピング処理部１６６に供給する。

［境界情報および左側境界情報に基づく視差画像のワーピング処理の説明］
図１９は、図１８の視差画像ワーピング処理部２５１（２５２）による境界情報および左側境界情報に基づく視差画像のワーピング処理を説明する図である。なお、図１９において、小さい丸は画素を表し、丸の柄は視差値を表す。

図１９に示すように、図１１のＡの低解像度化された視差画像が供給される場合、視差画像高解像度化部１６２は、その視差画像の高解像度化を行い、図１９の上側に示す高解像度化された視差画像を生成する。

視差画像ワーピング処理部２５１（２５２）は、図１９の上側に示す高解像度化された視差画像のうち、境界情報が1であり、かつ、左側境界情報が1である画素の視差値を、その画素の左側に隣接する画素の視差値に変更する。また、視差画像ワーピング処理部２５１（２５２）は、境界情報が1であり、かつ、左側境界情報が0である画素の視差値を、その画素の右側に隣接する画素の視差値に変更する。そして、視差画像ワーピング処理部２５１（２５２）は、このようにして視差値が変更された視差画像のワーピング処理を行う。従って、ワーピング処理の結果得られる仮想視点の視差画像では、例えば、図１９の下側に示すように、視差値が0以外の所定値である円形の領域が10画素だけ左側に移動する。

以上のように、視差画像ワーピング処理部２５１（２５２）は、境界情報と左側境界情報に基づいて、高解像度化された補助画像の視差画像のうちの、境界位置の左側に隣接する画素の視差値を、その画素の左側に隣接する画素の視差値に変更し、右側に隣接する画素の視差値を、その画素の右側に隣接する画素の視差値に変更してワーピング処理対象とする。従って、ワーピング処理対象の視差画像の境界位置に隣接する画素の視差値が、低解像度化前の視差画像の視差値に近い値となる。よって、より正確に補助画像の視差画像のワーピング処理を行うことができる。

［復号装置の処理の説明］
図１７の復号装置２２０の復号処理は、図１３のステップＳ７０で境界情報とともに左側境界情報が画像生成部２２３に入力される点、および、多視点画像生成処理を除いて、図１３に示した復号処理と同様であるので、多視点画像生成処理についてのみ説明する。

図２０は、図１７の復号装置２２０の多視点画像生成処理を説明するフローチャートである。

図２０のステップＳ１４０乃至Ｓ１４４の処理は、図１４のステップＳ９０乃至Ｓ９４の処理と同様であるので、説明は省略する。

ステップＳ１４５乃至Ｓ１５０において、視差画像ワーピング処理部２５１および視差画像ワーピング処理部２５２は、選択された視差画像のワーピング処理を行う。

具体的には、まず、境界情報に対応する、選択された視差画像の画素が対象画素とされ、ステップＳ１４５乃至Ｓ１４９の処理が行われる。

即ち、ステップＳ１４５において、視差画像ワーピング処理部２５１（２５２）は、それぞれ、対象画素の境界情報が1であるかどうかを判定する。ステップＳ１４５で対象画素の境界情報が1であると判定された場合、処理はステップＳ１４６に進む。

ステップＳ１４６において、視差画像ワーピング処理部２５１（２５２）は、対象画素の左側境界情報が1であるかどうかを判定する。ステップＳ１４６で対象画素の左側境界情報が1であると判定された場合、処理はステップＳ１４７に進む。

ステップＳ１４７において、視差画像ワーピング処理部２５１（２５２）は、対象画素の視差値を、対象画素の左側に隣接する画素の視差値に変更し、処理をステップＳ１４９に進める。

一方、ステップＳ１４６で対象画素の左側境界情報が1ではないと判定された場合、即ち対象画素の左側境界情報が0である場合、処理はステップＳ１４８に進む。

ステップＳ１４８において、視差画像ワーピング処理部２５１（２５２）は、対象画素の視差値を、対象画素の右側に隣接する画素の視差値に変更し、処理をステップＳ１４９に進める。

また、ステップＳ１４５で対象画素の境界情報が1ではないと判定された場合、即ち対象画素の境界情報が0である場合、処理はステップＳ１４９に進む。

ステップＳ１４９において、視差画像ワーピング処理部２５１（２５２）は、仮想視点ごとに、その仮想視点の位置、撮影情報、および対象画素の視差値に基づいて、上述した式（１）により、対象画素に対応する仮想視点の視差画像上の画素を決定する。なお、ここで用いられる対象画素の視差値は、対象画素の境界情報が1である場合、ステップＳ１４７またはＳ１４８で変更された視差値である。一方、対象画素の境界情報が0である場合、ステップＳ１４４で選択された視差画像の対象画素の視差値である。

そして、処理はステップＳ１５０に進み、図１４のステップＳ９８乃至Ｓ１０３と同様のステップＳ１５０乃至Ｓ１５５の処理が行われる。

以上のように、復号装置２２０は、符号化装置２００から送信されてくる境界情報と左側境界情報に基づいて、高解像度化された補助画像の視差画像のワーピング処理を行う。従って、復号装置２２０は、例えば、高解像度化された補助画像の視差画像のうちの境界位置の左側に隣接する画素の視差値を、その画素の左側に隣接する画素の視差値に変更し、右側に隣接する画素の視差値を、その画素の右側に隣接する画素の視差値に変更し、変更後の視差画像をワーピング処理の対象とすることにより、ワーピング処理の対象の視差画像を、低解像度化前の視差画像に近づけることができる。その結果、補助画像の視差画像のワーピング処理をより正確に行うことができる。

＜第３実施の形態＞
［符号化装置の第３実施の形態の構成例］
図２１は、本技術を適用した画像処理装置としての符号化装置の第３実施の形態の構成例を示すブロック図である。

図２１に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２１の符号化装置３００の構成は、視差画像生成部５３、エンコーダ５９の代わりに視差画像生成部３０１、エンコーダ３０３が設けられている点、および新たに視差画像変換情報生成部３０２が設けられている点が図１の構成と異なる。符号化装置３００は、視差画像の低解像度化の方法を示す視差画像変換情報（Subsample_type）（解像度変換情報）を伝送する。

具体的には、符号化装置３００の視差画像生成部３０１は、図１の視差画像生成部５３と同様に、撮影部５１Ａ乃至撮影部５１Ｃから供給される視点画像Ａ１乃至視点画像Ｃ１を用いて、視点画像Ａ１乃至視点画像Ｃ１の各画素の視差値を検出する。視差画像生成部５３は、視差画像生成部５３と同様に、互換画像である視点画像Ａ１の視差画像Ａ１’を生成し、エンコーダ３０３に供給する。

また、視差画像生成部３０１は、視差画像生成部５３と同様に、補助画像である視点画像Ｂ１の視差画像Ｂ１’と、視点画像Ｃ１の視差画像Ｃ１’を生成し、境界情報生成部５８に供給する。さらに、視差画像生成部３０１は、低解像度化部として機能し、視差画像Ｂ１’と視差画像Ｃ１’を所定の低解像度化の方法で低解像度化する。そして、視差画像生成部３０１は、低解像度化された視差画像を所定の多重化方式で多重化し、その結果得られる多重化画像をエンコーダ３０３に供給する。視差画像生成部３０１は、視差画像生成部５３と同様に、補助画像の視差画像の多重化方式を示す情報を視差画像多重化情報生成部５７に供給する。

また、視差画像生成部３０１は、視差画像の低解像度化の方法を視差画像変換情報生成部３０２に通知する。この低解像度化の方法としては、低解像度化に用いられるフィルタの有無、種類、強度等が異なる、間引き法、Lanczos法、バイキュービック（Bicubic）法、バイリニア(Bilinear)法、ニアレストネイバ(Nearest Neighbor)法等がある。

視差画像変換情報生成部３０２は、視差画像生成部３０１から通知された視差画像の低解像度化の方法に基づいて視差画像変換情報を生成し、エンコーダ３０３に供給する。

エンコーダ３０３は、互換用エンコーダ６１と補助用エンコーダ３１１により構成される。補助用エンコーダ３１１は、図１の補助用エンコーダ６２と同様に、画像変換部５２からの補助画像の多重化画像、並びに視差画像生成部５３からの互換画像の視差画像Ａ１’および補助画像の視差画像の多重化画像を所定の方式で符号化する。

また、補助用エンコーダ３１１は、符号化の結果得られる符号化画像に、画像情報生成部５４からの画像情報、互換情報生成部５５からの互換情報、撮影情報生成部５６からの撮影情報、視差画像多重化情報生成部５７からの視差画像多重化情報、境界情報生成部５８からの境界情報、および視差画像変換情報生成部３０２からの視差画像変換情報などを付加して、符号化ストリームを生成する。補助用エンコーダ３１１は、補助用エンコーダ６２と同様に、その符号化ストリームを補助ストリームとして多重化部６０に供給する。

［視差画像の低解像度化の説明］
図２２は、図２１の視差画像生成部３０１により行われる視差画像の低解像度化を説明する図である。

なお、図２２において、小さい丸は画素を表し、丸の柄は視差値を表す。また、図２２では、説明の便宜上、低解像度化前の画素を丸で表しており、低解像度化により間引かれる画素は、柄が付されない丸で表している。

視差画像生成部３０１が、間引き法で視差画像を低解像度化する場合、図２２の右上に示すように、低解像化前の視差画像のうちの、水平方向に隣接する2つの画素どうしの一方の視差値を残し、他方の視差値を削除する。このとき、視差画像変換情報としては、例えば、図２２に示すように、間引き法を示す0が生成される。

一方、視差画像生成部３０１が、バイリニア法で視差画像を低解像度化する場合、図２２の右下に示すように、低解像度化前の視差画像のうちの、水平方向に隣接する2つの画素どうしの一方の視差値を、その2つの画素の視差値の平均値とし、他方の視差値を削除する。このとき、視差画像変換情報としては、例えば、図２２に示すように、バイリニア法を示す1が生成される。

［符号化装置の処理の説明］
図２３および図２４は、図２１の符号化装置３００による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部５１Ａ乃至撮影部５１Ｃから視点画像Ａ１乃至視点画像Ｃ１が出力されたとき開始される。

図２３のステップＳ２００乃至図２４のステップＳ２１０の処理は、図３のステップＳ１０乃至図４のステップＳ２０の処理と同様であるので、説明は省略する。

ステップＳ２１０の処理後、ステップＳ２１１において、視差画像生成部３０１は、補助画像の視差画像の多重化方式と低解像度化の方法を決定する。視差画像生成部３０１は、決定された多重化方式を示す情報を視差画像多重化情報生成部５７に供給し、決定された低解像度化の方法を視差画像変換情報生成部３０２に供給する。

ステップＳ２１２において、視差画像多重化情報生成部５７は、図４のステップＳ２２の処理と同様に、視差画像生成部５３から供給される情報に基づいて、視差画像多重化情報を生成し、エンコーダ３０３に入力する。

ステップＳ２１３において、視差画像変換情報生成部３０２は、視差画像生成部５３から供給される低解像度化の方法に基づいて、視差画像変換情報を生成し、エンコーダ３０３に入力する。

ステップＳ２１４において、視差画像生成部３０１は、補助画像の視差画像Ｂ１’と視差画像Ｃ１’をステップＳ２１１で決定された低解像度化の方法で低解像度化し、補助画像の視差画像の多重化方式で多重化する。これにより、視差画像生成部３０１は、補助画像の視差画像の多重化画像を得る。

ステップＳ２１５乃至Ｓ２１９の処理は、図４のステップＳ２４乃至Ｓ２８の処理と同様であるので、説明は省略する。

以上のように、符号化装置３００は、補助画像の視差画像を所定の低解像度化の方法で低解像度化し、低解像度化された視差画像、視差画像変換情報、および境界情報を送信する。従って、後述する復号装置において、視差画像変換情報に基づいて、その視差画像変換情報が表す方法に対応する方法で、低解像度化された視差画像を高解像度化することにより、低解像度化前の視差画像により近い視差画像を得ることができる。よって、復号装置は、境界情報に基づいて、低解像度化前の視差画像により近い補助画像の視差画像のワーピング処理を行うことができる。その結果、復号装置において、補助画像の視差画像のワーピング処理をより正確に行うことができる。

［復号装置の構成例］
図２５は、図２１の符号化装置３００から送信される多重化ストリームを復号する、本技術を適用した画像処理装置としての復号装置の構成例を示す図である。

図２５に示す構成のうち、図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２５の復号装置３５０の構成は、デコーダ１２２、画像生成部１２８の代わりにデコーダ３５１、画像生成部３５３が設けられている点、および、新たに視差画像変換情報取得部３５２が設けられている点が図６の構成と異なる。復号装置３５０は、符号化装置３００から送信される多重化ストリームを復号して、視差画像変換情報に基づいて視差画像を高解像度化し、境界情報に基づいて、高解像度化された視差画像のワーピング処理を行う。

具体的には、復号装置３５０のデコーダ３５１は、互換用デコーダ１３１と補助用デコーダ３６１により構成される。補助用デコーダ３６１は、図６の補助用デコーダ１３２と同様に、分離部１２１から供給される補助ストリームに含まれる互換情報を互換用デコーダ１３１に供給する。補助用デコーダ３６１は、補助用デコーダ１３２と同様に、互換情報に基づいて、分離部１２１から供給される互換ストリームと補助ストリームのうち、補助ストリームを識別する。補助用デコーダ３６１は、分離部１２１から供給される補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、図２１の補助用エンコーダ３１１に対応する方式で復号する。

補助用デコーダ３６１は、補助用デコーダ１３２と同様に、復号の結果得られる補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を画像生成部１２８に供給する。また、補助用デコーダ３６１は、補助用デコーダ１３２と同様に、補助ストリームに含まれる画像情報を画像情報取得部１２３に供給し、撮影情報を撮影情報取得部１２４に供給する。さらに、補助用デコーダ３６１は、補助用デコーダ１３２と同様に、補助ストリームに含まれる視差画像多重化情報を視差画像多重化情報取得部１２５に供給し、互換情報を互換情報取得部１２６に供給する。また、補助用デコーダ３６１は、補助ストリームに含まれる境界情報を境界情報取得部１２７に供給し、視差画像変換情報を視差画像変換情報取得部３５２に供給する。

視差画像変換情報取得部３５２は、補助用デコーダ３６１から供給される視差画像変換情報を取得し、画像生成部３５３に供給する。

画像生成部３５３は、２Ｄ画像生成部１４１と３Ｄ画像生成部３７１により構成される。３Ｄ画像生成部３７１は、デコーダ３５１から供給される視点画像Ａ１、補助画像の多重化画像、互換画像の視差画像Ａ１’、および補助画像の視差画像の多重化画像を用いて、画像情報、撮影情報、視差画像多重化情報、互換情報、境界情報、視差画像変換情報等に基づいて、図示せぬ表示装置に対応する3以上の視点数の、互換画像と同一の解像度の画像を生成する。そして、３Ｄ画像生成部３７１は、図６の３Ｄ画像生成部１４２と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。

このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示される。視聴者は、任意の2視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。

［画像生成部の詳細構成例］
図２６は、図２５の３Ｄ画像生成部３７１の詳細構成例を示すブロック図である。

図２６に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２６の３Ｄ画像生成部３７１の構成は、視差画像高解像度化部１６２の代わりに視差画像高解像度化部３９１が設けられている点が図７の構成と異なる。

３Ｄ画像生成部３７１の視差画像高解像度化部３９１は、高解像度化部として機能し、視差画像変換情報取得部３５２からの視差画像変換情報に基づいて、視差画像分離部１６１から供給される視点画像Ｂ１および視点画像Ｃ１の視差画像をそれぞれ高解像度化する。具体的には、視差画像高解像度化部３９１は、視差画像変換情報が表す低解像度化の方法に対応する方法で、視点画像Ｂ１および視点画像Ｃ１の視差画像をそれぞれ高解像度化する。これにより、視差画像高解像度化部３９１は、互換画像と同一の解像度の視点画像Ｂ１および視点画像Ｃ１の視差画像を得る。そして、視差画像高解像度化部３９１は、得られた視点画像Ｂ１および視点画像Ｃ１の視差画像、並びに、視差画像分離部１６１から供給される視差画像Ａ１’を、視差画像ワーピング処理部１６３および視差画像ワーピング処理部１６４に供給する。

［視差画像の高解像度化の説明］
図２７は、図２６の視差画像高解像度化部３９１により行われる視差画像の高解像度化を説明する図である。

なお、図２７において、小さい丸は画素を表し、丸の柄は視差値を表す。また、図２７では、説明の便宜上、低解像度化前の画素を丸で表しており、低解像度化により間引かれる画素は、柄が付されない丸で表している。

図２７の上側に示すように、間引き法で視差画像が低解像化され、視差画像変換情報として0が生成されている場合、視差画像高解像度化部３９１は、低解像度化された視差画像の視差値を保持しつつ補間を行うことにより、高解像度化を行う。即ち、間引き法で視差画像が低解像度化された場合、低解像度化後の各画素の視差値は、その画素に対応する低解像度化前の視差画像の画素の視差値そのものであるため、保持する。具体的には、視差画像高解像度化部３９１は、低解像度化された視差画像の各画素の視差値を、その画素に対応する画素の視差値とし、その画素以外の画素の視差値を重み付け補間等で補間する。

一方、バイリニア法で視差画像が低解像度化され、視差画像変換情報として1が生成されている場合、視差画像高解像度化部３９１は、図２７の下側に示すように線形補間を行うことにより、高解像度化を行う。具体的には、視差画像高解像度化部３９１は、高解像度化後の視差画像の各画素の視差値を、その画素に対応する低解像度化された視差画像の画素の視差値を用いて線形補間する。

以上のように、視差画像高解像度化部３９１は、視差画像生成部３０１により行われた低解像度化の方法に対応する方法で高解像度化を行うので、高解像度化後の視差画像を、低解像度化前の視差画像に近づけることができる。

［復号装置の処理の説明］
図２８は、図２５の復号装置３５０による復号処理を説明するフローチャートである。この復号処理は、例えば、図２１の符号化装置３００から送信される多重化ストリームが復号装置３５０に入力されたとき、開始される。

図２８のステップＳ２３１乃至Ｓ２４０の処理は、図１３のステップＳ６１乃至Ｓ７０の処理と同様であるので説明は省略する。

図２８のステップＳ２４１において、視差画像変換情報取得部３５２は、視差画像変換情報を画像生成部３５３に入力する。

ステップＳ２４２において、画像生成部３５３は、多視点画像生成処理を行う。この多視点画像生成処理の詳細は、後述する図２９を参照して説明する。

ステップＳ２４３およびＳ２４４の処理は、図１３のステップＳ７２およびＳ７３の処理と同様であるので、説明は省略する。

図２９は、図２８のステップＳ２４２の多視点画像生成処理の詳細を説明するフローチャートである。

図２９のステップＳ２６０乃至Ｓ２７３の処理は、図１４のステップＳ９３の処理がステップＳ２６３の処理に代わる点を除いて、図１４の多視点画像生成処理と同様である。

ステップＳ２６３の処理では、視差画像高解像度化部３９１が、視差画像変換情報取得部３５２から供給される視差画像変換情報に基づいて、視差画像分離部１６１から供給される補助画像である視点画像Ｂ１および視点画像Ｃ１の視差画像をそれぞれ高解像度化する。

以上のように、復号装置３５０は、符号化装置３００から送信されてくる視差画像変換情報に基づいて、低解像度化された補助画像の視差画像を高解像度化するので、高解像度化された視差画像は、低解像度化前の視差画像に近い視差画像となる。従って、復号装置３５０は、境界情報に基づいて、低解像度化前の視差画像に近い補助画像の視差画像のワーピング処理を行うことができる。よって、補助画像の視差画像のワーピング処理をより正確に行うことができる。

なお、第３実施の形態では、第１実施の形態と同様に境界情報のみが符号化装置３００から復号装置３５０に送信されたが、第２実施の形態と同様に左側境界情報も送信されるようにしてもよい。

また、第１乃至第３実施の形態では、撮影される視点画像の視点数が3であったが、視点数はこれに限定されない。また、視点間距離は、撮影情報生成部５６により検出されるものとしたが、撮影部５１Ａ乃至５１Ｃから取得されるようにしてもよい。

さらに、第１乃至第３実施の形態では、境界情報は視差画像のワーピング処理にのみ用いられたが、復号や高解像度化等にも用いることができる。また、第１乃至第３実施の形態では、境界位置に隣接する画素の視差値が、その画素の左側または右側に隣接する画素の視差値そのものにされたが、左側および右側に隣接する画素の視差値の重み付け加算により求められる視差値にされてもよい。この場合、第２実施の形態では、境界位置の左側に隣接する画素の視差値が、その画素の左側に隣接する画素の重みが右側に隣接する画素の重みに比べて重くなるように重み付け加算された視差値に変更される。また、境界位置の右側に隣接する画素の視差値が、その画素の右側に隣接する画素の重みが左側に隣接する画素の重みに比べて重くなるように重み付け加算された視差値に変更される。

また、本技術の画像処理装置は、例えば、テレビジョン受像機などの表示装置や再生装置に適用することができる。また、本技術において、境界位置に隣接する画素の数は、2つに限定されず、境界位置に隣接する画素は、境界位置の左に隣接する複数の画素および右に隣接する複数の画素であってもよい。

さらに、画像情報、撮影情報、視差画像多重化情報、互換情報、境界情報、境界左側情報、および視差画像変換情報は、符号化されずに、符号化ストリームとは別系統で伝送されるようにしてもよい。また、画像情報、撮影情報、視差画像多重化情報、互換情報、境界情報、境界左側情報、および視差画像変換情報は、符号化されて、符号化ストリームとは別系統で伝送されるようにしてもよい。

また、画像情報、撮影情報、視差画像多重化情報、互換情報、境界情報、境界左側情報、および視差画像変換情報は、符号化されずに、符号化ストリームの所定の領域に記述されることもできるし、符号化されて符号化ストリームの所定の領域に記述されることもできる。

＜第４実施の形態＞
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図３１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としての記憶部８０８やROM（Read Only Memory）８０２に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブルメディア８１１に格納（記録）しておくことができる。このようなリムーバブルメディア８１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア８１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブルメディア８１１からドライブ８１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部８０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)８０１を内蔵しており、CPU８０１には、バス８０４を介して、入出力インタフェース８０５が接続されている。

CPU８０１は、入出力インタフェース８０５を介して、ユーザによって、入力部８０６が操作等されることにより指令が入力されると、それに従って、ROM８０２に格納されているプログラムを実行する。あるいは、CPU８０１は、記憶部８０８に格納されたプログラムを、RAM(Random Access Memory)８０３にロードして実行する。

これにより、CPU８０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU８０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース８０５を介して、出力部８０７から出力、あるいは、通信部８０９から送信、さらには、記憶部８０８に記録等させる。

なお、入力部８０６は、キーボードや、マウス、マイク等で構成される。また、出力部８０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

本技術は、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置および復号装置に適用することができる。

また、上述した符号化装置および復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。

＜第５実施の形態＞
［テレビジョン装置の構成例］
図３２は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。

チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。

デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。

映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。

表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。

音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。

外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。

制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。

制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。

なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。

このように構成されたテレビジョン装置では、デコーダ９０４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、低解像度化された視差画像を含む符号化ビットストリームを復号して多視点の画像を生成するとき、視差画像のワーピング処理を正確に行うことができる。

＜第６実施の形態＞
［携帯電話機の構成例］
図３３は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。

また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。

携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。

また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。

なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。

データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。

多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。

このように構成された携帯電話装置では、画像処理部９２７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、画像データの通信において、低解像度化された視差画像を含む符号化データを復号して多視点の画像を生成するとき、視差画像のワーピング処理を正確に行うことができる。

＜第７実施の形態＞
［記録再生装置の構成例］
図３４は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。

記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。

チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。

外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。

エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。

ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。

ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。

セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。

デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。

ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。

制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。

制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された記録再生装置では、エンコーダ９４３に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、復号側で視差画像のワーピング処理を正確に行うことができるように、低解像度化された視差画像を含む符号化ビットストリームを出力することができる。

＜第８実施の形態＞
［撮像装置の構成例］
図３５は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。

光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。

カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。

画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。

ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。

外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。

メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。

また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された撮像装置では、画像データ処理部９６４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、メモリ部９６７や記録メディア等に記録された低解像度化された視差画像を含む符号化データを復号して多視点の画像を生成するとき、視差画像のワーピング処理を正確に行うことができる。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

５０ 符号化装置， ５３ 視差画像生成部， ５８ 境界情報生成部， ６０ 多重化部， ６２ 補助用エンコーダ， １２０ 復号装置， １２１ 分離部， １３２ 補助用デコーダ， １６２ 視差画像高解像度化部， １６３，１６４ 視差画像ワーピング処理部， １６５，１６６ 視点画像ワーピング処理部， １６９ 多視点画像生成部， ２００ 符号化装置， ２０１ 境界情報生成部， ２１１ 補助用エンコーダ， ２２０ 復号装置， ２３１ 補助用デコーダ， ２５１，２５２ 視差画像ワーピング処理部， ３００ 符号化装置， ３０１ 視差画像生成部，３１１ 補助用エンコーダ， ３５０ 復号装置， ３６１ 補助用デコーダ， ３９１ 視差画像高解像度化部

Claims (20)

1. デプス画像を低解像度化する低解像度化部と、
   前記デプス画像の画素値が変化する位置である境界位置に隣接する画素を示す境界情報を生成する生成部と、
   前記低解像度化部により低解像度化された前記デプス画像と、前記生成部により生成された前記境界情報とを伝送する伝送部と
   を備える画像処理装置。
2. 前記生成部は、前記境界情報を画素単位で生成し、前記境界情報が示す画素のうちの前記境界位置の左側に位置する画素を示す左側境界情報を生成し、
   前記伝送部は、前記低解像度化部により低解像度化された前記デプス画像と、前記境界情報と、前記左側境界情報とを伝送する
   請求項１に記載の画像処理装置。
3. 前記低解像度化部は、所定の低解像度化方法で前記デプス画像を低解像度化し、
   前記伝送部は、前記低解像度化部により低解像度化された前記デプス画像と、前記境界情報と、前記低解像度化方法を示す解像度変換情報とを伝送する
   請求項１に記載の画像処理装置。
4. 前記デプス画像の隣接する画素どうしの画素値の差分に基づいて前記境界位置を検出する境界検出部
   をさらに備え、
   前記生成部は、前記境界検出部により検出された前記境界位置に基づいて、前記境界情報を生成する
   請求項１に記載の画像処理装置。
5. 前記低解像度化部により低解像度化されたデプス画像をブロック単位で符号化する符号化部
   をさらに備え、
   前記生成部は、前記境界情報を画素単位または前記ブロック単位で生成し、
   前記伝送部は、前記符号化部により符号化された前記デプス画像と、前記生成部により生成された画素単位または前記ブロック単位の前記境界情報とを伝送する
   請求項１に記載の画像処理装置。
6. 前記伝送部は、視点画像と、前記低解像度化部により低解像度化された前記デプス画像と、前記生成部により生成された前記境界情報とを伝送する
   請求項１に記載の画像処理装置。
7. 画像処理装置が、
   デプス画像を低解像度化する低解像度化ステップと、
   前記デプス画像の画素値が変化する位置である境界位置に隣接する画素を示す境界情報を生成する生成ステップと、
   前記低解像度化ステップの処理により低解像度化された前記デプス画像と、前記生成ステップの処理により生成された前記境界情報とを伝送する伝送ステップと
   を含む画像処理方法。
8. 低解像度化されたデプス画像と、前記デプス画像の画素値が変化する位置である境界位置に隣接する画素を示す境界情報とを受け取る受け取り部と、
   前記受け取り部により受け取られた前記デプス画像を高解像度化する高解像度化部と、
   前記受け取り部により受け取られた前記境界情報と仮想視点の位置とに基づいて、前記高解像度化部により高解像度化された前記デプス画像に対してワーピング処理を行うことにより、前記仮想視点のデプス画像を生成するデプス画像ワーピング処理部と
   を備える画像処理装置。
9. 前記デプス画像ワーピング処理部は、前記境界情報に基づいて、前記高解像度化部により高解像度化された前記デプス画像のうち、前記境界情報に示される画素の画素値を、その画素に隣接する画素の画素値に変更して、前記ワーピング処理を行う
   請求項８に記載の画像処理装置。
10. 前記受け取り部は、前記低解像度化されたデプス画像と、画素単位の前記境界情報と、前記境界情報に示される画素のうちの前記境界位置の左側に位置する画素を示す左側境界情報とを受け取り、
    前記デプス画像ワーピング処理部は、前記境界情報と、前記左側境界情報と、前記仮想視点の位置とに基づいて、前記高解像度化部により高解像度化された前記デプス画像に対してワーピング処理を行う
    請求項８に記載の画像処理装置。
11. 前記デプス画像ワーピング処理部は、前記境界情報と前記左側境界情報とに基づいて、前記高解像度化部により高解像度化された前記デプス画像のうち、前記境界情報および前記左側境界情報に示される画素の画素値を、その画素の左側に隣接する画素の画素値に変更して、前記ワーピング処理を行う
    請求項１０に記載の画像処理装置。
12. 前記デプス画像ワーピング処理部は、前記境界情報および前記左側境界情報に示されない画素の画素値を、その画素の右側に隣接する画素の画素値に変更して、前記ワーピング処理を行う
    請求項１１に記載の画像処理装置。
13. 前記受け取り部は、前記低解像度化されたデプス画像と、前記境界情報と、前記低解像度化の方法を示す解像度変換情報とを受け取り、
    前記高解像度化部は、前記解像度変換情報に示される前記低解像度化の方法に対応する高解像度化の方法で、前記受け取り部により受け取られた前記デプス画像を高解像度化する
    請求項８に記載の画像処理装置。
14. 前記高解像度化部は、前記低解像度化の方法が間引き法である場合、前記低解像化されたデプス画像の各画素の画素値を用いて、前記高解像度化されたデプス画像の各画素の画素値を補間することにより、前記デプス画像を高解像度化する
    請求項１３に記載の画像処理装置。
15. 前記高解像度化部は、前記低解像度化の方法がバイリニア法である場合、前記低解像度化されたデプス画像に対して線形補間を行うことにより、前記デプス画像を高解像度化する
    請求項１３に記載の画像処理装置。
16. 前記低解像度化されたデプス画像をブロック単位で符号化した符号化デプス画像を復号する復号部
    をさらに備え、
    前記受け取り部は、前記符号化デプス画像と、画素単位または前記ブロック単位の前記境界情報とを受け取り、
    前記復号部は、前記受け取り部により受け取られた前記符号化デプス画像を前記ブロック単位で復号し、
    前記高解像度化部は、前記復号部により復号された前記符号化デプス画像を高解像度化する
    請求項８に記載の画像処理装置。
17. 前記デプス画像ワーピング処理部により生成された前記仮想視点のデプス画像に基づいて、視点画像のワーピング処理を行うことにより、前記仮想視点の視点画像を生成する視点画像ワーピング処理部
    をさらに備える
    請求項８に記載の画像処理装置。
18. 前記視点画像ワーピング処理部により生成された前記仮想視点の視点画像を対象として、前記仮想視点の視点画像には存在するが、その仮想視点のデプス画像の生成に用いられた前記デプス画像に対応する視点画像には存在しない領域であるオクルージョン領域を補間する補間部
    をさらに備える
    請求項１７に記載の画像処理装置。
19. 前記受け取り部は、第１の視点の第１の視点画像と、第２の視点の第２の視点画像と、前記低解像度化されたデプス画像と、前記境界情報とを受け取り、
    前記デプス画像ワーピング処理部は、前記第１の視点の境界情報と前記仮想視点の位置とに基づいて、高解像度化された前記第１の視点のデプス画像に対してワーピング処理を行うことにより、前記仮想視点の第１のデプス画像を生成するとともに、前記第２の視点の境界情報と前記仮想視点の位置とに基づいて、高解像度化された前記第２の視点のデプス画像に対してワーピング処理を行うことにより、前記仮想視点の第２のデプス画像を生成し、
    前記視点画像ワーピング処理部は、前記デプス画像ワーピング処理部により生成された前記仮想視点の前記第１のデプス画像に基づいて、前記第１の視点の視点画像に対してワーピング処理を行うことにより、前記仮想視点の第１の視点画像を生成するとともに、前記第２のデプス画像に基づいて、前記第２の視点の視点画像に対して視点画像のワーピング処理を行うことにより、前記仮想視点の第２の視点画像を生成し、
    前記補間部は、前記視点画像ワーピング処理部により生成された前記仮想視点の前記第１の視点画像および前記第２の視点画像のうちの一方の前記オクルージョン領域を、他方で補間する
    請求項１８に記載の画像処理装置。
20. 画像処理装置が、
    低解像度化されたデプス画像と、前記デプス画像の画素値が変化する位置である境界位置に隣接する画素を示す境界情報とを受け取る受け取りステップと、
    前記受け取りステップの処理により受け取られた前記デプス画像を高解像度化する高解像度化ステップと、
    前記受け取りステップの処理により受け取られた前記境界情報と仮想視点の位置とに基づいて、前記高解像度化ステップの処理により高解像度化された前記デプス画像に対してワーピング処理を行うことにより、前記仮想視点のデプス画像を生成するデプス画像ワーピング処理ステップと
    を含む画像処理方法。

Images