JPWO2014083752A1 - 別視点画像生成装置および別視点画像生成方法 - Google Patents

Abstract

別視点画像生成装置（１００）は、２以上の視点位置それぞれにおいて取得された２以上の画像から、仮想視点位置において取得される画像に相当する画像であって、画素値が欠落した領域である穴領域が含まれる画像である別視点画像を１つずつ生成する別視点画像生成部（１０１、１０２）と、生成された２以上の別視点画像の各々について、処理単位ごとに、当該処理単位を含む所定領域内に占める穴領域の割合である穴密度を算出する穴密度算出部（１０３）と、２以上の別視点画像の各々の穴密度の大きさに基づいて２以上の別視点画像の各々の合成比率を処理単位ごとに算出する合成比率算出部（１０４）と、２以上の別視点画像を、算出された合成比率に基づいて合成する別視点画像合成部（１０６）とを備える。

Description

本開示は、３次元（３Ｄ）表示用の画像処理技術に関し、特に、互いに異なる視点位置で撮影された２以上の画像から、当該２以上の画像とは視点位置が異なる別の画像を生成する別視点画像生成装置に関する。

視聴者の左右の目に対して視差のある画像（以下、ステレオ画像とも記載する）を表示することにより、視聴者に平面映像を立体映像として知覚させる技術が知られている。

また、一組のステレオ画像から、当該ステレオ画像とは別の視点の画像（別視点画像）を生成する技術が知られている（例えば、特許文献１参照）。

特許文献１に記載の技術は、画像の奥行き方向の距離を示すデプスマップを使用し、奥行き方向の距離に応じて画素を水平方向に移動することにより、別視点画像を生成する技術である。このような技術は、一般的に、ＤＩＢＲ（Ｄｅｐｔｈ Ｉｍａｇｅ Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ）と呼ばれる。

ＤＩＢＲにより生成された画像は、元のステレオ画像には現れない領域を含む場合がある。このような領域は、画素値の割り当てられていない領域（以下、穴領域と記載する）であるため、なんらかの処理によって補間される必要がある。

特開２０１０−２１８５４８号公報

そこで、本開示は、別視点画像に生じた穴領域を、高品質に補間することができる別視点画像生成装置を提供する。

本開示の一態様に係る別視点画像生成装置は、画像内の各画素の奥行きを示す距離情報に基づいて、２以上の視点位置それぞれにおいて取得された２以上の画像の各々から、前記２以上の視点位置とは異なる仮想視点位置において取得される画像に相当する画像であって、画素値が欠落した領域である穴領域が含まれる画像である別視点画像を１つずつ生成する別視点画像生成部と、生成された２以上の別視点画像の各々について、１以上の画素からなる処理単位ごとに、当該処理単位を含む所定領域内に占める、当該別視点画像内の穴領域の割合である穴密度を算出する穴密度算出部と、前記２以上の別視点画像の各々の前記穴密度に基づいて、前記２以上の別視点画像の各々の合成比率を前記処理単位ごとに算出する合成比率算出部と、前記２以上の別視点画像を、算出された合成比率に基づいて合成する別視点画像合成部とを備える。

なお、この包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示に係る別視点画像生成装置によれば、別視点画像に生じた穴領域を、高品質に補間することができる。

図１は、実施の形態に係る別視点画像生成装置の全体構成図である。 図２は、別視点画像生成部に入力される画像およびデプスマップの一例を示す図である。 図３は、別視点画像生成部が生成する別視点画像を示す図である。 図４は、穴密度算出部の穴密度の算出方法を示す図である。 図５は、穴密度の算出方法の具体例を説明するための模式図である。 図６は、合成比率算出部が生成する合成比率マップを示す図である。 図７は、左別視点画像の穴密度と右別視点画像の穴密度との差と、合成比率αとの関係を示す図である。 図８は、穴埋め処理後の左別視点画像および穴埋め処理後の右別視点画像を示す模式図である。 図９は、別視点画像合成部が生成した出力画像を示す図である。 図１０は、実施の形態に係る別視点画像生成装置の動作のフローチャートである。 図１１は、その他の実施の形態に係る別視点画像生成装置の全体構成図である。 図１２は、その他の実施の形態に係る別視点画像生成装置の動作のフローチャートである。 図１３は、別視点画像生成装置の適用例を示す第１の図である。 図１４は、別視点画像生成装置の適用例を示す第２の図である。

（本開示の基礎となった知見）
３Ｄ映画や３ＤＴＶ等の立体映像を表示する方法としては様々な技術が存在する。これらの技術は、視聴者の左右の目に対して視差のあるステレオ画像を表示することにより、視聴者に平面映像を立体映像として知覚させる点において共通している。視聴者の左右の目に表示するステレオ画像の間の視差量が大きい程、視聴者の感じる立体感は強くなる。逆に、ステレオ画像の視差量が小さい場合は、視聴者の感じる立体感は弱まる。

ステレオ画像の視差量は、ステレオ画像を撮影するステレオカメラのレンズ間距離によって決まるが、撮影後のステレオ画像の視差量は、事後的に変更されて立体感を調整できる構成であることが望ましい。

また、レンチキュラレンズ等を用いた裸眼３Ｄディスプレイでは、視聴者の位置に応じて視点位置の異なるステレオ画像を表示する。このような場合、表示されるステレオ画像の切り替えが目立たないようにするためには、あらかじめ多数の視点位置において撮影された画像を撮影しておく必要があるが、多数の視点位置における画像の撮影は、非常にコストがかかる。したがって、ステレオ画像を変形して、視点位置の異なる複数の画像を生成する必要がある。

ここで、背景技術で説明したように、ステレオ画像から当該ステレオ画像とは別の視点の画像を生成するＤＩＢＲと呼ばれる技術が知られている。

ＤＩＢＲにより生成された画像は、画素値の割り当てられていない領域である穴領域を含む場合があり、穴領域は、なんらかの処理によって補間される必要がある。

穴領域は、穴領域の周辺領域の画素値を用いた線形補間処理によって単純に補間することができるが、このような方法は、穴領域が大きい場合、補間による画質の劣化が目立つという課題がある。

これに対し、特許文献１の記載の技術は、ステレオ画像のうちの左視点画像から生成された別視点画像の穴領域に対して、右視点画像の対応する領域の画素値を当てはめることで穴領域を補間する技術である。

しかしながら、特許文献１に記載の技術は、穴領域に対してそのまま反対視点の画像の画素値をあてはめるので、補間後の穴領域と周辺領域との境界が滑らかに繋がらないという課題がある。

上記の課題を解決するために、本開示の一態様に係る別視点画像生成装置は、画像内の各画素の奥行きを示す距離情報に基づいて、２以上の視点位置それぞれにおいて取得された２以上の画像の各々から、前記２以上の視点位置とは異なる仮想視点位置において取得される画像に相当する画像であって、画素値が欠落した領域である穴領域が含まれる画像である別視点画像を１つずつ生成する別視点画像生成部と、生成された２以上の別視点画像の各々について、１以上の画素からなる処理単位ごとに、当該処理単位を含む所定領域内に占める、当該別視点画像内の穴領域の割合である穴密度を算出する穴密度算出部と、前記２以上の別視点画像の各々の前記穴密度に基づいて、前記２以上の別視点画像の各々の合成比率を前記処理単位ごとに算出する合成比率算出部と、前記２以上の別視点画像を、算出された合成比率に基づいて合成する別視点画像合成部とを備える。

これにより、別視点画像を生成する際に生じる穴領域を高品質に補間することができる。したがって、２以上の画像から高品質な別視点画像を生成することができる。

また、さらに、前記２以上の別視点画像の各々の穴領域を当該別視点画像内の画素値を用いて補間する穴領域補間部を備え、前記別視点画像合成部は、穴領域が補間された前記２以上の別視点画像を、算出された合成比率に基づいて合成してもよい。

また、さらに、前記別視点画像合成部が合成した画像内の穴領域を当該画像内の画素値を用いて補間する穴領域補間部を備えてもよい。

また、前記穴密度算出部は、前記２以上の別視点画像の各々について、処理単位ごとに、当該処理単位を中心とした前記所定領域であるウィンドウ内に占める穴領域の割合を前記穴密度として算出してもよい。

また、前記穴密度算出部は、前記ウィンドウ内の中央部に位置する穴領域と、前記ウィンドウ内の周辺部に位置する穴領域とにそれぞれ異なる重みを与えて前記穴密度を算出してもよい。

また、前記合成比率算出部は、前記穴密度の大きさが小さい別視点画像ほど合成比率が大きくなるように、前記２以上の別視点画像の各々の合成比率を前記処理単位ごとに算出してもよい。

また、前記合成比率算出部は、穴密度の大きさが等しい場合には、視点位置が前記仮想視点位置と近い別視点画像ほど合成比率が大きくなるように、前記２以上の別視点画像の各々の合成比率を前記処理単位ごとに算出してもよい。

また、前記処理単位は、画素であり、前記穴密度算出部は、前記２以上の別視点画像の各々について、画素ごとに穴密度を算出し、前記合成比率算出部は、前記２以上の別視点画像の各々の合成比率を画素ごとに算出してもよい。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
図１は、実施の形態に係る別視点画像生成装置１００の全体構成図である。

別視点画像生成装置１００は、左別視点画像生成部１０１と、右別視点画像生成部１０２と、穴密度算出部１０３と、合成比率算出部１０４と、穴領域補間部１０５と、別視点画像合成部１０６とを備える。本実施の形態では、別視点画像生成装置１００がステレオ画像である左視点画像および右視点画像から、別視点の画像を生成する例について説明する。

左別視点画像生成部１０１は、左視点画像と左視点画像のデプスマップ（左デプスマップ）とに基づいて、左視点画像に含まれる各画素を当該画素の奥行きに基づいて水平方向に移動させた左別視点画像を生成する。

右別視点画像生成部１０２は、右視点画像と右視点画像のデプスマップ（右デプスマップ）とに基づいて、右視点画像に含まれる各画素を当該画素の奥行きに基づいて水平方向に移動させた右別視点画像を生成する。

なお、左視点画像は、左視点位置において撮影された画像であり、右視点画像は、左視点位置とは異なる右視点位置において撮影された画像である。また、左別視点画像と右別視点画像とは、いずれも同一の仮想視点位置（左視点位置および右視点位置のいずれの視点位置とも異なる位置）において取得される画像に相当する画像である。デプスマップとは、画像内の各画素の奥行き（視点位置から当該各画素に表示されている被写体までの距離）を示す距離情報である。

なお、左別視点画像生成部１０１および右別視点画像生成部１０２は、図１に示されるようにそれぞれ分離した構成でなくてもよい。すなわち、１つの別視点画像生成部が、左右の視点画像および左右のデプスマップから、左別視点画像および右別視点画像をそれぞれ生成してもよい。言い換えれば、別視点画像生成部は、画像内の各画素の奥行きを示す距離情報に基づいて、２つの視点位置それぞれにおいて取得された２つの画像の各々から、２つの視点位置とは異なる仮想視点位置において取得される画像に相当する別視点画像を１つずつ生成する。

穴密度算出部１０３は、左別視点画像生成部１０１および右別視点画像生成部１０２が生成した左別視点画像および右別視点画像のそれぞれについて、処理単位ごとの穴領域の分布を示す穴密度マップを生成する。具体的には、穴密度算出部１０３は、生成された２つの別視点画像の各々について、１以上の画素からなる処理単位ごとに、当該処理単位を含む所定領域内に占める穴領域の割合である穴密度を算出する。なお、穴領域とは、別視点画像内の画素値が欠落した領域である。

また、本実施の形態では、上記処理単位は、画素であり、穴密度算出部１０３は、２つの別視点画像の各々について、画素ごとに穴密度を算出する。また、本実施の形態では、上記所定領域として、後述するウィンドウが用いられる。

合成比率算出部１０４は、穴密度算出部１０３が生成した穴密度マップに基づいて、左別視点画像と右別視点画像とを合成する際の比率を示す合成比率マップを生成する。具体的には、合成比率算出部１０４は、２つの別視点画像の各々の穴密度の大きさを対応する画素（処理単位）ごとに比較し、比較した穴密度の大きさに応じて２つの別視点画像の各々の合成比率を画素（処理単位）ごとに算出する。

穴領域補間部１０５は、左別視点画像生成部１０１および右別視点画像生成部１０２が生成した左別視点画像および右別視点画像の各々に対して、穴領域を同一画像内の穴領域の周辺に位置する画素値を用いて補間する穴埋め処理を施す。つまり、穴領域補間部１０５は、２つの別視点画像の各々の穴領域を当該別視点画像内の画素値を用いて補間する。

なお、画素値とは、少なくとも画素の輝度および色を示す情報である。画素値は、具体的には、ＲＧＢの色成分の各輝度値からなる情報や、輝度値と色差とからなる情報などである。また、画素値には、色に関する情報に加えて、デプス値のような付加情報が含まれてもよい。

別視点画像合成部１０６は、合成比率算出部１０４が生成した合成比率マップによって示される合成比率に基づき、穴領域補間部１０５により穴埋め処理済みの左別視点画像および右別視点画像に対して合成処理を行った出力画像（出力別視点画像）を生成する。具体的には、別視点画像合成部１０６は、穴領域が補間された２つの別視点画像を算出された合成比率に基づいて合成する。

なお、別視点画像生成装置１００の各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

次に、別視点画像生成装置１００の各構成要素が行う動作について詳細に説明する。まず、左別視点画像生成部１０１および右別視点画像生成部１０２が行う別視点画像の生成処理について詳細に説明する。

図２は、左別視点画像生成部１０１および右別視点画像生成部１０２に入力される画像およびデプスマップの一例を示す図である。

左視点画像２１１は、左視点位置２１０において被写体２０１および被写体２０２を撮影した画像である。右視点画像２２１は、右視点位置２２０において被写体２０１および被写体２０２を撮影した画像である。左視点画像２１１と、右視点画像２２１とは、同一の被写体２０１および被写体２０２を撮影した立体視用の画像であり、被写体２０１および被写体２０２の画像内における相対位置がそれぞれ異なる。

左デプスマップ２１２は、左視点画像２１１の背景および被写体２０１のデプスを示す画像である。右デプスマップ２２２は、右視点画像２２１の背景および被写体２０１のデプスを示す画像である。つまり、左デプスマップ２１２は、左視点位置２１０から被写体２０１までの距離を示し、右デプスマップ２２２は、右視点位置２２０から被写体２０１までの距離を示す。なお、実際には、左デプスマップ２１２および右デプスマップ２２２において被写体２０２のデプスも示されるが、本実施の形態では、被写体２０２のデプスは、説明の簡略化のために省略される。

なお、本実施の形態のデプスマップは、視点位置から近い距離に位置する被写体が撮影された画素ほど明るい輝度値となり、視点位置から遠い距離に位置する被写体が撮影された画素ほど暗い輝度値となる。

左別視点画像生成部１０１は、図２に示されるような左視点画像および左デプスマップから仮想視点位置において取得される画像に相当する左別視点画像を生成する。同様に、右別視点画像生成部１０２は、図２に示されるような右視点画像および右デプスマップから仮想視点位置において取得される画像に相当する右別視点画像を生成する。

図３は、左別視点画像生成部１０１が生成する左別視点画像と、右別視点画像生成部１０２が生成する右別視点画像を示す図である。

一般に、視点位置から近い被写体２０１は、視点位置から遠い被写体２０２よりも視点位置の違いによる移動量が大きくなる。そこで、左別視点画像生成部１０１および右別視点画像生成部１０２は、入力画像（左視点画像２１１および右視点画像２２１）の視点位置から仮想視点位置までの距離を考慮して入力画像の画素を水平方向に移動する。このとき。左別視点画像生成部１０１および右別視点画像生成部１０２は、画像の奥行き方向の距離を示すデプスマップを使用し、奥行き方向の距離に応じて各画素の移動量を調整する。

図３に示されるように、左別視点画像生成部１０１は、仮想視点位置３０１において被写体２０１および２０２を撮影した場合に得られる画像に相当する左別視点画像３０２を生成する。また、右別視点画像生成部１０２は、仮想視点位置３０１において被写体２０１および２０２を撮影した場合に得られる右別視点画像３０３を生成する。

ここで、上述のように、視点位置が左視点位置２１０から仮想視点位置３０１へ移動した場合、手前側の被写体２０１の移動量は、奥側の被写体２０２の移動量よりも大きい。視点位置が右視点位置２２０から仮想視点位置３０１へ移動する場合についても、移動方向が逆になる点以外は同様である。つまり、視点位置の移動に伴う各画素の画素値の移動量Δｘは、以下の（式１）により求められる。

Δｘ ＝ ｄ・Δｂ ・・・（式１）

ここで、ｄは、各画素のデプス値（デプスマップの値）であり、視点位置から遠い奥側ほど小さい値となり、視点位置に近い手前側ほど大きい値となる。Δｂは、視点位置の移動量（左視点位置２１０から仮想視点位置３０１までの移動量または右視点位置２２０から仮想視点位置３０１までの移動量）を表す。

デプス値ｄが大きい画素ほど、移動量Δｘの値が大きくなるため、視点移動後の左別視点画像３０２および右別視点画像３０３内のそれぞれ被写体２０１の横側に、画素値の存在しない領域である穴領域が発生する。具体的には、左視点画像２１１から生成された左別視点画像３０２は、画像内の被写体２０１の右側に穴領域３１０が発生し、右視点画像２２１から生成された右別視点画像３０３では、画像内の被写体２０１の左側に穴領域３１１が発生する。

なお、実際には、図３において、被写体２０２が背景と同じ距離に存在しない限り、画像内の被写体２０２の横側にも穴領域が生じるが、図３では被写体２０２に生じる穴領域に関しては図示が省略されている。

次に、穴密度算出部１０３の穴密度の算出方法について説明する。図４は、穴密度算出部１０３の穴密度の算出方法を示す図である。

穴密度算出部１０３は、左別視点画像３０２から穴領域のみを抽出した穴マップ４０１（図４の（ａ））と、右別視点画像３０３から穴領域のみを抽出した穴マップ４０２（図４の（ｂ））のそれぞれについて、ウィンドウ４０３を走査する。そして、穴マップ４０１および４０２のそれぞれについて画素（処理単位）ごとに、当該画素にウィンドウ４０３の中心が重なったときのウィンドウ４０３全体に占める穴領域の割合を穴密度Ｄｅｎとして算出する。そして、穴密度算出部１０３は、算出された穴密度からなる穴密度マップ４０６および４０７を、以下の（式２）によって求める。

Ｄｅｎ（ｘ，ｙ） ＝ ΣｉｓＨｏｌｅ（Ｈ［ｘ＋ｄｘ，ｙ＋ｄｙ］）／Ｎ
・・・（式２）

式２において、Ｎはウィンドウ内の画素数の合計であり、Ｈ［ｘ＋ｄｘ，ｙ＋ｄｙ］は、穴マップ内の座標［ｘ＋ｄｘ，ｙ＋ｄｙ］上の成分である。ｄｘおよびｄｙは、ウィンドウ中心からの相対位置を意味する。

穴密度算出部１０３は、Ｈ［ｘ＋ｄｘ，ｙ＋ｄｙ］が穴領域である数を合計してＮで割ることで、座標（ｘ，ｙ）に位置する画素の穴密度Ｄｅｎを算出する。例えば、図４において、穴マップ４０１のウィンドウ４０４の穴密度は、穴マップ４０２のウィンドウ４０５の穴密度よりも小さい。

以下、図５を用いて穴密度の算出方法の具体例について説明する。図５は、穴密度の算出方法の具体例を説明するための模式図である。

図５の（ａ）に示される穴マップ４０８においては、４×５画素の大きさの穴領域４０９が存在する。画素Ａの穴密度は、例えば、画素Ａを中心とした５×５画素の大きさのウィンドウ４１０ａに占める、穴領域４０９に含まれる画素の数で求められる。すわなち、画素Ａの穴密度は、３／２５＝０．１２と算出される。同様に、画素Ｂの穴密度は、ウィンドウ４１０ｂに占める、穴領域４０９に含まれる画素の数で求められ、１０／２５＝０．４と算出される。

なお、上述したウィンドウの形状は、正方形であっても長方形であってもかまわない。また、ウィンドウの形状は、矩形に限定されず、円や楕円であってもよい。

また、穴密度算出部１０３は、ウィンドウ内の中央部に位置する穴領域とウィンドウ内の周辺部に位置する穴領域とにそれぞれ異なる重みを与えて穴密度Ｄｅｎを算出してもよい。

穴密度算出部１０３は、例えば、図５の（ｂ）に示されるように、画素Ｂの穴密度の算出において、ウィンドウ４１０ｂの中央部に位置する穴領域については、１画素を２ポイントとして計算し、これに対し、穴密度算出部１０３は、ウィンドウ４１０ｂの周辺部に位置する穴領域については、１画素を１ポイントとして計算する。これにより、ウィンドウ内の穴領域の位置を考慮して、後述する合成比率が算出される。

また、ウィンドウのサイズは、ユーザの別視点画像生成装置１００へのパラメータ入力によりユーザが指定可能な構成であってもよい。

以上のような穴密度算出部１０３の処理によって、左別視点画像３０２および右別視点画像３０３のそれぞれについて画素ごとに穴密度が算出される。左別視点画像３０２において画素ごとに算出された穴密度を画像化したものが穴密度マップ４０６（図４の（ｃ））であり、右別視点画像３０３において画素ごとに算出された穴密度を画像化したものが穴密度マップ４０７（図４の（ｄ））である。

穴密度マップ４０６および４０７に示されるように、穴領域のエッジ付近に位置する画素は穴密度が低く、穴領域の中央付近に位置する画素は穴密度が高い。

次に、合成比率算出部１０４の合成比率の算出方法について説明する。合成比率算出部１０４は、穴密度マップ４０６および４０７の穴密度を同じ位置の画素ごとに比較し、左視点画像と右視点画像とを合成する際に用いる合成比率（画素値の混合の重み）αを求める。この結果、図６に示される合成比率マップ５１０が生成される。

本実施の形態では、合成比率αは、０から１の値をとり、右別視点画像３０３に対してどの程度左別視点画像３０２を合成するかの割合となる。すなわちα＝１の画素には、左別視点画像３０２の画素値をそのまま使用し右別視点画像３０３の画素値を使用しない。一方、α＝０の画素は、左別視点画像３０２の画素値を使用せず右別視点画像３０３の画素値をそのまま使用する。

合成比率αは、具体的には、以下の（式３）により求められる。

α＝１ ： ０≧Ｄｅｎ（Ｌ）−Ｄｅｎ（Ｒ）
α＝０ ： Ｄｅｎ（Ｌ）−Ｄｅｎ（Ｒ）≧Ｔ
α＝１−（（Ｄｅｎ（Ｌ）−Ｄｅｎ（Ｒ））／Ｔ） ：
０＜Ｄｅｎ（Ｌ）−Ｄｅｎ（Ｒ）＜Ｔ
・・・（式３）

（式３）では、左別視点画像３０２の穴密度をＤｅｎ（Ｌ）、右別視点画像３０３の穴密度をＤｅｎ（Ｒ）とし、Ｔは閾値を表す。また、図７は、（式３）で定められる左別視点画像３０２の穴密度と右別視点画像３０３の穴密度との差と、合成比率αとの関係を示す図である。

Ｄｅｎ（Ｌ）−Ｄｅｎ（Ｒ）≦０である画素については、合成比率算出部１０４は、左視点画像の合成比率αを１とする。また、Ｄｅｎ（Ｌ）−Ｄｅｎ（Ｒ）が閾値Ｔ以上の画素については、合成比率算出部１０４は、合成比率αを０とする。０＜Ｄｅｎ（Ｌ）−Ｄｅｎ（Ｒ）＜Ｔとなる画素については、Ｄｅｎ（Ｌ）とＤｅｎ（Ｒ）との大きさに応じて線形的に合成比率が決定される。

このように、合成比率算出部１０４は、比較した穴密度の大きさが小さい別視点画像ほど合成比率が大きくなるように、２つの別視点画像の各々の合成比率を画素ごとに算出する。

なお、図６に示される合成比率マップ５１０中において、領域５１１（白色でない領域）はα＜１となる領域であり、それ以外の領域（白色の領域）はα＝１である。

なお、（式３）において、閾値Ｔは、ユーザの別視点画像生成装置１００へのパラメータ入力によりユーザによって変更可能な構成であってもよい。また、０＜Ｄｅｎ（Ｌ）−Ｄｅｎ（Ｒ）＜Ｔとなる画素の合成比率αの値は、非線形に決定されてもよい。

本実施の形態では、図３に示されるように、左視点位置２１０から仮想視点位置３０１までの距離が、右視点位置２２０から仮想視点位置３０１までの距離よりも近い。よって、原則的には、穴領域の少ない左別視点画像３０２の画素値が、合成後の別視点画像の画素値として用いられる。

よって、図７に示されるグラフ５００の横軸（（式３）の基準となる式）は、横軸がＤｅｎ（Ｌ）−Ｄｅｎ（Ｒ）となる。逆に、左視点位置２１０から仮想視点位置３０１までの距離が、右視点位置２２０から仮想視点位置３０１の距離よりも遠い場合、図７に示されるグラフの横軸（（式３）の基準となる式）は、Ｄｅｎ（Ｒ）−Ｄｅｎ（Ｌ）となる。

このように、本実施の形態では、Ｄｅｎ（Ｌ）＝Ｄｅｎ（Ｒ）となる場合には、左別視点画像３０２の画素値に対する合成比率が高くなる。言い換えれば、合成比率算出部１０４は、穴密度の大きさが等しい場合には、視点位置が仮想視点位置３０１と近い別視点画像ほど合成比率が大きくなるように、２つの別視点画像の各々の合成比率を画素ごとに算出する。

これにより、結果的には、合成後の別視点画像（出力画像）においては、穴領域の少ない画像中の画素値が多く使用されるため、別視点画像生成装置１００は、より精度の高い出力画像を生成することができる。

なお、合成比率の算出方法は、（式３）に限定されるものではなく、その他の算出方法であってもよい。

次に、穴領域補間部１０５の穴領域の補間方法について説明する。穴領域補間部１０５は、左別視点画像生成部１０１および右別視点画像生成部１０２から左別視点画像３０２および右別視点画像３０３をそれぞれ取得し、左別視点画像３０２および右別視点画像３０３内の穴領域の穴埋め処理（補間処理）を行う。

本実施の形態では、穴領域補間部１０５は、穴領域の周辺の画素値を用いて穴埋め処理を行う。図８は、穴埋め処理後の左別視点画像（以下、左補間後画像とも記載する）および穴埋め処理後の右別視点画像（以下、右補間後画像とも記載する）を示す模式図である。

図８では、一例として穴領域補間部１０５が水平方向に隣接する画素値を用いて水平補間処理（水平方向の線形補間処理）を行った場合の左補間後画像６００（図８の（ａ））および右補間後画像６１０（図８の（ｂ））が図示されている。水平補間処理を用いた場合、図８の（ａ）に示される左補間後画像６００の被補間領域６０１（元々穴領域であった領域）は、穴領域の左右に位置する画素の画素値が引き伸ばされるように補間される。図８の（ｂ）に示される右補間後画像６１０の被補間領域６１１についても同様である。

なお、穴領域補間部１０５の補間処理（面内補間処理）は、線形補間以外の処理でもかまわない。例えば、穴領域の水平方向に隣接する座標におけるデプスマップのデプス値を比較して、より視点から遠い側の画素値を用いて外挿処理をしてもよい。

次に、別視点画像合成部１０６の画像の合成方法について説明する。別視点画像合成部１０６は、左補間後画像６００および右補間後画像６１０を取得し、穴密度算出部１０３から合成比率マップ５１０を取得する。そして、別視点画像合成部１０６は、２つの補間後画像（左補間後画像６００および右補間後画像６１０）を合成した出力画像を生成する。図９は、別視点画像合成部１０６が生成した出力画像を示す図である。

左補間後画像６００をＬ（ｘ，ｙ）、右補間後画像６１０をＲ（ｘ，ｙ）、合成比率マップ５１０をα（ｘ，ｙ）とすると、出力画像７００（Ｏ（ｘ，ｙ））は、以下の（式４）により求められる。

Ｏ（ｘ，ｙ）＝Ｌ（ｘ，ｙ）・α（ｘ，ｙ）＋Ｒ（ｘ，ｙ）・｛１−α（ｘ，ｙ）｝
・・・（式４）

図９に示される出力画像７００内の被写体２０１の右側領域７０１は、合成比率マップ５１０内の領域５１１に相当する。

右側領域７０１のうちの中央部分に位置する画素には、右補間後画像６１０の画素値が割り当てられる。右側領域７０１以外の領域に位置する画素には、左補間後画像６００の画素値が割り当てられる。右側領域７０１うちの周辺部分に位置する画素には、左補間後画像６００の画素値および右補間後画像６１０の画素値が合成比率αに応じて混合された画素値が割り当てられる。

最後に、別視点画像生成装置１００の動作順序について図１０を用いて説明する。図１０は、別視点画像生成装置１００の動作のフローチャートである。

まず、左別視点画像生成部１０１および右別視点画像生成部１０２は、入力画像（左視点画像２１１および右視点画像２２１）およびデプスマップから左別視点画像３０２および右別視点画像３０３を生成する（Ｓ１０１）。

次に、穴密度算出部１０３は、左別視点画像３０２および右別視点画像３０３のそれぞれにおける穴領域に対して画素ごとに穴密度を算出する（Ｓ１０２）。そして、合成比率算出部１０４は、左別視点画像３０２および右別視点画像３０３を合成する際の合成比率を算出する（Ｓ１０３）。

また、穴領域補間部１０５は、左別視点画像３０２および右別視点画像３０３における穴領域を補間する（Ｓ１０４）。

最後に、別視点画像合成部１０６は、ステップＳ１０４において補間された左別視点画像および補間された右別視点画像を、ステップＳ１０３において算出された合成比率に基づいて合成する（Ｓ１０５）。

なお、ステップＳ１０２、ステップＳ１０３、およびステップＳ１０４の順番は、特に限定されるものではない。別視点画像生成装置１００は、ステップＳ１０２、ステップＳ１０３、ステップＳ１０４の順で処理を行ってもよいし、ステップＳ１０４、ステップＳ１０２、ステップＳ１０３の順で処理を行ってもよい。また、ステップＳ１０２、ステップＳ１０３、およびステップＳ１０４の処理が並列に行われてもよい。

以上説明したように、別視点画像生成装置１００では、穴密度算出部１０３と合成比率算出部１０４とにより合成比率マップ５１０を算出する。そして、別視点画像合成部１０６は、左視点画像および右視点画像から生成された２つの別視点画像の各々を、算出された合成比率に応じて合成する。

これにより、穴領域のうち補間が必要な領域にのみ補間処理が行われ、当該補間処理では穴密度に基づいて算出された合成比率が反映されるため、穴領域が滑らかに補間される。つまり、別視点画像生成装置１００によれば、別視点画像に生じた穴領域を、高品質に補間することができる。言い換えれば、別視点画像生成装置１００は、高品質な別視点画像（出力画像）を生成することができる。

（その他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

上記実施の形態では、穴領域が補間された２つの別視点画像を合成したが、穴領域を有する２つの別視点画像を合成した後に、合成後の画像に含まれる穴領域が補間されてもよい。

図１１は、その他の実施の形態に係る別視点画像生成装置１００ａの全体構成図である。図１２は、別視点画像生成装置１００ａの動作のフローチャートである。なお、以下の説明では、別視点画像生成装置１００との相違点を中心に説明し、上記実施の形態と重複する説明については省略される。

別視点画像合成部１０６は、左別視点画像３０２と、右別視点画像３０３とを合成比率算出部１０４が算出した合成比率に応じて合成する（図１２のＳ１０６）。このとき、左別視点画像３０２と、右別視点画像３０３との対応する画素（同じ座標に位置する画素）の両方が穴領域である場合に当該画素を穴領域として取り扱う。したがって、別視点画像合成部１０６が合成した画像には、穴領域が含まれる。

次に、穴領域補間部１０５ａは、別視点画像合成部１０６が合成した画像内の穴領域を当該画像内の画素値を用いて補間する（図１２のＳ１０７）。このときの補間の方法は、上記実施の形態で述べたように既存のどのような手法が用いられてもよい。

別視点画像生成装置１００ａのような構成であっても、２つの別視点画像のうち穴領域の少ないほうの画素値が優先して合成することができる。したがって、別視点画像生成装置１００ａは、高品質な別視点画像（出力画像）を生成することができる。

また、上記実施の形態では、別視点画像生成装置１００および１００ａは、互いに異なる視点位置で撮影された２つの画像から、当該２つの画像とは視点位置が異なる別視点画像を生成した。しかしながら、別視点画像生成装置１００および１００ａは、互いに異なる視点位置で撮影された２以上の画像から、当該２以上の画像とは視点位置が異なる別視点画像を生成してもよい。

具体的には、例えば、別視点画像生成装置１００および１００ａは、互いに異なる視点位置で撮影された３つの画像から、当該３つの画像とは視点位置が異なる別視点画像を生成してもよい。この場合、合成比率算出部１０４は、例えば、３つの画像の穴密度の大きさそれぞれに比例する各別視点画像の合成比率を算出する。

また、上記実施の形態では、画素ごとに穴密度が算出されたが、１以上の画素からなる処理単位（例えば、ブロックサイズが４×４画素の処理単位）ごとに穴密度が算出されてもよい。この場合、処理単位ごとにウィンドウが設定され、穴密度の比較も処理単位ごとに行われる。

また、上記実施の形態では、別視点画像生成装置１００および１００ａは、互いに異なる視点位置で撮影された２つの画像から、２つの視点位置の間の別視点画像を生成したが、２つの視点位置の間以外の視点位置の別視点画像を生成することも可能である。また、２つの画像は、立体視用に撮影されたものでなくてもよく、同一の被写体を撮影した画像であればよい。

また、別視点画像生成装置１００および１００ａは、例えば、図１３に示されるテレビ８００として実現される。この場合、別視点画像生成装置１００および１００ａは、あらかじめ撮影された立体視用の２つの画像から、別視点画像を生成する。そして、別視点画像生成装置１００および１００ａは、生成された別視点画像、およびあらかじめ撮影された立体視用の２つの画像のうちから２つの画像を組み合わせてユーザに表示することができる。これにより、ユーザがリモートコントローラでテレビ８００に表示される画像の視差を調整するような構成が実現可能となる。

また、別視点画像生成装置１００および１００ａは、例えば、Ｂｌｕ−Ｒａｙ（登録商標）プレーヤ８１０として実現される。この場合、別視点画像生成装置１００および１００ａは、挿入されるＢｌｕ−Ｒａｙ（登録商標）ディスクに記録された立体視用の２つの画像から別視点画像を生成する。また、別視点画像生成装置１００および１００ａは、セットトップボックス８２０として実現されてもよい。この場合、別視点画像生成装置１００および１００ａは、ケーブルテレビ放送等から取得した立体視用の２つの画像から別視点画像を生成する。

また、別視点画像生成装置１００および１００ａは、図１４の（ａ）に示される３Ｄ撮影機能を有するＤＳＣ（Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａ）や、図１４の（ｂ）に示される３Ｄ撮影機能を有するデジタルビデオカメラとして実現されてもよい。別視点画像生成装置１００および１００ａは、あらかじめ撮影された立体視用の２つの画像から、別視点画像を生成する。

また、別視点画像生成装置１００および１００ａは、サーバ・クライアント方式で実現されてもよい。

なお、別視点画像生成装置１００および１００ａによって生成された別視点画像は、主に、上述のような視差の調整に用いられるが、その他の用途に用いられてもよい。

また、以下のような場合も本開示に含まれる。

（１）上記の別視点画像生成装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、別視点画像生成装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の別視点画像生成装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の別視点画像生成装置を構成する構成要素の一部または全部は、別視点画像生成装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。

なお、本開示は、この実施の形態またはその変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態またはその変形例に施したもの、あるいは異なる実施の形態またはその変形例における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。

本開示に係る別視点画像生成装置および別視点画像生成方法によれば、撮像装置により撮像されたデプスマップ情報付きの画像から、高品質な別視点画像を生成することができる。これらの構成は、例えば民生用もしくは業務用の撮像装置（デジタルスチルカメラ、およびビデオカメラ）、または携帯端末などの機器に適用することができる。

１００、１００ａ 別視点画像生成装置
１０１ 左別視点画像生成部
１０２ 右別視点画像生成部
１０３ 穴密度算出部
１０４ 合成比率算出部
１０５、１０５ａ 穴領域補間部
１０６ 別視点画像合成部
２０１、２０２ 被写体
２１０ 左視点位置
２１１ 左視点画像
２１２ 左デプスマップ
２２０ 右視点位置
２２１ 右視点画像
２２２ 右デプスマップ
３０１ 仮想視点位置
３０２ 左別視点画像
３０３ 右別視点画像
３１０、３１１、４０９ 穴領域
４０１、４０２、４０８ 穴マップ
４０３、４０４、４０５、４１０ａ、４１０ｂ ウィンドウ
４０６、４０７ 穴密度マップ
５００ グラフ
５１０ 合成比率マップ
５１１ 領域
６００ 左補間後画像
６１０ 右補間後画像
６０１、６１１ 被補間領域
７００ 出力画像
７０１ 右側領域
８００ テレビ
８１０ Ｂｌｕ−Ｒａｙ（登録商標）プレーヤ
８２０ セットトップボックス

Claims (11)

1. 画像内の各画素の奥行きを示す距離情報に基づいて、２以上の視点位置それぞれにおいて取得された２以上の画像の各々から、前記２以上の視点位置とは異なる仮想視点位置において取得される画像に相当する画像であって、画素値が欠落した領域である穴領域が含まれる画像である別視点画像を１つずつ生成する別視点画像生成部と、
   生成された２以上の別視点画像の各々について、１以上の画素からなる処理単位ごとに、当該処理単位を含む所定領域内に占める、当該別視点画像内の穴領域の割合である穴密度を算出する穴密度算出部と、
   前記２以上の別視点画像の各々の前記穴密度に基づいて、前記２以上の別視点画像の各々の合成比率を前記処理単位ごとに算出する合成比率算出部と、
   前記２以上の別視点画像を、算出された合成比率に基づいて合成する別視点画像合成部とを備える
   別視点画像生成装置。
2. さらに、前記２以上の別視点画像の各々の穴領域を当該別視点画像内の画素値を用いて補間する穴領域補間部を備え、
   前記別視点画像合成部は、穴領域が補間された前記２以上の別視点画像を、算出された合成比率に基づいて合成する
   請求項１に記載の別視点画像生成装置。
3. さらに、前記別視点画像合成部が合成した画像内の穴領域を当該画像内の画素値を用いて補間する穴領域補間部を備える
   請求項１に記載の別視点画像生成装置。
4. 前記穴密度算出部は、前記２以上の別視点画像の各々について、処理単位ごとに、当該処理単位を中心とした前記所定領域であるウィンドウ内に占める穴領域の割合を前記穴密度として算出する
   請求項１〜３のいずれか１項に記載の別視点画像生成装置。
5. 前記穴密度算出部は、前記ウィンドウ内の中央部に位置する穴領域と、前記ウィンドウ内の周辺部に位置する穴領域とにそれぞれ異なる重みを与えて前記穴密度を算出する
   請求項４に記載の別視点画像生成装置。
6. 前記合成比率算出部は、前記穴密度の大きさが小さい別視点画像ほど合成比率が大きくなるように、前記２以上の別視点画像の各々の合成比率を前記処理単位ごとに算出する
   請求項１〜５のいずれか１項に記載の別視点画像生成装置。
7. 前記合成比率算出部は、穴密度の大きさが等しい場合には、視点位置が前記仮想視点位置と近い別視点画像ほど合成比率が大きくなるように、前記２以上の別視点画像の各々の合成比率を前記処理単位ごとに算出する
   請求項１〜６のいずれか１項に記載の別視点画像生成装置。
8. 前記処理単位は、画素であり、
   前記穴密度算出部は、前記２以上の別視点画像の各々について、画素ごとに穴密度を算出し、
   前記合成比率算出部は、前記２以上の別視点画像の各々の合成比率を画素ごとに算出する
   請求項１〜７のいずれか１項に記載の別視点画像生成装置。
9. 画像内の各画素の奥行きを示す距離情報に基づいて、２以上の視点位置それぞれにおいて取得された２以上の画像の各々から、前記２以上の視点位置とは異なる仮想視点位置において取得される画像に相当する画像であって、画素値が欠落した領域である穴領域が含まれる画像である別視点画像を１つずつ生成する別視点画像生成ステップと、
   生成された２以上の別視点画像の各々について、１以上の画素からなる処理単位ごとに、当該処理単位を含む所定領域内に占める、当該別視点画像内の前記穴領域の割合である穴密度を算出する穴密度算出ステップと、
   前記２以上の別視点画像の各々の前記穴密度に基づいて、前記２以上の別視点画像の各々の合成比率を前記処理単位ごとに算出する合成比率算出ステップと、
   前記２以上の別視点画像を、算出された合成比率に基づいて合成する別視点画像合成ステップとを含む
   別視点画像生成方法。
10. 請求項９に記載の別視点画像生成方法をコンピュータに実行させるためのプログラム。
11. 画像内の各画素の奥行きを示す距離情報に基づいて、２以上の視点位置それぞれにおいて取得された２以上の画像の各々から、前記２以上の視点位置とは異なる仮想視点位置において取得される画像に相当する画像であって、画素値が欠落した領域である穴領域が含まれる画像である別視点画像を１つずつ生成する別視点画像生成部と、
    生成された２以上の別視点画像の各々について、１以上の画素からなる処理単位ごとに、当該処理単位を含む所定領域内に占める、当該別視点画像内の前記穴領域の割合である穴密度を算出する穴密度算出部と、
    前記２以上の別視点画像の各々の前記穴密度に基づいて、前記２以上の別視点画像の各々の合成比率を前記処理単位ごとに算出する合成比率算出部と、
    前記２以上の別視点画像を、算出された合成比率に基づいて合成する別視点画像合成部とを備える
    集積回路。

Images