WO2013080439A1 - 立体画像処理装置及び立体画像処理方法 - Google Patents

Abstract

　立体画像処理装置は、第１の画像と第２の画像を含む立体画像情報を取得する取得部と、第１の画像および／または第２の画像の情報から、陰影に関する情報を取得する陰影情報取得部と、陰影情報に基づいて、第１及び第２の画像に含まれる被写体の視差を調整する視差調整部とを備える。

Description

立体画像処理装置及び立体画像処理方法

　本開示は、立体画像（３次元立体画像）を処理する立体画像処理装置に関する。

　従来、視差を有する左眼用画像および右眼用画像からなる画像を使用者に提示して立体感を与えることができる表示装置（以下「立体画像表示装置」という。）がある。立体画像表示装置は、左眼用画像および右眼用画像を、独立して左右の眼に視認させることで、使用者に立体感を与えることができる。また、従来、そのような視差を有する左眼用画像および右眼用画像からなる立体画像を撮像可能な撮像装置（以下、「立体画像撮像装置」という。）が知られている。

　遠景（遠景の被写体）や近景（近景の被写体）が大きな視差を持つ状態で撮影されて生成された立体画像（左眼用画像および右眼用画像）は、人間が立体視する際の融像限界を超え、使用者による立体視が困難な画像や、使用者に疲労感を生じさせる画像となる場合がある。このような使用者にとって好ましくない立体画像の生成を避けるために、視差調整やステレオベース調整を行うことで、良好な立体画像を得る技術がある。

　視差調整は、主に遠景（遠景の被写体）が融像限界を超える場合に用いられる技術で、遠景（遠景の被写体）までの距離を非線形に圧縮するように視差調整することで、立体視する際に見にくかった遠景（遠景の被写体）を近づけ、立体視が容易な立体画像を生成することができる。

　ステレオベース調整は、左眼用画像を撮像するためのカメラと右眼用画像を撮像するためのカメラの間隔（ステレオベース（基線長））を調整することにより、立体感を調整する技術である。ステレオベース調整を行うことで、視差のダイナミックレンジを小さくすることができる。このため、適切なステレオベース調整後に撮像を行うことで、近景（近景の被写体）から遠景（遠景の被写体）までの全体が融像域内に入る立体画像を生成することができる。

　また、立体画像を小さなサイズのディスプレイ装置に表示した場合も、立体画像（左眼用画像および右眼用画像）の視差が小さくなるため、遠景が圧縮される。したがって、この場合、小さなサイズのディスプレイ装置に表示される立体画像は、見やすい立体画像となる。

　立体画像の撮像において、上記の技術（視差調整、ステレオベース調整）を駆使することにより、所定の表示環境において立体表示させたときに立体視しやすい立体画像の撮像可能となる。例えば、特許文献１では、立体画像の撮像において、被写体が立体視の融像域内に入るように、視差を本来の値から減少させることで、立体視しやすい立体画像の撮像を可能としている。

特許第３１５７３８４号 特許第３９７１２７７号

　特許文献１の技術は、立体視の融像限界を考慮して、望ましい視差を減らすことにより、見やすい立体画像（立体視しやすい立体画像）を生成している。このため、立体画像における立体感・遠近感の自然さの観点では望ましいものではない。

　また、視差調整による技術では、立体視しやすい立体画像を生成することはできるが、遠景までの距離（撮像装置の位置から遠景被写体までの距離）が非線形に圧縮されることになるので、視差調整を行った立体画像では、遠景にある被写体が平板状に見える現象（書き割り効果）が発生する。

　また、ステレオベース調整による技術では、生成される立体画像において、全体的に遠近感が少なくなる。すなわち、最近点（立体画像を表示したときに最も近い位置に結像される被写体の位置）から最遠点（立体画像を表示したときに最も遠い位置に結像される被写体の位置）までの距離が小さくなるため、個々の被写体の立体感が低下する現象が発生する。

　したがって、上記従来技術を用いた場合、何れの場合も、取得される立体画像は、立体感・遠近感の乏しい低品質の画像になりがちである。

　本開示は、自然な立体感を再現できる、高品位な立体画像を提供できる立体画像処理装置を実現することを目的とする。

　本開示に係る第１の立体画像処理装置は、第１の画像と第２の画像を含む立体画像情報を取得する取得部と、第１の画像および／または第２の画像の情報から、陰影に関する情報を取得する陰影情報取得部と、陰影情報に基づいて、第１及び第２の画像に含まれる被写体の視差を調整する視差調整部と、を備える。この構成により、陰影情報から取り出した適切な視差情報を立体感に乏しい画像に付与することができ、自然な立体感の再現を可能とする立体画像処理装置を実現できる。

　本開示に係る第２の立体画像処理装置は、第１の画像と第２の画像を含む立体画像情報を取得する取得部と、第１の画像及び第２の画像の情報から、第１の画像の画素とその画素に対応する第２の画像の画素との視差を示す情報を画素毎に含む距離情報を求める視差検出部と、第１の画像および／または第２の画像の情報から陰影に関する情報を取得する陰影情報取得部と、陰影情報に基づいて、第１の画像および第２の画像に含まれる被写体の凹凸に関する情報を求める凹凸推定部と、距離情報と凹凸に関する情報とに基づいて、第１の画像の画素と画素に対応する第２の画像の画素との視差を示す情報を画素毎に含む距離情報を新たに求める合成部と、を備える。この構成により、立体画像から高品質な距離情報（第１及び第２の画像間の画素毎の視差情報を含む情報）を得ることができる。

　本開示に係る第１の立体画像処理方法は、第１の画像と第２の画像を含む立体画像情報を取得するステップと、第１の画像および／または第２の画像の情報から、陰影に関する情報を取得するステップと、陰影情報に基づいて、第１及び第２の画像に含まれる被写体の視差を調整するステップと、を含む。

　本開示に係る第２の立体画像処理方法は、第１の画像と第２の画像を含む立体画像情報を取得するステップと、第１の画像及び第２の画像の情報から、第１の画像の画素とその画素に対応する第２の画像の画素との視差を示す情報を画素毎に含む距離情報を求めるステップと、第１の画像および／または第２の画像の情報から陰影に関する情報を取得するステップと、陰影情報に基づいて、第１の画像および第２の画像に含まれる被写体の凹凸に関する情報を求めるステップと、距離情報と凹凸に関する情報とに基づいて、第１の画像の画素と画素に対応する第２の画像の画素との視差を示す情報を画素毎に含む距離情報を新たに求めるステップと、を含む。

　本開示は、陰影情報から取り出した適切な視差情報を立体感に乏しい画像に付与することができ、自然な立体感の再現を可能とする高品位な立体画像を提供できる立体画像処理装置を実現できる。また、本開示は、立体画像から高品質な距離情報（第１及び第２の画像間の画素毎の視差情報を含む情報）を提供する立体画像処理装置を実現できる。

第１実施形態の立体画像撮像装置の構成図 立体画像撮像装置における陰影情報取得部の構成図 陰影情報取得部における低域除去部の構成図 陰影情報取得部における大振幅除去部の特性を示す図 被写体画像の陰影と被写体の微少な凹凸との関係を説明するための図 微少デプス推定部から出力される凹凸を示す情報を説明するための図 明暗レベルや凹凸（相対デプス）を求めるためのライン（検出ライン）を説明するための図 被写体の凹凸の変化（Ｆ（ｘ））と明暗変化（Ｕ（ｘ））の関係を説明するための図 第２実施形態の立体画像撮像装置の構成図 立体画像撮像装置における視差検出部の構成図 視差マッチング部の動作を示すフローチャート 視差マッチング部によるブロックマッチングを説明した図

　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

　以下、本開示の立体画像処理装置の実施形態について図面を参照しながら説明する。

第１実施形態
　第１実施形態では、本開示の立体画像処理装置の一例として２眼方式の立体画像撮像装置を説明する。

１．立体画像撮像装置
　図１に、第１実施形態の立体画像撮像装置の構成を示す。立体画像撮像装置は例えば立体画像撮像可能なデジタルカメラやビデオカメラである。

　立体画像撮像装置１０は、第１撮像部１０１Ｒ、第２撮像部１０１Ｌ、画像取得部１０２、光源方向設定部１０３、陰影情報取得部１０４、微少デプス推定部１０５、及び微少視差補正部１０６を含む。

　第１撮像部１０１Ｒは右眼用の画像を撮像する手段であり、第１視点から被写体を撮像して、右眼用画像（以下「Ｒ画像」という）を示す信号である第１画像信号を生成する。第２撮像部１０１Ｌは左眼用の画像を撮像する手段であり、第２視点から被写体を撮像して、左眼用画像（以下「Ｌ画像」という）を示す信号である第２画像信号を生成する。画像取得部１０２は、第１画像信号と第２画像信号をデジタル信号に変換し所定の記憶部（図示せず）に取り込む。

　光源方向設定部１０３は、デジタル信号に変換された第１画像信号と第２画像信号の少なくとも一方から、被写体を照らす光源の方向を推定し、光源方向を示す光源方向値を出力する。光源方向設定部１０３は、複数方向の方向性を持った差分フィルタの出力の画面全体の平均値を用いて光源の方向を推定することができる（例えば、特許文献２参照）。

　なお、光源方向設定部１０３は、撮像部１０１Ｒ、１０１Ｌにおいて光源センサを設けることで実現することも可能である。また、立体画像撮像装置１０において、使用者が、ユーザーインタフェースなどを用いて光源方向を設定できるように構成されてもよい。この場合、光源方向設定部１０３は、使用者により設定された設定値を参照することで、光源方向値を得ることができる。さらに、一般的な撮影シーンにおいて光源は上方にある場合が多いことから、光源方向値を、上方を示す固定値に設定してもよい。なお、光源方向値については、厳密に設定せず、適切な所定値に設定してもよい。

　陰影情報取得部１０４は、撮像した画像から陰影情報（明暗情報）を取得する。陰影情報取得部１０４の詳細は後述する。本実施形態では、Ｌ画像から陰影情報を取得するが、Ｒ画像から陰影情報を取得してもよいし、Ｒ画像及びＬ画像の双方から陰影情報を取得するようにしてもよい。

　微少デプス推定部１０５は、陰影情報取得部１０４が取得した陰影情報（明暗情報）と、光源方向設定部１０３が設定した光源方向値とを用いて、画像に含まれるオブジェクト（被写体）の表面の微小な凹凸（微少デプス）を推定し、その微小な凹凸を示す凹凸情報を出力する。

　微少視差補正部１０６は、微少デプス推定部１０５が推定した凹凸情報を用いて、凹凸が強調されて立体視されるように、Ｌ画像（第２画像信号）の画素の座標を凹凸に応じて左右に変調することにより、Ｒ画像（第１画像信号）とＬ画像（第２画像信号）の間の視差を変化させる。これにより、右眼用画像と左眼用画像との間の視差が強調され凹凸感が強調される。ここで行う視差調整は微少であるため、一画素単位のシフトではなく、補間処理を用いて少なくとも１／１０画素以下の精度でシフトすることが望ましい。

　以上の構成を有する立体画像撮像装置１０は、陰影情報取得部１０４及び微少デプス推定部１０５により画像の陰影情報に基づきオブジェクト（被写体）の微少な凹凸を示す情報（微少相対デプス画像）を求める。立体画像撮像装置１０はさらに、その情報（微少相対デプス画像）を用いて微少視差補正部１０６によりＬ画像を補正し、Ｒ画像とＬ画像間の視差を調整する。

　なお、本実施形態では、第２画像信号に対して、陰影情報を取得し、微少デプスを推定し、視差の変調を行っているが、第２画像信号の代わりに第１画像信号に対して、同様の処理を行っても良い。または、第１画像信号と第２画像信号の両方に対して、同様の処理を行っても良い。

２．画像の陰影情報に基づいた凹凸抽出動作
　陰影情報取得部１０４及び微少デプス推定部１０５による、画像の陰影情報に基づいたオブジェクト（被写体）の微少な凹凸情報の抽出動作を説明する。

　２．１　陰影情報取得部の動作
　図２は、陰影情報取得部１０４の詳細な構成を示すブロック図である。陰影情報取得部１０４は、入力した画像信号から陰影に起因しない明暗情報を除去して、陰影を示す可能性の高い明暗情報（陰影情報）を出力する。

　陰影情報取得部１０４は、画像領域設定部２０１、画像領域マスク生成部２０２、色領域設定部２０３、色領域マスク生成部２０４、輝度変換部２１０、低域除去部２０５、大振幅除去部２０６、高域除去部２０７、第１の領域マスク部２０８、及び第２の領域マスク部２０９を含む。

　一般的な画像には、被写体に対する照明光のあたり方の違いによる陰影（Shade）が明暗情報の中に含まれている。本実施形態では、明暗情報の中から、この陰影に起因する成分のみを分離して抽出したい。しかし、現実の画像中には、陰影に起因する成分以外に種々の明暗に寄与する情報（例えば、オブジェクト（被写体）の部分毎の反射率や色の違い等に起因する成分）が含まれている。このため陰影に起因する成分のみを完全に分離して抜き出すことは難しい。そこで、陰影情報取得部１０４は、陰影に起因しないと考えられる様々な要素を除去することより、結果として、より確度の高いに起因する成分（陰影情報）を抽出する。

　まず輝度変換部２１０は、入力される画像の画素値（ＲＧＢ信号）から輝度信号（Ｙ）を生成する。

　低域除去部２０５は、輝度変換部２１０が出力した輝度信号（Ｙ）から低周波成分（所定の第１周波数より低い周波数を持つ成分）を除去する。図３に、低域除去部２０５の構成例を示す。低域除去部２０５は、ぼけ信号生成部２２１と減算部２２２とで構成される。ぼけ信号生成部２２１は、輝度信号（Ｙ）から低域成分のみを抽出して、ぼけ信号（Ｕｓ）を生成する。減算部２２２は、輝度信号（Ｙ）からぼけ信号（Ｕｓ）を減算することにより、輝度信号（Ｙ）から低域成分を除去する。すなわち、低域除去部２０５は、全体として２次元のハイパスフィルタを構成する。

　低域除去部２０５は、明度の絶対値ではなく、変化分を取り出す働きをするものである。ぼけ信号生成部２２１の低域遮断周波数（Ｆ１）が適切に設定されることで、低域除去部２０５は、照明光の照度ムラによる大きな面積でのなだらかな明暗変化を分離し、オブジェクト（被写体）表面の凹凸に起因すると考えられる陰影成分（Ｓｈ１）を取り出す働きをする。

　大振幅除去部２０６は、低域除去部２０５が出力する陰影成分（Ｓｈ１）のうち、所定値よりも大きな振幅の成分を除去する。大振幅除去部２０６の機能について説明する。

　低域除去部２０５が出力する陰影成分（Ｓｈ１）中には、まだ色成分や色成分を持つオブジェクト（被写体）の影響が残留している。通常、陰影成分を抽出したいオブジェクト（被写体）の表面の凹凸による陰影成分において、明るい成分と暗い成分の差（または比）は、それほど大きくはならない。もし陰影成分において、大きな明暗差が存在すれば、それはオブジェクト（被写体）内に反射率が大きい（又は色が異なる）別のオブジェクトが含まれている可能性が高い（たとえば、均一なグレーのシャツの領域中に、肩掛け鞄の黒いベルトが横切っている場合等）。したがって、大きな明暗差を与える成分は除去するのが望ましい。このような考えにしたがい、大振幅除去部２０６により、本来の陰影成分に含まれない可能性の高い成分を除去する。

　図４に、大振幅除去部２０６の入出力特性の一例を示す。横軸は、大振幅除去部２０６の入力、すなわち、低域除去部２０５から出力される陰影情報（Ｓｈ１）を示す。縦軸は、大振幅除去部２０６の出力、すなわち、陰影情報（Ｓｈ１）から大振幅の成分が除去された陰影情報（Ｓｈ２）を示す。入力は、低域がカットされているので、変化の無いところは０の値をとる。図中の－ａ～＋ａの範囲は、本来の陰影が表す明暗の変化範囲である。図中の破線は、入出力特性の第１の例を示し、本来の陰影の範囲（－ａ～＋ａ）外の成分を制限するものであり、この特性により、陰影以外の要因による明暗変化が、陰影よりも遙かに大きな影響を与えることを回避できる。図中の破線は、入出力特性の第２の例を示し、さらに積極的に大振幅成分を除去するための特性である。陰影に起因する明暗変化を大きく超える明暗変化（成分）は除去される。大振幅除去部２０６は、具体的には、ＬＵＴ（ルックアップテーブル）や、折れ線回路などを用いて構成できる。

　なお、低域除去部２０５において、本来の陰影とは異なる、大きな反射率に起因する成分を取り除くために、ぼけ信号生成部２２１をエッジ保存型のローパスフィルタの特性を有するように構成してもよい。エッジ保存型のローパスフィルタとしては、バイラテラルフィルタやイプシロンフィルタなどが有名であるが、これらに限定されない。エッジのような明度変化の大きいときにはカットオフ周波数（Ｆ１）が高くなり（ぼかさない）、明度変化の小さいときにはカットオフ周波数（Ｆ１）が低くなる（ぼかす）特性を有するものであれば、任意のフィルタでもよい。低域除去部２０５においてぼけ信号生成部２２１に前述のような特性を与えると、変化が大きな信号は、ぼかされずにそのままぼけ信号（Ｕｓ）に含まれるため、減算部２２２により除去されることになる。

　図２に戻り、高域除去部２０７は、上記陰影情報（Ｓｈ２）中の高周波成分（所定の第２周波数より高い周波数を持つ成分）を除去する。本来の陰影は、点光源による光の広がりや複数光源（色々な物体で反射した間接光も含む）による光の混ざり合いにより、くっきりした影にならず、少しぼける傾向がある。このことから、明暗情報中の高周波成分は、陰影によるものでは無い可能性が高いと考えられるので、除去するのが望ましい。

　色領域設定部２０３は、陰影情報を抽出したいオブジェクト（被写体）の色の範囲、すなわち陰影情報抽出の処理対象の範囲を設定する。色領域設定部２０３は、操作者の指定に基づき色の範囲を設定してもよいし、画像に含まれる色の分布に基づき自動で設定することもできる。

　色領域マスク生成部２０４は、色領域設定部２０３が設定した色の範囲に基づき、設定した色の範囲に含まれない色の画素を、陰影情報抽出の処理対象から排除するためのマスク情報（Ｍ１）を生成する。陰影を正しく抽出するためには、できるだけ色や反射率が均一な領域を指定する必要がある。よって、色や反射率が所定レベル以上異なる領域は、陰影情報抽出の処理対象から外す必要がある。例えば、色領域設定部２０３により人の顔の色である肌色が指定された場合、肌色の色の領域外の、眉毛、目、髪、などの色領域は、陰影情報抽出の処理対象から外す必要がある。このため、色領域マスク生成部２０４により、処理対象の色と異なる色を処理対象から除去している。

　ここで、同じ物体色のオブジェクトであっても、照明の当たり具合や陰影により画像のＲＧＢ値は異なる場合がある。しかし、これらは同じオブジェクトにおける同じ物体色なので処理対象に含める必要がある。したがって、色領域の評価は、照明の強度による色変化は除いて行うのが望ましく、例えばＲＧＢ色信号を輝度色差信号（Ｙ，Ｃｂ，Ｃｒ等）や均等色空間のＬ^＊ａ^＊ｂ^＊信号やＬ^＊ｕ^＊ｖ^＊信号に変換し、輝度を除いた色度値のみで評価するのが望ましい。

　以下に、具体的な色変換の評価値の例Ｅ１～Ｅ３を示す。

　いずれの評価値も、色領域設定部２０３で指定した色（Ｃｂ₀、Ｃｒ₀、ａ₀*、ｂ₀*、u₀*、V₀*）と、入力画像の色（Ｃｂ、Ｃｒ、ａ*、ｂ*、u*、V*）との差（色差）を用いて評価している。ここでは、代表的な色差の指標として、色度平面上の距離差の２乗（Ｅ１）、色度平面上の距離（Ｅ２）、Ｘ方向の距離とＹ方向の距離の和（Ｅ３）を例示している。したがって、色領域マスク信号（Ｍ１）は、上記の評価値Ｅ１、Ｅ２またはＥ３などを用いて評価し、評価値が所定の最大レベルよりも大きければ２５５の値をとり、評価値が所定の最小レベルより小さければ０の値をとるよう構成される。なお、評価値を求める式は上記の数式に限定されず、入力画像の色が指定した色に近いほど大きな値を取る関数であれば他の関数でも良い。いずれも、照明の光量や陰影が変化し明るさが変化しても、その影響を受けにくいマスク信号を生成すればよい。

　第１の領域マスク部２０８は、操作者により指定された色の領域以外の領域をマスクする。第１の領域マスク部２０８は、色領域マスク信号（Ｍ１）の値が２５５の時は、入力される陰影情報（Ｓｈ３）をそのままのゲインで通過させ、色領域マスク信号（Ｍ１）の値が０の時は、入力される陰影情報（Ｓｈ３）を遮断する。第１の領域マスク部２０８は、乗算器などを用いて容易に構成できる。この第１の領域マスク部２０８によって、指定された色領域から外れた色範囲の誤った陰影情報を除去することができる。

　画像領域設定部２０１は、使用者の指示にしたがい、陰影情報を抽出するオブジェクトの画像領域の範囲を設定する。すなわち、使用者は、陰影情報を抽出したいオブジェクトの画像領域の範囲を設定する。使用者は、陰影情報を抽出したいオブジェクトの画像領域の範囲を、例えば、ユーザーインタフェースを用いて、オブジェクトや領域を指定したり、ブロック分割された画面エリアを指定したり、色や明るさを指定したり、立体視する際の視差の範囲（デプスの範囲）で指定したりすることで設定できる。または、当該画像領域の範囲は、ユーザーインタフェースを用いずに指定されてもよい。または、当該画像領域の範囲は、特定のオブジェクトの自動検出、顔認識、人物認識を利用した人物自動検出などで設定されてもよい。すなわち、結果的に画像の領域が指定できれば任意の方法が使用できる。このとき使用者は、できるだけオブジェクト中で色や反射率が均一な領域を選んで設定するのが望ましい。

　画像領域マスク生成部２０２は、画像領域設定部２０１により設定された画像領域以外の領域を処理対象から除去するための画像領域マスク信号（Ｍ２）を生成する。画像領域マスク生成部２０２は、画像領域設定部２０１により設定された画像領域内の画素に対しては１の値をとり、設定された画像領域以外の領域に対して０の値をとる２値のマスク信号を画像領域マスク信号（Ｍ２）として出力する。または、アルファチャンネルのように、設定された画像領域において２５５の値をとり、設定された画像領域以外の領域で０の値をとり、領域の境界近傍ではなだらかに値が変化する多値のマスク情報を、画像領域マスク信号（Ｍ２）として出力してもよい。または、多角形やＢスプラインやベジェ関数などの制御点の座標値を用いて画像領域マスク信号を生成してもよい。実質的に画像中の特定の領域が表現できれば任意の信号を画像領域マスク信号（Ｍ２）としてもよい。

　第２の領域マスク部２０９は、画像領域設定部２０１を介して操作者により指定された領域以外の領域をマスクする。第２の領域マスク部２０９は、画像領域マスク信号（Ｍ２）が１の時は、入力される陰影情報（Ｓｈ４）をそのままのゲインで通過させ、色領域マスク信号（Ｍ２）が０の時は遮断する。第２の領域マスク部２０９は乗算器などを用いて容易に構成できる。この第２の領域マスク部２０９により、画像領域設定部２０１によって設定された画像領域から外れた座標の範囲にある、意図しない陰影情報を除去することができる。

　２．２　微少デプス推定部の動作
　図５は、立体画像撮像装置１０の微少デプス推定部１０５（図１参照）の動作を説明するための図である。図５（ａ）は石膏でできた被写体の明暗画像（輝度のみの画像）を示す。図５（ａ）に示す被写体は、被写体の手前の上方から照明を当てて撮影されている。図５（ｂ）は、その明暗画像の中央の縦ラインの部分の明暗レベルを示した図である。図５（ｃ）は、その明暗画像の中央の縦ラインの部分の凹凸（相対デプス）を示した図である。微少デプス推定部１０５は、図５（ａ）で示す明暗画像に対して、図６で示したような凹凸（相対デプス）を示す情報を出力する。

　明暗レベルや凹凸（相対デプス）を求めるためのライン（以下「検出ライン」という）は光源の位置に応じて決定する。例えば、図７（ａ）に示すように、被写体の手前の上方から照明を当てて撮影されている場合、光源と被写体の中心を結ぶ直線の方向に平行なラインを設定し、これを検出ラインとする。また、図７（ｂ）に示すように、光源が被写体の斜め横上方にある場合、検出ラインを光源の方向に応じて斜め方向に設定する。

　図５（ａ）に示す被写体は全体が同一の反射率の石膏でできているので、明暗画像に現れているオブジェクトの明暗は、被写体表面の凹凸（相対デプス）に対して被写体の手前上方から照明を当てたときに生じる陰影によるものである。光源の方向と被写体表面が直交しているところは（図５（ｃ）参照）、単位面積あたりの光束が多くなるためより明るくなり（図５（ｂ）参照）、光源の方向と被写体表面の傾きが浅くなるほど、より暗くなる。逆に、図５（ｂ）において輝度がより明るいところは、図５（ｃ）において被写体表面と光源の方向が直交に近い角度で交差していることがわかる。

　図８は、凹凸と明暗の関係を説明するための図である。図８に示すグラフの横軸は、前述したように光源方向設定部１０３が設定した光源の方向に沿った方向の座標である。図８（ａ）に示すグラフの縦軸は、１つの検出ラインに沿った凹凸（相対的なデプス）の値Ｆ（ｘ）を示す。図８（ｂ）に示すグラフの縦軸は、１つの検出ラインに沿った明るさの値Ｕ（ｘ）を示す。

　また、光源に対するパラメータとして、被写体と光源のなす角度θを設定する。θ＝０のとき、光源は被写体の真正面にあり、被写体は真正面から照明されるため、陰影は生じない。θが大きすぎると影が長くなりすぎて一つ一つの凹凸の陰影を分離することが困難になる。しかし、本実施形態が検出対象とする被写体表面の微少な凹凸はその振幅が小さいため、許容されるθの範囲が広くなり、例えばθを３０度に固定することも可能である。

　図８に示すように、正規化した光源を単位光源ベクトルＣで表し、被写体の凹凸表面の向きを単位法線ベクトルＨで表す。

　このとき、表面の明るさＵ（ｘ）は次式で表せる。

　上記の３つの式から次式が得られ、この式から表面の明るさＵ（ｘ）は、光源の方向と表面の凹凸から決まることがわかる。

　被写体表面の微少な凹凸について、Ｆ‘（ｘ）は１より小さいので、Ｕ（ｘ）はさらに次のように近似できる。

　微少デプス推定部１０５は、次式を用いてＵ（ｘ）からＦ（ｘ）を求める。

　例えば、凹凸変化が単純な三角関数で表されると仮定すると、さらに簡略化して、凹凸変化は微分により次式のように求めることも可能である。

ここで、ｋは凹凸の振幅である。ｎは凹凸のピッチである。

　また、オブジェクトの表面の明るさ（Ｕ（ｘ））は次式で求められる。

　以上説明したように、明暗情報（Ｕ（ｘ））から微分や積分を用いて凹凸情報（Ｆ（ｘ））を求めることができる。第１の実施形態の思想によれば、明暗画像から陰影を抽出し、その陰影から光源の方向にかかわらずに被写体表面の微少な凹凸を判定し、それを用いて立体画像の画素毎の視差を補正することにより、立体視した際に原画では乏しかった凹凸感を強調した高品位な立体画像を実現することができる。

　なお、微少な相対視差は、立体画像のシーン全体の視差の範囲には影響を与えないため、立体視が困難になることは無い。

　また、画像の明るさやコントラストなどを変化させないので、階調飽和や色飽和などによる画質劣化も生じない。

　なお、本実施形態の立体画像撮像装置１０は撮像部１０１Ｒ、１０１Ｌを有しているが、これらの撮像部を有していなくても良い。立体画像撮像装置１０は、撮像部に代わり、立体画像情報を取得できる構成を有していればよい。

　また、本実施形態では、２つの視点（第１視点、第２視点）で撮像した画像を示す画像信号（第１画像信号、第２画像信号）を用いた例で説明したが、これに制限されるものでは無い。３つ以上の視点で撮像された画像で立体画像が構成される場合には、隣接する視点で撮像された画像を示す画像信号間に本実施形態の思想を適用することができる。

３．まとめ
　以上のように、本実施形態の立体画像撮像装置１０は、Ｒ画像とＬ画像を含む立体画像情報を取得する画像取得部１０２と、Ｒ画像および／またはＬ画像の情報から、陰影に関する情報を取得する陰影情報取得部１０４と、陰影情報に基づいて、Ｒ画像及びＬ画像に含まれるオブジェクト（被写体）の視差を調整する視差調整部（微少視差補正部１０６）とを備える。

　この構成により、陰影情報に基づき、オブジェクト（被写体）の微少な凹凸を示す情報（微少相対デプス画像）を求め、その情報を用いて、立体画像に含まれるオブジェクト（被写体）の視差を調整することで、立体感の乏しいオブジェクト（被写体）の立体感をより強調することができる。よって、書き割り効果を低減した自然な立体感を再現でき、立体画像の品質を向上することができる。

　さらに、立体画像撮像装置１０において、陰影情報取得部１０４は、Ｒ画像および／またはＬ画像の情報から、所定の低域成分を除去する低域除去部２０５を備え、所定の低域成分が除去された画像の情報に基づいて陰影に関する情報を取得してもよい。所定の低域成分を除去することにより、照明光の照度ムラによる大きな面積でのなだらかな明暗変化を分離し、オブジェクト（被写体）表面の凹凸に起因すると考えられる陰影成分を抽出することができる。

　また、陰影情報取得部１０４は、所定の低域成分が除去された画像の情報から、さらに所定の振幅を超える成分を除去する大振幅除去部２０６をさらに備え、所定の振幅を超える成分が除去された画像の情報に基づき、陰影に関する情報を取得してもよい。所定の振幅を超える成分を除去することにより、オブジェクト（被写体）内に含まれる、反射率が大きい（又は色が異なる）別のオブジェクトによる、陰影情報に対する影響を排除することができる。

　また、陰影情報取得部１０４は、所定の振幅を超える成分が除去された画像の情報から、さらに所定の高域成分を除去する高域除去部２０７をさらに備え、高域成分が除去された画像の情報に基づき、陰影に関する情報を取得してもよい。所定の高域成分を除去することにより、陰影情報において、陰影に起因しない成分をより精度よく排除することができる。

　視差調整部は、陰影情報に基づいてＲ画像およびＬ画像に含まれる被写体の凹凸に関する情報を求める凹凸推定部（微小デプス推定部１０５）をさらに備え、凹凸に関する情報に基づいて視差を調整してもよい。凹凸推定部により、陰影情報に基づいて、被写体の凹凸に関する情報を求めることができる。

第２実施形態
　第２実施形態では、Ｒ画像とＬ画像を含む立体画像から、高精度な距離画像を生成することができる立体画像撮像装置について説明する。ここで、距離画像とは、Ｒ画像とＬ画像間の視差を示す情報を画素毎に有する画像である。視差は、立体表示された画像（画素）の基準位置（表示面の位置）からの距離に対応する。よって、距離画像は、立体表示された画像（画素）の基準位置（表示面の位置）からの距離を画素毎に有する画像であるとも言える。

　図９に、第２実施形態の立体画像撮像装置の構成を示す。第２実施形態の立体画像撮像装置５０は、第１実施形態の立体画像撮像装置１０と同様に、第１撮像部１０１Ｒ、第２撮像部１０１Ｌ、画像取得部１０２、光源方向設定部１０３、陰影情報取得部１０４、微少デプス推定部１０５を備える。さらに、立体画像撮像装置５０は、視差検出部１１０と、合成部１１１とを備える。

　第１撮像部１０１Ｒ、第２撮像部１０１Ｌ、画像取得部１０２、光源方向設定部１０３、陰影情報取得部１０４、及び微少デプス推定部１０５は、第１実施形態において説明した動作と同様の動作を行うので、ここでの説明は省略する。

　視差検出部１１０は、第１撮像部１０１Ｒによって第１視点から撮像された画像（Ｒ画像）を示す第１画像信号と、第２撮像部１０１Ｌによって第２視点から撮像された画像（Ｌ画像）を示す第２画像信号とを用いて、画像間の視差を画素毎に求める処理を行うことで距離画像を生成する。このようにして生成された距離画像は、解像度も少なく、レベル数も少ない大まかな距離画像となる。

　微少デプス推定部１０５は、図６に示すような凹凸（相対デプス）を示す情報を出力する。微少デプス推定部１０５から出力される情報は、画像の陰影（明暗）から推定した高品位な、相対的かつ微少な凹凸を示す情報となる。

　合成部１１１は、視差検出部１１０から出力される距離画像に対して、微少デプス推定部１０５から出力される、高品位な凹凸情報を加算する。すなわち、合成部１１１は、視差検出部１１０から出力される距離画像に、微少デプス推定部１０５から出力される距離画像を合成し、これにより、補正された距離画像を生成する。このようにして生成されたデプス画像は高品位な距離画像となる。

　図１０は、視差検出部１１０の構成を示した図である。視差検出部１１０は、第１及び第２縮小処理部３０１Ｒ，３０１Ｌと、視差マッチング部３０２と、拡大処理部３０３とを備える。

　第１及び第２縮小処理部３０１Ｒ，３０１Ｌは、演算量を減らすために、第１画像信号と第２画像信号が示すそれぞれの画像（Ｒ画像、Ｌ画像）を、ＱＶＧＡ（３０２×２４０）の解像度の画像となるよう縮小する。

　視差マッチング部３０２は、第１及び第２縮小処理部３０１Ｒ，３０１Ｌにより縮小処理されたＲ画像とＬ画像の相関性を画素毎に調べて視差を検出し、画素毎に視差情報を有する画像（以下「縮小距離画像」という）を生成する。この処理の詳細は後述する。

　拡大処理部３０３は、視差マッチング部３０２から出力された縮小距離画像を、元の解像度の画像となるように拡大（例えば、補間）して距離画像を生成する。

　図１１に示すフローチャートを用いて、視差マッチング部３０２の詳細な動作を説明する。

　視差マッチング部３０２は、最初に、第１画像信号が示すＲ画像において最初に調査される着目画素を設定する（Ｓ１１）。具体的には、Ｒ画像において、注目画素の座標を初期化する。そして、その着目画素を中心とした８×８画素を含む第１のブロックを設定する（Ｓ１２）。Ｌ画像において、最初に注目画素と対比される参照画素を設定し（Ｓ１３）、参照画素を中心とした８×８画素を含む第２のブロックを設定する（Ｓ１４）。第１のブロックと第２のブロック間の全画素について、対応する各画素間の画素値の差の２乗を求め、合計した値を相関性の評価値として求める（Ｓ１５）。その後、Ｌ画像内の参照画素を変更しながら（Ｓ１７）、上記のように評価値を求める（Ｓ１５）。この処理は、Ｌ画像内のすべての画素（参照画素）について調査されるまで継続される（Ｓ１４～Ｓ１７）。

　次に、視差マッチング部３０２は、複数の第２ブロックに対して求めた複数の相関値の中で相関値が最大となる参照画素を決定し、その参照画素と注目画素との位置の差から視差（デプス値）を求め（Ｓ１８）、出力する（Ｓ１９）。

　その後、注目画素の座標を変更しながら（Ｓ２０）、Ｒ画像内のすべての画素について（Ｓ２１）、上記の処理を行い（Ｓ１２～Ｓ２０）、視差（デプス値）を求める。

　図１２は、視差マッチング部３０２により実施される、Ｒ画像とＬ画像間のブロックマッチングを説明した図である。注目画素ＡＲを含む第１ブロックＢ１Ｒと、参照画素ＡＬを含む第２ブロックＢ１Ｌとの相関性が高い場合、画素ＡＲに対する視差（デプス値）として－αが求まる。また、注目画素ＣＲを含む第１ブロックＢ２Ｒと、参照画素ＣＬを含む第２ブロックＢ２Ｌとの相関性が高い場合、画素ＣＲに対する視差（デプス値）として＋βが求まる。

　以上のようにして、視差マッチング部３０２は、縮小処理されたＲ画像とＬ画像から、縮小距離画像を生成する。なお、視差マッチング部３０２は、平坦な領域に対しては、デプスの検出精度が低下するため、視差の修復処理（穴埋め処理）を行うことが好ましい。

　上述のとおり、本実施形態の立体画像撮像装置５０は、Ｒ画像とＬ画像を含む立体画像情報を取得する画像取得部１０２と、Ｒ画像及びＬ画像の情報から、Ｒ画像の画素と、それに対応するＬ画像の画素との間の視差を示す情報を画素毎に含む距離画像（距離情報）を求める視差検出部１１０と、Ｒ画像および／またはＬ画像の情報から陰影に関する情報を取得する陰影情報取得部１０４と、陰影情報に基づいて、Ｒ画像およびＬ画像に含まれるオブジェクト（被写体）の凹凸に関する情報（微少相対デプス画像）を求める微少デプス推定部１０５と、距離画像（距離情報）と凹凸に関する情報（微少相対デプス画像）とに基づいて、Ｒ画像の画素と、それに対応するＬ画像の画素との間の視差を示す情報を画素毎に含む距離画像（距離情報）を新たに求める合成部１１１とを備える。

　このように、本実施形態の立体画像撮像装置５０は、画像の陰影情報に基づいて、オブジェクト（被写体）の微少な凹凸を示す情報（微少相対デプス画像）を求め、この情報を用いて、画像間の視差を画素毎に含む距離画像を補正することで、より高品位な距離画像を得ることができる。

　なお、実施の形態１、２において説明した立体画像撮像装置１０、５０の各部は、電子回路のようなハードウェアにより実現されてもよいし、マイクロコンピュータと、マイクロコンピュータで実行されるプログラムのようなソフトウェアとの協働により実現されてもよい。また、立体画像撮像装置１０、５０の各部は、１つの半導体集積回路で実現されてもよいし、複数の半導体集積回路で実現されてもよい。

　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

　本開示は、立体感に乏しい画像に適切な視差を付与することができ、自然な立体感の再現を可能とするため、立体画像の処理装置に有用である。

Claims (9)

1. 　第１の画像と第２の画像を含む立体画像情報を取得する取得部と、
   　前記第１の画像および／または第２の画像の情報から、陰影に関する情報を取得する陰影情報取得部と、
   　前記陰影情報に基づいて、前記第１及び第２の画像に含まれる被写体の視差を調整する視差調整部と、を備える
   立体画像処理装置。
2. 　前記陰影情報取得部は、前記第１の画像および／または第２の画像の情報から、所定の低域成分を除去する低域除去部を備え、前記所定の低域成分が除去された画像の情報に基づいて前記陰影に関する情報を取得する、
   請求項１記載の立体画像処理装置。
3. 　前記陰影情報取得部は、前記所定の低域成分が除去された画像の情報から、さらに所定の振幅を超える成分を除去する大振幅除去部をさらに備え、前記所定の振幅を超える成分が除去された画像の情報に基づき、前記陰影に関する情報を取得する、
   請求項２記載の立体画像処理装置。
4. 　前記陰影情報取得部は、前記所定の振幅を超える成分が除去された画像の情報から、さらに所定の高域成分を除去する高域除去部をさらに備え、前記高域成分が除去された画像の情報に基づき、前記陰影に関する情報を取得する、
   請求項３記載の立体画像処理装置。
5. 　前記視差調整部は、前記陰影情報に基づいて前記第１の画像および第２の画像に含まれる被写体の凹凸に関する情報を求める凹凸推定部をさらに備え、前記凹凸に関する情報に基づいて前記視差を調整する、
   請求項１記載の立体画像処理装置。
6. 　前記凹凸推定部は、前記陰影情報と、前記第１の画像および第２の画像中の被写体を照明する光源の位置とに基づいて前記凹凸に関する情報を求める、
   請求項５記載の立体画像処理装置。
7. 　第１の画像と第２の画像を含む立体画像情報を取得する取得部と、
   　前記第１の画像及び第２の画像の情報から、前記第１の画像の画素とその画素に対応する第２の画像の画素との視差を示す情報を画素毎に含む距離情報を求める視差検出部と、
   　前記第１の画像および／または第２の画像の情報から陰影に関する情報を取得する陰影情報取得部と、
   　前記陰影情報に基づいて、前記第１の画像および第２の画像に含まれる被写体の凹凸に関する情報を求める凹凸推定部と、
   　前記距離情報と前記凹凸に関する情報とに基づいて、前記第１の画像の画素と前記画素に対応する第２の画像の画素との視差を示す情報を画素毎に含む距離情報を新たに求める合成部と、を備える
   立体画像処理装置。
8. 　第１の画像と第２の画像を含む立体画像情報を取得するステップと、
   　前記第１の画像および／または第２の画像の情報から、陰影に関する情報を取得するステップと、
   　前記陰影情報に基づいて、前記第１及び第２の画像に含まれる被写体の視差を調整するステップと、
   を含む立体画像処理方法。
9. 　第１の画像と第２の画像を含む立体画像情報を取得するステップと、
   　前記第１の画像及び第２の画像の情報から、前記第１の画像の画素とその画素に対応する第２の画像の画素との視差を示す情報を画素毎に含む距離情報を求めるステップと、
   　前記第１の画像および／または第２の画像の情報から陰影に関する情報を取得するステップと、
   　前記陰影情報に基づいて、前記第１の画像および第２の画像に含まれる被写体の凹凸に関する情報を求めるステップと、
   　前記距離情報と前記凹凸に関する情報とに基づいて、前記第１の画像の画素と前記画素に対応する第２の画像の画素との視差を示す情報を画素毎に含む距離情報を新たに求めるステップと、
   を含む立体画像処理方法。

Images