JP5871113B2 - 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム - Google Patents

Description

本発明は、立体画像を生成する立体画像生成装置、立体画像生成方法及び立体画像生成プログラムに関する。

従来より、立体表示システムで表示する立体画像として、多眼カメラによる多視点画像と、２Ｄ画像から生成した擬似立体画像の２種類が知られている。前者の方法によると、複数台のカメラを使用するため撮影コストがかかってしまうものの、実世界に近い立体感の画像が得られる。一方、後者の方法によると、２Ｄ画像から被写体の奥行き関係を推測して擬似立体画像を生成するという特性上、被写体の前後関係が実世界と異なってしまう場合はあるものの、低コストで立体感のある画像が得られる。２Ｄ３Ｄ変換技術については、例えば特許文献１に記載されている。特許文献１によると、複数の基本奥行きモデルを入力２Ｄ画像の特徴に応じて合成した基本奥行きモデル信号と、非立体画像のＲ信号から算出する凹凸奥行き信号とを重畳して奥行き推定信号を生成する。そして、この奥行き推定信号に基づき立体化画像を生成するようになっている。

特許第４２１４５２９号公報

ところで、放送用やパッケージ用の３Ｄコンテンツは、リアルな立体画像を表現するために、２眼カメラで撮影した２視点画像を用いることが多い。しかし、２眼カメラで図１５に示すような遠方の風景画を撮影した場合、２視点画像間の視差量の差が小さくなり画像全面で均一になるため、立体表示をさせても立体感のある画像が得られないという問題がある。

本問題の解決策として、１眼カメラ２台を用意し、距離を数キロほど離して配置して撮影するという方法がある。しかし、この方法によると、意図した画像が撮影できているかどうかを撮影時に確認するのは困難である。また、空撮時では１眼カメラを離して配置できないなどの問題もあり、あまり実用的ではない。そのため、２眼カメラで撮影したコンテンツでは、遠景は立体感のないまま撮影されたものがほとんどであり、このようなコンテンツを立体表示システムでそのまま表示しても立体感が得られないという課題があった。

一方、特許文献１に示すような２Ｄ３Ｄ変換技術では、どんな入力画像に対しても基本奥行きモデル信号で視差が付くため、立体感が得られるという利点がある。また、遠方の風景画像においては、特に被写体と基本奥行きモデルの形状とのマッチング精度が高く、より実世界に近い擬体立体画像が得られることが分かっている。

本発明はこのような課題を解決するためになされたものであり、遠景画像のような立体感の乏しい３Ｄステレオペア画像が入力された場合でも立体感のある画像を生成することのできる立体画像生成装置、立体画像生成方法及び立体画像生成プログラムを提供することを目的とする。

前記課題を解決するために、本発明の実施形態に係る立体画像生成装置（１）は、第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出部（１３、１４）と、前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換部（１５、１５００）と、単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出部（１５１、１５０１、１５０２）とを備え、前記立体度算出部は、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、前記画像信号変換部は、前記立体度及び前記擬似立体視差に基づいて前記画素シフト量を算出することを特徴とする。

前記課題を解決するために、本発明の実施形態に係る立体画像生成装置（１）は、第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出部（１３，１４）と、前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換部（１５、１５００）と、単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出部（１５、１５０１、１５０２）とを備え、前記立体度算出部は、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出することを特徴とする。

前記課題を解決するために、本発明の実施形態に係る立体画像生成装置（１）は、第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出部（１３，１４）と、前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換部（１５、１５００）と、単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出部（１５、１５０１、１５０２）とを備え、前記立体度算出部は、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、前記画像信号変換部は、前記立体度に基づいて前記立体度が最大のとき最小となり、前記立体度が最小のとき最大となる特性を有するゲインを算出し、前記ゲイン及び前記擬似立体視差に基づいて前記画素シフト量を算出することを特徴とする。

前記課題を解決するために、本発明の実施形態に係る立体画像生成方法は、立体画像生成装置で実行される立体画像生成方法であって、第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出ステップと、前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換ステップと、単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出ステップとを有し、前記立体度算出ステップは、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、前記画像信号変換ステップは、前記立体度及び前記擬似立体視差に基づいて前記画素シフト量を算出することを特徴とする。

前記課題を解決するために、本発明の実施形態に係る立体画像生成方法は、立体画像生成装置で実行される立体画像生成方法であって、第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号の撮影情報に基づいて前記立体映像信号の立体度を算出する立体度算出ステップと、前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換ステップと、単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出ステップとを有し、前記画像信号変換ステップは、前記立体度及び前記擬似立体視差に基づいて前記画素シフト量を算出することを特徴とする。
前記課題を解決するために、本発明の実施形態に係る立体画像生成方法は、立体画像生成装置で実行される立体画像生成方法であって、第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出ステップと、前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換ステップと、単眼用映像信号より擬似立体視差を算出する擬似立体視差算出ステップとを有し、前記立体度算出ステップは、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、前記画像信号変換ステップは、前記立体度に基づいて前記立体度が最大のとき最小となり、前記立体度が最小のとき最大となる特性を有するゲインを算出し、前記ゲイン及び前記擬似立体視差に基づいて前記画素シフト量を算出することを特徴とする。
前記課題を解決するために、本発明の実施形態に係る立体画像生成プログラムは、立体画像生成装置で実行される立体画像生成プログラムであって、第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出ステップと、前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換ステップと、単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出ステップとを実行させ、前記立体度算出ステップは、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、前記画像信号変換ステップは、前記立体度及び前記擬似立体視差に基づいて前記画素シフト量を算出することを特徴とする。

本発明によれば、入力ステレオ画像信号の立体度に基づき２Ｄ３Ｄ変換処理における画素シフト量を調整するので、遠景画像のような立体感の乏しい３Ｄステレオペア画像が入力された場合でも立体感のある画像を生成することのできる立体画像生成装置、立体画像生成方法及び立体画像生成プログラムを提供することが可能である。

第１実施形態における立体画像生成装置のブロック図である。 第１実施形態における立体画像生成装置の動作を示すフローチャートある。 第１実施形態における立体度判定部の詳細なブロック図である。 第１実施形態における立体度判定部の出力する立体度の特性を示す図である。 第１実施形態における２Ｄ３Ｄ変換部の詳細なブロック図である。 第１実施形態における擬似立体視差値重畳ゲインの特性を示す図である。 第１実施形態における出力ステレオペア画像間の視差画像を示す図である。 第１実施形態における２Ｄ３Ｄ変換出力の様子を示す図である。 第２実施形態における２Ｄ３Ｄ変換処理部の詳細なブロック図である。 第２実施形態における左目シフト画像生成部の画像生成の様子を示す図である。 第２実施形態における右目シフト画像生成部の画像生成の様子を示す図である。 第３実施形態における立体画像生成装置のブロック図である。 第３実施形態における立体度判定部の詳細なブロック図である。 第３実施形態における立体度判定部の出力する立体度の特性を示す図である。 遠景画像の一例を示す図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。

＜第１実施形態＞
図１は、第１実施形態における立体画像生成装置１のブロック図である。この図に示すように、立体画像生成装置１は、３Ｄ映像信号等を３Ｄ信号記録装置２から取得して出力ステレオペア画像をステレオ表示装置３に出力する装置であって、入力信号取得部１１と、３Ｄ信号デコード部１２と、３Ｄ信号視差検出部１３と、立体度判定部１４と、２Ｄ３Ｄ変換部１５とを備えている。

図２は、第１実施形態における立体画像生成装置１の動作を示すフローチャートである。以下、立体画像生成装置１の構成を動作とともに説明する。

まず、入力信号取得部１１は、３Ｄ信号送信源である３Ｄ信号記録装置２から出力される３Ｄ映像信号及び３Ｄフォーマット識別信号を取得して３Ｄ信号デコード部１２に渡す（ステップＳ１）。３Ｄ映像信号は、立体視用に撮影された左目用画像信号及び右目用画像信号で構成される入力ステレオ画像信号である。３Ｄフォーマット識別信号とは、３Ｄ映像信号のフォーマット種別を示す信号であり、具体的には、Side-By-Side方式, フィールドシーケンシャル方式, Top-And-Bottom方式, Line-By-Line方式等を示す信号である。

次いで、３Ｄ信号デコード部１２は、３Ｄ映像信号のデコード処理を行う（ステップＳ２）。具体的には、入力信号取得部１１により取得された３Ｄ映像信号を３Ｄフォーマット識別信号に基づき左目画像信号と右目画像信号に分離する。

次いで、３Ｄ信号視差検出部１３は、３Ｄ映像信号の視差値である３Ｄ信号視差値ＤＰＴを検出する（ステップＳ３）。具体的には、ステレオマッチング手法を用いることで、入力されたステレオペア画像に基づき一方の画像信号（左目画像信号または右目画像信号）を基準として両画像信号間（左目右目画像信号間）の３Ｄ信号視差値ＤＰＴを１画素単位で求める。ステレオマッチング手法とは、一方の撮像画像（基準画像）中にある画素ブロック、すなわち、基準画像の一部を構成する小領域毎の画素群に関して、その相関先を他方の撮像画像（比較画像）において特定することで、撮像画像中の画素ブロック毎に視差値を求める手法である。ステレオマッチング手法の詳細は、特開２００３−１６４２７号公報（参考文献１）等に記載されている。３Ｄ信号視差値ＤＰＴは正負の値をとり、正の値のときは飛び出し方向の視差であることを表し、負の値のときは奥行き方向の視差であることを表す。

次いで、立体度判定部１４は、３Ｄ映像信号の立体度を判定する（ステップＳ４）。具体的には、３Ｄ信号視差検出部１３より出力された３Ｄ信号視差値ＤＰＴに基づき、入力ステレオ画像信号の立体感が高いか低いかを判定する。

３Ｄ信号視差検出部１３と立体度判定部１４とは、入力された立体映像信号に基づいて立体映像信号の立体度を算出する立体度算出部として動作する。以下の実施形態では、３Ｄ信号視差検出部１３と立体度判定部１４とは別の構成として説明しているが、これらは一体の構成でも良い。また以下の実施形態では、立体映像信号を構成する単眼映像信号間の視差より立体映像信号の立体度を算出する方法を説明するが、立体度の算出は公知の方法を用いればよい。なお、立体映像信号は第一の単眼用映像信号と第二の単眼用映像信号とから構成される。すなわち、右眼用映像信号と左眼用映像信号とから構成される。

図３に立体度判定部１４の詳細なブロック図を示す。この図に示すように、立体度判定部１４は、最大視差値検出部１４１と、最小視差値検出部１４２と、差分算出部１４３と、閾値比較部１４４とを備えている。最大視差値検出部１４１と最小視差値検出部１４２は、１フレーム毎に３Ｄ信号視差値ＤＰＴの最大値と最小値をそれぞれ算出する。差分算出部１４３は、最大視差値検出部１４１が出力する最大視差値から最小視差値検出部１４２が出力する最小視差値を減算することで３Ｄ視差最大最小差分値ＤＩＦを算出する。３Ｄ視差最大最小差分値ＤＩＦは、必ず正の値をとる。閾値比較部１４４は、図４に示すように、差分算出部１４３が出力する３Ｄ視差最大最小差分値ＤＩＦと任意に設定可能である閾値ＴＨ１と閾値ＴＨ２とを比較し、入力ステレオ画像信号の立体度合いを示す立体度Ｆを出力する。３Ｄ視差最大最小差分値ＤＩＦが閾値ＴＨ１より小さい場合は立体度Ｆの値を０として出力する。また、３Ｄ視差最大最小差分値ＤＩＦが閾値ＴＨ２より大きい場合は立体度Ｆの値を１として出力する。更に、３Ｄ視差最大最小差分値ＤＩＦが閾値ＴＨ１と閾値ＴＨ２との間の場合は、図４に示すように、１と０を線形で補間した値を立体度Ｆとして出力する。図１５に示すような遠景が入力された場合には、ステレオペア画像間の視差の差が小さいため、３Ｄ視差最大最小差分値ＤＩＦが小さい値となり立体度Ｆは小さな値となる。

次いで図１に戻り、２Ｄ３Ｄ変換部１５は、３Ｄ映像信号の２Ｄ３Ｄ変換処理を行う（ステップＳ５）。具体的には、３Ｄ信号デコード部１２より出力されたステレオペア画像（左目画像信号及び右目画像信号）に対して２Ｄ３Ｄ変換処理を行うことで、ステレオ画像に擬似立体感を重畳したペア画像を生成して出力する。

図５に２Ｄ３Ｄ変換部１５の詳細なブロック図を示す。この図に示すように、２Ｄ３Ｄ変換部１５は、擬似立体視差推定部１５１と、擬似立体視差重畳部１５２と、シフト画像生成部１５３とを備えている。擬似立体視差推定部１５１は、３Ｄ信号視差検出部１３が３Ｄ信号視差値ＤＰＴを算出する際に基準とした画像信号に基づき、擬似立体視差値ＤＰＴ＿２Ｄを推定する。ここでは左目画像信号を基準として説明する。擬似立体視差値ＤＰＴ＿２Ｄは、言い換えると、単眼用の画像信号から算出した立体視差値である。擬似立体視差値ＤＰＴ＿２Ｄの算出方法は、公知の方法を用いればよく、例えば特許文献１に記載されている擬似立体視差値を算出する方法でもよい。擬似立体視差重畳部１５２は、式（１）に基づき３Ｄ信号視差値ＤＰＴと擬似立体視差値ＤＰＴ＿２Ｄとを混合し、重畳視差値ＤＰＴ＿ＭＩＸを算出する。重畳視差値ＤＰＴ＿ＭＩＸは、言い換えると、基準の画像信号から視差を有する画像信号を生成するための視差値である。

ＤＰＴ＿ＭＩＸ ＝ ＤＰＴ ＋ ＤＰＴ＿２Ｄ ＊ Ｇ ----------- （１）
Ｇは擬似立体視差値重畳ゲインを表し、図６に示すように、立体度Ｆと任意に設定可能な所定の値Ｇｎにより求められる。立体度Ｆが１の場合、擬似立体視差値重畳ゲインＧは０となり、立体度Ｆが０の場合、擬似立体視差値重畳ゲインＧはＧｎとなる。この擬似立体視差値重畳ゲインＧに基づき３Ｄ信号視差値ＤＰＴと擬似立体視差値ＤＰＴ＿２Ｄとを混合した重畳視差値ＤＰＴ＿ＭＩＸを生成する。これにより、立体度Ｆが１の場合つまりは立体度Ｆが最も高い場合（Ｇ＝０）、重畳視差値ＤＰＴ＿ＭＩＸは、入力ステレオペア間の視差値である３Ｄ信号視差値ＤＰＴとなる。立体度Ｆが十分高い値の場合、重畳視差値ＤＰＴ＿ＭＩＸにおける擬似立体視差ＤＰＴ＿２Ｄの割合は最小、本実施形態では０、である。そして、立体度Ｆが低くなるにつれて、擬似立体視差推定部１５１が推定した擬似立体視差値ＤＰＴ＿２Ｄの重畳視差値ＤＰＴ＿ＭＩＸにおける割合が高くなる。重畳視差値ＤＰＴ＿ＭＩＸは正負の値をとり、正の値のときは飛び出し方向の視差であることを表し、負の値のときは奥行き方向の視差であることを表す。

シフト画像生成部１５３は、３Ｄ信号視差値ＤＰＴ及び擬似立体視差値ＤＰＴ＿２Ｄを算出する際の基準画像信号（左目画像信号）を、擬似立体視差重畳部１５２が出力する重畳視差値ＤＰＴ＿ＭＩＸに基づき画素をシフトさせて擬似立体視差値を算出するのに用いた基準画像信号とは異なる他方の画像信号、ここでは右目画像信号を生成する。画素シフトとは画素の位置を移動（シフト）させることである。シフト画像生成処理の具体的な方法については特許文献１にも記載されている。

図７を用いて本発明の効果について説明する。図７は、図１５に示す遠景を撮影した３Ｄステレオペア画像間の視差値に２Ｄ３Ｄ変換処理による擬似立体視差値を重畳した視差画像である。図７では、視差がゼロの場合の値を１２８、奥行き方向に最大の視差をとる場合の値を０、手前方向に最大の視差をとる場合の値を２５５とすることで、０〜２５５の範囲のグレースケールで視差が表現されている。３Ｄステレオペア画像に対して２Ｄ３Ｄ変換処理による擬似立体視差を重畳すると、図７に示すように、立体感のある画像となる。

以上のように、第１実施形態における立体画像生成装置１では、入力ステレオ画像信号の立体度Ｆを判定し、その立体度Ｆに基づき２Ｄ３Ｄ変換処理における画素シフト量を調整することで、擬似立体感を加えた画像を生成するようにしている。すなわち、２Ｄ３Ｄ変換部１５は、左目画像信号及び右目画像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を立体度Ｆに基づいて求め、画素シフト量に基づいてシフトさせたシフト映像信号を生成する。第１実施形態では、立体度Ｆは３Ｄ信号視差検出部１３にて求められた視差ＤＰＴに基づいて算出される。また２Ｄ３Ｄ変換部１５は、単眼用映像信号より擬似立体視差値ＤＰＴ＿２Ｄを算出する擬似立体視差算出部１５１を備え、画素シフト量を、立体度Ｆと擬似立体視差値ＤＰＴ＿２Ｄと視差ＤＰＴに基づいて算出する。これにより、遠景画像のような立体感の乏しい３Ｄステレオペア画像が入力された場合でも立体感のある画像を生成することができる。

＜第２実施形態＞
次に、第２実施形態について図面を参照して詳細に説明する。

第１実施形態によると、式（１）において擬似立体視差値重畳ゲインＧを０にすることで入力３Ｄステレオペア画像をそのまま出力しようとしても、入力画像を正しく再現できないという問題が生じる。例えば、図８は、第１実施形態における２Ｄ３Ｄ変換部１５が擬似立体視差値重畳ゲインＧを０としてシフト画像信号を生成した場合の様子を示している。すなわち、図８（ａ）のような３Ｄステレオペア画像が入力された場合、出力３Ｄステレオペア画像は図８（ｂ）のようになる。図８（ｂ）の左目画像は入力画像そのものであり、右目画像は左目画像を画素シフトさせることで生成されたものである。図８（ｂ）に示す網掛け領域Ｒ１は、画素シフトさせたことで生じたオクリュージョン領域であり、入力右目画像信号に元々存在していた画素が存在しない。このオクリュージョン領域では、正常に生成することができた周辺部のシフト画素データに基づき画素補間を行うことで画素データを生成するので、入力画像を正しく再現できないこととなる。第２実施形態は、以上の問題の解決を鑑みて構成されたものである。

第２実施形態と第１実施形態の相違点は、図２の２Ｄ３Ｄ変換処理（ステップＳ５）である。そのため、以下では２Ｄ３Ｄ変換処理（ステップＳ５）に絞って説明する。

図９は、第２実施形態における２Ｄ３Ｄ変換処理部１５００の詳細なブロック図である。この２Ｄ３Ｄ変換処理部１５００は、図９に示すように、左目擬似立体視差推定部１５０１と、右目擬似立体視差推定部１５０２と、左目視差調整部１５０３と、右目視差調整部１５０４と、左目シフト画像生成部１５０５と、右目シフト画像生成部１５０６とを備えている。

左目擬似立体視差生成部１５０１は、参考文献１に記載されているような擬似立体視差生成方法に基づき左目画像信号から左目擬似立体視差値ＤＰＴ＿Ｌを検出する。左目視差調整部１５０３は、左目擬似立体視差生成部１５０１が検出した左目擬似立体視差値ＤＰＴ＿Ｌに対して、式（２）に基づきゲイン調整を行う。式（２）中のＧは、図６に示される立体度Ｆと任意に設定可能な所定の値Ｇｎにより求められる擬似立体視差値重畳ゲインＧである。左目視差調整部１５０３より出力された左目擬似立体視差値ＤＰＴ＿Ｌ＿Ｇｎは左目シフト画像生成部１５０５に入力される。左目擬似立体視差値ＤＰＴ＿Ｌ＿Ｇｎは正負の値をとり、正の値のときは飛び出し方向の視差であることを表し、負の値のときは奥行き方向の視差であることを表す。

ＤＰＴ＿Ｌ＿Ｇｎ ＝ ＤＰＴ＿Ｌ ＊ Ｇ ----------- （２）
左目シフト画像生成部１５０５は、左目擬似立体視差値ＤＰＴ＿Ｌ＿Ｇｎに基づき、入力された左目画像信号を画素シフトすることで左目シフト画像を生成する。図１０は２Ｄ３Ｄ変換部１５００に図８（ａ）に示す３Ｄステレオペア画像を示す画像信号が入力された場合に、２Ｄ３Ｄ変換部１５００から出力される左目画像信号の一例であり、すなわち左目シフト画像生成部１５０５における画素シフトの様子を表した図である。図１０（ａ）は入力された左目画像信号及び左目擬似立体視差値ＤＰＴ＿Ｌ＿Ｇｎ（以下、単に擬似立体視差値とも言う）を示している。ここでは、飛び出し方向の擬似立体視差値を正の値、奥行き方向の擬似立体視差値を負の値とし、図１０（ａ）の画像に含まれる各図形の擬似立体視差値を、円筒図形が−２０、ハート図形が０、スマイル図形が２０であるとする。

図１０（ｂ）は第１実施形態における２Ｄ３Ｄ変換部１５が出力する左目画像信号を示す。第１実施形態の２Ｄ３Ｄ変換部１５では入力された左目画像信号が、上述したとおり処理を施されずに出力左目画像信号として出力される。

図１０（ｃ）は本実施形態における左目シフト画像生成部１５０５が出力する左目画像信号を示す。左目シフト画像生成部１５０５は、左目視差調整部１５０３より出力された左目擬似立体視差値ＤＰＴ＿Ｌ＿Ｇｎの値に基づいた画素数だけ入力画像信号をシフトさせて生成したシフト画像信号（左目シフト画像信号）を生成して、シフト画像信号を新たな左目画像信号として出力する。本実施形態では、擬似立体視差値が正の値のときは擬似立体視差値に基づいた画素数だけ入力画像信号を右方向にシフトさせた画像信号を生成し、擬似立体視差値が負の値のときは左方向にシフトさせた画像信号を生成する。このとき、擬似立体視差値重畳ゲインＧがゼロの場合は左目擬似立体視差値ＤＰＴ＿Ｌ＿Ｇｎがゼロとなり入力左目画像がそのまま出力される。本実施形態では、左目擬似立体視差値ＤＰＴ＿Ｌ＿Ｇｎの半分の値をシフト画素数としたが、これに限るものではない。

右目擬似立体視差生成部１５０２は、右目入力画像から右目擬似立体視差値ＤＰＴ＿Ｒを検出する。右目擬似立体視差生成部１５０２は右目擬似立体視差値ＤＰＴ＿Ｒを、左目擬似立体視差生成部１５０１と同様の視差生成方法に基づいて検出する。右目視差調整部１５０４は、右目擬似立体視差生成部１５０２が検出した右目擬似立体視差値ＤＰＴ＿Ｒに対して、式（３）に基づきゲイン調整を行う。式（３）中のＧは、図６に示される立体度Ｆと任意に設定可能な所定の値Ｇｎにより求められる擬似立体視差値重畳ゲインＧである。右目視差調整部１５０４より出力された右目擬似立体視差値ＤＰＴ＿Ｒ＿Ｇｎは右目シフト画像生成部１５０６に入力される。右目擬似立体視差値ＤＰＴ＿Ｒ＿Ｇｎも左目擬似立体視差値ＤＰＴ＿Ｌ＿Ｇｎと同様に正負の値をとり、正の値のときは飛び出し方向の視差であることを表し、負の値のときは奥行き方向の視差であることを表す。

ＤＰＴ＿Ｒ＿Ｇｎ ＝ ＤＰＴ＿Ｒ ＊ Ｇ ----------- （３）
右目シフト画像生成部１５０６は、右目擬似立体視差値ＤＰＴ＿Ｒ＿Ｇｎに基づき、入力された右目画像信号を画素シフトすることでシフト画像信号（右目シフト画像）を生成する。図１１は入力画像として図８（ａ）の画像が入力された場合に２Ｄ３Ｄ変換部１５００が出力する右目画像信号の例であり、つまりは右目シフトが右目シフト画像生成部１５０６における画素シフトの様子を表した図である。図１１（ａ）は入力された右目画像信号及び右目擬似立体視差値ＤＰＴ＿Ｒ＿Ｇｎを示している。図１０と同様に飛び出し方向の擬似立体視差値を正の値、奥行き方向の擬似立体視差値を負の値とし、図１１（ａ）の画像に含まれる各図形の擬似立体視差値を、円筒図形が−２０、ハート図形が０、スマイル図形が２０であるとする。

図１１（ｂ）は第１実施形態における２Ｄ３Ｄ変換部１５が出力する右目画像信号を示す。第１実施形態では擬似立体視差重畳部１５２により３Ｄ信号視差値ＤＰＴと擬似立体視差値ＤＰＴ＿２Ｄとが混合された重畳視差値ＤＰＴ＿ＭＩＸを用いて入力左目画像を画素シフトさせることで生成される。そのため、オクリュージョン領域が広大になる。

図１１（ｃ）は本実施形態における右目シフト画像生成部１５０６が出力する右目画像信号を示す。右目シフト画像生成部１５０６は、右目視差調整部１５０４より出力された右目擬似立体視差値ＤＰＴ＿Ｒ＿Ｇｎの値に基づいた画素数だけ入力画像信号をシフトさせて、シフト画像信号（右目シフト画像信号）を生成する。シフト方向は、左目シフト画像生成部１５０５とは反対となる設定とした。すわなち、擬似立体視差値が正の値のときは擬似立体視差値に基づいた画素数だけ入力画像信号を左方向にシフトさせた画像信号を生成し、負の値のときは右方向にシフトさせた画像信号を生成する。このとき、擬似立体視差値重畳ゲインＧがゼロの場合は右目擬似立体視差値ＤＰＴ＿Ｒ＿Ｇｎがゼロとなり、入力右目画像がそのまま出力される。本実施形態では、右目擬似立体視差値ＤＰＴ＿Ｒ＿Ｇｎの半分の値をシフト画素数としたが、これに限るものではない。

以上のように、第２実施形態における立体画像生成装置１では、入力ステレオ画像信号として画像内で視差の差が所定値ＴＨ２より大きい画像が入力された場合は、入力ステレオ画像信号をそのまま出力するようにしている。すなわち、擬似立体視差値重畳ゲイン値Ｇがゼロとなる場合は、式（２）、式（３）に基づき左目擬似立体視差値ＤＰＴ＿Ｌ＿Ｇｎ及び右目擬似立体視差値ＤＰＴ＿Ｒ＿Ｇｎの値がゼロとなり、画素シフトが行われなくなる。これにより、入力画像信号を劣化させることなく出力することができる。

第２実施形態において２Ｄ３Ｄ変換部１５００は、左目画像信号及び右目画像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を立体度Ｆに基づいて求め、画素シフト量に基づいてシフトさせたシフト映像信号を生成する。立体度Ｆは３Ｄ信号視差検出部１３にて求められた視差ＤＰＴに基づいて算出される。また２Ｄ３Ｄ変換部１５００は、単眼用映像信号より擬似立体視差値（ＤＰＴ＿Ｌ、ＤＰＴ＿Ｒ）を算出する擬似立体視差算出部（１５０１、１５０２）を備え、画素シフト量を立体度Ｆと擬似立体視差値に基づいて算出する。

なお、本実施の形態では、左目用と右目用に別々の擬似立体視差生成部を設けているが、これに限定されるものではない。すなわち、左目擬似立体視差生成部１５０１より出力された左目擬似立体視差値ＤＰＴ＿Ｌ＿Ｇｎを右目視差調整部１５０４にも入力させることで、擬似立体視差生成部を１つとする構成にしても良い。ただし、入力３Ｄステレオペア画像において画像内のオブジェクトは右目と左目で同じ画素位置に存在するとは限らない。そのため、擬似立体視差生成部を１つとする構成によると、左目のオブジェクトに対して求めた擬似立体視差値を用いた場合、左目シフト画像ではオブジェクトを画素シフトできるものの、右目シフト画像ではオブジェクト以外の画像をシフトしてしまうことになる場合もある。したがって、左目用と右目用に別々の擬似立体視差生成部を設ける方が理想的である。

＜第３実施形態＞
次に、第３実施形態について図面を参照して詳細に説明する。

図１２は、第３実施形態における立体画像生成装置１のブロック図である。第２実施形態との違いは、３Ｄ信号視差検出部１３を備えていない点と、入力信号取得部１１ｂが撮影情報信号を取得して立体度算出部１４００に出力している点である。以下、第２実施形態と異なる部分のみについて説明する。

入力信号取得部１１ｂは、３Ｄ映像信号、３Ｄフォーマット識別信号、及び撮影情報データを３Ｄ信号記録装置２から取得する。ここでいう撮影情報データとは、被写体距離情報、撮影シーンモード情報、レンズ焦点距離情報など、３Ｄ映像信号が撮影された際の様々な情報である。代表的なものとしては、写真画像に含まれているＥｘｉｆデータなどがある。

立体度算出部１４００は、入力信号取得部１１ｂに取得された撮影情報データに基づき立体度Ｆを算出する。図１３に立体度算出部１４００の詳細な構成を示す。この図に示すように、立体度算出部１４００は、情報抽出部１４０１と、閾値比較部１４０２とを備えている。情報抽出部１４０１は、入力された撮影情報データの中から被写体距離情報を抽出し、被写体距離情報Ｌとして出力する。閾値比較部１４０２は、図１４に示すように、被写体距離情報Ｌと任意に設定可能である閾値ＴＨ３と閾値ＴＨ４とを比較し、立体度Ｆを出力する。すなわち、被写体距離情報Ｌが閾値ＴＨ３より小さい場合は立体度Ｆの値を１として出力する。また、被写体距離情報Ｌが閾値ＴＨ４より大きい場合は立体度Ｆの値を０として出力する。更に、被写体距離情報Ｌが閾値ＴＨ３と閾値ＴＨ４との間の場合は、図１４に示すように、１と０を線形で補間した値を立体度Ｆとして出力する。

２Ｄ３Ｄ変換部１５００は、立体度算出部１４００から立体度Ｆを受取、立体度Ｆに基づいて左目画像信号及び右目画像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を算出する。また２Ｄ３Ｄ変換部１５００は、単眼用映像信号より擬似立体視差値を算出する擬似立体視差算出部を備え、立体度Ｆと擬似立体視差値に基づいて画素シフト量を算出する。

以上のように、第３実施形態における立体画像生成装置１では、撮影情報データに基づき入力ステレオ画像信号の立体度Ｆを判定するようにしている。これにより、被写体距離などの各種の撮影条件に応じて適切に立体度Ｆを判定することができる。

１ 立体画像生成装置
１１、１１ｂ 入力信号取得部
１２ ３Ｄ信号デコード部
１３ ３Ｄ信号視差検出部（立体度算出部）
１４ 立体度判定部（立体度算出部）
１４００ 立体度算出部
１５、１５００ ２Ｄ３Ｄ変換部（画像信号変換部）
２ ３Ｄ信号記録装置
３ ステレオ表示装置

Claims (7)

1. 第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出部と、
   前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換部と、
   単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出部とを備え、
   前記立体度算出部は、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、
   前記画像信号変換部は、前記立体度及び前記擬似立体視差に基づいて前記画素シフト量を算出する
   ことを特徴とする立体画像生成装置。
2. 第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号の撮影情報に基づいて前記立体映像信号の立体度を算出する立体度算出部と、
   前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換部と、
   単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出部とを備え、
   前記画像信号変換部は、前記立体度及び前記擬似立体視差に基づいて前記画素シフト量を算出する
   ことを特徴とする立体画像生成装置。
3. 第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出部と、
   前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換部と、
   単眼用映像信号より擬似立体視差を算出する擬似立体視差算出部とを備え、
   前記立体度算出部は、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、
   前記画像信号変換部は、前記立体度に基づいて前記立体度が最大のとき最小となり、前記立体度が最小のとき最大となる特性を有するゲインを算出し、前記ゲイン及び前記擬似立体視差に基づいて前記画素シフト量を算出することを特徴とする立体画像生成装置。
4. 立体画像生成装置で実行される立体画像生成方法であって、
   第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出ステップと、
   前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換ステップと、
   単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出ステップとを有し、
   前記立体度算出ステップは、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、
   前記画像信号変換ステップは、前記立体度及び前記擬似立体視差に基づいて前記画素シフト量を算出する
   ことを特徴とする立体画像生成方法。
5. 立体画像生成装置で実行される立体画像生成方法であって、
   第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号の撮影情報に基づいて前記立体映像信号の立体度を算出する立体度算出ステップと、
   前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換ステップと、
   単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出ステップとを有し、
   前記画像信号変換ステップは、前記立体度及び前記擬似立体視差に基づいて前記画素シフト量を算出する
   ことを特徴とする立体画像生成方法。
6. 立体画像生成装置で実行される立体画像生成方法であって、
   第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出ステップと、
   前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換ステップと、
   単眼用映像信号より擬似立体視差を算出する擬似立体視差算出ステップとを有し、
   前記立体度算出ステップは、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、
   前記画像信号変換ステップは、前記立体度に基づいて前記立体度が最大のとき最小となり、前記立体度が最小のとき最大となる特性を有するゲインを算出し、前記ゲイン及び前記擬似立体視差に基づいて前記画素シフト量を算出することを特徴とする立体画像生成方法。
7. 立体画像生成装置で実行される立体画像生成プログラムであって、
   第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出ステップと、
   前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換ステップと、
   単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出ステップとを実行させ、
   前記立体度算出ステップは、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、
   前記画像信号変換ステップは、前記立体度及び前記擬似立体視差に基づいて前記画素シフト量を算出する
   ことを特徴とする立体画像生成プログラム。