JP5871113B2 - 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム - Google Patents

立体画像生成装置、立体画像生成方法及び立体画像生成プログラム Download PDF

Info

Publication number
JP5871113B2
JP5871113B2 JP2011077368A JP2011077368A JP5871113B2 JP 5871113 B2 JP5871113 B2 JP 5871113B2 JP 2011077368 A JP2011077368 A JP 2011077368A JP 2011077368 A JP2011077368 A JP 2011077368A JP 5871113 B2 JP5871113 B2 JP 5871113B2
Authority
JP
Japan
Prior art keywords
stereoscopic
video signal
parallax
degree
monocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011077368A
Other languages
English (en)
Other versions
JP2012213016A (ja
Inventor
浩史 野口
浩史 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2011077368A priority Critical patent/JP5871113B2/ja
Priority to EP12765976.1A priority patent/EP2658269A4/en
Priority to PCT/JP2012/057717 priority patent/WO2012133286A1/ja
Publication of JP2012213016A publication Critical patent/JP2012213016A/ja
Priority to US13/798,230 priority patent/US9210396B2/en
Application granted granted Critical
Publication of JP5871113B2 publication Critical patent/JP5871113B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、立体画像を生成する立体画像生成装置立体画像生成方法及び立体画像生成プログラムに関する。
従来より、立体表示システムで表示する立体画像として、多眼カメラによる多視点画像と、2D画像から生成した擬似立体画像の2種類が知られている。前者の方法によると、複数台のカメラを使用するため撮影コストがかかってしまうものの、実世界に近い立体感の画像が得られる。一方、後者の方法によると、2D画像から被写体の奥行き関係を推測して擬似立体画像を生成するという特性上、被写体の前後関係が実世界と異なってしまう場合はあるものの、低コストで立体感のある画像が得られる。2D3D変換技術については、例えば特許文献1に記載されている。特許文献1によると、複数の基本奥行きモデルを入力2D画像の特徴に応じて合成した基本奥行きモデル信号と、非立体画像のR信号から算出する凹凸奥行き信号とを重畳して奥行き推定信号を生成する。そして、この奥行き推定信号に基づき立体化画像を生成するようになっている。
特許第4214529号公報
ところで、放送用やパッケージ用の3Dコンテンツは、リアルな立体画像を表現するために、2眼カメラで撮影した2視点画像を用いることが多い。しかし、2眼カメラで図15に示すような遠方の風景画を撮影した場合、2視点画像間の視差量の差が小さくなり画像全面で均一になるため、立体表示をさせても立体感のある画像が得られないという問題がある。
本問題の解決策として、1眼カメラ2台を用意し、距離を数キロほど離して配置して撮影するという方法がある。しかし、この方法によると、意図した画像が撮影できているかどうかを撮影時に確認するのは困難である。また、空撮時では1眼カメラを離して配置できないなどの問題もあり、あまり実用的ではない。そのため、2眼カメラで撮影したコンテンツでは、遠景は立体感のないまま撮影されたものがほとんどであり、このようなコンテンツを立体表示システムでそのまま表示しても立体感が得られないという課題があった。
一方、特許文献1に示すような2D3D変換技術では、どんな入力画像に対しても基本奥行きモデル信号で視差が付くため、立体感が得られるという利点がある。また、遠方の風景画像においては、特に被写体と基本奥行きモデルの形状とのマッチング精度が高く、より実世界に近い擬体立体画像が得られることが分かっている。
本発明はこのような課題を解決するためになされたものであり、遠景画像のような立体感の乏しい3Dステレオペア画像が入力された場合でも立体感のある画像を生成することのできる立体画像生成装置立体画像生成方法及び立体画像生成プログラムを提供することを目的とする。
前記課題を解決するために、本発明の実施形態に係る立体画像生成装置(1)は、第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出部(13、14)と、前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換部(15、1500)と、単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出部(151、1501、1502)とを備え、前記立体度算出部は、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、前記画像信号変換部は、前記立体度及び前記擬似立体視差に基づいて前記画素シフト量を算出することを特徴とする。
前記課題を解決するために、本発明の実施形態に係る立体画像生成装置(1)は、第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出部(13,14)と、前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換部(15、1500)と、単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出部(15、1501、1502)とを備え、前記立体度算出部は、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出することを特徴とする。
前記課題を解決するために、本発明の実施形態に係る立体画像生成装置(1)は、第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出部(13,14)と、前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換部(15、1500)と、単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出部(15、1501、1502)とを備え、前記立体度算出部は、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、前記画像信号変換部は、前記立体度に基づいて前記立体度が最大のとき最小となり、前記立体度が最小のとき最大となる特性を有するゲインを算出し、前記ゲイン及び前記擬似立体視差に基づいて前記画素シフト量を算出することを特徴とする
前記課題を解決するために、本発明の実施形態に係る立体画像生成方法は、立体画像生成装置で実行される立体画像生成方法であって、第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出ステップと、前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換ステップと、単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出ステップとを有し、前記立体度算出ステップは、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、前記画像信号変換ステップは、前記立体度及び前記擬似立体視差に基づいて前記画素シフト量を算出することを特徴とする。
前記課題を解決するために、本発明の実施形態に係る立体画像生成方法は、立体画像生成装置で実行される立体画像生成方法であって、第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号の撮影情報に基づいて前記立体映像信号の立体度を算出する立体度算出ステップと、前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換ステップと、単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出ステップとを有し、前記画像信号変換ステップは、前記立体度及び前記擬似立体視差に基づいて前記画素シフト量を算出することを特徴とする。
前記課題を解決するために、本発明の実施形態に係る立体画像生成方法は、立体画像生成装置で実行される立体画像生成方法であって、第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出ステップと、前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換ステップと、単眼用映像信号より擬似立体視差を算出する擬似立体視差算出ステップとを有し、前記立体度算出ステップは、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、前記画像信号変換ステップは、前記立体度に基づいて前記立体度が最大のとき最小となり、前記立体度が最小のとき最大となる特性を有するゲインを算出し、前記ゲイン及び前記擬似立体視差に基づいて前記画素シフト量を算出することを特徴とする。
前記課題を解決するために、本発明の実施形態に係る立体画像生成プログラムは、立体画像生成装置で実行される立体画像生成プログラムであって、第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出ステップと、前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換ステップと、単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出ステップとを実行させ、前記立体度算出ステップは、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、前記画像信号変換ステップは、前記立体度及び前記擬似立体視差に基づいて前記画素シフト量を算出することを特徴とする。
本発明によれば、入力ステレオ画像信号の立体度に基づき2D3D変換処理における画素シフト量を調整するので、遠景画像のような立体感の乏しい3Dステレオペア画像が入力された場合でも立体感のある画像を生成することのできる立体画像生成装置立体画像生成方法及び立体画像生成プログラムを提供することが可能である。
第1実施形態における立体画像生成装置のブロック図である。 第1実施形態における立体画像生成装置の動作を示すフローチャートある。 第1実施形態における立体度判定部の詳細なブロック図である。 第1実施形態における立体度判定部の出力する立体度の特性を示す図である。 第1実施形態における2D3D変換部の詳細なブロック図である。 第1実施形態における擬似立体視差値重畳ゲインの特性を示す図である。 第1実施形態における出力ステレオペア画像間の視差画像を示す図である。 第1実施形態における2D3D変換出力の様子を示す図である。 第2実施形態における2D3D変換処理部の詳細なブロック図である。 第2実施形態における左目シフト画像生成部の画像生成の様子を示す図である。 第2実施形態における右目シフト画像生成部の画像生成の様子を示す図である。 第3実施形態における立体画像生成装置のブロック図である。 第3実施形態における立体度判定部の詳細なブロック図である。 第3実施形態における立体度判定部の出力する立体度の特性を示す図である。 遠景画像の一例を示す図である。
以下、本発明の実施形態について図面を参照して詳細に説明する。
<第1実施形態>
図1は、第1実施形態における立体画像生成装置1のブロック図である。この図に示すように、立体画像生成装置1は、3D映像信号等を3D信号記録装置2から取得して出力ステレオペア画像をステレオ表示装置3に出力する装置であって、入力信号取得部11と、3D信号デコード部12と、3D信号視差検出部13と、立体度判定部14と、2D3D変換部15とを備えている。
図2は、第1実施形態における立体画像生成装置1の動作を示すフローチャートである。以下、立体画像生成装置1の構成を動作とともに説明する。
まず、入力信号取得部11は、3D信号送信源である3D信号記録装置2から出力される3D映像信号及び3Dフォーマット識別信号を取得して3D信号デコード部12に渡す(ステップS1)。3D映像信号は、立体視用に撮影された左目用画像信号及び右目用画像信号で構成される入力ステレオ画像信号である。3Dフォーマット識別信号とは、3D映像信号のフォーマット種別を示す信号であり、具体的には、Side-By-Side方式, フィールドシーケンシャル方式, Top-And-Bottom方式, Line-By-Line方式等を示す信号である。
次いで、3D信号デコード部12は、3D映像信号のデコード処理を行う(ステップS2)。具体的には、入力信号取得部11により取得された3D映像信号を3Dフォーマット識別信号に基づき左目画像信号と右目画像信号に分離する。
次いで、3D信号視差検出部13は、3D映像信号の視差値である3D信号視差値DPTを検出する(ステップS3)。具体的には、ステレオマッチング手法を用いることで、入力されたステレオペア画像に基づき一方の画像信号(左目画像信号または右目画像信号)を基準として両画像信号間(左目右目画像信号間)の3D信号視差値DPTを1画素単位で求める。ステレオマッチング手法とは、一方の撮像画像(基準画像)中にある画素ブロック、すなわち、基準画像の一部を構成する小領域毎の画素群に関して、その相関先を他方の撮像画像(比較画像)において特定することで、撮像画像中の画素ブロック毎に視差値を求める手法である。ステレオマッチング手法の詳細は、特開2003−16427号公報(参考文献1)等に記載されている。3D信号視差値DPTは正負の値をとり、正の値のときは飛び出し方向の視差であることを表し、負の値のときは奥行き方向の視差であることを表す。
次いで、立体度判定部14は、3D映像信号の立体度を判定する(ステップS4)。具体的には、3D信号視差検出部13より出力された3D信号視差値DPTに基づき、入力ステレオ画像信号の立体感が高いか低いかを判定する。
3D信号視差検出部13と立体度判定部14とは、入力された立体映像信号に基づいて立体映像信号の立体度を算出する立体度算出部として動作する。以下の実施形態では、3D信号視差検出部13と立体度判定部14とは別の構成として説明しているが、これらは一体の構成でも良い。また以下の実施形態では、立体映像信号を構成する単眼映像信号間の視差より立体映像信号の立体度を算出する方法を説明するが、立体度の算出は公知の方法を用いればよい。なお、立体映像信号は第一の単眼用映像信号と第二の単眼用映像信号とから構成される。すなわち、右眼用映像信号と左眼用映像信号とから構成される。
図3に立体度判定部14の詳細なブロック図を示す。この図に示すように、立体度判定部14は、最大視差値検出部141と、最小視差値検出部142と、差分算出部143と、閾値比較部144とを備えている。最大視差値検出部141と最小視差値検出部142は、1フレーム毎に3D信号視差値DPTの最大値と最小値をそれぞれ算出する。差分算出部143は、最大視差値検出部141が出力する最大視差値から最小視差値検出部142が出力する最小視差値を減算することで3D視差最大最小差分値DIFを算出する。3D視差最大最小差分値DIFは、必ず正の値をとる。閾値比較部144は、図4に示すように、差分算出部143が出力する3D視差最大最小差分値DIFと任意に設定可能である閾値TH1と閾値TH2とを比較し、入力ステレオ画像信号の立体度合いを示す立体度Fを出力する。3D視差最大最小差分値DIFが閾値TH1より小さい場合は立体度Fの値を0として出力する。また、3D視差最大最小差分値DIFが閾値TH2より大きい場合は立体度Fの値を1として出力する。更に、3D視差最大最小差分値DIFが閾値TH1と閾値TH2との間の場合は、図4に示すように、1と0を線形で補間した値を立体度Fとして出力する。図15に示すような遠景が入力された場合には、ステレオペア画像間の視差の差が小さいため、3D視差最大最小差分値DIFが小さい値となり立体度Fは小さな値となる。
次いで図1に戻り、2D3D変換部15は、3D映像信号の2D3D変換処理を行う(ステップS5)。具体的には、3D信号デコード部12より出力されたステレオペア画像(左目画像信号及び右目画像信号)に対して2D3D変換処理を行うことで、ステレオ画像に擬似立体感を重畳したペア画像を生成して出力する。
図5に2D3D変換部15の詳細なブロック図を示す。この図に示すように、2D3D変換部15は、擬似立体視差推定部151と、擬似立体視差重畳部152と、シフト画像生成部153とを備えている。擬似立体視差推定部151は、3D信号視差検出部13が3D信号視差値DPTを算出する際に基準とした画像信号に基づき、擬似立体視差値DPT_2Dを推定する。ここでは左目画像信号を基準として説明する。擬似立体視差値DPT_2Dは、言い換えると、単眼用の画像信号から算出した立体視差値である。擬似立体視差値DPT_2Dの算出方法は、公知の方法を用いればよく、例えば特許文献1に記載されている擬似立体視差値を算出する方法でもよい。擬似立体視差重畳部152は、式(1)に基づき3D信号視差値DPTと擬似立体視差値DPT_2Dとを混合し、重畳視差値DPT_MIXを算出する。重畳視差値DPT_MIXは、言い換えると、基準の画像信号から視差を有する画像信号を生成するための視差値である。
DPT_MIX = DPT + DPT_2D * G ----------- (1)
Gは擬似立体視差値重畳ゲインを表し、図6に示すように、立体度Fと任意に設定可能な所定の値Gnにより求められる。立体度Fが1の場合、擬似立体視差値重畳ゲインGは0となり、立体度Fが0の場合、擬似立体視差値重畳ゲインGはGnとなる。この擬似立体視差値重畳ゲインGに基づき3D信号視差値DPTと擬似立体視差値DPT_2Dとを混合した重畳視差値DPT_MIXを生成する。これにより、立体度Fが1の場合つまりは立体度Fが最も高い場合(G=0)、重畳視差値DPT_MIXは、入力ステレオペア間の視差値である3D信号視差値DPTとなる。立体度Fが十分高い値の場合、重畳視差値DPT_MIXにおける擬似立体視差DPT_2Dの割合は最小、本実施形態では0、である。そして、立体度Fが低くなるにつれて、擬似立体視差推定部151が推定した擬似立体視差値DPT_2Dの重畳視差値DPT_MIXにおける割合が高くなる。重畳視差値DPT_MIXは正負の値をとり、正の値のときは飛び出し方向の視差であることを表し、負の値のときは奥行き方向の視差であることを表す。
シフト画像生成部153は、3D信号視差値DPT及び擬似立体視差値DPT_2Dを算出する際の基準画像信号(左目画像信号)を、擬似立体視差重畳部152が出力する重畳視差値DPT_MIXに基づき画素をシフトさせて擬似立体視差値を算出するのに用いた基準画像信号とは異なる他方の画像信号、ここでは右目画像信号を生成する。画素シフトとは画素の位置を移動(シフト)させることである。シフト画像生成処理の具体的な方法については特許文献1にも記載されている。
図7を用いて本発明の効果について説明する。図7は、図15に示す遠景を撮影した3Dステレオペア画像間の視差値に2D3D変換処理による擬似立体視差値を重畳した視差画像である。図7では、視差がゼロの場合の値を128、奥行き方向に最大の視差をとる場合の値を0、手前方向に最大の視差をとる場合の値を255とすることで、0〜255の範囲のグレースケールで視差が表現されている。3Dステレオペア画像に対して2D3D変換処理による擬似立体視差を重畳すると、図7に示すように、立体感のある画像となる。
以上のように、第1実施形態における立体画像生成装置1では、入力ステレオ画像信号の立体度Fを判定し、その立体度Fに基づき2D3D変換処理における画素シフト量を調整することで、擬似立体感を加えた画像を生成するようにしている。すなわち、2D3D変換部15は、左目画像信号及び右目画像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を立体度Fに基づいて求め、画素シフト量に基づいてシフトさせたシフト映像信号を生成する。第1実施形態では、立体度Fは3D信号視差検出部13にて求められた視差DPTに基づいて算出される。また2D3D変換部15は、単眼用映像信号より擬似立体視差値DPT_2Dを算出する擬似立体視差算出部151を備え、画素シフト量を、立体度Fと擬似立体視差値DPT_2Dと視差DPTに基づいて算出する。これにより、遠景画像のような立体感の乏しい3Dステレオペア画像が入力された場合でも立体感のある画像を生成することができる。
<第2実施形態>
次に、第2実施形態について図面を参照して詳細に説明する。
第1実施形態によると、式(1)において擬似立体視差値重畳ゲインGを0にすることで入力3Dステレオペア画像をそのまま出力しようとしても、入力画像を正しく再現できないという問題が生じる。例えば、図8は、第1実施形態における2D3D変換部15が擬似立体視差値重畳ゲインGを0としてシフト画像信号を生成した場合の様子を示している。すなわち、図8(a)のような3Dステレオペア画像が入力された場合、出力3Dステレオペア画像は図8(b)のようになる。図8(b)の左目画像は入力画像そのものであり、右目画像は左目画像を画素シフトさせることで生成されたものである。図8(b)に示す網掛け領域R1は、画素シフトさせたことで生じたオクリュージョン領域であり、入力右目画像信号に元々存在していた画素が存在しない。このオクリュージョン領域では、正常に生成することができた周辺部のシフト画素データに基づき画素補間を行うことで画素データを生成するので、入力画像を正しく再現できないこととなる。第2実施形態は、以上の問題の解決を鑑みて構成されたものである。
第2実施形態と第1実施形態の相違点は、図2の2D3D変換処理(ステップS5)である。そのため、以下では2D3D変換処理(ステップS5)に絞って説明する。
図9は、第2実施形態における2D3D変換処理部1500の詳細なブロック図である。この2D3D変換処理部1500は、図9に示すように、左目擬似立体視差推定部1501と、右目擬似立体視差推定部1502と、左目視差調整部1503と、右目視差調整部1504と、左目シフト画像生成部1505と、右目シフト画像生成部1506とを備えている。
左目擬似立体視差生成部1501は、参考文献1に記載されているような擬似立体視差生成方法に基づき左目画像信号から左目擬似立体視差値DPT_Lを検出する。左目視差調整部1503は、左目擬似立体視差生成部1501が検出した左目擬似立体視差値DPT_Lに対して、式(2)に基づきゲイン調整を行う。式(2)中のGは、図6に示される立体度Fと任意に設定可能な所定の値Gnにより求められる擬似立体視差値重畳ゲインGである。左目視差調整部1503より出力された左目擬似立体視差値DPT_L_Gnは左目シフト画像生成部1505に入力される。左目擬似立体視差値DPT_L_Gnは正負の値をとり、正の値のときは飛び出し方向の視差であることを表し、負の値のときは奥行き方向の視差であることを表す。
DPT_L_Gn = DPT_L * G ----------- (2)
左目シフト画像生成部1505は、左目擬似立体視差値DPT_L_Gnに基づき、入力された左目画像信号を画素シフトすることで左目シフト画像を生成する。図10は2D3D変換部1500に図8(a)に示す3Dステレオペア画像を示す画像信号が入力された場合に、2D3D変換部1500から出力される左目画像信号の一例であり、すなわち左目シフト画像生成部1505における画素シフトの様子を表した図である。図10(a)は入力された左目画像信号及び左目擬似立体視差値DPT_L_Gn(以下、単に擬似立体視差値とも言う)を示している。ここでは、飛び出し方向の擬似立体視差値を正の値、奥行き方向の擬似立体視差値を負の値とし、図10(a)の画像に含まれる各図形の擬似立体視差値を、円筒図形が−20、ハート図形が0、スマイル図形が20であるとする。
図10(b)は第1実施形態における2D3D変換部15が出力する左目画像信号を示す。第1実施形態の2D3D変換部15では入力された左目画像信号が、上述したとおり処理を施されずに出力左目画像信号として出力される。
図10(c)は本実施形態における左目シフト画像生成部1505が出力する左目画像信号を示す。左目シフト画像生成部1505は、左目視差調整部1503より出力された左目擬似立体視差値DPT_L_Gnの値に基づいた画素数だけ入力画像信号をシフトさせて生成したシフト画像信号(左目シフト画像信号)を生成して、シフト画像信号を新たな左目画像信号として出力する。本実施形態では、擬似立体視差値が正の値のときは擬似立体視差値に基づいた画素数だけ入力画像信号を右方向にシフトさせた画像信号を生成し、擬似立体視差値が負の値のときは左方向にシフトさせた画像信号を生成する。このとき、擬似立体視差値重畳ゲインGがゼロの場合は左目擬似立体視差値DPT_L_Gnがゼロとなり入力左目画像がそのまま出力される。本実施形態では、左目擬似立体視差値DPT_L_Gnの半分の値をシフト画素数としたが、これに限るものではない。
右目擬似立体視差生成部1502は、右目入力画像から右目擬似立体視差値DPT_Rを検出する。右目擬似立体視差生成部1502は右目擬似立体視差値DPT_Rを、左目擬似立体視差生成部1501と同様の視差生成方法に基づいて検出する。右目視差調整部1504は、右目擬似立体視差生成部1502が検出した右目擬似立体視差値DPT_Rに対して、式(3)に基づきゲイン調整を行う。式(3)中のGは、図6に示される立体度Fと任意に設定可能な所定の値Gnにより求められる擬似立体視差値重畳ゲインGである。右目視差調整部1504より出力された右目擬似立体視差値DPT_R_Gnは右目シフト画像生成部1506に入力される。右目擬似立体視差値DPT_R_Gnも左目擬似立体視差値DPT_L_Gnと同様に正負の値をとり、正の値のときは飛び出し方向の視差であることを表し、負の値のときは奥行き方向の視差であることを表す。
DPT_R_Gn = DPT_R * G ----------- (3)
右目シフト画像生成部1506は、右目擬似立体視差値DPT_R_Gnに基づき、入力された右目画像信号を画素シフトすることでシフト画像信号(右目シフト画像)を生成する。図11は入力画像として図8(a)の画像が入力された場合に2D3D変換部1500が出力する右目画像信号の例であり、つまりは右目シフトが右目シフト画像生成部1506における画素シフトの様子を表した図である。図11(a)は入力された右目画像信号及び右目擬似立体視差値DPT_R_Gnを示している。図10と同様に飛び出し方向の擬似立体視差値を正の値、奥行き方向の擬似立体視差値を負の値とし、図11(a)の画像に含まれる各図形の擬似立体視差値を、円筒図形が−20、ハート図形が0、スマイル図形が20であるとする。
図11(b)は第1実施形態における2D3D変換部15が出力する右目画像信号を示す。第1実施形態では擬似立体視差重畳部152により3D信号視差値DPTと擬似立体視差値DPT_2Dとが混合された重畳視差値DPT_MIXを用いて入力左目画像を画素シフトさせることで生成される。そのため、オクリュージョン領域が広大になる。
図11(c)は本実施形態における右目シフト画像生成部1506が出力する右目画像信号を示す。右目シフト画像生成部1506は、右目視差調整部1504より出力された右目擬似立体視差値DPT_R_Gnの値に基づいた画素数だけ入力画像信号をシフトさせて、シフト画像信号(右目シフト画像信号)を生成する。シフト方向は、左目シフト画像生成部1505とは反対となる設定とした。すわなち、擬似立体視差値が正の値のときは擬似立体視差値に基づいた画素数だけ入力画像信号を左方向にシフトさせた画像信号を生成し、負の値のときは右方向にシフトさせた画像信号を生成する。このとき、擬似立体視差値重畳ゲインGがゼロの場合は右目擬似立体視差値DPT_R_Gnがゼロとなり、入力右目画像がそのまま出力される。本実施形態では、右目擬似立体視差値DPT_R_Gnの半分の値をシフト画素数としたが、これに限るものではない。
以上のように、第2実施形態における立体画像生成装置1では、入力ステレオ画像信号として画像内で視差の差が所定値TH2より大きい画像が入力された場合は、入力ステレオ画像信号をそのまま出力するようにしている。すなわち、擬似立体視差値重畳ゲイン値Gがゼロとなる場合は、式(2)、式(3)に基づき左目擬似立体視差値DPT_L_Gn及び右目擬似立体視差値DPT_R_Gnの値がゼロとなり、画素シフトが行われなくなる。これにより、入力画像信号を劣化させることなく出力することができる。
第2実施形態において2D3D変換部1500は、左目画像信号及び右目画像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を立体度Fに基づいて求め、画素シフト量に基づいてシフトさせたシフト映像信号を生成する。立体度Fは3D信号視差検出部13にて求められた視差DPTに基づいて算出される。また2D3D変換部1500は、単眼用映像信号より擬似立体視差値(DPT_L、DPT_R)を算出する擬似立体視差算出部(1501、1502)を備え、画素シフト量を立体度Fと擬似立体視差値に基づいて算出する。
なお、本実施の形態では、左目用と右目用に別々の擬似立体視差生成部を設けているが、これに限定されるものではない。すなわち、左目擬似立体視差生成部1501より出力された左目擬似立体視差値DPT_L_Gnを右目視差調整部1504にも入力させることで、擬似立体視差生成部を1つとする構成にしても良い。ただし、入力3Dステレオペア画像において画像内のオブジェクトは右目と左目で同じ画素位置に存在するとは限らない。そのため、擬似立体視差生成部を1つとする構成によると、左目のオブジェクトに対して求めた擬似立体視差値を用いた場合、左目シフト画像ではオブジェクトを画素シフトできるものの、右目シフト画像ではオブジェクト以外の画像をシフトしてしまうことになる場合もある。したがって、左目用と右目用に別々の擬似立体視差生成部を設ける方が理想的である。
<第3実施形態>
次に、第3実施形態について図面を参照して詳細に説明する。
図12は、第3実施形態における立体画像生成装置1のブロック図である。第2実施形態との違いは、3D信号視差検出部13を備えていない点と、入力信号取得部11bが撮影情報信号を取得して立体度算出部1400に出力している点である。以下、第2実施形態と異なる部分のみについて説明する。
入力信号取得部11bは、3D映像信号、3Dフォーマット識別信号、及び撮影情報データを3D信号記録装置2から取得する。ここでいう撮影情報データとは、被写体距離情報、撮影シーンモード情報、レンズ焦点距離情報など、3D映像信号が撮影された際の様々な情報である。代表的なものとしては、写真画像に含まれているExifデータなどがある。
立体度算出部1400は、入力信号取得部11bに取得された撮影情報データに基づき立体度Fを算出する。図13に立体度算出部1400の詳細な構成を示す。この図に示すように、立体度算出部1400は、情報抽出部1401と、閾値比較部1402とを備えている。情報抽出部1401は、入力された撮影情報データの中から被写体距離情報を抽出し、被写体距離情報Lとして出力する。閾値比較部1402は、図14に示すように、被写体距離情報Lと任意に設定可能である閾値TH3と閾値TH4とを比較し、立体度Fを出力する。すなわち、被写体距離情報Lが閾値TH3より小さい場合は立体度Fの値を1として出力する。また、被写体距離情報Lが閾値TH4より大きい場合は立体度Fの値を0として出力する。更に、被写体距離情報Lが閾値TH3と閾値TH4との間の場合は、図14に示すように、1と0を線形で補間した値を立体度Fとして出力する。
2D3D変換部1500は、立体度算出部1400から立体度Fを受取、立体度Fに基づいて左目画像信号及び右目画像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を算出する。また2D3D変換部1500は、単眼用映像信号より擬似立体視差値を算出する擬似立体視差算出部を備え、立体度Fと擬似立体視差値に基づいて画素シフト量を算出する。
以上のように、第3実施形態における立体画像生成装置1では、撮影情報データに基づき入力ステレオ画像信号の立体度Fを判定するようにしている。これにより、被写体距離などの各種の撮影条件に応じて適切に立体度Fを判定することができる。
1 立体画像生成装置
11、11b 入力信号取得部
12 3D信号デコード部
13 3D信号視差検出部(立体度算出部)
14 立体度判定部(立体度算出部)
1400 立体度算出部
15、1500 2D3D変換部(画像信号変換部)
2 3D信号記録装置
3 ステレオ表示装置

Claims (7)

  1. 第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出部と、
    前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換部と、
    単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出部とを備え、
    前記立体度算出部は、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、
    前記画像信号変換部は、前記立体度及び前記擬似立体視差に基づいて前記画素シフト量を算出する
    ことを特徴とする立体画像生成装置。
  2. 第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号の撮影情報に基づいて前記立体映像信号の立体度を算出する立体度算出部と、
    前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換部と、
    単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出部とを備え、
    前記画像信号変換部は、前記立体度及び前記擬似立体視差に基づいて前記画素シフト量を算出する
    ことを特徴とする立体画像生成装置。
  3. 第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出部と、
    前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換部と、
    単眼用映像信号より擬似立体視差を算出する擬似立体視差算出部とを備え、
    前記立体度算出部は、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、
    前記画像信号変換部は、前記立体度に基づいて前記立体度が最大のとき最小となり、前記立体度が最小のとき最大となる特性を有するゲインを算出し、前記ゲイン及び前記擬似立体視差に基づいて前記画素シフト量を算出することを特徴とする立体画像生成装置。
  4. 立体画像生成装置で実行される立体画像生成方法であって、
    第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出ステップと、
    前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換ステップと、
    単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出ステップとを有し、
    前記立体度算出ステップは、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、
    前記画像信号変換ステップは、前記立体度及び前記擬似立体視差に基づいて前記画素シフト量を算出する
    ことを特徴とする立体画像生成方法。
  5. 立体画像生成装置で実行される立体画像生成方法であって、
    第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号の撮影情報に基づいて前記立体映像信号の立体度を算出する立体度算出ステップと、
    前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換ステップと、
    単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出ステップとを有し、
    前記画像信号変換ステップは、前記立体度及び前記擬似立体視差に基づいて前記画素シフト量を算出する
    ことを特徴とする立体画像生成方法。
  6. 立体画像生成装置で実行される立体画像生成方法であって、
    第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出ステップと、
    前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換ステップと、
    単眼用映像信号より擬似立体視差を算出する擬似立体視差算出ステップとを有し、
    前記立体度算出ステップは、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、
    前記画像信号変換ステップは、前記立体度に基づいて前記立体度が最大のとき最小となり、前記立体度が最小のとき最大となる特性を有するゲインを算出し、前記ゲイン及び前記擬似立体視差に基づいて前記画素シフト量を算出することを特徴とする立体画像生成方法。
  7. 立体画像生成装置で実行される立体画像生成プログラムであって、
    第一の単眼用映像信号と第二の単眼用映像信号とから構成される立体映像信号に基づいて前記立体映像信号の立体度を算出する立体度算出ステップと、
    前記立体度に基づいて、前記第一の単眼用映像信号及び前記第二の単眼用映像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量に基づいてシフトさせたシフト映像信号を生成する画像信号変換ステップと、
    単眼用映像信号より求めた視差値である擬似立体視差を算出する擬似立体視差算出ステップとを実行させ、
    前記立体度算出ステップは、前記第一の単眼用映像信号と前記第二の単眼用映像信号間の視差を検出し、前記視差に基づいて前記立体映像信号の立体度を算出し、
    前記画像信号変換ステップは、前記立体度及び前記擬似立体視差に基づいて前記画素シフト量を算出する
    ことを特徴とする立体画像生成プログラム。
JP2011077368A 2011-03-31 2011-03-31 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム Active JP5871113B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011077368A JP5871113B2 (ja) 2011-03-31 2011-03-31 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム
EP12765976.1A EP2658269A4 (en) 2011-03-31 2012-03-26 THREE-DIMENSIONAL IMAGE CREATION APPARATUS AND THREE-DIMENSIONAL IMAGE CREATION METHOD
PCT/JP2012/057717 WO2012133286A1 (ja) 2011-03-31 2012-03-26 立体画像生成装置及び立体画像生成方法
US13/798,230 US9210396B2 (en) 2011-03-31 2013-03-13 Stereoscopic image generation apparatus and stereoscopic image generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011077368A JP5871113B2 (ja) 2011-03-31 2011-03-31 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム

Publications (2)

Publication Number Publication Date
JP2012213016A JP2012213016A (ja) 2012-11-01
JP5871113B2 true JP5871113B2 (ja) 2016-03-01

Family

ID=47266636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011077368A Active JP5871113B2 (ja) 2011-03-31 2011-03-31 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム

Country Status (1)

Country Link
JP (1) JP5871113B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6214236B2 (ja) * 2013-03-05 2017-10-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6217485B2 (ja) * 2014-03-25 2017-10-25 株式会社Jvcケンウッド 立体画像生成装置、立体画像生成方法、及び立体画像生成プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4149037B2 (ja) * 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
JP2001128195A (ja) * 1999-10-29 2001-05-11 Atr Ningen Joho Tsushin Kenkyusho:Kk 立体画像補正装置、立体画像表示装置および立体画像補正処理プログラムを記録した記録媒体
JP3673217B2 (ja) * 2001-12-20 2005-07-20 オリンパス株式会社 映像表示装置
JP2004104425A (ja) * 2002-09-09 2004-04-02 Nippon Hoso Kyokai <Nhk> 視差分布測定方法、視差分布測定装置および視差分布測定プログラム
JP2005026800A (ja) * 2003-06-30 2005-01-27 Konica Minolta Photo Imaging Inc 画像処理方法、撮像装置、画像処理装置及び画像記録装置
JP4436080B2 (ja) * 2003-06-30 2010-03-24 日本放送協会 立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム
JP2005167310A (ja) * 2003-11-28 2005-06-23 Sharp Corp 撮影装置
JP2010045584A (ja) * 2008-08-12 2010-02-25 Sony Corp 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体

Also Published As

Publication number Publication date
JP2012213016A (ja) 2012-11-01

Similar Documents

Publication Publication Date Title
US8116557B2 (en) 3D image processing apparatus and method
JP5879713B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US8817073B2 (en) System and method of processing 3D stereoscopic image
US20110298898A1 (en) Three dimensional image generating system and method accomodating multi-view imaging
EP2618584A1 (en) Stereoscopic video creation device and stereoscopic video creation method
US9338426B2 (en) Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method
JP2011091481A (ja) 画像処理装置、および画像処理方法、並びにプログラム
TW201206151A (en) Method and system for generating images of a plurality of views for 3D image reconstruction
EP2265031A1 (en) Image processing apparatus, image processing method, and program
US9210396B2 (en) Stereoscopic image generation apparatus and stereoscopic image generation method
JP5871113B2 (ja) 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム
US10554954B2 (en) Stereoscopic focus point adjustment
JP5845780B2 (ja) 立体画像生成装置及び立体画像生成方法
US9693042B2 (en) Foreground and background detection in a video
US9591290B2 (en) Stereoscopic video generation
US9674500B2 (en) Stereoscopic depth adjustment
WO2015191767A9 (en) Stereoscopic depth adjustment and focus point adjustment
WO2015191768A1 (en) Stereoscopic video zooming and foreground and background detection in a video
US9661309B2 (en) Stereoscopic video zooming
TW201424341A (zh) 可自動調整影像顯示深度的立體顯示裝置及方法
JP2013017052A (ja) 奥行き信号生成装置、擬似立体画像生成装置、奥行き信号生成方法、および擬似立体画像生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140924

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151229

R150 Certificate of patent (=grant) or registration of utility model

Ref document number: 5871113

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150