JP5486697B2 - 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法 - Google Patents
立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法 Download PDFInfo
- Publication number
- JP5486697B2 JP5486697B2 JP2012555698A JP2012555698A JP5486697B2 JP 5486697 B2 JP5486697 B2 JP 5486697B2 JP 2012555698 A JP2012555698 A JP 2012555698A JP 2012555698 A JP2012555698 A JP 2012555698A JP 5486697 B2 JP5486697 B2 JP 5486697B2
- Authority
- JP
- Japan
- Prior art keywords
- stereoscopic
- maximum
- display
- stereoscopic video
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
- H04N13/359—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Description
本発明は立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法に係り、特に複数の視点画像からなる立体画像が時間軸方向に連続して記録されている立体動画ファイルの立体動画を再生する技術に関する。
立体撮像装置は、左右に視差を持って並べられた2つの撮像部を使って被写体を左右の視点から撮影し、左目用の視点画像と右目用の視点画像とをそれぞれ取得して記録媒体に記録している。この取得した左右の視点画像が記録媒体から読み出され、3次元(3D)表示が可能な3Dディスプレイに入力され、左目用の視点画像と右目用の視点画像とが左右の目で別々に視認できるように表示されることにより、立体動画として認識できるようになる。
ところで、記録された左右の視点画像の視差量は、撮影シーンの変化、被写体の移動、ズーム倍率の変化等により変化し、一方、3Dディスプレイには様々な画面のサイズのものがある。したがって、立体動画を再生表示しようとする場合、3Dディスプレイのサイズに対して立体動画の視差量が適切でない場合が存在する。このような場合、画面からの飛び出し量や引っ込み量が過大となり、自然な立体動画として認識できないという問題点が発生する。
特許文献1には、立体視可能な映像情報とともに、立体映像の再生に適する画面サイズに関する適合画面サイズ情報、3Dディスプレイの表示画面サイズ情報、再生時に観察者が見るのに適する表示画面までの距離に関する適合視距離情報、観察者から3Dディスプレイの表示画面までの距離に関する視距離情報を取得し、これらの情報に基づいて左目映像と右目映像とのずらし量(オフセット)を設定し、表示される映像の立体感を調整する技術が開示されている。
特許文献1に記載の立体映像は、静止画か動画かが明確ではない。立体動画の場合、左右の視点画像の視差量は、撮影シーンの変化、被写体の移動、ズーム倍率の変化等により変化する。仮に特許文献1に記載の技術により立体動画が自然な飛び出し量になるように立体動画の視差量を調整する場合、立体動画のフレーム単位で視差量を調整することが考えられる。しかし、この場合には、立体感が変化する立体動画としての特徴が失われ、又は不自然な立体動画になるという問題がある。
ところで、3Dディスプレイの表示面において、左目画像に対して右目画像が右方向に視差を有する場合、立体像は表示面よりも奥行きを持った像として視認されるが、3Dディスプレイの画面サイズが大きくなると、この視差も大きくなり、人間の両眼間隔を越える視差になると、両眼融合不能になる(立体視できなくなる)。
特許文献1には、3Dディスプレイの表示画面サイズに応じて最適な立体度(奥行き量)を調整した立体映像を得る記載があるが、上記のように両眼融合不能にならないように左目映像と右目映像とのずらし量を調整する記載はない。また、立体映像の遠景側(奥行き側)の最大視差量に関する記載もないため、特許文献1に記載の立体映像表示装置は、3Dディスプレイの画面サイズに関わらず人間の両眼間隔を越える視差にならないように、左目映像と右目映像とのずらし量を調整することはできない。
本発明はこのような事情に鑑みてなされたもので、立体動画ファイルから読み出した立体動画を任意の画面サイズの立体ディスプレイに立体表示させる際に、立体ディスプレイの画面サイズに関わらず両眼融合可能なように適切な視差量の立体動画を再生することができる立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法を提供することを目的とする。
前記目的を達成するために本発明に係る立体動画再生装置は、N(N:3以上の整数)視点の視点画像からなる立体画像が時間軸方向に連続している立体動画と、前記N視点の視点画像のうちの任意の2つの視点画像の組み合わせからなる複数の立体画像に対応し、かつ各立体動画の時間軸方向に連続する所定の区間毎に対応する区間内最大ディスプレイサイズであって、各立体動画のフレームを立体ディスプレイに表示させる際に両眼融合可能なフレーム毎の最大ディスプレイサイズのうち、前記所定の区間内でそれぞれ最大となる複数の区間内最大ディスプレイサイズを含む付属情報とが記録された立体動画ファイルを読み取り、該立体動画ファイルから前記立体動画及び付属情報を取得する第1の取得手段と、出力先の立体ディスプレイのディスプレイサイズを取得する第2の取得手段と、前記取得された前記立体ディスプレイのディスプレイサイズと前記複数の区間内最大ディスプレイサイズとを比較し、前記立体ディスプレイのディスプレイサイズが前記複数の区間内最大ディスプレイサイズよりも大きいか否かを、前記複数の区間内最大ディスプレイサイズ毎に判別する判別手段と、前記判別手段により前記複数の区間内最大ディスプレイサイズのうちの前記立体ディスプレイのディスプレイサイズ以下と判別された区間内最大ディスプレイサイズに対応する2つの視点画像を、前記N視点の視点画像から選択する選択手段と、前記取得した立体動画を前記立体ディスプレイに出力する際に、前記選択手段により選択された2つの視点画像からなる立体動画を出力する出力手段と、を備えている。
この発明によれば、立体動画ファイルからN視点の視点画像と、任意の2つの視点画像の組み合わせからなる複数の立体画像に対応し、かつ各立体動画の時間軸方向に連続する所定の区間毎に対応する区間内最大ディスプレイサイズを取得するとともに、出力先の立体ディスプレイのディスプレイサイズを取得し、取得された立体ディスプレイのディスプレイサイズと各区間内最大ディスプレイサイズとを比較し、各区間内最大ディスプレイサイズのうちの立体ディスプレイのディスプレイサイズ以下と判別された区間内最大ディスプレイサイズに対応する1組又は複数組の2視点の視点画像から1組の2視点の視点画像を選択して立体ディスプレイに出力するようにしたため、立体動画ファイルに記録された付属情報に基づいて適切な視差量の立体動画を選択出力することができる。
本発明に係る立体動画再生装置は、N(N:3以上の整数)視点の視点画像からなる立体画像が時間軸方向に連続している立体動画と、前記N視点の視点画像のうちの任意の2つの視点画像の組み合わせからなる複数の立体画像に対応し、かつ各立体動画の時間軸方向に連続する所定の区間毎に対応する区間内最大視差量であって、各立体動画のフレーム毎の遠景側の最大視差量のうち、該立体動画の時間軸方向に連続する所定の区間内でそれぞれ最大となる複数の区間内最大視差量を含む付属情報とが記録された立体動画ファイルを読み取り、該立体動画ファイルから前記立体動画及び付属情報を取得する第1の取得手段と、出力先の立体ディスプレイのディスプレイサイズを取得する第2の取得手段と、前記立体動画の所定の区間毎に対応して取得した複数の区間内最大視差量と前記取得した立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記複数の区間内最大視差量に対応する前記所定の区間内の複数の立体動画を前記立体ディスプレイに表示する際に両眼融合可能か否かを、前記複数の区間内最大視差量毎かつ前記所定の区間毎に判別する判別手段と、前記判別手段により前記複数の区間内最大視差量のうちの両眼融合可能と判別された区間内最大視差量に対応する2つの視点画像を、前記N視点の視点画像から選択する選択手段と、前記取得した立体動画を前記立体ディスプレイに出力する際に、前記選択手段により選択された2つの視点画像からなる立体動画を出力する出力手段と、を備えている。
この発明によれば、立体動画ファイルからN視点の視点画像と、任意の2つの視点画像の組み合わせからなる複数の立体画像に対応し、かつ各立体動画の時間軸方向に連続する所定の区間毎に対応する区間内最大視差量を取得するとともに、出力先の立体ディスプレイのディスプレイサイズを取得し、取得された立体ディスプレイのディスプレイサイズと各区間内最大視差量と人間の両眼間隔を示す所定値とに基づいて、該当区間内の立体動画を立体ディスプレイに表示する際に両眼融合可能1組又は複数組の2視点の視点画像から1組の2視点の視点画像を選択して立体ディスプレイに出力するようにしたため、立体動画ファイルに記録された付属情報に基づいて適切な視差量の立体動画を選択出力することができる。
前記判別手段は、前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて許容視差量を算出し、前記複数の区間内最大視差量が前記許容視差量以下か否かにより両眼融合可能か否かを、前記複数の区間内最大視差量毎かつ前記所定の区間毎に判別する。
この立体動画再生装置において、前記判別手段は、前記取得した区間内最大視差量と前記立体ディスプレイのディスプレイサイズとに基づいて、前記区間内最大視差量に対応する立体ディスプレイ上での画像ずれ量を算出する画像ずれ量算出手段を有し、前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越えるか否かより両眼融合可能か否かを判別する。
この立体動画再生装置において、前記出力手段は、前記選択手段により両眼融合可能な2つの視点画像が選択されない場合には、前記N視点の視点画像のうちの1つの視点画像を選択し、該選択した視点画像を前記立体ディスプレイに出力する。
この立体動画再生装置において、前記N視点は予め設定された基準視点を含み、前記選択手段は、前記2つの視点画像を選択する際に前記基準視点に対応する視点画像を含む2つの視点画像を優先して選択する。
この立体動画再生装置において、前記選択手段は、前記2つの視点画像を選択する際に区間内最大ディスプレイサイズ、又は区間内最大視差量が最も大きくなる2つの視点画像を選択する。
この立体動画再生装置において、前記選択手段は、前記2つの視点画像を選択する際に区間内最大ディスプレイサイズ、又は区間内最大視差量が最も小さくなる2つの視点画像を選択する。
この立体動画再生装置において、前記選択手段は、前記2つの視点画像を選択する際に中央近傍の視点画像を含む2つの視点画像を優先して選択する。
この立体動画再生装置において、前記選択手段は、前記立体動画ファイルに記録された前記N視点の視点画像が、実視点に対応する複数の視点画像と、実視点に対応する複数の視点画像から生成された仮想視点に対応する仮想視点画像とが混在している場合において、前記2つの視点画像を選択する際に前記実視点の視点画像を含む2視点の視点画像を優先して選択する。
この立体動画再生装置において、前記立体動画ファイルは、複数のフレームからなる1GOP毎に複数の視点画像が順次記録されたMPEGファイルであり、前記立体動画の所定の区間は、1又は2以上の所定数のGOPに対応する区間である。
この立体動画再生装置において、前記立体動画の所定の区間は、シーン毎に区分されている区間である。
本発明に係る立体動画再生プログラムは、上記立体動画再生装置を、コンピュータにより実現させる。この立体動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明に含まれる。
本発明に係る立体ディスプレイ装置は、上記立体動画再生装置と、前記出力先の立体ディスプレイと、を備えている。
本発明に係る立体撮像装置は、複数の視点画像からなる立体画像が時間軸方向に連続している立体動画を取得する撮像手段と、前記取得した立体動画のフレーム毎に複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、前記算出したフレーム毎の各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、前記取得した遠景側の最大視差量のうちの前記立体動画の所定の区間毎に該区間内で最大となる区間内最大視差量を取得する区間内最大視差量取得手段と、前記立体動画の所定の区間毎に取得した区間内最大視差量に基づいて、前記所定の区間毎に前記立体画像を立体ディスプレイに表示させる際に両眼融合可能な区間内最大ディスプレイサイズを取得する区間内最大ディスプレイサイズ取得手段と、前記立体動画が記録される立体動画ファイルを生成し、該立体動画ファイルを記録媒体に記録する記録手段であって、前記立体動画を前記立体動画ファイルに記録するとともに、前記所定の区間毎の区間内最大ディスプレイサイズを付属情報として前記立体動画ファイルに記録する記録手段と、上記立体動画再生装置と、を備え、前記第1の取得手段は、前記記録媒体から立体動画ファイルを読み取る。
本発明に係る立体撮像装置は、複数の視点画像からなる立体画像が時間軸方向に連続している立体動画を撮影する撮像手段と、前記取得した立体動画のフレーム毎に複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、前記算出したフレーム毎の各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、前記取得した遠景側の最大視差量のうちの前記立体動画の所定の区間毎に該区間内で最大となる区間内最大視差量を取得する区間内最大視差量取得手段と、前記立体動画が記録される立体動画ファイルを生成し、該立体動画ファイルを記録媒体に記録する記録手段であって、前記立体動画を前記立体動画ファイルに記録するとともに、前記所定の区間毎の区間内最大視差量を付属情報として前記立体動画ファイルに記録する記録手段と、請求項2に記載の立体動画再生装置と、を備え、前記第1の取得手段は、前記記録媒体から立体動画ファイルを読み取る。
本発明に係る立体動画再生方法は、立体動画再生装置が、N(N:3以上の整数)視点の視点画像からなる立体画像が時間軸方向に連続している立体動画と、前記N視点の視点画像のうちの任意の2つの視点画像の組み合わせからなる複数の立体画像に対応し、かつ各立体動画の時間軸方向に連続する所定の区間毎に対応する区間内最大ディスプレイサイズであって、各立体動画のフレームを立体ディスプレイに表示させる際に両眼融合可能なフレーム毎の最大ディスプレイサイズのうち、前記所定の区間内でそれぞれ最大となる複数の区間内最大ディスプレイサイズを含む付属情報とが記録された立体動画ファイルを読み取り、該立体動画ファイルから前記立体動画及び付属情報を取得するステップと、出力先の立体ディスプレイのディスプレイサイズを取得するステップと、前記取得された前記立体ディスプレイのディスプレイサイズと前記複数の区間内最大ディスプレイサイズとを比較し、前記立体ディスプレイのディスプレイサイズが前記複数の区間内最大ディスプレイサイズよりも大きいか否かを、前記複数の区間内最大ディスプレイサイズ毎に判別する判別ステップと、前記判別ステップにより前記複数の区間内最大ディスプレイサイズのうちの前記立体ディスプレイのディスプレイサイズ以下と判別された区間内最大ディスプレイサイズに対応する2つの視点画像を、前記N視点の視点画像から選択する選択ステップと、前記取得した立体動画を前記立体ディスプレイに出力する際に、前記選択ステップにより選択された2つの視点画像からなる立体動画を出力するステップと、を実行する。
本発明に係る立体動画再生方法は、立体動画再生装置が、N(N:3以上の整数)視点の視点画像からなる立体画像が時間軸方向に連続している立体動画と、前記N視点の視点画像のうちの任意の2つの視点画像の組み合わせからなる複数の立体画像に対応し、かつ各立体動画の時間軸方向に連続する所定の区間毎に対応する区間内最大視差量であって、各立体動画のフレーム毎の遠景側の最大視差量のうち、該立体動画の時間軸方向に連続する所定の区間内でそれぞれ最大となる複数の区間内最大視差量を含む付属情報とが記録された立体動画ファイルを読み取り、該立体動画ファイルから前記立体動画及び付属情報を取得するステップと、出力先の立体ディスプレイのディスプレイサイズを取得するステップと、前記立体動画の所定の区間毎に対応して取得した複数の区間内最大視差量と前記取得した立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記複数の区間内最大視差量に対応する前記所定の区間内の複数の立体動画を前記立体ディスプレイに表示する際に両眼融合可能か否かを、前記複数の区間内最大視差量毎かつ前記所定の区間毎に判別する判別ステップと、前記判別ステップにより前記複数の区間内最大視差量のうちの両眼融合可能と判別された区間内最大視差量に対応する2つの視点画像を、前記N視点の視点画像から選択する選択ステップと、前記取得した立体動画を前記立体ディスプレイに出力する際に、前記選択ステップにより選択された2つの視点画像からなる立体動画を出力するステップと、を実行する。
本発明によれば、立体動画ファイルからN視点の視点画像と、N(N:3以上の整数)視点の視点画像のうちの任意の2つの視点画像の組み合わせからなる複数の立体画像に対応し、かつ各立体動画の時間軸方向に連続する所定の区間毎に対応する区間内最大ディスプレイサイズ又は区間内最大視差量を取得するとともに、出力先の立体ディスプレイのディスプレイサイズを取得し、取得された立体ディスプレイのディスプレイサイズと各区間内最大ディスプレイサイズ又は区間内最大視差量と人間の両眼間隔を示す所定値とに基づいて、両眼融合可能な1組又は複数組の2視点の視点画像から1組の2視点の視点画像を選択して立体ディスプレイに出力するようにしたため、立体動画ファイルに記録された付属情報に基づいて適切な視差量の立体動画を選択出力することができる。また、適切な視差量の立体動画を選択出力するため、立体動画の視差補正のための処理が不要であり、画像処理の負担を軽減することができる。
以下、添付図面にしたがって本発明の好ましい実施の形態について詳説する。
[3D動画ファイルの第1の実施形態]
第1の実施形態に係る立体動画ファイル(3D動画ファイル)について説明する。
第1の実施形態に係る立体動画ファイル(3D動画ファイル)について説明する。
図1は、2つの撮像装置101−2、101−3によって、被写体100について異なる視点から2視点(左視点、右視点)の視点画像(動画)を撮影する様子を示した図であり、図2は、図1に示す撮像装置101−2、101−3において撮影された左視点及び右視点の動画からなる3D動画が記録された3D動画ファイルのデータ構造を模式的に示した図である。
図2に示す3D動画ファイルは、MPEG(moving picture expert group)フォーマットに準拠したMPEGファイルであり、1GOP(Group of picture:MPEG圧縮において、圧縮時及び再生・編集時の単位となる映像信号の数フレームずつの組み合わせ)の単位で、左視点の視点画像と右視点の視点画像とが交互に連結されて1つのファイルにまとめられている。
各GOPの視点画像が記録される領域の先頭には、ヘッダ領域が設けられており、このヘッダ領域には、画像サイズ、アスペクト比、フレームレート等の付属情報が記録される。また、本実施形態では、付属情報として、更に下記の付属情報の全部又一部が記録される。
・GOP最大ディスプレイサイズ(幅、高さ、単位:mm)
・想定視距離(立体動画を観察する際の視認者と3Dディスプレイとの距離)(単位:mm)
・GOP最大視差量(近景):画像幅に対する視差量(%)
・GOP最大視差量(遠景):画像幅に対する視差量(%)
・各視点画像を撮影した装置の輻輳角、基線長、撮像部配置(視点番号)
このような3D動画ファイルを記録するための撮影、記録処理について、図3のフローチャートを用いて説明する。
・想定視距離(立体動画を観察する際の視認者と3Dディスプレイとの距離)(単位:mm)
・GOP最大視差量(近景):画像幅に対する視差量(%)
・GOP最大視差量(遠景):画像幅に対する視差量(%)
・各視点画像を撮影した装置の輻輳角、基線長、撮像部配置(視点番号)
このような3D動画ファイルを記録するための撮影、記録処理について、図3のフローチャートを用いて説明する。
まず、左視点及び右視点に対応する1GOP内の複数フレームのうちの1フレーム分の左右の視点画像を取得する(ステップS11)。ここでは、図1に示すように2つの撮像装置101−2、101−3によって被写体100について3D動画撮影された3D動画中の1フレーム分の左右の視点画像を取得する。尚、ここでは撮像装置101−2を視点番号2、撮像装置101−3を視点番号3とする。
次に、左右の視点画像から複数の特徴点を抽出し(ステップS12)、特徴点毎の視差量を算出する(ステップS13)。ここで、視差量とは、視点画像間で対応する特徴点の、それぞれの視点画像の左端からの距離の差を指し、単位はピクセルである。このように算出した特徴点毎の視差量から、近景側の最大視差量と遠景側の最大視差量を取得する(ステップS14)。
図4は左右の視点画像の一例を示す図であり、図4の(a)部分は左視点画像201−2を示し、図4の(b)部分は右視点画像201−3を示している。
図4の例では、近景側の最大視差量は213Nであり、この視差量を持つ特徴点(最大視差量位置(近景))は、それぞれ211N、212Nである。また、遠景側の最大視差量は213Fであり、この視差量を持つ特徴点(最大視差量位置(遠景))は、それぞれ211F、212Fである。即ち、この左右の視点画像に基づく立体画像を立体視した場合には、最大視差量位置(近景)が最も近くに見え、最大視差量位置(遠景)が最も離れて見えることになる。
これら近景側の最大視差量213N及び遠景側の最大視差量213Fの、画像幅に対する比率(%)が、最大視差量(近景)(%)、最大視差量(遠景)(%)となる。
続いて、1GOP内の全てのフレームの最大視差量の取得が終了したか否かを判別し(ステップS15)、終了していない場合(「NOの場合」)には、ステップS11に戻り、ステップS11からステップS14の処理を実行させ、終了した場合(「YESの場合」)には、ステップS16に遷移させる。
ステップS16では、1GOP内の全てのフレームの最大視差量のうち最大のものを、GOP最大視差量として取得する。また、このGOP最大視差量に基づいて、GOP最大ディスプレイサイズを取得する。
遠景側の視差量が人間の両眼間隔を超えると、画像のその位置は両眼融合不能となり、立体視ができなくなる。したがって、GOP最大視差量(遠景)の画像幅に対する比率(%)から、視差が人間の両眼間隔を超えないディスプレイサイズのうちの最大のディスプレイサイズ(GOP最大ディスプレイサイズ)を取得する。
例えば、人間の両眼間隔を50mmと仮定し、GOP最大視差量(遠景)の画像幅に対する比率が10%であれば、立体視するのに許容される最大のディスプレイ幅は500mmとなる。即ち、幅500mm以下のディスプレイであれば、GOP最大視差量(遠景)に対応する左右の像が両眼間隔50mmを超えることなく表示され、その結果、視認者は立体視が可能となる。
ここで、縦横比が16:9のディスプレイを想定する場合には、最大のディスプレイ高さは281.25mmとなる。
尚、人間の両眼間隔は、対象とする視認者に応じて適宜決めればよい。例えば、成人だけを対象とする場合には、65mm等の幅広の値に設定してもよい。
例えば、人間の両眼間隔を65mmと仮定し、GOP最大視差量(遠景)の画像幅に対する比率が15%であれば、立体視するのに許容されるGOP最大ディスプレイサイズの幅は約433mmとなる。また、縦横比が16:9の3Dディスプレイを想定する場合には、GOP最大ディスプレイサイズの高さは約244mmとなる。
また、人間の両眼間隔から算出するのではなく、予め最大視差量に対応する最大ディスプレイサイズが記録されているテーブルを用意しておき、このテーブルを参照することによりGOP最大ディスプレイサイズを取得してもよい。
次に、1GOP分の左視点画像及び右視点画像をそれぞれMPEG圧縮し、図2に示すように交互に連結して3D動画ファイルとして記録するとともに、各GOPの視点画像が記録される領域の先頭のヘッダ領域に、ステップS16で取得したGOP最大ディスプレイサイズ、GOP最大視差量(遠景)(%)、GOP最大視差量(近景)(%)等を付属情報として記録する(ステップS17)。そして、3D動画の全てのGOPについて上記の処理を行うことで、図2に示す3D動画ファイルを記録することができる。
このように記録された3D動画ファイルは、3Dディスプレイに表示される際に立体動画再生装置によって読み出される。この際、立体動画再生装置において、3D動画ファイルの付属情報に記録されているGOP最大ディスプレイサイズと、表示しようとしている3Dディスプレイの表示サイズとを比較することにより、立体視可能か否かを容易に判別することができる。立体視可能と判断した場合には、記録されている3D動画をそのまま表示すればよく、また、立体視不能と判別した場合には、そのGOP最大ディスプレイサイズやGOP最大視差量を使用して該当GOP内の左右の視点画像の視差を補正することができ、立体動画再生装置における視差の補正処理を軽減させることができる。
尚、本実施形態では、遠景側のGOP最大視差量だけに基づいてGOP最大ディスプレイサイズを決定したが、近景側のGOP最大視差量を考慮して決定してもよい。近景側のGOP最大視差量を考慮することにより、遠景側だけでなく、近景側も適切に立体視可能なGOP最大ディスプレイサイズを決定することができるようになる。
例えば、近景の視差量が50mm以下となるディスプレイサイズをGOP最大ディスプレイサイズとしてもよい。近景側の視差量が大きくなると、視認者は立体視をするのに疲労を感じるため、所定量以下とすることが好ましいからである。
また、本実施形態では、GOP最大視差量、GOP最大ディスプレイサイズは、これらが取得されたGOPの先頭のヘッダ領域に付属情報として記録するようにした。しかし、これに限らず、図5に示すように2GOP前(1GOP分の時間だけ前)のGOPの先頭のヘッダ領域に記録するようにしてもよい。また、図6に示すように3D動画ファイルの先頭のヘッダ領域に全てのGOPから取得したGOP最大視差量、GOP最大ディスプレイサイズをまとめて記録するようにしてもよい。これによれば、3D動画ファイルを読み出した立体動画再生装置では、1GOP内の立体動画の視差を調整すべきか否かを事前に検知することができ、調整すべき視差量も事前に算出することができる。
更に、本実施形態では、1GOP内で最大となるGOP最大視差量、GOP最大ディスプレイサイズを取得するようにした。しかし、これに限らず、予め設定した所定数のGOP(区間)毎に区間内最大視差量、区間内最大ディスプレイサイズを取得し、その区間内の3D動画に対する付属情報として記録するようにしてもよい。
[3D動画ファイルの第2の実施形態]
第2の実施形態では、図7に示すように3D動画のシーンが変わる場合、そのシーンの先頭の付属情報として、下記の付属情報の全部又は一部を記録する。
第2の実施形態では、図7に示すように3D動画のシーンが変わる場合、そのシーンの先頭の付属情報として、下記の付属情報の全部又は一部を記録する。
・シーン先頭を示すフラグ
・シーン最大ディスプレイサイズ(幅、高さ、単位:mm)
・想定視距離(立体動画を観察する際の視認者と3Dディスプレイとの距離)(単位:mm)
・シーン最大視差量(近景):画像幅に対する視差量(%)
・シーン最大視差量(遠景):画像幅に対する視差量(%)
・各視点画像を撮影した装置の輻輳角、基線長、撮像部配置(視点番号)
更に、ズームIN/OUTされたことを示すフラグ、手ブレ補正がON/OFF/Resetされたことを示すフラグを付属情報として記録するようにしてもよい。
・シーン最大ディスプレイサイズ(幅、高さ、単位:mm)
・想定視距離(立体動画を観察する際の視認者と3Dディスプレイとの距離)(単位:mm)
・シーン最大視差量(近景):画像幅に対する視差量(%)
・シーン最大視差量(遠景):画像幅に対する視差量(%)
・各視点画像を撮影した装置の輻輳角、基線長、撮像部配置(視点番号)
更に、ズームIN/OUTされたことを示すフラグ、手ブレ補正がON/OFF/Resetされたことを示すフラグを付属情報として記録するようにしてもよい。
シーンの変化は、取得した3D動画からシーンチェンジを検知するシーンチェンジ検知手段により行うことができる。例えば、録画時刻を示すタイムスタンプの時間が前後の3D動画フレームで離れている場合、前後の3D動画フレームの相関を求め、その相関がない場合、隣接するGOPのGOP最大視差量が所定の閾値以上変化した場合、手ブレ補正状態が変化(ON→OFF、OFF→ON、Reset)した場合等から検知することができる。尚、シーンチェンジの検知方法は上記の例に限定されず、種々の方法が考えられる。
シーン先頭フラグは、図7に示すように3D動画の各シーンが連結された3D動画ファイルにおける各シーンの先頭を示すフラグであり、シーン最大視差量は、そのシーン内の3D動画のうちで最大になる視差量であり、シーン最大ディスプレイサイズは、そのシーン内のシーン最大視差量に基づいて取得された、該シーンを立体ディスプレイに表示させる際に両眼融合可能なディスプレイサイズのうちの最大のディスプレイサイズである。
そして、図7に示すように3D動画の各シーンが連結された3D動画ファイルには、シーン毎にそのシーンの先頭にシーン先頭フラグ、シーン中のシーン最大視差量、シーン最大ディスプレイサイズ等の付属情報が記録される。尚、シーン先頭の付属情報には、上記の情報に加え、当該シーンのシーン長情報も記録される。シーン長情報は、当該シーンを構成するGOPの数で表すことができる。
[3D動画ファイルの第3の実施形態]
第1の実施形態では、2視点から撮影した左右の視点画像を例に説明したが、本発明に係る3D動画の視点の数は2視点に限らず、3視点以上の多視点の視点画像であってもよい。
第1の実施形態では、2視点から撮影した左右の視点画像を例に説明したが、本発明に係る3D動画の視点の数は2視点に限らず、3視点以上の多視点の視点画像であってもよい。
図8は、4つの撮像装置101−1〜101−4によって、被写体100について異なる視点から4視点の視点画像を撮影する様子を示した図である。ここでは、撮像装置101−1〜101−4の視点番号を順に1〜4とする。
図9は、この4つの撮像装置101−1〜101−4によって撮影された4視点の視点画像が記録された3D動画ファイルのデータ構造を模式的に示した図である。この3D動画ファイルは、図2に示したファイルと同様にMPEGファイルであり、4視点の視点画像が1GOPの単位で、視点番号1〜4に対応する各視点画像(1)〜(4)が、順番にかつ繰り返し連結されて1つのファイルにまとめられている。
また、1GOP毎の各視点画像が記録される記録領域の先頭のヘッダ領域には、第1の実施形態と同様に、GOP最大ディスプレイサイズ、GOP最大視差量、想定視距離、各視点画像を撮影した装置の輻輳角、基線長、撮像部配置(視点番号)等の付属情報が記録される。
尚、各視点画像(1)〜(4)の先頭に記録されるGOP最大ディスプレイサイズ、GOP最大視差量等は、その視点画像と他の視点画像との間で算出された値が記録される。具体的には、視点画像(1)に対するGOP最大ディスプレイサイズ、GOP最大視差量は、図8に示すように左端の基準視点で撮影された視点画像(1)を基準として、最も視差量が大きい視点画像(ここでは視点画像(4))から算出されたGOP最大視差量、及びこの最大視差量から取得されたGOP最大ディスプレイサイズ、想定視距離等が記録される。輻輳角、基線長等についても、同様の視点画像(ここでは視点画像(4))を撮影した装置との輻輳角、基線長が記録される。
視点画像(2)の付属情報としては、当該視点画像(2)と基準視点で撮影された視点画像(1)とから算出されたGOP最大ディスプレイサイズ、GOP最大視差量、想定視距離、輻輳角、基線長、視点番号等が記録される。
視点画像(3)の付属情報としては、当該視点画像(3)と基準視点で撮影された視点画像(1)とから算出されたGOP最大ディスプレイサイズ、GOP最大視差量、想定視距離、輻輳角、基線長、視点番号等が記録される。
視点画像(4)の付属情報としては、当該視点画像(4)と基準視点で撮影された視点画像(1)とから算出されたGOP最大ディスプレイサイズ、GOP最大視差量、想定視距離、輻輳角、基線長、視点番号等が記録される。
このように3視点以上の多視点の視点画像が記録された3D動画ファイルは、3Dディスプレイに表示される際に立体動画再生装置によって読み出される。この際、立体動画再生装置において、3D動画ファイルの付属情報に記録されている視点画像毎のGOP最大ディスプレイサイズと、表示しようとしている3Dディスプレイの表示サイズとを比較することにより、立体視可能か否かを容易に判別することができる。
尚、多視点画像の記録順は、図9に示した順序に限定されるものではなく、3Dディスプレイに表示させる際の推奨画像(2つの視点画像)を先に記録するようにしてもよい。例えば、中央の2視点の視点画像(2)と視点画像(3)による立体表示が推奨されるのであれば、視点画像(2)、(3)を先に記録し、続いて視点画像(1)、(4)を記録し、一方、両端の2視点の視点画像(1)、(4)による立体表示が推奨されるのであれば、視点画像(1)、(4)を先に記録し、続いて視点画像(2)、(3)を記録してもよい。
[3D動画ファイルの第4の実施形態]
第3の実施形態のような多視点画像は、全てが実際に撮影された画像である必要はなく、仮想視点に対応した仮想視点画像を含んでいてもよい。
第3の実施形態のような多視点画像は、全てが実際に撮影された画像である必要はなく、仮想視点に対応した仮想視点画像を含んでいてもよい。
例えば、図10に示すように、2つの撮像装置101−1、101−4によって、被写体100について異なる視点(視点番号1、視点番号4)から2枚の視点画像を撮影する。
更に、視点番号1と視点番号4とは異なる視点であって、実際には存在しない仮想視点における視点番号2、視点番号3の視点画像2、視点画像3を生成してもよい。仮想視点画像を生成するには、複数の撮影画像の各画素を内分する方法や、複数の撮影画像から生成された視差マップと、1枚の撮影画像を用いて生成する方法等があるが、特に限定されるものではない。
仮想視点の視点画像を含む多視点の視点画像が記録された3D動画ファイルには、多視点の視点画像のうちの先頭の視点画像(1)の付属情報として、各視点の視点画像が実視点の視点画像か仮想視点の視点画像かを示す情報をまとめて記録する(図9参照)。尚、先頭の視点画像(1)の付属情報として、実視点、仮想視点の情報をまとめて記録する場合に限らず、各視点画像(1)〜(4)の付属情報として、個別に実視点の視点画像か仮想視点の視点画像かを示す情報を記録するようにしてもよい。この実視点の視点画像か仮想視点の視点画像かを示す情報は、3D動画を2D動画として表示する場合に利用することができる。
[立体撮像装置の外観]
図11A、図11Bは本発明に係る立体撮像装置の外観を示す図であり、図11Aは立体撮像装置を前面側から見た斜視図であり、図11Bは背面図である。
図11A、図11Bは本発明に係る立体撮像装置の外観を示す図であり、図11Aは立体撮像装置を前面側から見た斜視図であり、図11Bは背面図である。
この立体撮像装置(複眼カメラ)10は、2D/3Dの静止画、及び2D/3Dの動画の記録再生が可能なデジタルカメラであり、図11に示すように薄型の直方体状のカメラ本体の上面には、シャッタボタン11、ズームボタン12が配設されている。
図11Aに示すようにカメラ本体の前面には、カメラ本体の左右方向の幅と略一の幅を有するレンズバリア13が、カメラ本体の上下方向に移動自在に配設されており、このレンズバリア13を、二点鎖線で示す位置と実線で示す位置との間で上下方向に移動させることにより、左右一対の撮影光学系14-1,14-2の前面を同時に開閉できるようになっている。尚、撮影光学系14-1,14-2としては、屈曲光学系のズームレンズが使用されている。また、レンズバリア13によるレンズ前面の開閉動作に連動して、カメラ電源をON/OFFさせることができるようになっている。
図11Bに示すようにカメラ本体の背面には、その中央部に3D用の液晶モニタ16が配設されている。液晶モニタ16は、複数の視差画像(右視点画像、左視点画像)をパララックスバリアによりそれぞれ所定の指向性を持った指向性画像として表示できるものである。尚、3D用の液晶モニタ16としては、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで右視点画像と左視点画像とを個別に見ることができるものなどが適用できる。
上記液晶モニタ16の左右には、各種の操作スイッチが配設されている。操作スイッチ18Aは、静止画撮影と動画撮影とを切り替える切替えスイッチであり、操作スイッチ18Bは、右視点画像と左視点画像の視差量を調整する視差調整スイッチであり、操作スイッチ18Cは2D撮像と3D撮像とを切り替える切替えスイッチである。また、操作スイッチ18Dは、MENU/OKボタンと再生ボタンとを兼ねたシーソーキーであり、操作スイチ18Eは、マルチファンクションの十字キーであり、操作スイッチ18Fは、DISP/BACKキーである。
MENU/OKボタンは、液晶モニタ16の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作スイッチである。再生ボタンは、撮影モードから再生モードに切り替えるボタンである。十字キーは、上下左右の4方向の指示を入力する操作スイッチであり、マクロボタン、フラッシュボタン、セルフタイマーボタン等が割り当てられている。また、十字キーは、メニューが選択されている場合には、そのメニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示するスイッチ(カーソル移動操作手段)として機能する。また、十字キーの左/右キーは再生モード時のコマ送り(順方向/逆方向送り)ボタンとして機能する。DISP/BACKキーは、液晶モニタ16の表示形態を切り替えたり、メニュー画面上での指示内容の取消し、あるいは1つ前の操作状態に戻らせる時などに使用される。
尚、図11A上で、15はステレオマイクである。
[立体撮像装置の内部構成]
図12は上記立体撮像装置10の内部構成を示すブロック図である。
図12は上記立体撮像装置10の内部構成を示すブロック図である。
図12に示すように、この立体撮像装置10は、主として複数の撮像部20-1,20-2、中央処理装置(CPU)32、前述したシャッタボタン11、ズームボタン12、及び各種の操作スイッチを含む操作部34、表示制御部36、液晶モニタ16、記録制御部38、圧縮/伸張処理部42、デジタル信号処理部44、AE(Automatic Exposure:自動露出)検出部46、AF(Auto Focus:自動焦点)検出部48、AWB(Automatic White Balance:自動ホワイトバランス)検出部50、VRAM52、RAM54、ROM56、及びEEPROM58等から構成されている。尚、撮像部20-1,20-2は、互いに視差を有する左眼用画像と右眼用画像の2枚の視差画像を撮像するが、撮像部20は、3つ以上あってもよい。
左眼用画像を撮像する撮像部20-1は、プリズム(図示せず)、フォーカスレンズ及びズームレンズ21からなる撮影光学系14-1(図14)、絞り22及びメカシャッタ23からなる光学ユニットと、固体撮像素子(CCD)24と、アナログ信号処理部25と、A/D変換器26と、画像入力コントローラ27と、前記光学ユニットを駆動するレンズ駆動部28、絞り駆動部29及びシャッタ制御部30と、CCD24を制御するCCD制御部31とを備えている。尚、右眼用画像を撮像する撮像部20-2は、前記左眼用画像を撮像する撮像部20-1と同じ構成を有するため、その具体的な構成の説明は省略する。
CPU32は、操作部34からの入力に基づき所定の制御プログラムにしたがってカメラ全体の動作を統括制御する。特徴点抽出による視差量の算出、最大視差量の取得、GOP最大ディスプレイサイズの算出、シーン最大ディスプレイサイズの算出、GOP最大視差量の算出、シーン最大視差量の算出、シーンチェンジの検知、視差ずらし、仮想視点画像の生成等もCPU32によって行われる。
尚、ROM56には、CPU32が実行する制御プログラム及び制御に必要な各種データ、3D動画処理プログラムや3D動画再生プログラム等が格納され、EEPROM58には、製品出荷前の調整時の調整結果を示す各種の情報、例えばCCD24の画素欠陥情報、画像処理等に使用する補正パラメータや、最大視差量と最大ディスプレイサイズとの対応テーブル等が記憶されている。
また、VRAM52は、液晶モニタ16に表示する表示用の画像データを一時記憶するメモリであり、RAM54は、CPU32の演算作業用領域及び画像データの一時記憶領域を含んでいる。
撮影光学系に含まれるフォーカスレンズ及びズームレンズ21は、レンズ駆動部28により駆動されて光軸に沿って前後に移動する。CPU32は、レンズ駆動部28の駆動を制御することにより、フォーカスレンズの位置を制御して被写体に焦点が合うように焦点調節を行うとともに、操作部34中のズームボタン12からのズーム指令に応じてズームレンズのズーム位置を制御してズーム倍率を変更させる。
絞り22は、例えば、アイリス絞りで構成されており、絞り駆動部29に駆動されて動作する。CPU32は、絞り駆動部29を介して絞り22の開口量(絞り値)を制御し、CCD24への入射光量を制御する。
メカシャッタ23は、光路を開閉することによりCCD24での露光時間を決めるとともに、CCD24からの画像信号の読み出し時に不要光がCCD24に入射しないようにしてスミアの発生を防止する。CPU32は、シャッタ速度に対応する露光終了時点に同期したシャッタ閉信号をシャッタ制御部30に出力し、メカシャッタ23を制御する。
CCD24は、2次元のカラーCCD固体撮像素子により構成されている。CCD24の受光面には、多数のフォトダイオードが2次元的に配列されており、各フォトダイオードには所定の配列でカラーフィルタが配置されている。
上記構成の光学ユニットを介してCCD受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、CPU32の指令にしたがってCCD制御部31から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)としてCCD24から順次読み出される。CCD24は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間(シャッタ速度)が制御される。尚、電子シャッタによりシャッタ速度に対応する電荷蓄積開始時点が制御され、前記メカシャッタ23を閉じることにより露光終了時点(電荷蓄積終了時点)が制御される。この実施形態では、撮像素子としてCCD24を用いているが、CMOSセンサ等の他の構成の撮像素子を用いることもできる。
CCD24から読み出されたR、G、Bのアナログ信号は、アナログ信号処理部25により相関二重サンプリング(CDS)や増幅が行われた後、A/D変換器26によりR、G、Bのデジタル信号に変換される。
画像入力コントローラ27は、所定容量のラインバッファを内蔵しており、A/D変換器26によりA/D変換されたR、G、Bの画像信号(CCDRAWデータ)を一時蓄積したのち、バス60を介してRAM54に格納する。
CPU32は、3D撮像モード時には左視点画像を撮像する撮像部20-1と同様に右視点画像を撮像する撮像部20-2を制御する。
AE検出部46は、シャッタボタン11の半押し時に取り込まれる画像信号に基づいてAE制御に必要な被写体輝度を算出し、被写体輝度(撮影EV値)を示す信号をCPU32に出力する。CPU32は、入力する撮影EV値に基づいて所定のプログラム線図にしたがって複数の撮像部20-1,20-2におけるシャッタ速度(露光時間)、絞り値、撮影感度を設定する。
AF検出部48は、シャッタボタン11の半押し時に取り込まれるAFエリアの画像信号の高周波成分の絶対値を積算し、この積算した値(AF評価値)をCPU32に出力する。CPU32は、フォーカスレンズを至近から無限遠側に移動させ、AF検出部48により検出されるAF評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体(主要被写体)への焦点調節を行う。尚、動画撮影時には、前記AF評価値が常に最大値をとるようにフォーカスレンズを移動させる、いわゆる山登り制御が行われる。
AWB検出部50は、本撮像時に取得されたR、G、Bの画像信号に基づいて自動的に光源種(被写界の色温度)を求め、予め光源種別に設定されたR、G、Bのホワイトバランスゲイン(ホワイトバランス補正値)を記憶するテーブルから対応するホワイトバランスゲインを読み出す。
デジタル信号処理部44は、ホワイトバランス補正回路、階調変換処理回路(例えば、ガンマ補正回路)、単板CCDのカラーフィルタ配列に伴うR,G,Bなどの色信号の空間的なズレを補間して各色信号の位置を合わせる同時化回路、輪郭補正回路、輝度・色差信号生成回路等を含み、RAM54に格納されたR、G、Bの画像信号(CCDRAWデータ)に対して画像処理を行う。即ち、R、G、BのCCDRAWデータは、デジタル信号処理部44において、AWB検出部50により検出されたホワイトバランスゲインが乗算されてホワイトバランス補正が行われ、その後、階調変換処理(例えば、ガンマ補正)等の所定の処理が施された後、輝度信号(Y信号)及び色差信号(Cr、Cb信号)からなるYC信号に変換される。デジタル信号処理部44により処理されたYC信号はRAM54に格納される。
また、デジタル信号処理部44は、複数の撮像部20-1,20-2の撮影光学系のレンズ歪を補正するディストーション補正回路、左右視点画像からそれぞれ所定の切り出しエリアの画像を切り出すことにより複数の撮像部20-1,20-2の撮影光学系の光軸ずれを補正する画像切り出し処理回路を含んで構成されている。
圧縮/伸張処理部42は、メモリカード40への記録時にはCPU32からの指令に従い、RAM54に格納されたYC信号を圧縮処理し、また、メモリカード40に記録された圧縮された圧縮データを伸張処理してYC信号にする。
記録制御部38は、圧縮/伸張処理部42により圧縮された圧縮データを所定形式の画像ファイル(例えば、3D静止画は、MPファイル、3D動画は、MPEG4、MPEG4−MVC、モーションJPEG、H.264の動画ファイル)にしてメモリカード40に記録し、又はメモリカード40から動画ファイルの読み出しを行う。
また、記録制御部38は、本発明に係る3D動画ファイルを記録する際には、第1の実施形態から第4の実施形態で説明したように画像サイズ、アスペクト比、フレームレート等の付属情報の他、GOP最大ディスプレイサイズ、シーン最大ディスプレイサイズ、想定視距離、GOP最大視差量(近景)(%)、GOP最大視差量(遠景)(%)、シーン最大視差量(近景)(%)、シーン最大視差量(遠景)(%)を付属情報としてメモリカード40に記録する。
この場合、3D動画の撮影時に、第1の実施形態から第4の実施形態で説明した3D動画ファイルを作成・記録する場合の他、一旦、通常の3D動画ファイルとしてメモリカード40に記録し、その後、メモリカード40から3D動画ファイルを読み出し、第1の実施形態から第4の実施形態で説明した3D動画ファイルを作成し、再びメモリカード40に記録するようにしてもよい。
液晶モニタ16は、撮影済み画像を表示するための画像表示部として使用されるとともに、各種設定時にGUI(グラフィカルユーザインターフェース)として使用される。また、液晶モニタ16は、撮影モード時に画角を確認するためのライブビュー画像(以下、「スルー画」という)を表示する電子ビューファインダとして利用される。表示制御部36は、液晶モニタ16に3D動画を表示させる場合には、VRAM52に保持されている左視点画像と右視点画像とを1画素ずつ交互に表示させる。液晶モニタ16に設けられているパララックスバリアにより、所定の距離から観察するユーザの左右の眼には、1画素ずつ交互に配列された左右の画像がそれぞれ別々に視認される。これにより、立体視を可能にしている。
以上のように構成された立体撮像装置10により、上記実施形態を実現することができる。尚、ここで説明した立体撮像装置10は、左右2視点の画像を撮影するために2つの撮像部を備えているが、3つ以上の撮像部を備えて3点以上の視点画像を撮影するように構成してもよい。例えば、図8に示すように、4つの撮像装置101−1〜101−4のように4つの撮像部を備えることによって、4視点の視点画像を撮影するように構成してもよい。
[3D動画再生の第1の実施形態]
次に、上記のように記録された3D動画ファイルを読み出して3D動画再生する処理について、図13のフローチャートを用いて説明する。
次に、上記のように記録された3D動画ファイルを読み出して3D動画再生する処理について、図13のフローチャートを用いて説明する。
最初に、3D動画の表示を行う出力先の3Dディスプレイの出力ディスプレイサイズを取得する(ステップS21)。この出力ディスプレイサイズは、3DディスプレイのHDMI端子から取得することができる。続いて、3D動画ファイルから左視点のGOP_L、右視点のGOP_Rを読み込み、これらをキャッシュに保持し(ステップS22)、キャッシュ済み量が所定の最大キャッシュ量になるまで、左視点のGOP_L、右視点のGOP_Rをキャッシュに追加する(ステップS23)。
キャッシュ済み量が所定の最大キャッシュ量に達すると、3D動画ファイルの全ての左視点のGOP_L、右視点のGOP_Rの読み出しが終了したか否かを判別し(ステップS24)、読み込みが終了していない場合(「NOの場合」)には、キャッシュした左視点のGOP_L、右視点のGOP_Rのうちの3Dディスプレイに出力しようとする左視点のGOP_L、右視点のGOP_Rの付属情報からGOP最大ディスプレイサイズを読み出して一時保存する(ステップS25)。続いて、ステップS21で取得した出力ディスプレイサイズの幅とステップS25で保存したGOP最大ディスプレイサイズの幅とを比較を比較する(ステップS26)。
GOP最大ディスプレイサイズの幅が出力ディスプレイサイズの幅以上の場合は、左視点のGOP_L、右視点のGOP_Rをそのまま表示しても立体視に差し支えないため、左視点のGOP_L、右視点のGOP_Rを、そのまま3Dディスプレイに出力する(ステップS27)。
一方、GOP最大ディスプレイサイズの幅よりも出力ディスプレイサイズの幅の方が大きい場合には、そのGOP最大ディスプレイサイズを付属情報として有する左視点のGOP_L、右視点のGOP_Rを表示すると、遠景側の最大視差位置の視差量が人間の両眼間隔を超えてしまい、その部分が立体視できないことになる。したがって、左右の視点画像の視差量を補正する必要がある。
視差量の補正は、視差ずらしによって行う(ステップS28)。
図14は、視差ずらしの原理を説明するための図である。また、図15の(a)部分は左視点画像、図15の(b)部分は右視点画像を示す図である。ここで、座標(0、D)に視認者の左目、座標(XB、D)に視認者の右目があるとする。Z=0上に表示された左右の視点画像において、左視点画像の座標(XL、0)、かつ右視点画像の座標(XR、0)に表示された被写体は、座標(XP、YP)にあるように視認される。
この状態で、図15(b)に示すように、右視点画像を左方向にXR−XR´だけシフトしたとすると、図10に示すように被写体の右視点画像の座標が(XR´、0)となる結果、被写体は座標(XP´、YP´)にあるように視認される。
このように、視差ずらしを行うことで、視差量の調整を行うことが可能である。したがって、遠景側の視差量が人間の両眼間隔を超える場合に、視差ずらしを行うことで人間の両眼間隔内に収めることができ、適切に立体視することが可能となる。
具体的には、出力ディスプレイサイズの幅をW1,GOP最大ディスプレイサイズの幅をW2,GOP最大視差量をPとすると、視差補正後のGOP最大視差量P’が、次式
[数1]
P’={W2/W1}*P
になるようにする。したがって、次式に示す視差量(%)だけ、左右視点画像の一方又は両方を接近する方向に画素ずらしすることにより、1GOP内の3D動画の3Dディスプレイ上の視差を人間の両眼間隔内に収めることができる。
[数1]
P’={W2/W1}*P
になるようにする。したがって、次式に示す視差量(%)だけ、左右視点画像の一方又は両方を接近する方向に画素ずらしすることにより、1GOP内の3D動画の3Dディスプレイ上の視差を人間の両眼間隔内に収めることができる。
[数2]
視差量(%)=P−P’
また、視差の補正は、上記視差ずらしに限らず、視差圧縮により行うようにしてもよい。視差圧縮は、図10を用いて説明したように、左右の視点画像よりも視差量の小さい仮想視点の画像を生成し、生成した仮想視点の画像を表示することにより行うことができる。どちらによって視差量を補正するのかは、予め決めておいてもよいし、ユーザが選択可能に構成してもよい。どちらの視差量調整によっても、少なくとも遠景側の視差を小さくすることができる。
視差量(%)=P−P’
また、視差の補正は、上記視差ずらしに限らず、視差圧縮により行うようにしてもよい。視差圧縮は、図10を用いて説明したように、左右の視点画像よりも視差量の小さい仮想視点の画像を生成し、生成した仮想視点の画像を表示することにより行うことができる。どちらによって視差量を補正するのかは、予め決めておいてもよいし、ユーザが選択可能に構成してもよい。どちらの視差量調整によっても、少なくとも遠景側の視差を小さくすることができる。
上記ステップS28により視差補正された左視点のGOP_L、右視点のGOP_Rを3Dディスプレイに出力する(ステップS27)。
このように、付属情報として記録されているGOP最大ディスプレイサイズを読み出し、出力ディスプレイサイズと比較し、GOP最大ディスプレイサイズの方が大きい場合には立体視に問題がないとして左視点のGOP_L、右視点のGOP_Rをそのまま3Dディスプレイに出力し、出力ディスプレイサイズの方が大きい場合には立体視ができない領域があると判断して左視点のGOP_L、右視点のGOP_Rの全てのフレームについて、視差補正をした左視点のGOP_L、右視点のGOP_Rを3Dディスプレイに出力することで、常に適切な3D動画を表示することが可能となる。
上記左視点のGOP_L、右視点のGOP_Rの3Dディスプレイへの出力と並行して、新たな左視点のGOP_L、右視点のGOP_Rの読み込み及びキャッシュへの追加を行うことにより、上記処理を行うことにより3D動画を再生することができる。
ステップS24において、3D動画の全ての左視点のGOP_L、右視点のGOP_Rの読み込みが終了すると(「YESの場合」)、キャッシュ内の左視点のGOP_L、右視点のGOP_Rを3Dディスプレイに出力し(ステップS29)、3D動画の再生を終了させる。尚、キャッシュ内の左視点のGOP_L、右視点のGOP_Rを3Dディスプレイに出力する際にも、ステップS25〜S28における処理が行われる。
この実施形態では、出力先の3Dディスプレイに表示するGOP毎の立体動画が、立体視可能か否かを3D動画ファイルの付属情報に記録されているGOP最大ディスプレイサイズを使用して判別を行うようにしたが、これに限らず、GOP最大視差量を使用しても同様に行うことができる。
即ち、出力先の3Dディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値(例えば、50mm)とに基づいて許容視差量を算出する。許容視差量は、(人間の両眼間隔)/(ディスプレイサイズ)(%)であり、人間の両眼間隔を50mm、ディスプレイサイズ(幅)が1300mmの場合の許容視差量は、3.85(%)になる。
そして、GOP最大視差量(%)が、上記許容視差量以下か否かにより両眼融合可能か否かを判別することができる。
また、他の方法としては、GOP最大視差量と出力先の3Dディスプレイのディスプレイサイズとに基づいてGOP最大視差量に対応する3Dディスプレイ上での画像ずれ量を算出し、この算出された画像ずれ量が人間の両眼間隔を示す所定値を越えるか否かより両眼融合可能か否かを判別するようにしてもよい。
尚、第1の実施形態では、1GOP毎に視差の補正を実施可能にしたが、これに限らず、予め設定した所定数のGOP毎に、該所定数のGOP内の最大ディスプレイサイズ、最大視差量等に基づいて視差の補正を行うようにしてもよい。
[3D動画再生の第2の実施形態]
図16は、3D動画再生処理の第2の実施形態を示すフローチャートである。尚、図13に示した第1の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
図16は、3D動画再生処理の第2の実施形態を示すフローチャートである。尚、図13に示した第1の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
第1の実施形態は、1GOP毎にGOP最大ディスプレイサイズ、GOP最大視差量が付属情報として記録されている3D動画ファイルを対象にしているが、第2の実施形態は、図7に示すようにシーン毎にシーン最大ディスプレイサイズ、シーン最大視差量が付属情報として記録されている3D動画ファイルを対象にしている点で相違する。
図16において、ステップS30は、シーン先頭フラグの有無を判別する。シーン先頭フラグが検知されると(「YESの場合」)、そのシーンの先頭のヘッダからシーン最大ディスプレイサイズを読み出して一時保存する(ステップS31)。続いて、ステップS21で取得した出力ディスプレイサイズの幅とステップS31で保存したシーン最大ディスプレイサイズの幅とを比較する(ステップS32)。
シーン最大ディスプレイサイズの幅が出力ディスプレイサイズの幅以上の場合は、そのシーン内の3D動画を表示しても立体視に差し支えないため、そのまま3Dディスプレイに出力する(ステップS27)。
一方、シーン最大ディスプレイサイズの幅よりも出力ディスプレイサイズの幅の方が大きい場合(ステップS32で「NOの場合」)には、そのシーンの3D動画の視差を補正し、シーン内の3D動画の3Dディスプレイ上の視差が人間の両眼間隔内に収まるようにする。
尚、シーン最大ディスプレイサイズの替わりにシーン最大視差量を使用し、そのシーンの3D動画が立体視可能か否かを判別するようにしてもよい。
[3D動画再生の第3の実施形態]
図17は、3D動画再生処理の第3の実施形態を示すフローチャートである。尚、図13に示した第1の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
図17は、3D動画再生処理の第3の実施形態を示すフローチャートである。尚、図13に示した第1の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
第1の実施形態は、1GOP毎にGOP最大ディスプレイサイズ、GOP最大視差量が付属情報として記録されている3D動画ファイルを対象にしている。一方、第3の実施形態は、1GOP毎にGOP最大ディスプレイサイズ、GOP最大視差量が付属情報として記録され、かつ図7に示すようにシーン毎にシーン最大ディスプレイサイズ、シーン最大視差量が付属情報として記録されている3D動画ファイルを対象にしている点で相違する。
図17において、ステップS40は、キャッシュした左視点のGOP_L、右視点のGOP_Rの付属情報からGOP最大視差量を読み出して一時保存する。ステップS41は、シーン先頭フラグの有無を判別する。シーン先頭フラグが検知されると(「YESの場合」)、そのシーンの先頭のヘッダからシーン長、シーン最大ディスプレイサイズ、シーン最大視差量を読み出して一時保存する(ステップS42、S43、S45)。
続いて、ステップS42に保存したシーン長が、1GOPよりも十分に長いか否かを判別する(ステップS45)。短いと判別されると(「NOの場合」)、第1の実施形態と同様に1GOP毎に視差補正を行い(ステップS46)、その視差補正を行った左視点のGOP_L、右視点のGOP_Rを3Dディスプレイに出力する(ステップS47)。尚、該当GOPの最大ディスプレイサイズが出力ディスプレイサイズ以上の場合には、視差補正を行わず、そのまま3Dディスプレイに出力する。
一方、ステップS45において、長いと判別されると(「YESの場合」)、ステップS22に戻り、その後、ステップS41及びステップS48の処理を経由して、シーン先頭から所定の最大キャッシュ量になるまで、左視点のGOP_L、右視点のGOP_Rがキャッシュされる。
そして、キャッシュ済み量が所定の最大キャッシュ量に達すると(ステップS48で「YESの場合」と判別されると)、以下に示す視差補正テーブルを使用したシーン内の3D動画に対する視差補正を行う(ステップS49)。
図18は視差補正テーブルの一例を示すグラフである。図18に示すグラフは、横軸がGOP最大視差量/シーン最大視差量を示し、縦軸が視差補正係数(0〜1)を示している。
いま、ステップS21で取得した出力ディスプレイサイズに対する、ステップS43で保存したシーン最大ディスプレイサイズの比(シーン最大ディスプレイサイズ/出力ディスプレイサイズ)をXとすると、視差補正係数は、GOP最大視差量/シーン最大視差量が0から1に近づくにしたがって、1からXに変化する値に設定されている。
ここで、視差補正係数は、シーン内の各GOP最大視差量に対して乗算される。視差補正は、シーン内の各GOP最大視差量が前記乗算された値(即ち、補正されたGOP最大視差量)になるように行われる。
例えば、GOP最大視差量/シーン最大視差量=1となるGOP最大視差量を付属情報として有する左視点のGOP_L、右視点のGOP_Rは、前述して[数1]式で示した視差補正後のGOP最大視差量P’になるように視差ずらし(即ち、[数2]式で示した視差量だけ視差ずらし)が行われ、これによりそのGOP内の3D動画の3Dディスプレイ上の視差を人間の両眼間隔内に収めることができるようにしている。
一方、GOP最大視差量/シーン最大視差量=1よりも小さいGOP最大視差量を有する左視点のGOP_L、右視点のGOP_Rも、そのGOP最大視差量の大きさに応じた視差補正が行われるように視差補正係数が決められている。
ステップS49では、上記視差補正テーブルを使用して視差補正を行うことにより、各GOPの最大視差量がシーン中の最大視差量(シーン最大視差量)に近づくにしたがって、視差量を徐々に減少させ、一方、シーン中の最大視差量から離れるにしたがって視差の減少量を小さくする(元に近づける)視差補正を行う。
上記ステップS49で視差補正された左視点のGOP_L、右視点のGOP_Rが3Dディスプレイに出力される(ステップS47)。尚、シーン最大ディスプレイサイズが出力ディスプレイサイズ以上の場合(3D表示上問題がない場合)には、上記の視差補正は行われず、視差補正されない左視点のGOP_L、右視点のGOP_Rが3Dディスプレイに出力される。
上記の視差補正により、シーン内の一部のGOPに3D表示上問題になる視差があっても他のGOPの視差も一律に視差補正されないようにすることができ、過大な視差を抑制しつつ、シーン全体の立体感を確保することができる。
尚、上記3D動画再生の第1の実施形態から第3の実施形態において、最大視差量(近景)を考慮して視差ずらし処理を行うようにしてもよい。
即ち、遠景側の視差量が過大になり、両眼融合不能になる場合、算出した必要ずらし量だけ視差ずらしを行うと、それに伴って近景側の視差量が増加する。そこで、出力先の3Dディスプレイのディスプレイサイズ(幅)と最大視差量(近景)との積に、必要ずらし量を加算し、その加算値が、両眼間隔(例えば、50mm)以下であるか否かを判定する。ここでは、近景の視差量が50mm以下の場合を適切に立体視可能と判断しているが、この50mmの値は、適宜決めればよい。
そして、50mm以下の場合には、視差ずらしを実施し、視差ずらしを行った2視点の視点画像を3Dディスプレイに3D表示する。一方、50mmより大きい場合には、視差ずらしを行わないと遠景側に立体視できない部分があり、遠景側の最大視差量が適切になるように視差ずらしを行うと近景側が適切に立体視できないことになるので、3D表示は行わず、3Dディスプレイに2D表示を行う。2D表示は、3D動画ファイルに記録されている視点画像のうちから1つの視点画像を3Dディスプレイに出力することにより行う。また、2D表示とともに、ディスプレイサイズが大きすぎるために当該3D動画は3D表示を行わない旨を警告表示してもよい。
このように、最大視差量(遠景)だけでなく、最大視差量(近景)も考慮して視差量の調整を行うことで、適切な3D動画を表示させることができる。
[3D動画再生の第4の実施形態]
次に、図9に示したように3視点以上の視点画像が記録された3D動画ファイルを読み出して再生表示する処理について、図19のフローチャートを用いて説明する。
次に、図9に示したように3視点以上の視点画像が記録された3D動画ファイルを読み出して再生表示する処理について、図19のフローチャートを用いて説明する。
図19において、最初に、3D動画の表示を行う3Dディスプレイのディスプレイサイズ(横幅)を取得する(ステップS51)。ここでは、仮に取得したディスプレイの横幅が600mmであったとする。また、図9に示す4視点分のGOPを読み出す(ステップS52)。
次に、読み出したGOPの各ヘッダ領域から、視点番号順に、GOP最大ディスプレイサイズを取得する(ステップS53)。
いま、ある4視点分のGOPのGOP最大ディスプレイサイズ、想定視距離、GOP最大視差量(遠景)が、下記の表1に示した通りとする。
上記表1に示す例では、まず視点番号1である視点画像(1)のGOP最大ディスプレイサイズ500mmを取得する。
次に、この取得したGOP最大ディスプレイサイズがステップS51で取得したディスプレイサイズ以上であるか否かを判定する(ステップS54)。ここでは、GOP最大ディスプレイサイズが500mmであるのに対し、ディスプレイサイズが600mmであるので、ステップS56に移行する。
ステップS56では、全視点画像についてGOP最大ディスプレイサイズの取得が終了したか否かを判定する。
ここでは、まだ全視点画像について終了していないため、ステップS53に戻る。
ステップS53では、視点番号を1つインクリメントし、次に視点番号2である視点画像(2)のGOP最大ディスプレイサイズ1200mmを取得する。
次に、ステップS54に移行し、取得したGOP最大ディスプレイサイズがディスプレイサイズ以上であるか否かを判定する。今回は、GOP最大ディスプレイサイズが1200mmであり、ディスプレイサイズ600mm以上であるので、ステップS55に移行する。ステップS55では、現在の視点番号が取得される。ここでは視点番号2が取得される。
このように、全ての視点画像について、ステップS53からステップS55の処理を繰り返す。この処理により、GOP最大ディスプレイサイズがディスプレイサイズ以上である視点画像の視点番号だけが取得される。ここでは、視点番号2と視点番号3が取得される。
次に、ステップS55において取得された視点番号の視点画像から、3Dディスプレイに出力する2視点の視点画像を選択する(ステップS57)。ここでは、基準視点の画像である視点画像(1)と、視点番号2の画像(視点画像(2))又は視点番号3の画像(視点画像(3))のいずれかの画像が選択される。
選択する基準としては、基準視点画像を含む視点画像、最も視差量が大きい視点画像、最も視差量が小さい視点画像、中央の視点に近い視点画像等が考えられる。また、仮想視点の画像よりも実際に撮影された実視点画像を優先して選択してもよい。この基準は、予め決めておいてもよいし、視認者が自由に設定できるように構成してもよい。ここでは、最も視差量が大きい画像を選択するものとし、その結果、視点画像(1)と視点画像(3)が選択される。
ステップS57において選択された2視点の視点画像を、3Dディスプレイに3D表示させる(ステップS58)。即ち、ここでは、視点画像(1)と視点画像(3)に基づいて3D表示が行われる。
次に、3D動画ファイルから全てのGOPの読み込みが終了したか否かを判別する(ステップS59)。終了していない場合(「NOの場合」)には、ステップS52に遷移し、上記処理を繰り返し、終了している場合(「YESの場合」)には、3D動画の再生を終了させる。
尚、ステップS55において取得された視点番号がなかった場合、即ち全ての視点画像のGOP最大ディスプレイサイズがディスプレイサイズよりも小さかった場合には、2D表示を行う。2D表示を行う視点画像の選択の基準についても、適宜決めればよいが、実視点の視点画像で、基準視点の視点画像が好ましい。
このように、各視点画像の付属情報として記録されているGOP最大ディスプレイサイズを読み出し、出力先の3Dディスプレイのディスプレイサイズと比較し、GOP最大ディスプレイサイズの方が大きい視点画像のペアを選択して表示することで、常に適切な3D動画を表示することが可能となる。
尚、このような処理は、3D動画ファイルの各視点画像の付属情報に記録されているGOP最大視差量に基づいて行うことも可能である。
[3D動画再生の第5の実施形態]
図20は、GOP最大視差量に基づいて3D再生表示する視点画像のペアを選択する場合のフローチャートである。尚、図19に示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。また、読み出される3D動画ファイルの各視点画像の付属情報には、GOP最大ディスプレイサイズが記録されていないものとし、その他の付属情報は表1に示すファイルと同様であるものとする。また、出力先の3Dディスプレイの横幅も同様に600mmであるとする。
図20は、GOP最大視差量に基づいて3D再生表示する視点画像のペアを選択する場合のフローチャートである。尚、図19に示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。また、読み出される3D動画ファイルの各視点画像の付属情報には、GOP最大ディスプレイサイズが記録されていないものとし、その他の付属情報は表1に示すファイルと同様であるものとする。また、出力先の3Dディスプレイの横幅も同様に600mmであるとする。
図19の場合と同様に、ディスプレイのサイズを取得し(ステップS51)、図9に示す3D動画ファイルから4視点分のGOPを読み出す(ステップS52)。次に、読み出したGOPの各ヘッダ領域から、2視点の(1組の)視点画像を選択する(ステップS61)。最終的に全視点画像の組み合わせを選択するため、選択する順序は、適宜決定すればよい。ここでは、まず視点画像(1)と視点画像(2)を選択したものとする。
この選択した2視点の画像のGOP最大視差量(遠景)を取得する(ステップS62)。各視点画像の付属情報に記録されているGOP最大視差量(遠景)は、基準視点画像との視差量である。したがって、選択した2視点の視点画像に基準視点画像が含まれていない場合には、GOP最大視差量を再計算する必要がある。
ここでは、選択された2視点の視点画像のうち、一方が基準視点画像の視点画像(1)であるから、視点画像(2)の付属情報に記録されているGOP最大視差量(遠景)が、この2視点のGOP最大視差量(遠景)となる。
次に、ステップS51において取得したディスプレイの幅とステップS62において取得した2視点の視点画像のGOP最大視差量(遠景)との積が、人間の両眼間隔50mm以下であるか否かを判定する(ステップS63)。尚、人間の両眼間隔は50mmに限定されるものではなく、例えば65mm等の数値を用いてもよい。
この積が50mmよりも大きい場合は、遠景側のGOP最大視差位置を適切に立体視することができないため、当該2視点の視点画像の組み合わせは立体視には適さない組み合わせであると判断し、ステップS65へ移行する。
ここでは、GOP最大視差量(遠景)は4%であり、ディスプレイ幅600mmとの積は24mmとなる。したがって、50mm以下の条件を満足し、ステップS64に移行する。ステップS64では、この2視点の視点画像の視点番号が取得される。即ち、ここでは視点番号1と2の組み合わせが取得される。
ステップS65では、全組み合わせについてGOP最大視差量の取得が終了したか否かを判定する。ここでは、まだ全組み合わせについて終了していないため、ステップS61に戻る。
次のステップS61では、異なる2視点の(1組の)視点画像を選択する。ここでは、視点画像(2)と視点画像(3)の2視点の視点画像を選択したものとする。
ステップS62では、この2視点のGOP最大視差量(遠景)を取得する。前述のように、視点画像(2)、視点画像(3)のそれぞれの付属情報に記録されている最大視差量(遠景)は、基準視点画像である視点画像(1)との最大視差量であるので、視点画像(2)と視点画像(3)との2視点におけるGOP最大視差量は、再計算する必要がある。
2視点におけるGOP最大視差量は、それぞれの付属情報に記録されているGOP最大視差量(遠景)の差をとることで算出される。したがって、ここでは、7%−4%=3%が、視点画像(2)と視点画像(3)との2視点におけるGOP最大視差量(遠景)となる。
ステップS63では、この算出した2視点の視点画像のGOP最大視差量(遠景)とディスプレイの幅との積が、50mm以下であるかを判定する。
ここでは、GOP最大視差量(遠景)は3%であり、ディスプレイ幅600mmとの積は18mmとなる。したがって、50mm以下の条件を満足し、ステップS64に移行する。ステップS64では、この2視点の視点画像の視点番号、即ち視点番号2と3の組み合わせが取得される。
このように、全ての視点画像の組み合わせについて、ステップS62からステップS64の処理を繰り返す。この処理により、GOP最大視差量(遠景)とディスプレイサイズの積が50mm以下である視点画像の組み合わせの視点番号だけが取得される。ここでは、視点番号1と2、2と3、2と4、3と4の組み合わせが取得される。
次に、ステップS64において取得された視点番号の組み合わせから、3Dディスプレイに出力する2視点の視点画像を選択する(ステップS57)。
選択する基準としては、前述したように、最もGOP視差量が大きい組み合わせ、最もGOP視差量が小さい組み合わせ、中央の視点に近い視点画像を含む組み合わせ、実視点画像を優先する等が考えられる。この基準は、予め決めておいてもよいし、視認者が自由に設定できるように構成してもよい。ここでは、最も視差量が小さい組み合わせである視点番号2と視点番号3の組み合わせ、即ち視点画像(2)と視点画像(3)を選択したものとする。
ステップS57において選択された2視点の視点画像を、3Dディスプレイに3D表示させる(ステップS58)。即ち、ここでは、視点画像(2)と視点画像(3)に基づいて3D表示が行われる。
次に、3D動画ファイルから全てのGOPの読み込みが終了したか否かを判別する(ステップS59)。終了していない場合(「NOの場合」)には、ステップS52に遷移し、上記処理を繰り返し、終了している場合(「YESの場合」)には、3D動画の再生を終了させる。
尚、ステップS64において取得された視点番号がなかった場合、即ち全ての組み合わせにおいてステップS63の条件に適合しなかった場合には、2D表示を行う。2D表示を行う画像の選択の基準についても、適宜決めればよい。
このように、各視点画像の付属情報として記録されているGOP最大視差量(遠景)を読み出し、出力先の3Dディスプレイのディスプレイサイズとの積を算出し、積が人間の両眼間隔よりも小さい視点画像の組み合わせを選択して表示することで、常に適切な3D動画を表示することが可能となる。
[3D動画再生の第6の実施形態]
第4の実施形態で説明したように、各視点画像の付属情報に記録されているGOP最大ディスプレイサイズに基づいて表示画像を選択する場合には、基準視点画像との組み合わせでしか画像の選択ができない。これに対し、第5の実施形態で説明したように、各視点画像の付属情報に記録されているGOP最大視差量(遠景)に基づいて視点画像を選択する場合には、全視点画像の組み合わせについて判断することができるが、処理が煩雑となる。
第4の実施形態で説明したように、各視点画像の付属情報に記録されているGOP最大ディスプレイサイズに基づいて表示画像を選択する場合には、基準視点画像との組み合わせでしか画像の選択ができない。これに対し、第5の実施形態で説明したように、各視点画像の付属情報に記録されているGOP最大視差量(遠景)に基づいて視点画像を選択する場合には、全視点画像の組み合わせについて判断することができるが、処理が煩雑となる。
そこで、第6の実施形態では、付属情報にGOP最大ディスプレイサイズとGOP最大視差量(遠景)との両方が記録されている場合に、両方の情報を用いて視点画像の選択を行う。
図21は、GOP最大ディスプレイサイズとGOP最大視差量(遠景)に基づいて視点画像を選択する場合を示すフローチャートである。尚、図19、図20に示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
図21に示すように、まず図19の場合と同様に、GOP最大ディスプレイサイズに基づいて3D表示可能な視点画像を選択する(ステップS53〜S56)。
その後、図20の場合と同様に、GOP最大視差量(遠景)に基づいて、3D表示可能な視点画像を選択する(ステップS61〜S65)。尚、このときは、基準視点画像との組み合わせについては処理を行う必要がない。
その後、ステップS55において取得された基準視点画像との組み合わせ、及びステップS64において取得された2視点の視点画像の組み合わせの中から、3Dディスプレイに出力する2視点の視点画像を選択する(ステップS57)。選択する基準は、これまでと同様に適宜決めればよい。
以上のように、GOP最大ディスプレイサイズとGOP最大視差量(遠景)とに基づいて表示する2視点の視点画像を選択することで、処理時間を短縮しつつ、全ての組み合わせから選択された適切な視点画像を用いて3D表示を行うことができる。
尚、ここでは、遠景側のGOP最大視差量だけに基づいて表示を行う2視点の視点画像を選択したが、近景側のGOP最大視差量を考慮して決定してもよい。近景側のGOP最大視差量を考慮することにより、遠景側だけでなく、近景側も適切に立体視可能な画像の組み合わせを決定することができるようになる。
例えば、ステップS64において取得された2視点の視点画像の組み合わせの中から、近景の視差量が所定値以下である組み合わせを選択するようにしてもよい。近景側の視差量が大きくなると、視認者は立体視をするのに疲労を感じるため、50mm等の値以下とすることが好ましいからである。
近景側のGOP最大視差量は、3D動画ファイルに記録されている場合にはその値を用いることができる。また、図10を用いて説明したように、各視点画像から特徴点を抽出して、近景側の最大視差量位置から算出してもよい。
[3D動画再生の第7の実施形態]
図22は、第7の実施形態の画像再生処理を示すフローチャートである。
図22は、第7の実施形態の画像再生処理を示すフローチャートである。
ここでは、読み出される3D動画ファイルは表1に示すファイルと同様であるものとする。尚、ディスプレイの横幅は1300mmであるとする。
図19の場合と同様に、出力先の3Dディスプレイのディスプレイサイズを取得する(ステップS51)。例えば、HDMIケーブルで接続された3Dディスプレイから、ディスプレイサイズを取得することができる。
次に、図9に示す3D動画ファイルから4視点分のGOPを読み出し(ステップS52)、読み出したGOPの各ヘッダ領域から、基準視点番号タグの値を読み込む(ステップS71)。本実施形態では、基準視点番号1が読み込まれる。
次に、基準視点番号1の視点画像、即ち視点画像(1)の付属情報から、GOP最大ディスプレイサイズを取得する(ステップS72)。ここに記録されている値は、前述のように、視点画像(1)との組み合わせで最大の視差量となる視点の組み合わせにおける、GOP最大ディスプレイサイズであり、具体的には視点画像(4)との組み合わせにおけるGOP最大ディスプレイサイズである。
このGOP最大ディスプレイサイズと、ステップS71において取得したディスプレイサイズを比較する(ステップS73)。GOP最大ディスプレイサイズの方がディスプレイサイズより大きい場合(「YESの場合」)には、視点画像(1)と視点画像(4)をそのまま3D表示しても問題ないので、この2視点の視点画象を3Dディスプレイに3D表示させる(ステップS74)。
一方、ステップS73における比較結果がNOの場合は、ステップS75へ移行する。
ステップS75は、読み込んだ全ての視点画像の視点番号を取得する。更に、各視点画像の付属情報から、それぞれの視点画像のGOP最大視差量の値を取得する(ステップS76)。表1に示すように、視点画像(2)からGOP最大視差量4%、視点画像(3)からGOP最大視差量7%、視点画像(4)からGOP最大視差量10%が取得される。
次に、3D表示を行う3Dディスプレイにおける許容視差量を算出する(ステップS77)。許容視差量は、下記の[数3]式によって算出される。尚、ディスプレイサイズとは、ディスプレイの横幅を指す。また、ここでは人間の両眼間隔を50mmとしているが、その他の数値を用いてもよい。
[数3]
許容視差量[%]=50mm÷ディスプレイサイズ[mm]×100
本実施形態では、ディスプレイサイズは1300mmであるので、許容視差量は約3.85%となる。
許容視差量[%]=50mm÷ディスプレイサイズ[mm]×100
本実施形態では、ディスプレイサイズは1300mmであるので、許容視差量は約3.85%となる。
次に、基準視点の配置を確認する(ステップS78)。基準視点が全視点中の中央近傍でない場合は、中央近傍の視点位置を新たな基準視点に設定し(ステップS79)、新たな基準視点に対する各視点画像の最大視差量を算出する(ステップS80)。
本実施形態では、視点番号は図8のようになっているため、基準視点である視点番号1は、中央近傍ではない。したがって、ここでは中央近傍の視点として視点番号2を新たな基準視点に設定する。
この新たな基準視点である視点番号2に対する各視点画像のGOP最大視差量を算出する。表1の3D動画ファイルの例では、各視点画像の付属情報に記載されたGOP最大視差量と視点画像(2)の付属情報に記載されたGOP最大視差量の差分の絶対値が、新たな基準視点におけるGOP最大視差量となる。したがって、各視点画像のGOP最大視差量は、以下の通りとなる。
視点画像(1)のGOP最大視差量=|0%−4%|=4%
視点画像(2)のGOP最大視差量=|4%−4%|=0%
視点画像(3)のGOP最大視差量=|7%−4%|=3%
視点画像(4)のGOP最大視差量=|10%−4%|=6%
尚、このような処理を行うのは、より中央に近く配置されている視点画像が、3D表示により好適であるためである。
視点画像(2)のGOP最大視差量=|4%−4%|=0%
視点画像(3)のGOP最大視差量=|7%−4%|=3%
視点画像(4)のGOP最大視差量=|10%−4%|=6%
尚、このような処理を行うのは、より中央に近く配置されている視点画像が、3D表示により好適であるためである。
ステップS80の処理が終了、又はステップS78において基準視点が全視点中の中央近傍であると判断された場合は、これらのGOP最大視差量のうち、許容視差量以下であって、かつ最大の値を持つ視点を選択する(ステップS81)。本実施形態では、許容視差量が3.85%以下であるので、この条件を満たす視点は視点番号3となる。
このように、条件を満たす視点を選択できた場合は(ステップS82)、基準視点画像と当該選択された視点画像を用いて3D表示を行う(ステップS83)。選択できない場合には(ステップS82で「NOの場合」)、2D表示を行う(ステップS84)。
例えば、仮に取得したディスプレイサイズが1700mmであれば、許容視差量は2.94%となり、許容視差量以下で最大の最大視差量値を持つ視点を選択することができない。この場合は2D表示を行う。
このように、許容視差量に基づいて視点画像のペアを選択するようにしたので、適切に立体視に適した視点画像を選択することができる。
次に、3D動画ファイルから全てのGOPの読み込みが終了したか否かを判別する(ステップS85)。終了していない場合(「NOの場合」)には、ステップS52に遷移し、上記処理を繰り返し、終了している場合(「YESの場合」)には、3D動画の再生を終了させる。
尚、ステップS82において、選択できないと判別された場合には、2D表示を行うのではなく、視差ずらしや視差圧縮を行って適切な視差量に調整した後に3D表示を行ってもよい。また、3D動画再生の第4から第7の実施形態では、1GOP毎に視差の補正を行うようにしたが、これに限らず、シーン最大ディスプレイサイズ、シーン最大視差量を使用してシーン毎に視差の補正を行うようにしてもよい。
[立体動画再生装置]
上記3D動画再生の第1から第7の実施形態は、図11及び図12に示した立体撮像装置10の3D動画再生機能により実現するようにしてもよいし、撮像部を有しない立体動画再生装置により実現するようにしてもよい。
上記3D動画再生の第1から第7の実施形態は、図11及び図12に示した立体撮像装置10の3D動画再生機能により実現するようにしてもよいし、撮像部を有しない立体動画再生装置により実現するようにしてもよい。
図23は立体動画再生装置300と3Dディスプレイ320の全体構成を示す図である。同図に示すように、立体動画再生装置300と3Dディスプレイ320とは、別個に構成された装置であり、通信ケーブル310により通信可能に接続されている。
3Dディスプレイ320は、パララックスバリア方式やレンチキュラー方式のディスプレイであり、立体動画再生装置300から3Dディスプレイ320に入力された左視点画像及び右視点画像を1ライン毎に交互に表示する。
また、3Dディスプレイ320は、左視点画像及び右視点画像を時間的に交互に切り換えて表示するものでもよい。この場合は、視認者は特殊なメガネを用いて3Dディスプレイ320を視認する。
図24は、立体動画再生装置300の内部構成を示すブロック図である。同図に示すように、立体動画再生装置300は、CPU301、記録制御部305、メモリカード306、表示制御部307、通信インターフェース308などを備えて構成されている。
CPU301は、ROM302などのコンピュータ読み取り可能な記録媒体(”non-transitory computer-readable medium”)に記録された立体動画再生プログラム等の制御プログラムに基づいて立体動画再生装置300全体の動作を統括制御する。RAM303は、CPU301の演算作業用領域として使用される。
記録制御部305、表示制御部307は、バス304を介してCPU301と接続されている。記録制御部305は、メモリカード306に対する3D動画ファイルのデータ読み書きを制御する。メモリカード306は、例えば、図12に示した立体撮像装置10のメモリカード40と同じものであり、立体撮像装置10において撮影された各視点画像と付属情報を含む3D動画ファイルが記録されている。
通信インターフェース308は、通信ケーブル310が接続されるコネクタ部であり、表示制御部307は、これらを介して3Dディスプレイ320に3D動画を表示させる。通信インターフェース308、通信ケーブル310として、HDMI規格のものを採用することが考えられる。HDMI規格によれば、立体動画再生装置300は、通信ケーブル310を介して接続されている3Dディスプレイ320のディスプレイサイズを取得することができる。
尚、立体動画再生装置300に、各視点画像を撮影するための複眼の撮像手段を備えさせ、撮影した視点画像をメモリカード306に記録するように構成してもよい。また、立体動画再生装置300と3Dディスプレイ320を一体の装置として構成してもよい。また、パーソナルコンピュータに立体動画再生プログラムをインストールし、該パーソナルコンピュータを立体動画再生装置300として機能させるようにしてもよい。
更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
10…立体撮像装置、14-1,14-2…撮影光学系、16…液晶モニタ、20-1,20-2…撮像部、21…フォーカスレンズ及びズームレンズ、24…CCD、25…アナログ信号処理部、32…中央処理装置(CPU)、34…操作部、40…メモリカード、44…デジタル信号処理部、100…被写体、101−1〜101−4…撮像装置、211N、212N…最大視差量位置(近景)、211F、212F…最大視差量位置(遠景)、213N…近景側の最大視差量、213F…遠景側の最大視差量、300…立体動画再生装置、320…3Dディスプレイ
Claims (20)
- N(N:3以上の整数)視点の視点画像からなる立体画像が時間軸方向に連続している立体動画と、前記N視点の視点画像のうちの任意の2つの視点画像の組み合わせからなる複数の立体画像に対応し、かつ各立体動画の時間軸方向に連続する所定の区間毎に対応する区間内最大ディスプレイサイズであって、各立体動画のフレームを立体ディスプレイに表示させる際に両眼融合可能なフレーム毎の最大ディスプレイサイズのうち、前記所定の区間内でそれぞれ最大となる複数の区間内最大ディスプレイサイズを含む付属情報とが記録された立体動画ファイルを読み取り、該立体動画ファイルから前記立体動画及び付属情報を取得する第1の取得手段と、
出力先の立体ディスプレイのディスプレイサイズを取得する第2の取得手段と、
前記取得された前記立体ディスプレイのディスプレイサイズと前記複数の区間内最大ディスプレイサイズとを比較し、前記立体ディスプレイのディスプレイサイズが前記複数の区間内最大ディスプレイサイズよりも大きいか否かを、前記複数の区間内最大ディスプレイサイズ毎に判別する判別手段と、
前記判別手段により前記複数の区間内最大ディスプレイサイズのうちの前記立体ディスプレイのディスプレイサイズ以下と判別された区間内最大ディスプレイサイズに対応する2つの視点画像を、前記N視点の視点画像から選択する選択手段と、
前記取得した立体動画を前記立体ディスプレイに出力する際に、前記選択手段により選択された2つの視点画像からなる立体動画を出力する出力手段と、
を備えた立体動画再生装置。 - N(N:3以上の整数)視点の視点画像からなる立体画像が時間軸方向に連続している立体動画と、前記N視点の視点画像のうちの任意の2つの視点画像の組み合わせからなる複数の立体画像に対応し、かつ各立体動画の時間軸方向に連続する所定の区間毎に対応する区間内最大視差量であって、各立体動画のフレーム毎の遠景側の最大視差量のうち、該立体動画の時間軸方向に連続する所定の区間内でそれぞれ最大となる複数の区間内最大視差量を含む付属情報とが記録された立体動画ファイルを読み取り、該立体動画ファイルから前記立体動画及び付属情報を取得する第1の取得手段と、
出力先の立体ディスプレイのディスプレイサイズを取得する第2の取得手段と、
前記立体動画の所定の区間毎に対応して取得した複数の区間内最大視差量と前記取得した立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記複数の区間内最大視差量に対応する前記所定の区間内の複数の立体動画を前記立体ディスプレイに表示する際に両眼融合可能か否かを、前記複数の区間内最大視差量毎かつ前記所定の区間毎に判別する判別手段と、
前記判別手段により前記複数の区間内最大視差量のうちの両眼融合可能と判別された区間内最大視差量に対応する2つの視点画像を、前記N視点の視点画像から選択する選択手段と、
前記取得した立体動画を前記立体ディスプレイに出力する際に、前記選択手段により選択された2つの視点画像からなる立体動画を出力する出力手段と、
を備えた立体動画再生装置。 - 前記判別手段は、前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて許容視差量を算出し、前記複数の区間内最大視差量が前記許容視差量以下か否かにより両眼融合可能か否かを、前記複数の区間内最大視差量毎かつ前記所定の区間毎に判別する請求項2に記載の立体動画再生装置。
- 前記判別手段は、前記取得した区間内最大視差量と前記立体ディスプレイのディスプイサイズとに基づいて、前記区間内最大視差量に対応する立体ディスプレイ上での画像ずれ量を算出する画像ずれ量算出手段を有し、前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越えるか否かより両眼融合可能か否かを判別する請求項2に記載の立体動画再生装置。
- 前記出力手段は、前記選択手段により両眼融合可能な2つの視点画像が選択されない場合には、前記N視点の視点画像のうちの1つの視点画像を選択し、該選択した視点画像を前記立体ディスプレイに出力する請求項1から4のいずれか1項に記載の立体動画再生装置。
- 前記N視点は予め設定された基準視点を含み、
前記選択手段は、前記2つの視点画像を選択する際に前記基準視点に対応する視点画像を含む2つの視点画像を優先して選択する請求項1から5のいずれか1項に記載の立体動画再生装置。 - 前記選択手段は、前記2つの視点画像を選択する際に区間内最大ディスプレイサイズ、又は区間内最大視差量が最も大きくなる2つの視点画像を選択する請求項1から6のいずれか1項に記載の立体動画再生装置。
- 前記選択手段は、前記2つの視点画像を選択する際に区間内最大ディスプレイサイズ、又は区間内最大視差量が最も小さくなる2つの視点画像を選択する請求項1から6のいずれか1項に記載の立体動画再生装置。
- 前記選択手段は、前記2つの視点画像を選択する際に中央近傍の視点画像を含む2つの視点画像を優先して選択する請求項1から6のいずれか1項に記載の立体動画再生装置。
- 前記選択手段は、前記立体動画ファイルに記録された前記N視点の視点画像が、実視点に対応する複数の視点画像と、実視点に対応する複数の視点画像から生成された仮想視点に対応する仮想視点画像とが混在している場合において、前記2つの視点画像を選択する際に前記実視点の視点画像を含む2視点の視点画像を優先して選択する請求項1から9のいずれか1項に記載の立体動画再生装置。
- 前記立体動画ファイルは、複数のフレームからなる1GOP毎に複数の視点画像が順次記録されたMPEGファイルであり、
前記立体動画の所定の区間は、1又は2以上の所定数のGOPに対応する区間である請求項1から10のいずれか1項に記載の立体動画再生装置。 - 前記立体動画の所定の区間は、シーン毎に区分されている区間である請求項1から10のいずれか1項に記載の立体動画再生装置。
- 請求項1から12のいずれか1項に記載の立体動画再生装置を、コンピュータにより実現させる立体動画再生プログラム。
- 請求項1から12のいずれか1項に記載の立体動画再生装置と、
前記出力先の立体ディスプレイと、
を備えた立体ディスプレイ装置。 - 複数の視点画像からなる立体画像が時間軸方向に連続している立体動画を取得する撮像手段と、
前記取得した立体動画のフレーム毎に複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、
前記算出したフレーム毎の各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、
前記取得した遠景側の最大視差量のうちの前記立体動画の所定の区間毎に該区間内で最大となる区間内最大視差量を取得する区間内最大視差量取得手段と、
前記立体動画の所定の区間毎に取得した区間内最大視差量に基づいて、前記所定の区間毎に前記立体画像を立体ディスプレイに表示させる際に両眼融合可能な区間内最大ディスプレイサイズを取得する区間内最大ディスプレイサイズ取得手段と、
前記立体動画が記録される立体動画ファイルを生成し、該立体動画ファイルを記録媒体に記録する記録手段であって、前記立体動画を前記立体動画ファイルに記録するとともに、前記所定の区間毎の区間内最大ディスプレイサイズを付属情報として前記立体動画ファイルに記録する記録手段と、
請求項1に記載の立体動画再生装置と、を備え、
前記第1の取得手段は、前記記録媒体から立体動画ファイルを読み取る立体撮像装置。 - 複数の視点画像からなる立体画像が時間軸方向に連続している立体動画を撮影する撮像手段と、
前記取得した立体動画のフレーム毎に複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、
前記算出したフレーム毎の各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、
前記取得した遠景側の最大視差量のうちの前記立体動画の所定の区間毎に該区間内で最大となる区間内最大視差量を取得する区間内最大視差量取得手段と、
前記立体動画が記録される立体動画ファイルを生成し、該立体動画ファイルを記録媒体に記録する記録手段であって、前記立体動画を前記立体動画ファイルに記録するとともに、前記所定の区間毎の区間内最大視差量を付属情報として前記立体動画ファイルに記録する記録手段と、
請求項2に記載の立体動画再生装置と、を備え、
前記第1の取得手段は、前記記録媒体から立体動画ファイルを読み取る立体撮像装置。 - 立体動画再生装置が、
N(N:3以上の整数)視点の視点画像からなる立体画像が時間軸方向に連続している立体動画と、前記N視点の視点画像のうちの任意の2つの視点画像の組み合わせからなる複数の立体画像に対応し、かつ各立体動画の時間軸方向に連続する所定の区間毎に対応する区間内最大ディスプレイサイズであって、各立体動画のフレームを立体ディスプレイに表示させる際に両眼融合可能なフレーム毎の最大ディスプレイサイズのうち、前記所定の区間内でそれぞれ最大となる複数の区間内最大ディスプレイサイズを含む付属情報とが記録された立体動画ファイルを読み取り、該立体動画ファイルから前記立体動画及び付属情報を取得するステップと、
出力先の立体ディスプレイのディスプレイサイズを取得するステップと、
前記取得された前記立体ディスプレイのディスプレイサイズと前記複数の区間内最大ディスプレイサイズとを比較し、前記立体ディスプレイのディスプレイサイズが前記複数の区間内最大ディスプレイサイズよりも大きいか否かを、前記複数の区間内最大ディスプレイサイズ毎に判別する判別ステップと、
前記判別ステップにより前記複数の区間内最大ディスプレイサイズのうちの前記立体ディスプレイのディスプレイサイズ以下と判別された区間内最大ディスプレイサイズに対応する2つの視点画像を、前記N視点の視点画像から選択する選択ステップと、
前記取得した立体動画を前記立体ディスプレイに出力する際に、前記選択ステップにより選択された2つの視点画像からなる立体動画を出力するステップと、
を実行する立体動画再生方法。 - 立体動画再生装置が、
N(N:3以上の整数)視点の視点画像からなる立体画像が時間軸方向に連続している立体動画と、前記N視点の視点画像のうちの任意の2つの視点画像の組み合わせからなる複数の立体画像に対応し、かつ各立体動画の時間軸方向に連続する所定の区間毎に対応する区間内最大視差量であって、各立体動画のフレーム毎の遠景側の最大視差量のうち、該立体動画の時間軸方向に連続する所定の区間内でそれぞれ最大となる複数の区間内最大視差量を含む付属情報とが記録された立体動画ファイルを読み取り、該立体動画ファイルから前記立体動画及び付属情報を取得するステップと、
出力先の立体ディスプレイのディスプレイサイズを取得するステップと、
前記立体動画の所定の区間毎に対応して取得した複数の区間内最大視差量と前記取得した立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記複数の区間内最大視差量に対応する前記所定の区間内の複数の立体動画を前記立体ディスプレイに表示する際に両眼融合可能か否かを、前記複数の区間内最大視差量毎かつ前記所定の区間毎に判別する判別ステップと、
前記判別ステップにより前記複数の区間内最大視差量のうちの両眼融合可能と判別された区間内最大視差量に対応する2つの視点画像を、前記N視点の視点画像から選択する選択ステップと、
前記取得した立体動画を前記立体ディスプレイに出力する際に、前記選択ステップにより選択された2つの視点画像からなる立体動画を出力するステップと、
を実行する立体動画再生方法。 - 立体動画再生装置が、
N(N:3以上の整数)視点の視点画像からなる立体画像が時間軸方向に連続している立体動画と、前記N視点の視点画像のうちの任意の2つの視点画像の組み合わせからなる複数の立体画像に対応し、かつ各立体動画の時間軸方向に連続する所定の区間毎に対応する区間内最大ディスプレイサイズであって、各立体動画のフレームを立体ディスプレイに表示させる際に両眼融合可能なフレーム毎の最大ディスプレイサイズのうち、前記所定の区間内でそれぞれ最大となる複数の区間内最大ディスプレイサイズを含む付属情報とが記録された立体動画ファイルを読み取り、該立体動画ファイルから前記立体動画及び付属情報を取得するステップと、
出力先の立体ディスプレイのディスプレイサイズを取得するステップと、
前記取得された前記立体ディスプレイのディスプレイサイズと前記複数の区間内最大ディスプレイサイズとを比較し、前記立体ディスプレイのディスプレイサイズが前記複数の区間内最大ディスプレイサイズよりも大きいか否かを、前記複数の区間内最大ディスプレイサイズ毎に判別する判別ステップと、
前記判別ステップにより前記複数の区間内最大ディスプレイサイズのうちの前記立体ディスプレイのディスプレイサイズ以下と判別された区間内最大ディスプレイサイズに対応する2つの視点画像を、前記N視点の視点画像から選択する選択ステップと、
前記取得した立体動画を前記立体ディスプレイに出力する際に、前記選択ステップにより選択された2つの視点画像からなる立体動画を出力するステップと、
を実行する立体動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体。 - 立体動画再生装置が、
N(N:3以上の整数)視点の視点画像からなる立体画像が時間軸方向に連続している立体動画と、前記N視点の視点画像のうちの任意の2つの視点画像の組み合わせからなる複数の立体画像に対応し、かつ各立体動画の時間軸方向に連続する所定の区間毎に対応する区間内最大視差量であって、各立体動画のフレーム毎の遠景側の最大視差量のうち、該立体動画の時間軸方向に連続する所定の区間内でそれぞれ最大となる複数の区間内最大視差量を含む付属情報とが記録された立体動画ファイルを読み取り、該立体動画ファイルから前記立体動画及び付属情報を取得するステップと、
出力先の立体ディスプレイのディスプレイサイズを取得するステップと、
前記立体動画の所定の区間毎に対応して取得した複数の区間内最大視差量と前記取得した立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記複数の区間内最大視差量に対応する前記所定の区間内の複数の立体動画を前記立体ディスプレイに表示する際に両眼融合可能か否かを、前記複数の区間内最大視差量毎かつ前記所定の区間毎に判別する判別ステップと、
前記判別ステップにより前記複数の区間内最大視差量のうちの両眼融合可能と判別された区間内最大視差量に対応する2つの視点画像を、前記N視点の視点画像から選択する選択ステップと、
前記取得した立体動画を前記立体ディスプレイに出力する際に、前記選択ステップにより選択された2つの視点画像からなる立体動画を出力するステップと、
を実行する立体動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012555698A JP5486697B2 (ja) | 2011-02-03 | 2011-12-01 | 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011022047 | 2011-02-03 | ||
JP2011022047 | 2011-02-03 | ||
PCT/JP2011/077760 WO2012105121A1 (ja) | 2011-02-03 | 2011-12-01 | 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法 |
JP2012555698A JP5486697B2 (ja) | 2011-02-03 | 2011-12-01 | 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5486697B2 true JP5486697B2 (ja) | 2014-05-07 |
JPWO2012105121A1 JPWO2012105121A1 (ja) | 2014-07-03 |
Family
ID=46602353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012555698A Expired - Fee Related JP5486697B2 (ja) | 2011-02-03 | 2011-12-01 | 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9210394B2 (ja) |
JP (1) | JP5486697B2 (ja) |
CN (1) | CN103339947B (ja) |
WO (1) | WO2012105121A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011136137A1 (ja) * | 2010-04-28 | 2011-11-03 | 富士フイルム株式会社 | 立体撮像装置及びその制御方法 |
WO2012101916A1 (ja) | 2011-01-25 | 2012-08-02 | 富士フイルム株式会社 | 立体動画処理装置、立体動画処理プログラム及びその記録媒体、立体撮像装置並びに立体動画処理方法 |
JP2015207802A (ja) * | 2014-04-17 | 2015-11-19 | ソニー株式会社 | 画像処理装置および画像処理方法 |
KR102250087B1 (ko) * | 2016-10-11 | 2021-05-10 | 삼성전자주식회사 | 영상을 처리하는 방법, 디바이스 및 기록매체 |
JP7140517B2 (ja) | 2018-03-09 | 2022-09-21 | キヤノン株式会社 | 生成装置、生成装置が行う生成方法、及びプログラム |
JP7294776B2 (ja) | 2018-06-04 | 2023-06-20 | オリンパス株式会社 | 内視鏡プロセッサ、表示設定方法、表示設定プログラムおよび内視鏡システム |
JP7218105B2 (ja) * | 2018-06-20 | 2023-02-06 | キヤノン株式会社 | ファイル生成装置、ファイル生成方法、処理装置、処理方法、及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09121370A (ja) * | 1995-08-24 | 1997-05-06 | Matsushita Electric Ind Co Ltd | 立体tv装置 |
JP2008103820A (ja) * | 2006-10-17 | 2008-05-01 | Sharp Corp | 立体画像処理装置 |
JP2008172342A (ja) * | 2007-01-09 | 2008-07-24 | Fujifilm Corp | 立体画像記録装置および立体画像記録方法 |
JP2010098479A (ja) * | 2008-10-15 | 2010-04-30 | Sony Corp | 表示装置、表示方法及び表示システム |
WO2011136191A1 (ja) * | 2010-04-28 | 2011-11-03 | 富士フイルム株式会社 | 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6005607A (en) | 1995-06-29 | 1999-12-21 | Matsushita Electric Industrial Co., Ltd. | Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus |
JP3978392B2 (ja) | 2002-11-28 | 2007-09-19 | 誠次郎 富田 | 立体映像信号生成回路及び立体映像表示装置 |
JP2005073049A (ja) * | 2003-08-26 | 2005-03-17 | Sharp Corp | 立体映像再生装置および立体映像再生方法 |
JP5563250B2 (ja) * | 2009-06-30 | 2014-07-30 | 株式会社ジャパンディスプレイ | 立体画像表示装置 |
-
2011
- 2011-12-01 JP JP2012555698A patent/JP5486697B2/ja not_active Expired - Fee Related
- 2011-12-01 CN CN201180066747.1A patent/CN103339947B/zh not_active Expired - Fee Related
- 2011-12-01 WO PCT/JP2011/077760 patent/WO2012105121A1/ja active Application Filing
-
2013
- 2013-07-30 US US13/954,699 patent/US9210394B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09121370A (ja) * | 1995-08-24 | 1997-05-06 | Matsushita Electric Ind Co Ltd | 立体tv装置 |
JP2008103820A (ja) * | 2006-10-17 | 2008-05-01 | Sharp Corp | 立体画像処理装置 |
JP2008172342A (ja) * | 2007-01-09 | 2008-07-24 | Fujifilm Corp | 立体画像記録装置および立体画像記録方法 |
JP2010098479A (ja) * | 2008-10-15 | 2010-04-30 | Sony Corp | 表示装置、表示方法及び表示システム |
WO2011136191A1 (ja) * | 2010-04-28 | 2011-11-03 | 富士フイルム株式会社 | 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103339947A (zh) | 2013-10-02 |
CN103339947B (zh) | 2014-07-30 |
US20130315558A1 (en) | 2013-11-28 |
WO2012105121A1 (ja) | 2012-08-09 |
US9210394B2 (en) | 2015-12-08 |
JPWO2012105121A1 (ja) | 2014-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5449537B2 (ja) | 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置 | |
JP5449536B2 (ja) | 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置 | |
JP4875225B2 (ja) | 立体撮像装置 | |
JP5584677B2 (ja) | 立体撮像装置及び画像補正方法 | |
JP5166650B2 (ja) | 立体撮像装置、画像再生装置及び編集ソフトウエア | |
JP5486697B2 (ja) | 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法 | |
JP5449535B2 (ja) | 立体撮像装置及びその制御方法 | |
JP5466773B2 (ja) | 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法 | |
JP5750457B2 (ja) | 立体動画処理装置、立体動画処理プログラム及びその記録媒体、立体撮像装置並びに立体動画処理方法 | |
JP5580486B2 (ja) | 画像出力装置、方法およびプログラム | |
JP5571257B2 (ja) | 画像処理装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5486697 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |