JP5767715B2 - 撮像装置、撮像方法及びプログラム - Google Patents
撮像装置、撮像方法及びプログラム Download PDFInfo
- Publication number
- JP5767715B2 JP5767715B2 JP2013536160A JP2013536160A JP5767715B2 JP 5767715 B2 JP5767715 B2 JP 5767715B2 JP 2013536160 A JP2013536160 A JP 2013536160A JP 2013536160 A JP2013536160 A JP 2013536160A JP 5767715 B2 JP5767715 B2 JP 5767715B2
- Authority
- JP
- Japan
- Prior art keywords
- stereoscopic
- image
- unit
- guide frame
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 148
- 238000001514 detection method Methods 0.000 claims description 27
- 230000004397 blinking Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 44
- 238000000034 method Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000001994 activation Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/18—Signals indicating condition of a camera member or suitability of light
- G03B17/20—Signals indicating condition of a camera member or suitability of light visible in viewfinder
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
本発明は、適正な視差を持つ立体画像を容易に撮影できるようにユーザを視覚的にアシストすることができる撮像装置、撮像方法、プログラム及び記録媒体に関する。
立体視可能な画像表示を行うための左右の視差画像を撮影する場合、被写体が撮影装置に近すぎると視差ズレが大きくなり、立体表示画像(3D画像)がブレてしまう。一方、被写体が撮影装置から遠すぎると視差ズレが小さくなり、立体感が得られなくなるという現象が発生する。
特許文献1には、被写体の位置を検出し、その被写体の位置が立体視可能な視差画像を撮影可能な立体視可能範囲内であるかどうかを判断し、被写体の位置が立体視可能範囲内であると判断した場合に所定時間後に視差画像の撮影を実行する構成が開示されている。
特許文献2には、複数視点の画像が立体視に適しているか否かを判定し、立体視に不適正であると判定した場合、複数視点の画像を2次元画像に変換する構成が開示されている。
特許文献3には、表示画面で3D画像をユーザに立体視させるための左右の眼の適正位置を示す眼位置ガイド像を、モニタ表示されるユーザの映像に重ね合わせる構成が開示されている。
しかしながら、どこを見て撮影すればよいのかユーザは分からない、どの状態やシーンで好適な立体画像を得られるのかユーザは分からない、どの状態やシーンで立体視に適さないのかユーザは分からない(撮影してみないと分からない)、という課題がある。
特許文献1の構成では、被写体の位置が立体視可能範囲である場合に自動的に撮像することが可能であるが、適正な視差を持つ立体画像を容易に撮影できるようにユーザを視覚的にアシストすることはできない。
特許文献2の構成では、立体視に不適正である場合に2次元画像を出力することは可能であるが、適正な視差を持つ立体画像を容易に撮影できるようにユーザを視覚的にアシストすることはできない。
特許文献3の構成では、ユーザの眼の位置を立体視に適した位置に移動させるように導くことは可能であるが、適正な視差を持つ立体画像を容易に撮影できるようにユーザを視覚的にアシストすることはできない。
本発明はこのような事情に鑑みてなされたもので、適正な視差を持つ立体画像を容易に撮影できるようにユーザを視覚的にアシストすることができる撮像装置、撮像方法、プログラム及び記録媒体を提供することを目的とする。
前記目的を達成するために、本発明の一態様に係る撮像装置は、被写体を撮像して複数の視点画像からなる立体画像を取得する撮像部と、前記撮像部によって取得された前記立体画像を表示可能な表示部と、前記表示部に所定のサイズの第1のガイド枠を表示させる表示制御部と、前記撮像部によって取得された前記立体画像から特定の被写体像を検出する被写体像検出部と、前記被写体像検出部によって検出された被写体像に対応する被写体の距離に関する情報であって前記撮像部からの前記被写体までの距離に関する情報を取得する距離情報取得部と、前記距離情報取得部によって取得された前記距離に関する情報に基づいて、前記第1のガイド枠内の前記被写体像が立体視に適しているか否かを判定する立体視適否判定部と、を備え、前記表示制御部は、前記立体視適否判定部によって前記第1のガイド枠内の前記被写体像が立体視に適していると判定された場合、前記立体視に適している前記被写体像に前記第1のガイド枠の位置及びサイズのうち少なくともいずれかひとつを合わせる。なお、前記表示部での動画像の表示は、3次元表示(立体視表示)する場合に特に限定されず、2次元表示(平面表示)する場合を含む。
この構成によれば、立体視画像の失敗写真の削減、抑制をすることができるだけでなく、ユーザは、表示部のどこを見て撮影すればよいかをガイド枠のアシストにより容易に確認することができるとともに、立体視に適していることを視覚的に容易に確認することができる。また、この撮像装置を実現するために従来の撮像装置に新規部品の追加する必要がないので、コスト抑制効果も得られる。
一態様にて、前記表示制御部は、前記第1のガイド枠に加えて前記第1のガイド枠よりもサイズの大きい第2のガイド枠を前記表示部に表示させて、前記被写体像検出部によって前記第2のガイド枠内から前記立体視適否判定部によって立体視に適していると判断された前記被写体像とは異なる他の被写体像が検出された場合、前記第2のガイド枠を該他の被写体像に合わせる。
一態様にて、前記立体視適否判定部は、前記第2のガイド枠内の前記他の被写体像が立体視に適しているか否かの判定を行い、前記表示制御部は、前記立体視適否判定部によって前記第2のガイド枠内の前記他の被写体像が立体視に適していると判定された場合、前記立体視に適している前記他の被写体像に前記第2のガイド枠を合わせる。
一態様にて、ユーザから撮影指示の入力を受け付ける撮影指示入力部と、前記立体視適否判定部によって前記立体画像が立体視に適していると判定された場合に、前記撮影指示入力部に撮影指示が入力されたとき、前記撮像部によって取得された前記立体画像を所定の記録媒体に記録する記録部と、を備える。
一態様にて、前記立体視適否判定部によって前記立体画像が立体視に適していると判定された場合に前記立体画像が立体視に適していることを報知する立体視適正報知部と、前記立体視適正報知部によって前記立体画像が立体視に適していることを報知してから一定の時間が経過したとき、前記撮像部によって取得された前記立体画像を所定の記録媒体に記録する記録部を更に備える。即ち、自動でシャッタを切るため、シャッタ操作に因るブレを軽減できる。
一態様にて、前記表示制御部は、まず前記複数の視点画像のうちで一視点画像を前記表示部に平面表示させ、この平面表示した一視点画像に前記ガイド枠を重ねて前記表示部に平面表示させ、前記立体視適否判定部によって前記被写体像が立体視に適していると判定された場合、前記立体画像を立体視表示する。
一態様にて、前記立体視適否判定部は、前記ガイド枠内にある前記被写体像の数が閾値を超えているとき、前記立体画像が立体視に適さないと判定する。
一態様にて、前記立体視適否判定部は、前記ガイド枠内にある前記被写体像のサイズが第1の閾値以下であるとき、又は、前記ガイド枠内にある前記被写体像のサイズが前記第1の閾値よりも大きな第2の閾値を越えているとき、前記立体画像が立体視に適さないと判定する。
一態様にて、前記立体視適否判定部は、前記ガイド枠内に複数の前記被写体像がある場合、前記複数の被写体像のうちで被写体距離の最大値と最小値との差を被写体距離レンジとして算出し、前記被写体距離レンジが許容範囲内でない場合、立体視に適さないと判定する。
一態様にて、前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、前記立体画像が立体視に適さないことを報知する立体視不適正報知部を更に備える。即ち、立体視に適さないことを視覚的に確認できる。
一態様にて、前記立体視不適正報知部は、前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、前記表示部の表示を立体視表示から平面表示に切り替える。
一態様にて、前記立体視不適正報知部は、前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、前記表示部に表示させた前記ガイド枠の色を切り替える制御又は前記ガイド枠を点滅させる制御を行う。
一態様にて、前記立体視不適正報知部は、前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、前記報知部として、発光ダイオード、前記表示部及び音出力デバイスのうちいずれかを用いて報知する。
一態様にて、前記表示制御部による前記ガイド枠の表示及び前記立体視適否判定部による立体視適否判定を行うか否か、前記被写体像検出部で検出する被写体像の種類、及び、前記表示部に表示させるガイド枠の種類のうち、少なくともひとつの設定の入力を受け付ける設定入力部を更に備える。
また、本発明の別の態様に係る撮像方法は、被写体を撮像して複数の視点画像からなる立体画像を取得する撮像部と、前記撮像部によって取得された前記立体画像を立体視表示可能な表示部とを用いる撮像方法であって、前記表示部に所定のサイズのガイド枠を表示させるガイド枠表示ステップと、前記撮像部によって取得された前記立体画像から特定の被写体像を検出する被写体像検出ステップと、前記被写体像検出ステップによって検出された被写体像に対応する被写体の距離に関する情報であって前記撮像部からの前記被写体の距離に関する情報を取得する距離情報取得ステップと、前記距離情報取得ステップによって取得された前記距離に関する情報に基づいて、前記ガイド枠内の前記被写体像が立体視に適しているか否かを判定する立体視適否判定ステップと、前記立体視適否判定ステップによって前記ガイド枠内の前記被写体像が立体視に適していると判定された場合、前記立体視に適している前記被写体像に前記ガイド枠の位置及びサイズの少なくともいずれかを合わせるステップとを含む。
この撮像方法によっても、ユーザは表示部のどこを見て撮影すればよいかをガイド枠のアシストにより容易に確認することができるとともに、立体視に適していることを視覚的に容易に確認することができる。
また、本発明の更なる別の態様は、前記撮像方法をプロセッサ(例えば、撮像装置に搭載されたプロセッサ)に実行させるプログラムを提供する。本発明に係るプログラムをプロセッサに実行させることにより、前記撮影方法と同様の効果を達成することが出来る。また、本発明の更なる別の態様は、前記撮像方法をプロセッサに実行させるプログラムを記録する、読み取り可能な記録媒体を提供する。本発明に係る記録媒体からプロセッサにプログラムを読み取って実行させることにより、前記撮影方法と同様の効果を達成することが出来る。
本発明によれば、適正な視差を持つ立体画像を容易に撮影できるようにユーザを視覚的にアシストすることができる。
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
図1は、本発明に係る撮像装置の一例の全体構成図である。
本例の撮像装置10は、2つの撮影部12−1及び12−2を備えている。なお、撮影部12は2つ以上設けてもよい。
撮像部12−1、12−2は、被写体を撮像して複数の視点画像からなる立体画像を取得する。
CPU(Central Processing Unit)14は、プログラムに従って、撮像装置10全体の動作を統括制御する制御デバイスである。
本例のCPU14は、信号処理ICによって構成されている。この信号処理ICは、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)及びワークメモリ(RAM(Random Access Memory))を含んでいる。ROMには、CPU14が実行する制御プログラム及び制御に必要な各種データ等が格納される。EPROMには、ユーザ設定情報等の撮像装置10の動作に関する各種設定情報等が格納されるものであり、EEPROMとしては電源を切っても記憶内容が消去されない不揮発性メモリが使用される。ワークメモリは、CPU14の演算作業用領域及び画像データの一時記憶領域を含んでいるものであり、通常はコスト面から揮発性メモリであるダイナミックRAMが使用される。
操作部16は、ユーザの指示入力を受け付ける操作デバイスである。図2は、図1の撮像装置10の本体の背面を示す。図2に示すように、撮像装置10の本体の背面には、操作部16の構成要素として、撮影指示の入力を受け付けるレリーズスイッチ50と、ズーミング指示の入力を受け付けるズームレバー51と、動作モードの切り替え指示の入力を受け付けるモードスイッチ52a,52b,52cと、各種の色で発光可能なLED53(発光ダイオード)と、視差調整の指示入力を受け付ける視差調整ボタン54と、3D(3次元)撮影モード及び2D(2次元)撮影モードの切り替え指示の入力を受け付ける3D/2D切り替えボタン54と、メニュー表示指示の入力等を受け付けるMENU/OKボタン55と、上下左右の4方向での指示入力を受け付ける十字ボタン56、表示指示等の指示入力を受け付けるDISP/OKボタン57等が配設されている。また、撮像装置10の本体の前面に、撮像装置10の電源オン及びオフの切り替え指示の入力を受け付ける電源スイッチが配設されている。
モードスイッチ52a,52b,52cは、撮像装置10の動作モードの切り替え入力を行うための操作手段である。本例では、再生モードと撮影モード(2D撮影モード、3D撮影モード)との切り替え指示の入力を受け付ける撮影/再生切り替えボタン52aと、3D撮影モードと2D撮影モードとの切り替え指示の入力を受け付ける3D/2D切り替えボタン52bと、動画撮影と静止画撮影との切り替え指示の入力を受け付ける動画/静止画切り替えボタン52cを含んで、モードスイッチが構成されている。
レリーズスイッチ50は、いわゆる「半押し」と「全押し」とからなる2段ストローク式のスイッチで構成されている。静止画を撮影するモードの時には、レリーズスイッチ50が半押しされると(S1オン)、撮影準備処理(例えば、自動露出調整処理(AE(Automatic Exposure))、自動焦点合わせ処理(AF(Auto Focus))、自動ホワイトバランス調整処理(AWB(Automatic White Balance)))が行われる。そして、レリーズスイッチ50が全押しされると(S2オン)、静止画の撮影・記録処理が行われる。また、動画を撮影するモードの時には、レリーズスイッチ50が全押しされると動画の撮影が開始され、再度全押しされると動画の撮影が終了する。なお、静止画撮影用のレリーズスイッチ及び動画撮影用のレリーズスイッチを別々に設けてもよい。
また、レリーズスイッチ50の外周にはズームレバー51が設けられている。ズームレバー51は、撮影部12−1及び12−2のズーミング操作を行うための操作手段であり、望遠側へのズーミング指示及び広角側へのズーミング指示入力が可能である。
表示部18は、例えば、カラー液晶パネル(LCD(Liquid Crystal Display))を備える表示装置である。表示部18は、撮影された画像を表示する表示部として機能するとともに、撮像装置10の各種機能に関する設定を行うときのユーザインターフェースとしても機能する。また、表示部18は、撮影モード時に画角を確認するためのライブビュー画像(動画)を表示する電子ファインダとして機能する。
表示部18は、撮像部12−1、12−2によって取得された立体画像を立体視表示可能な表示デバイスである。本例の表示部18は、3D撮影モード時に、ユーザ、観察者が立体視可能な立体(3D)画像を表示する機能を有する。3D画像の表示方式としては、例えば、ライト・ディレクション・コントロール・システム(Light Direction Control System)が採用される。ライト・ディレクション・コントロール・システムでは、左眼用の画像データをLCDに表示して、バックライトパネルによってユーザの左眼に届くように指向性を持たせた照明光をLCDに照射する処理と、右眼用の画像データをLCDに表示して、バックライトパネルによってユーザの右眼に届くように指向性を持たせた照明光をLCDに照射する処理とを交互に(例えば、1/60秒間隔で)繰り返す。これにより、相互に視差のある左眼用画像と右眼用画像が、ユーザの左右の眼によって交互に観察可能になるので、ユーザは立体的な画像を観察することができる。立体視用画像を表示する方法にはたくさんの方式があり、どれを使用してもよい。
記録部20は、撮影された画像ファイル及び各種のデータを記録する。記録部20は、例えば、SDメモリカード(登録商標)又はxDピクチャカード(登録商標)のような着脱可能な記録メディアでもよいし、撮像装置10の本体に内蔵されているメモリでもよい。ただし、撮像装置10の本体に内蔵されているメモリを使用する場合は、カメラ本体の電源を切った場合でも画像が消去されないように不揮発性メモリを使用する必要がある。
スピーカ21は、音出力を行う音出力デバイスである。
次に、撮像装置10の撮影機能について説明する。なお、図1では、各撮影部12−1及び12−2にそれぞれ符号1及び2を付して区別しているが、各部の機能は略同様であるため、以下の説明では、ハイフォン及びそれに続く符号1及び2を適宜省略して説明する。
各撮影部12は、フォーカスレンズ24、ズームレンズ26、絞り28及びメカシャッタ30を含む撮影レンズ(撮影レンズ)22を備えている。本実施形態では、撮影レンズ22−1及び22−2の輻輳角θcは固定されている。
フォーカスレンズ24及びズームレンズ26は、各撮影部12の光軸に沿って前後に移動する。CPU14は、光学系駆動部32に設けられたフォーカスアクチュエータの動作を制御して、フォーカスレンズ24の位置を調整してフォーカシングを行う。また、CPU14は、光学系駆動部32に設けられたズームアクチュエータの動作を制御して、ズームレンズ26の位置を調整してズーミングを行う。また、CPU14は、光学系駆動部32に設けられた絞りアクチュエータの駆動を制御することにより、絞り28の開口量(絞り値)を調整して撮像素子34への入射光量を制御する。
メカシャッタ30は、撮像素子34からデータを読み出すときに閉じられる。これにより、データ読み出し時に撮像素子34に入射する光が遮光される。
CPU14は、3D撮影モード時に、各撮影部12−1及び12−2の撮影レンズ22−1及び22−1(即ち、フォーカスレンズ24−1及び24−2、ズームレンズ26−1及び26−2、絞り28−1及び28−2)を同期させて駆動する。即ち、撮影部12−1及び12−2は、3D撮影モード時に、常に同じ焦点距離(ズーム倍率)に設定され、常に同じ入射光量(絞り値)となるように絞りが調整される。更に、3D撮影モード時には、常に同じ被写体にピントが合うように焦点調節が行われる。
撮像素子34は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。なお、撮像素子34としては、CMOSイメージセンサ以外の撮像素子を用いることもできる。例えば、CCD(Charge Coupled Device)イメージセンサが挙げられる。
撮像素子34の受光面には、多数のフォトダイオードが2次元的に配列されている。各フォトダイオードには所定の色(例えば、赤(R)、緑(G)、青(B)の3原色)のカラーフィルタが所定の配列となるように配置されている。なお、カラーフィルタの色はR,G,Bの3原色に限定されるものではなく、例えば、補色系のカラーフィルタを用いることも可能である。撮影部12を介して撮像素子34の受光面上に被写体光が結像されると、この被写体光はフォトダイオードによって入射光量に応じた信号電荷に変換される。撮像素子34は、電子シャッタ機能を備えており、CPU14はフォトダイオードへの電荷蓄積時間を制御することにより、露光時間(シャッタ速度)を制御する。各フォトダイオードに蓄積された信号電荷は、CPU14の指令に従ってタイミング・ジェネレータ(TG)36から与えられる駆動パルスに基づいて、電荷量に応じた画像信号(R、G、B信号)として撮像素子34から順次読み出される。撮像素子34から読み出された画像信号は、アンプ38を経てアナログ信号処理部40に入力される。
アナログ信号処理部40は、撮像素子34から出力されたR、G、B信号に含まれるリセットノイズ(低周波)を除去するための相関2重サンプリング(CDS(Correlated Double Sampling))回路、R、G、B信号を増幅して一定レベルの大きさにコントロールするためのAGC(Automatic Gain Control)回路、アナログ信号をデジタル信号に変換するA/D変換器を含んでいる。撮像素子34から出力されるアナログのR、G、B信号は、アナログ信号処理部40によって相関2重サンプリング処理されるとともに増幅される。アナログ信号処理部40におけるR、G、B信号の増幅ゲインは撮影感度(ISO感度)に相当する。CPU14は、被写体の明るさ等に応じて、この増幅ゲインを調整することにより撮影感度を設定する。なお、感度が等しい2つの撮像素子を用いて画像を撮影する場合(3D撮影モード)、このゲインは、[1]系アナログ信号処理部40−1と[2]系アナログ信号処理部40−2とで同じ値に設定される。
ゲイン調整されたアナログのR、G、B信号は、A/D変換器によってデジタルのR、G、B信号に変換された後、バッファメモリを介して信号処理IC14に入力される。
上記のようにして生成されたデジタルのR、G、B信号は、信号処理ICによって、所定の処理(例えば、単板撮像素子のカラーフィルタ配列に伴う色信号の空間的なズレを補間してR、G、Bの色信号を作る処理)、ホワイトバランス調整処理、階調変換(ガンマ補正)処理及び輪郭補正処理が施されて、輝度信号(Y信号)及び色差信号(Cr、Cb信号)、即ち、Y/C信号に変換される。
静止画や動画を撮影する場合の画角を確認するための画像であるライブビュー画像(スルー画)を表示部18に表示する場合、撮像素子34に蓄積された画像信号が所定時間間隔で間引き読み出しされる。この読み出された画像信号は、信号処理ICによって、所定の処理が施されるとともに、Y/C信号に変換される。そして、このY/C信号は、表示部18の表示に適した信号(例えば、R、G、B信号)に変換された後、1フレーム分ずつ表示部18に出力される。これにより、表示部18に画角確認用の動画(スルー画)が表示される。2D撮影モード時には、1つの撮影部12のみからスルー画用の画像信号の読み出しが行われる。一方、3D撮影モード時には、左右の撮影部12−1及び12−2の両方からスルー画用の画像信号の読み出しが行われ、両方の画像を用いて3Dのスルー画(動画)の表示が行われる。
なお、3D撮影モード時には、設定によりスルー画を2D表示とすることができる。この場合、左右の撮影部12−1及び12−2のいずれか一方から得られた画像を用いて作成されたスルー画が表示される。3D撮影モード時において被写体の検出(顔検出)を行う場合、当該被写体が立体視適正範囲内にいるかどうかに応じて、上記2Dのスルー画から検出された被写体に付される図形(例えば、顔検出枠)の色を変えるようにしてもよい。
次に、画像の撮影及び記録処理について説明する。2D撮影モード時には、所定の1つの撮影部(例えば、12−1)により記録用の画像が撮影される。なお、撮影部12−1、12−2(撮影レンズ22、撮像素子34等)の特性を互い異なるものにして、2D撮影モード時にどちらの撮影部を使用するかをユーザが選択できるようにしてもよい。
2D撮影モード時に、撮影部12−1によって撮影された画像は、信号処理ICによって圧縮される。圧縮された画像データは、所定形式の画像ファイルとして記録部20に記録される。例えば、静止画についてはJPEG(Joint Photographic Experts Group)、動画についてはMPEG2又はMPEG4、H.264等の規格に準拠した圧縮画像ファイルとして記録される。ただし、圧縮方式はこれらに限るものではない。
3D撮影モード時には、撮影部12−1及び12−2によって同期して画像が撮影される。上記3D撮影モード時には、AF処理及びAE処理は、撮影部12−1及び12−2のいずれか一方によって取得された画像信号に基づいて行われる。上記3D撮影モード時には、各撮影部12−1及び12−2によって撮影された2視点の画像は、それぞれ圧縮されて1つのファイルに格納されて記録部20に記録される。ファイルには、2視点の圧縮画像データとともに、被写体距離情報、撮影部12の撮影レンズの間隔及び輻輳角に関する情報が格納される。
再生モード時には、記録部20に記録されている最終の画像ファイル(最後に記録された画像ファイル)が読み出されて、信号処理ICによって非圧縮のY/C信号に伸張される。この非圧縮のY/C信号は、R、G、B信号に変換された後表示部18に出力される。これにより、記録部20に記録されている画像ファイルが表示部18に表示される。
3D撮影モードで撮影された画像の再生時には、設定により3D表示と2D表示とを選択することができる。画像中から被写体の検出(顔検出)を行う場合、撮影時に当該被写体が立体視適正範囲内にいたかどうかに応じて、上記2D表示から検出された被写体に付される図形(例えば、顔検出枠)の色を変えるようにしてもよい。
次に、図1に示した撮像装置10の機能的な構成を、図3を用いて説明する。
図3に示すように、CPU14は、表示部18に所定のサイズのガイド枠(メインガイド枠及びサブガイド枠)を表示させる表示制御部61と、撮像部12によって取得された立体画像から特定の被写体像を検出する被写体像検出部62と、被写体像検出部62によって検出された被写体像に対応する被写体の距離に関する情報であって、撮像部12からの被写体までの距離に関する情報(以下単に「距離情報」ということもある)を取得する距離情報取得部63と、距離情報取得部63によって取得された距離情報に基づいて、ガイド枠内の被写体像が立体視に適しているか否かを判定することで立体画像が立体視に適しているか否かを判定する立体視適否判定部64と、立体画像が立体視に適していること及び立体画像が立体視に適していないことを報知する報知制御部66(立体視適正報知制御部及び立体視不適正報知制御部)を備える。表示制御部61は、立体視適否判定部64によってガイド枠内の被写体像が立体視に適していると判定された場合、立体視に適している被写体像にガイド枠の位置及びサイズのうち少なくともいずれかひとつを合わせる。
なお、「特定の被写体像」は、本実施形態において、被写体像検出部62によって立体画像中から検出される被写体の像である。「特定の被写体像」の具体例は、顔画像が代表例として挙げられるが、顔画像以外の他のオブジェクト(被写体像)や、閾値以上の高周波成分(エッジ)を有する被写体像でもよい。
また、「距離に関する情報」は、撮像部12から被写体までの距離を直接的に示す数値(被写体距離)には限定されない。「距離に関する情報」は、例えば、CPU14によって行う撮像部12のフォーカスレンズ24の合焦制御により得られる情報であってもよく、立体画像を構成する複数の視点画像に基づいてCPU14によって生成される視差マップから得られる情報であってもよい。視差マップについては、複数の視点画像間で画素ごとに対応点検出を行うことにより得られる。
「ガイド枠」は、画像中の所定の領域を示す表示である。なお、「ガイド枠」は、本明細書に記載した例には限定されない。
表示制御部61、被写体像検出部62、距離情報取得部63、立体視適否判定部64、報知制御部66は、例えばマイクロコンピュータ・デバイス及び電子回路によって構成される。
次に、立体視適否判定部64によって行われる立体視適否判定について説明する。以下では、立体画像中の被写体像の視差が立体視に適している範囲を「立体視適正範囲」と称する。
図4を用いて、立体視適正範囲の算出例を説明する。図4において、SBは基線長(ステレオベース)であり、Pcはクロスポイントであり、Pnは立体視適正範囲R内で最も撮像装置に近い点(以下「近点」という)であり、Pfは立体視適正範囲R内で最も遠い点(以下「遠点」という)であり、θcはクロスポイントPcの角度(以下「輻輳角」という)であり、図4では左光学系の光軸と右光学系の光軸のなす角である。θf及びθnは許容視差量を規定する角度である。即ち、立体視適正範囲Rは、撮像装置1の本体前面(撮像部12が配置されている基準面である)から近点Pnまでの距離Dnと、撮像装置1の本体前面から遠点Pfまでの距離Dfとの間の範囲である。
立体視適正範囲Rの算出例を簡略に説明するため、図4において、右光学系(例えば図1の撮影レンズ22−1)の光軸方向を示す角度、つまり、右光学系の光軸とSBのなす角をθRとし、左光学系(例えば図1の撮影レンズ22−2)の光軸方向を示す角度、つまり、左光学系の光軸とSBのなす角をθLとする。仮にθL=90[度]とした場合、近点Pnまでの距離Dn及び遠点Pfまでの距離Dfは次式で表される。
[数1]
Dn=SB×tan(θR−θn)
Df=SB×tan(θR+θf)
ここで、本例ではθR=90−θc[度]である。よって、立体視適正範囲Rを示すDn〜Dfは、基線長SBと、輻輳角θcと、許容視差量を規定する角度θf及びθnをパラメータとして、算出できる。
Dn=SB×tan(θR−θn)
Df=SB×tan(θR+θf)
ここで、本例ではθR=90−θc[度]である。よって、立体視適正範囲Rを示すDn〜Dfは、基線長SBと、輻輳角θcと、許容視差量を規定する角度θf及びθnをパラメータとして、算出できる。
θL<90[度]である場合における立体視適正範囲Rの算出については説明を省略するが、θL<90[度]の場合でも、基線長SB、輻輳角θc、及び許容視差量を規定する角度θf及びθnをパラメータとして、立体視適正範囲Rを示すDn及びDfを算出すればよい。
図4に示したように立体画像中の特定の被写体像が立体視に適しているか否かの判定は、特定の被写体像に対応する被写体の撮像部12からの距離が立体視適正範囲R内にあるか否かを判定することにより行うことができる。
なお、本発明の理解を容易にするため、実空間における被写体の距離を用いて立体視適正範囲を説明したが、本発明における立体視適否の判定は、実空間における被写体の距離を用いる場合には特に限定されない。被写体の距離に対応する情報であれば、どのような情報を用いてもよい。
[第1実施形態]
図5は、第1実施形態における撮像処理例の流れを示すフローチャートであって、図1〜3に示した撮像装置における撮像処理の一例の流れを示すフローチャートである。本処理は、CPU14によって、プログラムに従って実行される。
図5は、第1実施形態における撮像処理例の流れを示すフローチャートであって、図1〜3に示した撮像装置における撮像処理の一例の流れを示すフローチャートである。本処理は、CPU14によって、プログラムに従って実行される。
まず、電源起動処理を実行する(ステップS2)。
次に、表示部18に、所定のサイズのメインガイド枠(第1のガイド枠)及びサブガイド枠(第2のガイド枠)を表示させる(ステップS4)。サブガイド枠はメインガイド枠よりもサイズが大きい。
次に、被写体像検出部62によって、撮像部12によって取得された立体画像から特定の被写体像を検出する(ステップS6)。本例では、特定の被写体像として顔画像を検出するが、顔画像以外の他の被写体像や、閾値以上の高周波成分(例えばエッジ)を有する被写体像を、特定の被写体像として検出してもよい。
次に、検出された被写体像がメインガイド枠内にあるか否かを判定する(ステップS8)。なお、本例では、立体画像にメインガイド枠を重ねて表示しており、その立体画像中のメインガイド枠で示された領域内に、特定の被写体像(本例では顔画像)が存在しているか否かを判定する。
次に、距離情報取得部63によって、メインガイド枠内で検出された被写体像に対応する被写体の距離に関する情報(距離情報)を取得する(ステップS10)。ここで、距離情報は、撮像部12から被写体までの距離(被写体距離)に対応している情報であり、被写体距離を直接的に示す値であるか否かは問わない。
図6に示す例では、複数の被写体像(本例では顔画像)までの距離L1、L2、L3が距離情報取得部63によって取得される。これらのL1、L2、L3に対応した被写体像の視差を、立体画像から画像処理により検出してもよい。撮像部12のフォーカスレンズ24の合焦制御により得られた情報(フォーカス情報)を用いてもよいし、視差マップから得られる情報(視差情報)を用いてもよい。
次に、取得された距離情報に基づいて、メインガイド枠内の被写体像が立体視に適しているか否かを判定する(ステップS12)。
次に、表示制御部61によって、最も立体視に適している被写体像(以下「最適被写体像」という)に、メインガイド枠をフォーカスする(ステップS14)。
次に、表示制御部61によって、最も立体視に適している被写体像(以下「最適被写体像」という)に、メインガイド枠をフォーカスする(ステップS14)。
図7は、表示部18に、ガイド枠として、メインガイド枠80Mと、メインガイド枠80Mよりもサイズが大きいサブガイド枠80Sを表示した例を示している。本例では、2つのガイド枠(メインガイド枠80M、サブガイド枠80S)のそれぞれが、複数のコーナー画像(本例ではメインガイド枠80Mは2つのコーナー画像、サブガイド枠80Sは4つのコーナー画像)によって画像中の所定の領域を示している。メインガイド枠80Mの中心は立体画像の中心18Cに一致している。つまり、メインガイド枠80Mは、表示部18の画面の中心18Cに表示されている。
図8A及び8Bは、メインガイド枠80M内に複数の被写体像が検出された場合の処理を説明する図である。図8Aでは、メインガイド枠80M内から複数の被写体像101、102(本例では顔画像)が含まれている。図8Aのようにメインガイド枠80M内から複数の被写体像101、102が検出された場合、表示制御部61はメインガイド枠80M内の複数の被写体像101、102のうちで最も立体視に適している被写体像を最適被写体像101として選択する。立体視に適しているとは、図4に符号Rで示した立体視適正範囲内に存在する被写体の被写体像のうちで、例えば視差が最も大きな被写体像である。図4において、視差が最も大きいとは、立体視適正範囲R内であって、クロスポイントPcからの距離が最も大きな被写体に対応した被写体像である。言い換えると、立体画像を構成している複数の視点画像間で、視差量が許容視差量の範囲(図4の立体視適正範囲Rに対応するθR−θn〜θR+θfに対応する視差量範囲)内であって、視差量が最も大きい被写体像である。
そして、表示制御部61は、メインガイド枠80Mの位置及びサイズを、最適被写体像101の位置及びサイズに合わせるガイド枠フォーカス(以下単に「フォーカス」ということもある)を行う。なお、図8Bではメインガイド枠80Mの位置及びサイズの両方を変更しているが、一方のみを変更する場合もある。
次に、最適被写体像101以外の他の被写体像(以下「他の被写体像」という)がサブガイド枠80S内にあるか否かを判定する(ステップS16)。他の被写体像がサブガイド枠80S内にある場合にはステップS18に進み、ない場合にはステップS26に進む。
他の被写体像がサブガイド枠80S内にある場合、サブガイド枠80S内に他の被写体像が複数あるか否かを判定する(ステップS18)。
次に、サブガイド枠80S内の各被写体像に対応する被写体の距離に関する情報(距離情報)を取得する(ステップS20)。本例では、撮像部12から被写体までの距離を算出する。距離情報は、被写体に対する撮像部12のフォーカスレンズの合焦制御により得られた情報(フォーカス情報)や、立体画像を構成する複数の視点画像に基づいて生成される視差マップから得られた情報(視差情報)であってもよい。
次に、取得された距離情報に基づいて、サブガイド枠内の各被写体像が立体視に適しているか否かを判定する(ステップS22)。サブガイド枠内の被写体像が立体視に適しているか否かの判定は、メインガイド枠内の被写体像が立体視に適しているか否かの判定と同様に行ってもよい。
次に、立体視に適している被写体像のそれぞれに、サブガイド枠をフォーカスする(ステップS24)。つまり、図9A及び9Bに示すように、サブガイド枠80S内から最適被写体像101とは異なる他の被写体像であって立体視に適した被写体像(本例では103、104)が検出された場合、サブガイド枠80Sの位置及びサイズをその被写体像103、104に合わせて変更する。図9Bに示す例では、第3の被写体像103に位置及びサイズを合わせたサブガイド枠80S−1と、第4の被写体像104に位置及びサイズを合わせたサブガイド枠80S−2の二つに分割されて、サブガイド枠80Sが表示される。
次に、少なくともメインガイド枠80M内に、立体視に適した被写体像があることを、表示部18によって、ユーザに報知する(ステップS26)。
次に、操作部16によって、ユーザから撮影指示の入力を受け付けたか否かを判定する(ステップS28)。
操作部16に撮影指示が入力されたとき、撮像部12によって取得された立体画像に対して、所定の画像処理(信号処理)を行って、その画像処理された立体画像を記録部20によって所定の記録媒体に記録(保存)する(ステップS30)。
本実施形態では、立体視適否判定部64によって立体画像が立体視に適していると判定された場合に、操作部16(撮影指示入力部)に撮影指示が入力されたとき、撮像部12によって取得された立体画像が記録部20によって所定の記録媒体に記録される。
なお、被写体像に対するメインガイド枠及びサブガイド枠のフォーカス(ガイド枠の位置及びサイズのうち少なくとも一方を立体視に適した被写体像に合わせる表示制御)には、枠を変更する場合と、新しい枠で表示する場合とがある。
[第2実施形態]
図10は、第2実施形態における撮像処理例の流れを示すフローチャートである。本処理は、CPU14によって、プログラムに従って実行される。なお、ステップS2〜S26は、図5に示した第1実施形態における処理と同様であり、説明を省略する。
図10は、第2実施形態における撮像処理例の流れを示すフローチャートである。本処理は、CPU14によって、プログラムに従って実行される。なお、ステップS2〜S26は、図5に示した第1実施形態における処理と同様であり、説明を省略する。
ステップS42にて、一定の時間が経過するのを待つ。
ステップS44は、第1実施形態におけるステップS30と同様であり、撮像部12によって取得された立体画像に対して、所定の画像処理を行って、その画像処理された立体画像を記録部20によって所定の記録媒体に記録する。
本実施形態では、立体視適否判定部64によって立体画像が立体視に適していると判定された場合に、表示部18(立体視適正報知部)によって立体画像が立体視に適していることを報知してから一定の時間が経過したとき、撮像部12によって取得された立体画像が記録部20によって所定の記録媒体に記録される。
[第3実施形態]
図11は、第3実施形態における撮像処理例の流れを示すフローチャートである。本処理は、CPU14によって、プログラムに従って実行される。なお、ステップS2〜S24は、図5に示した第1実施形態における処理と同様であり、説明を省略する。
図11は、第3実施形態における撮像処理例の流れを示すフローチャートである。本処理は、CPU14によって、プログラムに従って実行される。なお、ステップS2〜S24は、図5に示した第1実施形態における処理と同様であり、説明を省略する。
ステップS52にて、メインガイド枠及びサブガイド枠内にある立体視に適した被写体像の数を、閾値と比較する。閾値以上である場合にはステップS54に進み、閾値未満でる場合にはステップS4に戻る。
ステップS54にて、第1実施形態におけるステップS30と同様に、撮像部12によって取得された立体画像に対して、所定の画像処理を行って、その画像処理された立体画像を記録部20によって所定の記録媒体に記録する。
本実施形態では、立体視適否判定部64によって立体画像が立体視に適していると判定された場合に、メインガイド枠及びサブガイド枠内にある立体視に適した被写体像の数が閾値で示された一定数以上であるとき、撮像部12によって取得された立体画像が記録部20によって所定の記録媒体に記録される。
[第4実施形態]
第4実施形態の撮像装置10では、最初の表示状態を2D表示とし、且つ予め表示部18上にガイド枠を設け、そのガイド枠内に被写体像が入り、立体視に適していると判定した場合、2D表示(「2次元表示」又は「平面表示」ともいう)を3D表示(「3次元表示」又は「立体視表示」ともいう)に切り替え、画像をユーザが確認してから、シャッタボタンの撮影指示の入力を受け付けて、撮影を実行する。
第4実施形態の撮像装置10では、最初の表示状態を2D表示とし、且つ予め表示部18上にガイド枠を設け、そのガイド枠内に被写体像が入り、立体視に適していると判定した場合、2D表示(「2次元表示」又は「平面表示」ともいう)を3D表示(「3次元表示」又は「立体視表示」ともいう)に切り替え、画像をユーザが確認してから、シャッタボタンの撮影指示の入力を受け付けて、撮影を実行する。
図12は、第4実施形態における撮像処理例の流れを示すフローチャートである。本処理は、CPU14によって、プログラムに従って実行される。
電源起動処理(ステップS2)の後、簡易複数人物立体撮影モードであるか否かを判定する(ステップS102)。
簡易複数人物立体撮影モードである場合、2Dでスルー画を表示する(ステップS104)。つまり、表示制御部61は、撮像部12−1、12−2によって取得された複数の視点画像(左視点画像及び右視点画像)のうちで一視点画像(左視点画像又は右視点画像)を表示部18に表示(平面表示)させる。次にステップS4〜S24を実行する。なお、ステップS4〜S24は、図5に示した第1実施形態における処理と同様であり、ここでは説明を省略する。
簡易複数人物立体撮影モードである場合、ステップS4〜S24にて、2Dでスルー画を表示した状態で、ガイド枠の表示、被写体像の検出、立体視に適しているか否かの判定及びガイド枠のフォーカスを行った後、表示を3D表示に切り替える(ステップS124)。
図13Aは、2D表示(平面表示)を模式的に示す。即ち、立体画像中に被写体像がある場合、その被写体像が2次元で表示される。なお、図13Aは、ガイド枠80内に被写体像がある場合を模式的に示している。
ステップS26〜S30は、図5に示した第1実施形態における処理と同様であり、ここでは説明を省略する。
簡易複数人物立体撮影モードでない場合、3Dでスルー画を表示する(ステップS106)。つまり、表示制御部61は、撮像部12−1、12−2によって取得された複数の視点画像(左視点画像及び右視点画像)を表示部18に立体視表示させる。図13Bは、3D表示(立体視表示)を模式的に示す。即ち、立体画像内に被写体像がある場合、その被写体像が2次元で表示される。なお、図13Bでは、図13Aとの比較のためにガイド枠80を表示した場合を描いたが、図12に示す撮像処理例ではガイド枠80は表示されない。
本実施形態において、表示制御部61は、まず複数の視点画像のうちで一視点画像を表示部18に平面表示させ、この平面表示した一視点画像にガイド枠を重ねて表示部18に平面表示させ、立体視適否判定部64によって被写体像が立体視に適していると判定された場合、立体画像を3次元表示(立体視表示)する。
なお、第4実施形態では、ユーザに報知して撮影指示が入力されると撮影を行う場合(ステップS26〜S30)を例に説明したが、このような場合に本発明は限定されない。図10に示した第2実施形態のようにユーザに報知してから一定時間経過で自動的に撮影を行うようにしてもよく(図10のステップS26、S42〜S44)、また、図11に示した第3実施形態のようにガイド枠内のフォーカス数が閾値以上である場合に自動的に撮影を行うようにしてもよい(図11のステップS52〜S54)。
次に、第1実施形態〜第4実施形態における立体視適否判定に適用可能な各種のバリエーション機能について、説明する。
図14Aから14Cは、ガイド枠内にある被写体像の数が閾値を超えたとき立体画像が立体視に適さないことを報知する機能の説明に用いる説明図である。
本例では、図14Aから14Cに示すように、表示部18にガイド枠80を表示する。そして、立体視適否判定部64によってガイド枠80内にある被写体像の数が閾値を超えているか否かを判定し、ガイド枠80内にある被写体像の数が閾値を超えているときには立体画像が立体視に適さないと判断して、表示部18に「立体視に適しません」というメッセージを表示(報知)させる。
図15Aから15Cは、ガイド枠内にある被写体像のサイズが閾値以下であるとき立体画像が立体視に適さないことを報知する機能の説明に用いる説明図である。
本例では、図15Aから15Cに示すように、表示部18にガイド枠80を表示する。そして、立体視適否判定部64によってガイド枠80内にある被写体像のサイズが閾値を超えているか否かを判定し、ガイド枠80内にある被写体像のサイズが閾値以下であるときには立体画像が立体視に適さないと判断して、表示部18に「立体視に適しません」というメッセージを表示(報知)させる。
図16は、ガイド枠内にある被写体像のサイズが閾値を越えているとき立体画像が立体視に適さないことを報知する機能の説明に用いる説明図である。
本例では、表示部18にガイド枠80を表示する。そして、立体視適否判定部64によってガイド枠80内にある被写体像のサイズが閾値を超えているか否かを判定し、ガイド枠80内にある被写体像のサイズが閾値を超えているときには立体画像が立体視に適さないと判断して、図16に示すように、表示部18に「立体視に適しません」というメッセージを表示(報知)させる。
図17は、ガイド枠を超えるサイズの被写体像が検出されたとき立体画像が立体視に適さないことを報知する機能の説明に用いる説明図である。
本例では、表示部18にガイド枠80を表示する。そして、立体視適否判定部64によってガイド枠80を超えるサイズの被写体像があるか否かを判定し、ガイド枠80を超えるサイズの被写体像があるときには立体画像が立体視に適さないと判断して、図17に示すように、表示部18に「立体視に適しません」というメッセージを表示(報知)させる。
図18は、被写体距離レンジに基づいて立体視適否判定を行う場合の説明に用いる説明図である。
図18において、L1は撮像装置10から第1の被写体までの被写体距離であり、L2は撮像装置10から第2の被写体までの被写体距離であり、L3は撮像装置10から第3の被写体までの被写体距離である。これらの第1の被写体、第2の被写体及び第3の被写体にそれぞれ対応する複数の被写体像(第1の被写体の被写体像、第2の被写体の被写体像、及び第3の被写体の被写体像)がガイド枠80内にある場合、被写体距離L1,L2、L3のうちで最大値(本例ではL2)と最小値(本例ではL1)との差SR=L1−L2を、「被写体距離レンジ」という。
本例では、表示部18にガイド枠80を表示し、立体視適否判定部64によって、ガイド枠内にある被写体像について被写体距離レンジを算出し、その被写体距離レンジSRが適正な許容範囲内(例えば、立体視適正範囲R内)であるか否かを判断することにより、立体画像が立体視に適しているか否かを判断する。
立体視適否判定部64によって、立体画像が立体視に適していないと判定された場合のユーザに対する報知態様には各種ある。以下では、代表的な報知態様1〜6を示す。
<報知態様1> 表示部18の表示を3次元表示(立体視表示)から2次元表示(平面表示)に切り替える。
<報知態様2> 表示部18に表示させたガイド枠80の色を切り替える。
<報知態様3> 表示部18に表示させたガイド枠80を点滅させる。
<報知態様4> LED53を点滅又は点灯させる。
<報知態様5> 表示部18に立体視に適していないことを示す文字列を表示させる。
<報知態様6> スピーカ21(音出力部)に立体視に適していないことを示す音声を出力させる。
<報知態様1> 表示部18の表示を3次元表示(立体視表示)から2次元表示(平面表示)に切り替える。
<報知態様2> 表示部18に表示させたガイド枠80の色を切り替える。
<報知態様3> 表示部18に表示させたガイド枠80を点滅させる。
<報知態様4> LED53を点滅又は点灯させる。
<報知態様5> 表示部18に立体視に適していないことを示す文字列を表示させる。
<報知態様6> スピーカ21(音出力部)に立体視に適していないことを示す音声を出力させる。
図19は、撮影シーンに合わせた撮影モードを設定入力する機能の説明に用いる説明図である。
図19において、表示部18には、簡易複数人物立体撮影モード、簡易接写立体撮影モード、及び簡易撮影モードを選択して指示入力するためのメニューが表示されている。ユーザは、操作部16の一部としての十字ボタン56及びMENU/OKボタン55を用い、撮影シーンに応じて、撮影モードを選択して指示入力することができる。
具体的には、操作部16によって撮影モードを指示入力することで、次の選択1から3が可能である。
<選択1> ガイド枠表示及び立体視適否判定を行うか否かの選択。
<選択2> 被写体像検出部62で検出する被写体像の種類(人物の顔画像を検出するか否か等)。
<選択3> 表示部に表示させるガイド枠の種類(サブガイド枠を表示するか否か等)。
<選択1> ガイド枠表示及び立体視適否判定を行うか否かの選択。
<選択2> 被写体像検出部62で検出する被写体像の種類(人物の顔画像を検出するか否か等)。
<選択3> 表示部に表示させるガイド枠の種類(サブガイド枠を表示するか否か等)。
例えば、簡易複数人物立体撮影モードでは、ガイド枠表示及び立体視適否判定を行うとともに、サブガイド枠の表示を行う。また、例えば、簡易接写立体撮影モードでは、被写体像として人物像以外の被写体像を検出し、ガイド枠表示及び立体視適否判定は行わない。また、例えば、簡易撮影モードでは、ガイド枠表示及び立体視適否判定を行うがサブガイドの表示は行わない。
なお、複数の視点画像からなる動画像を表示部18で3次元表示(立体視表示)する場合を例に説明したが、本発明は動画像を2次元表示(平面表示)する場合にも適用できる。即ち、本発明の撮像装置は、複数の視点画像からなる動画像を2次元表示しかできない撮像装置を含む。
本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
例えば、各実施形態で説明した撮像方法をプロセッサ(例えば、撮像装置に搭載されたプロセッサ)に実行させるプログラムを用意し、このプログラムをプロセッサに実行させることにより、各実施形態で説明した撮像方法を実現することも可能である。また、各実施形態で説明した撮像方法をプロセッサに実行させるプログラムを記録する、プロセッサで読み取り可能な記録媒体を作成し、この記録媒体からプロセッサにプログラムを読み取って実行させることとしてもよい。この場合も、各実施形態で説明した撮像方法を実現することができる。
<変形例>
上記実施形態では、2つの撮像部12−1及び12−2を有する場合について説明したが、本発明はこの場合に限定されない。本発明は、撮像部の数に依存せずに、複数の視点画像を含む立体画像を撮像する場合に適用可能である。言い換えると、1つの撮像部を用いて複数の視点画像を含む立体画像を撮像する場合に適用することも可能であり、また、3つ以上の撮像部を用いて複数の視点画像を含む立体画像を撮像する場合に適用することも可能である。
上記実施形態では、2つの撮像部12−1及び12−2を有する場合について説明したが、本発明はこの場合に限定されない。本発明は、撮像部の数に依存せずに、複数の視点画像を含む立体画像を撮像する場合に適用可能である。言い換えると、1つの撮像部を用いて複数の視点画像を含む立体画像を撮像する場合に適用することも可能であり、また、3つ以上の撮像部を用いて複数の視点画像を含む立体画像を撮像する場合に適用することも可能である。
12(12−1、12−2)…撮像部、14…CPU、16…操作部、18…表示部、20…記録部、21…スピーカ、61…表示制御部、62…被写体像検出部、63…距離情報取得部、64…立体視適否判定部、66…報知制御部
Claims (16)
- 被写体を撮像して複数の視点画像からなる立体画像を取得する撮像部と、
前記撮像部によって取得された前記立体画像を表示可能な表示部と、
前記表示部に所定のサイズの第1のガイド枠を表示させる表示制御部と、
前記撮像部によって取得された前記立体画像から特定の被写体像を検出する被写体像検出部と、
前記被写体像検出部によって検出された被写体像に対応する被写体の距離に関する情報であって前記撮像部から前記被写体までの距離に関する情報を取得する距離情報取得部と、
前記距離情報取得部によって取得された前記距離に関する情報に基づいて、前記第1のガイド枠内の前記被写体像が立体視に適しているか否かを判定する立体視適否判定部と、
を備え、
前記表示制御部は、前記立体視適否判定部によって前記第1のガイド枠内の前記被写体像が立体視に適していると判定された場合、前記立体視に適している前記被写体像に前記第1のガイド枠の位置及びサイズのうち少なくともいずれかひとつを合わせ、
前記表示制御部は、前記第1のガイド枠に加えて前記第1のガイド枠よりもサイズの大きい第2のガイド枠を前記表示部に表示させて、前記被写体像検出部によって前記第2のガイド枠内から前記立体視適否判定部によって立体視に適していると判断された前記被写体像とは異なる他の被写体像が検出された場合、前記第2のガイド枠を該他の被写体像に合わせる撮像装置。 - 前記立体視適否判定部は、前記第2のガイド枠内の前記他の被写体像が立体視に適しているか否かの判定を行い、
前記表示制御部は、前記立体視適否判定部によって前記第2のガイド枠内の前記他の被写体像が立体視に適していると判定された場合、前記立体視に適している前記他の被写体像に前記第2のガイド枠を合わせる請求項1に記載の撮像装置。 - 被写体を撮像して複数の視点画像からなる立体画像を取得する撮像部と、
前記撮像部によって取得された前記立体画像を表示可能な表示部と、
前記表示部に所定のサイズの第1のガイド枠を表示させる表示制御部と、
前記撮像部によって取得された前記立体画像から特定の被写体像を検出する被写体像検出部と、
前記被写体像検出部によって検出された被写体像に対応する被写体の距離に関する情報であって前記撮像部から前記被写体までの距離に関する情報を取得する距離情報取得部と、
前記距離情報取得部によって取得された前記距離に関する情報に基づいて、前記第1のガイド枠内の前記被写体像が立体視に適しているか否かを判定する立体視適否判定部と、
を備え、
前記表示制御部は、前記立体視適否判定部によって前記第1のガイド枠内の前記被写体像が立体視に適していると判定された場合、前記立体視に適している前記被写体像に前記第1のガイド枠の位置及びサイズのうち少なくともいずれかひとつを合わせ、
前記表示制御部は、まず前記複数の視点画像のうちで一視点画像を前記表示部に平面表示させ、この平面表示した一視点画像に前記第1のガイド枠を重ねて前記表示部に平面表示させ、前記立体視適否判定部によって前記被写体像が立体視に適していると判定された場合、前記立体画像を立体視表示する撮像装置。 - ユーザから撮影指示の入力を受け付ける撮影指示入力部と、
前記立体視適否判定部によって前記立体画像が立体視に適していると判定された場合に、前記撮影指示入力部に撮影指示が入力されたとき、前記撮像部によって取得された前記立体画像を所定の記録媒体に記録する記録部と、
を備える請求項1から3のうちいずれか1項に記載の撮像装置。 - 前記立体視適否判定部によって前記立体画像が立体視に適していると判定された場合に前記立体画像が立体視に適していることを報知する立体視適正報知部と、
前記立体視適正報知部によって前記立体画像が立体視に適していることを報知してから一定の時間が経過したとき、前記撮像部によって取得された前記立体画像を所定の記録媒体に記録する記録部を更に備える請求項1から3のうちいずれか1項に記載の撮像装置。 - 前記立体視適否判定部は、前記第1のガイド枠内にある前記被写体像の数が閾値を超えているとき、前記立体画像が立体視に適さないと判定する請求項3に記載の撮像装置。
- 前記立体視適否判定部は、前記第1のガイド枠内にある前記被写体像のサイズが第1の閾値以下であるとき、又は、前記第1のガイド枠内にある前記被写体像のサイズが前記第1の閾値よりも大きな第2の閾値を越えているとき、前記立体画像が立体視に適さないと判定する請求項3に記載の撮像装置。
- 前記立体視適否判定部は、前記第1のガイド枠内に複数の前記被写体像がある場合、前記複数の被写体像のうちで被写体距離の最大値と最小値との差を被写体距離レンジとして算出し、前記被写体距離レンジが許容範囲内でない場合、立体視に適さないと判定する請求項1から5のうちいずれか1項に記載の撮像装置。
- 前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、前記立体画像が立体視に適さないことを報知する立体視不適正報知部を更に備える請求項1から8のうちいずれか1項に記載の撮像装置。
- 前記立体視不適正報知部は、前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、前記表示部の表示を立体視表示から平面表示に切り替える請求項9に記載の撮像装置。
- 前記立体視不適正報知部は、前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、前記表示部に表示させた前記第1のガイド枠の色を切り替える制御又は前記第1のガイド枠を点滅させる制御を行う請求項9に記載の撮像装置。
- 前記立体視不適正報知部は、前記立体視適否判定部によって前記立体画像が立体視に適さないと判定されたとき、発光ダイオード、前記表示部及び音出力デバイスのうちいずれかを用いて報知する請求項9に記載の撮像装置。
- 前記表示制御部による前記第1のガイド枠の表示及び前記立体視適否判定部による立体視適否判定を行うか否か、前記被写体像検出部で検出する被写体像の種類、及び、前記表示部に表示させるガイド枠の種類のうち、少なくともひとつの設定の入力を受け付ける設定入力部を更に備えることを特徴とする請求項1から12のうちいずれか1項に記載の撮像装置。
- 被写体を撮像して複数の視点画像からなる立体画像を取得する撮像部と、前記撮像部によって取得された前記立体画像を表示可能な表示部とを用いる撮像方法であって、
前記表示部に所定のサイズの第1のガイド枠を表示させるガイド枠表示ステップと、
前記撮像部によって取得された前記立体画像から特定の被写体像を検出する被写体像検出ステップと、
前記被写体像検出ステップによって検出された被写体像に対応する被写体の距離に関する情報であって前記撮像部から前記被写体の距離までに関する情報を取得する距離情報取得ステップと、
前記距離情報取得ステップによって取得された前記距離に関する情報に基づいて、前記第1のガイド枠内の前記被写体像が立体視に適しているか否かを判定する立体視適否判定ステップと、
前記立体視適否判定ステップによって前記第1のガイド枠内の前記被写体像が立体視に適していると判定された場合、前記立体視に適している前記被写体像に前記第1のガイド枠の位置及びサイズの少なくともいずれかひとつを合わせるステップと、
前記第1のガイド枠に加えて前記第1のガイド枠よりもサイズの大きい第2のガイド枠を前記表示部に表示させて、前記第2のガイド枠内から立体視に適していると判断された前記被写体像とは異なる他の被写体像が検出された場合、前記第2のガイド枠を該他の被写体像に合わせるステップと、
を含む撮像方法。 - 被写体を撮像して複数の視点画像からなる立体画像を取得する撮像部と、前記撮像部によって取得された前記立体画像を表示可能な表示部とを用いる撮像方法であって、
前記表示部に所定のサイズの第1のガイド枠を表示させるガイド枠表示ステップと、
前記撮像部によって取得された前記立体画像から特定の被写体像を検出する被写体像検出ステップと、
前記被写体像検出ステップによって検出された被写体像に対応する被写体の距離に関する情報であって前記撮像部から前記被写体の距離までに関する情報を取得する距離情報取得ステップと、
前記距離情報取得ステップによって取得された前記距離に関する情報に基づいて、前記第1のガイド枠内の前記被写体像が立体視に適しているか否かを判定する立体視適否判定ステップと、
前記立体視適否判定ステップによって前記第1のガイド枠内の前記被写体像が立体視に適していると判定された場合、前記立体視に適している前記被写体像に前記第1のガイド枠の位置及びサイズの少なくともいずれかひとつを合わせるステップと、
まず前記複数の視点画像のうちで一視点画像を前記表示部に平面表示させ、この平面表示した一視点画像に前記第1のガイド枠を重ねて前記表示部に平面表示させ、前記被写体像が立体視に適していると判定された場合、前記立体画像を立体視表示するステップと、
を含む撮像方法。 - 請求項14または15に記載の撮像方法をプロセッサに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013536160A JP5767715B2 (ja) | 2011-09-30 | 2012-09-13 | 撮像装置、撮像方法及びプログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011217892 | 2011-09-30 | ||
JP2011217892 | 2011-09-30 | ||
PCT/JP2012/073410 WO2013047217A1 (ja) | 2011-09-30 | 2012-09-13 | 撮像装置、撮像方法、プログラム及び記録媒体 |
JP2013536160A JP5767715B2 (ja) | 2011-09-30 | 2012-09-13 | 撮像装置、撮像方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013047217A1 JPWO2013047217A1 (ja) | 2015-03-26 |
JP5767715B2 true JP5767715B2 (ja) | 2015-08-19 |
Family
ID=47995250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013536160A Expired - Fee Related JP5767715B2 (ja) | 2011-09-30 | 2012-09-13 | 撮像装置、撮像方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9838667B2 (ja) |
JP (1) | JP5767715B2 (ja) |
CN (1) | CN103843331B (ja) |
WO (1) | WO2013047217A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6071748B2 (ja) * | 2013-05-23 | 2017-02-01 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP6278503B2 (ja) * | 2013-08-29 | 2018-02-14 | キヤノン株式会社 | 撮像装置、制御方法およびプログラム |
US20150185308A1 (en) * | 2014-01-02 | 2015-07-02 | Katsuhiro Wada | Image processing apparatus and image processing method, image pickup apparatus and control method thereof, and program |
JP6451141B2 (ja) * | 2014-08-19 | 2019-01-16 | 株式会社リコー | 撮像装置 |
CN104363442A (zh) * | 2014-12-04 | 2015-02-18 | 成都中远信电子科技有限公司 | 一种3d游戏显示器专用的高清图像增益放大器 |
US10469730B2 (en) * | 2016-05-18 | 2019-11-05 | Canon Kabushiki Kaisha | Imaging device and control method for simultaneously outputting an image pickup signal and a parallax image signal |
CN109144393B (zh) * | 2018-08-28 | 2020-08-07 | 维沃移动通信有限公司 | 一种图像显示方法及移动终端 |
JP2023003033A (ja) * | 2021-06-23 | 2023-01-11 | キヤノン株式会社 | 電子機器および電子機器の制御方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005073049A (ja) * | 2003-08-26 | 2005-03-17 | Sharp Corp | 立体映像再生装置および立体映像再生方法 |
JP2005167310A (ja) | 2003-11-28 | 2005-06-23 | Sharp Corp | 撮影装置 |
JP4371049B2 (ja) * | 2004-12-22 | 2009-11-25 | ソニー株式会社 | 撮像装置、およびガイドフレーム表示制御方法、並びにコンピュータ・プログラム |
JP4757812B2 (ja) * | 2007-02-20 | 2011-08-24 | 富士フイルム株式会社 | 立体撮影装置および方法並びにプログラム |
TWI394088B (zh) * | 2007-12-26 | 2013-04-21 | Altek Corp | The adjustment method of the size of the selection of the image object |
JP5322264B2 (ja) | 2008-04-01 | 2013-10-23 | Necカシオモバイルコミュニケーションズ株式会社 | 画像表示装置およびプログラム |
JP4655135B2 (ja) * | 2008-10-22 | 2011-03-23 | ソニー株式会社 | 撮像装置、撮像領域表示方法および撮像領域表示プログラム |
JP2011033990A (ja) | 2009-08-05 | 2011-02-17 | Fujifilm Corp | 複眼撮影装置及び撮影方法 |
JP2011171813A (ja) * | 2010-02-16 | 2011-09-01 | Fujifilm Corp | 撮像装置及び立体画像表示方法 |
JP5970872B2 (ja) * | 2012-03-07 | 2016-08-17 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
-
2012
- 2012-09-13 JP JP2013536160A patent/JP5767715B2/ja not_active Expired - Fee Related
- 2012-09-13 CN CN201280047602.1A patent/CN103843331B/zh not_active Expired - Fee Related
- 2012-09-13 WO PCT/JP2012/073410 patent/WO2013047217A1/ja active Application Filing
-
2014
- 2014-03-28 US US14/228,687 patent/US9838667B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2013047217A1 (ja) | 2013-04-04 |
CN103843331B (zh) | 2016-03-02 |
CN103843331A (zh) | 2014-06-04 |
JPWO2013047217A1 (ja) | 2015-03-26 |
US20140210955A1 (en) | 2014-07-31 |
US9838667B2 (en) | 2017-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5767715B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP5640143B2 (ja) | 撮像装置及び撮像方法 | |
JP5492300B2 (ja) | 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム | |
JP5595499B2 (ja) | 単眼立体撮像装置 | |
JP5243666B2 (ja) | 撮像装置、撮像装置本体およびシェーディング補正方法 | |
JP5469258B2 (ja) | 撮像装置および撮像方法 | |
JP5368350B2 (ja) | 立体撮像装置 | |
WO2012036019A1 (ja) | 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム | |
JPWO2012039180A1 (ja) | 撮像デバイス及び撮像装置 | |
JP5871989B2 (ja) | 撮影装置、撮影方法及びプログラム | |
JP2010114760A (ja) | 撮影装置、指がかり通知方法およびプログラム | |
JP2011101240A (ja) | 立体撮影装置および撮影制御方法 | |
JP2011075675A (ja) | 複眼撮像装置 | |
JP2011199755A (ja) | 撮像装置 | |
JP2011114547A (ja) | 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム | |
US20130314500A1 (en) | Stereoscopic imaging apparatus | |
JP2010177921A (ja) | 立体撮像装置および立体撮像方法 | |
JP2011033990A (ja) | 複眼撮影装置及び撮影方法 | |
JP5457240B2 (ja) | 立体撮像装置 | |
JP2012124650A (ja) | 撮像装置および撮像方法 | |
JP2010200024A (ja) | 立体画像表示装置および立体画像表示方法 | |
JP2011077680A (ja) | 立体撮影装置および撮影制御方法 | |
JP5307189B2 (ja) | 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5767715 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |