JP6063662B2 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
JP6063662B2
JP6063662B2 JP2012164563A JP2012164563A JP6063662B2 JP 6063662 B2 JP6063662 B2 JP 6063662B2 JP 2012164563 A JP2012164563 A JP 2012164563A JP 2012164563 A JP2012164563 A JP 2012164563A JP 6063662 B2 JP6063662 B2 JP 6063662B2
Authority
JP
Japan
Prior art keywords
distance
recommended
subject
parallax
limit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012164563A
Other languages
English (en)
Other versions
JP2014027390A5 (ja
JP2014027390A (ja
Inventor
有紀 徳橋
有紀 徳橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012164563A priority Critical patent/JP6063662B2/ja
Publication of JP2014027390A publication Critical patent/JP2014027390A/ja
Publication of JP2014027390A5 publication Critical patent/JP2014027390A5/ja
Application granted granted Critical
Publication of JP6063662B2 publication Critical patent/JP6063662B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置及び撮像方法に関するものである。
一般に立体像の見え方は、観察条件(画面サイズと視距離)と左右画像の視差量の大きさに依存し、視差量が大きすぎると立体像は見づらくなり、極端な場合は融像できなくなる。特に撮影距離が短い場合やレンズの焦点距離が長い場合は、見やすい視差量になる距離範囲が狭いため注意が必要である。極端に視差量が小さくなるように撮影すれば見やすくはなるが、それでは立体感の乏しいつまらない画像になりやすく、かえって不自然に見えることもある。そのため撮影者は、立体効果を考えながら、全体の視差量がなるべく見やすい範囲に収まるように撮影条件や構図を工夫して撮影することになる。ただ、見やすい視差量に関する知識があっても、それが被写体距離にしてどの程度の範囲になるのかを判断するのは難しい。しかも撮影条件が変われば状況は変わる。このような状況が立体映像の撮影を面倒なものにしている。
この問題に対し、特許文献1記載の立体映像再生装置では、撮影条件と再生条件とあらかじめ決められた融像範囲(角度)に基づいて融像被写体距離を出し、非融像範囲の被写体にはフォーカスが合わないようにするとともに、最適被写界深度を演算して撮影光学系の絞り値を設定し、非融像範囲の被写体をぼかしている。
特開平8−191462号公報
しかしながら、特許文献1記載の立体映像再生装置では、撮影者が撮影条件や構図の工夫をすることは想定されておらず、そのような場合の判断のしやすさや操作性の向上は考えられていない。また、この立体映像再生装置では、主要被写体と背景の両方をちゃんと撮影したい意図が撮影者にあっても、あらかじめ決められた範囲外の被写体は、ぼかされてしまい、撮影者の意図を反映させることが難しい。さらに、この立体映像再生装置では、撮影画像を確認するまで、撮影者はどのような画像になるのかを知ることができない。
さらにまた、特許文献1記載の立体映像再生装置では、被写体を見やすい視差範囲に収めるような撮影をしたくても、どの範囲の被写体なら見やすい視差範囲に収まるか、また、撮影条件を変えると画像がどのように変わるか、などがすぐにはわからない。これに対して、リミットまでフォーカスをずらせば限界がわかるが、それでは手間がかかりすぎる。
本発明は、上記に鑑みてなされたものであって、見やすい視差量に収まる被写体範囲が把握しやすくなり、撮影条件によって被写体範囲がどのように変化するかもわかりやすくなるため、見やすい視差量を考慮した撮影を簡単に行うことができる撮像装置及び撮像方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、複数の撮影条件で奥行情報を含む画像を取得する撮像部と、複数の撮影条件の各々と撮影条件とは独立に設定される範囲制限条件とから、範囲制限条件を満足する最遠の被写体距離である遠方制限推奨距離と範囲制限条件を満足する最近の被写体距離である近方制限推奨距離とを導出する推奨被写体範囲導出部と、複数の撮影条件の各々に応じた遠方制限推奨距離と近方制限推奨距離の情報を表示する表示部と、複数の撮影条件の各々に応じた奥行情報を含む画像に対する補正処理を指定し、画像補正パラメータを設定する補正処理設定部と、を備え、推奨被写体範囲導出部は、複数の撮影条件の各々に応じた画像補正パラメータに応じて、遠方制限推奨距離と近方制限推奨距離を変更することを特徴とする。
本発明に係る撮像装置において、表示部は、さらに、補正処理の後の合焦距離の情報を画像に重畳して表示することが好ましい。
本発明に係る撮像装置において、遠方制限推奨距離と近方制限推奨距離の範囲内にある被写体について、所定の表示方法で観察される立体像の歪具合を予測する歪導出部をさらに備え、表示部は、歪導出部による予測結果に係る情報をさらに表示することが好ましい。
本発明に係る別の撮像装置複数の撮影条件で視差画像を取得する撮像部と、複数の撮影条件の各々と所定の観察条件と視差制限範囲とから、視差制限範囲内の視差量になる最遠の被写体距離である遠方制限推奨距離と視差制限範囲内の視差量になる最近の被写体距離である近方制限推奨距離とを導出する推奨被写体範囲導出部と、複数の撮影条件の各々に応じた遠方制限推奨距離と近方制限推奨距離の情報を表示する表示部と、複数の撮影条件の各々に応じた視差画像に対する補正処理を指定し、画像補正パラメータを設定する補正処理設定部と、を備え、推奨被写体範囲導出部は、複数の撮影条件の各々に応じた画像補正パラメータに応じて、遠方制限推奨距離と近方制限推奨距離を変更することを特徴とする。
本発明に係る撮像装置において、表示部は、補正処理の前の視差ゼロ距離、及び、補正処理の後の視差ゼロ距離の情報を画像に重畳して表示することが好ましい。
また、本発明に係る撮像方法は、複数の撮影条件で奥行情報を含む画像を取得する撮像ステップと、複数の撮影条件の各々と撮影条件とは独立に設定される範囲制限条件とから、範囲制限条件を満足する最遠の被写体距離である遠方制限推奨距離と範囲制限条件を満足する最近の被写体距離である近方制限推奨距離とを導出する推奨被写体範囲導出ステップと、撮像ステップで取得した奥行情報を含む画像に重畳して、推奨被写体範囲導出ステップで導出した、遠方制限推奨距離と近方制限推奨距離の情報を表示する表示ステップと、複数の撮影条件の各々に応じた奥行情報を含む画像に対する補正処理を指定し、画像補正パラメータを設定する補正処理設定ステップと、複数の撮影条件の各々に応じた画像補正パラメータに応じて、遠方制限推奨距離と近方制限推奨距離を変更するステップと、を備えることを特徴とする。
本発明に係る撮像装置において、表示部は、撮影画面内において、被写体距離を算出する領域を示す少なくとも1つのエリアマークを表示し、遠方制限推奨距離及び近方制限推奨距離を示す情報と、エリアマークで指定された領域の被写体距離を示す情報と、を比較できるように表示することが好ましい。
本発明に係る撮像装置は、見やすい視差量に収まる被写体範囲が把握しやすくなり、撮影条件によって被写体範囲がどのように変化するかもわかりやすくなるため、見やすい視差量を考慮した撮影を簡単に行うことができる、という効果を奏する。
本発明の第1実施形態に係る撮像装置の構成を示すブロック図である。 瞳分割方式光学系を概念的に説明する図である。 撮像光学系からの出力画像を示す図である。 立体表示対応テレビにL画像及びR画像を表示した状態を示す図である。 観察者が感じる立体像の再現位置と大きさを示す図である。 快適視差範囲を説明する概念図である。 本発明の第1実施形態における表示例を示す図である。 本発明の第1実施形態における表示例を示す図であって、図7の状態に対して、被写体にフォーカスしたまま遠ざかった状態を示す図である。 本発明の第1実施形態における表示例を示す図であって、図7の状態に対して、被写体にフォーカスしたままズームして拡大した状態を示す図である。 本発明の第2実施形態に係る撮像装置の構成を示すブロック図である。 本発明の第2実施形態における表示例を示す図である。 本発明の第3実施形態における表示例を示す図である。 本発明の第4実施形態において非線形歪を説明する図であって、被写体空間と再現立体像空間が線形の場合を示す図である。 本発明の第4実施形態において非線形歪を説明する図であって、非線形歪が発生している場合を示す図である。 本発明の第4実施形態において非線形歪を説明する図であって、非線形歪が発生している場合を示す図である。 本発明の第4実施形態において、被写体奥行きと被写体サイズの比率に対する、再現奥行きと再現被写体サイズの比率の関係を示すグラフである。 本発明の第4実施形態において発生した圧縮歪の例を示す図である。 本発明の第4実施形態に係る撮像装置の構成を示すブロック図である。 本発明の第4実施形態における表示例を示す図である。 本発明の第5実施形態における表示例を示す図である。 本発明の第6実施形態における表示例を示す図である。 本発明の第6実施形態における表示例を示す図である。 本発明の第6実施形態における表示例を示す図である。 本発明の第6実施形態における表示例を示す図である。 第2の絞りの例を示す平面図である。
以下に、本発明に係る撮像装置の実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態によりこの発明が限定されるものではない。
まず、本発明の実施形態に係る撮像装置の構成及び作用効果について説明する。
本発明の実施形態に係る撮像装置は、複数の撮影条件で視差画像を取得する撮像部と、複数の撮影条件の各々と所定の観察条件と視差制限範囲とから、視差制限範囲内の視差量になる最遠の被写体距離である遠方制限推奨距離と視差制限範囲内の視差量になる最近の被写体距離である近方制限推奨距離とを導出する推奨被写体範囲導出部と、複数の撮影条件の各々に応じた遠方制限推奨距離と近方制限推奨距離の情報を表示する表示部と、を備えることを特徴としている。
また、本発明に係る撮像方法は、複数の撮影条件で視差画像を取得する撮像ステップと、複数の撮影条件の各々と所定の観察条件と視差制限範囲とから、視差制限範囲内の視差量になる最遠の被写体距離である遠方制限推奨距離と視差制限範囲内の視差量になる最近の被写体距離である近方制限推奨距離とを導出する推奨被写体範囲導出ステップと、撮像ステップで取得した視差画像に重畳して、推奨被写体範囲導出ステップで導出した、遠方制限推奨距離と近方制限推奨距離の情報を表示する表示ステップと、を備えることを特徴としている。
ここで、表示部は、遠方制限推奨距離と近方制限推奨距離の数値情報を表示することができる。
この撮像装置又は撮像方法によれば、見やすい視差量に収まる被写体範囲が把握しやすくなり、撮影条件によって被写体範囲がどのように変化するかもわかりやすくなるため、被写体配置や撮影条件を考えやすくなり、見やすい視差量を考慮した撮影を簡単に行うことが可能になる。
本発明の実施形態に係る撮像装置は、上述の構成に加え、複数の撮影条件の各々に応じた視差画像に対する補正処理を指定し、画像補正パラメータを設定する補正処理設定部をさらに備え、推奨被写体範囲導出部は、複数の撮影条件の各々に応じた画像補正パラメータに応じて、遠方制限推奨距離と近方制限推奨距離を変更することが好ましい。
これにより、画像シフトや画像の拡縮により視差量を調整する機能をもったカメラ(撮像装置)の場合も、調整によってどのように見やすい被写体範囲が変わるのかが示されるため、撮影時にも適切な調整が可能になる。
本発明の実施形態に係る撮像装置は、上述の構成に加え、遠方制限推奨距離と近方制限推奨距離の範囲内にある被写体について、所定の観察条件下で観察される立体像の歪具合を予測する歪導出部をさらに備え、表示部は、歪導出部による予測結果に係る情報をさらに表示することが好ましい。
これにより、見やすい視差量になる被写体範囲とともに立体歪の具合がわかるため、見易さと不自然さのバランスを考慮した適切な条件設定ができるようになる。
本発明の実施形態に係る撮像装置は、表示画面には左右画像を重畳して表示し、想定する観察条件と、視差範囲制限条件と、表示画面サイズと表示拡大率の情報から、視差範囲制限条件に対応する画面上視差量を算出し、表示画面に算出した画面上視差量を表すスケールを重畳表示することが好ましい。
これにより、視差検出をしなくても、観察者はシーンの中の視差量が大きくなりそうな被写体について、ライブビュー画面上で左右画像のズレ量をスケールと比較することにより、気になる部分の視差量がおおよそどれくらいなのかを知ることができる。
本発明の実施形態に係る撮像装置は、ライブビュー画像上で指定された領域の被写体距離を導出し、該被写体距離の情報を前記遠方制限推奨距離と近方制限推奨距離の情報と関連付けて、表示画面に表示することが好ましい。
これにより、指定したエリアの被写体が推奨被写体範囲に入っているかどうか、また、どれくらい余裕があるか、が一目でわかる。
本発明の実施形態に係る撮像装置は、ライブビュー画像又は撮影済み画像に対して、各画素について視差量を検出して、被写体の最大視差量と最小視差量を導出し、該最大視差量と最小視差量と現在の撮影条件から、各視差量に相当する最遠被写体距離と最近被写体距離を導出し、その情報を前記遠方制限推奨距離と近方制限推奨距離の情報と関連付けて、カメラの表示画面に表示することが好ましい。
これにより、背景や前景の被写体距離は推奨被写体距離範囲に入っているかどうか、どれくらい余裕があるか、が一目でわかる。
(第1実施形態)
図1は、本発明の第1実施形態に係る撮像装置100の構成を示すブロック図である。
図1に示すように、撮像装置100は、第1条件設定部110、第2条件設定部120、撮影条件取得部130、第1導出部140、表示制御部150、表示部160、及び撮像光学系180を備える。
撮像装置100においては、第1条件設定部110(視差範囲制限条件設定部)、第2条件設定部120(観察条件設定部)、及び撮影条件取得部130の出力は、第1導出部140(推奨被写体範囲導出部)に入力される。第1導出部140が設定した被写体範囲と撮影条件の一部は表示制御部150に出力され、表示制御部150で重畳された映像信号(図示は省略)は表示部160で表示される。
以下、撮像装置100を構成する各部の構成・作用について説明する。
視差範囲制限条件設定部としての第1条件設定部110は、観察時視差角の最大値Δφc1と最小値Δφc2を設定する。第1実施形態では、後で説明する快適視差範囲の考え方に基づいて、最大値Δφc1と最小値Δφc2にはあらかじめ初期値が設定されているが、ユーザー入力により変更可能にしてもよい。
観察条件設定部としての第2条件設定部120は、想定する表示画面の横幅Wd、観察距離Dv、及び観察者(ユーザー)の瞳孔間距離IPDを設定する。いずれもあらかじめ初期値が設定されているが、ユーザー入力により変更可能である。変更方法は、いくつかある候補の中から観察者が選択するようにしても良いし、任意の数値を入力してもよい。
撮影条件取得部130は、レンズ情報取得部131と基線長導出部132を備える。レンズ情報取得部131は、定期的に又は撮像光学系180に変化があったときに、撮像光学系180からレンズの焦点距離f、絞りの大きさF、合焦距離Zo0の値を取得する。基線長導出部132は、焦点距離fと絞りの大きさFに基づいて瞳分割撮影の基線長SB(図2)を導出する。そして、撮影条件取得部130は、焦点距離fと合焦距離Zo0と基線長SBを第1導出部140へ出力する。
推奨被写体範囲導出部としての第1導出部140は、複数の撮影条件の各々と所定の観察条件と視差制限範囲とから、視差制限範囲内の視差量になる最遠の被写体距離である遠方制限推奨距離と視差制限範囲内の視差量になる最近の被写体距離である近方制限推奨距離とを導出する(推奨被写体導出ステップ)。
より具体的には、第1導出部140は、
(1)快適視差範囲の視差角の最大値Δφc1と最小値Δφc2、
(2)想定する表示装置の横幅Wd、
(3)観察距離Dv、
(4)観察者の瞳孔間距離IPD、並びに、
(5)焦点距離f、合焦距離Zo0、及び基線長SB
の値から、想定する観察条件(所定の観察条件)下で、
(a)観察時視差角が最大値Δφc1になるような被写体距離Zoc1、及び、
(b)観察時視差角が最小値Δφc2になるような被写体距離Zoc2、
を導出する。
被写体距離Zoc1(近方制限推奨距離)の位置にある被写体が快適に観察できる最も近方の被写体であり、被写体距離Zoc2(遠方制限推奨距離)の位置にある被写体が快適に観察できる最も遠方の被写体である。撮影においては、近方制限推奨距離から遠方制限推奨距離までの範囲を超える被写体があまり写りこまないように、又は目立たないようにすることが望ましい。
表示制御部150は、第1導出部140から、近方制限推奨距離Zoc1、遠方制限推奨距離Zoc2、及び合焦距離Zo0の値を受け取り、これらの値を、センサ183から受けた映像信号(視差画像)に重畳して表示部160へ出力する。
表示部160は、表示制御部150から入力された情報にしたがって、映像情報に重畳して、複数の撮影条件の各々に応じた遠方制限推奨距離Zoc2と近方制限推奨距離Zoc1の数値情報を表示する(表示ステップ)。
撮像部としての撮像光学系180は、複数の撮影条件で視差画像を取得する(撮像ステップ)。ここでは、撮像光学系180は、瞳分割方式の光学系を想定する。撮像光学系180は、レンズ181、絞り182(図2)、センサ183、及び、駆動回路184を備える。駆動回路184はレンズ181をその光軸Axに沿った方向に移動させ、その移動に関する情報をレンズ情報取得部131へ出力する。
立体映像を撮影するときは、2系統の光学系を用いる2眼式(平行法・交差法)が一般的だが、瞳分割方式は、1系統の光学系の入射瞳の一部を通過した光束と別の一部を通過した光束を2系統の光学系を通過した光束のように扱い、視差量のある左右画像を得るものである。詳細は後で説明するが、2眼式と異なり、フォーカスの合ったところの視差量が0になり、ボケたところほど視差量の絶対値が大きくなるという特徴がある。また、2眼式撮影では、左右の光軸がどれだけ離れているかを示す基線長は通常固定されているが、瞳分割方式ではレンズの焦点距離や絞りの大きさによって基線長が変化するという特徴もある。なお、左右の光軸が離れているほど視差量が大きくなりやすい。
図2を参照して、撮像光学系180による視差画像取得について説明する。
図2は、瞳分割方式光学系を概念的に説明する図であって、前側焦点位置に絞り182を置いたテレセントリック光学系を用いて瞳分割方式の撮影を行う場合の説明図である。図2において、レンズ181の中心からセンサ183のセンサ面183aまでの距離はb0、被写体Tからの光が交差する点からレンズ181の中心までの距離はbである。
図2は、レンズ181の中心からの距離Zoの位置に被写体Tがあり、レンズ181の中心からの距離Zo0の位置に被写体T0があり、被写体T0にフォーカスを合わせたときの様子を示している。図2では、焦点距離fの位置にある絞り182を左右2つの領域に分けて考え、左側領域の中心ALcと右側領域の中心ARc(図2)を通る光線を表している。
センサ183のセンサ面183aでは、合焦被写体T0上の点から出た光は1点に収束するが、それより遠方の被写体T上の点から出た光はセンサ面より手前で1点に収束する。図2に示すように、被写体Tから出て絞り182の左右領域の中心ALc、ARcをそれぞれ通った光はセンサ面183a上で重ならず異なる位置にずれる。この位置のずれは被写体と撮像光学系180との距離に応じて変わる。したがって、絞り182の左側領域を通った光と右側領域を通った光を別々に取り出すことができれば、一般的な2眼式の立体撮像と同様に、被写体距離に応じた左右画像のズレすなわち視差量のある2枚の画像が得られる。ただし、瞳分割方式光学系においては、合焦被写体の視差量は常に0になるという特徴がある。
ここで、絞り182の左右領域を通った光を分離するには、例えばレンズ181の入射瞳の右半分と左半分を交互に遮蔽して、時間的に左右を分離したり、光路上にプリズムなどをいれて別々のセンサに導いたり、画素ごとに左右を振り分けたりといった方法がある。
以上により、最終的に、図3のような2つの画像が保存される。図3は撮像光学系からの出力画像を示す図である。図3(a)は、絞り182の左側領域を通った光による、被写体Tの画像IT_Lと被写体T0の画像IT0_Lを示し、(b)は、絞り182の右側領域を通った光による、被写体Tの画像IT_Rと被写体T0の画像IT0_Rを示している。
センサ183上での視差量の計算は次のように考える。
入射瞳の右半分の重心と左半分の重心との間の距離を基線長SBとする。基線長SBは、レンズ181の焦点距離fと、絞り182の大きさを表すF値と、の比に所定の係数をかけたものとして計算できる。さらに、被写体Tから絞り182の左側領域の中心ALcを通った光線がセンサ183上に達した点と、右側領域の中心ARcを通った光線がセンサ183上に達した点と、のセンサ面183a上での距離を、被写体Tのセンサ183上での視差量Δxsとする。この視差量Δxsと被写体距離Zoの関係は、収差などの影響を無視すれば、次式(1)のようになる。
Figure 0006063662
また、レンズ181の光軸Axに垂直な面内において、被写体Tの大きさ(横サイズ)をXoとすると、センサ183上での被写体像の大きさXsは次式(2)のようになる。
Figure 0006063662
次に、撮影された視差画像を想定する立体表示対応TVなどで表示して観察する場合の視差量と立体像の再現位置について説明する。図4は、立体表示対応テレビにL画像(左眼用画像)及びR画像(右眼用画像)を表示した状態を示す図である。図5は、観察者Vが感じる立体像の再現位置と大きさを示す図である。
図4では、画面161に、被写体TのL画像IT_LとR画像IT_Rの両方が表示されているが、専用メガネVGをかけた観察者Vには、左眼EL(図5)ではL画像、右眼ER(図5)ではR画像のみが見える。撮像された被写体TのL画像IT_LとR画像IT_Rは、画面161において視差量Δxdだけずれて表示されている。これに対して、被写体T0のL画像IT0_LとR画像IT0_Rは丁度重なって表示されている。
図5に示すように、観察者Vには画面161上の視差量に応じた奥行き位置に被写体があるように見えている。再現される立体像VTの奥行き位置(観察者Vからの距離Zvの位置)は、画面161に対する観察距離Dv、観察者Vの瞳孔間距離IPD、及び、画面161上の視差量Δxdで決まる。被写体Tの立体像VTの再現奥行き位置を定める距離Zvは、次式(3)のようになる。
Figure 0006063662
一方、被写体T0の立体像VT0については、視差量が0となるため、L画像IT0_L及びR画像IT0_Rと丁度重なって画面161上に再現される。
また、再現される立体像VTの大きさ(横サイズ)Xvは、画面161上の被写体像の大きさXd、観察距離Dv(観察者Vから画面161までの距離)、及び、立体像VTの再現奥行き距離Zvで決まる。再現奥行き距離Zvは、上式(3)で決まるため、立体像VTの大きさXvは、画面161上の被写体像の大きさXd、観察者Vの瞳孔間距離IPD、及び、画面上視差量Δxd(L画像IT_Lの中心とR画像IT_Rの中心の距離)で決まることになり、次式(4)のように表せる。
なお、「横サイズ」とは、図2、図4、図5における被写体やセンサ面上の被写体像や表示画面に表示される被写体像および再現される立体像の左右方向の大きさである。
Figure 0006063662
画面161上における、視差量Δxd及び被写体像の大きさXd(図5)は、それぞれセンサ183上における、視差量Δxs及び被写体像の大きさXs(図2)に比例する。表示装置(表示部160)の画面161の横サイズをWd、センサ183の横サイズをWsとすると、画面161上の視差量Δxdは、センサ183上の視差量Δxsに画面サイズWdとセンササイズWsの比Msd=Wd/Wsを掛けたものになり、次式(5)のように表せる。式(5)において、符号はセンサ183上と画面161上で逆になり、式(5)では立体像を観察したときに画面161の奥に見える場合の視差量の符号が正、画面161より飛び出して見える場合の視差量の符号が負になる。
Figure 0006063662
視差量Δxdと同様に、画面161上の被写体サイズXdは、センサ183上の被写体像の大きさXsに画面サイズWdとセンササイズWsの比Msdを掛けたものになり、次式(6)のように表せる。
Figure 0006063662
次に快適視差範囲(コンフォートゾーン)について説明する。図6は、快適視差範囲を説明する概念図である。
両眼視差を利用した立体表示を観察する場合、画面上視差量の絶対値が大きすぎると立体像は見づらくなり、極端な場合は融像できなくなる。そこで視差量がどれくらいで融像困難になるか、どの範囲(快適視差範囲)なら快適に見られるか、を調査する研究がこれまでに数多くなされ、おおよその目安となる値も発表されている(参考:3Dコンソーシアム「3DC安全ガイドライン」)。
立体像が快適に見られる画面上視差量は、画面161に対する視距離に応じて変わってしまうため、快適視差範囲は立体像に対する視差角で示されることが多い。視差角とは、立体像を見るときの観察者の視線の為す角度(輻輳角)と画面161に対する輻輳角の差である。
例えば、図6に示すように、快適に見られる最も近方の立体像c1を見るときの視線の為す角度(輻輳角)をφc1、快適に見られる最も遠方の立体像c2を見るときの輻輳角をφc2、及び、画面161に対する輻輳角をθvとする。このとき、快適に見られる最も近方の立体像c1を見るときの輻輳角φc1と画面161に対する輻輳角θvの差Δφc1が快適に見られる最も近方の立体像c1に対する視差角であり、快適に見られる最も遠方の立体像c2を見るときの輻輳角φc2と画面161に対する輻輳角θvの差Δφc2が快適に見られる最も遠方の立体像c2に対する視差角である。これら2つの視差角Δφc1、Δφc2の間の範囲が快適視差範囲となる。これらの視差角Δφc1、Δφc2の具体的な数値としては、例えば「3DC安全ガイドライン」に、Δφc1=1度、Δφc2=−1度が示されている。
次に、第1導出部140で、観察時視差角がΔφc1になるような被写体距離(近方制限推奨距離)Zoc1と、観察時視差角がΔφc2になるような被写体距離(遠方制限推奨距離)Zoc2と、を導出する方法について説明する。
<被写体距離の導出>
視差角Δφ(Δφc1、Δφc2)は、上述のように、再現された立体像に対する輻輳角と画面161に対する輻輳角の差であり、画面161を観察するときの観察距離Dvと観察者Vの瞳孔間距離IPDに依存し、画面161上の視差量Δxdを用いて次式(7)で表せる。
Figure 0006063662
上式(7)で算出した視差角Δφを用いて、視差角Δφとなるような画面161上の視差量Δxdが次式(8)で決められる。
Figure 0006063662
この式(8)のΔφに、視差角Δφc1、Δφc2を代入すれば、視差量Δxdをそれぞれ算出でき、これらにより画面上視差量の最大値Δxdc1及び最小値Δxdc2が決まる。さらに、上式(5)から逆算していけば画面161上の視差量Δxdc1、Δxdc2にそれぞれ対応する被写体距離Zoc1、Zoc2が計算できる。このため、最終的には、視差角がΔφc1になるような被写体距離Zoc1は次式(9)のような形で表すことができる。
Figure 0006063662
また、視差角がΔφc2になるような被写体距離Zoc2は上式(9)のΔφc1をΔφc2に置き換えた次式(10)で表せる。
Figure 0006063662
ここで、例外判定(例外処理)について説明する。
画面上視差量Δxdc2は画面161より奥に立体像が再生されるような視差量だが、画面上視差量Δxdc2が観察者Vの瞳孔間距離IPDを超えてしまうと視線が開散状態になり、快適に見ることはできなくなる。そこで、IPD未満でIPDに近い値XDMXについて、
Δxdc2>XDMX
が成り立つとき、別言すると上式(10)において
B/C>XDMX
が成り立つときは、例外処理としてB/C=XDMXとする。
XDMXは例えばXDMX=IPD×0.95とする。
また、条件によっては、
Zoc2<0
となることがある。これは後で説明する立体歪により遠方被写体に対する視差量が小さくなって、視差角がΔφc2になるような被写体距離Zoc2が存在しない状態を示す。このような場合は、遠方制限推奨距離Zoc2を無限大とする。
次に、図7〜図9を用いて、表示部160における推奨被写体範囲情報の表示について説明する。図7〜図9は、第1実施形態における表示例を示す図であって、図8は、図7の状態に対して、被写体にフォーカスしたまま遠ざかった状態を示す図であり、図9は、図7の状態に対して、被写体にフォーカスしたままズームして拡大した状態を示す図である。
図7は、カメラの背面液晶などの表示部(表示部160)の画面161に、ライブビュー画像LVを表示し、さらに、推奨被写体範囲(近方制限推奨距離Zoc1〜遠方制限推奨距離Zoc2の範囲)、合焦距離Zo0の値、及び、それぞれのおおよその位置関係を示すスケールを重ねて表示した様子を示したものである。画面161にはAF(オートフォーカス)などで使用したフォーカスエリアFAも同時に表示している。ライブビュー画像LVはLかRのいずれか片方を表示するものであっても、両方を重畳表示するものであっても良い。図8、図9の表示は、図7に対して撮影条件が変わったことにより、推奨被写体範囲や合焦距離が変化したときの様子を示す。
撮影者は図7の表示を見て現在の推奨被写体範囲を視覚的に容易に把握できる。その後、例えば被写体にフォーカスしたまま遠ざかると、表示は図8のように推奨被写体範囲と合焦距離の値が更新される。また、被写体にフォーカスしたままズームすると、図9のように合焦距離は変わらず推奨被写体範囲が更新される。
このような表示により、撮影者は現在の撮影条件で見やすい視差範囲になる被写体の距離はどれくらいか、撮影条件が変わるとそれがどう変化するかが把握しやすくなり、構図の検討や適切な撮影条件の設定が行いやすくなる。また、図8、図9で示したように、推奨被写体範囲や合焦距離の値が変化したときは強調表示になるようにすると、変化に気づきやすいため好ましい。
(第2実施形態)
第1実施形態に係る撮像装置では、撮影された画像に特に補正処理を加えない場合を想定していたが、第2実施形態に係る撮像装置では撮影後のL画像及びR画像にシフト処理やズーム処理その他の補正処理を施してから画像を保存、又は補正処理を指定する情報を画像に付加して保存する場合を想定している。
第2実施形態に係る撮像装置は、第1実施形態に係る撮像装置の構成に加えて、複数の撮影条件の各々に応じた視差画像に対する補正処理を指定し、画像補正パラメータを設定する補正処理設定部290をさらに備える。推奨被写体範囲導出部としての第1導出部240は、複数の撮影条件の各々に応じた画像補正パラメータに応じて、遠方制限推奨距離と近方制限推奨距離を変更する。
図10は、第2実施形態に係る撮像装置200の構成を示すブロック図である。図11は、第2実施形態における表示例を示す図である。
撮像装置200における、第1条件設定部210、第2条件設定部220、撮影条件取得部230、レンズ情報取得部231、基線長導出部232、第1導出部240、表示制御部250、表示部260、撮像光学系280、レンズ281、撮像光学系280の絞り(不図示)、センサ283、及び駆動回路284は、第1実施形態の撮像装置100の第1条件設定部110、第2条件設定部120、撮影条件取得部130、レンズ情報取得部131、基線長導出部132、第1導出部140、表示制御部150、表示部160、撮像光学系180、レンズ181、絞り182、センサ183、及び駆動回路184にそれぞれ対応する。
補正処理設定部290による補正処理は、再現される立体像の奥行き分布を調整する効果がある。例えば、第1実施形態のような瞳分割方式の撮像光学系280で撮影する場合、合焦被写体より手前の被写体の視差量が大きすぎるとき、別言すると、再現される立体像が画面261から飛出し過ぎるときに、L画像とR画像をそれぞれ外側へ、すなわちL画像は左へ、R画像は右へそれぞれシフトすることで、再現される立体像を全体的に奥へシフトさせ、手前の被写体の視差量を小さくして見やすくすることができる。
また、瞳分割方式の場合、合焦被写体は必ず画面261上に再現されるため、これを画面261から飛び出させたいような場合は、L画像とR画像をそれぞれ内側へシフトする。また、広角レンズで撮影したため全体に視差量が小さすぎて立体感に乏しい場合に、画像を拡大することで視差量を大きくすることができる。このように撮影条件だけでなく補正処理も併用することで、撮影者はより見やすく撮影意図の反映された画像を撮影することが出来る。
シフト処理や拡大処理は、画像自体を処理してもよいし、センサ283から信号を読み出す際に読み出し位置や読み出す範囲を変更する方法で実現する方法もある。観察者が補正処理を設定する場合、例えばカメラの表示部260にL画像とR画像を重畳表示して画像シフトの様子を確認しながら補正処理設定操作に割り当てられたボタンを操作する。
ただし、シフト処理や拡大処理を行うと、補正処理前には設定した視差範囲制限内に収まっていた被写体が、補正後に制限範囲外になることもあるので注意が必要である。例えば立体像全体を画面261の奥へシフトさせるようなシフト処理では、遠方の被写体の視差量が大きくなって、見やすい範囲を超えることがある。そのため、第2実施形態では、画像補正パラメータに応じて、遠方制限推奨距離と近方制限推奨距離を変更し、第1実施形態における表示項目に加えて、視差ゼロ距離Zo0’や補正処理設定CSを画面261に表示させ、推奨被写体範囲の情報を確認しながら補正処理設定を行えるようにした(図11)。
なお、その他の構成、作用、効果については、第1実施形態と同様である。
(第3実施形態)
第1実施形態に係る撮像装置では、快適視差範囲の考え方で視差範囲制限条件として、観察時視差角の最大値Δφc1と最小値Δφc2を設定した。これに対して、快適視差範囲を外れたものが直ちに問題になる訳ではなく、融像は容易である。しかし、そのような映像は長時間見続けると疲れやすい。そのため、通常は快適視差範囲に収まるように撮影するが、映像に迫力や面白みを持たせるために、融像は容易なレベルにおいて、敢えて快適視差範囲を超えた大きな視差量とすることもある。
ここで、融像限界を超えるほど大きな視差量は使うべきではない。第1実施形態の撮像装置では、推奨被写体範囲を超えてどこまでなら使用してよいかについてはっきり示さなかったが、第3実施形態の撮像装置では、図12に例示するように、推奨被写体範囲とは別に限界被写体範囲として、近方限界距離Zoc3及び遠方限界距離Zoc4も表示することとしている。図12は、第3実施形態における表示例を示す図である。
ここで、限界被写体範囲は、推奨被写体範囲の場合と同様に導出し、あらかじめ限界視差範囲として、遠方限界視差角Δφc4と近方限界視差角Δφc3の値が初期設定されている。この設定は必要に応じて観察者が変更しても良い。そして、遠方・近方の推奨被写体距離と同様の方法で、遠方限界被写体距離と近方限界被写体距離を導出する。このとき、推奨被写体範囲の例外処理と同様に、遠方限界視差角Δφc4から計算される画面上視差量Δxdc4が想定する観察者の瞳孔間距離IPDによって決まる値XDMXより大きい場合は、Δxdc4=XDMXとして遠方限界被写体距離Zoc4を導出する。XDMXはIPDより小さい値で例えばIPDの95%となるような値とする。
なお、その他の構成、作用、効果については、第1実施形態と同様である。
(第4実施形態)
第4実施形態に係る撮像装置においては、歪導出部としての第2導出部470(図18)を備える点が第1実施形態に係る撮像装置と異なる。
第4実施形態の撮像装置では、第2導出部470(図18)において、再現される立体像の歪具合を示す立体像歪評価値を導出し、表示制御部450は、推奨被写体範囲の情報とともに立体像歪評価値を表示部460に表示させる。別言すると、歪導出部としての第2導出部470は、遠方制限推奨距離と近方制限推奨距離の範囲内にある被写体について、所定の観察条件下で観察される立体像の歪具合を予測し、表示部は、歪導出部による予測結果に係る情報をさらに表示する。
ここで、立体像歪について説明する。
一般に立体映像を撮影するとき、撮影条件と観察条件の幾何学的な関係によって再現される立体像が歪み、不自然な見え方になることがある。ここでは歪の出方を大別して2つに分けて扱う。
1つ目の歪みとしての非線形歪は、被写体空間と再現立体像空間が非線形になることにより、ある程度遠方の被写体がひとつの面に張り付いて見えたり、奥行きによって被写体の大きさが狂って見えたりするものである。
図13、図14、図15は非線形歪を説明する図であって、図13は被写体空間と再現立体像空間が線形の場合、図14、図15は非線形歪が発生している場合を示す。また、図13〜図15において、(a)は被写体奥行きに対する再現立体像の奥行きを示したグラフ、(b)は被写体奥行きに応じて再現立体像の大きさが変わることを示したグラフ、(c)は被写体奥行きに応じて変わる再現立体像の見え方を示したものである。図14(a)、(b)、図15(a)、(b)において、破線は、被写体空間と再現立体像空間が線形の場合を示しており、実線は、非線形歪が発生している場合を示している。図14と図15は、非線形歪の現れ方が逆になっている。
図13に示す場合では、被写体奥行きと再現奥行きは線形関係にあり、観察者が感じる再現立体像の大きさは奥行きによって変わらない。したがって、奥行きの異なる同じ大きさの2つの被写体を撮影したときに、再現立体像でも2つは同じ大きさに感じられる。
これに対して図14に示す場合では、被写体奥行きが大きいほど、すなわち遠くにあるものほど、再現奥行きも大きさも強調されるため、手前にあるものが小さくなったような見え方になる(図14(c))。
また、図15に示す場合は、図14に示す場合と逆であって、遠くにあるものほど奥行きと大きさが圧縮されるため、ある程度遠くのものが全て平面に張り付いたように見える(図15(c))。
この現象は、例えば被写体距離に対して基線長や焦点距離が大きすぎると図14のようになり、観察画面が小さすぎると図15のようになる傾向があるが、関与するパラメータは基線長、焦点距離、合焦距離、観察画面サイズ、観察者の瞳孔間距離などがあり、歪とパラメータが1対1対応しているわけではない。
2つ目の歪を圧縮歪と呼ぶ。図16は、第4実施形態において、被写体奥行きと被写体サイズの比率に対する、再現奥行きと再現立体像サイズの比率の関係を示すグラフである。図17は、第4実施形態において発生した圧縮歪の例を示す図である。
図16において、破線L0は被写体空間と再現立体像空間が相似形の場合、実線L1はサイズに比較して奥行きが強調された場合、実線L2はサイズに比較して奥行きが圧縮された場合をそれぞれ示している。図17において、再現立体像S1は、そのサイズと奥行きの比率が、被写体S0のサイズと奥行きの比率と同じ場合、再現立体像S2は奥行きが強調された場合、再現立体像S3は奥行きが圧縮された場合をそれぞれ示している。
被写体空間と再現空間が線形であっても、図16に示すようにサイズと奥行きの比率が被写体空間と再現空間で大きく異なることがあり、その結果、図17の再現立体像S3のように全体が圧縮されてレリーフのように見えたり、逆に、再現立体像S2のように奥行きが強調されすぎて奇妙な見え方になることがある。この現象は、主に撮影画角と観察画角が大きく異なることが原因で、例えば撮影レンズの焦点距離が長すぎる、すなわち撮影画角が狭い場合、奥行きが圧縮された見えになりやすい。ただし、線形でないときは合焦距離などの他のパラメータも影響してくる。
このような歪の両方を完全になくすような理想的な条件の実現は多くの場合困難である。実際には、用途にもよるが、歪具合が小さければ観察者は気にしないため、歪が大きくなりすぎない程度に撮影条件を理想からずらして撮影することになる。そのためには、撮影者が、現在の撮影条件ではどのような歪の状態になるかを簡単にモニターできると都合が良い。
そこで、第4実施形態の撮像装置では、歪の状態を表す評価値DEとして、線形性を表す数値としての線形率Linと、奥行き強調・圧縮の程度を表す数値としての圧縮率ex(expa)と、を推奨被写体範囲とともにカメラの表示画面161に表示する(図19)。図19は、第4実施形態における表示例を示す図である。
非線形歪みの程度は、被写体の奥行き範囲をどう設定するかで変わるが、ここでは前述の第1導出部140で導出した近方制限推奨距離Zoc1と遠方制限推奨距離Zoc2を、非線形歪導出の範囲設定に利用する。
以下、歪評価値DEの具体的な計算方法について説明する。
<線形率 Lin>
線形率は、近方制限推奨距離Zoc1、遠方制限推奨距離Zoc2、及び、合焦距離Zo0の3点のデータから導出する。なお、遠方制限推奨距離Zoc2が無限大の場合は、視差量に関してはほとんど無限大とみなせるような大きな有限の距離で置き換えて計算する。
線形性が崩れると、図14(b)や図15(b)のグラフに示すように、再現される立体像のサイズが奥行きによって大きく変わる。そこで、近方制限推奨距離Zoc1、遠方制限推奨距離Zoc2、及び、合焦距離Zo0について、所定の被写体サイズXoに対する立体像のサイズXvc1、Xvc2、Xv0を求め、設定した範囲内で最も近い立体像のサイズと最も遠い立体像のサイズの差を合焦位置の立体像(画面161上の像)のサイズで割って1を加えたものを線形率Linとする。ここで、線形率Linは、次式(11)のようになる。
Figure 0006063662
立体像のサイズXvc1、 Xvc2、 Xv0は、上式(4)のように画面161上の被写体像の大きさと観察者の瞳孔間距離と画面上視差量で決まり、次式(12)、(13)、(14)のように表される。
Figure 0006063662
Figure 0006063662
Figure 0006063662
ここで、画面上被写体像の大きさXdc1、Xdc2、画面上視差量Δxdc1、Δxdc2などは、上式(5)、(6)のZoにZoc1やZoc2を代入して計算する。
線形率Linは、その値が1のとき線形性が成り立っており、1<Linのときは図14のような歪が発生しており、Lin<1のときは図15のような歪が発生しており、値が1から離れるほど歪の程度が大きい。
<圧縮率 Expa>
線形率が1でないとき、被写体距離によって圧縮率は異なってくるが、第4実施形態では合焦距離Zo0の被写体について導出した圧縮率を全体の圧縮率の代表値とする。
大きさ(横サイズ)Xoの被写体が、合焦距離Zo0と所定の微小距離ΔZoだけ離れた距離Zo1にある場合を考える。ここで、合焦距離Zo0と距離Zo1に対応する立体像の再現奥行きZv0とZv1及び、奥行きZv0に再現される立体像の横サイズXv0を求め、立体像の奥行き差Zv1−Zv0とサイズXv0の比を被写体距離の差ΔZoとサイズXoの比で割ったものを圧縮率Expaとする。圧縮率Expaを式で表すと次式(15)のようになる。
Figure 0006063662
圧縮率Expaは、その値が100%のとき、再現された立体像はもとの被写体と相似形であり、Expa<100%のときは奥行きが圧縮された状態を示し、100%<Expaのときは奥行きが強調された状態を示し、Expaが100%から離れるほど、歪の程度が大きいことを示す。
図18は、第4実施形態に係る撮像装置400の構成を示すブロック図である。第2導出部470には第1導出部440からの出力が入力され、第2導出部470からの出力は表示制御部450に入力される。
ここで、撮像装置400における、第1条件設定部410、第2条件設定部420、撮影条件取得部430、レンズ情報取得部431、基線長導出部432、第1導出部440、表示制御部450、表示部460、撮像光学系480、レンズ481、撮像光学系480の絞り(不図示)、センサ483、及び駆動回路484は、第1実施形態の撮像装置100の第1条件設定部110、第2条件設定部120、撮影条件取得部130、レンズ情報取得部131、基線長導出部132、第1導出部140、表示制御部150、表示部160、撮像光学系180、レンズ181、絞り182、センサ183、及び駆動回路184にそれぞれ対応する。
第1実施形態と同様に、第1導出部440は、近方制限推奨距離Zoc1と遠方制限推奨距離Zoc2を導出し、それらと合焦距離Zo0の情報を表示制御部450へ出力する。
また、立体像歪評価値導出部としての第2導出部470へ、近方制限推奨距離Zoc1、遠方制限推奨距離Zoc2、合焦距離Zo0、想定する表示画面461の幅Wd、観察距離Dv、瞳孔間距離IPDと、撮影レンズの焦点距離f、及び、基線長SBの値を出力する。
第2導出部470では、前述の線形率Linと圧縮率Expaを導出し、線形率Lin、圧縮率Expa、及び基線長SBの値を表示制御部450へ出力する。表示制御部450ではこれらの情報を映像信号に重畳して表示部460へ出力し、表示部460で表示する。
図19は、第4実施形態における表示例を示す図である。
第4実施形態では、推奨被写体範囲の情報と同時に立体歪の情報も表示されるため、撮影者は現在の撮影条件ではどの程度立体歪がでるのか把握できる。特に歪評価値DE(線形率Lin、圧縮率Expa(ex))の値があらかじめ設定された値より悪いときは色を変えるなど特殊表示にすると、不慣れな撮影者でも立体歪の問題に気づきやすい。そして、撮影者は表示を見ながら基線長などの撮影条件を工夫することにより、立体歪の少ない自然な立体画像を撮影することができる。
また、立体歪を改善するために基線長や焦点距離を長くすると、撮影したい被写体が推奨被写体範囲を超えてしまうこともあるが、推奨被写体範囲を見ながら、立体歪と全体の見易さのバランスを考えて撮影条件を調整できる。第1実施形態と同様に、変化があった値は強調表示になるようにするとよりわかりやすい。また、歪評価値が改善した、すなわち線形率が1に近づいた、又は圧縮率が100%に近づいたときと劣化したときとで、色など表示の仕方を変えても良い。
なお、その他の構成、作用、効果については、第1実施形態と同様である。
(第5実施形態)
図20は、第5実施形態における表示例を示す図である。第5実施形態の撮像装置では、被写体距離でなく、画面161上の視差量を基準の視差量と比較する。ライブビュー画像LV上(図20(a))で観察者がエリアEA1(拡大指定エリア)を指定して拡大表示にすると、遠方推奨視差量を示すスケールSC2と近方推奨視差量を示すスケールSC1が表示される(図20(b)中の矢印)。これらのスケールの長さは、想定する観察条件、視差範囲制限条件、カメラの表示画面サイズ、及び、表示拡大率で決まる。観察者は実際の風景中で視差量が大きくなりそうな被写体について、画面161上で左右画像のズレ量をスケールと比較することにより、気になる部分の視差量がおおよそどれくらいなのかを知ることができる。
なお、その他の構成、作用、効果については、第1実施形態と同様である。
(第6実施形態)
上述の第1〜第5実施形態の撮像装置では、推奨被写体範囲(遠方制限推奨距離と近方制限推奨距離)に対して実際の被写体がどの範囲にあるかということは、撮影者が自身で判断するようにしていた。このような方法は、あらかじめ撮影範囲を見積もっておいて、そこに被写体を配置していくような計画的な撮影や、距離を見積もりやすい近距離撮影には向いている。しかし、通常の撮影では、撮影者が被写体の距離を見積もるのが難しい場合も多い。
そこで、第6実施形態の撮像装置では、カメラが被写体距離を検出して、その結果と推奨被写体範囲の関係を示す表示を行う。ステレオ撮影の場合であれば、ライブビュー画像から被写体の視差量を検出すれば、上式(1)を用いて被写体距離を計算することができる。視差量の検出方法は、一般的なステレオマッチングを用いればよい。なお、ステレオマッチングの説明は省略する。
図21〜図24は、第6実施形態における表示例を示す図である。
図21に示すように、ライブビュー画像LVを表示したカメラの表示画面161上で、被写体距離を確認したいエリアを観察者が指定する。図21に示す例では、エリア1(AR1)とエリア2(AR2)の2箇所を指定している。カメラはこの2箇所それぞれについてエリア内の平均視差量を算出し、被写体距離を導出する。
画面161の右端部には第1実施形態の画面161と同様にスケールが表示してあり、遠方制限推奨距離Zoc2、近方制限推奨距離Zoc1、及び合焦距離Zo0の数値、並びに、それらの位置関係がスケールで示されている。さらに、このスケール上に、導出した被写体距離に対応させて、エリアごとのマークとして、エリア1被写体距離Zar1、エリア2被写体距離Zar2を表示する。
この表示により、撮影者は、指定した被写体部分が推奨被写体範囲に対しておおよそどのような位置関係にあるのか、指定した被写体部分が推奨被写体範囲内にあるのか、さらには、推奨被写体範囲をわずかに超えるのか、又は、大幅に超えているのかなどを直感的に把握することができる。また、それとともに、次の操作の判断、すなわち、この状態で撮影するか、それとも余裕があるためもっと立体感を強調するか、推奨範囲を大幅に超えているため撮影条件を大きく変えたほうが良いか、などの判断がしやすくなる。
図21に示すスケールの代わりに、図22の右下部分に示すように、測定した被写体距離ごとにエリアマークの色を変えることによって、指定したエリアの距離と推奨被写体範囲の関係をインジケーターで示してもよい。図22に示す例では、被写体距離と色の関係を示すインジケーターを用いており、インジケーターの左側の2つの黒三角印により、推奨被写体範囲として近方制限推奨距離Zoc1と遠方制限推奨距離Zoc2を示している。このインジケーターにおいては、遠方制限推奨距離Zoc2よりも上側に遠方制限推奨距離より遠い範囲Ioc2を示し、近方制限推奨距離Zoc1よりも下側に近方制限推奨距離より近い範囲Ioc1を示し、近方制限推奨距離Zoc1と遠方制限推奨距離Zoc2の中間位置に視差ゼロ距離Ip0を示している。
ここで、被写体やカメラが動くと、エリアマークが意図したところからずれてしまうため、位置を再設定する必要がある。そのような場合、エリアマークに自動的に被写体を追従する機能を持たせることで、再設定の手間が省ける。さらに顔検出機能があれば、複数の人を撮影するときにそれぞれの顔を追跡して距離を検出するため、エリア指定も省ける。
エリア指定をせずに、画像の全画素について視差量を検出して最大視差量と最小視差量を算出し、図23に示すように各視差量に相当する最遠被写体距離Zfと最近被写体距離Zcをスケール上に表す方法もある。
また、画像の全画素について視差量を検出し、図24に示すように、画面161に右下に視差量ごとに色分けした奥行きマップを表示して、奥行きマップの左側の2つの黒三角印により、推奨被写体範囲として近方制限推奨距離Zoc1と遠方制限推奨距離Zoc2の関係を示すようにしても良い。
なお、その他の構成、作用、効果については、第1実施形態と同様である。
(変形例)
上述の第1〜第3実施形態の撮像装置では瞳分割方式の撮像光学系180を想定し、基線長は焦点距離と絞り182の大きさから計算する場合を挙げた。第4〜第6実施形態の撮像光学系480についても同様である。これに対して、撮像光学系のレンズに、図25に示すような、2つの開口部192a、192bをもつ第2の絞り192を挿入するタイプを用いることもできる。その場合、基線長SBは、第2の絞り192の2つの開口部192a、192bの間隔と焦点距離から導出する。
また、瞳分割方式の光学系に限る必要は無く、一般的な2系統の光学系を用いることもできる。その場合の基線長は焦点距離や絞りの大きさには依存しないため、固定の値を用いる、又は、2系統の光学系を制御する機構から基線長情報を取得して用いる。
さらにまた、第1〜第6実施形態の撮像装置では、第1条件設定部110、410で設定する値については一般的な快適視差範囲を例にとって説明したが、これに限られるものではない。例えば、一部の裸眼立体表示装置は、視差量が大きくなると急激に解像度が落ちる性質をもっているため、解像度が落ちない視差範囲を制限条件として設定しても良い。
さらに、第3実施形態以外では、快適視差範囲と融像限界の違いを特に意識させない表示にしていたが、第1導出部140、240、440で例外処理を行ったとき、すなわち遠方限界推奨距離Zoc2が開散限界の距離の場合は、その情報も表示制御部150へ送り、Zoc2の表示にマークをつけるなど通常とは違う表示にして開散限界であることを明示すると、これより遠方の被写体を入れてはいけないことを観察者が認識しやすくなる。
以上のように、本発明に係る撮像装置及び撮像方法は、見やすい視差量を考慮した撮影を撮影者が容易に行うことのできる撮像装置及び撮像方法の提供に有用である。
100 撮像装置
110 第1条件設定部(視差範囲制限条件設定部)
120 第2条件設定部(観察条件設定部)
130 撮影条件取得部
131 レンズ情報取得部
132 基線長取得部
140 第1導出部(推奨被写体範囲導出部)
150 表示制御部
160 表示部
161 画面
180 撮像光学系
181 レンズ
182 絞り
183 センサ
183a センサ面
184 駆動回路
192 第2の絞り
192a、192b 開口部
200 撮像装置
210 第1条件設定部(視差範囲制限条件設定部)
220 第2条件設定部(観察条件設定部)
230 撮影条件取得部
231 レンズ情報取得部
232 基線長取得部
240 第1導出部(推奨被写体範囲導出部)
250 表示制御部
260 表示部
261 画面
280 撮像光学系
281 レンズ
283 センサ
284 駆動回路
290 補正処理設定部
400 撮像装置
410 第1条件設定部(視差範囲制限条件設定部)
420 第2条件設定部(観察条件設定部)
430 撮影条件取得部
431 レンズ情報取得部
432 基線長取得部
440 第1導出部(推奨被写体範囲導出部)
450 表示制御部
460 表示部
461 画面
470 第2導出部
480 撮像光学系
ALc 左側領域の中心
AR1、AR2 エリア
ARc 右側領域の中心
Ax 光軸
DE 歪評価値
Dv 観察距離
Expa 圧縮率
f 焦点距離
F 絞りの大きさ
FA フォーカスエリア
IPD 瞳孔間距離
IT_L、IT_R 被写体Tの画像
IT0_L、IT0_R 被写体T0の画像
LV ライブビュー画像
Lin 線形率
S0 被写体
S1、S2、S3 再現立体像
SB 基線長
SC1、SC2 スケール
T、T0 被写体
V 観察者
Wd 画面サイズ
Ws センササイズ
φvc1 近方視差制限値
φvc2 遠方視差制限値
φvc3 近方限界視差角
φvc4 遠方限界視差角
Zo0 合焦距離
Zoc1 近方制限推奨距離
Zoc2 遠方制限推奨距離
Zoc3 近方限界距離
Zoc4 遠方限界距離
Zo0’ 視差ゼロ距離

Claims (7)

  1. 複数の撮影条件で奥行情報を含む画像を取得する撮像部と、
    前記複数の撮影条件の各々と撮影条件とは独立に設定される範囲制限条件とから、前記範囲制限条件を満足する最遠の被写体距離である遠方制限推奨距離と前記範囲制限条件を満足する最近の被写体距離である近方制限推奨距離とを導出する推奨被写体範囲導出部と、
    前記複数の撮影条件の各々に応じた前記遠方制限推奨距離と前記近方制限推奨距離の情報を表示する表示部と
    前記複数の撮影条件の各々に応じた前記奥行情報を含む画像に対する補正処理を指定し、画像補正パラメータを設定する補正処理設定部と、を備え、
    前記推奨被写体範囲導出部は、前記複数の撮影条件の各々に応じた前記画像補正パラメータに応じて、前記遠方制限推奨距離と前記近方制限推奨距離を変更することを特徴とする撮像装置。
  2. 前記表示部は、さらに、前記補正処理の後の合焦距離の情報を前記画像に重畳して表示することを特徴とする請求項1に記載の撮像装置。
  3. 前記遠方制限推奨距離と前記近方制限推奨距離の範囲内にある被写体について、所定の表示方法で観察される立体像の歪具合を予測する歪導出部をさらに備え、
    前記表示部は、前記歪導出部による予測結果に係る情報をさらに表示することを特徴とする請求項1に記載の撮像装置。
  4. 複数の撮影条件で視差画像を取得する撮像部と、
    前記複数の撮影条件の各々と所定の観察条件と視差制限範囲とから、前記視差制限範囲内の視差量になる最遠の被写体距離である遠方制限推奨距離と前記視差制限範囲内の視差量になる最近の被写体距離である近方制限推奨距離とを導出する推奨被写体範囲導出部と、
    前記複数の撮影条件の各々に応じた前記遠方制限推奨距離と前記近方制限推奨距離の情報を表示する表示部と、
    前記複数の撮影条件の各々に応じた前記視差画像に対する補正処理を指定し、画像補正パラメータを設定する補正処理設定部と、を備え、
    前記推奨被写体範囲導出部は、前記複数の撮影条件の各々に応じた前記画像補正パラメータに応じて、前記遠方制限推奨距離と前記近方制限推奨距離を変更することを特徴とする撮像装置。
  5. 前記表示部は、前記補正処理の前の視差ゼロ距離、及び、前記補正処理の後の視差ゼロ距離の情報を前記画像に重畳して表示することを特徴とする請求項1に記載の撮像装置。
  6. 複数の撮影条件で奥行情報を含む画像を取得する撮像ステップと、
    前記複数の撮影条件の各々と撮影条件とは独立に設定される範囲制限条件とから、前記範囲制限条件を満足する最遠の被写体距離である遠方制限推奨距離と前記範囲制限条件を満足する最近の被写体距離である近方制限推奨距離とを導出する推奨被写体範囲導出ステップと、
    前記撮像ステップで取得した前記奥行情報を含む画像に重畳して、前記推奨被写体範囲導出ステップで導出した、前記遠方制限推奨距離と前記近方制限推奨距離の情報を表示する表示ステップと、
    前記複数の撮影条件の各々に応じた前記奥行情報を含む画像に対する補正処理を指定し、画像補正パラメータを設定する補正処理設定ステップと、
    前記複数の撮影条件の各々に応じた前記画像補正パラメータに応じて、前記遠方制限推奨距離と前記近方制限推奨距離を変更するステップと、
    を備えることを特徴とする撮像方法。
  7. 前記表示部は、
    撮影画面内において、前記被写体距離を算出する領域を示す少なくとも1つのエリアマークを表示し、
    前記遠方制限推奨距離及び前記近方制限推奨距離を示す情報と、前記エリアマークで指定された領域の前記被写体距離を示す情報と、を比較できるように表示することを特徴とする請求項1から5のいずれか一項に記載の撮像装置。
JP2012164563A 2012-07-25 2012-07-25 撮像装置及び撮像方法 Expired - Fee Related JP6063662B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012164563A JP6063662B2 (ja) 2012-07-25 2012-07-25 撮像装置及び撮像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012164563A JP6063662B2 (ja) 2012-07-25 2012-07-25 撮像装置及び撮像方法

Publications (3)

Publication Number Publication Date
JP2014027390A JP2014027390A (ja) 2014-02-06
JP2014027390A5 JP2014027390A5 (ja) 2015-10-08
JP6063662B2 true JP6063662B2 (ja) 2017-01-18

Family

ID=50200689

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012164563A Expired - Fee Related JP6063662B2 (ja) 2012-07-25 2012-07-25 撮像装置及び撮像方法

Country Status (1)

Country Link
JP (1) JP6063662B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6604760B2 (ja) * 2015-07-10 2019-11-13 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130128003A1 (en) * 2010-08-19 2013-05-23 Yuki Kishida Stereoscopic image capturing device, and stereoscopic image capturing method

Also Published As

Publication number Publication date
JP2014027390A (ja) 2014-02-06

Similar Documents

Publication Publication Date Title
JP5346266B2 (ja) 画像処理装置、カメラ及び画像処理方法
JP5963422B2 (ja) 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム
US8629870B2 (en) Apparatus, method, and program for displaying stereoscopic images
KR101824439B1 (ko) 모바일 스테레오 카메라 장치 및 그 촬영방법
CN102959969B (zh) 单眼立体摄像装置
JP5814692B2 (ja) 撮像装置及びその制御方法、プログラム
JP5647740B2 (ja) 視差調節装置及び方法、撮影装置、再生表示装置
JP4895312B2 (ja) 3次元表示装置および方法並びにプログラム
WO2012001970A1 (ja) 画像処理装置および方法並びにプログラム
JPWO2011121818A1 (ja) 複眼撮像装置、その視差調整方法及びプログラム
JP5840022B2 (ja) 立体画像処理装置、立体画像撮像装置、立体画像表示装置
JPWO2013047415A1 (ja) 画像処理装置、撮像装置及び視差量調整方法
US9154771B2 (en) Apparatus for capturing stereoscopic image
JP5484577B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP6063662B2 (ja) 撮像装置及び撮像方法
JP2012227653A (ja) 撮像装置及び撮像方法
JP5546690B2 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体及び撮像装置
JP6086666B2 (ja) 撮像装置
US20160065941A1 (en) Three-dimensional image capturing apparatus and storage medium storing three-dimensional image capturing program
WO2012001958A1 (ja) 画像処理装置および方法並びにプログラム
JP2015094831A (ja) 立体撮像装置およびその制御方法、制御プログラム
JPH07264633A (ja) 立体ビデオカメラ
JP2014045392A (ja) 立体映像受像機
JP5409481B2 (ja) 複眼撮影装置及びプログラム
JP2012114680A (ja) 立体映像撮影装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161219

R151 Written notification of patent or utility model registration

Ref document number: 6063662

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees