WO2013046886A1

WO2013046886A1 - 立体画像撮像装置及びその合焦状態確認用画像表示方法

Info

Publication number: WO2013046886A1
Application number: PCT/JP2012/068599
Authority: WO
Inventors: 裕子児玉
Original assignee: 富士フイルム株式会社
Priority date: 2011-09-30
Filing date: 2012-07-23
Publication date: 2013-04-04
Also published as: CN103842907A; JP5640155B2; US20140210957A1; JPWO2013046886A1

Abstract

　被写体を撮像して視点の異なる複数の画像４１，４２を得る立体画像撮像部と、複数の画像４１，４２を被写体の立体画像として表示する表示部とを備える立体画像撮像装置において、複数の画像４１，４２のいずれか１つにおける撮像時の焦点調節対象領域を含む領域の画像４１ａを、合焦状態確認用の画像４３として立体画像中の一部に重畳し表示する。

Description

立体画像撮像装置及びその合焦状態確認用画像表示方法

　本発明は、ステレオカメラ等の立体画像撮像装置に係り、特に、フォーカスエリア内の画像をユーザが見てピントが合っているか否かを容易に判断できる立体画像撮像装置及びその合焦状態確認用画像表示方法に関する。

　立体画像撮像装置（立体カメラ）は、右目で見た被写体画像と、左目で見た被写体画像とを同時に撮像し、立体カメラ背面に設けられレンチキュラレンズシートが貼られた表示部に、１フレーム毎に交互に、右目用被写体画像と左目用被写体画像とを表示することで、被写体の擬似的な立体画像を表示する様になっている。

　この様な立体カメラを用いて被写体を撮像するとき、ユーザは、撮像素子（イメージセンサ）から出力されるスルー画像を表示部に表示させて被写体の構図を決めながら、被写体にピントが合った立体画像が撮像できるか否かを判断することになる。しかし、立体画像のままでは、ピントが被写体に合焦しているか否かの判断は困難である。

　このため、下記の特許文献１に記載されている従来技術では、表示部に表示される被写体画像を、立体画像と平面画像のいずれかに切替表示可能とし、ユーザがマニュアルフォーカス制御を開始したとき自動的に表示画像を平面画像（二次元画像：左目用画像又は右目用画像の一方だけの画像）に切り替えて、フォーカス制御が容易となるようにしている。

日本国特開２０１１―９１４８２号公報

　上述した特許文献１記載の従来技術の様に、表示部に平面画像を表示すれば、立体画像だけが表示されている場合に比較して、ピントが合っているか否かを判断するのが容易となる。しかし、平面画像でピントを確認しながら、立体画像がどの様に見えるのかその立体感を確認することができず、表示を二次元表示から三次元表示に切り替えないといけないという不便がある。

　特に、ペットや子供，野鳥の撮影など、動く被写体を撮影対象とした場合、立体画像の見え方とピントの合焦程度を短時間に確認できないと、シャッタチャンスを逃してしまう。このため、表示部の表示切替が必要な従来技術では、シャッタチャンスを逃す虞が高いという問題がある。

　本発明の目的は、ピントを確認することと立体画像の見え方の確認とを同時に行うことができる立体画像撮像装置及びその合焦状態確認用画像表示方法を提供することにある。

　本発明の立体画像撮像装置は、被写体を撮像して視点の異なる複数の画像を得る立体画像撮像部と、上記複数の画像を上記被写体の立体画像として表示する表示部と、上記複数の画像のいずれか１つにおける撮像時の焦点調節対象領域を含む領域の画像を合焦状態確認用の画像として上記立体画像中の一部に重畳し表示する表示制御部とを備えることを特徴とする。
　また、本発明の合焦状態確認用画像表示方法は、被写体を撮像して視点の異なる複数の画像を得る立体画像撮像部と、上記複数の画像を上記被写体の立体画像として表示する表示部とを備える立体画像撮像装置の合焦状態確認用画像表示方法であって、上記複数の画像のいずれか１つにおける撮像時の焦点調節対象領域を含む領域の画像を合焦状態確認用の画像として上記立体画像中の一部に重畳し表示することを特徴とする。

　本発明によれば、被写体の立体画像の立体感と、合焦状態確認用の画像とを同時に確認できるため、シャッタチャンスを逃すことなく高品質な被写体立体画像を撮像することが可能となる。

本発明の一実施形態に係る立体画像撮像装置（立体カメラ）の外観斜視図である。図１に示す立体カメラの機能ブロック構成図である。図１に示す立体カメラの背面図である。立体画像の説明図である。本発明の一実施形態に係る合焦状態確認用画像の表示例を示す図である。本発明の一実施形態に係る合焦状態確認用画像の表示処理手順を示すフローチャートである。本発明の一実施形態に係る合焦状態確認用画像のリサイズ説明図である。本発明の一実施形態に係る合焦状態確認用画像の合成例を説明する図である。本発明の一実施形態に係る合焦状態確認用画像と表示部への表示画像の生成手順を説明する図である。合焦状態確認用画像の奥行き位置（飛び出し量／引っ込み量）の説明図である。立体画像と視差量の説明図である。視差量と合焦状態確認用画像の奥行き位置（飛び出し量／引っ込み量）との対応関係を示す図である。合焦状態確認用画像の奥行き位置（飛び出し量／引っ込み量）を画素ズラシで制御する説明図である。フォーカス検出エリアが移動して合焦状態確認用画像と重なる様子を説明する図である。合焦状態確認用画像の表示領域の切り替えを行う説明図である。主要被写体の画像と合焦状態確認用画像とが重なったときの対処方法の説明図である。

　以下、本発明の一実施形態について、図面を参照して説明する。

　図１は、立体画像撮像装置（本実施形態では左右２眼の立体画像撮影用のデジタルカメラ、以下、立体カメラ又は単にカメラという。）の外観斜視図である。この立体カメラ１０は、箱状のハウジング１１と、ハウジング１１の前部に並んで設けられた立体画像撮像部としての右目用の撮像部１２Ｒ及び左目用の撮像部１２Ｌと、ハウジング１１の前面左肩部に設けられたフラッシュライト１３と、ハウジング１１の上面適宜箇所に設けられた電源スイッチ１４，シャッタボタン１５，モード選択ダイヤル１６とを備える。

　ハウジング１１の背面側には、図２に示す液晶表示部（モニタ）３７を備え、スルー画像やモード選択画面，メニュー画面，ガイド表示等が表示される。

　撮像部１２Ｒは前部に撮影レンズ２１Ｒを備え、撮像部１２Ｌは前部に撮影レンズ２１Ｌを備える。撮影レンズ２１Ｒの光軸２２Ｒと、撮影レンズ２１Ｌの光軸２２Ｌとが交差する角度を輻輳角といい、輻輳角が目標値となるように各撮像部１２Ｒ，１２Ｌの向く方向を制御するアクチュエータを立体カメラ１０に内蔵することもできるが、撮影レンズ２１Ｒ，２１ＬＬ間の輻輳角を固定とし、左右の撮像画像のズレ量を画像処理技術で調整することで立体画像の立体感を制御することもできる。

　撮影レンズ２１Ｒ，２１Ｌは、夫々独立に焦点位置合わせ，ズーム倍率が調整可能となっているが、立体画像撮影モード時には、これら撮影レンズ２１Ｒ，２１Ｌは、後述のモータドライバ３８によって連動制御され、一方の撮影レンズと他方の撮影レンズの両方が同じ合焦位置に制御される。

　図２は、図１に示す立体カメラ１０の機能ブロック図である。立体カメラ１０は、撮影レンズ２１Ｒの背面部に配置された右目用イメージセンサ２５Ｒと、イメージセンサ２５Ｒの出力をデジタルデータに変換するＡＤ変換部２６Ｒを備えると共に、撮影レンズ２１Ｌの背面部に配置された左目用イメージセンサ２５Ｌと、イメージセンサ２５Ｌの出力をデジタルデータに変換するＡＤ変換部２６Ｌを備える。

　立体カメラ１０は更に、ＡＤ変換部２６Ｒ，２６Ｌの出力を取り込む信号処理部２７と、この立体カメラ１０の全体を統括制御するシステム制御部（ＣＰＵ）２８と、撮像画像のリサイズを行うリサイズ部２９と、フレームメモリ等のワークメモリ３０と、撮像画像データを処理してＡＦ制御を行うＡＦ制御部３１と、表示制御部３２と、合成画像座標制御部３３と、ＬＣＤコントローラ３４とを備え、これらは相互にバス３５で接続され、ＣＰＵ２８の指示に従って動作する。

　ＬＣＤコントローラ３４にはカメラ１０の背面に設けられた液晶表示部（ＬＣＤ）３７が接続され、ＣＰＵ２８に接続されたモータドライバ３８は、撮影レンズ２１Ｒ，２１Ｌの焦点制御用モータを駆動する。また、ＣＰＵ２８にはシャッタボタン１５を含む操作部やユーザインタフェースキー等３９が接続される。

　ＣＰＵ２８は、配下の信号処理部２７が画像処理した被写体画像を解析し、その中の主要被写体の少なくとも一部を含む領域を検出する主要被写体領域検出機能を備えている。この機能により検出された主要被写体にピントが合うように、フォーカスエリアが設定される。なお、図示は省略したが、撮像画像データを記録するメモリカード等の外部メモリがバス３５にメモリインタフェースを介して接続される。

　図３は、立体カメラ１０の背面図である。立体カメラ１０の背面には、液晶表示部３７が設けられており、この表示部３７に撮像画像が表示される。例えば、イメージセンサ２５Ｒ，２５Ｌから出力されるスルー画像が立体画像として表示される。

　例えば、図４の左目画像（イメージセンサ２５Ｌの出力画像）４１と右目画像（イメージセンサ２５Ｒの出力画像）４２とが１フレーム毎に交互に表示部３７に表示されると、レンチキュラレンズシート（図示省略）が貼られた表示部３７から、表示部３７を見る人の左目には左目画像４１しか入らず、右目には右目画像４２しか入らない。これにより、図４右側に表示したように、左目画像４１と、これと少しずれた右目画像４２とにより立体画像（図示の例では鳥の立体画像）が再生される。

　このとき、図５に示すように、左目画像４１中のＡＦエリア４１ａと、右目画像４２中のＡＦエリア４２ａとは、鳥の頭部分を映したエリアとなっている。そして、本実施形態では、図３に示す様に、撮像時の焦点調節対象領域となる、表示部３７のうち主要被写体が映っていない可能性の高い領域（図示の例では右下領域）に、ＡＦエリア４１ａ，４２ａよりも広めの合焦状態確認用の表示領域４０を設け、ＡＦエリア４１ａに映っている鳥の頭部分の左目画像又はＡＦエリア４２ａに映っている鳥の頭部分の右目画像だけを表示する。

　仮に、ユーザの利き目が左目の場合でその旨の設定指示がある場合には、鳥の頭部分の左目画像だけを、毎フレーム、表示領域４０内に表示する。あるいは、撮影レンズ２１Ｌ，２１Ｒのうち、一方の例えば撮影レンズ２１Ｌの合焦制御を優先して行い、他方の撮影レンズ２１Ｒの合焦制御を撮影レンズ２１Ｌの制御値に基づいて追従制御させる形式のカメラの場合、撮影レンズ２１Ｌによる撮像画像（この例だと左目画像）のＡＦ拡大画像を表示する。

　これにより、表示領域４０にはＡＦエリア４１ａ，４２ａ内の撮像画像が二次元画像として表示されるため、ピントが合っているか否かを確認することが可能となる。しかも、画面全体では、立体画像が表示されているため、立体感の程度をピント確認と同時に視認することが可能となる。

　実際のＡＦエリア４１ａ，４２ａ内の画像のサイズと、表示領域４０に表示する画像サイズとに違いがあるため、図２のリサイズ部２９が表示領域４０に合わせたＡＦエリア内画像を生成し表示することになる。

　なお、上述した説明では、表示領域４０を表示部３７内に設け、ここに合焦状態確認用の拡大画像を表示したが、立体画像中のフォーカスエリア内の表示画像を合焦状態確認用画像として表示することでも良い。近年のデジタルカメラに搭載される表示画面が大型化しているため、立体画像中のフォーカスエリア内に直接的に合焦状態確認用画像を表示しても、合焦状態の確認は可能である。あるいは、立体画像中のフォーカスエリアを中心に拡大した表示領域４０を設け、ここに合焦状態確認用画像を表示しても良く、表示領域４０を設ける場所は、表示部３７の右下領域等に限るものではない。

　図６は、上述した実施形態を実行するための処理手順を示すフローチャートであり、図２のＣＰＵ２８が配下のリサイズ部２９等を用いて実行される。立体カメラ１０は、オートフォーカスモードで駆動しているとする。

　先ず、ステップＳ１で、ユーザからの指示によりＡＦエリアの平面画像拡大表示がＯＮになっているのか否かを判定する。この判定結果が肯定すなわちＡＦエリア内画像の拡大表示を行う場合には次のステップＳ２に進み、ＡＦエリア内の画像の拡大画像（合焦状態確認用画像）を作成する。

　図７は、ＡＦエリア内画像の拡大画像を作成する説明図である。図２の信号処理部２７には、例えば、イメージセンサ２５Ｒ，２５Ｌから夫々１２８０×９６０画素のスルー画像が取り込まれている。このスルー画像を表示部３７に表示するため、リサイズ部２９は、夫々６４０×４８０画素の画像４１，４２に縮小し、表示部３７に表示する。

　図６のステップＳ２の次のステップＳ３では、スルー画像の表示用画像の所定位置（表示領域４０位置）にＡＦエリア内画像の拡大画像を合成（重畳）する処理を行う。この合成（重畳）処理は、以下の様にして行う。

　図７に示す表示画像（縮小画像）上のＡＦエリアのサイズは、１６０×１２０画素である。このＡＦエリアの画像を表示領域４０に表示するために拡大するのであるが、１６０×１２０画素の画像を拡大するのではなく、縮小前のＡＦエリア内画像３２０×２４０を、２４０×１８０画素の画像４３にリサイズし、これを表示領域４０に表示する。

　このリサイズした２４０×１８０画素の画像４３を、図８に示す様に、表示画像４１，４２の夫々の表示領域４０位置に埋め込み、１フレーム毎に、画像４３が埋め込まれた画像４１と、画像４３が埋め込まれた画像４２とを交互に表示する。これにより、合焦状態確認用画像４３が立体画像中に２Ｄ表示される。

　図９は、図２のメモリ３０を用いた処理の説明図である。メモリ３０には、イメージセンサ２５Ｒ，２５Ｌから出力される画像データ（取り込み画像）が一時的に保存される。この画像データをリサイズ部２９が縮小処理して表示用画像４１，４２を生成してメモリ３０に一時的に保存し、次にＡＦエリア内画像の拡大画像４３を作成し、これもメモリ３０に一時的に保存する。この表示用リサイズ画像４１，４２とＡＦエリア拡大画像４３とを合成し、表示制御部３２に送ることで、図８の合成画像が表示部３７に表示される。

　もし、リサイズ部２９を２つ持っていれば、表示用リサイズ画像４１，４２とＡＦエリア内拡大画像４３とを同時に生成できるため、処理の高速化を図ることが可能となる。

　図６に戻り、ステップＳ３の次にステップＳ４に進み、シャッタボタンの半押しを待機する。半押し状態が検出されない場合にはステップＳ１に戻り、半押し状態となった場合には次のステップＳ５に進む。ステップＳ１の判定の結果、ＡＦエリア内画像の拡大画像の表示指示が無いと判定された場合もステップＳ５に進む。

　ステップＳ５では、コントラストＡＦ制御や位相差ＡＦ方式，山登り方式などの周知の予め決められたＡＦ制御を行う。そして次のステップＳ６で、図２のモータドライバ３８が、ＣＰＵ２８からの指示により、ＡＦ値に応じてフォーカスレンズを駆動したか否かを判定する。

　ステップＳ６でフォーカスレンズが駆動されたと判定された場合には、撮像画像が更新されたことを意味するため、ステップＳ２に戻り、ＡＦエリア内画像の拡大画像再作成と、スルー画表示画像にＡＦエリア内画像の拡大画像を再合成する。

　ステップＳ６の判定の結果、フォーカスレンズが駆動されなかった場合には、撮像画像に変化は無いため、ステップＳ７に進む。

　ステップＳ７で、ユーザは、ＡＦエリア内画像の拡大画像を視認してピントが合っているか否かを判定する。ピントが合っている場合にはステップＳ８に進んでシャッタレリーズボタンを全押し、撮影処理（ステップＳ９）に進み、この処理を終了する。

　ステップＳ７の判定の結果、ピントが合っていない場合には、次にカメラはユーザからの入力指示でＭＦ（マニュアルフォーカス）への切替指示があるか否かを判定する（ステップＳ１０）。ＭＦへの切替指示が無い場合にはステップＳ４に戻り、ＭＦへの切替指示が有る場合にはステップＳ１１に進み、撮影モードをＭＦモードに切り替える。

　次のステップＳ１２で、ユーザは、フォーカスリングを調整して手動でフォーカスレンズを移動させる。この結果、撮像画像は更新されるため、ステップＳ１３に進んでステップＳ２と同じ処理を行い、次にステップＳ１４でステップＳ３と同じ処理を行い、ステップＳ７に戻る。

　フォーカスリングの調整により画面上の三次元画像及びＡＦ確認用画像が更新されるため、これを見たユーザがステップＳ７でピントが合っていると判断すれば、ステップＳ８に進み、ピントが合っていないと判断すれば、再びステップＳ１０に進む。

　以上述べた実施形態によれば、立体画像（三次元画像）が表示されている表示部の一部領域にフォーカスエリア内画像の拡大画像（合焦状態確認用画像）が視差の無い２Ｄ画像で表示されるため、立体画像と合焦状態確認用画像とを同時に視認でき、立体感の確認とピントの確認を迅速に行うことが可能となる。

　上述した実施形態では、ＡＦエリア内拡大画像を三次元画像中に二次元画像で表示し、合焦程度をユーザが視認できる様にした。このＡＦエリア内拡大画像は、三次元画像中の視差ゼロの画像として表示しても良いが、画面から手前側に飛び出して表示させたり、画面から奥側に引っ込めて表示させたりしても良い。つまり、その奥行き位置を制御しても良い。この表示制御は、表示画像４１中に埋め込んだＡＦエリア内拡大画像４３に対し、表示画像４２中に埋め込んだＡＦエリア内拡大画像４３を水平方向にずらすことで実現できる。
　以下、この実施形態を説明する。

　図１０は、ＡＦエリア内拡大画像４３の奥行き位置制御（飛出量／引込量の制御）方法を説明する図である。表示画像（左目画像）４１の座標原点（０，０）に対して、その埋め込み画像（ＡＦエリア内拡大画像）４３の左上隅の左目合成画像座標（ｘ，ｙ）は、
　ｘ＝６４０－２４０－１＝３９９
　ｙ＝４８０－１８０－１＝２９９
となり、（ｘ，ｙ）＝（３９９，２９９）である。

　右目画像（表示画像）４２の座標原点（０，０）に対して、その埋め込み画像４３の左上隅の右目合成画像座標を、上記と同じ（ｘ，ｙ）＝（３９９，２９９）とすると、即ち、
　左目合成画像座標＝右目合成画像座標
とすると、合成画像（ＡＦエリア内拡大画像）４３の画面からの飛び出し量はゼロとなる。〔左目合成画像座標のｘ値－右目合成画像座標のｘ値〕＝αを調整することで、飛び出し量や引っ込み量すなわち視差量を制御可能となる。この制御は、図２の合成画像座標制御部３３が行う。

　図１１は、視差に対する左右画像の水平座標のズレ量を説明する図である。本実施形態では、立体カメラ１０の左右の撮影レンズ２１Ｌ，２１Ｒの光軸２２Ｌ，２２Ｒは固定設置されており、左右の撮影画像の水平方向のズレ量を画像処理技術で制御することで、三次元画像を生成している。この原理を利用して、ＡＦエリア内拡大画像（平面画像）の飛び出し量や引っ込み量を本実施形態では制御している。

　図１２は、〔左目合成画像座標のｘ値－右目合成画像座標のｘ値〕＝αとしたときのαが－１２～＋１２の範囲の視差量を示した図である。視差量がマイナスとなるほど、画面から手前側に飛び出し、視差量がプラスとなるほど、画面から奥側に引っ込むことになる。

　図１３は、ＡＦエリア内拡大画像のｘ座標のズレ量制御の説明図である。図１０の左右の夫々の埋め込み画像４３の左上隅部分の１２×６画素分を切り出した図に相当する。

　左目画像４１に埋め込まれた画像４３の左上隅座標（４，３）に対して、右目画像４２に埋め込んだ画像４３の左上隅座標を（０，３）とし、左側に４画素分即ち－４画素分だけ水平方向にずらしている。即ち、図１２から分かるように、ＡＦエリア内拡大画像４３を視差量“－１”だけ手前側に飛び出して表示させている。

　この様に、ＡＦエリア内拡大画像４３を飛び出させて表示したり、引っ込めて表示させることで、全体が三次元画像として表示されている被写体画像中で、どの領域に注目してピントを確認すれば良いのか一目瞭然となる。これは、ＡＦエリア内拡大画像４３を図示の例では画面の右下領域４０に表示する場合に限らず、画面の何処にＡＦエリア内拡大画像４３を表示しても同様である。

　なお、デジタルカメラ等では、例えばメニュー画像や撮像に関する情報（手振れが起きているか否かを示す情報，フラッシュ発光するか否かの情報など、アイコンで表示されることが多い。）等は２Ｄ画像として表示部に表示する。このため、ＡＦエリア内拡大画像４３の奥行き位置（飛び出し量や引っ込み量）を、メニュー画像，あるいは撮像に関するアイコン等の表示画像、といった立体画像以外の情報画像と同じ奥行き位置に表示すれば、ユーザの目の負担が軽減し、視認性が向上する。

　上述した実施形態では、撮像画像中の所定位置たとえば図１４の左図に示す様に、画面中央位置にＡＦ検出エリア５０を設けている。しかし、コンティニュアスＡＦ（Ｃ―ＡＦ）機能により、動く被写体に常に焦点を合わせる続けるＡＦ方式がある。この場合、図１４の右図に示す様に、ＡＦ検出エリア５０は画面中で移動することになる。

　このため、ＡＦエリア内拡大画像（合成画像）４３を、常に、画面右下の第４象限内の表示領域４０に固定して表示したのでは、ＡＦ検出エリア５０が移動してＡＦエリア内拡大画像４３と重なってしまう事態が生じる。

　そこで、図１５に示す様に、ＡＦ検出エリア５０の左上隅座標をＡＦ-LEFT-TOP(x,y)、右下隅座標ＡＦ-RIGHT-BOTTOM(x,y)とし、これらの座標が画面上の何処に存在するかに応じて、ＡＦエリア内拡大画像４３の表示位置を制御するのが良い。

　図１５に示す例では、ＡＦ-RIGHT-BOTTOM(x,y)が画面の第１象限にある場合にはＡＦエリア内拡大画像４３を画面の左下領域に配置し、ＡＦ-RIGHT-BOTTOM(x,y)が画面の第２象眼にある場合にはＡＦエリア内拡大画像４３を画面の右下領域に配置し、ＡＦ-LEFT-TOP(x,y)が画面の第３象限にある揚合にはＡＦエリア内拡大画像４３を画面の右上領域に配置し、ＡＦ-LEFT-TOP(x,y)が画面の第４象限にある場合にはＡＦエリア内拡大画像４３を画面の左上領域に配置する。

　Ｃ－ＡＦ時には、図１４で説明した様に、ＡＦ検出エリア５０が被写体に追従して動くため、ＡＦエリア内拡大画像４３の表示領域に重なると、ＡＦ検出エリア５０自体が見えなくなってしまう虞がある。

　そこで、ＡＦエリア内拡大画像４３の表示領域を複数箇所設けておき、ＡＦ検出エリア５０の存在場所によって切り替える。つまり、表示制御部３２は、焦点調節対象領域となるＡＦ検出エリア５０が被写体に追従して動く場合に、表示領域４０を焦点調節対象領域５０と重ならない領域に切り替える。これにより、ＡＦ検出エリア５０が重ならない場所にＡＦ確認用の画像を画面内に表示することが可能となる。

　なお、撮影対象とする主要被写体の動きによっては、ＡＦエリア内拡大画像４３の表示領域４０が頻繁に切り替えられてしまう虞がある。この場合には、主要被写体の動きの軌跡から主要被写体の動きを予測し、なるべく長時間、切り替える必要のない表示領域４０を決めて、この表示領域４０にＡＦ確認用の拡大画像を表示するのが良い。また、タッチパネル式の表示部３７を持つ立体カメラであれば、ＡＦ確認用画像の表示領域をワンタッチでユーザが指定できるようにしても良い。この様にすることで、視認性を向上させることができる。

　図１６は、本発明の別実施形態に係る合焦状態確認用画像の表示方法説明図である。図１６（ａ）に示す様に、被写体画像のうちの主要被写体画像６０（この主要被写体にピントを合わせる場合もあるが、別の主要被写体にピントを合わせる場合もある。）が、合焦状態確認用画像４３と重なってしまうことがある。この状態は、主要被写体検出部であるＣＰＵ２８の、主要被写体画像の存在領域を検出する機能を用いて知ることができる。

　この状態が発生したとき、図１６（ｂ）に示す様に、合焦状態確認用画像４３の奥行き位置の表示制御を行い、主要被写体画像６０よりも手前側に合焦状態確認用画像４３を表示する。あるいは、図１６（ｃ）に示す様に、合焦状態確認用画像４３の表示領域を、主要被写体画像６０と重ならない位置に移動させる。これにより、ピントの確認が容易となる。

　なお、上述した実施形態では、２眼式の立体画像撮像装置について述べたが、右目用の被写体画像を撮像する第１画素群と左目用の被写体画像と撮像する第２画素群とを１枚の撮像素子に設けた単眼式の立体画像撮像装置にもそのまま適用可能である。

　以上述べた様に、実施形態の立体画像撮像装置は、被写体を撮像して視点の異なる複数の画像を得る立体画像撮像部と、上記複数の画像を上記被写体の立体画像として表示する表示部と、上記複数の画像のいずれか１つにおける撮像時の焦点調節対象領域を含む領域の画像を合焦状態確認用の画像として上記立体画像中の一部に重畳し表示する表示制御部とを備えることを特徴とする。

　また、実施形態の立体画像撮像装置の上記表示制御部は、上記合焦状態確認用の画像の重畳位置を視差方向に互いにずらして上記複数の画像の各々に重畳し該合焦状態確認用の画像の奥行き位置を制御することを特徴とする。

　また、実施形態の立体画像撮像装置の上記表示制御部は、上記表示部に表示する立体画像以外の情報と同じ奥行き位置に上記合焦状態確認用の画像の奥行き位置を制御することを特徴とする。

　また、実施形態の立体画像撮像装置の上記立体画像以外の情報は、メニュー画像あるいは撮像に関する表示画像の情報であることを特徴とする。

　また、実施形態の立体画像撮像装置の上記表示制御部は、上記焦点調節対象領域とは別の表示領域に上記合焦状態確認用の画像を拡大して表示することを特徴とする。

　また、実施形態の立体画像撮像装置は、上記立体画像中の主要被写体の少なくとも一部を含む領域を検出する主要被写体領域検出部を備え、その主要被写体の少なくとも一部を含む領域を上記焦点調節対象領域とすることを特徴とする。

　また、実施形態の立体画像撮像装置の上記表示制御部は、上記焦点調節対象領域が被写体に追従して動く場合に上記表示領域を上記焦点調節対象領域と重ならない領域に切り替えることを特徴とする。

　また、実施形態の立体画像撮像装置は、上記立体画像中の主要被写体の少なくとも一部を含む領域を検出する主要被写体領域検出部を備え、上記表示制御部は、上記合焦状態確認用の画像を表示する表示領域が主要被写体と重なったとき、その合焦状態確認用の画像をその主要被写体の画像よりも手前側の奥行き位置に表示し、あるいは、その合焦状態確認用の画像の表示領域を主要被写体の画像と重ならない位置にする移動させることを特徴とする。

　また、実施形態の立体画像撮像装置の合焦状態確認用画像表示方法は、被写体を撮像して視点の異なる複数の画像を得る立体画像撮像部と、上記複数の画像を上記被写体の立体画像として表示する表示部とを備える立体画像撮像装置の合焦状態確認用画像表示方法であって、上記複数の画像のいずれか１つにおける撮像時の焦点調節対象領域を含む領域の画像を合焦状態確認用の画像として上記立体画像中の一部に重畳し表示することを特徴とする。

　以上述べた実施形態によれば、被写体立体画像の立体感と合焦状態確認用画像（二次元画像）とを同時に同じ表示画面内で確認できるため、シャッタチャンスを逃すことなく動く被写体でも高品質な立体画像を撮像することが可能となる。

　本発明に係る立体画像撮像装置及びその合焦状態確認用画像表示方法は、被写体立体画像の立体感と合焦状態確認用画像（二次元画像）とを同時に確認できるため、シャッタチャンスを逃すことなく動く被写体でも高品質な画像を撮像することができるという効果を奏し、デジタルカメラで立体カメラを構成したとき有用である。

　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、２０１１年９月３０出願の日本特許出願（特願２０１１－２１８５３１）に基づくものであり、その内容はここに参照として取り込まれる。

１０　　立体画像撮像装置（立体カメラ）
１５　　シャッタボタン
２１Ｒ　右目用撮影レンズ
２１Ｌ　左目用撮影レンズ
２７　　信号処理部（ＤＳＰ）
２８　　システム制御部（ＣＰＵ）
３１　　リサイズ部
３３　　合成画像座標制御部
３７　　液晶表示部
４１，４２　表示用リサイズ画像
４１ａ，４２ａ，５０　ＡＦ検出エリア
４３　　ＡＦ確認用画像（ＡＦエリア内画像の拡大画像）

Claims

　被写体を撮像して視点の異なる複数の画像を得る立体画像撮像部と、前記複数の画像を前記被写体の立体画像として表示する表示部と、前記複数の画像のいずれか１つにおける撮像時の焦点調節対象領域を含む領域の画像を合焦状態確認用の画像として前記立体画像中の一部に重畳し表示する表示制御部とを備える立体画像撮像装置。
　請求項１に記載の立体画像撮像装置であって、前記表示制御部は、前記合焦状態確認用の画像の重畳位置を視差方向に互いにずらして前記複数の画像の各々に重畳し該合焦状態確認用の画像の奥行き位置を制御する立体画像撮像装置。
　請求項１又は請求項２に記載の立体画像撮像装置であって、前記表示制御部は、前記表示部に表示する立体画像以外の情報と同じ奥行き位置に前記合焦状態確認用の画像の奥行き位置を制御する立体画像撮像装置。
　請求項３に記載の立体画像撮像装置であって、前記立体画像以外の情報は、メニュー画像あるいは撮像に関する表示画像の情報である立体画像撮像装置。
　請求項１乃至請求項４のいずれか１項に記載の立体画像撮像装置であって、前記表示制御部は、前記焦点調節対象領域とは別の表示領域に前記合焦状態確認用の画像を拡大して表示する立体画像撮像装置。
　請求項１乃至請求項５のいずれか１項に記載の立体画像撮像装置であって、前記立体画像中の主要被写体の少なくとも一部を含む領域を検出する主要被写体領域検出部を備え、該主要被写体の少なくとも一部を含む領域を前記焦点調節対象領域とする立体画像撮像装置。
　請求項５又は請求項６に記載の立体画像撮像装置であって、前記表示制御部は、前記焦点調節対象領域が被写体に追従して動く場合に前記表示領域を前記焦点調節対象領域と重ならない領域に切り替える立体画像撮像装置。
　請求項１乃至請求項４のいずれか１項に記載の立体画像撮像装置であって、前記立体画像中の主要被写体の少なくとも一部を含む領域を検出する主要被写体領域検出部を備え、前記表示制御部は、前記合焦状態確認用の画像を表示する表示領域が主要被写体と重なったとき、該合焦状態確認用の画像を該主要被写体の画像よりも手前側の奥行き位置に表示し、あるいは、該合焦状態確認用の画像の表示領域を主要被写体の画像と重ならない位置にする移動させる立体画像撮像装置。
　被写体を撮像して視点の異なる複数の画像を得る立体画像撮像部と、前記複数の画像を前記被写体の立体画像として表示する表示部とを備える立体画像撮像装置の合焦状態確認用画像表示方法であって、前記複数の画像のいずれか１つにおける撮像時の焦点調節対象領域を含む領域の画像を合焦状態確認用の画像として前記立体画像中の一部に重畳し表示する立体画像撮像装置の合焦状態確認用画像表示方法。