JP6900228B2 - 撮像装置、撮像システム、撮像装置の制御方法、および、プログラム - Google Patents

Description

本発明は、複数の撮像部を備えた撮像装置に関する。

従来から、デジタルカメラにおいてフォーカス位置を変化させながら画像のコントラストを算出し、コントラストが最大となるフォーカス位置を合焦位置とするコントラストＡＦ方式によるオートフォーカスが知られている。コントラストＡＦ方式によるオートフォーカスは、合焦精度が高いが、処理が低速である。また、撮像光学系の被写界深度範囲から大きく外れた被写体に対しては、合焦に失敗する可能性がある。これらの課題は、撮像光学系が一般的に被写界深度の比較的浅い望遠レンズである場合に特に顕著である。

特許文献１には、夫々がコントラストＡＦ機構を有する焦点距離の異なる２つの光学系を備えた撮像装置が開示されている。特許文献１に開示されている撮像装置は、相対的に短い焦点距離を有する光学系のコントラストＡＦ信号を利用して、相対的に長い焦点距離を有する望遠光学系のＡＦを補助することでＡＦ処理の高速化を図っている。

また、コントラストＡＦよりも処理が高速である位相差ＡＦと呼ばれる合焦手法が知られている。位相差ＡＦでは、被写体距離に関する情報（距離情報）を取得するユニットを備え、このユニットが出力する距離情報に従い撮影レンズを合焦させる。特に、主たる撮像光学系とは別に従たる２つの撮像光学系を備え、それらを用いて三角測量の原理から被写体距離を取得し、主たる撮像光学系を合焦させる撮像装置が知られている。

特許文献２には、主たる撮影レンズおよび撮像素子とは別に被写体距離取得用の２つのレンズおよび２つの撮像素子を備え、それらを用いて距離マップ画像を取得する撮像装置が開示されている。

特許第４１９８４４９号公報 特開２０１３−４２３７９号公報

望遠レンズを用いて動体などの被写体を撮影する際、撮影視野が狭いため、被写体が撮影視野から外れると、再度、撮影視野内に被写体を捉えることは困難である。また、撮影視野内に被写体を捉えることができた場合でも、その瞬間に望遠レンズのフォーカス調整を完了させることは難しい。すなわち、望遠レンズを用いて被写体を撮影する場合、被写体を撮影視野内に捉え、この被写体に高速で合焦させることは困難である。

特許文献１に開示されている撮像装置は、コントラストＡＦ機構を有する相対的に短い焦点距離の光学系を備えることで、コントラストＡＦの高速化を図ろうとしている。しかしながら、コントラストＡＦでは、処理の高速化が十分ではない。特許文献２に開示されている撮像装置は、被写体距離取得用の２つのレンズおよび２つの撮像素子を用いて、コントラストＡＦよりも処理の高速化が可能な位相差ＡＦを実施する。しかしながら、２つの撮像光学系を用いて距離情報を取得する際には、夫々の撮像光学系の被写界深度範囲外に存在する（つまり、ボケている）被写体に対しては距離情報の算出精度が低下する。距離情報の算出精度が低下すると、主たる撮影レンズのフォーカス位置を精度良く決定できないため、ＡＦ処理の高速化を十分に図ることが困難である。
そこで本発明は、高速かつ高精度なフォーカス制御を行うことが可能な撮像装置、撮像システム、撮像装置の制御方法、および、プログラムを提供することを目的とする。

本発明の一側面としての撮像装置は、第１の撮像部または第２の撮像部を介して画像信号を取得することが可能な撮像装置であって、前記第２の撮像部を介して得られた前記画像信号に基づいて距離情報を算出する距離情報算出部と、前記距離情報に基づいて前記第１の撮像部または前記第２の撮像部のフォーカス制御を行う制御部とを有し、前記制御部は、前記距離情報算出部により算出された第１の距離情報に基づいて、前記第２の撮像部の前記フォーカス制御を実行し、前記第２の撮像部の前記フォーカス制御の実行後に前記距離情報算出部により算出された第２の距離情報に基づいて、前記第１の撮像部の前記フォーカス制御を実行し、前記制御部は、前記第２の距離情報を取得する前に、前記第１の距離情報に基づいて前記第１の撮像部の前記フォーカス制御を開始する。

本発明の他の側面としての撮像システムは、第１の撮像部と、第２の撮像部と、前記撮像装置とを有する。

本発明の他の側面としての撮像装置の制御方法は、第１の撮像部および第２の撮像部のそれぞれから画像信号を取得することが可能な撮像装置の制御方法であって、前記第２の撮像部を介して得られた第１の画像信号に基づいて第１の距離情報を算出するステップと、前記第１の距離情報に基づいて前記第２の撮像部のフォーカス制御を実行するステップと、前記第２の撮像部の前記フォーカス制御の実行後に前記第２の撮像部を介して得られた第２の画像信号に基づいて第２の距離情報を算出するステップと、前記第２の距離情報に基づいて前記第１の撮像部のフォーカス制御を実行するステップとを有し、前記第１の撮像部の前記フォーカス制御は、前記第２の距離情報を算出するステップの前に、前記第１の距離情報に基づいて開始される。

本発明の他の側面としてのプログラムは、前記撮像装置の制御方法をコンピュータに実行させる。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、高速かつ高精度なフォーカス制御を行うことが可能な撮像装置、撮像システム、撮像装置の制御方法、および、プログラムを提供することができる。

実施例１における撮像装置の外観図である。 実施例１における撮像装置のブロック図である。 各実施例における表示部に表示される画像の説明図である。 実施例１における撮像装置の動作を示すフローチャートである。 各実施例における表示部に表示される画像の説明図である。 実施例２における撮像装置のブロック図である。 実施例２における撮像装置の動作を示すフローチャートである。 各実施例における被写体距離の算出方法の説明図である。 各実施例における対応被写体探索処理の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

まず、図８を参照して、２つの撮像光学系を用いて被写体距離を取得する方法について説明する。図８は、被写体距離の算出方法の説明であり、互いに同一の構造を有する２つの撮像光学系ＣＡ、ＣＢを用いて撮影シーンのうちの１点に存在する被写体Ｏｂｊを撮像する様子を示している。撮像素子ＳＡ、ＳＢはそれぞれ、撮像光学系ＣＡ、ＣＢにより形成された被写体像（光学像）を受光する。撮像光学系ＣＡ、ＣＢのそれぞれの入射瞳中心は（−Ｄ／２，０）、（Ｄ／２，０）に存在し、被写体Ｏｂｊは（ｘ、ｚ）に存在する。撮像光学系ＣＡ、ＣＢのそれぞれの焦点距離をｆ、撮像素子ＳＡ、ＳＢのそれぞれにおける被写体Ｏｂｊの座標をａ、ｂとすると、以下の式（１）が成立する。

式（１）において、ｂ−ａは、互いに異なる視点から同一の被写体を撮像した際の撮像面上での位置のずれ、すなわち視差である。視差ｂ−ａ（視差量）を取得することができれば、視差ｂ−ａ、撮像光学系ＣＡ、ＣＢのそれぞれの焦点距離ｆ、および、基線長Ｄを式（１）に代入することにより、被写体距離ｚ（撮像光学系の入射瞳中心から被写体Ｏｂｊまでの距離）を算出することができる。

続いて、図９を参照して、２つの撮像光学系を用いて取得された２つの画像から視差量を取得するための対応被写体探索処理について説明する。図９は、対応被写体探索処理の説明図であり、互いに異なる視点から撮像された画像ＩＭＧ１、ＩＭＧ２を示している。画像座標（Ｘ，Ｙ）は、図９中に示される画素群の中心を原点として定義し、水平方向をＸ軸、垂直方向をＹ軸とする。また、画像座標（Ｘ，Ｙ）に位置する画像ＩＭＧ１の画素値をＦ１（Ｘ，Ｙ）とし、画像ＩＭＧ２の画素値をＦ２（Ｘ，Ｙ）として説明する。画像ＩＭＧ１における任意の座標（Ｘ，Ｙ）に対応する画像ＩＭＧ２の画素は、座標（Ｘ，Ｙ）における画像ＩＭＧ１の画素値Ｆ１（Ｘ，Ｙ）と最も類似する画像ＩＭＧ２の画素値を探すことで求めることができる。なお、以降の説明において、画像上の対応点と対応画素とは同一の意味である。

ここで、図９に示される画像ＩＭＧ１、ＩＭＧ２上の縦線で示される画素Ｐ１、Ｐ２は、互いに同じ被写体からの光を記録した、対応画素（対応点）に相当する。ただし、一般的に任意の画素と最も類似する画素を探すことは難しいため、画像座標（Ｘ，Ｙ）の近傍の画素も用い、ブロックマッチング法と呼ばれる手法で類似画素を探索することができる。

例えば、ブロックサイズが３である場合のブロックマッチング処理について説明する。画像ＩＭＧ１の任意の座標（Ｘ，Ｙ）の画素（注目画素）、および、その前後の座標（Ｘ−１、Ｙ）、（Ｘ＋１、Ｙ）に位置する２つの画素の計３画素の画素値はそれぞれ、Ｆ１（Ｘ，Ｙ）、Ｆ１（Ｘ−１，Ｙ）、Ｆ１（Ｘ＋１，Ｙ）となる。これに対し、座標（Ｘ，Ｙ）からＸ方向にｋだけずれた画像ＩＭＧ２の画素の画素値はそれぞれ、Ｆ２（Ｘ＋ｋ，Ｙ），Ｆ２（Ｘ＋ｋ−１，Ｙ），Ｆ２（Ｘ＋ｋ＋１，Ｙ）となる。このとき、画像ＩＭＧ１の座標（Ｘ，Ｙ）に位置する注目画素と、画像ＩＭＧ２の座標（Ｘ＋ｋ，Ｙ）に位置する画素との類似度Ｅは、以下の式（２）のように定義される。

式（２）において逐次ｋの値を変えて類似度Ｅを算出し、最も小さい類似度Ｅを与える座標（Ｘ＋ｋ、Ｙ）が、画像ＩＭＧ１の注目画素に対応する画像ＩＭＧ２の画素の座標となる。ここでは、Ｘ方向にのみ逐次座標を変化させながら類似度Ｅを算出しているが、Ｙ方向、または、Ｘ方向およびＹ方向の両方向にも逐次座標を変化させながら類似度Ｅを算出してもよい。このような対応被写体探索処理を行うことにより、２つの画像のそれぞれにおける対応点（対応画素）の座標を取得することができ、それらの相違量である視差量を算出することが可能である。

本実施形態では、ブロックサイズが３である場合のブロックマッチング処理について説明したが、前述の処理において、探索範囲およびブロックサイズは変更可能なパラメータである。視差量が事前にある程度予測される場合には、探索範囲をある領域に絞って処理を行うことで、処理負荷を大幅に低減して高速化を図ることができる。ブロックサイズについては、一般的に被写体の構造サイズに合わせて設定することにより、視差量の算出精度を向上させることができる。また、特に画像がボケている場合、そのボケ量を加味してブロックサイズを拡大することにより、視差量の算出誤差を低減することができる。また、類似度Ｅに対して直線フィッティングやパラボラフィッティングによってサブ画素レベルで視差量を算出する手法が知られている。これらのフィッティング関数は、画像の鮮鋭度に応じてサブ画素算出誤差が変化することが知られており、画像の鮮鋭度に応じて関数を選択することも可能である。

以上説明したように、２つの撮像光学系を用いて取得した２つの画像において対応被写体探索処理を行うことにより視差量を算出し、この視差量に基づいて被写体距離を算出することができる。また、撮像光学系に応じて視差量と像面移動量であるデフォーカス量との関係は決定される。このため、その視差量に基づいてデフォーカス量を算出することができる。そして、そのデフォーカス量に基づいてレンズの繰り出し量を求め、レンズを移動し合焦させることができる（位相差ＡＦ）。以降、本明細書中では、被写体距離、視差量、デフォーカス量、または、位相差情報を被写体距離に関する情報という意味で距離情報とも表現する。

対応被写体探索処理を行う際、用いる２枚の画像は合焦した鮮鋭な画像であることが好ましい。すなわち、２枚の画像それぞれを撮像する際には被写体が撮像光学系の被写界深度内に収まっていることが好ましい。これは、被写体がボケている場合、真の対応点とは異なる、誤った点が対応点として算出され、視差量に大きな誤差が生じるためである。その結果として、誤った被写体距離が算出されることがある。これは、後述する視差分解能が大きくなることで、被写体距離分解能が低下する式（３）によって説明することができる。

続いて、被写体距離の算出精度について説明する。被写体距離をｓ、２つの撮像光学系間の基線長をＤ、２つの撮像光学系のそれぞれの焦点距離をｆとすると、被写体距離分解能Δｚは、以下の式（３）で表すことができる。

式（３）において、ｒは視差分解能であり、前述の対応被写体探索処理によって取得される視差量は最大±ｒの誤差を含む。被写体距離分解能Δｚは、被写体距離を算出する際の最大誤差量であり、距離ｓに位置する被写体の距離を取得した際、最大±Δｚの誤差を含む被写体距離が算出されることを意味する。すなわち、被写体距離分解能Δｚが小さいほど被写体距離の算出精度が高いと言える。具体的には、被写体距離ｓが小さい（被写体が近い）ほど、基線長Ｄが大きいほど、焦点距離ｆが大きいほど、または、視差分解能ｒが小さいほど、被写体距離の算出精度が高くなる。

各実施例の撮像装置（撮像システム）は、第１の撮像部（以下主撮像部）と第２の撮像部（副撮像部）とを有する。主撮像部は、１つの撮像光学系および１つの撮像素子を有し、画像を撮像する主たる撮像部である。副撮像部は、２つの撮像光学系を有し、これらの撮像光学系を用いて前述の被写体距離を取得する。撮像装置は、副撮像部を用いて取得した被写体距離情報に基づいて主撮像部を合焦させる。ここで、副撮像部が備える２つの撮像光学系はそれぞれ、フォーカス機構を有する。フォーカス機構により被写体に合焦した状態に制御された副撮像部を用いることにより、主撮像部の画角全域の距離情報を高精度に取得することができる。このため撮像装置は、主撮像部の画角内の任意の被写体の距離情報を高精度に取得し、主撮像部を高精度かつ高速に被写体に合焦させることができる。

主撮像部の撮像光学系の被写界深度よりも前述の被写体距離分解能Δｚが小さければ、撮像装置は副撮像部により取得された被写体情報を用いて、主撮像部を精度よく合焦させることができる。ここまで、本発明の撮像装置が行う合焦方法の概要について説明した。以下、撮像装置（撮像システム）について、各実施例において詳述する。

まず、図１および図２を参照して、本発明の実施例１における撮像装置１（撮像システム）について説明する。図１は、撮像装置１の外観図であり、図１（ａ）は俯瞰図、図１（ｂ）は正面図をそれぞれ示している。図２は、撮像装置１のブロック図である。

撮像装置１は、主として被写体の撮像に用いられる主撮像部１００（第１の撮像部）と、被写体の距離を取得する副撮像部１１０（第２の撮像部）とを有する。主撮像部１００は、撮像光学系１０１（第１の撮像光学系）と撮像素子１０２とを備えて構成される。撮像光学系１０１は、１つ以上のレンズ、絞り１０１Ａ、および、フォーカスレンズ１０１Ｆ（フォーカス機構）とを備えて構成されており、被写体（不図示）からの光を撮像素子１０２上に結像させる。また撮像光学系１０１は、その内部に設けられた１つ以上のレンズが駆動することで焦点距離が変化する変倍光学系である。

図１において、撮像光学系１０１は撮像装置１の一部として構成されているが、一眼レフカメラのように交換式の撮像光学系であってもよい。すなわち本実施例は、撮像素子１０２を備えた撮像装置本体と撮像光学系１０１とが一体的に構成された撮像装置、または、撮像光学系１０１が着脱可能な撮像装置（撮像光学系１０１と撮像装置本体とで構成される撮像システム）のいずれにも適用可能である。

撮像素子１０２は、ＣＭＯＳセンサやＣＣＤセンサなどの固体撮像素子であり、撮像光学系１０１を介して形成された光学像（被写体像）を光電変換して画像信号（アナログ電気信号）を出力する。撮像光学系１０１における絞り１０１Ａおよびフォーカスレンズ１０１Ｆの機械的な駆動は、システムコントローラ３０からの指示（制御）に基づいて、撮像制御部４０（フォーカス制御部４１）により行われる。システムコントローラ３０およびフォーカス制御部４１により制御部が構成される。絞り１０１Ａは、設定された絞り値（Ｆ値、Ｆナンバー）に応じてその開口径が制御される。フォーカス制御部４１は、被写体距離に応じてフォーカスレンズ１０１Ｆの位置を制御することにより、フォーカス調整を行う。Ａ／Ｄコンバータ１０は、撮像素子１０２から出力されたアナログ電気信号（画像信号）をデジタル信号に変換する。

画像処理部２０は、Ａ／Ｄコンバータ１０から出力されたデジタル信号に対して、画素補間処理、輝度信号処理、および、色信号処理など、いわゆる現像処理を行い、画像（画像データ）を生成する。画像処理部２０により生成された画像は、半導体メモリや光ディスクなどの画像記録媒体６０に記録される。また画像処理部２０により生成された画像は、表示部７０に表示されてもよい。情報入力部５０には、ユーザの指示（操作）に基づいて様々な情報が入力される。一例としては、画像取得時の撮像条件（撮影条件情報）であり、具体的には主撮像部１００のＦ値、ＩＳＯ感度などであるが、これらに限定されるものではない。

副撮像部１１０（第２の撮像部）は、撮像光学系１１１ａ（第２の撮像光学系）および撮像光学系１１１ｂ（第３の撮像光学系）と、撮像光学系１１１ａ、１１１ｂにそれぞれ対応する撮像素子１１２ａ、１１２ｂとを備えて構成される。撮像光学系１１１ａおよび１１１ｂはそれぞれ、被写体（不図示）からの光を撮像素子１１２ａ、１１２ｂ上に結像させる単焦点撮像光学系である。また撮像光学系１１１ａ、１１１ｂはそれぞれ、フォーカスレンズ１１１ａＦ、１１１ｂＦを有する。撮像素子１１２ａ、１１２ｂにより生成されたアナログ電気信号（画像信号）は、撮像素子１０２の場合と同様に、Ａ／Ｄコンバータ１０へ出力されデジタル信号へ変換される。

画像処理部２０は、撮像素子１１２ａ、１１２ｂのそれぞれから出力された２つの画像を生成する。この２つの画像は、撮像光学系１１１ａ、１１１ｂにより形成された被写体像に相当し、互いに視差を有する２つの視差画像である。画像処理部２０により生成された画像は、主撮像部１００場合と同様に、表示部７０に表示することができる。本実施例では、撮像光学系１１１ａ（第２の撮像光学系）を介して得られる画像を表示部７０に表示するが、これに限定されるものではない。なお本実施例において、副撮像部１１０は撮像装置１から着脱可能であってもよい。この場合、複数の副撮像部の中から撮像装置１の主撮像部１００に適した副撮像部を選択して撮像装置１に装着することができる。

画像処理部２０は、距離情報算出部２１（焦点検出部）を有する。距離情報算出部２１は、副撮像部１１０により生成された２つの視差画像（撮像素子１１２ａ、１１２ｂから出力された２つの画像信号）に基づいて、被写体距離を算出する。距離情報算出部２１は、情報入力部５０を介してユーザにより指定された特定の領域または特定の被写体の距離を算出してもよい。情報入力部５０は、例えば、ユーザによって選択された特定の被写体を距離情報算出領域（焦点検出領域）として選択し、常にその特定の被写体（動く被写体）を距離情報算出領域として設定することができる。また、撮像光学系１１１ａ、１１１ｂの画角のうち互いに重畳する画角領域内の全ての被写体の距離を算出し、それらの距離を画素値として示す距離マップ画像を生成してもよい。なお本実施例において、撮像装置１は、主撮像部１００および副撮像部１１０に対して１つのＡ／Ｄコンバータ１０および１つの画像処理部２０を有するが、これに限定されるものではない。例えば、主撮像部１００および副撮像部１１０のそれぞれに専用のＡ／Ｄコンバータおよび画像処理部（複数のＡ／Ｄコンバータおよび複数の画像処理部）を設けてもよい。

副撮像部１１０を構成する撮像光学系１１１ａ、１１１ｂは、最も被写体に近いレンズ（最も被写体側のレンズ）同士の間の長さが５０ｍｍになるように配置されており、この長さが副撮像部１１０の基線長Ｄに相当する。撮像光学系１１１ａ、１１１ｂは互いに同一の構成を有し、左右対称であるように平行に配置されている。すなわち、撮像光学系１１１ａ、１１１ｂのそれぞれの開口部（開口絞り）よりも被写体側において、撮像光学系１１１ａ、１１１ｂの光軸は互いに平行である。

副撮像部１１０を構成する２つの撮像光学系１１１ａ、１１１ｂは、互いに同一の画角を有する。また、撮像光学系１１１ａ、１１１ｂのそれぞれの画角は、主撮像部１００を構成する撮像光学系１０１の望遠端における画角よりも広い。本実施例において、主撮像部１００を構成する撮像光学系１０１の望遠端における焦点距離は３５ｍｍ判換算で１０００ｍｍ、副撮像部１１０を構成する２つの撮像光学系１１１ａ、１１１ｂの焦点距離は３５ｍｍ判換算で４００ｍｍである。

副撮像部の撮像素子１１２ａ、１１２ｂはそれぞれ、主撮像部の撮像素子１０２と比較して、一辺のサイズが略半分のサイズである。このため、主撮像部と副撮像部の撮像光学系の実焦点距離の比は、略５倍となるため、主撮像部に対して副撮像部の被写界深度が十分に深い構成となっている。

ここで、図３を参照して、主撮像部１００の撮像光学系１０１を望遠端に設定とした場合における、表示部７０の画像表示例を説明する。図３は、表示部７０に表示される画像の説明図であり、被写体３０３（鳥）を撮像する際に、表示部７０に表示される画像を示している。

図３において、実線３０１で囲まれる領域が副撮像部１１０の撮像光学系１１１ａの撮影視野（撮影視野領域）である。このように、表示部７０には、副撮像部１１０の撮像光学系１１１ａを介して撮像されている画像が表示される。また、破線３０２で囲まれる領域が主撮像部１００の撮影視野（撮影視野領域）を示している。ユーザは、表示部７０に表示された破線３０２（主撮像部１００の撮影視野に関する情報）により、主撮像部１００の撮影視野を確認することができる。

図３において、撮影対象の被写体３０３（鳥）が主撮像部１００の撮影視野の範囲内に入っていない（主撮像部１００の撮影視野の範囲外である）が、表示される副撮像部１１０の撮影視野の範囲内に入っていることを示している。このように本実施例において、表示部７０は、副撮像部１１０を介して得られた画像に、主撮像部１００の撮影視野に関する情報（破線３０２）を重ねて表示する。このためユーザは、例えば望遠撮影の際に、撮影視野に被写体を捉えることが容易になる。また、主撮像部１００の望遠端における画角よりも副撮像部１１０の画角が広くため、変倍光学系を用いた望遠撮影の際に被写体を捉えやすくなる。好ましくは、副撮像部１１０は、主撮像部１００の望遠端における画角と比較して、２倍以上広い画角を有する。このように主撮像部１００と副撮像部１１０との焦点距離比（画角比）を２倍以上とすることにより、被写体をより容易に捉えることが可能になる。

なお本実施例において、表示部７０は、主撮像部１００の撮影視野に関する情報として、主撮像部１００の視野領域をユーザに認識させるための破線３０２を表示しているが、これに限定されるものではない。表示部７０は、例えば、副撮像部１１０を介して得られた画像に、主撮像部１００を介して得られた画像を合成して表示してもよい（主撮像部１００を介して得られる画像を破線３０２で囲まれる領域に合成表示してもよい）。このような合成表示を行うことにより、ユーザは、主撮像部１００により撮像される最終的な画像を認識し易くなる。

次に、図４および図５を参照して、撮像装置１の撮像手順について説明する。図４は、撮像装置１の動作（撮像動作）を示すフローチャートである。図５は、表示部７０に表示される画像の説明図である。図４の各ステップは、主に、システムコントローラ３０の指令に基づいて、撮像装置１の各部により実行される。

まず、ステップＳ１０１において、システムコントローラ３０は、情報入力部５０を介してユーザにより選択された被写体を、注目被写体として設定する。ここでは、図５（ａ）に示されるように、表示部７０に表示された画像上の被写体３０３（鳥）をユーザがタッチすることにより、円形の点線３０４で囲まれる領域が注目被写体（距離情報算出領域、焦点検出領域）として設定され、表示部７０に表示される。ただし、本実施例はこれに限定されるものではなく、システムコントローラ３０は既知の動体検出や被写体認識技術により自動的に検出された被写体を注目被写体として設定することもできる。このように本実施例において、表示部７０は、副撮像部１１０を介して得られた画像に、距離情報算出部２１の距離情報算出領域に関する情報（例えば、点線３０４）を重ねて表示する。

システムコントローラ３０は、情報入力部５０を介してユーザにより入力された撮像条件（撮影条件情報）を取得する。撮像条件とは、主撮像部１００のＦ値やＩＳＯ感度などを含むが、これらに限定されるものではない。またシステムコントローラ３０は、撮像制御部４０を介して主撮像部１００の絞り１０１Ａおよび撮像素子１０２を制御し、取得した撮像条件を設定する。

続いてステップＳ１０２において、システムコントローラ３０は、撮像制御部４０を介して副撮像部１１０を制御し、副撮像部１１０を用いた撮像を行うことにより、撮像光学系１１１ａ、１１１ｂを介して得られた２つの画像を取得する。ここで取得される２つの画像は、図５（ａ）に示されるように、注目被写体に合焦していないボケた画像である。

続いてステップＳ１０３において、距離情報算出部２１は、ステップＳ１０２にて取得された２つの画像を用いて、ステップＳ１０１にて設定された被写体（注目被写体）の第１の距離情報（被写体距離に関する情報）を算出する。第１の距離情報を算出する際に必要となる副撮像部１１０を構成する２つの撮像光学系１１１ａ、１１１ｂの焦点距離、基線長、および、撮像素子１１２ａ、１１２ｂの画素サイズなどの各種データは、メモリ８０に格納されている。距離情報算出部２１は、必要に応じて、メモリ８０から各種データを受け取ることができる。本実施例では、第１の距離情報として、前述のように二次元画像を用いて被写体までの距離を算出しているが、これに限定されるものではない。例えば、第１の距離情報として、公知の位相差ＡＦの手法を用いてデフォーカス量を算出してもよい。ここで算出される第１の距離情報は、ステップＳ１０２にて取得されたボケた画像に基づいて算出されるため、前述のように、距離情報の算出精度が低い情報である。

続いてステップＳ１０４において、システムコントローラ３０は、フォーカス制御部４１を介して、ステップＳ１０３にて取得した第１の距離情報に基づいて副撮像部１１０のフォーカス制御を実行する。具体的には、システムコントローラ３０は、フォーカス制御部４１を介して副撮像部１１０のフォーカスレンズ１１１ａＦ、１１１ｂＦのそれぞれを駆動し、第１の距離情報に基づいて、副撮像部１１０を注目被写体に合焦させる。距離情報に応じた副撮像部１１０のフォーカスレンズ１１１ａＦ、１１１ｂＦのそれぞれの位置は、メモリ８０にテーブルとして格納されている。このためシステムコントローラ３０は、各撮像部の撮像条件と距離情報とに応じて適宜判定することができる。図５（ｂ）は、ステップＳ１０４の状態を示している。副撮像部１１０が主撮像部１００よりも画角が広く、被写界深度が深いため、距離情報の算出精度が低い第１の距離情報に基づいても、副撮像部１１０のフォーカスを合わせることが可能である。

続いてステップＳ１０５において、システムコントローラ３０は、撮像制御部４０を介して副撮像部１１０を制御し、撮像を行うことにより２つの画像を取得する。ここで、副撮像部１１０により取得される２つの画像は、図５（ｂ）に示されるように注目被写体に合焦した鮮鋭な画像である。

続いてステップＳ１０６において、距離情報算出部２１は、ステップＳ１０５にて取得された２つの画像を用いて、ステップＳ１０１にて設定された被写体（注目被写体）の第２の距離情報（被写体距離に関する情報）を算出する。第２の距離情報を算出する際に必要となる副撮像部１１０を構成する２つの撮像光学系１１１ａ、１１１ｂの焦点距離、基線長、および、撮像素子１１２ａ、１１２ｂの画素サイズなどの各種データは、メモリ８０に格納されている。距離情報算出部２１は、必要に応じて、メモリ８０から各種データを受け取ることができる。本実施例では、第２の距離情報として、前述のように二次元画像を用いて被写体までの距離を算出しているが、これに限定されるものではない。例えば、第２の距離情報として、公知の位相差ＡＦの手法を用いてデフォーカス量を算出してもよい。

ステップＳ１０６にて第２の距離情報を算出する際において、ステップＳ１０３にて第１の距離情報を算出する際に対して、探索範囲、ブロックサイズ、および、サブピクセル推定のフィッティング関数（ブロックマッチング法）の少なくとも一つが異なっている。本実施例においては、探索範囲が異なっている。ステップＳ１０３にて低精度であるが距離情報が既に算出されているため、ステップＳ１０６ではある程度被写体距離の予測が立っている状態といえる。このため、予測される視差量の範囲内に探索範囲を設定することにより、距離情報の算出処理速度を更に高速化することができる。また、画像の鮮鋭度が高いため、ブロックサイズを小さくすることで、距離情報の算出する際のメモリ使用量を減らすことも可能である。また、サブピクセル推定のフィッティング関数についても鮮鋭度の高い画像に適したフィッティング関数を選択することにより、距離情報の算出精度を更に向上させることができる。第２の距離情報は、ステップＳ１０５にて取得された鮮鋭な画像に基づいて算出されるため、前述のように距離情報の算出精度が高い情報となる。

続いてステップＳ１０７において、システムコントローラ３０は、フォーカス制御部４１を介して主撮像部１００のフォーカスレンズ１０１Ｆを駆動する。すなわちシステムコントローラ３０は、ステップＳ１０６にて算出した第２の距離情報（副撮像部１１０のフォーカス制御の実行後に距離情報算出部２１により算出された第２の距離情報）に基づいて、主撮像部１００のフォーカス制御を実行する。これにより、撮像光学系１０１を注目被写体に合焦させることができる。また本実施例では、同時に、フォーカス制御部４１は、副撮像部１１０のフォーカスレンズ１１１ａＦ、１１１ｂＦを駆動し、副撮像部１１０を注目被写体に合焦させてもよい。被写体距離に応じた主撮像部１００および副撮像部１１０のフォーカスレンズ１０１Ｆ、１１１ａＦ、１１１ｂＦの位置は、メモリ８０にテーブルとして格納されており、各撮像部の撮像条件と被写体距離とに応じて適宜判定することができる。

図５（ｃ）は、ステップＳ１０７の状態を示している。システムコントローラ３０は、フォーカス調整された副撮像部１１０による鮮鋭な画像に基づいて、主撮像部１００のフォーカス制御を行うことより、精度良く被写体にフォーカスを合わせることが可能である。このため、主撮像部１００の撮影視野に被写体が入った後のフォーカス制御の時間を短縮することができ、ボケた画像を撮影する頻度を低下させることが可能となる。すなわち、望遠レンズを用いた動く被写体の撮影の成功率を向上させることができる。

本実施例において、システムコントローラ３０は、ステップＳ１０６にて第２の距離情報を取得する前に、ステップＳ１０３にて算出された第１の距離情報に基づいて主撮像部１００のフォーカス制御を開始することもできる。より具体的には、システムコントローラ３０は、第１の距離情報に基づいて、主撮像部１００のフォーカス移動方向を決定してフォーカス制御を開始し、第２の距離情報に基づいて、主撮像部１００のフォーカス制御を継続する。このような構成によれば、第２の距離情報を取得する前に主撮像部１００のフォーカス制御を開始することができるため、より高速なフォーカス制御が可能となる。

続いてステップＳ１０８において、システムコントローラ３０および距離情報算出部２１は、ステップＳ１０４〜Ｓ１０７を繰り返し実行することにより、主撮像部１００の撮像光学系１０１の合焦位置を注目被写体の距離に追従させる。すなわちシステムコントローラ３０および距離情報算出部２１は、主撮像部１００による撮像が完了するまで、距離情報の算出（焦点検出）およびフォーカス制御をそれぞれ繰り返す。具体的には、システムコントローラ３０は、撮像制御部４０を介してフォーカスレンズ１０１Ｆの位置を微小に変化させながら制御することにより、被写体へのフォーカス追従を行う。この動作により、注目被写体が奥行き方向へ移動した場合でも、常に主撮像部１００の撮像光学系１０１のフォーカスを被写体に合わせることが可能となる。

続いてステップＳ１０９において、注目被写体が主撮像部１００の撮影視野内に入り、ユーザが撮影指示を入力すると、システムコントローラ３０は撮像制御部４０を介して主撮像部１００を制御し、撮像を行うことで画像を取得する。このとき取得した画像は、画像記録媒体６０に保存され、撮像手順が終了する。ここで、画像に加えて副撮像部１１０により取得される２つの画像を画像記録媒体６０に保存してもよく、または、２つの画像を用いて画像処理部２０が算出する距離マップ画像を画像記録媒体６０に保存してもよい。図５（ｃ）は、ステップＳ１０９の状態を示している。ここで、距離情報算出部２１は、主撮像部１００を介した画像に応じて、背景技術にて説明したコントラストＡＦの評価値を出力することもできる。その評価値に基づいて、フォーカス制御部４１は主撮像部の最終的なフォーカス制御を実施することができる。この場合においても、既に略合焦状態からの追い込み制御となるため、コントラストＡＦを行っても僅かな制御時間の増加に留めることができる。

以上説明したように本実施例の撮像装置は、副撮像部が備える２つの撮像光学系はフォーカス機構を有している。そのフォーカス機構により被写体に合焦した状態に制御された副撮像部を用いることで、主撮像部の画角全域の被写体距離情報を高精度に取得することができる。このため撮像装置は、主撮像部の画角内の任意の被写体の距離情報を高精度に取得し、主撮像部を高精度かつ高速に被写体に合焦させることができる。これにより、望遠レンズを用いた動く被写体の撮影の成功率を向上させることが可能な撮像装置を提供することができる。

次に、図６を参照して、本発明の実施例２における撮像装置２（撮像システム）について説明する。図６は、撮像装置２のブロック図である。本実施例の撮像装置２は、副撮像部１１０に代えて副撮像部１２０を有する点で、実施例１の撮像装置１とは異なる。また撮像装置２は、コントラスト用ＡＦゲート９０、位相差用ＡＦゲート９２、コントラスト用距離情報算出部９１（距離情報算出部）、および、位相差用距離情報算出部９３（距離情報算出部）を有する点で、撮像装置１とは異なる。撮像装置２のその他の構成は、撮像装置１と同様であるため、それらの説明を省略する。

副撮像部１２０（第２の撮像部）は、撮像光学系１２１ａ、１２１ｂ、および、撮像素子１２２を備えている。撮像光学系１２１ａ、１２１ｂはそれぞれ、被写体（不図示）からの光を撮像素子１２２上に結像させる単焦点撮像光学系である。撮像素子１２２から出力されるアナログ電気信号は、撮像素子１０２から出力されるアナログ電気信号と同様に扱われる。画像処理部２０は、撮像素子１２２から出力された画像信号（撮像光学系１２１ａ、１２１ｂを介して得られた画像信号）に基づいて２つの画像を生成する。この２つの画像は、撮像光学系１２１ａ、１２１ｂにより形成された被写体像に相当し、互いに視差を有する２つの視差画像である。なお本実施例において、副撮像部１２０は撮像装置２から着脱可能であってもよい。この場合、複数の副撮像部の中から撮像装置２の主撮像部１００に適した副撮像部を選択して撮像装置２に装着することができる。

副撮像部１２０は、実施例１の副撮像部１１０とは異なり、２つの撮像光学系１２１ａ、１２１ｂに共通の１つの撮像素子１２２のみを有する。１つの撮像素子１２２上に２つの撮像光学系１２１ａ、１２１ｂを介して像を結像させ、撮像素子１２２から画像信号を出力させる。本実施例によれば、実施例１の構成と比較して、撮像素子の数を減らすことができるため、コストを低下させることが可能である。本実施例において、主撮像部１００を構成する撮像光学系１０１の望遠端における焦点距離は３５ｍｍ判換算で１０００ｍｍ、副撮像部１２０を構成する２つの撮像光学系１２１ａ、１２１ｂの焦点距離は３５ｍｍ判換算で４００ｍｍである。

また、主撮像部１００の撮像素子１０２に対して、副撮像部１２０の撮像素子１２２は一辺のサイズが同じサイズである。しかしながら、副撮像部１２０では撮像素子１２２の撮像領域を二分割して利用しているため、副撮像部１２０の撮像光学系１２１ａ、１２１ｂに対する実質的な撮像素子サイズは半分となる。このため、主撮像部１００と副撮像部１２０の撮像光学系の実焦点距離の比は略５倍となるため、主撮像部１００に対して副撮像部１２０の被写界深度が十分に深い構成となっている。

Ａ／Ｄコンバータ１０は、撮像素子１０２、１２２から出力されるアナログ電気信号（画像信号）をデジタル信号に変換し、画像処理部２０またはコントラスト用ＡＦゲート９０に供給する。コントラスト用ＡＦゲート９０は、Ａ／Ｄコンバータ１０からの全画素出力信号のうち、情報入力部５０を介してユーザにより設定された距離情報算出領域（焦点検出領域、ＡＦ枠）の範囲内の信号のみをコントラスト用距離情報算出部９１に供給する。コントラスト用距離情報算出部９１は、コントラスト用ＡＦゲート９０から供給される画像信号（焦点信号）に対してフィルタを適用して高周波成分を抽出し、評価値（ＡＦ評価値）を生成する。ＡＦ評価値は、システムコントローラ３０に出力される。

位相差用ＡＦゲート９２は、Ａ／Ｄコンバータ１０からの全画素出力信号のうち、情報入力部５０を介してユーザにより設定された距離情報算出領域（焦点検出領域、ＡＦ枠）の信号のみを位相差用距離情報算出部９３に供給する。位相差用距離情報算出部９３は、位相差用ＡＦゲート９２から供給される画像信号（焦点信号）に対して位相差方式の処理（焦点検出処理）を行い、デフォーカス量を算出する。デフォーカス量は、システムコントローラ３０に出力される。

次に、図７を参照して、撮像装置２の撮像手順について説明する。図７は、撮像装置２の動作（撮像動作）を示すフローチャートである。図７の各ステップは、主に、システムコントローラ３０の指令に基づいて、撮像装置２の各部により実行される。

まず、ステップＳ２０１において、システムコントローラ３０は、情報入力部５０を介してユーザにより選択された被写体を、注目被写体として設定する。ここでは、図５（ａ）に示されるように、表示部７０に表示された画像上の被写体３０３（鳥）を、ユーザが選択釦（不図示）を用いて選択する。これにより、円形の点線３０４で囲まれる領域が注目被写体（距離情報算出領域、焦点検出領域）として設定され、表示部７０に表示される。システムコントローラ３０は、情報入力部５０を介してユーザにより入力された撮像条件（撮影条件情報）を取得する。撮像条件とは、主撮像部１００のＦ値やＩＳＯ感度などを含むが、これらに限定されるものではない。またシステムコントローラ３０は、撮像制御部４０を介して主撮像部１００の絞り１０１Ａおよび撮像素子１０２を制御し、取得した撮像条件を設定する。

続いてステップＳ２０２において、システムコントローラ３０は、撮像制御部４０を介して副撮像部１２０を制御し、副撮像部１２０を用いた撮像を行うことにより、撮像光学系１２１ａ、１２１ｂを介して得られた２つの画像を取得する。ここで副撮像部１２０により取得される２つの画像は、図５（ａ）に示されるように、注目被写体に合焦していないボケた画像である。

続いてステップＳ２０３において、システムコントローラ３０は、位相差用距離情報算出部９３を介して、位相差ＡＦによりデフォーカス量（第１の距離情報）を算出する。より詳細には、システムコントローラ３０は、情報入力部５０を介してユーザから指定された領域（被写体）を焦点検出領域として決定する。そしてシステムコントローラ３０は、決定した焦点検出領域内の画像信号のみを位相差用距離情報算出部９３に供給するように位相差用ＡＦゲート９２を設定する。

位相差用距離情報算出部９３は、前述の対応被写体探索処理によりデフォーカス量を算出する。また、複数ラインをデータとして用いる場合、例えば、各対応するラインごとに対応被写体探索処理を行い、求められた相関値群の平均を求めることもできる。また、対応被写体探索処理を行う前に複数ラインデータを上下方向に平均化して１ライン分のデータとして対応被写体探索処理を行ってもよい。システムコントローラ３０は、位相差用距離情報算出部９３が焦点検出領域内の画像信号に基づいて算出したデフォーカス量（第１の距離情報）を取得する。ここで算出される第１の距離情報は、ステップＳ２０２にて取得されたボケた画像に基づいて算出されるため、前述のように距離用法の算出精度が低い情報となる。

続いてステップＳ２０４において、システムコントローラ３０は、フォーカス制御部４１を介して、ステップＳ２０３にて取得した第１の距離情報に基づいて副撮像部１２０のフォーカス制御を実行する。具体的には、システムコントローラ３０は、フォーカス制御部４１を介して副撮像部１２０のフォーカスレンズ１２１ａＦ、１２１ｂＦのそれぞれを駆動し、第１の距離情報に基づいて、副撮像部１２０を注目被写体に合焦させる。距離情報に応じた副撮像部１１０のフォーカスレンズ１１１ａＦ、１１１ｂＦのそれぞれの位置は、メモリ８０にテーブルとして格納されている。このためシステムコントローラ３０は、各撮像部の撮像条件と距離情報とに応じて適宜判定することができる。図５（ｂ）は、ステップＳ２０４の状態を示している。副撮像部１２０が主撮像部１００よりも画角が広く、被写界深度が深いため、距離情報の算出精度が低い第１の距離情報に基づいても、副撮像部１１０のフォーカスを合わせることが可能である。

図６に示されるように互いに近接して配置されたフォーカスレンズ１２１ａＦ、１２１ｂＦはそれぞれ、同一の駆動装置により一体保持され、その駆動装置により一体的に移動制御される構成とすることもできる。このような構成により、駆動装置の数を削減することができ、装置としてのコストを低減することが可能である。また、副撮像部１２０が同一の２つの光学系を備えて構成されているため、フォーカス駆動部分として、撮像光学系部分を一体で繰り出す方式や撮像素子１２２自体を繰り出す方式を採用することも可能である。

続いてステップＳ２０５において、システムコントローラ３０は、撮像制御部４０を介して副撮像部１２０を制御し、撮像を行うことにより２つの画像を取得する。ここで、副撮像部１２０により取得される２つの画像は、図５（ｂ）に示されるように注目被写体に合焦した鮮鋭な画像である。

続いてステップＳ２０６において、システムコントローラ３０は、ステップＳ２０５にて取得された鮮鋭な画像に基づいて、位相差用距離情報算出部９３を介して、位相差ＡＦによりデフォーカス量（第２の距離情報）を算出する。より詳細には、システムコントローラ３０は、情報入力部５０を介してユーザから指定された領域（被写体）を焦点検出領域として決定する。そしてシステムコントローラ３０は、決定した焦点検出領域内の画像信号のみを位相差用距離情報算出部９３に供給するように位相差用ＡＦゲート９２を設定する。

位相差用距離情報算出部９３は、前述の対応被写体探索処理によりデフォーカス量を算出する。また、複数ラインをデータとして用いる場合、例えば、各対応するラインごとに対応被写体探索処理を行い、求められた相関値群の平均を求めることもできる。また、対応被写体探索処理を行う前に複数ラインデータを上下方向に平均化して１ライン分のデータとして対応被写体探索処理を行ってもよい。システムコントローラ３０は、位相差用距離情報算出部９３が焦点検出領域内の画像信号に基づいて算出したデフォーカス量を取得する。

ステップＳ２０６にて第２の距離情報を算出する際において、ステップＳ２０３にて第１の距離情報を算出する際に対して、探索範囲、ブロックサイズ、および、サブピクセル推定のフィッティング関数（ブロックマッチング法）の少なくとも一つが異なっている。本実施例においては、探索範囲が異なっている。ステップＳ２０３にて低精度であるが距離情報が既に算出されているため、ステップＳ２０６ではある程度被写体距離の予測が立っている状態といえる。このため、予測される視差量の範囲内に探索範囲を設定することにより、距離情報の算出処理速度を更に高速化することができる。また、画像の鮮鋭度が高いため、ブロックサイズを小さくすることで、距離情報の算出する際のメモリ使用量を減らすことも可能である。また、サブピクセル推定のフィッティング関数についても鮮鋭度の高い画像に適したフィッティング関数を選択することにより、距離情報の算出精度を更に向上させることができる。第２の距離情報は、ステップＳ２０５にて取得された鮮鋭な画像に基づいて算出されるため、前述のように距離情報の算出精度が高い情報となる。

続いてステップＳ２０７において、システムコントローラ３０は、フォーカス制御部４１を介して主撮像部１００のフォーカスレンズ１０１Ｆを駆動する。このときシステムコントローラ３０は、ステップＳ２０６にて算出した第２の距離情報に基づいて、撮像光学系１０１を注目被写体に合焦させる。被写体距離に応じた主撮像部１００のフォーカスレンズ１０１Ｆの位置は、メモリ８０にテーブルとして格納されており、各撮像部の撮像条件と被写体距離とに応じて適宜判定することができる。

図５（ｃ）は、ステップＳ２０７の状態を示している。システムコントローラ３０は、フォーカス調整された副撮像部１２０による鮮鋭な画像に基づいて、主撮像部１００のフォーカス制御を行うことより、精度良く被写体にフォーカスを合わせることが可能である。このため、主撮像部１００の撮影視野に被写体が入った後のフォーカス制御の時間を短縮することができ、ボケた画像を撮影する頻度を低下させることが可能となる。すなわち、望遠レンズを用いた動く被写体の撮影の成功率を向上させることができる。なお、実施例１と同様に、第１の距離情報に基づいて主撮像部１００のフォーカス制御を開始してもよい。

続いてステップＳ２０８において、システムコントローラ３０は、撮像制御部４０を介して、主撮像部１００のコントラストＡＦを行う。より詳細には、システムコントローラ３０は、撮像制御部４０を介して主撮像部１００を制御し、撮影を行うことでプレ画像を取得する。図５（ｃ）は、ステップＳ２０８の状態を示している。図５（ｃ）に示されるように、注目被写体（被写体３０３）が主撮像部１００の撮影視野（破線３０２で囲まれる領域）内にあり、前段のステップＳ２０７までの動作によりほぼ注目被写体に主撮像部１００のフォーカスが合っている状態である。しかしながら、位相差ＡＦでは追従しきれない若干のピントずれが生じている。一般的に、コントラストＡＦは、位相差ＡＦと比較して合焦精度が高く、最終的な合焦評価に適している。

またシステムコントローラ３０は、情報入力部５０を介してユーザにより指定された領域を距離情報算出領域（焦点検出領域、ＡＦ枠）として決定する。またシステムコントローラ３０は、決定した距離情報算出領域内の画像信号のみをコントラスト用距離情報算出部９１に供給するようにコントラスト用ＡＦゲート９０を設定する。そしてシステムコントローラ３０は、コントラスト用距離情報算出部９１が距離情報算出領域内の画像信号に基づいて生成したＡＦ評価値を取得する。さらにシステムコントローラ３０は、フォーカスレンズ１０１Ｆを微小量左右に移動させ、再度、ＡＦ評価値（左に移動させて得られたＡＦ評価値および右に移動させていえられたＡＦ評価値）を取得する。システムコントローラ３０は、微小駆動にて得られたＡＦ評価値に基づいて、コントラストＡＦを行う。

続いてステップＳ２０９において、システムコントローラ３０は、フォーカス制御部４１を介して、ＡＦ評価値が最も高くなる位置へ主撮像部１００のフォーカスレンズ１０１Ｆを移動するように制御する。ここでは、既に略合焦状態からの追い込み制御となるため、コントラストＡＦを行っても僅かな制御時間の増加に留めることができる。

続いてステップＳ２１０において、ユーザが撮影指示を入力すると、システムコントローラ３０は撮像制御部４０を介して主撮像部１００を制御し、撮像を行うことで画像を取得する。このとき取得した画像は、画像記録媒体６０に保存され、撮像手順が終了する。本実施例において、主撮像部１００を用いて取得した画像に加えて、副撮像部１２０を用いて取得した２つの画像を画像記録媒体６０に保存してもよい。また、副撮像部１２０を介して取得した２つの画像を用いて画像処理部２０が算出する距離マップ画像を画像記録媒体６０に保存することもできる。

以上説明したように本実施例の撮像装置は、副撮像部が備える２つの撮像光学系はフォーカス機構を有している。そのフォーカス機構により被写体に合焦した状態に制御された副撮像部を用いることで、主撮像部の画角全域の被写体距離情報を高精度に取得することができる。このため撮像装置は、主撮像部の画角内の任意の被写体の距離情報を高精度に取得し、主撮像部を高精度及び高速に被写体に合焦させることができる。これにより、望遠レンズを用いた動く被写体の撮影の成功率を向上させることが可能な撮像装置を提供することができる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、高速かつ高精度なフォーカス制御を行うことが可能な撮像装置、撮像システム、撮像装置の制御方法、および、プログラムを提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

各実施例において副撮像部（第２の撮像部）は複数の撮像光学系（ステレオ光学系）を有するが、これに限定されるものではない。例えば、副撮像部は、１つの撮像光学系（第２の撮像光学系のみ）と、この撮像光学系のうち互いに異なる瞳領域を通過する光を受光する第１光電変換部および第２の光電変換部を備えた撮像素子とを有していてもよい。このような機能を有する撮像素子は、例えば、１つのマイクロレンズに対して第１光電変換部および第２光電変換部を有し、マイクロレンズを２次元状に配列することにより実現することができる。

１ 撮像装置
１００ 主撮像部（第１の撮像部）
１１０、１２０ 副撮像部（第２の撮像部）
２１ 距離情報算出部
３０ システムコントローラ（制御部）
４１ フォーカス制御部（制御部）

Claims (15)

1. 第１の撮像部または第２の撮像部を介して画像信号を取得することが可能な撮像装置であって、
   前記第２の撮像部を介して得られた前記画像信号に基づいて距離情報を算出する距離情報算出部と、
   前記距離情報に基づいて前記第１の撮像部または前記第２の撮像部のフォーカス制御を行う制御部と、を有し、
   前記制御部は、
   前記距離情報算出部により算出された第１の距離情報に基づいて、前記第２の撮像部の前記フォーカス制御を実行し、
   前記第２の撮像部の前記フォーカス制御の実行後に前記距離情報算出部により算出された第２の距離情報に基づいて、前記第１の撮像部の前記フォーカス制御を実行し、
   前記制御部は、前記第２の距離情報を取得する前に、前記第１の距離情報に基づいて前記第１の撮像部の前記フォーカス制御を開始することを特徴とする撮像装置。
2. 前記制御部は、
   前記第１の距離情報に基づいて、前記第１の撮像部のフォーカス移動方向を決定して前記フォーカス制御を開始し、
   前記第２の距離情報に基づいて、前記第１の撮像部の前記フォーカス制御を継続することを特徴とする請求項１に記載の撮像装置。
3. 前記距離情報算出部は、前記第２の撮像部を介して得られた２つの画像信号の視差量に基づいて前記距離情報を算出することを特徴とする請求項１または２に記載の撮像装置。
4. 前記距離情報算出部が前記第１の距離情報および前記第２の距離情報のそれぞれを算出する際において、探索範囲、ブロックサイズ、サブピクセル推定のフィッティング関数の少なくとも一つが互いに異なることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 第１の撮像部と、
   第２の撮像部と、
   前記第２の撮像部を介して得られた画像信号に基づいて距離情報を算出する距離情報算出部と、
   前記距離情報に基づいて前記第１の撮像部または前記第２の撮像部のフォーカス制御を行う制御部と、を有し、
   前記制御部は、
   前記距離情報算出部により算出された第１の距離情報に基づいて、前記第２の撮像部の前記フォーカス制御を実行し、
   前記第２の撮像部の前記フォーカス制御の実行後に前記距離情報算出部により算出された第２の距離情報に基づいて、前記第１の撮像部の前記フォーカス制御を実行し、
   前記制御部は、前記第２の距離情報を取得する前に、前記第１の距離情報に基づいて前記第１の撮像部の前記フォーカス制御を開始することを特徴とする撮像システム。
6. 前記第２の撮像部は、前記第１の撮像部よりも画角が広いことを特徴とする請求項５に記載の撮像システム。
7. 前記第２の撮像部は、前記第１の撮像部よりも被写界深度が深いことを特徴とする請求項５または６に記載の撮像システム。
8. 前記第１の撮像部は、
   第１のフォーカスレンズを含む第１の撮像光学系と、
   前記第１の撮像光学系を介して形成された光学像を光電変換して前記画像信号を出力する撮像素子と、を有することを特徴とする請求項５乃至７のいずれか１項に記載の撮像システム。
9. 前記第２の撮像部は、第２のフォーカスレンズを含む第２の撮像光学系を有することを特徴とする請求項５乃至８のいずれか１項に記載の撮像システム。
10. 前記第２の撮像部は、前記第２の撮像光学系のうち互いに異なる瞳領域を通過する光を受光する撮像素子を有することを特徴とする請求項９に記載の撮像システム。
11. 前記第２の撮像部は、第３のフォーカスレンズを含む第３の撮像光学系を有することを特徴とする請求項９に記載の撮像システム。
12. 前記第１の撮像光学系は、変倍光学系であり、
    前記第２の撮像光学系および前記第３の撮像光学系のそれぞれの開口絞りよりも被写体側において、該第２の撮像光学系と該第３の撮像光学系の光軸は互いに平行であることを特徴とする請求項１１に記載の撮像システム。
13. 前記第２の撮像光学系および前記第３の撮像光学系はそれぞれ、単焦点撮像光学系であることを特徴とする請求項１１または１２に記載の撮像システム。
14. 第１の撮像部および第２の撮像部のそれぞれから画像信号を取得することが可能な撮像装置の制御方法であって、
    前記第２の撮像部を介して得られた第１の画像信号に基づいて第１の距離情報を算出するステップと、
    前記第１の距離情報に基づいて前記第２の撮像部のフォーカス制御を実行するステップと、
    前記第２の撮像部の前記フォーカス制御の実行後に前記第２の撮像部を介して得られた第２の画像信号に基づいて第２の距離情報を算出するステップと、
    前記第２の距離情報に基づいて前記第１の撮像部のフォーカス制御を実行するステップと、を有し、
    前記第１の撮像部の前記フォーカス制御は、前記第２の距離情報を算出するステップの前に、前記第１の距離情報に基づいて開始されることを特徴とする撮像装置の制御方法。
15. 第１の撮像部および第２の撮像部のそれぞれから画像信号を取得することが可能な撮像装置を制御するプログラムであって、
    前記第２の撮像部を介して得られた第１の画像信号に基づいて第１の距離情報を算出するステップと、
    前記第１の距離情報に基づいて前記第２の撮像部のフォーカス制御を実行するステップと、
    前記第２の撮像部の前記フォーカス制御の実行後に前記第２の撮像部を介して得られた第２の画像信号に基づいて第２の距離情報を算出するステップと、
    前記第２の距離情報に基づいて前記第１の撮像部のフォーカス制御を実行するステップと、をコンピュータに実行させ、
    前記第１の撮像部の前記フォーカス制御は、前記第２の距離情報を算出するステップの前に、前記第１の距離情報に基づいて開始されることを特徴とするプログラム。

Images