JP6882016B2 - 撮像装置、撮像システム、撮像装置の制御方法、および、プログラム - Google Patents

Description

本発明は、複数の撮像部を備えた撮像装置に関する。

従来から、デジタルカメラにおいてフォーカス位置を変化させながら画像のコントラストを算出し、コントラストが最大となるフォーカス位置を合焦位置とするコントラストＡＦ方式によるオートフォーカスが知られている。コントラストＡＦ方式によるオートフォーカスは、合焦精度が高いが、処理が低速である。

特許文献１には、オートフォーカスを高速化するため、画像を取得する撮像光学系とは別に被写体距離を取得するユニットを設け、このユニットから出力される距離情報に基づいて撮像レンズを合焦させる撮像装置が開示されている。特許文献２には、望遠レンズを用いて動く被写体の撮影を容易にするため、ライブビュー画像（モニタ画像）の視野を望遠レンズの撮影視野よりも広げることにより、動く被写体を撮影視野外から追従する方法が開示されている。

特開２０１３−４２３７９号公報 特開２０１２−４９６５１号公報

望遠レンズを用いて動体などの被写体を撮影する際、撮影視野が狭いため、被写体が撮影視野から外れると、再度、撮影視野内に被写体を捉えることは困難である。また、撮影視野内に被写体を捉えることができた場合でも、その瞬間に望遠レンズのフォーカス調整を完了させることは難しい。すなわち、望遠レンズを用いて被写体を撮影する場合、被写体を撮影視野内に捉え、この被写体に高速で合焦させることは困難である。

特許文献１に開示されている撮像装置は、被写体距離を取得するユニットを備えることにより、オートフォーカスの高速化を実現しようとしている。しかし、オートフォーカスの際に用いられる距離情報は、主光学系の視野（撮影視野）の範囲内でのみ取得される。望遠レンズの場合、一般的に被写体距離の変動に対するフォーカスレンズの移動量が大きくなる。このため、主光学系の視野内に被写体が入ってからオートフォーカスを開始しても、被写体に合焦するまでにはある程度の時間を要する。その結果、オートフォーカス中に被写体が再度撮影視野内から外れる可能性が高い。

特許文献２には、モニタ画像の視野を望遠レンズの撮影視野よりも広げることにより、動く被写体への追従性を向上させているが、望遠レンズによる撮影で重要となるオートフォーカスに関しては記述されていない。撮影視野内に被写体を適切に捉えることができても、その瞬間にオートフォーカスが完了しない場合、ボケた画像が取得され、望遠レンズによる動く被写体の撮影に成功したとは言えない。

そこで本発明は、オートフォーカスを高速化して動く被写体の撮影を容易にすることが可能な撮像装置、撮像システム、撮像装置の制御方法、および、プログラムを提供することを目的とする。

本発明の一側面としての撮像装置は、第１の撮像部よりも広い画角を有し、互いに視差を有する複数の視差画像を生成可能な第２の撮像部を介して得られた複数の視差画像信号に基づいて焦点検出を行う焦点検出部と、前記焦点検出部からの出力信号に基づいて前記第１の撮像部のフォーカス制御を行う制御部とを有し、前記制御部は、前記焦点検出部の焦点検出領域が前記第１の撮像部の撮影視野の範囲外である場合、前記第２の撮像部を介して得られた前記複数の視差画像信号に基づいて、前記第１の撮像部の前記フォーカス制御を行う。

本発明の他の側面としての撮像システムは、第１の撮像部と、前記第１の撮像部よりも広い画角を有し、互いに視差を有する複数の視差画像を生成可能な第２の撮像部と、前記第２の撮像部を介して得られた複数の視差画像信号に基づいて焦点検出を行う焦点検出部と、前記焦点検出部からの出力信号に基づいて前記第１の撮像部のフォーカス制御を行う制御部とを有し、前記制御部は、前記焦点検出部の焦点検出領域が前記第１の撮像部の撮影視野の範囲外である場合、前記第２の撮像部を介して得られた前記複数の視差画像信号に基づいて、前記第１の撮像部の前記フォーカス制御を行う。

本発明の他の側面としての撮像装置の制御方法は、第１の撮像部よりも広い画角を有し、互いに視差を有する複数の視差画像を生成可能な第２の撮像部を介して得られた複数の視差画像信号に基づいて焦点検出を行うステップと、前記焦点検出の結果に基づいて前記第１の撮像部のフォーカス制御を行うステップとを有し、前記焦点検出を行うステップにおいて得られた焦点検出領域が前記第１の撮像部の撮影視野の範囲外である場合、前記第１の撮像部の前記フォーカス制御は、前記第２の撮像部を介して得られた前記複数の視差画像信号に基づいて行われる。

本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させる。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、オートフォーカスを高速化して動く被写体の撮影を容易にすることが可能な撮像装置、撮像システム、撮像装置の制御方法、および、プログラムを提供することができる。

実施例１における撮像装置の外観図である。 実施例１における撮像装置のブロック図である。 各実施例における表示部に表示される画像の説明図である。 実施例１における撮像装置の動作を示すフローチャートである。 各実施例における表示部に表示される画像の説明図である。 実施例２における撮像装置のブロック図である。 実施例２における撮像装置の動作を示すフローチャートである。 各実施例における被写体距離の算出方法の説明図である。 各実施例における対応被写体探索処理の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

まず、図８を参照して、２つの撮像光学系を用いて被写体距離を取得する方法について説明する。図８は、被写体距離の算出方法の説明であり、互いに同一の構造を有する２つの撮像光学系ＣＡ、ＣＢを用いて撮影シーンのうちの１点に存在する被写体Ｏｂｊを撮像する様子を示している。撮像素子ＳＡ、ＳＢはそれぞれ、撮像光学系ＣＡ、ＣＢにより形成された被写体像（光学像）を受光する。撮像光学系ＣＡ、ＣＢのそれぞれの入射瞳中心は（−Ｄ／２，０）、（Ｄ／２，０）に存在し、被写体Ｏｂｊは（ｘ、ｚ）に存在する。撮像光学系ＣＡ、ＣＢのそれぞれの焦点距離をｆ、撮像素子ＳＡ、ＳＢのそれぞれにおける被写体Ｏｂｊの座標をａ、ｂとすると、以下の式（１）が成立する。

式（１）において、ｂ−ａは、互いに異なる視点から同一の被写体を撮像した際の撮像面上での位置のずれ、すなわち視差である。視差ｂ−ａ（視差量）を取得することができれば、視差ｂ−ａ、撮像光学系ＣＡ、ＣＢのそれぞれの焦点距離ｆ、および、基線長Ｄを式（１）に代入することにより、被写体距離ｚ（撮像光学系の入射瞳中心から被写体Ｏｂｊまでの距離）を算出することができる。

続いて、図９を参照して、２つの撮像光学系を用いて取得された２つの画像から視差量を取得するための対応被写体探索処理について説明する。図９は、対応被写体探索処理の説明図であり、互いに異なる視点から撮像された画像ＩＭＧ１、ＩＭＧ２を示している。画像座標（Ｘ，Ｙ）は、図９中に示される画素群の中心を原点として定義し、水平方向をＸ軸、垂直方向をＹ軸とする。また、画像座標（Ｘ，Ｙ）に位置する画像ＩＭＧ１の画素値をＦ１（Ｘ，Ｙ）とし、画像ＩＭＧ２の画素値をＦ２（Ｘ，Ｙ）として説明する。画像ＩＭＧ１における任意の座標（Ｘ，Ｙ）に対応する画像ＩＭＧ２の画素は、座標（Ｘ，Ｙ）における画像ＩＭＧ１の画素値Ｆ１（Ｘ，Ｙ）と最も類似する画像ＩＭＧ２の画素値を探すことで求めることができる。なお、以降の説明において、画像上の対応点と対応画素とは同一の意味である。

ここで、図９に示される画像ＩＭＧ１、ＩＭＧ２上の縦線で示される画素Ｐ１、Ｐ２は、互いに同じ被写体からの光を記録した、対応画素（対応点）に相当する。ただし、一般的に任意の画素と最も類似する画素を探すことは難しいため、画像座標（Ｘ，Ｙ）の近傍の画素も用い、ブロックマッチング法と呼ばれる手法で類似画素を探索することができる。

例えば、ブロックサイズが３である場合のブロックマッチング処理について説明する。画像ＩＭＧ１の任意の座標（Ｘ，Ｙ）の画素（注目画素）、および、その前後の座標（Ｘ−１、Ｙ）、（Ｘ＋１、Ｙ）に位置する２つの画素の計３画素の画素値はそれぞれ、Ｆ１（Ｘ，Ｙ）、Ｆ１（Ｘ−１，Ｙ）、Ｆ１（Ｘ＋１，Ｙ）となる。これに対し、座標（Ｘ，Ｙ）からＸ方向にｋだけずれた画像ＩＭＧ２の画素の画素値はそれぞれ、Ｆ２（Ｘ＋ｋ，Ｙ），Ｆ２（Ｘ＋ｋ−１，Ｙ），Ｆ２（Ｘ＋ｋ＋１，Ｙ）となる。このとき、画像ＩＭＧ１の座標（Ｘ，Ｙ）に位置する注目画素と、画像ＩＭＧ２の座標（Ｘ＋ｋ，Ｙ）に位置する画素との類似度Ｅは、以下の式（２）のように定義される。

式（２）において逐次ｋの値を変えて類似度Ｅを算出し、最も小さい類似度Ｅを与える座標（Ｘ＋ｋ、Ｙ）が、画像ＩＭＧ１の注目画素に対応する画像ＩＭＧ２の画素の座標となる。ここでは、Ｘ方向にのみ逐次座標を変化させながら類似度Ｅを算出しているが、Ｙ方向、または、Ｘ方向およびＹ方向の両方向にも逐次座標を変化させながら類似度Ｅを算出してもよい。このような対応被写体探索処理を行うことにより、２つの画像のそれぞれにおける対応点（対応画素）の座標を取得することができ、それらの相違量である視差量を算出することが可能である。

以上説明したように、２つの撮像光学系を用いて取得した２つの画像において対応被写体探索処理を行うことにより視差量を算出し、この視差量に基づいて被写体距離を算出することができる。また、撮像光学系に応じて視差量と像面移動量であるデフォーカス量との関係は決定される。このため、その視差量に基づいてデフォーカス量を算出することができる。そして、そのデフォーカス量に基づいてレンズの繰り出し量を求め、レンズを移動し合焦させることができる（位相差ＡＦ）。

対応被写体探索処理を行う際、用いる２枚の画像は合焦した鮮鋭な画像であることが好ましい。すなわち、２枚の画像それぞれを撮像する際には被写体が撮像光学系の被写界深度内に収まっていることが好ましい。これは、被写体がボケている場合、真の対応点とは異なる、誤った点が対応点として算出され、結果として誤った被写体距離が算出される可能性があるためである。

続いて、被写体距離の算出精度について説明する。被写体距離をｓ、２つの撮像光学系間の基線長をＤ、２つの撮像光学系のそれぞれの焦点距離をｆとすると、被写体距離分解能Δｚは、以下の式（３）で表すことができる。

式（３）において、ｒは視差分解能であり、前述の対応被写体探索処理によって取得される視差量は最大±ｒの誤差を含む。被写体距離分解能Δｚは、被写体距離を算出する際の最大誤差量であり、距離ｓに位置する被写体の距離を取得した際、最大±Δｚの誤差を含む被写体距離が算出されることを意味する。すなわち、被写体距離分解能Δｚが小さいほど被写体距離の算出精度が高いと言える。具体的には、被写体距離ｓが小さい（被写体が近い）ほど、基線長Ｄが大きいほど、焦点距離ｆが大きいほど、または、視差分解能ｒが小さいほど、被写体距離の算出精度が高くなる。

各実施例の撮像装置（撮像システム）は、第１の撮像部（主撮像部）と第２の撮像部（副撮像部）とを有する。主撮像部は、１つの撮像光学系および１つの撮像素子を有し、画像を撮像する主たる撮像部である。副撮像部は、２つの撮像光学系を有し、これらの撮像光学系を用いて前述の被写体距離を取得する。撮像装置は、副撮像部を用いて取得した被写体距離情報に基づいて主撮像部を合焦させる。ここで、副撮像部の２つの撮像光学系のそれぞれの画角は、主撮像部の撮像光学系の画角よりも大きく、副撮像部を用いることで主撮像部の画角全域の被写体距離を取得することができる。このため撮像装置は、主撮像部の画角内の任意の被写体の距離を取得し、主撮像部を被写体に合焦させることが可能である。主撮像部の撮像光学系の被写界深度よりも前述の被写体距離分解能Δｚが小さければ、撮像装置は副撮像部により取得された被写体情報を用いて、主撮像部を精度よく合焦させることができる。ここまで、本発明の撮像装置が行う合焦方法の概要について説明した。以下、撮像装置（撮像システム）について、各実施例において詳述する。

まず、図１および図２を参照して、本発明の実施例１における撮像装置１（撮像システム）について説明する。図１は、撮像装置１の外観図であり、図１（ａ）は俯瞰図、図１（ｂ）は正面図をそれぞれ示している。図２は、撮像装置１のブロック図である。

撮像装置１は、主として被写体の撮像に用いられる主撮像部１００（第１の撮像部）と、被写体の距離を取得する副撮像部１１０（第２の撮像部）とを有する。主撮像部１００は、撮像光学系１０１（第１の撮像光学系）と撮像素子１０２とを備えて構成される。撮像光学系１０１は、１つ以上のレンズ、絞り１０１Ａ、および、フォーカスレンズ１０１Ｆ（フォーカス機構）とを備えて構成されており、被写体（不図示）からの光を撮像素子１０２上に結像させる。また撮像光学系１０１は、その内部に設けられた１つ以上のレンズが駆動することで焦点距離が変化する変倍光学系である。

図１において、撮像光学系１０１は撮像装置１の一部として構成されているが、一眼レフカメラのように交換式の撮像光学系であってもよい。すなわち本実施例は、撮像素子１０２を備えた撮像装置本体と撮像光学系１０１とが一体的に構成された撮像装置、または、撮像光学系１０１が着脱可能な撮像装置（撮像光学系１０１と撮像装置本体とで構成される撮像システム）のいずれにも適用可能である。

撮像素子１０２は、ＣＭＯＳセンサやＣＣＤセンサなどの固体撮像素子であり、撮像光学系１０１を介して形成された光学像（被写体像）を光電変換して画像信号（アナログ電気信号）を出力する。撮像光学系１０１における絞り１０１Ａおよびフォーカスレンズ１０１Ｆの機械的な駆動は、システムコントローラ３０からの指示（制御）に基づいて、撮像制御部４０（フォーカス制御部４１）により行われる。システムコントローラ３０およびフォーカス制御部４１により制御部が構成される。絞り１０１Ａは、設定された絞り値（Ｆ値、Ｆナンバー）に応じてその開口径が制御される。フォーカス制御部４１は、被写体距離に応じてフォーカスレンズ１０１Ｆの位置を制御することにより、フォーカス調整を行う。Ａ／Ｄコンバータ１０は、撮像素子１０２から出力されたアナログ電気信号（画像信号）をデジタル信号に変換する。

画像処理部２０は、Ａ／Ｄコンバータ１０から出力されたデジタル信号に対して、画素補間処理、輝度信号処理、および、色信号処理など、いわゆる現像処理を行い、画像（画像データ）を生成する。画像処理部２０により生成された画像は、半導体メモリや光ディスクなどの画像記憶媒体６０に記録される。また画像処理部２０により生成された画像は、表示部７０に表示されてもよい。情報入力部５０は、ユーザの操作に応じて種々の情報を入力する。情報入力部５０は、情報取得部５１と領域選択部５２とを有する。情報取得部５１は、ユーザが入力する撮像条件（撮影条件情報）を取得する。撮像条件とは、主撮像部１００のＦ値、ＩＳＯ感度などであるが、これらに限定されるものではない。領域選択部５２は、ユーザの操作に応じて、焦点検出部２１の焦点検出領域（ＡＦ枠）を設定（選択）する。

副撮像部１１０（第２の撮像部）は、撮像光学系１１１ａ（第２の撮像光学系）および撮像光学系１１１ｂ（第３の撮像光学系）と、撮像光学系１１１ａ、１１１ｂにそれぞれ対応する撮像素子１１２ａ、１１２ｂとを備えて構成される。撮像光学系１１１ａおよび１１１ｂはそれぞれ、被写体（不図示）からの光を撮像素子１１２ａ、１１２ｂ上に結像させる単焦点撮像光学系である。また撮像光学系１１１ａ、１１１ｂはそれぞれ、フォーカスレンズ１１１ａＦ、１１１ｂＦを有する。撮像素子１１２ａ、１１２ｂにより生成されたアナログ電気信号（画像信号）は、撮像素子１０２の場合と同様に、Ａ／Ｄコンバータ１０へ出力されデジタル信号へ変換される。

画像処理部２０は、撮像素子１１２ａ、１１２ｂのそれぞれから出力された２つの画像を生成する。この２つの画像は、撮像光学系１１１ａ、１１１ｂにより形成された被写体像に相当し、互いに視差を有する２つの視差画像である。画像処理部２０により生成された画像は、主撮像部１００場合と同様に、表示部７０に表示することができる。本実施例では、撮像光学系１１１ａ（第２の撮像光学系）を介して得られる画像を表示部７０に表示するが、これに限定されるものではない。なお本実施例において、副撮像部１１０は撮像装置１から着脱可能であってもよい。この場合、複数の副撮像部の中から撮像装置１の主撮像部１００に適した副撮像部を選択して撮像装置１に装着することができる。

画像処理部２０は、焦点検出部２１（距離算出部）を有する。焦点検出部２１は、副撮像部１１０により生成された２つの視差画像（撮像素子１１２ａ、１１２ｂから出力された２つの画像信号）に基づいて、被写体距離を算出する。焦点検出部２１は、領域選択部５２を介してユーザにより指定された特定の領域または特定の被写体の距離を算出してもよい。領域選択部５２は、例えば、ユーザによって選択された特定の被写体を焦点検出領域（距離算出領域）として選択し、常にその特定の被写体（動く被写体）を焦点検出領域として設定することができる。また、撮像光学系１１１ａ、１１１ｂの画角のうち互いに重畳する画角領域内の全ての被写体の距離を算出し、それらの距離を画素値として示す距離マップ画像を生成してもよい。なお本実施例において、撮像装置１は、主撮像部１００および副撮像部１１０に対して１つのＡ／Ｄコンバータ１０および１つの画像処理部２０を有するが、これに限定されるものではない。例えば、主撮像部１００および副撮像部１１０のそれぞれに専用のＡ／Ｄコンバータおよび画像処理部（複数のＡ／Ｄコンバータおよび複数の画像処理部）を設けてもよい。

副撮像部１１０を構成する撮像光学系１１１ａ、１１１ｂは、最も被写体に近いレンズ（最も被写体側のレンズ）同士の間の長さが５０ｍｍになるように配置されており、この長さが副撮像部１１０の基線長Ｄに相当する。撮像光学系１１１ａ、１１１ｂは互いに同一の構成を有し、左右対称であるように平行に配置されている。すなわち、撮像光学系１１１ａ、１１１ｂのそれぞれの開口部（絞り）よりも被写体側において、撮像光学系１１１ａ、１１１ｂの光軸は互いに平行である。

副撮像部１１０を構成する２つの撮像光学系１１１ａ、１１１ｂは、互いに同一の画角を有する。また、撮像光学系１１１ａ、１１１ｂのそれぞれの画角は、主撮像部１００を構成する撮像光学系１０１の望遠端における画角よりも広い。本実施例において、主撮像部１００を構成する撮像光学系１０１の望遠端における焦点距離は３５ｍｍ判換算で１０００ｍｍ、副撮像部１１０を構成する２つの撮像光学系１１１ａ、１１１ｂの焦点距離は３５ｍｍ判換算で４００ｍｍである。

ここで、図３を参照して、主撮像部１００の撮像光学系１０１を望遠端に設定とした場合における、表示部７０の画像表示例を説明する。図３は、表示部７０に表示される画像の説明図であり、被写体３０３（鳥）を撮像する際に、表示部７０に表示される画像を示している。

図３において、実線３０１で囲まれる領域が副撮像部１１０の撮像光学系１１１ａの撮影視野（撮影視野領域）である。このように、表示部７０には、副撮像部１１０の撮像光学系１１１ａを介して撮像されている画像が表示される。また、破線３０２で囲まれる領域が主撮像部１００の撮影視野（撮影視野領域）を示している。ユーザは、表示部７０に表示された破線３０２（主撮像部１００の撮影視野に関する情報）により、主撮像部１００の撮影視野を確認することができる。

図３において、撮影対象の被写体３０３（鳥）が主撮像部１００の撮影視野の範囲内に入っていない（主撮像部１００の撮影視野の範囲外である）が、表示される副撮像部１１０の撮影視野の範囲内に入っていることを示している。このように本実施例において、表示部７０は、副撮像部１１０を介して得られた画像に、主撮像部１００の撮影視野に関する情報（破線３０２）を重ねて表示する。このためユーザは、例えば望遠撮影の際に、撮影視野に被写体を捉えることが容易になる。また、主撮像部１００の望遠端における画角よりも副撮像部１１０の画角が広くため、変倍光学系を用いた望遠撮影の際に被写体を捉えやすくなる。好ましくは、副撮像部１１０は、主撮像部１００の望遠端における画角と比較して、２倍以上広い画角を有する。このように主撮像部１００と副撮像部１１０との焦点距離比（画角比）を２倍以上とすることにより、被写体をより容易に捉えることが可能になる。

なお本実施例において、表示部７０は、主撮像部１００の撮影視野に関する情報として、主撮像部１００の視野領域をユーザに認識させるための破線３０２を表示しているが、これに限定されるものではない。表示部７０は、例えば、副撮像部１１０を介して得られた画像に、主撮像部１００を介して得られた画像を合成して表示してもよい（主撮像部１００を介して得られる画像を破線３０２で囲まれる領域に合成表示してもよい）。このような合成表示を行うことにより、ユーザは、主撮像部１００により撮像される最終的な画像を認識し易くなる。

次に、図４および図５を参照して、撮像装置１の撮像手順について説明する。図４は、撮像装置１の動作（撮像動作）を示すフローチャートである。図５は、表示部７０に表示される画像の説明図である。図４の各ステップは、主に、システムコントローラ３０の指令に基づいて、撮像装置１の各部により実行される。

まず、ステップＳ１０１において、システムコントローラ３０は、領域選択部５２を介してユーザにより選択された被写体を、注目被写体として設定する。ここでは、図５（ａ）に示されるように、表示部７０に表示された画像上の被写体３０３（鳥）をユーザがタッチすることにより、円形の点線３０４で囲まれる領域が注目被写体（焦点検出領域）として設定され、表示部７０に表示される。ただし、本実施例はこれに限定されるものではなく、システムコントローラ３０は既知の動体検出や被写体認識技術により自動的に検出された被写体を注目被写体として設定することもできる。このように本実施例において、表示部７０は、副撮像部１１０を介して得られた画像に、焦点検出部２１の焦点検出領域に関する情報（例えば、点線３０４）を重ねて表示する。

システムコントローラ３０は、情報取得部５１を介してユーザにより入力された撮像条件（撮影条件情報）を取得する。撮像条件とは、主撮像部１００のＦ値やＩＳＯ感度などを含むが、これらに限定されるものではない。またシステムコントローラ３０は、撮像制御部４０を介して主撮像部１００の絞り１０１Ａおよび撮像素子１０２を制御し、取得した撮像条件を設定する。

続いてステップＳ１０２において、システムコントローラ３０は、撮像制御部４０を介して副撮像部１１０を制御し、副撮像部１１０を用いた撮像を行うことにより、撮像光学系１１１ａ、１１１ｂを介して得られた２つの画像を取得する。続いてステップＳ１０３において、焦点検出部２１（システムコントローラ３０）は、ステップＳ１０２にて取得された２つの画像を用いて、注目被写体として設定された被写体の距離を算出する。被写体の距離を算出する際に必要となる撮像光学系１１１ａ、１１１ｂの焦点距離、基線長、および、撮像素子の画素サイズなどに関する情報は、メモリ８０に格納されており、システムコントローラ３０は、メモリ８０から適宜その情報を受け取ることができる。ここでは、前述したように２次元画像を用いて被写体距離を算出しているが、位相差ＡＦの手法を用いてデフォーカス量として被写体距離を算出してもよい。

続いてステップＳ１０４において、システムコントローラ３０は、フォーカス制御部４１を介して主撮像部１００のフォーカスレンズ１０１Ｆを駆動する。このときシステムコントローラ３０は、ステップＳ１０３にて算出した注目被写体の距離（被写体距離）に基づいて、撮像光学系１０１を注目被写体に合焦させる。また本実施例では、同時に、フォーカス制御部４１は、副撮像部１１０のフォーカスレンズ１１１ａＦ、１１１ｂＦを駆動し、副撮像部１１０を注目被写体に合焦させる。被写体距離に応じた主撮像部１００および副撮像部１１０のフォーカスレンズ１０１Ｆ、１１１ａＦ、１１１ｂＦの位置は、メモリ８０にテーブルとして格納されており、各撮像部の撮像条件と被写体距離とに応じて適宜判定することができる。

図５（ｂ）は、ステップＳ１０４の状態を示している。システムコントローラ３０は、主撮像部１００よりも画角が広い副撮像部１１０の画像に基づいて、主撮像部１００および副撮像部１１０のそれぞれのフォーカス制御を行う。これにより、主撮像部１００の撮影視野に被写体を捉える前に被写体にフォーカスを合わせることができる。このため、主撮像部１００の撮影視野に被写体が入った後のフォーカス制御の時間を短縮することができ、ボケた画像を撮影する頻度を小さくすることが可能となる。本実施例のように、主撮像部１００と副撮像部１１０との焦点距離比（画角比）を２倍以上とすることにより、より早い段階から被写体にフォーカスを合わせることが可能となり、さらにその効果を高めることができる。このため、望遠レンズを用いた動く被写体の撮影の成功率を向上させることが可能となる。

続いてステップＳ１０５において、システムコントローラ３０および焦点検出部２１は、ステップＳ１０３、Ｓ１０４を繰り返し実行することにより、主撮像部１００の撮像光学系１０１の合焦位置を注目被写体の距離に追従させる。すなわちシステムコントローラ３０および焦点検出部２１は、主撮像部１００による撮像が完了するまで、焦点検出（被写体距離の算出）およびフォーカス制御をそれぞれ繰り返す。具体的には、システムコントローラ３０は、撮像制御部４０を介してフォーカスレンズ１０１Ｆの位置を微小に変化させながら制御することにより、被写体へのフォーカス追従を行う。この動作により、注目被写体が奥行き方向へ移動した場合でも、常に主撮像部１００の撮像光学系１０１のフォーカスを被写体に合わせることが可能となる。

続いてステップＳ１０６において、注目被写体が主撮像部１００の撮影視野内に入り、ユーザが撮影指示を入力すると、システムコントローラ３０は撮像制御部４０を介して主撮像部１００を制御し、撮像を行うことで画像を取得する。このとき取得した画像は、画像記録媒体６０に保存され、撮像手順が終了する。ここで、画像に加えて副撮像部１１０により取得される２つの画像を画像記録媒体６０に保存してもよく、または、２つの画像を用いて画像処理部２０が算出する距離マップ画像を画像記録媒体６０に保存してもよい。図５（ｃ）は、ステップＳ１０６の状態を示している。ここで、焦点検出部２１は、主撮像部１００を介した画像に応じて、背景技術にて説明したコントラストＡＦの評価値を出力することもできる。その評価値に基づいて、フォーカス制御部４１は主撮像部の最終的なフォーカス制御を実施することができる。この場合においても、既に略合焦状態からの追い込み制御となるため、コントラストＡＦを行っても僅かな制御時間の増加に留めることができる。

次に、図６を参照して、本発明の実施例２における撮像装置２（撮像システム）について説明する。図６は、撮像装置２のブロック図である。本実施例の撮像装置２は、副撮像部１１０に代えて副撮像部１２０を有する点で、実施例１の撮像装置１とは異なる。また撮像装置２は、コントラスト用ＡＦゲート９０、位相差用ＡＦゲート９２、コントラスト用焦点検出部９１（焦点検出部）、および、位相差用焦点検出部９３（焦点検出部）を有する点で、撮像装置１とは異なる。撮像装置２のその他の構成は、撮像装置１と同様であるため、それらの説明を省略する。

副撮像部１２０（第２の撮像部）は、撮像光学系１２１ａ、１２１ｂ、および、撮像素子１２２を備えている。撮像光学系１２１ａ、１２１ｂはそれぞれ、被写体（不図示）からの光を撮像素子１２２上に結像させる単焦点撮像光学系である。撮像素子１２２から出力されるアナログ電気信号は、撮像素子１０２から出力されるアナログ電気信号と同様に扱われる。画像処理部２０は、撮像素子１２２から出力された画像信号（撮像光学系１２１ａ、１２１ｂを介して得られた画像信号）に基づいて２つの画像を生成する。この２つの画像は、撮像光学系１２１ａ、１２１ｂにより形成された被写体像に相当し、互いに視差を有する２つの視差画像である。なお本実施例において、副撮像部１２０は撮像装置２から着脱可能であってもよい。この場合、複数の副撮像部の中から撮像装置２の主撮像部１００に適した副撮像部を選択して撮像装置２に装着することができる。

副撮像部１２０は、実施例１の副撮像部１１０とは異なり、２つの撮像光学系１２１ａ、１２１ｂに共通の１つの撮像素子１２２のみを有する。１つの撮像素子１２２上に２つの撮像光学系１２１ａ、１２１ｂを介して像を結像させ、撮像素子１２２から画像信号を出力させる。本実施例によれば、実施例１の構成と比較して、撮像素子の数を減らすことができるため、コストを低下させることが可能である。本実施例において、主撮像部１００を構成する撮像光学系１０１の望遠端における焦点距離は３５ｍｍ判換算で１０００ｍｍ、副撮像部１２０を構成する２つの撮像光学系１２１ａ、１２１ｂの焦点距離は３５ｍｍ判換算で４００ｍｍである。

Ａ／Ｄコンバータ１０は、撮像素子１０２、１２２から出力されるアナログ電気信号（画像信号）をデジタル信号に変換し、画像処理部２０またはコントラスト用ＡＦゲート９０に供給する。コントラスト用ＡＦゲート９０は、Ａ／Ｄコンバータ１０からの全画素出力信号のうち、領域選択部５２を介してユーザにより設定された焦点検出領域（ＡＦ枠）の範囲内の信号のみをコントラスト用焦点検出部９１に供給する。コントラスト用焦点検出部９１は、コントラスト用ＡＦゲート９０から供給される画像信号（焦点信号）に対してフィルタを適用して高周波成分を抽出し、ＡＦ評価値を生成する。ＡＦ評価値は、システムコントローラ３０に出力される。

位相差用ＡＦゲート９２は、Ａ／Ｄコンバータ１０からの全画素出力信号のうち、領域選択部５２を介してユーザにより設定された焦点検出領域（ＡＦ枠）の信号のみを位相差用焦点検出部９３に供給する。位相差用焦点検出部９３は、位相差用ＡＦゲート９２から供給される画像信号（焦点信号）に対して位相差方式の焦点検出処理を行い、デフォーカス量を算出する。デフォーカス量は、システムコントローラ３０に出力される。

次に、図７を参照して、撮像装置２の撮像手順について説明する。図７は、撮像装置２の動作（撮像動作）を示すフローチャートである。図７の各ステップは、主に、システムコントローラ３０の指令に基づいて、撮像装置２の各部により実行される。

まず、ステップＳ２０１において、システムコントローラ３０は、領域選択部５２を介してユーザにより選択された被写体を、注目被写体として設定する。ここでは、図５（ａ）に示されるように、表示部７０に表示された画像上の被写体３０３（鳥）を、ユーザが選択釦（不図示）を用いて選択することにより、円形の点線３０４で囲まれる領域が注目被写体（焦点検出領域）として設定され、表示部７０に表示される。システムコントローラ３０は、情報取得部５１を介してユーザにより入力された撮像条件（撮影条件情報）を取得する。撮像条件とは、主撮像部１００のＦ値やＩＳＯ感度などを含むが、これらに限定されるものではない。またシステムコントローラ３０は、撮像制御部４０を介して主撮像部１００の絞り１０１Ａおよび撮像素子１０２を制御し、取得した撮像条件を設定する。

続いてステップＳ２０２において、システムコントローラ３０は、撮像制御部４０を介して副撮像部１２０を制御し、副撮像部１２０を用いた撮像を行うことにより、撮像光学系１２１ａ、１２１ｂを介して得られた２つの画像を取得する。

続いてステップＳ２０３において、システムコントローラ３０は、位相差用焦点検出部９３を介して、位相差ＡＦによりデフォーカス量を算出する。より詳細には、システムコントローラ３０は、領域選択部５２を介してユーザにより指定された領域（被写体）を焦点検出領域（ＡＦ枠）として決定する。そしてシステムコントローラ３０は、決定した焦点検出領域内の画像信号のみを位相差用焦点検出部９３に供給するように位相差用ＡＦゲート９２を設定（制御）する。

位相差用焦点検出部９３は、前述の対応被写体探索処理によりデフォーカス量を算出する。また、複数ラインをデータとして用いる場合、例えば、各対応するラインごとに対応被写体探索処理を行い、求められた相関値群の平均を求めることもできる。また、対応被写体探索処理を行う前に複数のラインのデータを上下方向に平均化して１ライン分のデータとして対応被写体探索処理を行ってもよい。システムコントローラ３０は、位相差用焦点検出部９３が焦点検出領域内の画像信号に基づいて算出したデフォーカス量を取得する。

続いてステップＳ２０４において、システムコントローラ３０は、フォーカス制御部４１を介して主撮像部１００のフォーカスレンズ１０１Ｆを駆動制御する。フォーカス制御部４１は、ステップＳ２０３にて算出された注目被写体に関するデフォーカス量に基づいて、撮像光学系１０１を注目被写体に合焦させる。また本実施例において、同時に、フォーカス制御部４１は副撮像部１２０のフォーカスレンズ１２１ａＦ、１２１ｂＦを駆動し、副撮像部１２０を注目被写体に合焦させる。デフォーカス量に応じた主撮像部１００および副撮像部１２０のフォーカスレンズ１０１Ｆ、１２１ａＦ、１２１ｂＦの位置は、メモリ８０にテーブルとして格納されており、各撮像部の撮像条件とデフォーカス量とに応じて適宜判定することができる。

図５（ｂ）は、ステップＳ２０４の状態を示している。システムコントローラ３０は、主撮像部１００よりも画角が広い副撮像部１２０の画像に基づいて、主撮像部１００および副撮像部１２０のそれぞれのフォーカス制御を行う。これにより、主撮像部１００の撮影視野に被写体を捉える前に被写体にフォーカスを合わせることができる。このため、主撮像部１００の撮影視野に被写体が入った後のフォーカス制御の時間を短縮することができ、ボケた画像を撮影する頻度を小さくすることが可能となる。本実施例のように、主撮像部１００と副撮像部１２０との焦点距離比（画角比）を２倍以上とすることにより、より早い段階から被写体にフォーカスを合わせることが可能となり、さらにその効果を高めることができる。このため、望遠レンズを用いた動く被写体の撮影の成功率を向上させることが可能となる。

続いてステップＳ２０５において、システムコントローラ３０は、撮像制御部４０を介して主撮像部１００を制御し、撮像を行うことでプレ画像を取得する。図５（ｃ）は、ステップＳ２０５の状態を示している。図５（ｃ）に示されるように、注目被写体（被写体３０３）が主撮像部１００の撮影視野（破線３０２で囲まれる領域）内にあり、前段のステップＳ２０４までの動作によりほぼ注目被写体に主撮像部１００のフォーカスが合っている状態である。しかしながら、位相差ＡＦでは追従しきれない若干のピントずれが生じている。一般的に、コントラストＡＦは、位相差ＡＦと比較して合焦精度が高く、最終的な合焦評価に適している。

続いてステップＳ２０６において、システムコントローラ３０は、撮像制御部４０を介して、主撮像部１００のコントラストＡＦを行う。より詳細には、システムコントローラ３０は、領域選択部５２を介してユーザにより指定された領域を焦点検出領域（ＡＦ枠）として決定する。またシステムコントローラ３０は、決定した焦点検出領域内の画像信号のみをコントラスト用焦点検出部９１に供給するようにコントラスト用ＡＦゲート９０を設定する。そしてシステムコントローラ３０は、コントラスト用焦点検出部９１が焦点検出領域内の画像信号に基づいて生成したＡＦ評価値を取得する。さらにシステムコントローラ３０は、フォーカスレンズ１０１Ｆを微小量左右に移動させ、再度、ＡＦ評価値（左に移動させて得られたＡＦ評価値および右に移動させていえられたＡＦ評価値）を取得する。システムコントローラ３０は、微小駆動にて得られたＡＦ評価値に基づいて、コントラストＡＦを行う。

続いてステップＳ２０７において、システムコントローラ３０は、フォーカス制御部４１を介して、ＡＦ評価値が最も高くなる位置へ主撮像部１００のフォーカスレンズ１０１Ｆを移動するように制御する。ここでは、既に略合焦状態からの追い込み制御となるため、コントラストＡＦを行っても僅かな制御時間の増加に留めることができる。

続いてステップＳ２０８において、ユーザが撮影指示を入力すると、システムコントローラ３０は撮像制御部４０を介して主撮像部１００を制御し、撮像を行うことで画像を取得する。このとき取得した画像は、画像記録媒体６０に保存され、撮像手順が終了する。本実施例において、主撮像部１００を用いて取得した画像に加えて、副撮像部１２０を用いて取得した２つの画像を画像記録媒体６０に保存してもよい。また、副撮像部１２０を介して取得した２つの画像を用いて画像処理部２０が算出する距離マップ画像を画像記録媒体６０に保存することもできる。

以上のように、各実施例の撮像装置は、主撮像部の望遠端よりも広い画角を有する２つの撮像光学系を備えた副撮像部を用いて、主撮像部の撮影視野に被写体（動く被写体）を捉える前に被写体にオートフォーカス（合焦制御）を行うことができる。その結果、望遠レンズを用いて動く被写体の撮影の成功率を向上させることが可能となる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、オートフォーカスを高速化して動く被写体の撮影を容易にすることが可能な撮像装置、撮像システム、撮像装置の制御方法、および、プログラムを提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

各実施例において副撮像部（第２の撮像部）は複数の撮像光学系（ステレオ光学系）を有するが、これに限定されるものではない。例えば、副撮像部は、１つの撮像光学系（第２の撮像光学系のみ）と、この撮像光学系のうち互いに異なる瞳領域を通過する光を受光する第１光電変換部および第２の光電変換部を備えた撮像素子とを有していてもよい。このような機能を有する撮像素子は、例えば、１つのマイクロレンズに対して第１光電変換部および第２光電変換部を有し、マイクロレンズを２次元状に配列することにより実現することができる。

１ 撮像装置
１００ 主撮像部（第１の撮像部）
１１０、１２０ 副撮像部（第２の撮像部）
２１ 焦点検出部
３０ システムコントローラ（制御部）
４１ フォーカス制御部（制御部）

Claims (20)

1. 第１の撮像部よりも広い画角を有し、互いに視差を有する複数の視差画像を生成可能な第２の撮像部を介して得られた複数の視差画像信号に基づいて焦点検出を行う焦点検出部と、
   前記焦点検出部からの出力信号に基づいて前記第１の撮像部のフォーカス制御を行う制御部と、を有し、
   前記制御部は、前記焦点検出部の焦点検出領域が前記第１の撮像部の撮影視野の範囲外である場合、前記第２の撮像部を介して得られた前記複数の視差画像信号に基づいて、前記第１の撮像部の前記フォーカス制御を行うことを特徴とする撮像装置。
2. 前記焦点検出領域を選択する領域選択部を更に有し、
   前記制御部は、前記領域選択部により、前記焦点検出領域が前記第１の撮像部の前記撮影視野の範囲外であってかつ前記第２の撮像部の撮影視野の範囲内に設定された場合、前記第２の撮像部を介して得られた前記複数の視差画像信号に基づいて、前記第１の撮像部の前記フォーカス制御を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記第２の撮像部を介して得られた画像を表示する表示部を更に有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記表示部は、前記第２の撮像部を介して得られた前記画像に、前記第１の撮像部の撮影視野に関する情報を重ねて表示することを特徴とする請求項３に記載の撮像装置。
5. 前記表示部は、前記第２の撮像部を介して得られた前記画像に、前記第１の撮像部を介して得られた画像を合成して表示することを特徴とする請求項３または４に記載の撮像装置。
6. 前記表示部は、前記第２の撮像部を介して得られた前記画像に、前記焦点検出部の焦点検出領域に関する情報を重ねて表示することを特徴とする請求項３乃至５のいずれか１項に記載の撮像装置。
7. 前記制御部は、前記焦点検出部からの前記出力信号に基づいて、前記第１の撮像部とともに前記第２の撮像部のフォーカス制御を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記焦点検出部および前記制御部は、前記第１の撮像部による撮像が完了するまで、前記焦点検出および前記フォーカス制御をそれぞれ繰り返すことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記焦点検出部は、前記第２の撮像部を介して得られた前記複数の視差画像信号に基づいて被写体距離またはデフォーカス量を算出し、
   前記制御部は、前記被写体距離または前記デフォーカス量に関する前記出力信号に基づいて、前記第１の撮像部のフォーカス制御を行うことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 第１の撮像部と、
    前記第１の撮像部よりも広い画角を有し、互いに視差を有する複数の視差画像を生成可能な第２の撮像部と、
    前記第２の撮像部を介して得られた複数の視差画像信号に基づいて焦点検出を行う焦点検出部と、
    前記焦点検出部からの出力信号に基づいて前記第１の撮像部のフォーカス制御を行う制御部と、を有し、
    前記制御部は、前記焦点検出部の焦点検出領域が前記第１の撮像部の撮影視野の範囲外である場合、前記第２の撮像部を介して得られた前記複数の視差画像信号に基づいて、前記第１の撮像部の前記フォーカス制御を行うことを特徴とする撮像システム。
11. 前記第１の撮像部は、
    第１のフォーカスレンズを含む第１の撮像光学系と、
    前記第１の撮像光学系を介して形成された光学像を光電変換して前記複数の視差画像信号を出力する撮像素子と、を有することを特徴とする請求項１０に記載の撮像システム。
12. 前記第１の撮像光学系は、変倍光学系であり、
    前記第２の撮像部は、前記第１の撮像部の望遠端における画角よりも広い画角を有することを特徴とする請求項１１に記載の撮像システム。
13. 前記第２の撮像部は、前記第１の撮像部の前記望遠端における前記画角と比較して、２倍以上広い画角を有することを特徴とする請求項１２に記載の撮像システム。
14. 前記第２の撮像部は、第２のフォーカスレンズを含む第２の撮像光学系を有することを特徴とする請求項１０乃至１３のいずれか１項に記載の撮像システム。
15. 前記第２の撮像部は、前記第２の撮像光学系のうち互いに異なる瞳領域を通過する光を受光する撮像素子を有することを特徴とする請求項１４に記載の撮像システム。
16. 前記第２の撮像部は、第３のフォーカスレンズを含む第３の撮像光学系を有することを特徴とする請求項１４に記載の撮像システム。
17. 前記第２の撮像光学系および前記第３の撮像光学系のそれぞれの開口部よりも被写体側において、該第２の撮像光学系と該第３の撮像光学系の光軸は互いに平行であることを特徴とする請求項１６に記載の撮像システム。
18. 前記第２の撮像光学系および前記第３の撮像光学系はそれぞれ、単焦点撮像光学系であることを特徴とする請求項１６または１７に記載の撮像システム。
19. 第１の撮像部よりも広い画角を有し、互いに視差を有する複数の視差画像を生成可能な第２の撮像部を介して得られた複数の視差画像信号に基づいて焦点検出を行うステップと、
    前記焦点検出の結果に基づいて前記第１の撮像部のフォーカス制御を行うステップと、を有し、
    前記焦点検出を行うステップにおいて得られた焦点検出領域が前記第１の撮像部の撮影視野の範囲外である場合、前記第１の撮像部の前記フォーカス制御は、前記第２の撮像部を介して得られた前記複数の視差画像信号に基づいて行われることを特徴とする撮像装置の制御方法。
20. 第１の撮像部よりも広い画角を有し、互いに視差を有する複数の視差画像を生成可能な第２の撮像部を介して得られた複数の視差画像信号に基づいて焦点検出を行うステップと、
    前記焦点検出の結果に基づいて前記第１の撮像部のフォーカス制御を行うステップと、をコンピュータに実行させ、
    前記焦点検出を行うステップにおいて得られた焦点検出領域が前記第１の撮像部の撮影視野の範囲外である場合、前記第１の撮像部の前記フォーカス制御は、前記第２の撮像部を介して得られた前記複数の視差画像信号に基づいて行われることを特徴とするプログラム。

Images