JP5762037B2 - 撮像装置及び制御方法 - Google Patents

Description

本発明は、被写体の追尾が可能な撮像装置に関する。

従来、撮像画面内で主要被写体がどこにあるかを認識し、その位置を自動的に追尾する、いわゆる、被写体追尾機能を有する撮像装置が知られている。この被写体追尾機能を用いることで、動きのある主要被写体に対して連続的に自動焦点調節制御（ＡＦ制御）や露出制御を行うことが可能となる。
このような被写体追尾機能を有する撮像装置の一例として、一眼レフカメラのような、撮像素子とは別に測光に用いる測光部を有する撮像装置において、測光部から出力される測光データに基づいて被写体追尾を行うものが特許文献１に記載されている。
また、撮像された画像の中から被写体の顔を検出し、検出した被写体の顔に対して追尾を行うものが特許文献２に記載されている。

特開平５−２２６７０号公報 特開２００７−３３６４００号公報

しかしながら、特許文献１に記載されたような、測光部から出力される測光データに基づいて被写体追尾を行う撮像装置において、被写体検出の結果を反映させた被写体追尾を行う場合には以下のような問題が生じてしまう。

特許文献１に記載された撮像装置のような一般的な一眼レフカメラは、カメラ内に設けられたクイックリターンミラーの位置を移動させることで、被写体からの入射光束を撮像素子へ導く状態と接眼レンズ（光学ファインダ）へ導く状態とを切り換える構成である。
また、被写体からの入射光束を接眼レンズへ導く状態のときに測光部にも被写体からの入射光束が導かれて被写体の測光が可能となる。すなわち、被写体からの入射光束を撮像素子へ導く状態では測光部で測光を行うことができない。
つまり、連続撮影時（連写撮影時）のように、被写体からの入射光束を撮像素子へ導く状態と測光部へ導く状態とが短い周期で連続して切り換わる場合、測光部で測光可能な期間は制限される。

また、被写体検出の演算処理は測光の演算処理に比べて処理時間が長い。そのため、測光部から出力される測光データに基づいて被写体を検出し、検出結果を反映させた被写体追尾を行う場合、被写体追尾の演算処理に要する時間が長くなり連続撮影時の連続撮影速度が低下してしまう。
そこで、本発明は、連続撮影時の連続撮影速度を低下させることなく被写体検出の検出結果を反映させた被写体追尾を行うことができるようにすることを目的とする。

上記の目的を達成するために、本発明にかかる撮像装置は、連続撮影が可能な撮像装置であって、撮像手段と、入射光量に応じた電荷の蓄積を行う電荷蓄積手段と、前記電荷蓄積手段で第１の蓄積を行って得られた画像信号に基づいて、被写体領域の検出を行う被写体検出手段と、前記電荷蓄積手段で第２の蓄積を行って得られた画像信号に基づいて、前記被写体検出手段により検出された被写体領域の追尾を行う追尾手段と、撮影レンズを介して入射した光束の光路を前記電荷蓄積手段へ導く第１の状態と前記撮像手段へ導く第２の状態とに変更する光路変更手段と、を有し、前記光路変更手段は、前記撮像手段により撮像を行うときは前記光路を前記第２の状態にして前記撮像手段により撮像を行った後は前記光路を前記第１の状態にし、前記電荷蓄積手段は、連続撮影時の各撮像を行う前の前記光路が前記第１の状態のときに前記第１の蓄積と前記第２の蓄積を行い、前記追尾手段は、連続撮影における今回の前記光路が前記第１の状態のときに前記第２の蓄積を行って得られた画像信号に基づいて、前回の前記光路が前記第１の状態のときに前記第１の蓄積を行って得られた画像信号に基づいて前記被写体検出手段により検出された被写体領域の追尾を行うことを特徴とする。

また、上記の目的を達成するために、本発明にかかる撮像装置の制御方法は、撮像手段と、入射光量に応じた電荷の蓄積を行う電荷蓄積手段とを備えた、連続撮影が可能な撮像装置の制御方法であって、前記電荷蓄積手段により第１の蓄積を行って得られた画像信号に基づいて、被写体領域の検出を行う被写体検出ステップと、前記電荷蓄積手段により第２の蓄積を行って得られた画像信号に基づいて、前記被写体検出ステップで検出された被写体領域の追尾を行う追尾ステップと、撮影レンズを介して入射した光束の光路を、前記撮像手段により撮像を行うときは前記電荷蓄積手段へ導く第１の状態にし、前記撮像手段により撮像を行った後は前記撮像手段へ導く第２の状態にする光路変更ステップと、連続撮影時の各撮像を行う前の前記光路が前記第１の状態のときに前記第１の蓄積と前記第２の蓄積を行う電荷蓄積ステップと、を有し、前記追尾ステップは、連続撮影における今回の前記光路が前記第１の状態のときに前記第２の蓄積を行って得られた画像信号に基づいて、前回の前記光路が前記第１の状態のときに前記第１の蓄積を行って得られた画像信号に基づいて前記被写体検出ステップで検出された被写体領域の追尾を行うことを特徴とする。

本発明によれば、連続撮影時の連続撮影速度を低下させることなく被写体検出の検出結果を反映させた被写体追尾を行うことができる。

本発明の実施形態にかかる撮像装置の概略構成図。 本発明の実施形態における撮影時の動作シーケンスを示す図。 本発明の実施形態における測光動作の概略を示す図 本発明の実施形態における測光センサの読み出し画像の画素加算数による違いを説明する図。 本発明の実施形態における測光演算の説明図。 本発明の実施形態における追尾対象の移動に合わせたＡＦ制御を示した図。 本発明の実施形態における顔検出結果を用いた場合の追尾対象の移動に合わせたＡＦ制御を示した図。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかる撮像装置の概略構成を示した図であり、１００はカメラ本体であり、２００はカメラ本体１００に着脱可能なレンズユニットである。
１０１はカメラ本体１００の各部を制御するマイクロコンピュータＣＰＵ（以下、ＣＰＵとする）である。１０２は赤外カットフィルタやローパスフィルタ等を含むＣＣＤ、ＣＭＯＳ等の撮像素子であり、レンズユニット２００の撮影レンズを介して入射した光束を光電変換して画像信号を出力する。

１０３はメカニカルシャッターであり、撮影レンズを介して入射した光束から撮像素子１０２を遮光する遮光状態、及び、撮影レンズを介して入射した光束を撮像素子１０２に導く退避状態となるように走行する。

１０４はハーフミラーであり、撮影レンズを介して入射した光束を撮像素子１０２へ導く位置（ミラーアップ状態）と測光センサ１０６へ導く位置（ミラーダウン状態）とに移動可能である。すなわち、ハーフミラー１０４は、撮像素子１０２へ導く状態と測光センサ１０６へ導く状態とに、撮影レンズを介して入射した光束の光路変更を行う。また、測光センサ１０６へ導く位置にある場合には、撮影レンズを介して入射した光束をピント板１０５に結像させる。
１０６はＣＣＤ等の撮像素子を用いた測光センサであり、被写体像を光電変換して電荷の蓄積を行い画像信号を出力する。本実施形態では、縦Ｍ個、横Ｎ個のマトリックス状に配置されたＭ×Ｎ個の画素を有するＣＣＤを測光センサ１０６に用いた例を説明する。
１０７はペンタプリズムであり、ハーフミラー１０４で反射された撮影レンズを介して入射した光束を測光センサ１０６及び不図示の光学ファインダに導く。
１０８はＣＰＵ１０１に接続されているＲＡＭやＲＯＭ等のメモリである。
１０９は焦点検出回路、１１０はＡＦミラーであり、ＡＦミラー１１０は撮影レンズを介して入射しハーフミラー１０４を通過した光束の一部を反射して焦点検出回路内のＡＦセンサに導く。ＡＦセンサは撮像画面内に複数のＡＦ領域を有していて、各ＡＦ領域のデフォーカス量を求めることができる。

ＣＰＵ１０１は、焦点検出回路１０９からの出力に基づくＡＦ制御情報を、レンズユニット２００の各部を制御するレンズＣＰＵ２０１（以下、ＬＣＰＵとする）へと送信する。ＬＣＰＵ２０１は、受信したＡＦ制御情報に基づいてレンズユニット２００内の撮影レンズを駆動させて自動焦点調節制御（以下、ＡＦ制御とする）を行う。
１１１は電荷蓄積を行った後に測光センサ１０６から出力される画像信号の画像処理及び演算処理を行うためのＣＰＵ（以下、ＩＣＰＵとする）であり、測光センサ１０６から出力される画像信号に基づいて、後述する被写体追尾や測光、顔検出などの演算を行う。ＩＣＰＵ１１１の測光演算の結果はＣＰＵ１０１へと伝えられ、ＣＰＵ１０１は測光演算の結果に基づいてシャッター速度や絞り値を設定し露出制御を行う。
なお、本実施形態では、測光センサ１０６から出力される画像信号の画像処理及び演算処理を行うためのＣＰＵを、カメラ本体１００の各部を制御するＣＰＵとは別に設けたが、１つのＣＰＵで両方の処理を行う構成であっても構わない。

また、レンズユニット２００がカメラ本体１００に内蔵されている構成や、ＣＰＵ１０１が撮影レンズを駆動させてＡＦ制御を行う構成であっても構わない。
１１２はＩＣＰＵ１１１に接続されているＲＡＭやＲＯＭ等のメモリである。

次に、図２を用いて、本実施形態における撮影時の動作シーケンスについて説明する。なお、図２では、連続撮影時のＮコマ目（Ｎ≧２）の撮影を行う前のミラーダウン状態から（Ｎ＋２）コマ目の撮影を行う前のミラーダウン状態までの動作シーケンスを示している。

まず、Ｎコマ目の撮影のために、ミラーダウン状態において測光センサ１０６が蓄積ａ１（第１の蓄積）を行う。この蓄積ａ１は被写体追尾に用いる画像信号を得るための蓄積であり、その蓄積時間は連続撮影時の連続撮影速度を低下させないように、かつ、ＡＦ制御に被写体追尾の演算処理の結果を反映できるようにＩＣＰＵ１１１によって設定される。そのため、連続撮影の連続撮影速度が所定値よりも高速の場合にはフリッカー周期より短い時間に設定される。ただし、蓄積時間が短すぎると十分な蓄積が行われず被写体追尾の演算処理ができなくなってしまうため、被写体追尾の演算処理が可能な画像信号を得るのに必要な蓄積時間が設定される。
なお、図２には示していないが、ＡＦ制御を行うための焦点検出回路１０９内のＡＦセンサによる蓄積も蓄積ａ１と並行して行われ、ＡＦセンサによる蓄積の結果に基づいて、各ＡＦ領域のデフォーカス量の演算処理などが行われる。その後、デフォーカス量の演算結果や後述する追尾演算の結果等に基づいてＡＦ制御が行われる。
このように、蓄積ａ１で得られた画像信号に基づいて被写体追尾を行うことで、連続撮影時の連続撮影速度を低下させることなく追尾結果を反映させたＡＦ制御を行うことができる。

蓄積ａ１が終了すると、蓄積された画像信号を読み出す読み出しＲａ１を開始する。さらに、読み出しＲａ１と並行して蓄積ｂ１（第２の蓄積）を行う。この蓄積ｂ１は、フリッカーの影響を軽減した測光演算を行うための蓄積であり、露出制御の開始までに測光演算処理を終了できるように設定される。
このように、蓄積ａ１に続いて蓄積ｂ１を行い、蓄積ａ１で得られた画像信号と蓄積ｂ１で得られた画像信号とに基づいて測光演算を行うことで、フリッカーの影響を軽減した露出制御を行うことができる。

図３（ａ）及び（ｂ）に示すように、蓄積ａ１がフリッカー周期より短い場合には、蓄積ａ１がフリッカー周期の位相のどの部分と重複するかによって、蓄積された画像信号に基づく輝度値はばらついてしまう。そこで、図３（ｃ）及び（ｄ）に示すように、蓄積ａ１に続いて蓄積ｂ１を行い、それぞれで蓄積された画像信号に基づいて測光演算を行う。そうすることで、蓄積ａ１で蓄積された画像信号のみに基づいて測光演算を行う場合よりも、測光演算に用いる画像信号の総蓄積時間が長くなる。そのため、蓄積ａ１で蓄積された画像信号のみに基づいて測光演算を行う場合よりもフリッカーの影響が軽減され、より正確な露出制御を行うことができる。さらに、蓄積ａ１と蓄積ｂ１とで重複するフリッカー周期の位相を異ならせることで、蓄積ａ１及び蓄積ｂ１を合わせた蓄積期間中のフリッカー光源の光量の平均値の変動が小さくなり、測光演算の結果が安定してより正確な露出制御を行うことができる。
なお、蓄積ａ１の蓄積時間と蓄積ｂ１の蓄積時間との和がフリッカー周期の整数倍と略等しくなるように設定すれば、フリッカーの影響をより軽減することができる。

次に、読み出しＲａ１が終了したら被写体追尾の演算処理を開始する。被写体追尾の演算処理はＡＦ制御の開始までに終了する必要があり、追尾演算処理がＡＦ制御の開始までに終了するように、ＩＣＰＵ１１１は蓄積ａ１の蓄積時間を設定する。
そして、蓄積ｂ１が終了すると、蓄積された画像信号を読み出す読み出しＲｂ１を開始する。さらに、読み出しＲｂ１と並行して蓄積ｃ１（第３の蓄積）を行う。この蓄積ｃ１は被写体の顔検出に用いる画像信号を得るための蓄積である。しかしながら、顔検出演算は追尾演算や測光演算に比べて演算に要する時間が長いため、蓄積ｃ１が終了した直後に行われる撮影のためのＡＦ制御などに顔検出演算の終了が間に合わない。そこで、蓄積ｃ１で得られた画像信号を用いた顔検出演算の結果は、蓄積ｃ１が終了した直後に行われる撮影ではなくその次の撮影のためのＡＦ制御などに用いる。なお、蓄積ｃ１で蓄積された画像信号を読み出す読み出しＲｃ１はミラーアップ中でも実行可能なため、蓄積ａ１を開始してから蓄積ｃ１が終了するまでの一連の処理がミラーダウン中に完了するように蓄積ｃ１の蓄積時間はＩＣＰＵ１１１により設定される。そして、蓄積ｃ１で蓄積された画像信号を読み出す読み出しＲｃ１が終了する前にミラーアップ動作が開始される。そのため、顔検出演算は、ミラーアップ動作を開始した後に行われる。
以降も同様に、Ｎ＋１及びＮ＋２コマ目の撮影の前のミラーダウン中に、蓄積ａ２、ｂ２、ｃ２及び蓄積ａ３、ｂ３、ｃ３を行う。

以上のように、本実施形態では、ミラーダウン中に蓄積ａ１、ｂ１、ｃ１を行う構成であるが、各種処理におけるフリッカーの影響を軽減するため、それぞれの蓄積において間欠蓄積を行ってもよい。

図３（ａ）及び（ｂ）に示すように、蓄積ａ１がフリッカー周期より短い場合には、蓄積期間がフリッカー周期の位相のどの部分と重複するかによって、蓄積された画像信号に基づく輝度値はばらついてしまう。
そこで、図３（ｅ）に示すように間欠させて複数回の蓄積を行い、一括して蓄積を行う場合の蓄積時間を蓄積回数で分割した時間でそれぞれ蓄積を行うようにする。すなわち、図３（ａ）に示した蓄積時間と、図３（ｅ）の複数回の蓄積の総蓄積時間とは等しい時間である。そして、間欠蓄積により得られた画像信号を蓄積ａ１で得られた画像信号とする。
このように間欠蓄積を行う場合、蓄積期間と重複するフリッカー周期の位相が分散されるため、通常の蓄積を行う場合よりもフリッカーの影響を軽減することができる。

なお、上述の間欠蓄積において、各蓄積が終了するごとに画像信号を読み出すのではなく、各蓄積で蓄積された画像信号を積分し、すべての蓄積が終了してから画像信号を読み出すことが望ましい。このようにすれば、各蓄積の後の画像信号の読み出しを省略することができ、処理の負荷を軽減することができる。
このような間欠蓄積は、蓄積ａ１、ｂ１、ｃ１の少なくとも１つで実行してもよく、それぞれの蓄積時間に応じて間欠蓄積を行うか否かを切り換えてもよい。例えば、蓄積時間がフリッカー周期よりも短くフリッカーの影響が大きいと思われる場合に間欠蓄積を行うようにしてもよい。

また、図３（ｆ）に示すように、蓄積ａ１と蓄積ｂ１の両方で間欠蓄積の行った場合、図３（ｃ）及び（ｄ）の示す場合よりもさらに蓄積期間と重複するフリッカー周期の位相が分散されるため、フリッカーの影響をより軽減することができる。

次に、本実施形態のおける画像信号の読み出し方法について図４を用いて説明する。本実施形態では、図４に示すような、Ｒ、Ｇ、Ｂの各画素がストライプ状に並んだストライプ型ＣＣＤを測光センサ１０６に用いており、このようなストライプ型ＣＣＤでは垂直方向にアナログ的に画素加算をすることが可能となる。
そこで、例えば、画素加算数を４画素にして加算すると、読み出される画像信号に基づく画像のサイズは垂直方向に１／４縮小される。このとき、画素加算することで画像信号の出力レベルは画素加算しないとき（全画素読み出し）の約４倍になるので、約１／４の蓄積時間で画素加算しないで読み出した画像信号に基づく画像と同等の明るさの画像を得ることができる。また、画素加算しないときよりも画像信号の読み出し量も減少するため、画像信号の読み出しに要する時間を短縮することができる。

また、読み出しＲａ１、Ｒｂ１において、上述したように画素加算読み出しを行うことで、暗い被写体に対しても短い蓄積時間で被写体追尾の演算処理が可能な画像信号を得ることができる。なお、画素加算読み出しを行うことで蓄積時間が短くなりフリッカーの影響が大きくなることが考えられるが、前述した間欠蓄積と組み合わせることでフリッカーの影響を抑えることができる。
なお、画素加算を行うと画像の解像度が落ちてしまうため、予め用意された顔のパターンとのマッチングによって画像内に人物の顔があるかどうかを判定する方法により被写体の顔検出を行う場合には検出精度が低下してしまう。そのため、このような方法により被写体の顔検出を行う場合には、被写体の顔検出に用いる画像信号を得るための蓄積である蓄積ｃ１で蓄積された画像信号を読み出す読み出しＲｃ１では、画素加算を行わずに全画素読み出しを行うことが望ましい。

次に、本実施形態における測光演算について図５を用いて説明する。図５のように、測光センサ１０６で蓄積を行って得られた画像信号に基づく画像は縦Ｉ個、横Ｊ個の測光領域に分割される。ここで、各測光領域には縦ｍ個、横ｎ個の画素があり、Ｉ×ｍ＝Ｍ、Ｊ×ｎ＝Ｎで、測光センサ１０６全体ではＭ×Ｎの画素となる。
そして、各測光領域において、Ｒ、Ｇ、Ｂのそれぞれの画素の平均出力Ｒａ、Ｇａ、Ｂａを算出し、算出されたＲａ、Ｇａ、Ｂａから各測光領域の輝度値Ｙｉｊを算出する。
Ｙｉｊは例えば以下の式（１）によって求められる。
Ｙｉｊ＝Ａ×Ｒａ＋Ｂ×Ｇａ＋Ｃ×Ｂａ ・・・（１）
Ｒ、Ｇ、Ｂの混合比Ａ、Ｂ、Ｃに適当な値を入れることで輝度Ｙｉｊが求められる。

次に、評価測光やスポット測光等の測光モードに応じて各測光領域のＹｉｊに重み付けをかけた加重平均演算を行い、測光領域全体の輝度値を取得する。
以上の測光演算を蓄積ａ１を行って得られた画像信号、及び、蓄積ｂ１を行って得られた画像信号に対して行い、それぞれの輝度値Ｙ１、Ｙ２を取得する。

ここで、蓄積ａ１の蓄積時間をＴ１、蓄積ｂ１の蓄積時間をＴ２とすると、露出制御に用いる最終輝度値Ｙは以下の式（２）で表される。
Ｙ＝（Ｙ１／Ｔ１＋Ｙ２／Ｔ２）×Ｔ１／２ ・・・（２）
上記の式（２）は、蓄積ａ１、ｂ１をともに蓄積時間Ｔ１で蓄積を行った場合に得られるそれぞれの輝度値の平均値を求める式となっているが、最終輝度値を求める計算式は式（２）に限らない。例えば、蓄積ａ１、ｂ１をともに蓄積時間Ｔ２で蓄積を行った場合に得られるそれぞれの輝度値の平均値を求める式としてもよいし、蓄積ａ１、ｂ１をともに所定の蓄積時間Ｔｓで蓄積を行った場合に得られるそれぞれの輝度値の平均値を求める式としてもよい。

また、蓄積ａ１の蓄積時間と蓄積ｂ１の蓄積時間とを同じにするとともに、それぞれの蓄積時間をフリッカー周期の半分にして単純に加算平均する式（３）等も考えられる。
Ｙ＝（Ｙ１＋Ｙ２）／２ ・・・（３）
式（３）のように、蓄積ａ１の蓄積時間と蓄積ｂ１の蓄積時間とを合わせた総蓄積時間時間がフリッカー周期と同じ時間となるようにそれぞれの蓄積時間を設定すると、フリッカーの影響をより軽減することができる。
なお、蓄積ａ１、ｂ１、ｃ１の蓄積時間は、予め決められた所定時間を設定してもよいし、前回の測光演算の結果に基づいてＩＣＰＵ１１１によって設定してもよい。前回の測光演算の結果に基づいてＩＣＰＵ１１１によって設定する場合は、例えば、前回の測光演算の結果から得られた最終輝度値Ｙが低い時よりも最終輝度値Ｙが高い時の方が蓄積時間が短くなるように設定する。

次に、被写体追尾の演算処理について説明する。本実施形態における追尾演算は、例えば、蓄積ａ１を行って得られた画像と蓄積ａ２を行って得られた画像とを比較し、所定の条件を満たす追尾対象の輝度パターン及び色パターンの分布からその追尾対象がどこに移動したかを演算（パターンマッチング）する。すなわち、撮像画面内において所定の条件を満たす対象の追尾を行う。そして、追尾対象の移動に合わせてピントを合わせるＡＦ領域を変更させてＡＦ制御を行う。あるいは、追尾対象の移動に合わせて各測光領域に対する重み付けを変更させて露出制御を行う。

図６は、追尾対象の移動に合わせたＡＦ制御を示した図である。
連続撮影時の初期状態において、撮像画面内の図６（ａ）の位置に主要被写体が存在していた場合、主要被写体が存在する位置にあるＡＦ枠７がピントを合わせるＡＦ領域を示す枠として設定されてＡＦ制御が行われる。なお、図６（ａ）〜（ｄ）において、ピントを合わせるＡＦ領域を示す枠として設定されたＡＦ枠は他のＡＦ枠に比べて太い枠で表すこととする。
ＡＦ制御を行いＡＦ枠７に対応する領域にピントを合わせた後、被写体追尾に用いる画像信号を得るための蓄積を行う。そして、ＩＣＰＵ１１１は、得られた画像中のＡＦ枠７を基準とした所定領域を、追尾演算において輝度パターン及び色パターンのマッチングを行う領域である追尾領域として設定する。なお、被写体追尾の演算処理に用いる画像信号は画素加算を行って読み出すことも可能であるが、図６では全画素読み出しを行った場合の画像を示している。
その後、主要被写体の存在する位置が移動して図６（ｂ）の位置に変化した状態で、次の被写体追尾に用いる画像信号を得るための蓄積を行ったとする。そのようにして得られた今回の画像中のどこに追尾対象が移動したかを判定するため、ＩＣＰＵ１１１は、ＡＦ枠７に基づいて設定された追尾領域を基準とした所定領域を追尾対象を探索する領域である探索領域として設定する。なお、探索領域は、追尾領域を含み、追尾領域よりも広い領域となるように設定される。

そして、ＩＣＰＵ１１１は、今回得られた画像の探索領域内において、前回得られた画像の追尾領域の輝度パターン及び色パターンとマッチングする領域が存在するか判定する。なお、探索領域を広く設定するほど追尾対象の位置が大きく変化しても追尾可能となるが、広くするほど判定に要する時間が長くなるため、追尾精度や追尾演算に利用可能な時間などを鑑みて探索領域を設定すればよい。
探索領域内に追尾領域とマッチングする領域が存在すると判定した場合、その領域内に存在するＡＦ枠を次のピントを合わせるＡＦ領域を示すＡＦ枠として設定する。図６（ｂ）では、ＡＦ枠８がそれに相当する。そして、ＡＦ枠８に対応する領域にピントを合わせるようにＡＦ制御が行われた後に撮像が行われる。
なお、探索領域内に追尾領域とマッチングする領域が存在すると判定する際には、追尾領域との一致度が所定値以上の領域が存在すればマッチングする領域が存在すると判定してもよい。

また、ＩＣＰＵ１１１は、今回得られた画像における、前回得られた画像の追尾領域とマッチングする領域を新たに追尾領域に設定する。
その後、主要被写体の存在する位置が移動して図６（ｃ）の位置に変化した状態で、次の被写体追尾に用いる画像信号を得るための蓄積を行ったとする。そのようにして得られた今回の画像中のどこに追尾対象が移動したかを判定するため、ＩＣＰＵ１１１は、追尾領域の位置を基準にして探索領域を設定する。すなわち、前回新たに設定された追尾領域はＡＦ枠８を中心付近とした領域であるため、それに合わせて前回とは探索領域を変更させる。
図６（ｃ）から主要被写体の位置が移動した図６（ｄ）も同様に、探索領域を変更して追尾対象の探索を行う。
以降も連続撮影時の各撮像を行う前に追尾演算を行うことで、初期状態で追尾対象とした主要被写体に対して常にピントを合わせた撮像を行うことができる。
なお、連続撮影時の各追尾演算において、追尾演算に失敗した場合、例えば、図６（ａ）〜（ｄ）の図６（ｃ）の状態において追尾演算に失敗した場合、図６（ｄ）の状態での追尾演算では、図６（ｂ）の追尾領域に基づいて追尾演算を行えばよい。すなわち、図６（ｄ）に示した画像における、図６（ｂ）に示した画像の追尾領域とマッチングする領域を探索すればよい。この場合、連続した画像間で追尾演算を行う場合よりも被写体の位置が大きく変化することが想定されるため、探索領域を通常よりも広く設定して探索を行うようにしてもよい。
あるいは、連続撮影時の各追尾演算において、追尾演算に失敗した場合、再度追尾対象を設定し直すようにしてもよい。

また、被写体の追尾演算に用いる各画像は、その蓄積時間がフリッカー周期より短い時間であればフリッカーの影響により明るさがばらついてしまうことが考えられる。そのような場合は、各画像の明るさを略同レベルにするような処理を行ってから画像の比較を行えばよい。

また、上述の被写体追尾の演算処理に顔検出演算の結果を用いることも可能であり、顔検出結果を用いることでより正確に被写体追尾を行うことができる。以下では、顔検出結果を用いた被写体追尾の演算処理を図７を用いて説明する。図７は、顔検出結果を用いた場合の追尾対象の移動に合わせたＡＦ制御を示した図である。なお、人物の顔を検出する技術については、周知の方法のいずれかの方法を用いればよく、例えば、測光データを色相と彩度に変換し、この２次元ヒストグラムを作成、解析することで顔領域を判断する方法を用いればよい。あるいは、人物の顔の形状に相当する顔候補領域を抽出し、その領域内の特徴量から顔領域を決定する方法を用いればよい。

連続撮影時の初期状態において、図７（ａ）の位置に主要被写体が存在していた場合、主要被写体が存在する位置にあるＡＦ枠７に対応するＡＦ領域にピントを合わせるようにＡＦ制御が行われる。なお、図７（ａ）〜（ｄ）において、ピントを合わせるＡＦ領域を示す枠として設定されたＡＦ枠は他のＡＦ枠に比べて太い枠で表すこととする。この状態では、主要被写体の顔以外の領域がピントを合わせるＡＦ領域として設定されていてもよい。
そして、ＡＦ枠７に対応する領域にピントを合わせた状態で、被写体追尾に用いる画像信号を得るための蓄積、及び、被写体の顔検出に用いる画像信号を得るための蓄積を行う。そして、得られた画像信号に基づいて顔検出演算を行い、検出された被写体の顔領域を、被写体追尾に用いる画像における追尾領域として設定する。
その後、主要被写体の存在する位置が移動して図７（ｂ）の位置に変化した状態で、次の被写体追尾に用いる画像信号を得るための蓄積及び被写体の顔検出に用いる画像信号を得るための蓄積を行ったとする。そのようにして今回得られた画像中のどこに追尾対象が移動したかを判定するため、前回得られた画像中の追尾領域の位置を基準とした探索領域を設定する。すなわち、図７（ａ）に示す画像において、顔検出演算によりＡＦ枠２付近の領域を被写体の顔領域とし、この顔領域を追尾領域として設定しているため、探索領域はこの顔検出領域を基準とした所定領域に設定される。

そして、今回得られた画像の探索領域内において、前回得られた画像の追尾領域の輝度パターン及び色パターンとマッチングする領域が存在するか探索する。
探索領域内に追尾領域とマッチングする領域が存在した場合、その領域内に存在するＡＦ枠を次のピントを合わせるＡＦ領域を示すＡＦ枠として設定する。図７（ｂ）では、ＡＦ枠３がそれに相当する。そして、ＡＦ枠３に対応する領域にピントを合わせるようにＡＦ制御が行われた後に撮像が行われる。
なお、ここでのＡＦ制御には、図７（ｂ）の位置に被写体がいる状態で蓄積された画像信号を用いた顔検出演算は間に合わないため、顔検出演算の結果は次のＡＦ制御のための追尾演算に用いられる。

また、図７（ｂ）の位置に被写体がいる状態で蓄積された画像信号を用いた顔検出演算を行い、検出された被写体の顔領域を、被写体追尾に用いる画像における追尾領域として新たに設定する。
このように、顔検出演算の結果に基づいて、各追尾演算の追尾領域を設定することで、追尾対象の顔領域を正確に追尾することができる。
なお、今回得られた被写体の追尾演算に用いる画像における前回の追尾領域とマッチングする領域と、検出された被写体の顔領域とが略等しい場合には、前回の追尾領域とマッチングする領域を新たな追尾領域として設定してもよい。
その後、さらに主要被写体の存在する位置が移動して図７（ｃ）の位置に変化した状態で、次の被写体追尾に用いる画像信号を得るための蓄積及び被写体の顔検出に用いる画像信号を得るための蓄積を行ったとする。
そのようにして今回得られた画像中のどこに追尾対象が移動したかを判定するため、前回得られた画像中の追尾領域の位置を基準として探索領域を設定する。すなわち、前回の画像の追尾領域は、図７（ｂ）の状態において被写体の顔領域が存在したＡＦ枠３を中心付近とした領域であるため、それに合わせて前回とは探索領域を変更させる。探索領域内に追尾領域とマッチングする領域が存在した場合、その領域内に存在するＡＦ枠を次のピントを合わせるＡＦ領域を示すＡＦ枠として設定する。図７（ｃ）では、ＡＦ枠４がそれに相当する。そして、ＡＦ枠４に対応する領域にピントを合わせるようにＡＦ制御が行われた後に撮像が行われる。
図７（ｃ）からさらに主要被写体の位置が移動した図７（ｄ）も同様に、図７（ｃ）の位置に被写体がいる状態で蓄積された画像信号を用いた顔検出演算により検出された顔領域を追尾領域として探索領域を設定して追尾対象の探索を行う。
以降も連続撮影時の各撮影を行う前に顔検出結果を用いた追尾演算を行うことで、初期状態で追尾対象とした主要被写体、特に主要被写体の顔領域に対して常にピントを合わせた撮影を行うことができる。

なお、図７では、検出された被写体の顔領域に対応するＡＦ領域にピントを合わせるようにＡＦ制御を行っている。しかしながら、被写体の顔領域の下側の領域も顔領域と被写体距離が略同一であると考えられるため、検出された被写体の顔領域に対応するＡＦ領域が存在しない場合などには被写体の顔領域の下側の領域に対応するＡＦ領域にピントを合わせるようにしてもよい。
以上のように、連続撮影時の各撮撮像前に測光センサ１０６による蓄積動作を複数回行い、最初の蓄積動作により得られた画像信号に基づいて被写体追尾を行うことで、連続撮影時の連続撮影速度を低下させることなく被写体追尾を行うことができる。また、複数回の蓄積動作により得られた画像信号に基づいて露出制御を行うことで、１回の蓄積動作の蓄積時間がフリッカー周期よりも短い場合であっても、フリッカーの影響を軽減した露出制御を行うことができる。

また、前回のミラーダウン状態において測光センサ１０で蓄積を行って得られた画像信号に基づく顔検出の結果を今回の撮像のための追尾演算に用いることで、連続撮影速度を低下させることなく被写体検出の検出結果を反映させた被写体追尾を行うことができる。
なお、本実施形態では、追尾演算の基準となる輝度パターン及び色パターンを被写体追尾に用いる画像が得られるたびに更新する場合を説明したが、最初に追尾基準として決定された輝度パターン及び色パターンを維持して追尾演算を行ってもよい。

また、本実施形態では、蓄積ａ１と蓄積ｂ１のように、測光演算に用いる蓄積を複数回行っているが、連続撮影ではない場合や連続撮影の１コマ目の撮像前など１回の蓄積で十分な蓄積時間を確保できる場合には、測光演算に用いる蓄積を複数回行わなくてもよい。あるいは、連続撮影を行う場合であっても、連続撮影速度が所定値よりも高速である場合は測光演算に用いる蓄積を複数回行い、連続撮影速度が所定値よりも高速でない場合は測光演算に用いる蓄積を複数回行わなくてもよい。

また、本実施形態では、顔検出演算により人物である被写体の顔領域の検出を行っているが、その他の所定の条件を持たす被写体領域を検出対象として被写体検出を行ってもよい。例えば、予めユーザが検出対象とする被写体領域を設定し、以降の被写体検出演算において設定された被写体領域の検出を行うようにしてもよい。

１００ カメラ本体
１０１ ＣＰＵ
１０２ 撮像素子
１０６ 測光センサ
１０９ 焦点検出回路
１１１ ＩＣＰＵ
２００ レンズユニット
２０１ ＬＣＰＵ

Claims (8)

1. 連続撮影が可能な撮像装置であって、
   撮像手段と、
   入射光量に応じた電荷の蓄積を行う電荷蓄積手段と、
   前記電荷蓄積手段で第１の蓄積を行って得られた画像信号に基づいて、被写体領域の検出を行う被写体検出手段と、
   前記電荷蓄積手段で第２の蓄積を行って得られた画像信号に基づいて、前記被写体検出手段により検出された被写体領域の追尾を行う追尾手段と、
   撮影レンズを介して入射した光束の光路を前記電荷蓄積手段へ導く第１の状態と前記撮像手段へ導く第２の状態とに変更する光路変更手段と、を有し、
   前記光路変更手段は、前記撮像手段により撮像を行うときは前記光路を前記第２の状態にして前記撮像手段により撮像を行った後は前記光路を前記第１の状態にし、
   前記電荷蓄積手段は、連続撮影時の各撮像を行う前の前記光路が前記第１の状態のときに前記第１の蓄積と前記第２の蓄積を行い、
   前記追尾手段は、連続撮影における今回の前記光路が前記第１の状態のときに前記第２の蓄積を行って得られた画像信号に基づいて、前回の前記光路が前記第１の状態のときに前記第１の蓄積を行って得られた画像信号に基づいて前記被写体検出手段により検出された被写体領域の追尾を行うことを特徴とする撮像装置。
2. 前記追尾手段は、連続撮影における今回の撮像のための追尾処理において、今回の前記光路が前記第１の状態のときに前記第１の蓄積を行って得られた画像信号を用いないことを特徴とする請求項１に記載の撮像装置。
3. 露出制御を行う露出制御手段を有し、
   前記露出制御手段は、連続撮影における今回の前記光路が前記第１の状態のときに前記第２の蓄積を行って得られた画像信号に基づいて今回の撮像のための露出制御を行うことを特徴とする請求項１または２に記載の撮像装置。
4. 前記電荷蓄積手段は、前記光路が前記第１の状態のときに、前記第２の蓄積を行った後に前記第１の蓄積を行うことを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
5. 前記光路変更手段は、前記電荷蓄積手段で前記第１の蓄積を行ってから当該第１の蓄積に応じた画像信号の取得が終了する前に、前記光路を前記第１の状態から前記第２の状態へ変更し始めることを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。
6. 前記被写体検出手段は、前記光路変更手段が前記光路を前記第１の状態から前記第２の状態へ変更し始めた後に、被写体領域を検出するための演算処理を行うことを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
7. 前記撮像手段による撮像を行う前に、前記追尾手段の追尾結果に基づいて焦点調節を行う焦点調節手段と、を有し、
   前記追尾手段は、前記焦点調節手段が前記焦点調節を行う前に前記追尾の演算処理を終了させることを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
8. 撮像手段と、入射光量に応じた電荷の蓄積を行う電荷蓄積手段とを備えた、連続撮影が可能な撮像装置の制御方法であって、
   前記電荷蓄積手段により第１の蓄積を行って得られた画像信号に基づいて、被写体領域の検出を行う被写体検出ステップと、
   前記電荷蓄積手段により第２の蓄積を行って得られた画像信号に基づいて、前記被写体検出ステップで検出された被写体領域の追尾を行う追尾ステップと、
   撮影レンズを介して入射した光束の光路を、前記撮像手段により撮像を行うときは前記電荷蓄積手段へ導く第１の状態にし、前記撮像手段により撮像を行った後は前記撮像手段へ導く第２の状態にする光路変更ステップと、
   連続撮影時の各撮像を行う前の前記光路が前記第１の状態のときに前記第１の蓄積と前記第２の蓄積を行う電荷蓄積ステップと、を有し、
   前記追尾ステップは、連続撮影における今回の前記光路が前記第１の状態のときに前記第２の蓄積を行って得られた画像信号に基づいて、前回の前記光路が前記第１の状態のときに前記第１の蓄積を行って得られた画像信号に基づいて前記被写体検出ステップで検出された被写体領域の追尾を行うことを特徴とする撮像装置の制御方法。

Images