JP7286294B2 - 撮像装置、撮像装置の制御方法、および、プログラム - Google Patents

Description

本発明は、被写体の動きにタイミングを合わせた画像を撮像するための技術に関するものである。

近年、スマートフォンに搭載されたカメラやデジタルカメラなどの撮像装置において、シャッタスピードを優先する撮影モードを搭載するものが知られている。この撮影モードは、撮像者が所望のシャッタスピードを設定し、絞り値やＩＳＯ感度といったシャッタスピード以外の露出設定値を撮像装置が自動で設定する撮影モードである。撮像者は、この撮影モードを用いることにより、好みのシャッタスピードで撮像することができる。例えば、露光時間の短いシャッタスピードを設定することで、滝の水しぶきやレーシングカーといった動きの速い被写体に対しても、被写体ぶれが少ない画像を撮像することができる。特許文献１には、静止画の撮像前に撮像した画像から被写体の動き量を検出し、その検出結果に基づいて、シャッタスピードを決定する撮像装置が開示されている。

特開２００６－１９７１９２号公報

被写体ぶれが少ない画像を撮像するためには、露光時間の短い高速のシャッタスピードにて撮像する必要がある。しかしながら、撮像前に高速なシャッタスピードを設定して撮像したとしても、撮像のタイミングを逃してしまうことがある。

例えば、動物の動き出す瞬間や鳥の飛び立つ瞬間など、不規則で高速に動く被写体を捉えようとしたときに、シャッタを押す反応が間に合わず、所望の動き出しの状態の被写体を捉えることができない場合がある。シャッタスピードを高速に設定したとしても、撮影開始のタイミングが適切でなければ、不規則で高速に動く被写体の所望の動きを捉えた撮影を行なうことはできない。

本発明は、上記の問題点を鑑みてなされたものであり、被写体の動きにタイミングを合わせた画像を撮像する技術を提供することを目的とする。

上記課題を解決するため、本願発明の撮像装置は、第一の撮像手段と、第二の撮像手段と、前記第一の撮像手段が第一のフレームの画像データのための露光を行っている間に前記第二の撮像手段にて撮像された複数のフレーム間における被写体の動き量及び前記動き量の累積量を算出し、前記複数のフレームの画像データにおける前記被写体の動きを判定する判定手段と、前記判定手段が判定した結果に基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を止め、前記第一の撮像手段による前記第一のフレームの後の第二のフレームの画像データのための露光を開始する制御手段を有し、前記制御手段は、前記累積量が第一の閾値以上となった場合に、前記累積量が前記第一の閾値より大きい第三の閾値以上であれば、前記第一の撮像手段による前記第一のフレームの画像データのための露光を止めず、前記累積量が前記第三の閾値以上でなければ、前記第一の撮像手段による前記第一のフレームの画像データのための露光を止めることを特徴とする。

本発明によれば、被写体の動きにタイミングを合わせた画像を撮像することができる。

本発明の第一の実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の第一の実施形態に係るタイミング生成回路の構成例を示すブロック図である。 本発明の第一の実施形態の高速撮影モードにおける撮像処理のフローチャートである。 本発明の第一の実施形態の高速撮影モードにおける撮像処理のフローチャートである。 撮像装置と被写体の位置関係を説明するための図である。 本発明の第一の実施形態の第一の撮像素子、第二の撮像素子、および、タイミング生成回路による動作を説明するための図である。 本発明の第一の実施形態の動きベクトル算出回路による動きベクトルおよび動きベクトルの信頼度の算出処理のフローチャートである。 動きベクトルの算出方法を説明するための図である。 ブロックマッチング法による動きベクトルの算出方法を説明するための図である。 ３点内挿の計算方法を説明するための図である。 複数のフレーム間の動きベクトルを示す図である。 第一の撮像素子と第二の撮像素子の構成を示す表である。 本発明の第二の実施形態の高速撮影モードにおける撮像処理のフローチャートである。 本発明の第二の実施形態の第一の撮像素子、第二の撮像素子、および、タイミング生成回路による動作を説明するための図である。 本発明の第三の実施形態に係る第二のタイミング生成回路の構成例を示すブロック図である。 本発明の第三の実施形態の高速撮影モードにおける撮像処理のフローチャートである。

以下、本発明の実施形態について、添付図面を用いて詳細に説明する。ここでは、本発明の実施形態に係る撮像装置として、所謂、デジタルカメラを取り上げることとするが、本発明はこれに限定されるものではない。撮像機能を有する他の装置、例えば、デジタルビデオカメラ、携帯電話、スマートフォン、その他の携帯型電子機器等として実施されても良い。

（第一の実施形態）
本発明の第一の実施形態では、露光中の期間における動きベクトルを用いた動き解析結果に基づき、露光開始のタイミングを決めることにより、被写体の動きにタイミングを合わせた画像を撮像する撮像装置の説明を行う。以下、本発明の第一の実施形態について説明する。

図１（ａ）は、本発明第一の実施形態に係る撮像装置１００の構成例を示すブロック図である。撮像装置１００は、第一の撮像システム１１０、第二の撮像システム１２０、および、操作部材１３０より構成される。

まず、第一の撮像システム１１０について説明する。第一の制御回路１１１は、例えばＣＰＵやＭＰＵなどのプロセッサである。第一の制御回路１１１は、第一の撮像システム１１０が備える各ブロックの動作プログラムを後述の第一のＲＯＭ１１２より読み出し、後述の第一のＲＡＭ１１３に展開して実行することにより第一の撮像システム１１０が備える各ブロックの動作を制御する。また、第一の制御回路１１１は、第一の撮像システム１１０および第二の撮像システム１２０の全体の動作を統括し、制御する。第一のＲＯＭ１１２は、電気的に消去および記録が可能な不揮発性メモリであり、第一の撮像システム１１０が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。第一のＲＡＭ１１３は、書き換え可能な揮発性メモリであり、第一の撮像システム１１０が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

第一の光学系１１４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の第一の撮像素子１１５に結像する。第一の撮像素子１１５は、例えば複数色のカラーフィルタを備えたＣＣＤやＣＭＯＳセンサ等で構成されている。第一の撮像素子１１５は、第一の光学系１１４により第一の撮像素子１１５に結像された光学像を光電変換し、得られたアナログ画像信号を第一のＡ／Ｄ変換回路１１６に出力する。また、第一の撮像素子１１５は、操作部材１３０に含まれるシャッタボタンが全押しされたタイミングに基づき露光を開始し、後述の露光終了のタイミング生成回路２００より出力された露光終了のタイミングを指示する信号に基づき露光を終了する。第一のＡ／Ｄ変換回路１１６は、入力されたアナログ画像信号をデジタル画像信号に変換し、得られたデジタル画像データを第一のＲＡＭ１１３に出力する。

第一の画像処理回路１１７は、第一のＲＡＭ１１３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ノイズ補正、ガンマ処理、輝度／色差信号への変換、および、収差補正など、様々な画像処理を適用する。画像出力回路１１８は、第一の画像処理回路１１７で処理された画像データを、第一のＲＡＭ１１３を介して受け取り、外部装置に出力するための回路である。具体的には、撮像装置１００に着脱可能な記録メディアに対して画像データの読み出しや書き込みを行ったり、無線あるいは有線通信機能を用いてスマートフォンやサーバーなどと画像の送受信を行ったりする。表示装置１１９は、ＬＣＤや有機ＥＬディスプレイ等の表示デバイスであり、第一のＲＡＭ１１３に記録した画像を表示する。

次に、第二の撮像システム１２０について説明する。第二の制御回路１２１は、例えばＣＰＵやＭＰＵなどのプロセッサである。第二の制御回路１２１は、第二の撮像システム１２０が備える各ブロックの動作プログラムを後述の第二のＲＯＭ１２２より読み出し、後述の第二のＲＡＭ１２３に展開して実行することにより第二の撮像システム１２０が備える各ブロックの動作を制御する。第二のＲＯＭ１２２は、電気的に消去および記録が可能な不揮発性メモリであり、第二の撮像システム１２０が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。第二のＲＡＭ１２３は、書き換え可能な揮発性メモリであり、第二の撮像システム１２０が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

第二の光学系１２４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の第二の撮像素子１２５に結像する。第二の撮像素子１２５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、第二の光学系１２４により第二の撮像素子１２５に結像された光学像を光電変換し、得られたアナログ画像信号を第二のＡ／Ｄ変換回路１２６に出力する。第二の撮像素子１２５は、動きやぶれを検出するために用いる素子であるため、必ずしも複数色のカラーフィルタを備えている必要はなく、単色（ホワイト）のフィルタや赤外フィルタを備えた構成としてもよい。第二のＡ／Ｄ変換回路１２６は、入力されたアナログ画像信号にデジタル画像信号に変換し、得られたデジタル画像データを第二のＲＡＭ１２３に出力する。

第二の画像処理回路１２７は、第二のＲＡＭ１２３に記憶されている画像データに対して、簡易的なノイズ補正やガンマ処理など、様々な画像処理を適用する。第二の撮像素子１２５が複数色のカラーフィルタを備えているのであれば、色補間、あるいは輝度信号への変換処理も行う。また、第二の画像処理回路１２７は、タイミング生成回路２００を具備しており、第二のＲＡＭ１２３に記憶されている画像データを用いた動き解析結果に基づき、第一の撮像素子１１５の露光終了のタイミングを指示する信号を生成する。なお、露光終了のタイミングを指示する信号は、第二の制御回路１２１を介して第一の撮像システム１１０に出力される。第一の撮像システム１１０ではこの信号を受け取ると、第一の制御回路１１１が第一の撮像素子１１５の露光を終了させるよう制御する。

操作部材１３０は、ユーザからの指示を受け付ける操作部材であり、シャッタボタンやダイヤルキーを含む。また、表示装置１１９がタッチパネル機能を備えるようにしてもよい。ユーザがこれらの操作部材を操作することで生成される信号は、第一の撮像システム１１０と第二の撮像システム１２０の駆動制御に反映される。

なお、ここでは第一の撮像システム１１０と第二の撮像システム１２０が、撮像装置１００として一体的に構成されている例を上げて説明を行ったが、これに限られるものではない。例えば、第一の撮像システム１１０と操作部材１３０がカメラ本体であり、第二の撮像システム１２０は、カメラ本体と着脱可能な撮像装置としてもよい。つまり、第二の撮像システム１２０は、外部の撮像装置に着脱可能な撮像装置であってもよい。また、第一の撮像システム１１０が一眼レフカメラであるとするならば、第一の光学系１１４を含む交換レンズ装置は、第一の撮像素子１１５乃至表示装置１１９、および、操作部材１３０を含むカメラ本体に対して着脱可能な構成となる。図１（ｂ）は、撮像装置１００の一例としてのスマートフォン（あるいはタブレット端末）を示す図である。スマートフォンの前面には、表示装置１１９と操作部材１３０を兼ねるタッチパネルが設けられ、スマートフォンの背面には、第一の撮像システム１１０の第一の光学系１１４と、第二の撮像システム１２０の第二の光学系１２４が配置されている。このようなスマートフォンにおいても、本発明を実施することができる。

また、第二の制御回路１２１の機能を第一の制御回路１１１が兼用するようにすれば、第二の制御回路１２１を省くことも可能である。また、第二の撮像システム１２０は第二の光学系１２４、第二の撮像素子１２５、第二のＡ／Ｄ変換回路１２６、および、第二のＲＡＭ１２３のみを有し、他の構成要素を第一の撮像システム１１０が兼用するようにしてもよい。こうすることで、第二の撮像システム１２０を別のカメラ装置とした場合に、その構成を簡素化することが可能となる。

ここで、第一の撮像素子１１５が記録用の画像を生成することを目的とするのに対して、第二の撮像素子１２５は素早く移動する被写体の動きを検出することを目的としており、必要とされるフレームレートが互いに異なる。図１２に、本実施形態における第一の撮像素子１１５と第二の撮像素子１２５の構成を比較した表を示す。本実施形態では、第一の撮像素子１１５のフレームレートが２０ｆｐｓ（フレーム／秒）であるのに対し、第二の撮像素子１２５のフレームレートは１０００ｆｐｓであるものとする。

そのため、第二の撮像素子１２５は、第一の撮像素子１１５よりも、より短い露光時間となるシャッタスピードを設定することができる。そして、このシャッタスピードを実現可能とするため、第二の撮像素子１２５は第一の撮像素子１１５よりも感度を高くする必要がある。そこで、第二の撮像素子１２５は、第一の撮像素子１１５に対して、画素数を減らす代わりに、画素ピッチが大きくなるように構成されている。具体的には、図１２に示すように、撮像部の水平サイズは第一の撮像素子１１５が３６ｍｍであるのに対して、第二の撮像素子１２５は４ｍｍである。水平画素数は第一の撮像素子１１５が６４００画素であるのに対して、第二の撮像素子１２５は６４０画素である。画素ピッチは第一の撮像素子１１５が５．６２μｍであるのに対して、第二の撮像素子１２５は６．２５μｍである。

次に、第二の撮像システム１２０の第二の画像処理回路１２７が具備する、タイミング生成回路２００の構成について図２を用いて説明する。このタイミング生成回路２００は、第二の撮像素子１２５が高速のフレームレートで撮像して第二のＲＡＭ１２３に記憶した画像データの動きベクトルを検出することで、動きの解析を行う。この画像データは、第二の撮像素子１２５が複数色のカラーフィルタを備えた構成であるならば、色補間や輝度信号への変換処理が先に行われており、各画素が同じ成分の信号を備えているものとする。そして、この動きの解析結果に基づいて、第一の撮像素子１１５の露光終了のタイミングを決定し、第一の撮像素子１１５の露光を終了させるための信号を、第一の撮像システム１１０に出力する。

図２は、第一の実施形態に係るタイミング生成回路２００の構成例を示すブロック図である。図２において、タイミング生成回路２００は、動きベクトル算出回路２０１、累積量算出回路２０２、代表累積量算出回路２０３およびタイミング決定回路２０４より構成する。

次に、本発明の第一の実施形態の撮像装置１００における高速撮影モードにおける撮像処理について、図３および図４のフローチャートを用いて説明する。図３および図４は、第一の実施形態の高速撮影モードにおける撮像処理のフローチャートである。図３のフローチャートは撮像装置１００の電源がオンになると開始される。

ステップＳ３０１において、第一の制御回路１１１は撮影モードが設定されているかを判定し、設定されていなければステップＳ３０２に進み、設定されていればステップＳ３０５に進む。

ステップＳ３０２において、第一の制御回路１１１はぶれレベル、もしくは動き出しレベルの設定メニューが選択されているかを判定し、他の処理が選択されていればステップＳ３０３に進み、ステップＳ３０３において他の処理を行う。第一の制御回路１１１はぶれレベル、もしくは動き出しレベルの設定メニューが選択されていれば、ステップＳ３０４に進む。

ステップＳ３０４において、第一の制御回路１１１は表示装置１１９にぶれレベル、もしくは動き出しレベル設定のための画面の表示し、ユーザによる操作部材１３０の操作結果に応じて、いずれかのレベルを設定する。例えば、第一の表示装置１１９にぶれレベルが「標準」から「低」に向けて段階的なレベルが表示され、ユーザが選択できるようになっている。ユーザが「低」に近い段階のぶれレベルを選択するほど、撮像した画像に含まれるぶれが小さくなるように、後述する第二の閾値が設定される。動き出しレベルにおいても同様に、第一の表示装置１１９に段階的な動き出しレベルが表示され、ユーザが選択できるようになっている。動き出したという判定基準はユーザの持つイメージによるところもあるため、動き出しのレベルは数値で示され、広い範囲でレベルを選択できるようになっている。

動き出しレベルが選択されると、第一の制御回路１１１は、第一の撮像システム１１０における動き量の判定値を決定し、第二の制御回路１２１は、このぶれ動き量の判定値に基づいて後述のステップＳ３２２で用いる第一の閾値を設定する。ぶれレベルが選択されると、第一の制御回路１１１は、第一の撮像システム１１０におけるぶれ許容値を決定し、第二の制御回路１２１は、このぶれ許容値に基づいて後述のステップＳ３３１で用いる第二の閾値を設定する。

ここでは、一例として、ユーザが動き出しレベルよりもぶれレベルを小さく設定し、かつ、ユーザが最もぶれが小さくなるぶれレベル「低」を選択したものとして説明を行う。

ぶれレベル「低」の場合、ぶれ許容値は許容錯乱円径に設定されるものとする。ここで許容錯乱円径とは、明視距離２５０ｍｍで写真を観察するときに、視力１．０の観察者が解像可能な限界値を表し、３６×２４ｍｍの撮像素子上では約２０μｍになる。本発明第一の実施形態では第一の撮像素子１１５の４画素分のピッチ２２．４８μｍ（５．６２×４）を許容錯乱円径とする。ぶれレベルおよび第二の閾値の設定を終えると、ステップＳ３０１に戻る。

ステップＳ３０５において、第一の制御回路１１１は第一の撮像素子１１５を起動する。

ステップＳ３０６において、第一の制御回路１１１は撮影モードとして高速撮影モードが選択されているかを判定し、選択されていなければステップＳ３０７に進み、ステップＳ３０７においてその他の撮影モードの処理を行う。第一の制御回路１１１は、高速撮影モードが選択されていればステップＳ３０８に進む。

ステップＳ３０８において、第一の制御回路１１１は第一の撮像素子１１５から得られる被写体のコントラスト値、あるいは、不図示の測距センサの出力に基づいて、第一の光学系１１４を駆動して自動フォーカス制御（ＡＦ）を行う。

ステップＳ３０９において、第一の制御回路１１１は第一の撮像素子１１５から得られる被写体の輝度値に基づいて、第一の撮像素子１１５のための自動露出制御（ＡＥ）を行う。

ステップＳ３１０において、第一の制御回路１１１は操作部材１３０に含まれるシャッタスイッチが半押しされることによって、シャッタスイッチ内のＳＷ１がオンになったかを判定し、オンになるまでステップＳ３０８およびＳ３０９を繰り返す。

ステップＳ３１０においてＳＷ１がオンになると、ステップＳ３１１において、第二の制御回路１２１は第二の撮像素子１２５を起動する。

ステップＳ３１２において、第一の制御回路１１１は、ＳＷ１がオンになった際に選択された主被写体に対して、第一の光学系１１４を用いたＡＦを行う。

ステップＳ３１３において、第一の制御回路１１１は、ＳＷ１がオンになった際に選択された主被写体に対して第一の撮像素子１１５のためのＡＥを行う。

ステップＳ３１４において、第二の制御回路１２１は、第一の制御回路１１１から第一の光学系１１４のズーム情報を受信し、第二の光学系１２４のズーム状態を制御する。この第二の光学系１２４のズーム状態を制御について、図５を用いて説明する。

図５は、ＳＷ１がオンされたときの撮像装置１００と被写体５００の位置関係を説明するための図である。図５において、撮像装置１００の第一の光学系１１４は焦点距離３００ｍｍであり、４０ｍ先を０．３ｍ／ｓｅｃ（３００ｍｍ／ｓｅｃ）で移動する被写体５００を撮像しようとしている。なお、被写体５００は第一の光学系１１４の光軸近傍を移動しているものとする。以降の説明において、４０ｍ先を物面と呼ぶ。また、被写体５００の移動速度は、被写体５００までの距離情報と、フレーミング中に得られる画像から後述の動きベクトルを算出することで計測することができる。

また、本実施形態における第一の光学系１１４の結像倍率は、被写体までの距離÷焦点距離で求められるため、４０×１０００÷３００＝１３３．３となる。

第一の撮像素子１１５の全体が捉えている物面での被写体の画角は、１３３．３×５．６２×６４００／１０００＝４７９５．７ｍｍである。

ここで、ＳＷ１がオンになる前は、第一の撮像システム１１０と第二の撮像システム１２０で得られる画像の画角が同じであるとする。このとき、第二の光学系１２４の結像倍率は４７９５．７×１０００÷６．２５÷６４０＝１１９８．９であり、焦点距離は４０×１０００÷１１９８．９＝３３．３ｍｍである。また、このとき第二の撮像素子１２５における単位画素あたりの物面での被写体サイズは、１１９８．９×６．２５÷１０００＝７．５ｍｍである。この値に後述する動きベクトルの算出の分解能を掛け合わせた値が第二の撮像素子１２５で捉えることができる動きの分解能となる。動きベクトルの算出の分解能を０．５画素とすると、動きの分解能は７．５×０．５＝３．７５ｍｍとなる。

一方、第一の撮像素子１１５における単位画素あたりの物面での被写体サイズは、１３３．３×５．６２÷１０００＝０．７５ｍｍとなり、ぶれ許容値は４画素分なので０．７５×４＝３．０ｍｍとなる。そのため、このままでは第二の撮像素子１２５の動きの分解能よりもぶれ許容値のほうが小さいので、第二の撮像素子１２５を用いたとしても、第一の撮像素子１１５のぶれが許容値以下であるかを判定することができない。

そこで、第二の制御回路１２１は第二の光学系１２４の焦点距離を望遠側に移動してズームを行い、第二の撮像素子１２５における動き検知の分解能を高くする。

３００ｍｍ／ｓｅｃで移動する被写体４００がぶれ許容値３．０ｍｍに達する時間は３．０÷３００×１０００＝１０．０ｍｓｅｃである。

そのため、第二の撮像システム１２０における単位フレーム（１ｍｓｅｃ）あたりに求められる動きの分解能は３．０÷１０．０÷０．５＝０．６ｍｍとなる。

そこで、第二の制御回路１２１は、第二の光学系１２４の結像倍率を０．６×１０００÷６．２５＝９６．０、焦点距離を４０×１０００÷９６．０＝４１６．６ｍｍに移動すれば、動きの分解能がぶれ許容値よりも細かくなる。こうすることで、第二の撮像素子１２５で得られた画像データを用いて動き検知結果に基づいて、第一の撮像素子１１５の露光終了のタイミングを制御し、被写体４００を許容錯乱円径以下のぶれで撮像することが可能となる。

なお、第二の光学系１２４を望遠側にズームしているので、第二の撮像素子１２５の画角は第一の撮像素子１１５と異なっており、第二の撮像素子１２５の画角は、９６．０×６．２５×６４０／１０００＝３８４．０ｍｍである。このように焦点距離を大きくし、ズーム位置を望遠側に移動すると画角が狭くなるため、光軸近傍以外に被写体が存在する場合には、被写体が視野外になってしまう可能性がある。その場合、公知の光軸や撮像素子の位置を移動する技術を用いて、光軸から外れた領域に視野を移動することができる構成とするのがよい。

また、ここではぶれ許容値を基準として第二の光学系１２４の焦点距離を変更する例を上げて説明を行ったが、ぶれ許容値よりも動き量の判定値のほうが小さい値である場合には、この動き量の判定値を基準として第二の光学系１２４の焦点距離を変更する。

図３に戻り、ステップＳ３１５において、第二の制御回路１２１は、ＳＷ１がオンになった際に選択された主被写体の情報に基づいて第二の光学系１２４を用いたＡＦを行う。

ステップＳ３１６において、第二の制御回路１２１は、ＳＷ１がオンになった際に選択された主被写体の情報に基づいて第二の撮像素子１１５のためのＡＥを行う。

ステップＳ３１７において、第一の制御回路１１１は操作部材１３０に含まれるシャッタスイッチが全押しされることによって、シャッタスイッチ内のＳＷ２がオンになったかを判定し、オンになるまでステップＳ３１２乃至Ｓ３１６を繰り返す。

ステップＳ３１７においてＳＷ２がオンになると、図４のステップＳ３１８において、第一の制御回路１１１は、ステップＳ３１３にて行ったＡＥの結果に基づいて露光期間を設定し、第一の撮像素子の露光を開始する。

ステップＳ３１９において、第二の制御回路１２１は、１０００ｆｐｓ、あるいは、第一の撮像素子１１５に対して設定されたフレームレートの所定倍（例えば、５０倍）となるフレームレートを設定し、第二の撮像素子１２５の露光を開始する。第二の撮像素子１２５は設定したフレームレートに応じた露光時間に達すると、得られたアナログ画像信号を第二のＡ／Ｄ変換回路１２６に出力するとともに、すぐさま次の露光を開始する処理を繰り返す。すなわち、第一の撮像素子１１５の１回の露光期間の間に、それよりも早いフレームレートで、第二の撮像素子１２５の露光が繰り返し行われる。

ここで、図６は、第一の実施形態における第一の撮像素子１１５、第二の撮像素子１２５、および、タイミング生成回路２００による動作を説明するための図である。図６の時刻Ｔ０において、ユーザによりシャッタボタンが全押しされてＳＷ２がオンになると、すぐさま第一の撮像システム１１０における第一の撮像素子１１５は露光を開始する。さらに、第二の撮像システム１２０における第二の撮像素子１２５は高速フレームレートで画像の撮像を開始する。第二の撮像素子１２５は、ＳＷ２がオンになった時刻Ｔ０の後は、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３・・・において短い露光時間で連続して撮像を行う。

ステップＳ３２０において、タイミング生成回路２００内の動きベクトル算出回路２０１が、第二の撮像素子１２５で得られた画像データのフレーム間における動きベクトルおよび動きベクトルの信頼度を算出する。動きベクトルとは、フレーム間における被写体の水平方向の移動量と垂直方向の移動量をベクトルとして表したものである。動きベクトルの算出方法について、図７乃至図９を用いて詳しく説明する。

図７は、動きベクトル算出回路２０１による動きベクトルおよび動きベクトルの信頼度の算出処理を示すフローチャートである。図８は動きベクトルの算出方法を説明するための図であり、図８（ａ）はＭ番目フレームの画像データを示す図であり、図８（ｂ）はＭ＋１番目フレームの画像データを示す図である。また、図８（ｃ）は、Ｍ番目フレームとＭ＋１番目フレームの間における動きベクトルを示す図である。図８（ｃ）の動きベクトルは、簡略化のため、代表的な動きベクトルのみを記載している。なお、Ｍは正の整数である。図９は、ブロックマッチング法による動きベクトルの算出方法を説明するための図である。なお、本実施形態では、動きベクトルの算出手法として、ブロックマッチング法を例に挙げて説明するが、動きベクトルの算出手法はこの例に限定されず、例えば勾配法でもよい。

図７のステップ７０１において、動きベクトル算出回路２０１には、時間的に隣接する２つのフレームの画像データが入力される。そして、動きベクトル算出回路２０１は、Ｍ番目フレームを基準フレームに設定し、Ｍ＋１番目フレームを参照フレームに設定する。

図７のステップ７０２において、動きベクトル算出回路２０１は、図９のように、基準フレーム９０１において、Ｎ×Ｎ画素の基準ブロック９０２を配置する。

図７のステップ７０３において、動きベクトル算出回路２０１は、図９のように、参照フレーム９０３に対し、基準フレーム９０１の基準ブロック９０２の中心座標と同座標９０４の周囲（Ｎ＋ｎ）×（Ｎ＋ｎ）画素を、探索範囲９０５として設定する。

図７のステップ７０４において、動きベクトル算出回路２０１は、基準フレーム９０１の基準ブロック９０２と、参照フレーム９０３の探索範囲９０５内に存在する異なる座標のＮ×Ｎ画素の参照ブロック９０６との相関演算を行い、相関値を算出する。相関値は、基準ブロック９０２および参照ブロック９０６の画素に対するフレーム間の差分絶対値の和に基づき算出する。つまり、フレーム間の差分絶対値の和の値が最も小さい座標が、最も相関値が高い座標となる。なお、相関値の算出方法は、フレーム間の差分絶対値の和を求める方法に限定されず、例えばフレーム間の差分二乗和や正規相互相関値に基づく相関値を算出する方法でもよい。図９の例では、参照ブロック９０６が最も相関が高いことを示しているとする。なお、公知の技術を用いて動きベクトルをサブピクセル単位で算出することができる。具体的には、図１０に示す連続した相関値データＣ（ｋ）において、下記（１）～（４）式による３点内挿の手法を用いる。

ｘ＝ｋ＋Ｄ÷ＳＬＯＰ・・・（１）
Ｃ（ｘ）＝Ｃ（ｋ）－｜Ｄ｜・・・（２）
Ｄ＝｛Ｃ（ｋ－１）－Ｃ（ｋ＋１）｝÷２・・・（３）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋ＋１）－Ｃ（ｋ）、Ｃ（ｋ－１）－Ｃ（ｋ）｝・・・（４）
ただし、図１０ではｋ＝２である。

なお、本発明第一の実施形態ではサブピクセル単位の分解能を０．５画素とする。また、（１）はｘ成分に関する式だが、同様にしてｙ成分も算出できる。

図７のステップ７０５において、動きベクトル算出回路２０１は、ステップ７０４で求めた最も高い相関値を示す参照ブロックの座標に基づいて動きベクトルを算出し、その動きベクトルの相関値を動きベクトルの信頼度とする。図９の例の場合、参照フレーム９０３の探索範囲９０５の中で、基準フレーム９０１の基準ブロック９０２の中心座標に対応した同座標９０４と、参照ブロック９０６の中心座標に基づき動きベクトルが求められる。つまり、同座標９０４から参照ブロック９０６の中心座標までの座標間距離と方向が動きベクトルとして求められる。また、その動きベクトル算出時における参照ブロック９０６との相関演算結果である相関値が動きベクトルの信頼度として求められる。なお、動きベクトルの信頼度は、基準ブロックと参照ブロックとの相関値が高いほど高くなる。

図７のステップ７０６において、動きベクトル算出回路２０１は、基準フレーム７０１の全画素について動きベクトルを算出したか否か判定する。動きベクトル算出回路２０１は、ステップ７０６において全画素の動きベクトルを算出していないと判定した場合には、ステップ７０２に処理を戻す。そして、ステップ７０２では、動きベクトルが算出されていない画素を中心として前述した基準フレーム７０１にＮ×Ｎ画素の基準ブロック９０２が配置され、以下前述同様に、ステップ７０３からステップ７０５の処理が行われる。すなわち、動きベクトル算出回路２０１は、図９の基準ブロック９０２を移動させながら、ステップ７０２からステップ７０５までの処理を繰り返して、基準フレーム９０１の全画素の動きベクトルを算出する。この動きベクトルの例を図８（ｃ）に示す。図８の例では、図８（ａ）のＭ番目のフレームと図８（ｂ）のＭ＋１番目のフレームの間で、人が左から右に移動している例を示している。このように被写体が移動している場合の動きベクトルの代表例を図８（ｃ）に示している。図８（ｃ）に示す動きベクトルは、Ｍ番目のフレームに存在している被写体位置を動きベクトルの始点とし、それに対応するＭ＋１番目のフレームの被写体位置を動きベクトルの終点としている。なお、動きベクトル算出回路２０１は、全画素の動きベクトルを算出するのではなく、全画素よりも少ない所定画素において動きベクトルを算出してもよい。

以上のような処理により、時間的に隣接する２枚の高速撮像フレーム間における動きベクトルおよび動きベクトルの信頼度を算出する。

なお、被写体の移動速度が変化する場合もある。そのため、時間的に隣接する２つのフレーム間における動きベクトルの大きさから物面における移動速度に換算し、前述の計算方法で、第一の撮像素子１１５の露光中に第二の光学系の焦点距離、結像倍率、画角を適宜変更する構成とするのがよい。

次に、動きベクトル算出回路２０１が、第二の撮像素子１２５から得られた画像データに対して動きベクトルおよび動きベクトルの信頼度を算出する時系列動作について、図６を参照して説明する。

動きベクトル算出回路２０１は、時刻Ｔ１において、時刻Ｔ０と時刻Ｔ１で得られた画像データのフレーム間の動きベクトルおよび動きベクトルの信頼度を前述の図７のフローチャートの処理に基づき算出する。その後、時刻Ｔ２において、時刻Ｔ１と時刻Ｔ２で得られた画像データのフレーム間の動きベクトルおよび動きベクトルの信頼度を算出する。時刻Ｔ３以後、同様の処理を繰り返し、第二の撮像素子１２５から得られた画像データのフレーム間における動きベクトルおよび動きベクトルの信頼度を算出する。

以上が、図４のステップＳ３２０における動きベクトルの算出方法についての説明である。

図４に戻り、ステップＳ３２１において、累積量算出回路２０２は、ステップ３２０において算出した動きベクトルを複数フレームにおいて追跡し、動きベクトルの累積量を算出する。そして、代表累積量算出回路２０３は、算出した動きベクトルの累積量に基づき、フレーム全体を代表する代表累積量を決定する。

まず動きベクトルの累積量の算出方法について、図１１を用いて説明する。図１１は、ステップＳ３２０において算出した複数のフレーム間の動きベクトルを示す図である。なお、説明の簡略化のため、時刻Ｔ０から時刻Ｔ３までの期間における動きベクトルの累積量の算出方法について説明するが、それ以降の期間に関しても同様の方法で動きベクトルの累積量を算出するものとする。

図１１において、動きベクトル１１０１は、図６の時刻Ｔ０のフレームと時刻Ｔ１のフレームとの間で算出された動きベクトルを示す。動きベクトル１１０２は、図６の時刻Ｔ１のフレームと時刻Ｔ２のフレームとの間で算出された動きベクトルを示す。動きベクトル１１０３は、図６の時刻Ｔ２のフレームと時刻Ｔ３のフレームとの間で算出された動きベクトルを示す。

累積量算出回路２０２は、時刻Ｔ０と時刻Ｔ１のフレーム間で算出した動きベクトル１１０１の終点座標Ｑを始点座標とする動きベクトルを、時刻Ｔ１と時刻Ｔ２のフレーム間で算出した動きベクトルの中から検索する。そして、条件を満たす動きベクトル１１０２を、動きベクトル１１０１と連結する。また、累積量算出回路２０２は、時刻１と時刻Ｔ２のフレーム間で算出した動きベクトル１１０２の終点座標Ｒを始点座標とする動きベクトルを、時刻Ｔ２と時刻Ｔ３のフレーム間で算出した動きベクトルの中から検索する。そして、条件を満たす動きベクトル１１０３を、動きベクトル１１０２と連結する。これ以降の期間においても同様の処理により、動きベクトルを連結していく。

このような複数フレームにおける動きベクトルの連結処理を時刻Ｔ０で算出した全ての動きベクトルに対して行うことにより、全画素の追跡動きベクトルを算出する。なお、算出した追跡動きベクトルにより、時刻Ｔ０において座標Ｐに存在した被写体が、時刻Ｔ１では座標Ｑに移動し、時刻Ｔ２では座標Ｒに移動し、時刻Ｔ３では座標Ｓに移動したことが分かる。

次に、累積量算出回路２０２が、追跡動きベクトルに基づき、動きベクトルの累積量を算出する方法について説明する。

累積量算出回路２０２は、式（５）のように追跡動きベクトルの長さを動きベクトルの累積量（ＶｅｃＬｅｎ）として算出する。

ＶｅｃＬｅｎ＝ＶｅｃＬｅｎ１＋ＶｅｃＬｅｎ２＋ＶｅｃＬｅｎ３・・・（５）
ＶｅｃＬｅｎ１は、時刻Ｔ０と時刻Ｔ１のフレーム間で算出した動きベクトル１１０１の動きベクトルの長さを示す。ＶｅｃＬｅｎ２は、時刻Ｔ１と時刻Ｔ２のフレーム間で算出した動きベクトル１１０２の動きベクトルの長さを示す。ＶｅｃＬｅｎ３は、時刻Ｔ２と時刻Ｔ３のフレーム間で算出した動きベクトル１１０３の動きベクトルの長さを示す。累積量算出回路２０２は、式（５）に基づき、追跡動きベクトルを構成する動きベクトルの長さの総和を動きベクトルの累積量として算出する。以上のような動きベクトルの累積量の算出処理を全画素の追跡動きベクトルに対して行い、全画素の動きベクトルの累積量を算出する。

なお、累積量算出回路２０２は、動きベクトルの信頼度が所定値よりも低い動きベクトルに関しては、式（５）による動きベクトルの長さの総和処理から除外しても良い。また、累積量算出回路２０２は、動きベクトルの信頼度が所定値よりも低い動きベクトルおよび時間的にそれ以降の動きベクトルに関しては、式（５）による動きベクトルの長さの総和処理から除外しても良い。これにより、動きベクトルの信頼度が高い動きベクトルのみを用いた動きベクトルの累積量を算出することができる。また、それぞれの動きベクトルをＸ方向の成分とＹ方向の成分に分離し、それぞれの方向毎に動きベクトルの長さの総和を求めるようにしてもよい。

次に、代表累積量の算出方法について説明する。代表累積量算出回路２０３は、フレーム内の全画素から得られた動きベクトルの累積量のうちの最大値を選択し、選択した最大の動きベクトルの累積量を代表累積量として決定する。このような処理をフレーム毎に行うことにより、図６に示すように、フレーム毎に１つの代表累積量を算出する。

なお、代表累積量算出回路２０３による代表累積量は、フレーム内の全画素の動きベクトルの累積量のうちの最大値に基づくものに限られるものではなく、フレーム内の全画素の動きベクトルの累積量の平均値や中央値でも良い。また、動きベクトルの累積量をＸ方向の成分とＹ方向の成分に分離した場合には、それぞれの方向における代表累積量を決定するようにしてもよい。

図４に戻り、ステップＳ３２２において、タイミング決定回路２０４は、代表累積量が第一の閾値以上になったかを判定し、第一の閾値以上になっていなければ、被写体が動き出していないと判断し、ステップＳ３２３に進む。この第一の閾値は、上述したようにステップＳ３０４で設定した動き出しレベルに基づいて、被写体が動き出すタイミングを検出するために設定された閾値であって、ステップＳ３０４で設定される第二の閾値とは独立して設定される。撮影する被写体の動きに応じて任意に設定することが可能な値であり、人物のように動き出しが遅い被写体に比べ、トンボなどの昆虫のように動き出しが速い被写体のほうが、第一の閾値として小さな値を設定することが望ましい。ポートレートの撮影モードであれば人物の動きを想定した第一の閾値を設定し、マクロの撮影モードであれば昆虫の動きを想定した第一の閾値を設定するなど、撮影モードに応じて自動的に第一の閾値を設定するようにしてもよい。また、第一の閾値と第二の閾値は、いずれもユーザが予め定められた範囲内で任意の値に設定できるため、設定した値に応じて、第一の閾値のほうが大きくなることもあれば、第二の閾値のほうが大きくなることもある。

ステップＳ３２３において、第一の撮像システム１１０の第一の制御回路１１１は、第一の撮像素子１１５の露光時間がステップＳ３１３で行ったＡＥに基づいて設定された露光時間に達したかを判定し、達していなければステップＳ３２２に戻る。第一の撮像素子の露光時間がステップＳ３１３で行ったＡＥに基づいて設定された露光時間に達していれば、ステップＳ３２４に進む。

ステップＳ３２４において、第一の制御回路１１１は、第一の撮像素子１１５の露光を停止し、第一の撮像素子１１５によって生成されたアナログ画像信号に対して、第一のＡ／Ｄ変換回路１１６および第一の画像処理回路１１７で所定の処理を施す。そして、第一の画像処理回路１１７でよりされた画像データは表示装置１１９に送信され、ライブビューのための画像データとして用いられる。

ステップＳ３２５において、第一の制御回路１１１は、第二の制御回路１２１を介して、第二の撮像素子１２５の露光を停止する。

ステップＳ３２６において、第二の制御回路１２１は、累積量算出回路２０２および代表累積量算出回路２０３で算出した代表累積量をリセットし、ステップＳ３１８に戻る。

ステップＳ３２２において、タイミング決定回路２０４は代表累積量が第一の閾値以上なっていれば、被写体が動き出したと判断できるため、ステップＳ３２７に進む。

ステップＳ３２７において、タイミング決定回路２０４は、第一の撮像システム１１０にリセット処理を指示するための信号を出力する。この処理は、代表累積量が第一の閾値以上になったことが判定されると、すぐさま行われる。図６に示す例では、時刻Ｔ３までの各フレーム間で算出した動きベクトルに基づく代表累積量が第一の閾値以上になっている。そのため、この時点でタイミング決定回路２０４は、第二の制御回路１２１を介して、第一の撮像システム１１０にリセット処理を指示するための信号を出力する。なお、Ｘ方向とＹ方向で別々に代表累積量を求めた場合には、いずれか一方の代表累積量が閾値以上となった場合に、リセット処理を指示するための信号を出力する。

ステップＳ３２８では、第一の制御回路１１１は、第二の制御回路１２１からリセット処理を指示するための信号を受けるとすぐに、第一の撮像素子１１５に対して、露光を中止させ、各画素に溜まっていた電荷を捨てるリセット処理を行わせる。そして、第一の制御回路１１は、このリセット処理が完了し、画素に蓄積された電荷を実質的にゼロにするとともに、すぐさま第一の撮像素子１１５の露光を開始する。

ステップＳ３２９では、第二の制御回路１２１は、第二の撮像素子１２５に対しても露光を中止させてリセット処理を行わせ、第一の撮像素子１１５の露光の開始のタイミングに合わせて、第二の撮像素子１２５の露光を開始する。

ステップＳ３３０では、第二の制御回路１２１は、それまでに代表累積量算出回路２０３が算出した代表累積量をリセットし、新たに代表累積量算出回路２０３に代表累積量の算出を開始させる。図６に示す例では、時刻Ｔ３までに算出した代表累積量をリセットし、時刻Ｔ４から再び代表累積量の算出を開始している。

ステップＳ３３１において、タイミング決定回路２０４は、代表累積量がステップＳ３０４で設定された第二の閾値以上になったかを判定し、第二の閾値以上になっていなければステップＳ３３２に進む。

ステップＳ３３２において、第一の撮像システム１１０の第一の制御回路１１１は、第一の撮像素子１１５の露光時間がステップＳ３１３で行ったＡＥに基づいて設定された露光時間に達したかを判定し、達していなければステップＳ３３１に戻る。第一の撮像素子の露光時間がステップＳ３１３で行ったＡＥに基づいて設定された露光時間に達していれば、ステップＳ３３４に進む。

ステップＳ３３４において、第一の制御回路１１１は第一の撮像素子１１５の露光を停止する。

ステップＳ３３１において、タイミング決定回路２０４は代表累積量が第二の閾値以上なっていればステップＳ３３３に進む。

ステップＳ３３３において、タイミング決定回路２０４は、第一の撮像システム１１０に露光終了を指示するための信号を出力する。この処理は、代表累積量が第二の閾値以上になったことが判定されると、すぐさま行われる。図６に示す例では、時刻Ｔ８までの各フレーム間で算出した動きベクトルに基づく代表累積量が第二の閾値以上になっている。そのため、この時点でタイミング決定回路２０４は、第二の制御回路１２１を介して、第一の撮像システム１１０に露光終了を指示するための信号を出力する。なお、Ｘ方向とＹ方向で別々に代表累積量を求めた場合には、いずれか一方の代表累積量が第二の閾値以上となった場合に、露光終了を指示するための信号を出力する。

つまり、代表累積量が第二の閾値以上になったことが判定されるとすぐにステップＳ３３３とステップＳ３３５に進み、第一の制御回路１１１は、第一の撮像素子１１５の露光時間が適正時間に達していなくとも第一の撮像素子１１５の露光を停止する。第一の制御回路１１１は、第一の撮像素子１１５によって生成されたアナログ画像信号を第一のＡ／Ｄ変換回路１１６に出力する。Ａ／Ｄ変換回路１１６で生成されたデジタル画像データは第一の画像処理回路１１７で所定の処理が施され、記録用の画像データとして画像出力回路１１８に出力される。画像出力回路１１８は、撮像装置１００に着脱可能な記録メディアに対して記録用の画像データの書き込みを行ったり、無線あるいは有線通信機能を用いてスマートフォンやサーバーなどの外部装置に記録用の画像データを送信したりする。

図６に示す例では、第一の制御回路１１１は、時刻Ｔ８よりわずかに後のタイミングで第一の撮像素子１１５の露光を停止することになる。実際には、第二の撮像素子１２５において時刻Ｔ８のフレーム画像が生成されてから代表累積量が得られるまでの算出時間や、タイミング決定回路２０４から出力された信号が第一の制御回路１１１に到達するまでの時間がタイムラグとして生じる。しかしながら、これらのタイムラグを考慮して閾値を設定するようにすれば、タイムラグによる影響を抑えることができる。

ステップＳ３３５おいて、第二の撮像システム１２０の第二の制御回路１２１は、第二の撮像素子１２５の露光を停止する。

ステップＳ３３６において、第一の撮像システム１１０の第一の制御回路１１１は、撮影モードが選択されたままであるかを判定し、撮影モードのままであればステップＳ３０６に戻り、別のモードが選択されていればステップＳ３０２に戻る。

以上説明したように、第一の実施形態においては、第一の撮像素子１１５の露光期間中の被写体の動き量に基づいて、露光途中である第一の撮像素子１１５の露光を止めてリセット処理を行わせ、すぐに第一の撮像素子１１５に露光を再開させている。そのため、被写体の動き出しのタイミングに合わせた画像を撮像することができる。

なお、ステップＳ３２２において代表累積量と比較される第一の閾値を調整することによって、動き出しとみなすための被写体の動作の大きさを調整することができる。例えば、この閾値を小さくするほど、より小さな動きを検出した場合に露光のリセットと露光の再開を行わせることが可能となる。

また、第一の実施形態においては、被写体が静止した状態から動き出すタイミングを検出して撮像する例について説明を行なったが、逆に被写体が動いている状態から静止状態に遷移するタイミングを検出する例にも、応用することが可能である。

被写体が動いている状態から静止する場合には、動きベクトル算出回路２０１で算出される動きベクトルが段々と小さくなる。そこで、累積量算出回路２０２が算出した追跡動きベクトルの中で、連結した動きベクトルが段階的に小さくなるいずれかの追跡動きベクトルを選択する。そして、タイミング決定回路２０４が、選択した追跡動きベクトルにおいて、連結されたそれぞれの動きベクトルの大きさを時間順に並べ、連続する２つの動きベクトル間における動きベクトルの大きさの減衰率を求める。タイミング決定回路２０４は、求めた減衰率に基づく演算を行って、第二の撮像素子１２５から次に得られるフレームの動きベクトルの大きさを予想する。タイミング決定回路２０４は、予想した動きベクトルの大きさが第一の閾値未満になった場合に、第一の撮像システム１１０にリセット処理を指示するための信号を出力する。第一の閾値を０に近い正の値とすれば、被写体の動きが止まるタイミングで、第一の撮像素子１１５のリセット処理と露光の再開を行うことができる。

また、第一の実施形態において、ステップＳ３２４で第一の撮像素子１１５の露光を停止した際に読み出されるアナログ画像信号は、記録用として使われないので、周囲の画素の信号を加算もしくは平均化して、解像度を落とすようにしても良い。あるいは、ステップＳ３１８において露光を開始するときよりも、ステップＳ３２８で露光を開始するときほうが画像データの解像度が高くなるように、第一の撮像素子１１５の読み出し方式を変更するようにしてもよい。このようにすることで、記録用ではない画像データを生成する際の処理負荷が軽くなる。

また、第一の実施形態では、タイミング決定回路２０４から出力された信号に基づいて、撮像素子１１５のフレーム全体のリセット処理および再露光の開始を指示する例について説明したが、これに限られるものではない。例えば第一の撮像素子１１５が、ライン、領域、あるいは、画素毎に露光時間を制御できる構成であれば、タイミング決定回路２０４は、第一の撮像素子１１５のこれらの部分毎の累積量に基づいてリセット処理および再露光の開始を指示する信号を出力するようにしてもよい。また、フレーム全体を分割ブロックに分割し、分割ブロックを代表する累積量に基づき、分割ブロック毎にリセット処理および再露光の開始を指示する信号を出力しても良い。

また、第一の実施形態では、累積量算出回路２０２は、追跡動きベクトルの長さとして、連結した動きベクトル各々の長さの総和を動きベクトルの累積量として算出する例について説明したが、これに限られるものではない。図９のような追跡動きベクトルを構成する各動きベクトル、または、各動きベクトルの一部が同一座標を通過する場合は、同一座標を通過する長さを式（５）による動きベクトルの長さの総和処理から除外しても良い。これにより、例えば、隣接座標を行き来するような微小な周期的動き（反復運動）の被写体に対して、動きベクトル長を過分に加算してしまうことを抑制することができる。

また、第一の実施形態では、動きベクトルに基づいて被写体の動き出しを検出していたが、演算負荷を減らすために、動きベクトルの代わりに、フレーム間の差分絶対値の和を、第一の閾値および第二の閾値と比較する構成としてもよい。

また、第一の実施形態によれば、第二の撮像システム１２０の焦点距離、結像倍率、および、画角を変更して得た画像を用いた動き解析結果に基づき、第一の撮像素子１１５のリセット処理および再露光の開始のタイミングを決めている。そのため、第一の撮像素子１１５と第二の撮像素子１２５で解像度が異なる仕様であっても、ぶれの少ない画像を撮像することができる。

なお、第一の実施形態では、第二の光学系１２４の焦点距離を望遠側に移動することで動きの分解能を上げたが、一般的なレンズにおいて焦点距離を望遠側に移動するとＦ値が大きくなり、画像が暗くなる。その分、明るくするために感度を上げるとノイズが多くなり、動きベクトルの算出精度が悪化してしまう。そこで、第二の撮像素子１２５で得られる画像のノイズ成分の大きさに応じて、焦点距離の最大移動量に制限を設ける構成としてもよい。

さらに、代表累積量が第一の閾値以上であると判断されて露光を開始したことで得られた画像データが、ユーザの意図したタイミングに沿ったものであるかを判定する構成としてもよい。例えば、撮影された画像データに対して、シャッタボタンを全押しするなどの所定のユーザの操作があれば、その撮像された画像データは記録の対象とし、所定の操作が無ければ記録せずに画像データを消去するようにしてもよい。もちろんシャッタボタンの全押しは一つの例であって、ユーザによる操作であれば、他のボタン操作や、撮像装置１００を所定方向に傾けるなどの他の操作であってもよい。あるいは、ユーザによる操作に限らず、ユーザが予め定められた単語を発するなどの音声の検出を利用する方法としてもよい。

（第二の実施形態）
次に、本発明の第二の実施形態について説明を行う。第二の実施形態では、被写体の動き出しを検出した時点での、被写体の動き量がある程度大きい場合には、第一の撮像素子１１５をリセット処理せずに、そのまま露光を継続する処理を行う。

第二の実施形態の撮像装置１００における高速撮影モードにおける撮像処理について、図１３のフローチャートを用いて説明する。図１３のフローチャートは、第二の実施形態の高速撮影モードにおける撮像処理のフローチャートであり、図４フローチャートに対して、ステップＳ１３００を有する点のみが異なる。なお、この第二の実施形態では、第一の閾値に比べて、第二の閾値が十分に大きい値に設定されていることが前提となる。

図１３のステップＳ３１８乃至Ｓ３２６、および、ステップＳ３２７乃至ステップＳ３３６の処理は、図４に示したものと同じ処理であるため、説明を省略する。

図１３のステップＳ３２２において、タイミング決定回路２０４は、代表累積量算出回路２０３が算出した代表累積量が第一の閾値以上になっていれば、被写体が動き出したと判断し、ステップＳ１３００に進む。

ステップＳ１３００において、タイミング決定回路２０４は、代表累積量算出回路２０３が算出した代表累積量が第三の閾値以上になったかを判定する。この第三の閾値は、第一の閾値より大きく、かつ、第二の閾値より小さい値である。代表累積量が第三の閾値未満であれば、被写体は動き出したばかりだと考えられるため、撮像装置１００は、第一の実施形態と同様に、ステップＳ３２７に進み、第一の撮像素子１１５の露光を中止させてリセット処理を行い、すぐに第一の撮像素子１１５の露光を開始する。

反対に、代表累積量が第三の閾値以上であれば、被写体の動き量が、すでに動き出しと判定するための基準値を大きく超えていると考えられる。この場合、第一の撮像素子１１５のリセット処理を行い、すぐに第一の撮像素子１１５の再露光を開始したとしても、動き出しを大きく過ぎたタイミングで第一の撮像素子１１５の露光が再開される可能性が高い。よって、撮像装置１００は、代表累積量が第三の閾値以上であれば、第一の撮像素子１１５のリセット処理を行わずに、第一の撮像素子１１５の露光を継続し、ステップＳ３３１に進む。こうすることで、被写体の動き出しの際の動き量が大きい場合であっても、被写体の動き出しを含めた画像をタイミング良く撮像することができるようになる。

図１４は、第二の実施形態における第一の撮像素子１１５、第二の撮像素子１２５、および、タイミング生成回路２００による動作を説明するための図である。図１４に示す例では、時刻Ｔ２までの各フレーム間で算出した動きベクトルに基づく代表累積量が第一の閾値以上となっている。さらに、この時点で、代表累積量は第一の閾値より大きな第三の閾値以上となっている。そのため、タイミング決定回路２０４は、時刻Ｔ２では、第一の撮像システム１１０にリセット処理を指示するための信号を出力せずに、第一の撮像素子１１５の露光を継続されるようにしている。その後、代表累積量がぶれレベルに応じた第二の閾値以上になると、タイミング決定回路２０４は、第二の制御回路１２１を介して、第一の撮像システム１１０にリセット処理を指示するための信号を出力する。

なお、ここでは、代表累積量と第三の閾値を比較する構成を例にあげて説明を行ったが、これに限られるものではない。代表累積量と第三の閾値を比較する代わりに、代表累積量が第一の閾値を超えた時点での第一の撮像素子１１５の露光時間を第四の閾値と比較する構成としてもよい。この場合、第一の撮像素子１１５の露光時間が第四の閾値以上であれば、被写体が動き出すまでに時間が掛かっているため、被写体は動き出したばかりだと考えられる。よって、第一の撮像素子１１５のリセット処理を行い、すぐに第一の撮像素子１１５の露光を開始する。反対に、第一の撮像素子１１５の露光時間が第四の閾値未満であれば、被写体が急に動き出したと考えられる。ここで第一の撮像素子１１５のリセット処理を行ってから再露光を開始すると、動き出しを大きく過ぎたタイミングで第一の撮像素子１１５の露光が再開される可能性が高い。よって、第一の撮像素子１１５のリセット処理を行わずに第一の撮像素子１１５の露光を開始する。

このように、第二の実施形態においても、第一の撮像素子１１５の露光期間中の被写体の動き量に基づいて、第一の撮像素子１１５の露光を止めてリセット処理を行わせ、すぐに第一の撮像素子１１５に露光を再開させている。そのため、被写体の動き出しのタイミングに合わせた画像を撮像することができる。さらに、第二の実施形態においては、動き出しの動き量に応じて、露光を止めてリセットを行うのか、露光を継続するのかを切り替えている。そのため、被写体の動き出しの動き量の大きさによらず、被写体の動き出しを含めた画像をタイミング良く撮像することができるようになる。

（第三の実施形態）
次に、本発明の第三の実施形態について説明を行う。第三の実施形態では、被写体の動き量ではなく、複数の被写体間の距離が所定の条件を満たす場合に、第一の撮像素子１１５の露光を止めてリセット処理を行わせ、すぐに第一の撮像素子１１５に露光を再開させる。

第三の実施形態では、第二の画像処理回路１２７は、タイミング決定回路１２７に加え、第二のタイミング決定回路１５００を備える。

図１５は、第三の実施形態に係る第二のタイミング生成回路の構成例を示すブロック図である。図１５において、第二のタイミング生成回路１５００は、被写体識別回路１５０１、学習モデル１５０２、位置判定回路１５０３、および、タイミング決定回路１５０４より構成される。

次に、本発明の第三の実施形態の撮像装置１００における高速撮影モードにおける撮像処理について、図１６のフローチャートを用いて説明する。図１６のフローチャートは、第三の実施形態の高速撮影モードにおける撮像処理のフローチャートであり、図４フローチャートに対して、ステップＳ１６２０乃至Ｓ１６２３を有する点のみが異なる。

図１６のステップＳ３１８、Ｓ３１９、ステップＳ３２３乃至ステップＳ３２６、および、ステップＳ３２８乃至ステップＳ３３６の処理は、図４に示したものと同じ処理であるため、説明を省略する。

図１６のステップＳ１６０１において、第二のタイミング生成回路１５００内の被写体識別回路１５０１が、第二の撮像素子１２５で得られた画像データから、予め学習された、所定の複数の被写体を識別する処理を開始する。この被写体識別回路１５０１は、例えばＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成されている。被写体識別回路１５０１は、事前に所定の被写体を識別するための機械学習を行うことにより得られた学習モデル１５０２を用いることで、画像データから、学習対象となった複数の被写体をそれぞれ識別することができる。

ステップＳ１６０２において、第二のタイミング生成回路１５００内の位置判定回路１５０３が、被写体識別回路１５０１にて識別された複数の被写体の位置が、所定条件を満たしているか否かの判定を開始する。すなわち、複数の被写体が所定の条件を満たす位置まで動いたか、を判定する。

ステップＳ１６０３において、タイミング決定回路１５０４は、複数の被写体の位置が所定の条件を満たしているかを判定し、満たしていなければ、ステップＳ３２３に進み、満たしていればステップＳ１６０４に進む。

ステップＳ１６０４において、タイミング決定回路１５０４は、第一の撮像システム１１０にリセット処理を指示するための信号を出力する。この処理は、複数の被写体の位置が所定の条件を満たすことが判定されると、すぐさま行われる。

例えば、ステップＳ１６０１で識別される複数の被写体として、鷹などの捕食動物と、ネズミやウサギなどの被捕食動物を選択する。そして、ステップＳ１６０３において、複数の被写体の位置の条件として、識別した複数の被写体間の距離が閾値以下である（近接している）ことを選択する。こうすることで、捕食動物が、被捕食動物を捉える直前のタイミングで、第一の撮像素子１１５にリセット処理を行わせ、すぐに露光を開始させることができる。あるいは、ステップＳ１６０１で識別される複数の被写体として、テニスラケットと、テニスボールを選択する。そして、ステップＳ１６０３において、複数の被写体の位置の条件として、識別した複数の被写体間の距離が閾値以下である（近接している）ことを選択する。こうすることで、ボールを打つ直前のタイミングで、第一の撮像素子１１５にリセット処理を行わせ、すぐに露光を開始させることができる。あるいは、ステップＳ１６０１で識別される複数の被写体として、やり投げの選手の腕と、やりを選択する。そして、ステップＳ１６０３において、複数の被写体の位置の条件として、識別した複数の被写体間の距離が１メートルであることを条件とする。こうすることで、やりを投げた直後のタイミングで、第一の撮像素子１１５にリセット処理を行わせ、すぐに露光を開始させることができる。なお、ここでは、複数の被写体の位置の条件として、複数の被写体間の距離を例にあげて説明を行ったが、複数の被写体が重なる面積を条件としてもよい。

なお、ステップＳ３２８以降の処理は第一の実施形態と同様である。タイミング生成回路２００によって代表累積量が第二の閾値以上なっていることが判定されると、第一の制御回路１１１は、第一の撮像素子１１５の露光時間が適正時間に達していなくとも、第一の撮像素子１１５の露光を停止する。

以上説明したように、第三の実施形態においては、第一の撮像素子１１５の露光期間中の複数の被写体の位置に基づいて、露光途中である第一の撮像素子１１５の露光を止めてリセット処理を行わせ、すぐに第一の撮像素子１１５に露光を再開させている。そのため、複数の被写体が所定の構図になったタイミングに合わせた画像を撮像することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。

また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１１０ 第一の撮像システム
１１１ 第一の制御回路
１１２ 第一のＲＯＭ
１１３ 第一のＲＡＭ
１１４ 第一の光学系
１１５ 第一の撮像素子
１１６ 第一のＡ／Ｄ変換回路
１１７ 第一の画像処理回路
１１８ 第一のメモリ
１１９ 第一の表示装置
１２０ 第二の撮像システム
１２１ 第二の制御回路
１２２ 第二のＲＯＭ
１２３ 第二のＲＡＭ
１２４ 第二の光学系
１２５ 第二の撮像素子
１２６ 第二のＡ／Ｄ変換回路
１２７ 第二の画像処理回路
１３０ 操作部材
２００、１５００ タイミング生成回路

Claims (12)

1. 第一の撮像手段と、
   第二の撮像手段と、
   前記第一の撮像手段が第一のフレームの画像データのための露光を行っている間に前記第二の撮像手段にて撮像された複数のフレーム間における被写体の動き量及び前記動き量の累積量を算出し、前記複数のフレームの画像データにおける前記被写体の動きを判定する判定手段と、
   前記判定手段が判定した結果に基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を止め、前記第一の撮像手段による前記第一のフレームの後の第二のフレームの画像データのための露光を開始する制御手段を有し、
   前記制御手段は、前記累積量が第一の閾値以上となった場合に、前記累積量が前記第一の閾値より大きい第三の閾値以上であれば、前記第一の撮像手段による前記第一のフレームの画像データのための露光を止めず、前記累積量が前記第三の閾値以上でなければ、前記第一の撮像手段による前記第一のフレームの画像データのための露光を止めることを特徴とする撮像装置。
2. 前記判定手段は、前記被写体の動き量として、動きベクトルを算出することを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、前記複数の画像データにおいて算出された複数の動きベクトルを追跡し、追跡した動きベクトルの長さの総和に基づいて、前記累積量を算出することを特徴とする請求項２に記載の撮像装置。
4. 前記判定手段は、複数の画素のそれぞれにおいて、前記複数の画像データにおいて算出された複数の動きベクトルを追跡し、追跡した複数の動きベクトルのうち、いずれか１つの動きベクトルの長さの総和に基づいて前記累積量を算出することを特徴とする請求項３に記載の撮像装置。
5. 前記判定手段は、算出した動きベクトルの信頼度を算出し、前記複数の画像データにおいて算出された複数の動きベクトルのうち、信頼度が所定値より低い動きベクトルを除外して、前記累積量を算出することを特徴とする請求項２のいずれか１項に記載の撮像装置。
6. 前記判定手段は、前記被写体の動き量として、画像データのフレーム間における画素の値の差分絶対値を算出することを特徴とする請求項１に記載の撮像装置。
7. 前記判定手段は、前記複数の画像データのフレーム間において算出された画素の値の差分絶対値の和を用いて、前記累積量を算出することを特徴とする請求項６に記載の撮像装置。
8. 前記判定手段は、前記第二の撮像手段にて撮像された複数のフレームの画像データから所定の複数の被写体を識別する識別手段を有し、前記複数の被写体の位置に基づいて前記被写体の動きを判定することを特徴とする請求項１に記載の撮像装置。
9. 前記制御手段が、前記判定手段が判定した結果に基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を止める前と後で、前記第一の撮像手段は信号の読み出し方式を変えることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記制御手段は、前記第二のフレームの画像データを記録するか否かを、ユーザの操作に応じて判断することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 撮像装置の制御方法であって、
    第一の撮像手段が第一のフレームの画像データのための露光を行っている間に第二の撮像手段にて撮像された複数のフレーム間における被写体の動き量及び前記動き量の累積量を算出し、前記複数のフレームの画像データにおける前記被写体の動きを判定し、
    前記被写体の動きに基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を止め、前記第一の撮像手段による前記第一のフレームの後の第二のフレームの画像データのための露光を開始する露光制御を行い、
    前記露光制御において、前記累積量が第一の閾値以上となった場合に、前記累積量が前記第一の閾値より大きい第三の閾値以上であれば、前記第一の撮像手段による前記第一のフレームの画像データのための露光を止めず、前記累積量が前記第三の閾値以上でなければ、前記第一の撮像手段による前記第一のフレームの画像データのための露光を止める、
    ことを特徴とする撮像装置の制御方法。
12. 撮像装置で用いられるプログラムであって、前記撮像装置に備えられたコンピュータに、
    第一の撮像手段が第一のフレームの画像データのための露光を行っている間に第二の撮像手段にて撮像された複数のフレームの画像データ間における被写体の動き量及び前記動き量の累積量を算出し、前記複数のフレームの画像データにおける前記被写体の動きを判定するステップと、
    前記被写体の動きに基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を止め、前記第一の撮像手段による前記第一のフレームの後の第二のフレームの画像データのための露光を開始する露光制御ステップを、
    実行させることを特徴とするプログラムであって、
    前記露光制御ステップでは、前記累積量が第一の閾値以上となった場合に、前記累積量が前記第一の閾値より大きい第三の閾値以上であれば、前記第一の撮像手段による前記第一のフレームの画像データのための露光を止めず、前記累積量が前記第三の閾値以上でなければ、前記第一の撮像手段による前記第一のフレームの画像データのための露光を止めることを特徴とするプログラム。

Images