JP7123544B2 - 撮像装置、撮像装置の方法、および、プログラム - Google Patents

Description

本発明は、ぶれを抑制した画像を撮像するための技術に関するものである。

近年、スマートフォンに搭載されたカメラやデジタルカメラなどの撮像装置において、シャッタスピードを優先する撮影モードを搭載するものが知られている。この撮影モードは、撮像者が所望のシャッタスピードを設定し、絞り値やＩＳＯ感度といったシャッタスピード以外の露出設定値を撮像装置が自動で設定する撮影モードである。撮像者は、この撮影モードを用いることにより、好みのシャッタスピードで撮像することができる。例えば、露光時間の短いシャッタスピードを設定することで、滝の水しぶきやレーシングカーといった動きの速い被写体に対しても、被写体ぶれが少ない画像を撮像することができる。特許文献１には、静止画の撮像前に撮像した画像から被写体の動き量を検出し、その検出結果に基づいて、シャッタスピードを決定する撮像装置が開示されている。

被写体ぶれが少ない画像を撮像するためには、露光時間の短い高速のシャッタスピードにて撮像する必要がある。しかしながら、撮像前に高速なシャッタスピードを設定して撮像したとしても、被写体が予想以上に速く動いてしまうと、ぶれた画像が撮像されてしまうことがある。とはいえ、シャッタスピードを極端に高速側に設定してしまうと、記録用の画像としては露光量が大きく不足してしまうことになる。

そこで、特許文献２に開示されているように、記録用の画像データを生成するための撮像装置とは別に、被写体の動きを検出するために高いフレームレートで撮像を行う撮像装置を設ける構成とすることが考えられる。

特開２００６－１９７１９２号公報 特開２０１６－１９７７９５号公報

被写体の動きを検出するために高いフレームレートで撮像を行うためには、処理する信号の量を減らす必要がある。そのため、被写体の動きを検出するための撮像装置の撮像素子から信号を読み出す画素の数を、記録用の画像を撮像する撮像装置の撮像素子から信号を読み出す画素の数に比べ、小さくする必要がある。

しかしながら、読み出す画素の数を減らしてしまうと、この画像データの解像度が低下し、かつ、この画像データから得られるぶれや動きの分解能が低くなってしまう。その結果、記録用の画像データにおいて要求されるぶれや動きの分解能に対して、被写体の動きを検出するための撮像装置において生成された画像データから検出できるぶれや動きの分解能が低くなってしまう。

本発明は、上記の問題点を鑑みてなされたものであり、好適な精度で被写体の動きやぶれを検出することを目的とする。

上記課題を解決するため、本願発明の撮像装置は、第一の撮像手段と、第二の撮像手段と、前記第一の撮像手段が第一のフレームの画像データのための露光を行っている間に前記第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける被写体の動き量を算出する算出手段と、前記第一の撮像手段で生成される画像データの動きの分解能、前記第二の撮像手段で生成される画像データの動きの分解能、および、前記第一の撮像手段におけるぶれの許容値に応じて、前記第二の撮像手段が備える光学系の結像倍率と、前記第二の撮像手段における信号のサンプリングピッチの少なくとも一方を設定する設定手段を有することを特徴とするものである。

同様に、上記課題を解決するため、本願発明の撮像装置は、第一の撮像手段を有する外部の撮像装置に着脱可能な撮像装置であって、第二の撮像手段と、第一の撮像手段が第一のフレームの画像データのための露光を行っている間に第二の撮像手段にて撮像された複数のフレームの画像データを用いて、複数のフレームの画像データにおける被写体の動き量を算出する算出手段と、第一の撮像手段で生成される画像データの動きの分解能、第二の撮像手段で生成される画像データの動きの分解能、および、第一の撮像手段におけるぶれの許容値に応じて、第二の撮像手段が備える光学系の結像倍率と、第二の撮像手段における信号のサンプリングピッチの少なくとも一方を設定する設定手段を有することを特徴とするものである。

本発明によれば、好適な精度で被写体の動きやぶれを検出することができる。

本発明の第一の実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の第一の実施形態に係るタイミング生成回路の構成例を示すブロック図である。 本発明の第一の実施形態の高速撮影モードにおける撮像処理のフローチャートである。 本発明の第一の実施形態の高速撮影モードにおける撮像処理のフローチャートである。 撮像装置と被写体の位置関係を説明するための図である。 本発明の第一の実施形態の第一の撮像素子、第二の撮像素子、および、タイミング生成回路による動作を説明するための図である。 本発明の第一の実施形態の動きベクトル算出回路による動きベクトルおよび動きベクトルの信頼度の算出処理のフローチャートである。 動きベクトルの算出方法を説明するための図である。 ブロックマッチング法による動きベクトルの算出方法を説明するための図である。 ３点内挿の計算方法を説明するための図である。 複数のフレーム間の動きベクトルを示す図である。 本発明の第一の実施形態および第二の実施形態における第一の撮像素子と第二の撮像素子の構成を比較した表である。 本発明の第二の実施形態の高速撮影モードにおける撮像処理のフローチャートである。 本発明の第二の実施形態の高速撮影モードにおける撮像処理のフローチャートである。 本発明の第三の実施形態に係るタイミング生成回路の構成例を示すブロック図である。 本発明の第三の実施形態の高速撮影モードにおける撮像処理のフローチャートである。 本発明の第一の実施形態の第一の撮像素子、第二の撮像素子、および、タイミング生成回路による動作を説明するための図である。

以下、本発明の実施形態について、添付図面を用いて詳細に説明する。ここでは、本発明の実施形態に係る撮像装置として、所謂、デジタルカメラを取り上げることとするが、本発明はこれに限定されるものではない。撮像機能を有する他の装置、例えば、デジタルビデオカメラ、携帯電話、スマートフォン、その他の携帯型電子機器等として実施されても良い。

（第一の実施形態）
本発明の第一の実施形態では、露光中の期間における動きベクトルを用いた動き解析結果に基づき、露光終了のタイミングを決めることにより、ぶれの少ない画像を撮像する撮像装置の説明を行う。以下、本発明の第一の実施形態について説明する。

図１は、本発明第一の実施形態に係る撮像装置１００の構成例を示すブロック図である。撮像装置１００は、第一の撮像システム１１０、第二の撮像システム１２０、および、操作部材１３０より構成される。

まず、第一の撮像システム１１０について説明する。第一の制御回路１１１は、例えばＣＰＵやＭＰＵなどのプロセッサである。第一の制御回路１１１は、第一の撮像システム１１０が備える各ブロックの動作プログラムを後述の第一のＲＯＭ１１２より読み出し、後述の第一のＲＡＭ１１３に展開して実行することにより第一の撮像システム１１０が備える各ブロックの動作を制御する。また、第一の制御回路１１１は、第一の撮像システム１１０および第二の撮像システム１２０の全体の動作を統括し、制御する。第一のＲＯＭ１１２は、電気的に消去および記録が可能な不揮発性メモリであり、第一の撮像システム１１０が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。第一のＲＡＭ１１３は、書き換え可能な揮発性メモリであり、第一の撮像システム１１０が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

第一の光学系１１４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の第一の撮像素子１１５に結像する。第一の撮像素子１１５は、例えば複数色のカラーフィルタを備えたＣＣＤやＣＭＯＳセンサ等で構成されている。第一の撮像素子１１５は、第一の光学系１１４により第一の撮像素子１１５に結像された光学像を光電変換し、得られたアナログ画像信号を第一のＡ／Ｄ変換回路１１６に出力する。また、第一の撮像素子１１５は、操作部材１３０に含まれるシャッタボタンが全押しされたタイミングに基づき露光を開始し、後述の露光終了のタイミング生成回路２００より出力された露光終了のタイミングを指示する信号に基づき露光を終了する。第一のＡ／Ｄ変換回路１１６は、入力されたアナログ画像信号をデジタル画像信号に変換し、得られたデジタル画像データを第一のＲＡＭ１１３に出力する。

第一の画像処理回路１１７は、第一のＲＡＭ１１３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ノイズ補正、ガンマ処理、輝度／色差信号への変換、および、収差補正など、様々な画像処理を適用する。画像出力回路１１８は、第一の画像処理回路１１７で処理された画像データを、第一のＲＡＭ１１３を介して受け取り、外部装置に出力するための回路である。具体的には、撮像装置１００に着脱可能な記録メディアに対して画像データの読み出しや書き込みを行ったり、無線あるいは有線通信機能を用いてスマートフォンやサーバーなどと画像の送受信を行ったりする。表示装置１１９は、ＬＣＤや有機ＥＬディスプレイ等の表示デバイスであり、第一のＲＡＭ１１３に記録した画像を表示する。

次に、第二の撮像システム１２０について説明する。第二の制御回路１２１は、例えばＣＰＵやＭＰＵなどのプロセッサである。第二の制御回路１２１は、第二の撮像システム１２０が備える各ブロックの動作プログラムを後述の第二のＲＯＭ１２２より読み出し、後述の第二のＲＡＭ１２３に展開して実行することにより第二の撮像システム１２０が備える各ブロックの動作を制御する。第二のＲＯＭ１２２は、電気的に消去および記録が可能な不揮発性メモリであり、第二の撮像システム１２０が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。第二のＲＡＭ１２３は、書き換え可能な揮発性メモリであり、第二の撮像システム１２０が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

第二の光学系１２４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の第二の撮像素子１２５に結像する。第二の撮像素子１２５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、第二の光学系１２４により第二の撮像素子１２５に結像された光学像を光電変換し、得られたアナログ画像信号を第二のＡ／Ｄ変換回路１２６に出力する。第二の撮像素子１２５は、動きやぶれを検出するために用いる素子であるため、必ずしも複数色のカラーフィルタを備えている必要はなく、単色（ホワイト）のフィルタや赤外フィルタを備えた構成としてもよい。第二のＡ／Ｄ変換回路１２６は、入力されたアナログ画像信号にデジタル画像信号に変換し、得られたデジタル画像データを第二のＲＡＭ１２３に出力する。

第二の画像処理回路１２７は、第二のＲＡＭ１２３に記憶されている画像データに対して、簡易的なノイズ補正やガンマ処理など、様々な画像処理を適用する。第二の撮像素子１２５が複数色のカラーフィルタを備えているのであれば、色補間、あるいは輝度信号への変換処理も行う。また、第二の画像処理回路１２７は、タイミング生成回路２００を具備しており、第二のＲＡＭ１２３に記憶されている画像データを用いた動き解析結果に基づき、第一の撮像素子１１５の露光終了のタイミングを指示する信号を生成する。なお、露光終了のタイミングを指示する信号は、第二の制御回路１２１を介して第一の撮像システム１１０に出力される。第一の撮像システム１１０ではこの信号を受け取ると、第一の制御回路１１１が第一の撮像素子１１５の露光を終了させるよう制御する。

操作部材１３０は、ユーザからの指示を受け付ける操作部材であり、シャッタボタンやダイヤルキーを含む。また、表示装置１１９がタッチパネル機能を備えるようにしてもよい。ユーザがこれらの操作部材を操作することで生成される信号は、第一の撮像システム１１０と第二の撮像システム１２０の駆動制御に反映される。

なお、ここでは第一の撮像システム１１０と第二の撮像システム１２０が、撮像装置１００として一体的に構成されている例を上げて説明を行ったが、これに限られるものではない。例えば、第一の撮像システム１１０と操作部材１３０がカメラ本体であり、第二の撮像システム１２０は、カメラ本体と着脱可能な撮像装置としてもよい。つまり、第二の撮像システム１２０は、外部の撮像装置に着脱可能な撮像装置であってもよい。また、第一の撮像システム１１０が一眼レフカメラであるとするならば、第一の光学系１１４を含む交換レンズ装置は、第一の撮像素子１１５乃至表示装置１１９、および、操作部材１３０を含むカメラ本体に対して着脱可能な構成となる。

また、第二の制御回路１２１の機能を第一の制御回路１１１が兼用するようにすれば、第二の制御回路１２１を省くことも可能である。また、第二の撮像システム１２０は第二の光学系１２４、第二の撮像素子１２５、第二のＡ／Ｄ変換回路１２６、および、第二のＲＡＭ１２３のみを有し、他の構成要素を第一の撮像システム１１０が兼用するようにしてもよい。こうすることで、第二の撮像システム１２０を別のカメラ装置とした場合に、その構成を簡素化することが可能となる。

ここで、第一の撮像素子１１５が記録用の画像を生成することを目的とするのに対して、第二の撮像素子１２５は素早く移動する被写体の動きを検出することを目的としており、必要とされるフレームレートが互いに異なる。図１２（ａ）に、本実施形態における第一の撮像素子１１５と第二の撮像素子１２５の構成を比較した表を示す。本実施形態では、第一の撮像素子１１５のフレームレートが２０ｆｐｓ（フレーム／秒）であるのに対し、第二の撮像素子１２５のフレームレートは１０００ｆｐｓであるものとする。

そのため、第二の撮像素子１２５は、第一の撮像素子１１５よりも、より短い露光時間となるシャッタスピードを設定することができる。そして、このシャッタスピードを実現可能とするため、第二の撮像素子１２５は第一の撮像素子１１５よりも感度を高くする必要がある。そこで、第二の撮像素子１２５は、第一の撮像素子１１５に対して、画素数を減らす代わりに、画素ピッチが大きくなるように構成されている。具体的には、図１２（ａ）に示すように、撮像部の水平サイズは第一の撮像素子１１５が３６ｍｍであるのに対して、第二の撮像素子１２５は４ｍｍである。水平画素数は第一の撮像素子１１５が６４００画素であるのに対して、第二の撮像素子１２５は６４０画素である。画素ピッチは第一の撮像素子１１５が５．６２μｍであるのに対して、第二の撮像素子１２５は６．２５μｍである。

次に、第二の撮像システム１２０の第二の画像処理回路１２７が具備する、タイミング生成回路２００の構成について図２を用いて説明する。このタイミング生成回路２００は、第二の撮像素子１２５が高速のフレームレートで撮像して第二のＲＡＭ１２３に記憶した画像データの動きベクトルを検出することで、動きの解析を行う。この画像データは、第二の撮像素子１２５が複数色のカラーフィルタを備えた構成であるならば、色補間や輝度信号への変換処理が先に行われており、各画素が同じ成分の信号を備えているものとする。そして、この動きの解析結果に基づいて、第一の撮像素子１１５の露光終了のタイミングを決定し、第一の撮像素子１１５の露光を終了させるための信号を、第一の撮像システム１１０に出力する。

図２は、第一の実施形態に係るタイミング生成回路の構成例を示すブロック図である。図２において、タイミング生成回路２００は、動きベクトル算出回路２０１、累積量算出回路２０２、代表累積量算出回路２０３およびタイミング決定回路２０４より構成する。

次に、本発明の第一の実施形態の撮像装置１００における高速撮影モードにおける撮像処理について、図３および図４のフローチャートを用いて説明する。図３および図４は、第一の実施形態の高速撮影モードにおける撮像処理のフローチャートである。図３のフローチャートは撮像装置１００の電源がオンになると開始される。

ステップＳ３０１において、第一の制御回路１１１は撮影モードが設定されているかを判定し、設定されていなければステップＳ３０２に進み、設定されていればステップＳ３０５に進む。

ステップＳ３０２において、第一の制御回路１１１はぶれレベルの設定メニューが選択されているかを判定し、他の処理が選択されていればステップＳ３０３に進み、ステップＳ３０３において他の処理を行う。第一の制御回路１１１はぶれレベルの設定メニューが選択されていれば、ステップＳ３０４に進む。

ステップＳ３０４において、第一の制御回路１１１は表示装置１１９にぶれレベル設定のための画面の表示し、ユーザによる操作部材１３０の操作結果に応じて、ぶれのレベルを設定する。例えば、第一の表示装置１１９にぶれレベルが「標準」から「低」に向けて段階的なレベルが表示され、ユーザが選択できるようになっている。ユーザが「低」に近い段階のぶれレベルを選択するほど、撮像した画像に含まれるぶれが小さくなるように、後述する閾値が設定される。本実施形態では、ユーザが最もぶれが小さくなるぶれレベル「低」を選択したものとして説明を行う。

ぶれレベルが選択されると、第一の制御回路１１１は、第一の撮像システム１１０におけるぶれ許容値を決定し、第二の制御回路１２１は、このぶれ許容値に基づいて後述のステップＳ３２２で用いる閾値を設定する。ぶれレベル「低」の場合、ぶれ許容値は許容錯乱円径に設定されるものとする。ここで許容錯乱円径とは、明視距離２５０ｍｍで写真を観察するときに、視力１．０の観察者が解像可能な限界値を表し、３６×２４ｍｍの撮像素子上では約２０μｍになる。本発明第一の実施形態では第一の撮像素子１１５の４画素分のピッチ２２．４８μｍ（５．６２×４）を許容錯乱円径とする。ぶれレベルおよび閾値の設定を終えると、ステップＳ３０１に戻る。

ステップＳ３０５において、第一の制御回路１１１は第一の撮像素子１１５を起動する。

ステップＳ３０６において、第一の制御回路１１１は撮影モードとして高速撮影モードが選択されているかを判定し、選択されていなければステップＳ３０７に進み、ステップＳ３０７においてその他の撮影モードの処理を行う。第一の制御回路１１１は、高速撮影モードが選択されていればステップＳ３０８に進む。

ステップＳ３０８において、第一の制御回路１１１は第一の撮像素子１１５から得られる被写体のコントラスト値、あるいは、不図示の測距センサの出力に基づいて、第一の光学系１１４を駆動して自動フォーカス制御（ＡＦ）を行う。

ステップＳ３０９において、第一の制御回路１１１は第一の撮像素子１１５から得られる被写体の輝度値に基づいて、第一の撮像素子１１５のための自動露出制御（ＡＥ）を行う。

ステップＳ３１０において、第一の制御回路１１１は操作部材１３０に含まれるシャッタスイッチが半押しされることによって、シャッタスイッチ内のＳＷ１がオンになったかを判定し、オンになるまでステップＳ３０８およびＳ３０９を繰り返す。

ステップＳ３１０においてＳＷ１がオンになると、ステップＳ３１１において、第二の制御回路１２１は第二の撮像素子１２５を起動する。

ステップＳ３１２において、第一の制御回路１１１は、ＳＷ１がオンになった際に選択された主被写体に対して、第一の光学系１１４を用いたＡＦを行う。

ステップＳ３１３において、第一の制御回路１１１は、ＳＷ１がオンになった際に選択された主被写体に対して第一の撮像素子１１５のためのＡＥを行う。

ステップＳ３１４において、第二の制御回路１２１は、第一の制御回路１１１から第一の光学系１１４のズーム情報を受信し、第二の光学系１２４のズーム状態を制御する。この第二の光学系１２４のズーム状態を制御について、図５を用いて説明する。

図５は、ＳＷ１がオンされたときの撮像装置１００と被写体５００の位置関係を説明するための図である。図５において、撮像装置１００の第一の光学系１１４は焦点距離３００ｍｍであり、４０ｍ先を０．３ｍ／ｓｅｃ（３００ｍｍ／ｓｅｃ）で移動する被写体５００を撮像しようとしている。なお、被写体５００は第一の光学系１１４の光軸近傍を移動しているものとする。以降の説明において、４０ｍ先を物面と呼ぶ。また、被写体５００の移動速度は、被写体５００までの距離情報と、フレーミング中に得られる画像から後述の動きベクトルを算出することで計測することができる。

また、本実施形態における第一の光学系１１４の結像倍率は、被写体までの距離÷焦点距離で求められるため、４０×１０００÷３００＝１３３．３となる。

第一の撮像素子１１５の全体が捉えている物面での被写体の画角は、１３３．３×５．６２×６４００／１０００＝４７９５．７ｍｍである。

ここで、ＳＷ１がオンになる前は、第一の撮像システム１１０と第二の撮像システム１２０で得られる画像の画角が同じであるとする。このとき、第二の光学系１２４の結像倍率は４７９５．７×１０００÷６．２５÷６４０＝１１９８．９であり、焦点距離は４０×１０００÷１１９８．９＝３３．３ｍｍである。また、このとき第二の撮像素子１２５における単位画素あたりの物面での被写体サイズは、１１９８．９×６．２５÷１０００＝７．５ｍｍである。この値に後述する動きベクトルの算出の分解能を掛け合わせた値が第二の撮像素子１２５で捉えることができる動きの分解能となる。動きベクトルの算出の分解能を０．５画素とすると、動きの分解能は７．５×０．５＝３．７５ｍｍとなる。

一方、第一の撮像素子１１５における単位画素あたりの物面での被写体サイズは、１３３．３×５．６２÷１０００＝０．７５ｍｍとなり、ぶれ許容値は４画素分なので０．７５×４＝３．０ｍｍとなる。そのため、このままでは第二の撮像素子１２５の動きの分解能よりもぶれ許容値のほうが小さいので、第二の撮像素子１２５を用いたとしても、第一の撮像素子１１５のぶれが許容値以下であるかを判定することができない。

そこで、第二の制御回路１２１は第二の光学系１２４の焦点距離を望遠側に移動してズームを行い、第二の撮像素子１２５における動き検知の分解能を上げる。

３００ｍｍ／ｓｅｃで移動する被写体４００がぶれ許容値３．０ｍｍに達する時間は３．０÷３００×１０００＝１０．０ｍｓｅｃである。

そのため、第二の撮像システム１２０における単位フレーム（１ｍｓｅｃ）あたりに求められる動きの分解能は３．０÷１０．０÷０．５＝０．６ｍｍとなる。

そこで、第二の制御回路１２１は、第二の光学系１２４の結像倍率を０．６×１０００÷６．２５＝９６．０、焦点距離を４０×１０００÷９６．０＝４１６．６ｍｍに移動すれば、動きの分解能がぶれ許容値よりも細かくなる。こうすることで、第二の撮像素子１２５で得られた画像データを用いて動き検知結果に基づいて、第一の撮像素子１１５の露光終了のタイミングを制御し、被写体４００を許容錯乱円径以下のぶれで撮像することが可能となる。

なお、第二の光学系１２４を望遠側にズームしているので、第二の撮像素子１２５の画角は第一の撮像素子１１５と異なっており、第二の撮像素子１２５の画角は、９６．０×６．２５×６４０／１０００＝３８４．０ｍｍである。このように焦点距離を大きくし、ズーム位置を望遠側に移動すると画角が狭くなるため、光軸近傍以外に被写体が存在する場合には、被写体が視野外になってしまう可能性がある。その場合、公知の光軸や撮像素子の位置を移動する技術を用いて、光軸から外れた領域に視野を移動することができる構成とするのがよい。

図３に戻り、ステップＳ３１５において、第二の制御回路１２１は、ＳＷ１がオンになった際に選択された主被写体の情報に基づいて第二の光学系１２４を用いたＡＦを行う。

ステップＳ３１６において、第二の制御回路１２１は、ＳＷ１がオンになった際に選択された主被写体の情報に基づいて第二の撮像素子１１５のためのＡＥを行う。

ステップＳ３１７において、第一の制御回路１１１は操作部材１３０に含まれるシャッタスイッチが全押しされることによって、シャッタスイッチ内のＳＷ２がオンになったかを判定し、オンになるまでステップＳ３１２乃至Ｓ３１６を繰り返す。

ステップＳ３１７においてＳＷ２がオンになると、図４のステップＳ３１８において、第一の制御回路１１１は、ステップＳ３１３にて行ったＡＥの結果に基づいて露光期間を設定し、第一の撮像素子の露光を開始する。

ステップＳ３１９において、第二の制御回路１２１は、１０００ｆｐｓ、あるいは、第一の撮像素子１１５に対して設定されたフレームレートの所定倍（例えば、５０倍）となるフレームレートを設定し、第二の撮像素子１２５の露光を開始する。第二の撮像素子１２５は設定したフレームレートに応じた露光時間に達すると、得られたアナログ画像信号を第二のＡ／Ｄ変換回路１２６に出力するとともに、すぐさま次の露光を開始する処理を繰り返す。すなわち、第一の撮像素子１１５の１回の露光期間の間に、それよりも早いフレームレートで、第二の撮像素子１２５の露光が繰り返し行われる。

ここで、図６は、第一の撮像素子１１５、第二の撮像素子１２５、および、タイミング生成回路２００による動作を説明するための図である。図６の時刻Ｔ０において、ユーザによりシャッタボタンが全押しされてＳＷ２がオンになると、すぐさま第一の撮像システム１１０における第一の撮像素子１１５は露光を開始する。さらに、第二の撮像システム１２０における第二の撮像素子１２５は高速フレームレートで画像の撮像を開始する。第二の撮像素子１２５は、ＳＷ２がオンになった時刻Ｔ０の後は、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３・・・において短い露光時間で連続して撮像を行う。

ステップＳ３２０において、タイミング生成回路２００内の動きベクトル算出回路２０１が、第二の撮像素子１２５で得られた画像データのフレーム間における動きベクトルおよび動きベクトルの信頼度を算出する。動きベクトルとは、フレーム間における被写体の水平方向の移動量と垂直方向の移動量をベクトルとして表したものである。動きベクトルの算出方法について、図７乃至図９を用いて詳しく説明する。

図７は、動きベクトル算出回路２０１による動きベクトルおよび動きベクトルの信頼度の算出処理を示すフローチャートである。図８は動きベクトルの算出方法を説明するための図であり、図８（ａ）はＭ番目フレームの画像データを示す図であり、図８（ｂ）はＭ＋１番目フレームの画像データを示す図である。また、図８（ｃ）は、Ｍ番目フレームとＭ＋１番目フレームの間における動きベクトルを示す図である。図８（ｃ）の動きベクトルは、簡略化のため、代表的な動きベクトルのみを記載している。なお、Ｍは正の整数である。図９は、ブロックマッチング法による動きベクトルの算出方法を説明するための図である。なお、本実施形態では、動きベクトルの算出手法として、ブロックマッチング法を例に挙げて説明するが、動きベクトルの算出手法はこの例に限定されず、例えば勾配法でもよい。

図７のステップ７０１において、動きベクトル算出回路２０１には、時間的に隣接する２つのフレームの画像データが入力される。そして、動きベクトル算出回路２０１は、Ｍ番目フレームを基準フレームに設定し、Ｍ＋１番目フレームの参照フレームに設定する。

図７のステップ７０２において、動きベクトル算出回路２０１は、図９のように、基準フレーム９０１において、Ｎ×Ｎ画素の基準ブロック９０２を配置する。

図７のステップ７０３において、動きベクトル算出回路２０１は、図９のように、参照フレーム９０３に対し、基準フレーム９０１の基準ブロック９０２の中心座標と同座標９０４の周囲（Ｎ＋ｎ）×（Ｎ＋ｎ）画素を、探索範囲９０５として設定する。

図７のステップ７０４において、動きベクトル算出回路２０１は、基準フレーム９０１の基準ブロック９０２と、参照フレーム９０３の探索範囲９０５内に存在する異なる座標のＮ×Ｎ画素の参照ブロック９０６との相関演算を行い、相関値を算出する。相関値は、基準ブロック９０２および参照ブロック９０６の画素に対するフレーム間の差分絶対値の和に基づき算出する。つまり、フレーム間の差分絶対値の和の値が最も小さい座標が、最も相関値が高い座標となる。なお、相関値の算出方法は、フレーム間の差分絶対値の和を求める方法に限定されず、例えばフレーム間の差分二乗和や正規相互相関値に基づく相関値を算出する方法でもよい。図９の例では、参照ブロック９０６が最も相関が高いことを示しているとする。なお、公知の技術を用いて動きベクトルをサブピクセル単位で算出することができる。具体的には、図１０に示す連続した相関値データＣ（ｋ）において、下記（１）～（４）式による３点内挿の手法を用いる。

ｘ＝ｋ＋Ｄ÷ＳＬＯＰ・・・（１）
Ｃ（ｘ）＝Ｃ（ｋ）－｜Ｄ｜・・・（２）
Ｄ＝｛Ｃ（ｋ－１）－Ｃ（ｋ＋１）｝÷２・・・（３）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋ＋１）－Ｃ（ｋ）、Ｃ（ｋ－１）－Ｃ（ｋ）｝・・・（４）

ただし、図１０ではｋ＝２である。

なお、本発明第一の実施形態ではサブピクセル単位の分解能を０．５画素とする。また、（１）はｘ成分に関する式だが、同様にしてｙ成分も算出できる。

図７のステップ７０５において、動きベクトル算出回路２０１は、ステップ７０４で求めた最も高い相関値を示す参照ブロックの座標に基づいて動きベクトルを算出し、その動きベクトルの相関値を動きベクトルの信頼度とする。図９の例の場合、参照フレーム９０３の探索範囲９０５の中で、基準フレーム９０１の基準ブロック９０２の中心座標に対応した同座標９０４と、参照ブロック９０６の中心座標に基づき動きベクトルが求められる。つまり、同座標９０４から参照ブロック９０６の中心座標までの座標間距離と方向が動きベクトルとして求められる。また、その動きベクトル算出時における参照ブロック９０６との相関演算結果である相関値が動きベクトルの信頼度として求められる。なお、動きベクトルの信頼度は、基準ブロックと参照ブロックとの相関値が高いほど高くなる。

図７のステップ７０６において、動きベクトル算出回路２０１は、基準フレーム７０１の全画素について動きベクトルを算出したか否か判定する。動きベクトル算出回路２０１は、ステップ７０６において全画素の動きベクトルを算出していないと判定した場合には、ステップ７０２に処理を戻す。そして、ステップ７０２では、動きベクトルが算出されていない画素を中心として前述した基準フレーム７０１にＮ×Ｎ画素の基準ブロック９０２が配置され、以下前述同様に、ステップ７０３からステップ７０５の処理が行われる。すなわち、動きベクトル算出回路２０１は、図９の基準ブロック９０２を移動させながら、ステップ７０２からステップ７０５までの処理を繰り返して、基準フレーム９０１の全画素の動きベクトルを算出する。この動きベクトルの例を図８（ｃ）に示す。図８の例では、図８（ａ）のＭ番目のフレームと図８（ｂ）のＭ＋１番目のフレームの間で、人が左から右に移動している例を示している。このように被写体が移動している場合の動きベクトルの代表例を図８（ｃ）に示している。図８（ｃ）に示す動きベクトルは、Ｍ番目のフレームに存在している被写体位置を動きベクトルの始点とし、それに対応するＭ＋１番目のフレームの被写体位置を動きベクトルの終点としている。なお、動きベクトル算出回路２０１は、全画素の動きベクトルを算出するのではなく、全画素よりも少ない所定画素において動きベクトルを算出してもよい。

以上のような処理により、時間的に隣接する２枚の高速撮像フレーム間における動きベクトルおよび動きベクトルの信頼度を算出する。

なお、被写体の移動速度が変化する場合もある。そのため、時間的に隣接する２つのフレーム間における動きベクトルの大きさから物面における移動速度に換算し、前述の計算方法で、第一の撮像素子１１５の露光中に第二の光学系の焦点距離、結像倍率、画角を適宜変更する構成とするのがよい。

次に、動きベクトル算出回路２０１が、第二の撮像素子１２５から得られた画像データに対して動きベクトルおよび動きベクトルの信頼度を算出する時系列動作について、図６を参照して説明する。

動きベクトル算出回路２０１は、時刻Ｔ１において、時刻Ｔ０と時刻Ｔ１で得られた画像データのフレーム間の動きベクトルおよび動きベクトルの信頼度を前述の図７のフローチャートの処理に基づき算出する。その後、時刻Ｔ２において、時刻Ｔ１と時刻Ｔ２で得られた画像データのフレーム間の動きベクトルおよび動きベクトルの信頼度を算出する。時刻Ｔ３以後、同様の処理を繰り返し、第二の撮像素子１２５から得られた画像データのフレーム間における動きベクトルおよび動きベクトルの信頼度を算出する。

以上が、図４のステップＳ３２０における動きベクトルの算出方法についての説明である。

図４に戻り、ステップＳ３２１において、累積量算出回路２０２は、ステップ３２０において算出した動きベクトルを複数フレームにおいて追跡し、動きベクトルの累積量を算出する。そして、代表累積量算出回路２０３は、算出した動きベクトルの累積量に基づき、フレーム全体を代表する代表累積量を決定する。

まず動きベクトルの累積量の算出方法について、図１１を用いて説明する。図１１は、ステップＳ３２０において算出した複数のフレーム間の動きベクトルを示す図である。なお、説明の簡略化のため、時刻Ｔ０から時刻Ｔ３までの期間における動きベクトルの累積量の算出方法について説明するが、それ以降の期間に関しても同様の方法で動きベクトルの累積量を算出するものとする。

図１１において、動きベクトル１１０１は、図６の時刻Ｔ０のフレームと時刻Ｔ１のフレームとの間で算出された動きベクトルを示す。動きベクトル１１０２は、図６の時刻Ｔ１のフレームと時刻Ｔ２のフレームとの間で算出された動きベクトルを示す。動きベクトル１１０３は、図６の時刻Ｔ２のフレームと時刻Ｔ３のフレームとの間で算出された動きベクトルを示す。

累積量算出回路２０２は、時刻Ｔ０と時刻Ｔ１のフレーム間で算出した動きベクトル１１０１の終点座標Ｑを始点座標とする動きベクトルを、時刻Ｔ１と時刻Ｔ２のフレーム間で算出した動きベクトルの中から検索する。そして、条件を満たす動きベクトル１１０２を、動きベクトル１１０１と連結する。また、累積量算出回路２０２は、時刻１と時刻Ｔ２のフレーム間で算出した動きベクトル１１０２の終点座標Ｒを始点座標とする動きベクトルを、時刻Ｔ２と時刻Ｔ３のフレーム間で算出した動きベクトルの中から検索する。そして、条件を満たす動きベクトル１１０３を、動きベクトル１１０２と連結する。これ以降の期間においても同様の処理により、動きベクトルを連結していく。

このような複数フレームにおける動きベクトルの連結処理を時刻Ｔ０で算出した全ての動きベクトルに対して行うことにより、全画素の追跡動きベクトルを算出する。なお、算出した追跡動きベクトルにより、時刻Ｔ０において座標Ｐに存在した被写体が、時刻Ｔ１では座標Ｑに移動し、時刻Ｔ２では座標Ｒに移動し、時刻Ｔ３では座標Ｓに移動したことが分かる。

次に、累積量算出回路２０２が、追跡動きベクトルに基づき、動きベクトルの累積量を算出する方法について説明する。

累積量算出回路２０２は、式（５）のように追跡動きベクトルの長さを動きベクトルの累積量（ＶｅｃＬｅｎ）として算出する。

ＶｅｃＬｅｎ＝ＶｅｃＬｅｎ１＋ＶｅｃＬｅｎ２＋ＶｅｃＬｅｎ３・・・（５）

ＶｅｃＬｅｎ１は、時刻Ｔ０と時刻Ｔ１のフレーム間で算出した動きベクトル１１０１の動きベクトルの長さを示す。ＶｅｃＬｅｎ２は、時刻Ｔ１と時刻Ｔ２のフレーム間で算出した動きベクトル１１０２の動きベクトルの長さを示す。ＶｅｃＬｅｎ３は、時刻Ｔ２と時刻Ｔ３のフレーム間で算出した動きベクトル１１０３の動きベクトルの長さを示す。累積量算出回路２０２は、式（５）に基づき、追跡動きベクトルを構成する動きベクトルの長さの総和を動きベクトルの累積量として算出する。以上のような動きベクトルの累積量の算出処理を全画素の追跡動きベクトルに対して行い、全画素の動きベクトルの累積量を算出する。

なお、累積量算出回路２０２は、動きベクトルの信頼度が所定値よりも低い動きベクトルに関しては、式（５）による動きベクトルの長さの総和処理から除外しても良い。また、累積量算出回路２０２は、動きベクトルの信頼度が所定値よりも低い動きベクトルおよび時間的にそれ以降の動きベクトルに関しては、式（５）による動きベクトルの長さの総和処理から除外しても良い。これにより、動きベクトルの信頼度が高い動きベクトルのみを用いた動きベクトルの累積量を算出することができる。また、それぞれの動きベクトルをＸ方向の成分とＹ方向の成分に分離し、それぞれの方向毎に動きベクトルの長さの総和を求めるようにしてもよい。

次に、代表累積量の算出方法について説明する。代表累積量算出回路２０３は、フレーム内の全画素から得られた動きベクトルの累積量のうちの最大値を選択し、選択した最大の動きベクトルの累積量を代表累積量として決定する。このような処理をフレーム毎に行うことにより、図６に示すように、フレーム毎に１つの代表累積量を算出する。

なお、代表累積量算出回路２０３による代表累積量は、フレーム内の全画素の動きベクトルの累積量のうちの最大値に基づくものに限られるものではなく、フレーム内の全画素の動きベクトルの累積量の平均値や中央値でも良い。また、動きベクトルの累積量をＸ方向の成分とＹ方向の成分に分離した場合には、それぞれの方向における代表累積量を決定するようにしてもよい。

図４に戻り、ステップＳ３２２において、タイミング決定回路２０４は、代表累積量が閾値以上になったかを判定し、閾値以上になっていなければステップＳ３２３に進む。

ステップＳ３２３において、第一の撮像システム１１０の第一の制御回路１１１は、第一の撮像素子１１５の露光時間がステップＳ３１３で行ったＡＥに基づいて設定された露光時間に達したかを判定し、達していなければステップＳ３２２に戻る。第一の撮像素子の露光時間がステップＳ３１３で行ったＡＥに基づいて設定された露光時間に達していれば、ステップＳ３２５に進む。

ステップＳ３２５において、第一の制御回路１１１は第一の撮像素子１１５の露光を停止する。

反対に、ステップＳ３２２において、タイミング決定回路２０４は代表累積量が閾値以上なっていればステップＳ３２４に進む。

ステップＳ３２４において、タイミング決定回路２０４は、第一の撮像システム１１０に露光終了を指示するための信号を出力する。この処理は、代表累積量が閾値以上になったことが判定されるとすぐに行われる。図６に示す例では、時刻Ｔ８までの各フレーム間で算出した動きベクトルに基づく代表累積量が閾値以上になっている。そのため、この時点でタイミング決定回路２０４は、第二の制御回路１２１を介して、第一の撮像システム１１０に露光終了を指示するための信号を出力する。なお、Ｘ方向とＹ方向で別々に代表累積量を求めた場合には、いずれか一方の代表累積量が閾値以上となった場合に、露光終了を指示するための信号を出力する。

つまり、代表累積量が閾値以上になったことが判定されるとすぐにステップＳ３２５に進み、第一の制御回路１１１は、第一の撮像素子１１５の露光時間が適正時間に達していなくとも第一の撮像素子１１５の露光を停止する。そして、第一の制御回路１１１は、第一の撮像素子１１５によって生成されたアナログ画像信号を第一のＡ／Ｄ変換回路１１６に出力する。そして、Ａ／Ｄ変換回路１１６で生成されたデジタル画像データは第一の画像処理回路１１７で所定の処理が施され、記録用の画像データとして画像出力回路１１８に出力される。画像出力回路１１８は、撮像装置１００に着脱可能な記録メディアに対して記録用の画像データの書き込みを行ったり、無線あるいは有線通信機能を用いてスマートフォンやサーバーなどの外部装置に記録用の画像データを送信したりする。

図６に示す例では、第一の制御回路１１１は、時刻Ｔ８よりわずかに後のタイミングで第一の撮像素子１１５の露光を停止することになる。実際には、第二の撮像素子１２５において時刻Ｔ８のフレーム画像が生成されてから代表累積量が得られるまでの算出時間や、タイミング決定回路２０４から出力された信号が第一の制御回路１１１に到達するまでの時間がタイムラグとして生じる。しかしながら、これらのタイムラグを考慮して閾値を設定するようにすれば、タイムラグによる影響を抑えることができる。

ステップＳ３２６おいて、第二の撮像システム１２０の第二の制御回路１２１は、第二の撮像素子１２５の露光を停止する。

ステップＳ３２７において、第一の撮像システム１１０の第一の制御回路１１１は、撮影モードが選択されたままであるかを判定し、撮影モードのままであればステップＳ３０６に戻り、別のモードが選択されていればステップＳ３０２に戻る。

以上説明したように、第一の実施形態においては、第一の撮像素子１１５の露光期間中の被写体の動き量に基づいて、第一の撮像素子１１５の露光を終了させるため、ぶれの少ない画像を撮像することができる。

なお、ステップＳ３２２において代表累積量と比較される閾値を調整することによって、ぶれの大きさを調整することができる。例えば、この閾値をぶれの無い移動量相当の値に設定することにより、ぶれが発生する前に第一の撮像素子１１５の露光を終了させることができる。

また、図３のステップ３０２において、ユーザがぶれレベル「標準」を選択した場合の閾値を、例えば許容錯乱円径の３倍に相当する値に設定すれば、それに応じたぶれの含まれる画像を撮像することが可能である。その場合、ステップ３１４において、焦点距離を望遠側に移動する量も少なくなり、第二の撮像システム１２０はより広い画角の画像を参照し、動きベクトルの算出を行うことになる。

また、第一の実施形態では、タイミング決定回路２０４は、代表累積量が閾値以上になったタイミングで露光終了を指示する例について説明を行ったが、これに限られるものではない。例えば、タイミング決定回路２０４は、得られた最新の代表累積量が閾値以上になっていない場合だとしても、次フレームで代表累積量が閾値を大きく超えることが予想される場合は、現フレームに基づき露光終了を指示しても良い。次フレームにおいて代表累積量が閾値を大きく超える場合は、次フレームのタイミングで露光終了を指示したとしても、ぶれが発生してしまう。そのため、次フレームにおいて代表累積量が閾値を大きく超えることが予想される場合は、現フレームにおいて露光終了を指示する。なお、閾値を大きく超えるか否かの判定としては、上述した閾値より十分に値の大きな第二の閾値を設定し、次フレームにおける代表累積量の予測値がこの第二の閾値以上となるか否かを判定すればよい。

次フレームにおける代表累積量の予測値（ＶｅｃＬｅｎ＿ＰＲＥＤ）は、例えば、式（６）のように最新の動きベクトル長を２倍した動きベクトルの累積量に基づき算出すればよい。

ＶｅｃＬｅｎ＿ＰＲＥＤ＝ＶｅｃＬｅｎ１＋ＶｅｃＬｅｎ２＋２×ＶｅｃＬｅｎ３・・・（６）

式（６）では、最新の動きベクトル長は、時刻Ｔ２と時刻Ｔ３のフレーム間で算出したＶｅｃＬｅｎ３としている。このように次に得られる動きベクトルの累積量の予測値を全画素に対して算出し、そのフレームの最大値を代表累積量とする。

また、第一の実施形態では、タイミング決定回路２０４から出力された信号に基づいて、撮像素子１１５のフレーム全体の露光を終了する例について説明したが、これに限られるものではない。例えば第一の撮像素子１１５が、ライン、領域、あるいは、画素毎に露光時間を制御できる構成であれば、タイミング決定回路２０４は、第一の撮像素子１１５のこれらの部分毎の累積量に基づいて露光終了の信号を出力するようにしてもよい。また、フレーム全体を分割ブロックに分割し、分割ブロックを代表する累積量に基づき、分割ブロック毎に露光終了の信号を出力しても良い。

また、第一の実施形態では、累積量算出回路２０２は、追跡動きベクトルの長さとして、連結した動きベクトル各々の長さの総和を動きベクトルの累積量として算出する例について説明したが、これに限られるものではない。図９のような追跡動きベクトルを構成する各動きベクトル、または、各動きベクトルの一部が同一座標を通過する場合は、同一座標を通過する長さを式（５）による動きベクトルの長さの総和処理から除外しても良い。これにより、例えば、隣接座標を行き来するような微小な周期的動き（反復運動）の被写体に対して、動きベクトル長を過分に加算してしまうことを抑制することができる。

また、第一の実施形態によれば、第二の撮像システム１２０の焦点距離、結像倍率、および、画角を変更して得た画像を用いた動き解析結果に基づき、第一の撮像素子１１５の露光終了のタイミングを決めている。そのため、第一の撮像素子１１５と第二の撮像素子１２５で解像度が異なる仕様であっても、ぶれの少ない画像を撮像することができる。

なお、第一の実施形態では、第二の光学系１２４の焦点距離を望遠側に移動することで動きの分解能を上げたが、一般的なレンズにおいて焦点距離を望遠側に移動するとＦ値が大きくなり、画像が暗くなる。その分、明るくするために感度を上げるとノイズが多くなり、動きベクトルの算出精度が悪化してしまう。そこで、第二の撮像素子１２５で得られる画像のノイズ成分の大きさに応じて、焦点距離の最大移動量に制限を設ける構成としてもよい。

（第二の実施形態）
次に、本発明の第二の実施形態について説明を行う。第二の実施形態では、サンプリングピッチに基づき、累積量算出回路２０２が、動きベクトル算出回路２０１で算出された動きベクトルを、第一の撮像システム１１０に適した値に換算するための処理を行う。なお、本実施形態において、サンプリングピッチとは、タイミング生成回路２００において動きを解析する際に参照する画像の画素間隔のことを指し、画素を間引かずに参照すれば、画素ピッチがサンプリングピッチとなる。反対に、第二の撮像素子１２５における画素の読み出し時に加算や間引きを行ったり、画素間の補間処理を行ったりすることで、サンプリングピッチは画素ピッチと異なる値となる。また、読み出す画素の数は同じであっても、ローパスフィルタを適用して画像データの周波数帯域を制限することで、実質的なサンプリングピッチを変更することも可能である。

また、第二の実施形態では、第一の実施形態に対して、第二の撮像素子１２５の構成が一部異なる。図１２（ｂ）に、本実施形態における第一の撮像素子１１５と第二の撮像素子１２５の構成を比較した表を示す。

この図１２（ｂ）より、第二の撮像素子１２５は第一の撮像素子１１５と、撮像部の水平サイズ、水平画素数、画素ピッチは同じであるが、高速のフレームレートで画像を取得するために、読み出す画素数が少なくなっている。なお、読み出す画素数を変えることで、フレームレートを変更することも可能である。

さらに、第一の実施形態では、第二の光学系１２４の焦点距離は変更できる構成であったが、第二の実施形態では、第二の光学系１２４の焦点距離は固定されている。ここで、第二の撮像素子１２５から得た画像における動き解析結果に基づき、第一の撮像システム１１０の露光終了のタイミングを決める。そのため、第二の撮像システム１２０の動きの分解能のほうが、第一の撮像システム１１０の動きの分解能よりも高い必要がある。そのため第二の光学系１２４の焦点距離は、第一の光学系１１４の最大焦点距離よりも長い焦点距離で固定されることが望ましい。

次に、本発明の第二の実施形態の撮像装置１００における高速撮影モードにおける撮像処理について、図１３および図１４のフローチャートを用いて説明する。図１３および図１４は、第二の実施形態の高速撮影モードにおける撮像処理のフローチャートである。なお、第一の実施形態の図３および図４のフローチャートと同じ処理を行うステップについては、図３および図４と同じステップ番号を付与している。ここでは、第一の実施形態と異なる処理について説明を行う。

なお、第二の実施形態において、撮像装置１００と被写体の関係は図５と同じ状態であり、第二の光学系１２４の焦点距離は、第一の光学系１１４の焦点距離は３００ｍｍよりも長い６００ｍｍに固定されているものとする。

図１３のステップ３０１乃至ステップＳ３１３の処理は、図３のステップＳ３０１乃至ステップＳ３１３と同様である。

図１３のステップ１３１４において、第二の制御回路１２１は、第二の撮像素子１２５における読み出し位置を決定する。第二の制御回路１２１は、図５における被写体５００が視野内に含まれるように、第二の撮像素子１２５の撮像部において信号を読み出す領域を設定する。読み出す位置を変更することで、被写体が光軸近傍以外に移動したとしても、視野内に被写体を捉え続けることが可能である。また、本発明第一の実施形態と同様に光軸や撮像素子を移動することで更に視野を移動することも可能である。

図１３のステップＳ３１５乃至図１４のステップＳ３２０の処理は、図３のステップＳ３１５乃至図４のステップＳ３２０と同様である。

図１４のステップＳ１４２１において、累積量算出回路２０２がステップＳ３２０で算出された動きベクトルに対し、サンプリングピッチに基づく換算処理を行う。この換算処理の方法について詳しく説明する。

まず、４０ｍ先の被写体を焦点距離６００ｍｍで撮像する際の結像倍率は４０×１０００÷６００＝６６．６である。また、第一の撮像素子１１５においてぶれが許容値以下となる画像を撮像するめに、第二の撮像システム１２０に求められる単位フレーム（１ｍｓｅｃ）あたりの動きの分解能は、第一の実施形態と同じく０．６ｍｍである。これを満たすサンプリングピッチは、０．６×１０００÷６６．６＝９．０μｍである。図１２（ｂ）より第二の撮像素子の画素ピッチは５．６２μｍなので、９．０μｍ相当になるように動きベクトルを換算する。例えばステップＳ３２０で算出した動きベクトルが１．２画素であった場合、換算後の動きベクトルは１．２×９．０÷５．６２＝１．９２画素となる。この加算後の動きベクトルを用いて、ステップＳ３２１で代表的な累積量を算出し、ステップＳ３２２で代表累積量が閾値以上になったかを判定する。

ここで、第一の撮像システム１１０と第二の撮像システム１２０において、動き解析の分解能を示す結像倍率とサンプリングピッチ（ここでは画素ピッチ）の積の値を計算する。第一の撮像システム１１０は５．６２×１３３．３＝７４９．１μｍであり、第二の撮像システム１２０は９．０×６６．６＝５９９．４μｍであるので、第二の撮像システム１２０の方が、細かい動きを分解できる（分解能が高い）ことがわかる。また、第一の光学系１１４の焦点距離が可変であると、結像倍率とサンプリングピッチの積の値も焦点距離に応じて変化する。その場合、第二の撮像システム１２０における結像倍率とサンプリングピッチの積が、第一の撮像システム１１０における結像倍率とサンプリングピッチの積の最小値以下となるように第二の光学系１２４の焦点距離などを設計すればよい。

図１４のステップＳ３２１乃至ステップＳ３２７の処理は、図４のステップＳ３２１乃至ステップＳ３２７の処理と同様である。

なお、被写体の移動速度が途中で変化する場合もある。そのため、連続するフレームから算出した動きベクトルの大きさに基づいて、第一の撮像素子１１５の露光中に動きベクトルを換算するためのサンプリングピッチや、第二の撮像素子１２５の読み出し解像度を適宜変更してもよい。

このように、第二の実施形態では、サンプリングピッチに基づき、第二の撮像システム１２０において算出した動きベクトルを第一の撮像システム１１０に沿うように換算することで、正確な露光終了のタイミングを決めることができる。また、第二の撮像システムの光学系の焦点距離が固定されている場合であっても、第一の撮像システム１１０に得られた画像における被写体の動き量を精度良く検出することができる。なお、本実施形態では動きベクトルを第一の撮像システム１１０に沿うように換算する例をあげて説明を行ったが、ステップＳ３２２で代表累積量と比較する閾値を、第二の撮像システム１２０に沿うように換算する構成としてもよい。

（第三の実施形態）
次に、本発明の第三の実施形態について説明を行う。第三の実施形態は、動きベクトルではなく、フレーム間の差分絶対値を用いた動き解析結果に基づいて露光終了のタイミングを決める点が、第一の実施形態とは異なる。

具体的には、第三の実施形態では、第二の撮像システム１２０の第二の画像処理回路１２７が、図２におけるタイミング生成回路２００の代わりに、タイミング生成回路１５００を有している。

まず、第二の画像処理回路１２７が具備するタイミング生成回路１５００の構成について、図１５を用いて説明する。

図１５は、第三の実施形態に係るタイミング生成回路１５００の構成例を示すブロック図である。図１５において、タイミング生成回路１５００は、差分絶対値算出回路１５０１、累積量算出回路１５０２、代表累積量算出回路１５０３およびタイミング決定回路１５０４より構成する。

次に、本発明の第三の実施形態の撮像装置１００における高速撮影モードにおける撮像処理について、図１６のフローチャートを用いて説明する。図１６は、第三の実施形態の高速撮影モードにおける撮像処理のフローチャートである。

第一の実施形態では図３および図４を用いて高速撮影モードにおける撮像処理を説明したが、第三の実施形態では図４に替えて図１６に示すフローチャートを用いる。図３に示す処理は第一の実施形態と共通であるため、説明を省略する。また、図１６のうち、第一の実施形態の図４のフローチャートと同じ処理を行うステップについては、図４と同じステップ番号を付与している。ここでは、第一の実施形態と異なる処理について説明を行う。

図１６のステップ１６２０において、タイミング生成回路１５００内の差分絶対値算出回路１５０１が、第二の撮像素子１２５で得られた画像データのフレーム間の差分絶対値を算出する。フレーム間の差分絶対値とは、第二の撮像素子１２５から得られたフレーム間で同一座標における画素の値の差分絶対値を、画素ごとに求めた値である。

この差分絶対値算出回路１５０１が、第二の撮像素子１２５から得られた画像データに対して差分絶対値を算出する時系列動作について、図１７を参照して説明する。図１７は、第一の撮像素子１１５、第二の撮像素子１２５、および、タイミング生成回路１５００による動作を説明するための図である。

差分絶対値算出回路１５０１は、時刻Ｔ１において、時刻Ｔ０と時刻Ｔ１で得られた画像データのフレーム間の差分絶対値を画素ごとに算出する。その後、時刻Ｔ２において、時刻Ｔ１と時刻Ｔ２で得られた画像データのフレーム間の差分絶対値を画素ごとに算出する。時刻Ｔ３以後、同様の処理を繰り返し、第二の撮像素子１２５から得られた画像データのフレーム間における画素ごとの差分絶対値を算出する。

ステップＳ１６２１において、累積量算出回路１５０２は、式（７）のようにステップ１６２０において算出した画素ごとの差分絶対値を複数フレームに渡って累積し、差分絶対値累積量（ＡＤ）として算出する。

ＡＤ＝ＡＤ１＋ＡＤ２＋ＡＤ３・・・（７）

ＡＤ１は、時刻Ｔ０のフレームと時刻Ｔ１のフレームとの間で算出された１つの画素の差分絶対値を示す。ＡＤ２は、時刻Ｔ１のフレームと時刻Ｔ２のフレームとの間で算出された同じ１つの画素の差分絶対値を示す。ＡＤ３は、時刻Ｔ２のフレームと時刻Ｔ３のフレームとの間で算出された同じ１つの画素の差分絶対値を示す。

以上のようなフレーム間の差分絶対値累積量の算出処理を全画素に対して行い、フレーム内の全画素のフレーム間差分絶対値累積量を算出する。

さらに代表累積量算出回路１５０３が、画素毎に算出したフレーム間差分絶対値累積量に基づき、フレーム全体を代表する累積量を算出する。具体的には、代表累積量算出回路１５０３は、全画素の差分絶対値累積量の最大値を選択し、選択した最大の差分絶対値累積量を代表累積量として決定する。このような処理をフレーム毎に行うことにより、図１１のようにフレーム毎に１つの代表累積量を算出する。

なお、代表累積量算出回路１５０３による代表累積量は、フレーム内の全画素の差分絶対値累積量のうちの最大値に基づくものに限られるものではなく、フレーム内の全画素の差分絶対値累積量の平均値や中央値でも良い。

ステップＳ１６２２において、タイミング決定回路１５０４は、代表累積量が閾値以上になったかを判定し、閾値以上になっていなければステップＳ３２３に進み、閾値以上になっていればステップＳ３２４に進む。ステップＳ３２４以降の処理は、図３のステップＳ３２４以降の処理と同様である。

つまり、代表累積量が閾値以上になったことが判定されると、タイミング決定回路１５０４は、第二の制御回路１２１を介して、第一の撮像システム１１０に露光終了を指示するための信号を出力する。第一の制御回路１１１は、第一の撮像素子１１５の露光時間が適正時間に達していなくとも、第一の撮像素子１１５の露光を停止する。そして、第一の制御回路１１１は、第一の撮像素子１１５によって生成されたアナログ画像信号を第一のＡ／Ｄ変換回路１１６に出力する。

このように、第三の実施形態においても、第一の撮像素子１１５の露光期間中の被写体の動き量に基づいて、第一の撮像素子１１５の露光を終了させるため、ぶれの少ない画像を撮像することができる。動きベクトルの代わりに差分絶対値を用いて被写体の動き量を判定することで、動きベクトルを用いた場合よりも演算量を減らすことができ、演算負荷の軽減や演算処理の時間短縮といった効果を見込むことができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。

また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１１０ 第一の撮像システム
１１１ 第一の制御回路
１１２ 第一のＲＯＭ
１１３ 第一のＲＡＭ
１１４ 第一の光学系
１１５ 第一の撮像素子
１１６ 第一のＡ／Ｄ変換回路
１１７ 第一の画像処理回路
１１８ 第一のメモリ
１１９ 第一の表示装置
１２０ 第二の撮像システム
１２１ 第二の制御回路
１２２ 第二のＲＯＭ
１２３ 第二のＲＡＭ
１２４ 第二の光学系
１２５ 第二の撮像素子
１２６ 第二のＡ／Ｄ変換回路
１２７ 第二の画像処理回路
１３０ 操作部材
２００、１５００ タイミング生成回路

Claims (17)

1. 第一の撮像手段と、
   第二の撮像手段と、
   前記第一の撮像手段が第一のフレームの画像データのための露光を行っている間に前記第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける被写体の動き量を算出する算出手段と、
   前記第一の撮像手段で生成される画像データの動きの分解能、前記第二の撮像手段で生成される画像データの動きの分解能、および、前記第一の撮像手段におけるぶれの許容値に応じて、前記第二の撮像手段が備える光学系の結像倍率と、前記第二の撮像手段における信号のサンプリングピッチの少なくとも一方を設定する設定手段を有することを特徴とする撮像装置。
2. 前記設定手段は、前記第二の撮像手段で生成される画像データの動きの分解能が、前記第一の撮像手段におけるぶれの許容値以下となるように、前記第二の撮像手段が備える光学系の結像倍率と、前記第二の撮像手段における信号のサンプリングピッチの少なくとも一方を設定することを特徴とする請求項１に記載の撮像装置。
3. 前記設定手段は、前記第一の撮像手段におけるぶれの許容値に応じて、前記第二の撮像手段が備える光学系の焦点距離を変更することを特徴とする請求項２に記載の撮像装置。
4. 前記設定手段は、前記第二の撮像手段で生成される画像データの動きの分解能が、前記第一の撮像手段おけるぶれの許容値より低い場合には、前記第二の撮像手段が備える光学系の焦点距離を望遠側に移動することを特徴とする請求項３に記載の撮像装置。
5. 前記第二の撮像手段は、前記第一の撮像手段が備える光学系の焦点距離と前記第二の撮像手段が備える光学系の焦点距離に応じて、前記第二の撮像手段における撮像素子の読み出し位置を変更することを特徴とする請求項３または４に記載の撮像装置。
6. 前記第二の撮像手段は、前記第一の撮像手段が備える光学系の焦点距離と前記第二の撮像手段が備える光学系の焦点距離に応じて、前記第二の撮像手段における光学系の光軸の位置と撮像素子の位置の関係を変更することを特徴とする請求項３または４に記載の撮像装置。
7. 前記第二の撮像手段は、前記第二の撮像手段で生成される画像データのノイズ成分の大きさに応じて、前記第二の撮像手段が備える光学系の焦点距離の移動量を制限することを特徴とする請求項３乃至６のいずれか１項に記載の撮像装置。
8. 前記第一の撮像手段におけるぶれの許容値は、ユーザによって設定されることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記算出手段による算出した結果に基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止する制御手段を有することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記第二の撮像手段が備える撮像素子の、信号を読み出す画素の数を変更することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 第一の撮像手段を有する外部の撮像装置に着脱可能な撮像装置であって、
    第二の撮像手段と、
    前記第一の撮像手段が第一のフレームの画像データのための露光を行っている間に前記第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける被写体の動き量を算出する算出手段と、
    前記第一の撮像手段で生成される画像データの動きの分解能、前記第二の撮像手段で生成される画像データの動きの分解能、および、前記第一の撮像手段におけるぶれの許容値に応じて、前記第二の撮像手段が備える光学系の結像倍率と、前記第二の撮像手段における信号のサンプリングピッチの少なくとも一方を設定する設定手段を有することを特徴とする撮像装置。
12. 第一の撮像手段と、
    第二の撮像手段と、
    前記第一の撮像手段が第一のフレームの画像データのための露光を行っている間に前記第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける被写体の動き量を算出する算出手段を有し、
    前記第二の撮像手段が備える光学系の結像倍率とサンプリングピッチの積が、前記第一の撮像手段が備える光学系の結像倍率とサンプリングピッチの積の最小値より小さいことを特徴とする撮像装置。
13. 前記第二の撮像手段は、前記第一の撮像手段が備える光学系の焦点距離に応じて、前記第二の撮像手段における撮像素子の読み出し位置を変更することを特徴とする請求項１２に記載の撮像装置。
14. 前記算出手段による算出した結果に基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止する制御手段を有することを特徴とする請求項１２または１３のいずれか１項に記載の撮像装置。
15. 第一の撮像手段を有する外部の撮像装置に着脱可能な撮像装置であって、
    第二の撮像手段と、
    前記第一の撮像手段が第一のフレームの画像データのための露光を行っている間に前記第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける被写体の動き量を算出する算出手段を有し、
    前記第二の撮像手段が備える光学系の結像倍率とサンプリングピッチの積が、前記第一の撮像手段が備える光学系の結像倍率とサンプリングピッチの積の最小値より小さいことを特徴とする撮像装置。
16. 撮像装置の制御方法であって、
    第一の撮像手段で生成される画像データの動きの分解能、第二の撮像手段で生成される画像データの動きの分解能、および、前記第一の撮像手段におけるぶれの許容値に応じて、前記第二の撮像手段が備える光学系の結像倍率と、前記第二の撮像手段における信号のサンプリングピッチの少なくとも一方を設定し、
    前記第一の撮像手段が第一のフレームの画像データのための露光を行っている間に前記第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける被写体の動き量を算出する、
    ことを特徴とする撮像装置の制御方法。
17. 撮像装置で用いられるプログラムであって、前記撮像装置に備えられたコンピュータに、
    第一の撮像手段で生成される画像データの動きの分解能、第二の撮像手段で生成される画像データの動きの分解能、および、前記第一の撮像手段におけるぶれの許容値に応じて、前記第二の撮像手段が備える光学系の結像倍率と、前記第二の撮像手段における信号のサンプリングピッチの少なくとも一方を設定するステップと、
    前記第一の撮像手段が第一のフレームの画像データのための露光を行っている間に前記第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける被写体の動き量を算出するステップを、実行させることを特徴とするプログラム。

Images