JP6579807B2 - 撮像制御装置、撮像装置および撮像制御プログラム - Google Patents

Description

本発明は、いわゆる流し撮りに対するユーザ補助を行う撮像制御装置に関する。

移動している被写体のスピード感を表現する静止画撮像技術として流し撮りがある。この流し撮りでは、撮影者、すなわちユーザが撮像したい主被写体の動きに合わせて撮像装置をパンニングしながら静止画撮像を行うことにより、主被写体が静止して背景が流れた（ぶれた）静止画像が得られる。ただし、流し撮りにおいて、ユーザによる撮像装置のパンニング速度が主被写体の移動速度に対して差を有すると、主被写体までぶれた静止画像が得られてしまう。

この問題に対して特許文献１には、流し撮りを行うユーザ補助（流し撮りアシスト）を行うために、シフトレンズを光軸に対してシフトさせることで主被写体の移動速度とパンニング速度との差を吸収する方法が開示されている。具体的には、ジャイロセンサにより検出した撮像装置のパンニング速度と撮像映像（連続するフレーム画像間）において検出した動きベクトルとに基づいて、主被写体を画像の中央に位置させるためのシフトレンズのシフト量を算出する。そして、該シフト量だけシフトレンズをシフトさせることで良好な流し撮りを行えるようにする。

特開２００６−３１７８４８号公報

しかしながら、撮像映像における複数の領域において互いに異なる大きさの動ベクトルが検出された場合に、ユーザが撮像したい主被写体とは異なる被写体に対する流し撮りアシストが行われる可能性がある。例えば、電車のように長い被写体を撮像する際に、被写体の先頭部分と後方部分とでは検出される動きベクトルの大きさが異なる。この場合に、ユーザが被写体の後方部分を主被写体として撮像したい場合でも、被写体の先頭部分に対して検出された動きベクトルに基づく流し撮りアシストが行われ、主被写体がぶれた静止画像が生成されるおそれがある。

本発明は、撮像映像における複数の領域において互いに異なる大きさの動きベクトルが検出された場合でも、ユーザが撮像したい主被写体に対する流し撮りアシストが行われるようにした撮像制御装置およびこれを備えた撮像装置等を提供する。

本発明の一側面としての撮像制御装置は、撮像光学系の光軸に対してシフト可能なシフト素子を駆動しながら、移動する被写体に対する静止画撮像を行う撮像装置を制御する。該撮像制御装置は、撮像装置による動画撮像により生成された映像のうち複数の被写体領域のそれぞれにおいて検出された動きベクトルを取得する動きベクトル取得手段と、シフト素子の駆動を制御するとともに静止画撮像を制御する制御手段とを有する。そして、制御手段は、検出された複数の前記動きベクトルの大きさが互いに異なる場合に、複数の動きベクトルのそれぞれに応じてシフト素子の駆動量を順次変更しながら撮像装置に複数の静止画撮像を行わせ、複数の動きベクトルの大きさに応じて、該複数の動きベクトルのそれぞれに応じた駆動量でのシフト素子の駆動の順序を設定することを特徴とする。

なお、被写体の撮像を行う撮像手段と、上記撮像制御装置と、動きベクトルを検出する検出手段とを有し、シフト素子を有する交換レンズが装着される又はシフト素子を有する撮像装置も、本発明の他の一側面を構成する。

さらに、本発明の他の一側面としての撮像制御プログラムは、撮像光学系の光軸に対してシフト可能なシフト素子を駆動しながら、移動する被写体に対する静止画撮像を行う撮像装置をコンピュータに制御させるコンピュータプログラムである。該プログラムは、コンピュータに、撮像装置による動画撮像により生成された映像のうち複数の被写体領域のそれぞれにおいて検出された動きベクトルを取得させ、シフト素子の駆動を制御するとともに静止画撮像を制御する処理を行わせる。そして、該処理は、検出された複数の動きベクトルの大きさが互いに異なる場合に、複数の動きベクトルのそれぞれに応じてシフト素子の駆動量を順次変更しながら撮像装置に複数の静止画撮像を行わせ、複数の動きベクトルの大きさに応じて、該複数の動きベクトルのそれぞれに応じた駆動量でのシフト素子の駆動の順序を設定する処理であることを特徴とする。

本発明によれば、撮像により取得された映像における複数の被写体領域において互いに異なる大きさの動きベクトルが検出された場合でも、ユーザが撮像したい主被写体に対する流し撮りアシストを伴う静止画撮像がより確実に行われるようにすることができる。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１における流し撮りアシスト連続撮像処理を示すフローチャート。 実施例１における流し撮りアシスト処理を示すフローチャート。 実施例１における動きベクトルのヒストグラムを作成する方法を示す図。 実施例１における動きベクトルのヒストグラム示す図。 実施例１における被写体の角速度の算出方法を示す図。 本発明の実施例２における流し撮りアシスト連続撮像処理を示すフローチャート。 実施例２における連続撮像処理を示すフローチャート。 撮像装置に近づいてくる被写体を示す図。 流し撮りアシスト連続撮像処理により生成された撮像画像の例を示す図。 補正ベクトルの変化方向の決定方法を示す図。 補正ベクトルに変化量を与えて連続撮像した例を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である撮像制御装置を備えたレンズ交換式撮像装置（以下、カメラ本体という）１２０と該カメラ本体１２０に装着された交換レンズ１００とにより構成されたカメラシステムの構成を示している。

交換レンズ１００のマウントは、カメラ本体１２０のマウントと機械的に着脱可能に結合される。マウントには、カメラ本体１２０との通信を行ったりカメラ本体１２０からの電源供給を受けたりするためのマウント接点部１１６が設けられている。

交換レンズ１００は、撮像光学系１０１を有する。撮像光学系１０１は、主光学系１０２と、撮像光学系１０１の光軸に沿った方向（以下、光軸方向という）に移動して焦点距離を変更するズームレンズ群１０３とを有する。主光学系１０２は、光軸方向に移動して焦点調節を行うフォーカスレンズや光量を調節する絞り等を含む。さらに、撮像光学系１０１は、光軸に対してシフト可能なシフト素子としてのシフトレンズ群１０４を含む。シフトレンズ群１０４は、手振れ等のカメラ振れによる像振れを低減するために光軸に直交する方向にシフト（移動）したり、後述する流し撮りアシストのために光軸に直交する方向にシフトしたりする。

また、交換レンズ１００は、ズームレンズ群１０３の光軸方向での位置を検出するズームエンコーダ１０５と、シフトレンズ群１０４のシフト方向での位置（シフト位置）を検出するシフト位置センサ１０６とを有する。さらに、交換レンズ１００は、カメラの振れやパンニング等の動きの角速度(動き速度)を検出する角速度センサ(動き検出手段)１１１と、角速度センサ１１１の出力を増幅するアンプ１１２とを有する。

また、交換レンズ１００は、レンズマイクロコンピュータ（以下、レンズマイコンという）１１３を有する。レンズマイコン１１３は、上述した像振れを低減するための防振制御を行う防振制御部１１７と、流し撮りアシストのための制御を行う流し撮り制御部１１８とを有する。防振制御部１１７および流し撮り制御部１１８は、シフトドライバ１１４を介してシフトレンズ群１０４をシフト駆動する。アンプ１１５は、シフト位置センサ１０６の出力を増幅してレンズマイコン１１３に供給する。

なお、シフトレンズ群１０４は光軸に直交する方向として横方向と縦方向にシフトするため、シフトドライバ１１４、シフト位置センサ１０６およびアンプ１１５も横方向と縦方向に対してそれぞれ設けられている。ただし、これらは共通する構成を有するため、図１では一方向のみを示している。レンズマイコン１１３は、その他にも、フォーカスレンズや絞りの制御を行う。

一方、カメラ本体１２０は、シャッタ１２１と、ＣＭＯＳセンサ等の撮像素子１２２と、アナログ信号処理回路１２３と、カメラ信号処理回路１２４と、タイミングジェネレータ１２５とを有する。シャッタ１２１は撮像素子１２２の露光量を制御し、撮像素子１２２は撮像光学系１０１により形成された被写体像を光電変換して電気信号（アナログ撮像信号）を出力する。

アナログ信号処理回路１２３は、撮像素子１２２からのアナログ撮像信号を増幅し、さらに増幅されたアナログ撮像信号をデジタル撮像信号に変換する。カメラ信号処理回路１２４は、デジタル撮像信号に対して各種画像処理を行って映像信号（撮像映像）や静止画像信号（撮像静止画）を生成する。撮像素子１２２とアナログ信号処理回路１２３とカメラ信号処理回路１２４により、撮像手段が構成される。また、カメラ信号処理回路１２４は、映像信号から被写体が存在する領域（被写体領域）を抽出する被写体抽出部１４２と、映像信号のうち被写体領域における動きベクトルを検出する動きベクトル検出部１４１とを有する。

タイミングジェネレータ１２５は、撮像素子１２２やアナログ信号処理回路１２３の動作タイミングを設定する。

また、カメラ本体１２０は、操作スイッチ群１３１を有する。操作スイッチ群１３１は、電源スイッチ、レリーズスイッチ（撮像準備スイッチおよび撮像開始スイッチ）、流し撮りアシストモードを設定するか否かを切り替えるモード選択スイッチ等を含む。

さらに、カメラ本体１２０は、カメラ全体（カメラ本体１２０および交換レンズ１００）の動作を制御するカメラマイクロコンピュータ（以下、カメラマイコン）１３２を有する。カメラマイコン１３２は、シャッタ制御部１５１を有する。シャッタ制御部１５１は、シャッタドライバ１３３を介して、シャッタ１２１にシャッタ動作を行わせるシャッタモータ１２４を駆動する。また、カメラマイコン１３２は、像面上（撮像素子１２２の撮像面上）での被写体（被写体像）の動きの速度である角速度を算出する被写体角速度算出部１５３を有する。

その他、カメラ本体１２０は、撮像映像をライブビュー映像として表示したり、撮像静止画を表示したりする表示素子としての液晶パネル（以下、ＬＣＤと記す）１７２を有する。撮像静止画は、メモリカード１７１に記録される。カメラ本体１２０のマウントには、交換レンズ１００との通信を行ったり交換レンズ１００に電源供給を行ったりするためのマウント接点部１１６が設けられている。

図１において、操作スイッチ群１３１の電源スイッチがユーザにより操作されてカメラ本体１２０の電源がＯＮになると、その状態変化を検出したカメラマイコン１３２は、カメラ本体１２０内の各部への電源供給と初期設定が行われる。また、交換レンズ１００への電源供給も行われ、レンズマイコン１１３により交換レンズ１００内の初期設定が行われる。また、カメラマイコン１３２とレンズマイコン１１３との間で通信が開始される。カメラマイコン１３２からレンズマイコン１１３へはカメラ本体１２０の状態や撮像に関する設定情報等が送信され、レンズマイコン１１３からカメラマイコン１３２へは交換レンズ１００の焦点距離や角速度の情報等が送信される。

流し撮りアシストモードが設定されていない通常モードでは、交換レンズ１００の角速度センサ１１１により手振れ等のカメラ振れが検出される。そして、レンマイコン１１７の防振制御部１１７は、その検出結果に基づいてシフトレンズ群１０４をシフト駆動して像振れを低減する。一方、流し撮りアシストモードでは、角速度センサ１１１によりカメラのパンニングの角速度が検出され、レンマイコン１１７の流し撮り制御部１１８はその検出結果に基づいてシフトレンズ群１０４をシフト駆動して流し撮りアシストを行う。

次に、流し撮りアシストモードでの連続撮像処理（流し撮りアシスト連続撮像処理）について、図２のフローチャートを用いて説明する。動きベクトル取得手段および制御手段としてのカメラマイコン１３２は、レンズマイコン１１３とともに、コンピュータプログラムとしての撮像制御プログラムに従って本処理を実行する。図２中のＳはステップを意味する。ここでは、カメラに近づいてくる移動被写体に対して流し撮りアシスト連続撮像を行う場合を例として説明する。

まず、Ｓ２０１において、操作スイッチ群１３１のレリーズスイッチが半押し操作されると、カメラマイコン１３２は、撮像準備動作を行うとともに、カメラ信号処理回路１２４の被写体抽出部１４２に撮像映像における被写体領域の抽出を行わせる。被写体領域の抽出は，色やエッジを検出する方法や顔等の特定被写体を認識する方法等、どのような方法を用いてもよい。

次に、Ｓ２０２において、カメラマイコン１３２は、カメラ信号処理回路１２４の動きベクトル検出部１４１に、Ｓ２０１で抽出された被写体領域内の動きベクトルを検出させ、検出された動きベクトルを取得する。動きベクトル検出部１４１は、撮影映像を構成する連続したフレーム画像間における上記被写体領域内の被写体像の動きベクトルを検出する。

図４（ａ）は、Ｓ２０１で撮像映像から抽出された被写体領域４０１を示している。また、図４（ｂ）には、撮像映像の画面全体に複数配置された参照ブロック４０２を示している。参照ブロック４０２は、動きベクトルを検出する単位領域であり、本実施例では８×８＝６４個の参照ブロック４０２を配置した場合の例を示している。また、図４（ｂ）中の矢印は、被写体領域４０１内の各参照ブロック４０２で検出された動きベクトル４０３を示している。

同じくＳ２０２において、カメラマイコン１３２は、動きベクトル検出部１４１から取得した複数の参照ブロック４０２の動きベクトルの大きさと出現頻度を示すヒストグラムを作成する。動きベクトルのヒストグラムを作成する方法について、図４および図５を用いて説明する。

また、図５は、図４（ｂ）に示した複数の参照ブロック４０２における動きベクトルの出現頻度を示すヒストグラムである。カメラマイコン１３２は、同一の大きさ（動きベクトル量）の動きベクトルの個数をカウントした値をその動きベクトルの出現頻度とし、互いに異なる動きベクトルの出現頻度を示すヒストグラムを作成する。５０１は流し撮りアシストによって補正する（つまり、動きベクトルが０になるようにシフトレンズ群１０４をシフトさせる）対象となる動きベクトルの範囲であり、以下の説明では補正ベクトル範囲という。また、補正する対象となる動きベクトルを、以下の説明では、補正ベクトルという。図５では、左側ほど大きな動きベクトルを示す。

一般に、固定されたカメラに近づいてくる被写体に対して検出される動きベクトル量は、該被写体の前側部分に対して検出される動きベクトルの方が被写体の後側部分に対して検出される動きベクトルよりも大きい。このため、図５における補正ベクトル範囲５０１のうち左端の動きベクトル５０２を被写体の前側部分の動きベクトル（以下、前側動きベクトルという）とみなす。また、右端の動きベクトル５０３を被写体の後側部分の動きベクトル（以下、後側動きベクトルという）とみなす。

Ｓ２０３において、カメラマイコン１３２は、レリーズスイッチの全押し操作がなされたか否かを判定する。全押し操作がなされていない場合は、カメラマイコン１３２はＳ２０１からＳ２０２までの処理を繰り返す。一方、全押し操作が行われた場合は、カメラマイコン１３２はＳ２０４に進む。

Ｓ２０４では、カメラマイコン１３２は、Ｓ２０２で作成したヒストグラムから前側動きベクトルと後側動きベクトルとを取得する。

次にＳ２０５では、カメラマイコン１３２は、補正ベクトルとして後側動きベクトルを設定する。

そして、Ｓ２０６では、カメラマイコン１３２は、補正ベクトルに基づく流し撮りアシスト撮像処理を行う。流し撮りアシスト撮像処理については後述する。

Ｓ２０７で、カメラマイコン１３２は、前側動きベクトルの値に近づくように補正ベクトルに変化量を与える。これにより新たな補正ベクトルが設定される。補正ベクトルの変化量は、例えばカメラ本体１２０の一定時間内の静止画撮像可能数（連続撮像可能数）をＮとするとき、
変化量＝｜前側動きベクトル−後側動きベクトル｜／Ｎ
により算出することができる。補正ベクトルに変化量を与えながら連続撮像を行った例を図１２（ａ）〜（ｃ）に示す。

図１２（ａ）において、１２０１は検出された被写体領域を示し、１２０２は該被写体領域１２０１から作成された動きベクトルのヒストグラムを示す。図１２（ｃ）に示すように、ヒストグラムから算出した補正ベクトル（つまりはシフトレンズ群１０４のシフト駆動量）に対して撮像ごとに変化量１２０３を与えながら合計３回の連続撮像を行うことで、図１２（ｂ）に示す３つの撮像静止画が得られる。図１２（ｂ）において、点線枠で示す領域（複数の被写体領域に相当する）は、各撮像静止画において流し撮りアシスト処理により画像中心に位置しているように、つまりは静止しているように撮像される領域である。

Ｓ２０８では、カメラマイコン１３２は、補正ベクトルの値が前側動きベクトルの値に達した（図１２（ｂ）の左側の撮像静止画が生成された）か否かを判定する。前側動きベクトルの値に達した場合はカメラマイコン１３２は本処理を終了し、前側動きベクトルの値まで達していない場合はＳ２０６に戻る。これにより、Ｓ２０７で設定された新たな補正ベクトルに基づく流し撮りアシスト撮像処理が行われる。

このように、本実施例では、複数の動きベクトルの大きさに応じて、該複数の動きベクトルのそれぞれに応じたシフト駆動量でのシフトレンズ群１０４の駆動の順序を設定する。

次に、Ｓ２０６で行うカメラマイコン１３２が行う流し撮りアシスト撮像処理について、図３のフローチャートを用いて説明する。Ｓ３０１において、カメラマイコン１３２（被写体角速度算出部１５３）は、像面上での被写体の角速度を算出する。そして、カメラマイコン１３２は、その角速度と補正ベクトルとを用いて、該補正ベクトルが０になるように補正するためのシフトレンズ群１０４のシフト駆動量を算出する。

図６を用いて被写体の角速度の算出方法を説明する。図６には、実際の被写体がｔ秒間に点Ａから点Ｂに移動し、これに応じて撮像素子１２２上の被写体像が点Ｃから点Ｄに移動したことを示している。点Ｃと点Ｄとの距離をν［ｐｉｘｅｌ］とし、撮像光学系１０１の焦点距離をｆ［ｍｍ］とし、撮像素子１２２の画素ピッチをｐ［μｍ／ｐｉｘｅｌ］とする。このとき、像面上での被写体の角速度ω［ｒａｄ／ｓｅｃ］は以下の式（１）で表わされる。

図３のＳ３０２では、カメラマイコン１３２は、シフトレンズ群１０４のシフト駆動量をレンズマイコン１１３に対して送信し、それまでシフト中心に位置していたシフトレンズ１０４のシフト駆動を命令する。レンズマイコン１１３は、この命令に応じてシフトレンズ群１０４を受信したシフト駆動量だけシフト駆動する。また、カメラマイコン１３２は、シャッタドライバ１３３を通じて、シャッタ１２１を開いて撮像素子１２２の露光を開始して所定時間後にシャッタ１２１を閉じるように駆動する。これにより、流し撮りアシストを受けた静止画撮像が行われる。

次にＳ３０３では、カメラマイコン１３２は、カメラ信号処理回路１２４に、撮像素子１２２の露光により生成された撮像信号から撮像静止画を現像（生成）させ、さらに撮像静止画をメモリカード１７１に記録させる。

次にＳ３０４では、カメラマイコン１３２は、シフトレンズ群１０４をシフト中心に戻すようにレンズマイコン１１３に命令する。レンズマイコン１１３は、この命令に応じてシフトレンズ群１０４をシフト中心に駆動する。シフトレンズ群１０４をシフト中心に戻すのは、次の静止画撮像におけるシフト駆動に備えるためである。

以上説明したように、本実施例では、流し撮りアシスト連続撮像において、シフトレンズ群１０４のシフト駆動量を決める動きベクトルとしての補正ベクトルを撮像ごとに順次変更する（補正ベクトルに順次変化量を与える）。言い換えれば、シフトレンズ群１０４のシフト駆動量を順次変更しながら複数の静止画撮像を行う。これにより、互いに大きさが異なる動きベクトルが検出された複数の被写体領域の被写体（前後に長い１つの被写体の前側部分から後側部分までの複数部分）のそれぞれが画像中心に位置するように補正された複数の撮像静止画が得られる。そして、これら複数の撮像静止画の少なくとも１つとして、ユーザが撮像を希望する被写体（主被写体）が画像中心に位置した撮像静止画を取得することができる。

なお、本実施例では、カメラに近づいてくる被写体に対して流し撮りアシスト連続撮像を行う場合を例として説明したが、カメラから遠ざかっていく被写体に対しても同様の流し撮りアシスト連続撮像を行うことができる。この場合は、動きベクトルの出現頻度を示すヒストグラムにおける補正ベクトル範囲（図５中の５０１に相当する範囲）において、右端の最も小さい動きベクトルを前側動きベクトルとし、左端の最も大きい動きベクトルを後側動きベクトルとすればよい。

また、本実施例では、図２のＳ２０５において最初に後側動きベクトルを補正ベクトルに設定する場合について説明したが、最初に前側動きベクトルを補正ベクトルに設定してもよい。さらに、出現頻度が最も多い又は最も少ない動きベクトルを最初に補正ベクトルに設定する等、それぞれの動きベクトルの出現頻度に応じてそれぞれの動きベクトルに応じたシフト駆動量でのシフトレンズ群１０４のシフト駆動の順序を設定してもよい。また、撮像光学系１０１の焦点状態の検出を行う焦点検出領域（ＡＦ領域）内で検出された動きベクトルを最初に補正ベクトルに設定してもよい。

また、本実施例では、図３のＳ３０１において補正ベクトルに相当する像面上での被写体の角速度からシフトレンズ群１０４のシフト駆動量を算出する場合について説明した。しかし、像面上での被写体の角速度とユーザが流し撮りを行うためにカメラをパンニングしている間のカメラの角速度（パンニング角速度）の変化とに応じてシフトレンズ群１０４のシフト駆動量を算出するようにしてもよい。

さらに、本実施例では、図２のＳ２１０において補正ベクトルに与える変化量を一定時間内の連続撮像可能数から算出する場合について説明したが、像面上での被写体の角速度やカメラのパンニング角速度等から補正ベクトルの変化量を算出してもよい。

また、本実施例では、角速度センサ１１１が交換レンズ１００に設けられている場合について説明したが、角速度センサがカメラ本体１２０に設けられていてもよい。

次に、本発明の実施例２について説明する。実施例１では、流し撮りアシスト連続撮像においてシフトレンズ群１０４のシフト駆動量を決める動きベクトルを撮像ごとに変更することで、主被写体が画像中心に位置した撮像静止画を取得することができるようにした。しかし、カメラのパンニング角速度によっては１つ目の撮像静止画中に存在した被写体が２つ目以降の撮像静止画中に存在しなくなる可能性があり、この場合に主被写体を撮像した撮像静止画を取得することができない可能性がある。

このことについて、図９および図１０を用いて具体的に説明する。図９（ａ）は、カメラに近づいてくる被写体を示す。実施例１でも述べたように、固定したカメラに被写体が近づいてくる場合には、図９（ｂ）に示すような動きベクトルのヒストグラムにおける補正ベクトル範囲内で最も大きい動きベクトルを前側動きベクトルとし、最も小さい動きベクトルを後側動きベクトルとする。この場合に、前側動きベクトルから後側動きベクトルに向かって撮像ごとに補正ベクトルを変更することで、被写体の前側部分から後側部分が画像中心に位置するように補正された複数の撮像静止画を取得することができる。

一方、図１０（ａ），（ｂ）にはそれぞれ、カメラのパンニング角速度と流し撮りアシスト連続撮像によって取得された撮像静止画との関係を示している。これらの図において、太枠１００１は撮像静止画を示し、点線１００２は画像中心に位置するように補正される対象となる被写体領域（以下、補正被写体という）を示す。

図１０（ａ）は、固定したカメラに被写体が近づいてくる場合であって前側動きベクトルから後側動きベクトルに向かって補正ベクトルを順次変化させた際の１つ目の撮像静止画と２つ目の撮像静止画とを示している。ただし、図１０（ａ）は、カメラのパンニング角速度が被写体の移動速度よりも速い場合を示している。この場合、１つ目の撮像静止画内に存在した被写体の前後方向の中間部分が２つ目の撮像静止画内に存在していない。つまり、２つ目の撮像静止画には、この撮像静止画に本来写っているべき補正被写体が写っていない。

また、図１０（ｂ）は、固定したカメラに被写体が近づいてくる場合であって後側動きベクトルから前側動きベクトルに向かって補正ベクトルを順次変化させた際の１つ目の撮像静止画と２つ目の撮像静止画とを示している。ただし、図１０（ｂ）は、カメラのパンニング角速度が被写体の移動速度よりも遅い場合を示している。この場合、１つ目の撮像静止画内に存在した被写体の前側部分が２つ目の撮像静止画内に存在していない。つまり、２つ目の撮像静止画には、この撮像静止画に本来写っているべき補正被写体が写っていない。

このような失敗撮像を回避できるように、本実施例では、カメラのパンニング角速度に応じて補正ベクトルを変化させる方向（前側および後側動きベクトルのうちいずれの一方から他方へと補正ベクトルを変化させるか）を変更する。言い換えれば、パンニング角速度に応じて、複数の被写体領域で検出された互いに大きさが異なる複数の動きベクトルのそれぞれに応じた駆動量でのシフトレンズ群１０４のシフト駆動の順序を設定する。本実施例でも、固定したカメラに近づいてくる被写体に対して流し撮りアシスト連続撮像を行う場合を例として説明する。

本実施例のカメラ（カメラ本体および交換レンズ）の構成は、実施例１（図１）にて説明したカメラと同様であり、共通する構成要素には実施例１と同符号を付して説明に代える。

図７のフローチャートを用いて、本実施例における流し撮りアシスト連続撮像処理について説明する。カメラマイコン１３２は、レンズマイコン１１３とともに、コンピュータプログラムとしての撮像制御プログラムに従って本処理を実行する。図７中のＳはステップを意味する。

Ｓ７０１およびＳ７０２は、実施例１（図２）におけるＳ２０１およびＳ２０２と同じである。

Ｓ７０２の次のＳ７０３において、カメラマイコン１３２は、角速度センサ１１１により検出されたカメラのパンニング角速度の情報をレンズマイコン１１３を介して取得し、一定期間内でのパンニング角速度の情報を保持する。一定期間のパンニング角速度の情報を保持するのは、後述するＳ７０６で補正ベクトルを変化させる方向を決定するために使用するためである。

Ｓ７０４およびＳ７０５は、実施例１（図２）におけるＳ２０３およびＳ２０４と同じである。

Ｓ７０５の次のＳ７０６では、カメラマイコン１３２は、補正ベクトルを変化させる方向としての補正ベクトル変化方向を決定（設定）する。この補正ベクトル変化方向の決定方法について、図１１を用いて説明する。

図１１（ａ）は、パンニング角速度が移動する被写体の角速度よりも速い場合における時間経過と補正被写体の位置との関係を示している。画面右端の位置をＰｒ［ｐｉｘｅｌ］とし、画面左端の位置をＰｌ［ｐｉｘｅｌ］とすると、被写体の前側部分と後側部分はともに、時間経過とともに像面上での移動速度Ｖ［ｐｉｘｅｌ／ｓｅｃ］で画面右端に近づいていく。

流し撮りアシスト連続撮像処理での最後の静止画撮像の開始時間をＴ［ｓｅｃ］とし、被写体の後側部分の初期位置をＰ_０［ｐｉｘｅｌ］とする。このとき、以下の式（２）で表される条件を満足する場合は、ユーザが撮像を希望する主被写体の撮像チャンスを逃さないために、最初に被写体の後側部分を補正被写体として撮像するように後側動きベクトルを補正ベクトルに設定する。そして、補正ベクトルを前側動きベクトルに向かって順次変化させながら連続撮像を行う。つまり、補正ベクトル変化方向を、補正ベクトルを後側動きベクトルから前側動きベクトルに向かって変化させる方向に決定する。

図１１（ｂ）は、パンニング角速度が移動する被写体の角速度よりも遅い場合における時間経過と補正被写体の位置との関係を示している。被写体の前側部分と後側部分はともに、時間経過とともに像面上での移動速度Ｖ［ｐｉｘｅｌ／ｓｅｃ］で画面左端に近づいていく。

流し撮りアシスト連続撮像処理での最後の静止画撮像の開始時間をＴ［ｓｅｃ］とし、被写体の前側部分の初期位置をＰ_０［ｐｉｘｅｌ］とする。このとき、以下の式（３）で表される条件を満足する場合は、ユーザが撮像を希望する主被写体の撮像チャンスを逃さないために、最初に被写体の前側部分を補正被写体として撮像するように前側動きベクトルを補正ベクトルに設定する。そして、補正ベクトルを後側動きベクトルに向かって順次変化させながら連続撮像を行う。つまり、補正ベクトル変化方向を、補正ベクトルを前側動きベクトルから後側動きベクトルに向かって変化させる方向に決定する。

Ｓ７０７では、カメラマイコン１３２は、Ｓ７０６で決定した補正ベクトル変化方向が後側動きベクトルから前側動きベクトルに向かう方向か否かを判定し、そうである場合はＳ７０８に進み、そうでない場合はＳ７０９に進む。

Ｓ７０８では、カメラマイコン１３２は、後述する連続撮像処理１を行う。一方、Ｓ７０９では、カメラマイコン１３２は、後述する連続撮像処理２を行う。

Ｓ７０８で行う連続撮像処理１について、図８（ａ）のフローチャートを用いて説明する。Ｓ８０１ａでは、カメラマイコン１３２は、後側動きベクトルを補正ベクトルに設定する。そして、Ｓ８０２ａでは、図３のフローチャートで説明した流し撮りアシスト撮像処理を行う。さらに、カメラマイコン１３２は、Ｓ８０３ａおよびＳ８０４ａにて図２のＳ２０７およびＳ２０８と同じ処理を行い、Ｓ８０４ａにて補正ベクトルがまだ前側動きベクトルの値に達していないと判定した場合はＳ８０２ａに戻る。

Ｓ７０９で行う連続撮像処理２について、図８（ｂ）のフローチャートを用いて説明する。Ｓ８０１ｂでは、カメラマイコン１３２は、前側動きベクトルを補正ベクトルに設定する。そして、Ｓ８０２ｂでは、図３のフローチャートで説明した流し撮りアシスト撮像処理を行い、Ｓ８０３ｂでは後側動きベクトルの値に近くなるように補正ベクトルに変化量を与える。補正ベクトルの変化量は、図２のＳ２０７と同様に算出することができる。

さらに、Ｓ８０４ｂにて、カメラマイコン１３２は、補正ベクトルが後側動きベクトルの値に達したか否かを判定し、達した場合は本処理を終了し、まだ達していない場合はＳ８０２ｂに戻る。

以上説明したように、本実施例では、流し撮りアシスト連続撮像において、カメラのパンニング角速度に応じて補正ベクトルを変化させる方向を変更するとともに、シフトレンズ群１０４のシフト駆動量を決める補正ベクトルを撮像ごとに順次変更する。これにより、パンニング角速度によらず、互いに大きさが異なる動きベクトルが検出された複数の被写体領域の被写体（前後に長い１つの被写体の前側部分から後側部分までの複数部分）のそれぞれが画像中心に位置するように補正された複数の撮像静止画が得られる。そして、これら複数の撮像静止画の少なくとも１つとして、ユーザが撮像を希望する主被写体が画像中心に位置した撮像静止画を取得することができる。

なお、本実施例でも、カメラに近づいてくる被写体に対して流し撮りアシスト連続撮像を行う場合を例として説明したが、実施例１で述べたように、カメラから遠ざかっていく被写体に対しても同様の流し撮りアシスト連続撮像を行うことができる。この場合は、ヒストグラム（補正ベクトル範囲）の右端の動きベクトルを前側動きベクトルとし、左端の動きベクトルを後側動きベクトルとすればよい。

また上記各実施例では、シフトレンズ群１０４を撮像光学系１０１の光軸に対してシフトさせることで流し撮りアシストや防振を行う場合について説明した。しかし、撮像素子１２２をシフト素子として光軸に対してシフトさせることで流し撮りアシストや防振を行うようにしてもよい。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０１ 撮像光学系
１０４ シフトレンズ群
１１１ 角速度センサ
１２０ カメラ本体
１２２ 撮像素子
１３２ カメラマイクロコンピュータ
１４１ 動きベクトル検出部
１５３ 被写体角速度算出部

Claims (11)

1. 撮像光学系の光軸に対してシフト可能なシフト素子を駆動しながら、移動する被写体に対する静止画撮像を行う撮像装置を制御する撮像制御装置であって、
   前記撮像装置により生成された撮像映像のうち複数の被写体領域のそれぞれにおいて検出された動きベクトルを取得する動きベクトル取得手段と、
   前記シフト素子の駆動を制御するとともに前記静止画撮像を制御する制御手段とを有し、
   前記制御手段は、前記検出された複数の動きベクトルの大きさが互いに異なる場合に、前記複数の動きベクトルのそれぞれに応じて前記シフト素子の駆動量を順次変更しながら前記撮像装置に複数の前記静止画撮像を行わせ、
   前記複数の動きベクトルの大きさに応じて、該複数の動きベクトルのそれぞれに応じた駆動量での前記シフト素子の駆動の順序を設定することを特徴とする撮像制御装置。
2. 前記制御手段は、前記複数の動きベクトルのうち最も大きい又は最も小さい動きベクトルに応じた駆動量での前記シフト素子の駆動から行うことを特徴とする請求項１に記載の撮像制御装置。
3. 撮像光学系の光軸に対してシフト可能なシフト素子を駆動しながら、移動する被写体に対する静止画撮像を行う撮像装置を制御する撮像制御装置であって、
   前記撮像装置により生成された撮像映像のうち複数の被写体領域のそれぞれにおいて検出された動きベクトルを取得する動きベクトル取得手段と、
   前記シフト素子の駆動を制御するとともに前記静止画撮像を制御する制御手段とを有し、
   前記制御手段は、前記検出された複数の動きベクトルの大きさが互いに異なる場合に、前記複数の動きベクトルのそれぞれに応じて前記シフト素子の駆動量を順次変更しながら前記撮像装置に複数の前記静止画撮像を行わせ、
   前記撮像装置または該撮像装置に装着された交換レンズの動きの検出により得られる動き速度に応じて、前記複数の動きベクトルのそれぞれに応じた駆動量での前記シフト素子の駆動の順序を設定することを特徴とする撮像制御装置。
4. 前記制御手段は、
   前記動き速度が前記被写体の速度よりも速い場合に、前記複数の動きベクトルのうち最も小さい動きベクトルに応じた駆動量での前記シフト素子の駆動から行い、
   前記動き速度が前記被写体の速度よりも遅い場合に、前記複数の動きベクトルのうち最も大きい動きベクトルに応じた駆動量での前記シフト素子の駆動から行うことを特徴とする請求項３に記載の撮像制御装置。
5. 撮像光学系の光軸に対してシフト可能なシフト素子を駆動しながら、移動する被写体に対する静止画撮像を行う撮像装置を制御する撮像制御装置であって、
   前記撮像装置により生成された撮像映像のうち複数の被写体領域のそれぞれにおいて検出された動きベクトルを取得する動きベクトル取得手段と、
   前記シフト素子の駆動を制御するとともに前記静止画撮像を制御する制御手段とを有し、
   前記制御手段は、前記検出された複数の動きベクトルの大きさが互いに異なる場合に、前記複数の動きベクトルのそれぞれに応じて前記シフト素子の駆動量を順次変更しながら前記撮像装置に複数の前記静止画撮像を行わせ、
   前記複数の動きベクトルのそれぞれの出現頻度に応じて、前記複数の動きベクトルのそれぞれに応じた駆動量での前記シフト素子の駆動の順序を設定することを特徴とする撮像制御装置。
6. 撮像光学系の光軸に対してシフト可能なシフト素子を駆動しながら、移動する被写体に対する静止画撮像を行う撮像装置を制御する撮像制御装置であって、
   前記撮像装置により生成された撮像映像のうち複数の被写体領域のそれぞれにおいて検出された動きベクトルを取得する動きベクトル取得手段と、
   前記シフト素子の駆動を制御するとともに前記静止画撮像を制御する制御手段とを有し、
   前記制御手段は、前記検出された複数の動きベクトルの大きさが互いに異なる場合に、前記複数の動きベクトルのそれぞれに応じて前記シフト素子の駆動量を順次変更しながら前記撮像装置に複数の前記静止画撮像を行わせ、
   前記複数の動きベクトルのうち、前記撮像光学系の焦点状態を検出する焦点検出領域に含まれる前記被写体領域で検出された動きベクトルに応じた駆動量での前記シフト素子の駆動から行うことを特徴とする撮像制御装置。
7. 被写体の撮像を行う撮像手段と、
   請求項１から６のいずれか一項に記載の撮像制御装置と、
   前記動きベクトルを検出する検出手段とを少なくとも有し、
   前記シフト素子を有する交換レンズが装着される又は前記シフト素子を有することを特徴とする撮像装置。
8. 撮像光学系の光軸に対してシフト可能なシフト素子を駆動しながら、移動する被写体に対する静止画撮像を行う撮像装置をコンピュータに制御させるコンピュータプログラムであって、
   前記コンピュータに、
   前記撮像装置により生成された撮像映像のうち複数の被写体領域のそれぞれにおいて検出された動きベクトルを取得させ、
   前記シフト素子の駆動を制御するとともに前記静止画撮像を制御する処理を行わせ、
   前記処理は、前記検出された複数の動きベクトルの大きさが互いに異なる場合に、前記複数の動きベクトルのそれぞれに応じて前記シフト素子の駆動量を順次変更しながら前記撮像装置に複数の前記静止画撮像を行わせ、
   前記複数の動きベクトルの大きさに応じて、該複数の動きベクトルのそれぞれに応じた駆動量での前記シフト素子の駆動の順序を設定する処理であることを特徴とする撮像制御プログラム。
9. 撮像光学系の光軸に対してシフト可能なシフト素子を駆動しながら、移動する被写体に対する静止画撮像を行う撮像装置をコンピュータに制御させるコンピュータプログラムであって、
   前記コンピュータに、
   前記撮像装置により生成された撮像映像のうち複数の被写体領域のそれぞれにおいて検出された動きベクトルを取得させ、
   前記シフト素子の駆動を制御するとともに前記静止画撮像を制御する処理を行わせ、
   前記処理は、前記検出された複数の動きベクトルの大きさが互いに異なる場合に、前記複数の動きベクトルのそれぞれに応じて前記シフト素子の駆動量を順次変更しながら前記撮像装置に複数の前記静止画撮像を行わせ、
   前記撮像装置または該撮像装置に装着された交換レンズの動きの検出により得られる動き速度に応じて、前記複数の動きベクトルのそれぞれに応じた駆動量での前記シフト素子の駆動の順序を設定する処理であることを特徴とする撮像制御プログラム。
10. 撮像光学系の光軸に対してシフト可能なシフト素子を駆動しながら、移動する被写体に対する静止画撮像を行う撮像装置をコンピュータに制御させるコンピュータプログラムであって、
    前記コンピュータに、
    前記撮像装置により生成された撮像映像のうち複数の被写体領域のそれぞれにおいて検出された動きベクトルを取得させ、
    前記シフト素子の駆動を制御するとともに前記静止画撮像を制御する処理を行わせ、
    前記処理は、前記検出された複数の動きベクトルの大きさが互いに異なる場合に、前記複数の動きベクトルのそれぞれに応じて前記シフト素子の駆動量を順次変更しながら前記撮像装置に複数の前記静止画撮像を行わせ、
    前記複数の動きベクトルのそれぞれの出現頻度に応じて、前記複数の動きベクトルのそれぞれに応じた駆動量での前記シフト素子の駆動の順序を設定する処理であることを特徴とする撮像制御プログラム。
11. 撮像光学系の光軸に対してシフト可能なシフト素子を駆動しながら、移動する被写体に対する静止画撮像を行う撮像装置をコンピュータに制御させるコンピュータプログラムであって、
    前記コンピュータに、
    前記撮像装置により生成された撮像映像のうち複数の被写体領域のそれぞれにおいて検出された動きベクトルを取得させ、
    前記シフト素子の駆動を制御するとともに前記静止画撮像を制御する処理を行わせ、
    前記処理は、前記検出された複数の動きベクトルの大きさが互いに異なる場合に、前記複数の動きベクトルのそれぞれに応じて前記シフト素子の駆動量を順次変更しながら前記撮像装置に複数の前記静止画撮像を行わせ、
    前記複数の動きベクトルのうち、前記撮像光学系の焦点状態を検出する焦点検出領域に含まれる前記被写体領域で検出された動きベクトルに応じた駆動量での前記シフト素子の駆動から行う処理であることを特徴とする撮像制御プログラム。