JP6128109B2 - 撮影装置、撮影方向の制御方法及びプログラム - Google Patents

Description

本発明は、撮影装置、撮影方向の制御方法及びプログラムに関する。

従来、撮影画像を解析して被写体を検出し、検出した被写体の位置に応じて撮影方向を変更することが可能な撮影装置が知られている（例えば、特許文献１参照。）。このような撮影方向の制御は、被写体の追跡、手ブレ補正、パノラマ撮影等の多くの場面で行われている。

撮像画像の生成後、画像解析して撮影方向を変更するまでのレイテンシが短ければ、次のフレームの露光開始前に撮影方向の変更を完了できるが、フレームレートが高い場合や、画像解析に係る時間が長い場合では、撮影方向の変更が間に合わずに次のフレームの露光が始まってしまう場合がある。

特開２０１０−８１０４１号公報

露光開始後に撮影方向を変更すると、変更するタイミングによっては撮影画像中に撮影方向の変更前後の被写体像が映り込み、被写体の移動によるブレとは別に、撮影方向の変更による被写体像のブレが生じることがある。次の撮影方向は、撮影画像中の被写体の位置に応じて決定されるため、撮影画像中に複数の被写体像があると、次のフレームの撮影方向を決定することができず、撮影方向の制御が難しくなる。

本発明の課題は、撮影方向の変更による被写体像のブレを防止することである。

請求項１に記載の発明によれば、
フレームごとに露光を行って、被写体の撮影画像を生成する撮影手段と、
前記撮影手段の撮影方向を変更する変更手段と、
前記撮影手段の露光期間に応じて前記撮影方向の変更の有効期間を決定し、決定した有効期間内で、前記変更手段により前記撮影方向の変更を実施させる制御手段と、
前記撮影手段により生成されたフレームの撮影画像中の被写体の位置を検出する検出手段と、
前記検出手段により前記フレームにおいて検出された被写体の移動速度及び移動方向を算出する算出手段と、
前記算出手段により算出された前記被写体の移動速度及び移動方向の少なくとも１つに基づいて、次のフレームにおいて前記被写体が位置するライン範囲を予測する予測手段と、を備え、
前記制御手段は、前記撮影手段の駆動方式がローリングシャッタ方式である場合、前記フレームにおいて前記被写体が検出されたライン範囲の露光完了から、前記次のフレームにおいて前記被写体が位置すると予測されたライン範囲の露光開始までの期間を、前記有効期間として決定することを特徴とする撮影装置が提供される。

請求項６に記載の発明によれば、
フレームごとに露光を行って、被写体の撮影画像を生成する撮影手段と、前記撮影手段の撮影方向を変更する変更手段と、を備える撮影装置の撮影方向の制御方法であって、
前記撮影手段の露光期間に応じて、前記撮影方向の変更の有効期間を決定する決定ステップと、
前記決定ステップにおいて決定された有効期間内で、前記撮影手段の撮影方向を変更するように、前記変更手段を制御する制御ステップと、
前記撮影手段により生成されたフレームの撮影画像中の被写体の位置を検出する検出ステップと、
前記検出ステップにより前記フレームにおいて検出された被写体の移動速度及び移動方向を算出する算出ステップと、
前記算出ステップにより算出された前記被写体の移動速度及び移動方向の少なくとも１つに基づいて、次のフレームにおいて前記被写体が位置するライン範囲を予測する予測ステップと、を含み、
前記制御ステップは、前記撮影手段の駆動方式がローリングシャッタ方式である場合、前記フレームにおいて前記被写体が検出されたライン範囲の露光完了から、前記次のフレームにおいて前記被写体が位置すると予測されたライン範囲の露光開始までの期間を、前記有効期間として決定することを特徴とする撮影方向の制御方法が提供される。

請求項７に記載の発明によれば、
フレームごとに露光を行って、被写体の撮影画像を生成する撮影手段と、前記撮影手段の撮影方向を変更する変更手段と、を備える撮影装置のコンピュータに、
前記撮影手段の露光期間に応じて、前記撮影方向の変更の有効期間を決定する決定ステップと、
前記決定ステップにおいて決定された有効期間内で、前記撮影手段の撮影方向を変更するように、前記変更手段を制御する制御ステップと、
前記撮影手段により生成されたフレームの撮影画像中の被写体の位置を検出する検出ステップと、
前記検出ステップにより前記フレームにおいて検出された被写体の移動速度及び移動方向を算出する算出ステップと、
前記算出ステップにより算出された前記被写体の移動速度及び移動方向の少なくとも１つに基づいて、次のフレームにおいて前記被写体が位置するライン範囲を予測する予測ステップと、を実行させ、
前記制御ステップは、前記撮影手段の駆動方式がローリングシャッタ方式である場合、前記フレームにおいて前記被写体が検出されたライン範囲の露光完了から、前記次のフレームにおいて前記被写体が位置すると予測されたライン範囲の露光開始までの期間を、前記有効期間として決定するプログラムが提供される。

本発明によれば、撮影方向の変更による被写体像のブレを防止することができる。

本実施の形態の撮影装置の構成を機能ごとに示すブロック図である。 撮影装置において、１つのフレームの露光を開始してから次のフレームの露光を開始するまでの処理手順を示すフローチャートである。 次のフレームの撮影方向を決定する際の処理手順を示すフローチャートである。 被写体が検出された撮影画像の一例を示す図である。 変更前後の撮影方向がなす角度を示す図である。 撮影方向を変更する前後の被写体像を含む撮影画像の例を示している。 撮影方向の変更の有効期間を決定する際の処理手順を示すフローチャートである。 駆動方式がグローバルシャッタ方式である場合の各フレームの露光期間を示すタイミングチャートである。 駆動方式がローリングシャッタ方式であり、各フレーム間に非露光期間がある場合の各フレームの露光期間を示すタイミングチャートである。 駆動方式がローリングシャッタ方式であり、各フレーム間に非露光期間がない場合の各フレームの露光期間を示すタイミングチャートである。

以下、本発明の撮影装置、撮影方向の制御方法及びプログラムの実施の形態について、図面を参照して説明する。

図１は、本実施の形態の撮影装置１の主な構成を機能ごとに示すブロック図である。
図１に示すように、撮影装置１は、撮影部１１、雲台１２、雲台駆動部１３、画像処理部１４、制御部１５、記憶部１６、表示部１７及び操作部１８を備えて構成されている。

撮影部１１（撮影手段）は、フレームごとに露光を行って、被写体の撮影画像を生成する。
撮影部１１は、図１に示すように、撮影部１１への入射光を結像する光学系１１１と、光学系１１１により結像された入射光を光電変換して撮影画像を生成する撮像素子１１２と、光学系１１１の駆動部１１３と、を備えて構成されている。

光学系１１１は、例えばミラー、ミラーにより導かれた入射光を撮像素子１１２の撮像面上で結像するレンズ群等により構成することができる。
撮像素子１１２としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等を用いることができる。
駆動部１１３は、焦点合わせのため、光学系１１１を駆動して光学系１１１の位置又は姿勢を変更することができる。

雲台１２は、撮影部１１を回転可能に支持する。
雲台駆動部１３（変更手段）は、制御部１５からの撮影方向の指示情報にしたがって雲台１２を回転駆動して撮影部１１の姿勢を変更することにより、撮影部１１の撮影方向を変更することができる。なお、回転駆動ではなく、チルト駆動及びパン駆動し、撮影部１１の位置を移動することによって撮影部１１の撮影方向を変更するようにしてもよい。

画像処理部１４は、撮影部１１により生成された撮影画像のＡ/Ｄ変換、シェーディング補正、色補正等の画像処理を実施する。

制御部１５は、撮影装置１の各部の動作を制御する。制御部１５は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等により構成することができる。
例えば、制御部１５は、撮影部１１により所定のフレームレートで各フレームの露光を開始させ、撮影画像を生成させる。制御部１５は、生成された撮影画像を記憶部１６に保存し、表示部１７により生成された撮影画像のプレビュー画面を表示させる。

制御部１５は、被写体の追跡、手ブレ補正、パノラマ撮影等のため、雲台駆動部１３により撮影部１１の撮影方向を変更させることができる。具体的には、制御部１５（検出手段）は、撮影部１１により生成されたフレームの撮影画像中の被写体を検出する。制御部１５（制御手段）は、検出した被写体の位置に応じて次のフレームにおける撮影方向を決定し、決定した撮影方向の指示情報を雲台駆動部１３に出力して、撮影部１１の撮影方向を決定した撮影方向に変更させる。
制御部１５は、撮影方向の変更による被写体像のブレを防止するため、撮影部１１の露光期間に応じて撮影方向の変更の有効期間を決定し、決定した有効期間内でのみ、雲台駆動部１３による撮影方向の変更を実施させる。

制御部１５（算出手段）は、上記有効期間を決定する際、各フレームにおいて検出した被写体の位置変化から、被写体の移動速度及び移動方向を算出することができる。また、制御部１５（予測手段）は、算出した被写体の移動速度及び移動方向の少なくとも１つに基づいて、次のフレームにおいて被写体が位置するライン範囲を予測することができる。

記憶部１６は、制御部１５により実行されるプロラグム、プログラムの実行に必要なファイル等を記憶している。
また、記憶部１６は、撮影部１１により生成された各フレームの撮影画像を記憶する。
記憶部１６としては、フラッシュメモリ等の不揮発性メモリを使用することができる。

表示部１７は、制御部１５の指示にしたがって、ＬＣＤ（Liquid Crystal Display）等のディスプレイ上に操作画面、撮影画像のプレビュー画面等を表示する。

操作部１８は、撮影実行ボタン、メニューボタン等の撮影装置１に設けられたボタン、表示部１７と一体に構成されたタッチパネル等の操作に応じて、操作信号を生成し、制御部１５に出力する。

上記撮影装置１は、被写体の位置に応じて撮影方向を変更して、被写体を撮影することが可能である。
図２は、撮影方向を変更して撮影を行う撮影装置１において、ｎ番目のフレームの露光を開始してから、次のｎ＋１番目のフレームの露光を開始するまでの処理手順を示している。

図２に示すように、撮影装置１では、撮影部１１が露光を開始してｎ番目のフレームの撮影画像を生成する（ステップＳ１）。
生成された撮影画像に画像処理部１４により各種画像処理が施されると、制御部１５は画像処理後の撮影画像を記憶部１６に保存する。また、制御部１５は次のｎ＋１番目フレームの撮影方向を決定する（ステップＳ２）。

図３は、次のフレームの撮影方向を決定する処理手順を示している。
図３に示すように、制御部１５は、記憶部１６からｎ番目のフレームの撮影画像を読み出して取得し（ステップＳ２１）、撮影画像中の被写体を検出する（ステップＳ２２）。
制御部１５は、ユーザーにより指定された被写体をパターンマッチング等により検出することもできるし、顔認識、動体認識等により顔、動体等を被写体として検出することもできる。

制御部１５は、検出した被写体の位置に応じて、次のｎ＋１番目のフレームの撮影方向を決定する（ステップＳ２３）。
例えば、図４に示すように被写体Ｋが検出された撮影画像Ｖｎの場合、制御部１５は、撮影画像Ｖｎの中心Ｃを原点（ｘ０、ｙ０）とするｘｙ座標において、被写体Ｋの重心Ｇの位置座標（ｘ１、ｙ１）を算出する。ｘｙ座標は、撮影画像Ｖｎの各画素のｘ方向及びｙ方向における位置を表す座標系である。制御部１５は、次のフレームにおいて、目的の位置、例えば被写体Ｋの重心Ｇを撮影画像Ｖｎの中心Ｃに位置させる場合、被写体Ｋの重心Ｇから撮影画像の中心Ｃへ向かう矢印で表すベクトル方向を、次のフレームの撮影方向として決定する。

制御部１５は、撮影部１１の撮影方向を決定した撮影方向に変更させるための指示情報を生成する（ステップＳ２４）。
図４に示す撮影画像Ｖｎの場合、制御部１５は、決定した撮影方向が現在の撮影方向となす角度Δθを算出する。図５に示すように、光学系１１１から撮像素子１１３までの焦点距離ｄ１と、撮影方向の変更によって撮影画像Ｖｎにおいて検出された被写体Ｋを移動させる距離ｄ２のａｒｃｔａｎを求めることにより、Δθを算出することができる。制御部１５は、ｎ番目のフレームの露光時の雲台１２の角度θｏｂｓを雲台駆動部１３から取得して、この角度θｏｂｓにΔθを加算して角度θｎｅｘｔを算出する。制御部１５は、雲台１２を現在の角度θｏｂｓから算出した角度θｎｅｘｔへ回転駆動させるための指示情報を生成する。

以上のようにして撮影方向を決定すると、図２に示すように、制御部１５は、撮影部１１の露光期間に応じて、撮影方向の変更の有効期間を決定する（ステップＳ３）。
撮影方向を変更するタイミングによっては、撮影画像中に被写体像のブレが生じることがある。図６は、被写体像のブレが生じた撮影画像の例を示している。
１つのフレームの各ラインのうち、被写体が位置するラインの露光期間中に撮影方向を変更すると、図６に示すように、撮影画像中に、撮影方向を変更した後の被写体Ｋだけでなく、変更する前の被写体Ｋ^＊が残像のように映りこんでしまう。次のフレームの撮影方向の決定の基礎とする被写体として、複数の被写体Ｋ及びＫ^＊が検出されるため、撮影方向の制御が困難となる。

制御部１５は、このような被写体像のブレが生じないタイミングで撮影方向を変更できるように、各フレームの露光期間に応じて撮影方向の変更の有効期間を決定する。各フレームの露光期間は撮影部１１の駆動方式によって異なるため、制御部１５は、駆動方式ごとに次のようにして有効期間を決定する。

図７は、撮影方向の変更の有効期間を決定する処理手順を示している。
図７に示すように、制御部１５は、撮影部１１の駆動方式がグローバルシャッタ方式である場合（ステップＳ３１；Ａ）、制御部１５は、ｎ番目のフレームの露光期間と次のｎ＋１番目のフレームの露光期間の間の垂直帰線期間を、有効期間として決定する（ステップＳ３２）。

図８は、グローバルシャッタ方式における各フレームの露光期間を示している。図８において、網掛け部分はｎ及びｎ＋１番目のフレームの各ライン１〜Ｍを示している。
図８に示すように、グローバルシャッタ方式の場合は、各ライン１〜Ｍの露光が並行して始まり、読み出しも並行して完了する。ｎ番目のフレームの最終ラインＭからｎ＋１番目のフレームの先頭ライン１までの垂直帰線期間は非露光期間であり、この間に撮影方向が変更されても被写体像のブレは生じないため、制御部１５はこの垂直帰線期間を有効期間に決定することができる。

図８に示すように、１つのフレームのすべてのライン１〜Ｍの読出完了後、上述した撮影方向及び有効期間の決定等の画像解析が開始される。有効期間が垂直帰線期間である場合、読出完了後から有効期間が存続中であるので、図８に示すように画像解析が完了した時点で、撮影方向の変更を指示することができる。

撮影部１１の駆動方式がローリングシャッタ方式である場合（ステップＳ３１；Ｂ）、制御部１５は、各フレームの露光期間の間に、撮影方向の変更を実施するのに十分な長さの非露光期間があるか否かを判断する（ステップＳ３３）。十分な長さの非露光期間がある場合(ステップＳ３３；Ｙ)、制御部１５は当該非露光期間を撮影方向の変更の有効期間として決定する（ステップＳ３４）。

図９は、ローリングシャッタ方式において、十分な長さの非露光期間がある場合の各フレームの露光期間を示している。図９において、網掛け部分はｎ及びｎ＋１番目のフレームの各ライン１〜Ｍを示している。
ローリングシャッタ方式の場合、図９に示すように、各ライン１〜Ｍの露光の開始タイミングがラインごとに遅延しており、先頭ライン１の読出完了から最終ラインＭの読出完了まで時間差が生じる。そのため、同じフレームレートでも、各フレームの露光期間の間の期間はグローバルシャッタ方式よりもローリングシャッタ方式の方が短い。

それでも、フレームレート自体が低く、ｎ番目のフレームの最終ラインＭの読出完了からｎ＋１番目のフレームの先頭ライン１の露光開始までの非露光期間が、撮影方向の変更を実施するために必要な時間よりも十分長い場合もある。上述のように、非露光期間に撮影方向が変更されても被写体像のブレは生じないため、制御部１５は、この十分長い非露光期間を撮影方向の変更の有効期間として決定する。
決定された有効期間は、グローバルシャッタ方式の場合と同様に、最終ラインＭの露光完了後から始まるので、図９に示すように、画像解析が完了した時点で、撮影方向の変更を指示することができる。

一方、十分な長さの非露光期間がない場合（ステップＳ３３；Ｎ）、制御部１５は、ｎ及びｎ−１番目のフレームの撮影画像においてそれぞれ検出した被写体の位置変化に基づいて、被写体の移動速度及び移動方向を算出する(ステップＳ３５)。
例えば、制御部１５は、ｎ−１番目のフレームにおける被写体の重心位置からｎ番目のフレームにおける被写体の重心位置までのｘ方向及びｙ方向の画素数を移動量として求める。ｘ方向及びｙ方向のそれぞれの移動量を、各フレームを撮影した時間差で除算することにより、ｘ方向及びｙ方向の移動速度を得ることができる。また、制御部１５は、ｎ−１番目のフレームの被写体の重心位置からｎ番目のフレームの被写体の重心位置へ向かうベクトル方向を移動方向として算出することができる。

制御部１５は、算出した移動速度及び移動方向の少なくとも１つに基づいて、次のｎ＋１番目のフレームにおいて被写体が位置するライン範囲を予測する（ステップＳ３６）。
例えば、被写体のｙ方向の移動速度が−２画素／ｍｓｅｃである場合、ｎ番目のフレームにおいて重心位置がＧ（ｘ１，ｙ１）である被写体は、６０ｍｓｅｃ後に撮影されるｎ＋１番目のフレームにおいてｙ方向の位置座標がｙ１−１２０の位置に移動していると予測できる。このｙ方向の位置座標がｙ１−１２０であるラインを基準に、被写体の幅と誤差を考慮して±２００ラインずつを含む、ｙ１−３２０〜ｙ１＋８０のライン範囲を、次のフレームの被写体が位置するライン範囲として予測することができる。

制御部１５は、ｎ番目のフレームにおいて被写体が検出されたライン範囲の露光完了から、ｎ＋１番目のフレームにおいて被写体が位置すると予測されたライン範囲の露光開始までの期間を、撮影方向の変更の有効期間として決定する（ステップＳ３７）。

図１０は、ローリングシャッタ方式において、十分な長さの非露光期間がない場合の各フレームの露光期間を示している。図１０において、網掛け部分はｎ及びｎ＋１番目のフレームの各ライン１〜Ｍを示している。
図１０に示すように、ｎ番目のフレームの最終ラインＭの読出完了後、すぐにｎ＋１番目のフレームの先頭ライン１の露光が開始される場合、非露光期間がないため、非露光期間を有効期間として決定することができない。

この場合、ステップＳ２２での被写体の検出により、ｎ番目のフレームにおいて被写体が検出されたライン範囲Ｌｎの最終ラインの露光完了から、ｎ＋１番目のフレームの撮影画像Ｖｎ＋１において被写体Ｋが位置すると予測されたライン範囲Ｌｎ＋１の先頭ラインの露光開始までの期間を、有効期間として決定することができる。各ライン範囲Ｌｎ及びＬｎ＋１以外のラインの露光期間中に撮影方向が変更されるが、各ラインＬｎ及びＬｎ＋１以外の各ラインの撮影画像には被写体が位置しないため、被写体像のブレが生じない。

上述のように有効期間を決定した場合、図１０に示すように、ｎ番目のフレームのライン範囲Ｌｎの露光完了後に有効期間が始まるが、画像解析によって新たな撮影方向が決定されるため、撮影方向の変更は最終ラインＭの読出完了後に開始される画像解析の完了を待たなければならない。画像解析がｎ＋１番目のフレームのライン範囲Ｌｎ＋１の先頭ラインの露光開始までに完了すれば、有効期間内にあるため、画像解析が完了した時点で撮影方向の変更を指示することができる。一方、図１０に示すように、画像解析がライン範囲Ｌｎ＋１の先頭ラインの露光開始までに完了しない場合は、ライン範囲Ｌｎ＋１の最終ラインの露光完了後の有効範囲内において、画像解析が完了した時点で、撮影方向の変更を指示することができる。この場合、撮影方向を変更するタイミングが1フレーム遅延することになるが、撮影画像中の被写体が検出できる範囲内での遅延であれば、被写体の追跡は可能である。

有効期間の決定を終えると、図２に示すように、制御部１５は現時点において有効期間内であるか否かを判断する(ステップＳ４)。
有効期間内にない場合(ステップＳ４；Ｎ)、制御部１５はステップＳ４の判断を繰り返し、有効期間に至るまで待機する。一方、有効期間内であれば(ステップＳ４；Ｙ)、制御部１５は、ステップＳ２４で生成した撮影方向の変更の指示情報を雲台駆動部１３に出力する。雲台駆動部１３は、制御部１５から出力された撮影方向の指示情報にしたがって、撮影方向の変更を実施する(ステップＳ５)。

以上のように、本実施の形態の撮影装置１は、フレームごとに露光を行って、被写体の撮影画像を生成する撮影部１１と、撮影部１１の撮影方向を変更する雲台１２及び雲台駆動部１３と、撮影部１１により生成されたフレームの撮影画像中の被写体の位置を検出し、検出した被写体の位置に応じて、次のフレームにおける撮影方向を決定し、雲台駆動部１３により撮影部１１の撮影方向を決定した撮影方向に変更させる制御部１５と、備え、制御部１５は、撮影部１１の露光期間に応じて撮影方向の変更の有効期間を決定し、決定した有効期間内でのみ、雲台駆動部１３により撮影方向の変更を実施させる。

これにより、撮影方向を変更するタイミングを、非露光期間内とするか、露光期間内であっても被写体が位置しないラインの露光期間内とすることができ、撮影方向の変更による被写体像のブレを防止して、被写体の位置に応じた撮影方向の変更を行うことができる。

上記実施の形態において、制御部１５は、撮影部１１の駆動方式がグローバルシャッタ方式である場合、上記フレームから上記次のフレームまでの垂直帰線期間を、上記有効期間として決定する。
これにより、非露光期間において撮影方向を変更するように変更タイミングを制御することができ、被写体像のブレを防止することができる。

上記実施の形態において、制御部１５は、撮影部１１の駆動方式がローリングシャッタ方式である場合、上記フレームの最終ラインの露光完了から上記次のフレームの先頭ラインの露光開始までの非露光期間を、上記有効期間として決定する。
これにより、非露光期間において撮影方向を変更するように変更タイミングを制御することができ、被写体像のブレを防止することができる。

上記実施の形態において、制御部１５が、上記フレームにおいて検出した被写体の移動速度及び移動方向を算出し、算出した被写体の移動速度及び移動方向の少なくとも１つに基づいて、上記次のフレームにおいて被写体が位置するライン範囲を予測する。また、制御部１５は、撮影部１１の駆動方式がローリングシャッタ方式である場合、上記フレームにおいて被写体が検出されたライン範囲の露光完了から、上記次のフレームにおいて前記被写体が位置すると予測されたライン範囲の露光開始までの期間を、上記有効期間として決定する。
これにより、被写体が位置しないラインの露光期間において撮影方向を変更するように、変更タイミングを制御することができ、被写体像のブレを防止することができる。

上記実施の形態において、雲台駆動部１３は、撮影部１１の雲台１２を駆動して撮影部１１を回転又は移動させることにより、撮影部１１の撮影方向を変更する。
雲台１２により、撮影部１１の撮影方向を変更することができる。

上記実施の形態は本発明の好適な一例であり、これに限定されない。本発明の主旨を逸脱しない範囲で適宜変更可能である。
例えば、上記実施の形態では雲台１２を駆動して撮影方向を変更するが、撮影部１１の撮像素子１１２へ入射する光軸の角度を変更することにより、撮影方向を変更するようにしてもよい。
具体的には、駆動部１１３が、光学系１１１に用いられるミラーを駆動してミラーの反射面の角度を変更することにより、被写体像として撮像素子１１２に入射する光軸の角度を変更することができる。また、光学系１１１が手ブレ補正用のレンズ等を備えている場合は、駆動部１１３が当該レンズの位置又は姿勢を変更することによっても、被写体像として撮像素子１１２に入射する光軸の角度を変更することができる。

また、上記実施の形態では、撮影装置１が撮影画像中の被写体を検出し、被写体の位置に応じて次の撮影方向を決定し、決定した撮影方向に自動的に変更するが、本発明はこのような場合に限定されない。例えば、雲台１２がリモコン制御可能であり、撮影者が被写体を見ながら、リモコンで雲台１２を走査して撮影方向を変更するような場合においても、上述した有効期間内のみ変更を可能とする制御は有効である。

本発明のいくつかの実施の形態を説明したが、本発明の範囲は上記実施の形態に限定されず、特許請求の範囲に記載した発明の範囲と当該範囲と均等の範囲を含む。
以下、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。下記付記における各請求項の番号は、この出願の願書に最初に添付した特許請求の範囲のとおりである。

＜付記＞
〔請求項１〕
フレームごとに露光を行って、被写体の撮影画像を生成する撮影手段と、
前記撮影手段の撮影方向の変更手段と、
前記変更手段により前記撮影手段の撮影方向を変更させる制御手段と、を備え、
前記制御手段は、前記撮影手段の露光期間に応じて前記撮影方向の変更の有効期間を決定し、決定した有効期間内でのみ、前記変更手段により前記撮影方向の変更を実施させることを特徴とする撮影装置。
〔請求項２〕
前記撮影手段により生成されたフレームの撮影画像中の被写体の位置を検出する検出手段を備え、
前記制御手段は、前記検出手段により検出された被写体の位置に応じて、次のフレームにおける撮影方向を決定し、前記変更手段により前記撮影手段の撮影方向を前記決定した方向に変更させることを特徴とする請求項１に記載の撮影装置。
〔請求項３〕
前記制御手段は、前記撮影手段の駆動方式がグローバルシャッタ方式である場合、あるフレームから次のフレームまでの垂直帰線期間を、前記有効期間として決定することを特徴とする請求項１又は２に記載の撮影装置。
〔請求項４〕
前記制御手段は、前記撮影手段の駆動方式がローリングシャッタ方式である場合、あるフレームの最終ラインの露光完了から次のフレームの先頭ラインの露光開始までの非露光期間を、前記有効期間として決定することを特徴とする請求項１又は２に記載の撮影装置。
〔請求項５〕
前記検出手段により前記フレームにおいて検出された被写体の移動速度及び移動方向を算出する算出手段と、
前記算出手段により算出された前記被写体の移動速度及び移動方向の少なくとも１つに基づいて、前記次のフレームにおいて前記被写体が位置するライン範囲を予測する予測手段と、を備え、
前記制御手段は、前記撮影手段の駆動方式がローリングシャッタ方式である場合、前記フレームにおいて前記被写体が検出されたライン範囲の露光完了から、前記次のフレームにおいて前記被写体が位置すると予測されたライン範囲の露光開始までの期間を、前記有効期間として決定することを特徴とする請求項２に記載の撮影装置。
〔請求項６〕
前記変更手段は、前記撮影手段の雲台を駆動して前記撮影手段を回転又は移動させることにより、前記撮影手段の撮影方向を変更することを特徴とする請求項１〜５のいずれか一項に記載の撮影装置。
〔請求項７〕
前記撮影手段は、入射光を結像する光学系と、前記光学系により結像された入射光を光電変換する撮像素子と、を備え、
前記変更手段は、前記光学系を駆動して、前記撮像素子へ入射する光軸の角度を変更することにより、前記撮影手段の撮影方向を変更することを特徴とする請求項１〜５のいずれか一項に記載の撮影装置。
〔請求項８〕
フレームごとに露光を行って、被写体の撮影画像を生成する撮影手段と、前記撮影手段の撮影方向の変更手段と、を備える撮影装置の撮影方向の制御方法であって、
前記撮影手段の露光期間に応じて、前記撮影方向の変更の有効期間を決定する決定ステップと、
前記変更手段により、前記決定ステップにおいて決定された有効期間内でのみ、前記撮影手段の撮影方向を変更させる制御ステップと、
を含むことを特徴とする撮影方向の制御方法。
〔請求項９〕
フレームごとに露光を行って、被写体の撮影画像を生成する撮影手段と、前記撮影手段の撮影方向の変更手段と、を備える撮影装置のコンピュータに、
前記撮影手段の露光期間に応じて、前記撮影方向の変更の有効期間を決定する決定ステップと、
前記変更手段により、前記決定ステップにおいて決定された有効期間内でのみ、前記撮影手段の撮影方向を変更させる制御ステップと、
を実行させるためのプログラム。

１ 撮影装置
１１ 撮影部
１１１ 光学系
１１２ 撮像素子
１１３ 駆動部
１２ 雲台
１３ 雲台駆動部
１５ 制御部
１６ 記憶部

Claims (7)

1. フレームごとに露光を行って、被写体の撮影画像を生成する撮影手段と、
   前記撮影手段の撮影方向を変更する変更手段と、
   前記撮影手段の露光期間に応じて前記撮影方向の変更の有効期間を決定し、決定した有効期間内で、前記変更手段により前記撮影方向の変更を実施させる制御手段と、
   前記撮影手段により生成されたフレームの撮影画像中の被写体の位置を検出する検出手段と、
   前記検出手段により前記フレームにおいて検出された被写体の移動速度及び移動方向を算出する算出手段と、
   前記算出手段により算出された前記被写体の移動速度及び移動方向の少なくとも１つに基づいて、次のフレームにおいて前記被写体が位置するライン範囲を予測する予測手段と、を備え、
   前記制御手段は、前記撮影手段の駆動方式がローリングシャッタ方式である場合、前記フレームにおいて前記被写体が検出されたライン範囲の露光完了から、前記次のフレームにおいて前記被写体が位置すると予測されたライン範囲の露光開始までの期間を、前記有効期間として決定することを特徴とする撮影装置。
2. 前記制御手段は、前記撮影手段の駆動方式がグローバルシャッタ方式である場合、あるフレームから次のフレームまでの垂直帰線期間を、前記有効期間として決定することを特徴とする請求項１に記載の撮影装置。
3. 前記制御手段は、前記撮影手段の駆動方式がローリングシャッタ方式である場合、あるフレームの最終ラインの露光完了から次のフレームの先頭ラインの露光開始までの非露光期間を、前記有効期間として決定することを特徴とする請求項１に記載の撮影装置。
4. 前記変更手段は、前記撮影手段の雲台を駆動して前記撮影手段を回転又は移動させることにより、前記撮影手段の撮影方向を変更することを特徴とする請求項１〜３のいずれか一項に記載の撮影装置。
5. 前記撮影手段は、入射光を結像する光学系と、前記光学系により結像された入射光を光電変換する撮像素子と、を備え、
   前記変更手段は、前記光学系を駆動して、前記撮像素子へ入射する光軸の角度を変更することにより、前記撮影手段の撮影方向を変更することを特徴とする請求項１〜３のいずれか一項に記載の撮影装置。
6. フレームごとに露光を行って、被写体の撮影画像を生成する撮影手段と、前記撮影手段の撮影方向を変更する変更手段と、を備える撮影装置の撮影方向の制御方法であって、
   前記撮影手段の露光期間に応じて、前記撮影方向の変更の有効期間を決定する決定ステップと、
   前記決定ステップにおいて決定された有効期間内で、前記撮影手段の撮影方向を変更するように、前記変更手段を制御する制御ステップと、
   前記撮影手段により生成されたフレームの撮影画像中の被写体の位置を検出する検出ステップと、
   前記検出ステップにより前記フレームにおいて検出された被写体の移動速度及び移動方向を算出する算出ステップと、
   前記算出ステップにより算出された前記被写体の移動速度及び移動方向の少なくとも１つに基づいて、次のフレームにおいて前記被写体が位置するライン範囲を予測する予測ステップと、を含み、
   前記制御ステップは、前記撮影手段の駆動方式がローリングシャッタ方式である場合、前記フレームにおいて前記被写体が検出されたライン範囲の露光完了から、前記次のフレームにおいて前記被写体が位置すると予測されたライン範囲の露光開始までの期間を、前記有効期間として決定することを特徴とする撮影方向の制御方法。
7. フレームごとに露光を行って、被写体の撮影画像を生成する撮影手段と、前記撮影手段の撮影方向を変更する変更手段と、を備える撮影装置のコンピュータに、
   前記撮影手段の露光期間に応じて、前記撮影方向の変更の有効期間を決定する決定ステップと、
   前記決定ステップにおいて決定された有効期間内で、前記撮影手段の撮影方向を変更するように、前記変更手段を制御する制御ステップと、
   前記撮影手段により生成されたフレームの撮影画像中の被写体の位置を検出する検出ステップと、
   前記検出ステップにより前記フレームにおいて検出された被写体の移動速度及び移動方向を算出する算出ステップと、
   前記算出ステップにより算出された前記被写体の移動速度及び移動方向の少なくとも１つに基づいて、次のフレームにおいて前記被写体が位置するライン範囲を予測する予測ステップと、を実行させ、
   前記制御ステップは、前記撮影手段の駆動方式がローリングシャッタ方式である場合、前記フレームにおいて前記被写体が検出されたライン範囲の露光完了から、前記次のフレームにおいて前記被写体が位置すると予測されたライン範囲の露光開始までの期間を、前記有効期間として決定するプログラム。

Images