JP4866227B2 - 自動追尾撮影装置 - Google Patents

Description

本発明は、カメラの手持ち撮影において撮影対象である被写体の自動追尾撮影を実現する自動追尾撮影装置に関する。

従来、自動追尾撮影をする場合、カメラをモータ付きの三脚、雲台またはクレーンに搭載して、カメラの姿勢角や位置を電気的または機械的に自動制御する追尾撮影装置が開示されている（特許文献１）。この追尾撮影装置は、自動追尾撮影をする場合、撮影倍率に応じて予め決められた特徴画像の移動量に応じてチルトモータおよびパンモータにより撮影方向を変えるものである。
また、手持ちカメラにおいては、カメラの微小な揺れや回転を保障するために、光路上
に物理的に移動可能な光学系、例えば、レンズ、プリズムまたは鏡等を設定し、これを電気的に制御することを可能にした装置が存在する。
さらに、手持ち撮影を含む撮影用の防振装置に、モーメンタムホイールを高速回転させることで姿勢を安定化させるジャイロスタビライザが開示されている（特許文献２）。
特開平１１−１２２５２６号公報（段落００３３〜００４３、図１） 特開２００６−１７６８６号公報（段落０００５〜００１０、図２）

しかし、従来の追尾撮影装置において、例えば、特許文献１で開示されている技術では、カメラをモータ付きの三脚、雲台またはクレーンに搭載するため、カメラを含めた総重量が重く、人が把持して撮影する手持ち撮影を行なうことが困難であるという問題がある。

また、光路上を移動させる手法では、追尾可能な被写体像の移動量が小さく、手ぶれ程度の小さな姿勢変化は保障可能であるが、特定の被写体を追尾する大きな姿勢変化が要求される用途には適さないという問題がある。

さらに、特許文献２で開示されている技術では、ジャイロスタビライザには、手持ち撮影に対応するものも存在するが、その効果は外部からの等加速度を打ち消すトルクを発生して振動を遮断することを目的としており、被写体を追跡することを目的としていない。

このように、従来の技術では、カメラの手持ち撮影において撮影対象である被写体の自動追尾撮影をすることができないという問題がある。

本発明は、以上のような課題を解決するためになされたものであり、カメラの手持ち撮影において撮影対象である被写体の自動追尾撮影を実現する自動追尾撮影装置を提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の自動追尾撮影装置は、手持ち撮影用の動画用カメラを撮影方向に向けるようにトルクを発生させることにより、動画用カメラから撮影された撮影対象である被写体を追跡する自動追尾撮影装置であって、前記動画用カメラから撮影された撮影対象である被写体を追跡する自動追尾撮影装置であって、動画像入力手段と、被写体検出手段と、制御手段と、トルク発生手段とを備え、トルク発生手段が、内部に少なくとも１のリアクションホイールを備え、このリアクションホイールにより前記制御信号に基づくトルクを発生させ、前記カメラの回転角を変える構成とした。
ている構成とした。

かかる構成によれば、自動追尾撮影装置は、動画像入力手段によって、動画用カメラから出力される動画像を入力し、その動画像を被写体検出手段に出力する。ここでいう動画用カメラとは、ビデオカメラ（撮影カメラ）を指している。また、動画像とは、カメラで撮影された実写映像であり、何らかの三次元幾何形状をした固定の被写体も含まれる。

次に、自動追尾撮影装置は、被写体検出手段によって、動画像入力手段から入力した動画像内の撮影対象である被写体の画像特徴量に基づいて、撮影領域であるフレーム内における前記被写体の移動量を検出する。

次に、自動追尾撮影装置は、制御手段によって、被写体検出手段により入力した移動量に対して予め定められたトルク量を示す制御信号を出力する。なお、トルク量を示す制御信号とは、発生すべきトルクの回転軸とその大きさに対応する信号を表す。

そして、自動追尾撮影装置は、トルク発生手段によって、制御手段により出力された制御信号に基づき、トルクを発生させる。このとき、自動追尾撮影装置は、トルク発生手段によって、内部に１個以上備えられたリアクションホイールにより制御信号に基づくトルクを発生させ、装着した動画用カメラの回転角を変えることになる。これによって、人が肩にかつぐか、あるいは人が持つ動画用カメラを、発生したトルクにより撮影対象である被写体に向けるようにしむけることができ、自動追尾撮影をすることが可能になる。

また、請求項２に記載の自動追尾撮影装置は、請求項１に記載の自動追尾撮影装置において、前記トルク発生手段が、動画用カメラに着脱自在に設けられることとした。

かかる構成によれば、自動追尾撮影装置は、トルク発生手段によって、動画用カメラとは別体形成されて機械的に装着され、固定されるものとする。例えば、動画用カメラに存在する三脚穴やクイックシューを介して固定することができる。

また、請求項３に記載の自動追尾撮影装置は、請求項１に記載の自動追尾撮影装置において、前記発生したトルクを減少させるアンローディング手段を有することとした。

かかる構成によれば、自動追尾撮影装置は、アンローディングが必要な状況になったとき、トルク発生手段がアンローディング手段に対して制御信号を出力し、アンローディング手段では、角速度の大きさを減少させる制御信号をトルク発生手段に対して出力する。これにより、トルク発生手段は、トルクの角速度の大きさを減少させることができる。

また、請求項４に記載の自動追尾撮影装置は、請求項１ないし請求項３のいずれか１項に記載の自動追尾撮影装置において、前記被写体検出手段が、前記フレーム内の画像特徴量を抽出する特徴抽出手段と、外部から指定されたタイミングで、前記特徴抽出手段により抽出された前記フレーム内の画像特徴量の中から、予め指定された領域の画像特徴量を前記被写体の画像特徴量として記憶する特徴メモリと、前記特徴抽出手段で抽出された前記フレーム内の画像特徴量から、前記特徴メモリに記憶された前記予め指定された領域の画像特徴量と最も近い画像特徴量を有する領域を探索し、この領域と前記予め指定された領域との距離を前記被写体の移動量として検出する特徴追跡手段と、を備えていることとした。

かかる構成によれば、自動追尾撮影装置は、被写体検出手段の特徴抽出手段によって、フレーム内の画像特徴量を抽出し、特徴メモリによって、外部から指定されたタイミングで、特徴抽出手段により抽出されたフレーム内の画像特徴量の中から、予め指定された領域の画像特徴量を被写体の画像特徴量として記憶し、特徴追跡手段によって、特徴抽出手段で抽出されたフレーム内の画像特徴量から、特徴メモリに記憶された予め指定された領域の画像特徴量と最も近い画像特徴量を有する領域を探索し、この領域と予め指定された領域との距離を被写体の移動量として検出する。

さらに、請求項５に記載の自動追尾撮影装置は、手持ち撮影用の動画用カメラとは異なるセンサカメラを具備し、動画用カメラを撮影方向に向けるようにトルクを発生させることにより、前記センサカメラから入力された撮影対象である被写体を追跡する自動追尾撮影装置であって、動画像入力手段と、被写体検出手段と、制御手段と、トルク発生手段とを備え、トルク発生手段が、内部に少なくとも１のリアクションホイールを備え、このリアクションホイールにより前記制御信号に基づくトルクを発生させ、前記カメラの回転角を変える構成とした。

かかる構成によれば、自動追尾撮影装置は、動画像入力手段によって、動画用カメラとは異なるセンサカメラから出力される動画像を入力し、その動画像を被写体検出手段に出力する。なお、被写体検出手段、制御手段およびトルク発生手段は、請求項１と同様である。
これによって、動画用カメラを、撮影対象である被写体に向けることができ、自動追尾撮影をすることが可能になる。
また、請求項６に記載の自動追尾撮影装置は、請求項５に記載の自動追尾撮影装置において、前記被写体検出手段が、前記フレーム内の画像特徴量を抽出する特徴抽出手段と、外部から指定されたタイミングで、前記特徴抽出手段により抽出された前記フレーム内の画像特徴量の中から、予め指定された領域の画像特徴量を前記被写体の画像特徴量として記憶する特徴メモリと、前記特徴抽出手段で抽出された前記フレーム内の画像特徴量から、前記特徴メモリに記憶された前記予め指定された領域の画像特徴量と最も近い画像特徴量を有する領域を探索し、この領域と前記予め指定された領域との距離を前記被写体の移動量として検出する特徴追跡手段と、を備えていることとした。
かかる構成によれば、自動追尾撮影装置は、被写体検出手段の特徴抽出手段によって、フレーム内の画像特徴量を抽出し、特徴メモリによって、外部から指定されたタイミングで、特徴抽出手段により抽出されたフレーム内の画像特徴量の中から、予め指定された領域の画像特徴量を被写体の画像特徴量として記憶し、特徴追跡手段によって、特徴抽出手段で抽出されたフレーム内の画像特徴量から、特徴メモリに記憶された予め指定された領域の画像特徴量と最も近い画像特徴量を有する領域を探索し、この領域と予め指定された領域との距離を被写体の移動量として検出する。

請求項１、５記載の発明によれば、撮影領域内における撮影対象である被写体の移動量を用いて決定したトルクを発生させることにより、動画用カメラを、撮影方向（被写体）に向けることができ、さらには、使用者の撮影姿勢を変化させることができ、自動追尾撮影が可能となる。また、トルク発生手段のリアクションホイールによりトルクを発生させることにより、装着した動画用カメラの回転角を変えることが可能となる。さらに、トルク発生手段を動画用カメラ以外の物体、例えば三脚等に固定することなくトルクを発生することができ、操作性を向上させることもできる。またさらに、被写体を自動追尾撮影することができれば、使用者が完全に動画用カメラを覗いていなくても、当該被写体を撮影することができる。さらに、追跡する被写体を見失うという弊害も少なくなるという利点がある。

請求項２に記載の発明によれば、通常の動画用カメラでも自動追尾撮影装置を装着でき、当該カメラにより自動追尾撮影をすることが可能となる。

請求項３に記載の発明によれば、動作開始から時間経過と共にリアクションホイールの角速度が増大して限界に達する場合があるが、限界に達するおそれのある角速度の大きさを抑制することができる。

請求項４に記載の発明によれば、手持ちカメラで撮影された動画像から被写体を確実に検出することができる。

請求項５に記載の発明によれば、動画用カメラとは異なるトルク発生手段に固定されたセンサカメラから出力される動画像を入力することにより、動画像出力を備えていないカメラでも自動追尾撮影をすることができる。
請求項６に記載の発明によれば、手持ちカメラで撮影された動画像から被写体を確実に検出することができる。

［実施の形態１］
以下、本発明の実施の形態１について図面を参照して説明する。
［自動追尾撮影装置の構成］
まず、図１を参照して、本発明に係る自動追尾撮影装置について説明する。図１は、自動追尾撮影装置の構成を示したブロック図である。
図１に示したように、自動追尾撮影装置２は、カメラ１より出力される動画像内に存在する撮影対象である被写体の画像特徴量に基づいて、撮影領域内における当該被写体の移動量を検出して、その検出された移動量を用いてトルクを決定し、決定されたトルクを発生させるものである。ここでは、自動追尾撮影装置２は、トルク発生手段３と、トルク決定手段４と、アンローディング手段９とを備え、さらに、トルク決定手段４は、動画像入力手段５と、被写体検出手段６と、制御手段７と、を備えている。
なお、本実施の形態１に係るカメラ１は、手持ち用の動画用カメラを意味するものとする。また、動画用カメラとは、例えば、ビデオカメラ（撮影カメラ）を指すものとする。
さらに、以下、自動追尾撮影装置２により追跡する撮影対象を追跡対象と称することとする。

また、自動追尾撮影装置２は、カメラ１に機械的に装着し固定するものとする。例えば、カメラ１に存在する三脚穴やクイックシューを介して固定することができる。

トルク発生手段３は、制御手段７より出力されたトルク量を示す制御信号を入力し、入力された制御信号に基づく大きさおよび回転軸方向のトルクを発生するアクチュエータである。
トルク発生手段３は、例えば、内部に１個以上のリアクションホイール８により構成され、そのそれぞれの角速度（以下、これを回転数としても良い。）および角加速度を制御するものとしても良い。図１では、３個のリアクションホイール８を回転軸が互いに直交するように配置している。また、リアクションホイール８を持つ制御系を３軸それぞれに設け、３軸を独立に制御する３軸姿勢制御方式による配置としても良い。さらに、カメラのパンおよびチルト軸方向を含む回転軸のみの回転に制約しても良い。

トルク発生手段３は、既に開示されているアクチュエータであるため、リアクションホイール８の角速度および角加速度と発生トルクとの関係については説明を省略する。
また、以降では、トルク発生手段３は、回転軸と発生したトルクとを電気的手段（電圧値、電流値、パルス形状、ディジタル信号等任意とする）により入力すると、当該回転軸周りの当該トルクを発生することができるものとする。

なお、トルク発生手段３は、リアクションホイール８を用いる場合は、動作開始からの時刻経過とともにリアクションホイール８の角速度の大きさが増大して、電気的または機械的な限界に達するおそれがある。このように限界に達した場合、または、限界に達することが予期される場合には、アンローディングを行なうこととしても良い。
ここで、アンローディングとは、リアクションホイール８の角速度の大きさを減少させる操作のことであり、例えば、使用者が本実施の形態における自動追尾撮影装置２を動かないように固定することにより、リアクションホイール８に対し、電気的または機械的なブレーキをかけ、その角速度の大きさを減少させることができる。
アンローディングが必要な状況では、トルク発生手段３は、例えば、光、音、振動または記号を表示することによって、使用者に警告しても良い。また、アンローディングは、自動的に実行するものとしても良いし、使用者のスイッチ操作により手動で実行できるものとしても良い。さらに、非撮影時に自動的にアンローディングするようにしても良い。

図１では、アンローディング手段９は、トルク発生手段３と接続されている。トルク発生手段３は、アンローディングが必要な状況になったとき、アンローディング手段９に対してリアクションホイール８の角速度を制御信号として出力し、出力されたアンローディング手段９では、角速度の大きさを減少させる制御信号（トルク量）をトルク発生手段３に対して出力する。
なお、後記するように、制御手段７によりアンローディングするようにしても良い。

動画像入力手段５は、カメラ１から出力される動画像を入力する。なお、カメラ１と自動追尾撮影装置２とは、ケーブルで接続され、カメラ１から出力される動画像は、ケーブルを介してカメラ１から動画像入力手段５へ伝送される。

被写体検出手段６は、動画像入力手段５から入力した動画像内の追跡対象である被写体の画像特徴量に基づいて、撮影領域であるフレーム内における前記被写体の移動量を検出する。
ここで、図４を参照して、被写体検出手段６の処理について説明する。図４は、被写体検出手段の構成を示したブロック図である。
図４に示したように、被写体検出手段６は、特徴抽出手段６１と、記憶スイッチ６２と、特徴メモリ６３と、特徴追跡手段６４と、を備えている。

特徴抽出手段６１は、入力した動画像内の追跡対象である被写体の画像特徴量を算出する。画像特徴量は、カメラの撮影領域内の所定の領域のものとすることができる。そして、図５は、カメラの撮影領域内の所定の領域のうち、中央領域を示したものである。ここで、撮影領域３１とは、カメラ１の動画像入力のフレーム全体を意味し、中央領域３２とは、予め設定した中央付近の領域を意味する。
画像特徴量を、例えば、Ｆ（ｔ，ｘ，ｙ）で表し、時刻ｔ時点での座標（ｘ，ｙ）から所定の領域に対する画像特徴量を表し、中央領域３２の時刻ｔ時点での画像特徴量は、Ｆ（ｔ，０，０）で示す。座標（ｘ，ｙ）は、中央領域３２の左上を（０，０）とし、水平方向にｘ軸、垂直方向にｙ軸とすることができる。なお、撮影領域３１の左上を（０，０）とし、水平方向にｘ軸、垂直方向にｙ軸としても良い。

そして、画像特徴量Ｆ（ｔ，ｘ，ｙ）は、時刻ｔ時点での座標（ｘ，ｙ）から所定の領域の色分布に基づく特徴量とすることができ、画素値群の色分布正規化ヒストグラムを用いることができる。
ここで、画素値群とは、例えば、モノクロ動画像の場合には輝度値、カラー動画像の場合には赤、緑、青の３原色の各成分の輝度値、多波長動画像の場合には各波長帯の輝度値とすることができる。また、カラー動画像の場合には、輝度、色差による表色系や、色相、彩度および輝度による表色系等、任意の表色系により画素値を表現しても良い。
以下の説明では、画像特徴量を３原色の各成分を輝度値で表した画素値群のヒストグラムで表す。すなわち、画像特徴量Ｆ（ｔ，ｘ，ｙ）は、時刻ｔにおける入力された動画像の座標（ｘ，ｙ）から所定の領域における赤、緑および青の輝度値をそれぞれＲ（ｔ，ｘ，ｙ）、Ｇ（ｔ，ｘ，ｙ）およびＢ（ｔ，ｘ，ｙ）として表す。
なお、画像特徴量は、輝度勾配分布に基づく特徴量としても良い。

前記正規化ヒストグラムは、例えば、図５に示すように、カメラの撮影領域３１中の中央領域３２について、（Ｒ，Ｇ，Ｂ）値に対する頻度値（画素数）のヒストグラムを計算し、各頻度値を中央領域３２の総画素数で除することで正規化する。
また、中央領域３２をテンプレートとして切り出し、当該領域全体の輝度パターンを画像特徴量としても良い。

そして、画像特徴量Ｆ（ｔ，ｘ，ｙ）は、図示しない記憶装置に記憶される。なお、記憶装置は、ＲＡＭ（Random Access Memory）やフラッシュメモリ等の記憶装置である。

記憶スイッチ６２は、追跡対象である被写体を選択するためのスイッチであり、特徴抽出手段６１により抽出された画像特徴量の中から、その選択した被写体の画像特徴量を特徴メモリ６３に記憶させるものである。例えば、被写体検出手段６は、記憶スイッチ６２の押下がトリガとなり、その押下時点における図５の中央領域３２に存在する被写体を追跡対象であるものとして、その中央領域３２の画像特徴量を特徴メモリ６３に記憶する。
記憶スイッチ６２は、例えば、プッシュスイッチ、跳ね返り型のトグルスイッチ、タッチパネルを用いることができるが、これに限定されるものではない。

特徴メモリ６３は、前記したとおり、記憶スイッチ６２の押下時点（時刻ｔ）をトリガとして、中央領域３２（図５参照）の画像特徴量Ｆ（ｔ，０，０）を記憶する。
特徴メモリ６３は、ＲＡＭ（Random Access Memory）やフラッシュメモリが好ましいが、磁気ディスク装置、光ディスク装置、光磁気ディスクであっても良い。

特徴追跡手段６４は、画像特徴量について、特徴メモリ６３に記憶された中央領域３２（図５参照）の画像特徴量Ｆ（ｔ，０，０）と類似する類似領域を、現在（時刻ｔより未来）の入力された動画像の中から探索し、その移動量（Ｖｘ，Ｖｙ）（並進量）を出力する。
例えば、中央領域３２より右側に類似領域が存在した場合にはＶｘを正の値とし、中央領域３２より左側に類似領域が存在した場合にはＶｘを負の値とし、左右中央に類似領域が存在した場合にはＶｘ＝０とすることができる。また、例えば、中央領域３２より下側に類似領域が存在した場合にはＶｙを正の値とし、中央領域３２より上側に類似領域が存在した場合にはＶｙを負の値とし、上下中央に類似領域が存在した場合にはＶｙ＝０とすることができる。
なお、中央領域３２の画像特徴量から類似する類似領域までの移動量（Ｖｘ，Ｖｙ）を、以下、被写体位置（被写体の移動量）と称することとする。

ここで、類似領域の探索について説明する。類似領域の探索の前提として、特徴抽出手段６１は、以下の処理を実行する。
特徴抽出手段６１では、まず、撮影領域３１（図５参照）内に中央領域３２から所定のベクトルだけ移動した複数の探索領域を予め設定する。例えば、図６では、探索領域３３は、中央領域３２から（Δｘ，Δｙ）だけ移動した領域とする。
次に、現在（時刻ｔ’）の入力された動画像について、予め設定した探索領域３３内における画像特徴量Ｆ（ｔ’，Δｘ，Δｙ）を算出する。

そして、特徴追跡手段６４は、算出された現在(時刻ｔ’)の探索領域３３（図６参照）内の画像特徴量Ｆ（ｔ’，Δｘ，Δｙ）と、特徴メモリ６３内の中央領域３２の画像特徴量Ｆ（ｔ，０，０）との距離（被写体の移動量）を以下の（１）式に示すように算出し、最も距離が小さくなる移動量（Δｘ，Δｙ）を以下の（２）式に示すように算出し、被写体位置（Ｖｘ，Ｖｙ）として出力する。

次に、画像特徴量として、正規化ヒストグラムを用いる場合は、前記した距離ｄ（Δｘ，Δｙ）は、例えば、Ｂｈａｔｔａｃｈａｒｙｙａ距離を用いることができる。この場合、中央領域３２（図６参照）の正規化ヒストグラムｈ（Ｒ，Ｇ，Ｂ）と探索領域３３の正規化ヒストグラムｈ’（Ｒ，Ｇ，Ｂ）との距離ｄは、以下の（３）式に示すように、算出される。

また、画像特徴量として、所定の領域を切り出したテンプレートの輝度パターンを用いる場合には、テンプレート間において同じ位置にある画素ごとの絶対値誤差を算出し、テンプレートサイズ全体での絶対値誤差の総和を距離ｄとすることができる。
さらに、テンプレート間の相互相関ｒに対し、ｄ＝−ｌｎ（ｒ）として、距離ｄを算出しても良い。
なお、画像特徴量として、テンプレートの輝度パターンを用いる場合は、前記した距離ｄの算出方法がブロックマッチングと称されている。

前記のとおり、本実施の形態における特徴追跡手段６４は、被写体位置（Ｖｘ，Ｖｙ）（並進量）を出力する場合について説明したが、これに加えて画像回転量をも出力するようにしても良い。この場合には、例えば、被写体位置（並進量）および回転量の両方を探索するブロックマッチングを用いることができる。また、特徴メモリ６３に選択した追跡対象である被写体の画像特徴量を記憶し、特徴抽出手段６１により複数の位置それぞれの画像特徴量を算出した結果に基づいて、特徴追跡手段６４において、被写体位置（並進量）および回転量を算出することができる。
図１に戻って説明を続ける。

制御手段７は、被写体検出手段６により入力した被写体位置を用いてトルク量に基づく制御信号を出力する手段である。
ここで、図７を参照して、制御手段７の処理について説明する。図７は、制御手段の構成を示したブロック図である。
図７に示したように、制御手段７は、制御値算出手段７１を備えている。

まず、制御値算出手段７１は、被写体検出手段６により入力した被写体位置（Ｖｘ，Ｖｙ）または、被写体位置（Ｖｘ，Ｖｙ）および回転量φに基づいて発生すべき制御値、すなわち、トルクの大きさおよび回転軸を算出する。
制御値算出手段７１は、例えば、被写体位置（Ｖｘ，Ｖｙ）および回転量φ（回転量を算出しない構成の場合は、φ＝０とする）に基づき、被写体を追跡する方向の回転ベクトルωを、以下の（４）式に示すように算出する。

次に、制御値算出手段７１は、例えば、算出された回転ベクトルωの軸方向を回転軸とする大きさＮのトルクを発生するように制御信号を生成して出力する。トルクの大きさＮは、以下の（５）式に示すように算出する。

なお、前記（５）式に基づいて算出されたトルクの大きさＮは、定数ｋが大きい程迅速な制御をすることができるが、オーバーシュート等の不安定化のおそれを生じるため、所定の正の整数とする。

また、前記（５）式の代わりに、以下の（６）式に示すように、トルクの大きさＮは、Ｏｎ−Ｏｆｆ制御により算出することとしても良い。

（６）式におけるＮｍａｘは、Ｏｎ−Ｏｆｆ制御のＯｎ時に発生するトルクの大きさで、正の整数とする。例えば、Ｎｍａｘ＝５［Ｎ・ｍ］等とすることができる。

制御手段７は、図７に代えて図８に示すような構成にすることもできる。
ここで、図８を参照して、制御手段７の処理について説明する。図８は、図７と異なる制御手段の構成を示したブロック図である。
図８に示したように、制御手段７は、量子化手段７２と、テーブル参照手段７３と、ルックアップテーブル７４と、を備えている。さらに、リムーバブルメモリ７５にルックアップテーブル７４が記憶されている。

量子化手段７２は、被写体検出手段６の特徴追跡手段６４（図４参照）によって検出され出力された被写体位置（Ｖｘ、Ｖｙ）または、被写体位置（Ｖｘ，Ｖｙ）と回転量φとの組み合わせを離散的な数値（インデックス番号）に変換する。
量子化手段７２は、例えば、被写体位置（Ｖｘ，Ｖｙ）のＶｘを０〜Ｍｘ−１のＭｘ階調の整数値ｍｘに、Ｖｙを０〜Ｍｙ−１のＭｙ階調の整数値ｍｙに変換する。そして、被写体位置のＸ座標ＶｘおよびＹ座標Ｖｙの範囲がそれぞれＶｘｍｉｎ以上Ｖｘｍａｘ以下およびＶｙｍｉｎ以上Ｖｙｍａｘ以下である場合に、以下の（７）式に示すような線形量子化により整数値ｍｘおよびｍｙに変換することができる。

これにより、整数値ｍｘおよびｍｙの組（ｍｘ，ｍｙ）をインデックス番号とすることができる。
なお、被写体位置（Ｖｘ，Ｖｙ）が既に離散的な値である場合には、量子化手段７２を有しない構成とすることができる。

テーブル参照手段７３は、被写体位置から変換されたインデックス番号を用いて制御値（トルク量）をルックアップテーブル７４から抽出し、その制御値を制御信号として出力する。
ルックアップテーブル７４は、インデックス番号と、制御値とから構成され、インデックス番号ごとに制御値が記憶されている。制御値は、トルク発生手段３が発生すべきトルクの大きさおよび回転軸の組み合わせで記憶されている。

ルックアップテーブル７４は、ＲＯＭ（Read Only Memory）、フラッシュメモリおよびハードディスクの記憶素子またはフレキシブルディスクの記憶媒体に記憶される。これらの記憶素子または記憶媒体は、読み出し専用であっても良いし、書き換え可能であっても良い。特に、フラッシュメモリおよびマイクロドライブを含むリムーバブルメモリ７５に記憶し、用途や使用者に応じてルックアップテーブル７４を切り替えられるようにしても良い。

なお、制御手段７は、図７の制御値算出手段７１のトルクの大きさＮの算出において、被写体を追跡する方向の回転ベクトルωの絶対値やその時間履歴に応じた制御値算出手段７１を構築しても良い。例えば、ωの絶対値の時間履歴に基づき、ＰＩＤ（比例動作・積分動作・微分動作）制御を適用することができる。また、ＰＩＤ制御を適用する場合において、図８のルックアップテーブル７４を用いる場合では、ＰＩＤ制御のパラメータである比例ゲイン、積分時間および微分時間を、インデックス番号ごとに記憶しても良い。

また、制御手段７では、リアクションホイール８の角速度が限界に達することが予期される場合にはアンローディング操作の制御を行なっても良い。
ここで、図２は、本発明の実施の形態１に係る自動追尾撮影装置においてアンローディング操作を制御手段にて実行する場合の構成を示したブロック図である。
図２において、図１の構成との差異は、自動追尾撮影装置２が、アンローディング操作を、トルク発生手段３と接続したアンローディング手段（図１参照）で行なうのではなく、制御手段７で行なうことである。

トルク発生手段３は、アンローディングが必要な状況になったとき、制御手段７に対してリアクションホイール８の角速度を制御信号として出力し、制御手段７は、出力された制御信号に基づいて角速度の大きさを減少させる制御信号（トルク量）をトルク発生手段３に対して出力することができる。また、トルク発生手段３は、一定時間間隔ごとに現在のリアクションホイール８の角速度を制御信号として制御手段７に対して出力し、制御手段７は、出力された制御信号に対応した角速度が予め定められた角速度の限界値を超過している場合には、角速度の大きさを減少させる制御信号をトルク発生手段３に出力することができる。
なお、図２の他の構成要素は、図１と同様であるため、同じ符号を付して説明を省略する。

以上説明したように、自動追尾撮影装置２を構成することで、自動追尾撮影装置２に装着するカメラ１を、撮影方向（被写体）に向けることができ、さらには、使用者の撮影姿勢を変化させることができ、自動追尾撮影が可能となる。

ここで、図３は、自動追尾撮影装置に装着するカメラの動作内容を説明する図である。自動追尾撮影装置２は、手持ちカメラ１の使用者３０が追跡対象である被写体を選択すると、その追跡対象が移動した方向にカメラ１を向けるようにトルクを発生させ、カメラ１を撮影方向に姿勢変更（回転）させることができる。そして、手持ちカメラ１の使用者３０は、回転するカメラ１に基づき、撮影姿勢を変化させることができる。
例えば、図３では、左フレーム内の左に走行している被写体を追跡対象とするとき、手持ちカメラ１の使用者３０は、撮影領域３１内の中央領域３２に被写体を選択する。次に、追跡対象の被写体の移動とともに、カメラ１は自動追尾撮影装置２により発生するトルクに基づき自動的に被写体の方向に姿勢変更（回転）し、さらには、使用者３０の撮影姿勢を変化させる。図３では、自動追尾撮影装置２が、複数の探索領域３３の中から右フレーム内の右に走行している被写体を検出して、カメラ１は自動的に追尾撮影をすることができる。

［自動追尾撮影装置の動作］
次に、図９を参照（適宜図１、４、８参照）して、本発明に係る自動追尾撮影装置の動作について説明する。図９は、自動追尾撮影装置の全体動作を示すフローチャートである。

まず、動画像入力手段５は、カメラ１より撮影された動画像を入力する（ステップＳ１）。

次に、被写体検出手段６は、画像特徴量を算出する（ステップＳ２）。すなわち、特徴抽出手段６１は、動画像入力手段５から出力された動画像を入力し、入力された動画像の画像特徴量を算出する。ここで、画像特徴量Ｆ（ｔ，ｘ，ｙ）とは、動画像が入力された時点（時刻ｔ）における各座標（ｘ，ｙ）からの所定の領域に対する画像特徴量のことである。そして、特徴抽出手段６１は、算出した画像特徴量を図示しない記憶装置に記憶する。

次に、被写体検出手段６は、使用者が記憶スイッチ６２を押下したか否かを判定する（ステップＳ３）。

ここで、被写体検出手段６は、記憶スイッチ６２の押下がある場合（ステップＳ３でＹｅｓ）は、追跡対象の画像特徴量を特徴メモリ６２へ記憶する（ステップＳ４）。すなわち、追跡対象である現在（時刻ｔ）の中央領域３２（図６参照）の画像特徴量Ｆ（ｔ，０，０）を図示しない記憶装置から抽出して特徴メモリ６３へ記憶する。
一方、被写体検出手段６は、記憶スイッチ６２の押下がない場合（ステップＳ３でＮｏ）は、ステップＳ５に進む。

そして、被写体検出手段６は、追跡対象の画像特徴量と類似する類似領域までの移動量を被写体位置として探索する（ステップＳ７）。すなわち、現在（時刻ｔ’）の所定の領域それぞれの画像特徴量Ｆ（ｔ’，ｘ，ｙ）と特徴メモリ６３に記憶された画像特徴量とを照合し、類似領域に係る被写体位置（Ｖｘ，Ｖｙ）（移動量）を算出する。

次に、制御手段７は、被写体位置をインデックス番号に変換する（ステップＳ６）。すなわち、探索された被写体位置（Ｖｘ，Ｖｙ）（移動量）に基づいて、インデックス番号に変換する。

そして、制御手段７は、変換されたインデックス番号を用いてルックアップテーブル７４からトルク量を抽出する（ステップＳ７）。

次に、トルク発生手段３は、抽出されたトルク量に基づくトルクを発生させる（ステップＳ８）。

次に、自動追尾撮影装置２は、動作を終了するか否かを判定する（ステップＳ９）。
ここで、自動追尾撮影装置２は、外部からの終了信号等によって、終了したと判定した場合（ステップＳ９でＹｅｓ）は、自動追尾撮影装置２は、動作を終了する。
一方、終了したと判定しなかった場合（ステップＳ９でＮｏ）は、ステップＳ１に戻り、動作を続行する。

なお、記憶スイッチ６２の押下が一度もされていない場合にも、ステップＳ５〜ステップＳ８を実行してしまうため、図示しない記憶装置に追跡フラグを設定して、自動追尾撮影装置２の開始で追跡フラグをオフ（例えば、「０」）に記憶し、記憶スイッチ６２の押下があった場合（ステップＳ３でＹｅｓ）は追跡フラグをオン（例えば、「１」）に記憶し、ステップＳ４とステップＳ５の間で追跡フラグがオンであるか否かを判定し、オンでない場合は、ステップＳ９に進む処理を追加しても良い。

以上の動作によって、自動追尾撮影装置２は、選択した追跡対象である被写体を追跡するためのトルクを発生させることにより、装着されたカメラ１は、自動追尾撮影をすることが可能になる。

［実施の形態２］
以下、本発明の実施の形態２について図面を参照して説明する。
［自動追尾撮影装置の構成］
図１０は、本実施の形態２に係る自動追尾撮影装置の構成を示したブロック図である。
図１０において、図１に示した実施の形態１との差異は、実施の形態２では、自動追尾撮影装置２は、装着するカメラ１とは異なるセンサカメラ１０を具備していることである。

センサカメラ１０は、トルク発生手段３に固定され、カメラ１のレンズの指向する方向の動画像を入力し、出力される動画像を動画像入力手段５へ伝送する。
動画像入力手段５は、センサカメラ１０から出力される動画像を入力する。なお、センサカメラ１０と自動追尾撮影装置２とは、ケーブルで接続され、センサカメラ１０より入力された動画像は、ケーブルを介してセンサカメラ１０から動画像入力手段５へ伝送される。
なお、図１０の他の構成要素は、図１と同様であるため、同じ符号を付して説明を省略する

本実施の形態２に係る自動追尾撮影装置２を構成することで、自動追尾撮影装置２に装着するカメラ１を、撮影方向（被写体）に向けることができ、さらには、使用者の撮影姿勢を変化させることができ、自動追尾撮影が可能となる。
これにより、動画像出力を備えていないカメラ１でも自動追尾撮影をすることができる。例えば、撮影時に動画像出力を得られないビデオカメラ、ディジタルスチールカメラ、または銀塩式の撮影機材に対しても自動追尾撮影が可能となる。

本発明の実施の形態１に係る自動追尾撮影装置の構成を示したブロック図である。 本発明の実施の形態１に係る自動追尾撮影装置においてアンローディング操作を制御手段にて実行する場合の構成を示したブロック図である。 本発明の実施の形態１に係る自動追尾撮影装置に装着するカメラの動作内容を説明する図である。 本発明の実施の形態１に係る自動追尾撮影装置の被写体検出手段の構成を示したブロック図である。 カメラの撮影領域と、追跡対象を設定する中央領域と、を示した図の例である。 カメラの撮影領域と、追跡対象を設定する中央領域と、追跡対象を探索する探索領域とを示した図の例である。 本発明の実施の形態１に係る自動追尾撮影装置の制御手段の構成を示したブロック図である。 図７に代えて本発明の実施の形態１に係る自動追尾撮影装置の制御手段の構成を示したブロック図である。 本発明の実施の形態１に係る自動追尾撮影装置の全体動作を示すフローチャートである。 本発明の実施の形態２に係る自動追尾撮影装置の構成を示したブロック図である。

符号の説明

１ カメラ
２ 自動追尾撮影装置
３ トルク発生手段
４ トルク決定手段
５ 動画像入力手段
６ 被写体検出手段
７ 制御手段
８ リアクションホイール
９ アンローディング手段
１０ センサカメラ

Claims (6)

1. 手持ち撮影用の動画用カメラを撮影方向に向けるようにトルクを発生させることにより、動画用カメラから撮影された撮影対象である被写体を追跡する自動追尾撮影装置であって、
   前記カメラから出力される動画像を入力する動画像入力手段と、
   この動画像入力手段により入力した動画像内の前記被写体の画像特徴量に基づいて、フレーム内における前記被写体の移動量を検出する被写体検出手段と、
   この被写体検出手段により検出された移動量に対して予め定められたトルク量を示す制御信号を出力する制御手段と、
   この制御手段により出力された制御信号に基づき、トルクを発生させるトルク発生手段と、を備え、
   前記トルク発生手段は、
   内部に少なくとも１のリアクションホイールを備え、このリアクションホイールにより前記制御信号に基づくトルクを発生させ、前記カメラの回転角を変えることを特徴とする自動追尾撮影装置。
2. 前記トルク発生手段は、
   前記カメラに着脱自在に設けられることを特徴とする請求項１に記載の自動追尾撮影装置。
3. 前記発生したトルクを減少させるアンローディング手段を有することを特徴とする請求項１に記載の自動追尾撮影装置。
4. 前記被写体検出手段は、
   前記フレーム内の画像特徴量を抽出する特徴抽出手段と、
   外部から指定されたタイミングで、前記特徴抽出手段により抽出された前記フレーム内の画像特徴量の中から、予め指定された領域の画像特徴量を前記被写体の画像特徴量として記憶する特徴メモリと、
   前記特徴抽出手段で抽出された前記フレーム内の画像特徴量から、前記特徴メモリに記憶された前記予め指定された領域の画像特徴量と最も近い画像特徴量を有する領域を探索し、この領域と前記予め指定された領域との距離を前記被写体の移動量として検出する特徴追跡手段と、を備えていることを特徴とする請求項１ないし請求項３のいずれか１項に記載の自動追尾撮影装置。
5. 手持ち撮影用の動画用カメラとは異なるセンサカメラを具備し、動画用カメラを撮影方向に向けるようにトルクを発生させることにより、前記センサカメラから入力された撮影対象である被写体を追跡する自動追尾撮影装置であって、
   前記センサカメラから出力される動画像を入力する動画像入力手段と、
   この動画像入力手段により入力した動画像内の前記被写体の画像特徴量に基づいて、フレーム内における前記被写体の移動量を検出する被写体検出手段と、
   この被写体検出手段により検出された移動量に対して予め定められたトルク量を示す制御信号を出力する制御手段と、
   この制御手段により出力された制御信号に基づき、トルクを発生させるトルク発生手段と、
   を備え、
   前記トルク発生手段は、
   内部に少なくとも１のリアクションホイールを備え、このリアクションホイールにより前記制御信号に基づくトルクを発生させ、前記カメラの回転角を変えることを特徴とする自動追尾撮影装置。
6. 前記被写体検出手段は、
   前記フレーム内の画像特徴量を抽出する特徴抽出手段と、
   外部から指定されたタイミングで、前記特徴抽出手段により抽出された前記フレーム内の画像特徴量の中から、予め指定された領域の画像特徴量を前記被写体の画像特徴量として記憶する特徴メモリと、
   前記特徴抽出手段で抽出された前記フレーム内の画像特徴量から、前記特徴メモリに記憶された前記予め指定された領域の画像特徴量と最も近い画像特徴量を有する領域を探索し、この領域と前記予め指定された領域との距離を前記被写体の移動量として検出する特徴追跡手段と、を備えていることを特徴とする請求項５に記載の自動追尾撮影装置。

Images