JP6036824B2 - 画角変動検知装置、画角変動検知方法および画角変動検知プログラム - Google Patents

Description

本発明は、撮像装置の画角変動を検知する画角変動検知装置、画角変動検知方法および画角変動検知プログラムに関する。

一般的な監視システムでは、地震などによりカメラの画角がずれてしまった場合、カメラのキャリブレーションを再度行うことにより、カメラの画角をもとの状態に戻している。また、パン・チルト・ズーム機能を有するカメラの場合、カメラの向き（角度）が記憶されているため、例えば、停電等からカメラが復旧した場合、記憶された角度に基づいてカメラの姿勢を自動的に戻すことができる。

一方、カメラの向きを自動補正する惑星探査機も知られている。この惑星探査機は、スター・トラッカーにより、カノープスなどの特定の星の位置を検知して、カメラの向きを自動補正する。

また、特許文献１には、監視用カメラの補正装置が記載されている。特許文献１に記載された補正装置は、撮影画像のずれ補正を行う際の位置的基準を与える基準パターンを記憶する。この基準パターンは、監視エリア内における既知の位置に存在する特定部に関する初期的な位置的関係をモデル化したものである。そして、特許文献１に記載された補正装置は、比較パターンが基準パターンとマッチングするように画像補正を行う。

特開２００９−３８５５８号公報

地震などが発生するたびにカメラの画角ズレを確認し、各カメラのキャリブレーションを行うには手間がかかってしまう。このような手間を省くため、パン・チルト・ズーム機能を有するカメラが用いられることが多い。

しかし、一般にパン・チルト・ズーム機能を有するカメラでは、カメラの向きを記憶しているにすぎない。そのため、カメラを固定している雲台自体が動いてしまった場合には、もとの画角に戻せないという問題がある。

また、上記には、惑星探査機のカメラの向きの補正方法を示したが、一般的な監視システムに用いられるカメラが撮影する空間と宇宙空間とでは、その環境が全く異なる。例えば、一般的な監視システムに用いられるカメラでは、設置場所に吹く風の影響を受けたり、カメラの前を前景オブジェクトが移動したりする。このように、カメラの撮影環境に様々な影響が及ぼされる場合であっても、適切に画角の変動を検知できることが望ましい。

また、特許文献１には、車両のドアミラー近傍に取り付けられた監視カメラによって撮影画像が撮像されることが記載されている。車両のドアミラー近傍に取り付けられる監視カメラは、風の影響などを特に受け、画角が頻繁に変化することが想定される。しかし、特許文献１には、その対応方法については何ら言及されていない。すなわち、特許文献１に記載された補正装置では、撮像環境による影響を受けるたびに画像補正が行われてしまうという問題がある。

そこで、本発明は、撮像装置の撮影環境に応じて適切に画角の変動を検知できる画角変動検知装置、画角変動検知方法および画角変動検知プログラムを提供することを目的とする。

本発明による画角変動検知装置は、撮像装置の画角から特定される不動点の位置とその不動点の特徴を示す特徴量とを含む不動点情報に基づいて、その撮像装置が撮影する映像からその撮像装置の画角変動を検出する画角変動検出手段と、画角変動の変化が一定期間安定した場合に撮像装置の画角が変動したと判定する状態判定手段とを備えたことを特徴とする。

本発明による画角変動検知方法は、撮像装置の画角から特定される不動点の位置とその不動点の特徴を示す特徴量とを含む不動点情報に基づいて、その撮像装置が撮影する映像からその撮像装置の画角変動を検出し、画角変動の変化が一定期間安定した場合に撮像装置の画角が変動したと判定することを特徴とする。

本発明による画角変動検知プログラムは、コンピュータに、撮像装置の画角から特定される不動点の位置とその不動点の特徴を示す特徴量とを含む不動点情報に基づいて、その撮像装置が撮影する映像からその撮像装置の画角変動を検出する画角変動検出処理、および、画角変動の変化が一定期間安定した場合に撮像装置の画角が変動したと判定する状態判定処理を実行させることを特徴とする。

本発明によれば、撮像装置の撮影環境に応じて適切に画角の変動を検知できる。

本発明による画角変動検知装置の第１の実施形態の構成例を示すブロック図である。 第１の実施形態の画角変動判定手段の構成例を示すブロック図である。 第１の実施形態の画角変動検知装置の動作例を示すフローチャートである。 第１の実施形態の画角変動検知装置の変形例の構成例を示すブロック図である。 第２の実施形態の画角変動判定手段の構成例を示すブロック図である。 第３の実施形態の画角変動判定手段の構成例を示すブロック図である。 第４の実施形態の画角変動判定手段の構成例を示すブロック図である。 本発明による画角変動検知装置の概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

実施形態１．
図１は、本発明による画角変動検知装置の第１の実施形態の構成例を示すブロック図である。本実施形態の画角変動検知装置は、映像取得手段１０と、位置算出手段１１と、カメラ校正情報蓄積手段１２と、画角変動判定手段１３と、カメラ制御情報生成手段１４とを備えている。

映像取得手段１０は、映像を撮影し、その映像を位置算出手段１１および画角変動判定手段１３へ入力する。映像取得手段１０は、カメラなどの撮像装置により実現される。本実施形態では、画角変動検知装置は、映像取得手段１０の画角変動を検知するものとする。また、本実施形態では、映像取得手段１０が、画角を外部から制御可能な撮像装置であるとする。

位置算出手段１１は、映像取得手段１０から入力された映像中から物体や人物の位置を抽出する。具体的には、位置算出手段１１は、後述するカメラ校正情報を用いて、入力された映像から得られた二次元の位置を実空間上の座標系に変換し、人物や物体の実空間上での位置や大きさを算出する。

例えば、人物の位置を算出することにより、時系列で算出される位置データは、動線情報になるため、この情報を解析することで人物の行動を分析することが可能になる。これをセキュリティ用途に応用すると、例えば、特定領域への人物の侵入を検知でき、また、特定領域をうろついている人物を検知できる。また、例えば、工場や物流倉庫等において作業員の動線を可視化することで、作業効率化が可能か否かを検討できる。また、店舗業務に適用する場合、店員の作業効率化に動線情報を利用できるほか、顧客の動線を求めることも可能になる。そのため、動線情報を用いることで、マーケティングに利用可能な情報を得ることができる。

他にも、例えば、物体の位置を算出することにより、置き去りになった物体を検知して、アラートを挙げることも可能である。さらに、位置算出手段１１が物体の大きさを算出することで、物体を分類（例えば、人物と物とを分類）することも可能になる。このように、位置算出手段１１が算出する情報は、このような動線解析や物体解析の基になるデータとして利用可能である。

カメラ校正情報蓄積手段１２は、位置算出手段１１が人物や物体の実空間上での位置や大きさを算出するために用いられるカメラ校正情報を記憶する。カメラ校正情報は、例えば、利用者等により、予めカメラ校正情報蓄積手段１２に記憶される。カメラ校正情報は、カメラパラメータとも呼ばれ、内部パラメータと外部パラメータに分類される。

内部パラメータは、レンズ歪による画像のゆがみを記述するパラメータや、焦点距離（ズーム率）を記述するパラメータである。また、外部パラメータは、カメラが設置されている位置や、カメラの向き（姿勢）を表すパラメータである。位置算出手段１１は、これらのパラメータを用いて、画像の二次元上の座標から三次元（実空間）の位置を算出する。例えば、人物の位置を特定する場合、位置算出手段１１は、画像上における人物の足元の座標を算出し、カメラ校正情報に基づいて、これを実空間上の位置（すなわち、人物が立っている床面の位置）に変換すればよい。

なお、カメラ校正情報（カメラパラメータ）に基づいて画像上の二次元の座標から実空間上の三次元の座標を算出する方法は広く知られているため、ここでは詳細な説明を省略する。

画角変動判定手段１３は、入力された映像を用いて、画角の変動があったか否かを判定する。また、変動があった場合、画角変動判定手段１３は、その変動量または変動を示すパラメータを算出する。以下、画角の変動を示す情報を画角変動情報と記す。

カメラ制御情報生成手段１４は、画角変動判定手段１３が生成した画角変動情報に基づいて、映像取得手段１０の画角をもとに戻すために必要なパン、チルト量を算出し、算出した情報をカメラ制御情報として映像取得手段１０へ入力する。映像取得手段１０は、カメラ制御情報に基づいて画角を調整し、変動前に戻す処理を行う。

画角をもとに戻すために必要なパン、チルト量を算出する方法は任意である。すなわち、カメラ制御情報は、画角変動判定手段１３によって判定された変動量を戻す方向にカメラを移動させるためのパラメータである。例えば、パンの角度を変化させた場合の画素の移動量は、ズームの度合いに応じて決定される。そのため、カメラ制御情報生成手段１４は、現状のズームの度合いに対するパンの角度と画素の移動量との関係を予め記憶しておき、画角の変動があった場合に、映像の見かけの動きから移動量を算出し、パンの角度を求めるようにすればよい。チルトの角度についても、同様の方法を用いて算出できる。

なお、カメラ制御情報生成手段１４がカメラ制御情報を算出する方法は、上記方法に限定されない。カメラ制御情報生成手段１４は、例えば、変動量に応じてパン、チルト量を算出する関数を予め規定し、その関数に基づいてカメラ制御情報を算出してもよい。なお、パン、チルト量を算出する方法は広く知られているため、ここでは詳細な説明を省略する。

次に、画角変動判定手段１３の内容をさらに説明する。図２は、本実施形態の画角変動判定手段１３の構成例を示すブロック図である。画角変動判定手段１３は、画角変動検出手段１０１と、不動点情報蓄積手段１０２と、特徴量抽出手段１０３と、特徴量追跡手段１０４とを含む。

不動点情報蓄積手段１０２は、不動点の位置と、その不動点の特徴を示す特徴量とを含む不動点情報を記憶する。ここで、不動点とは、映像取得手段１０によって撮影される映像から特定される点であり、その位置および特徴量が一定時間以上安定している点のことを意味する。

不動点の位置は、画像中の位置を特定可能な情報（例えば、２次元の座標）で表わされる。また、不動点の特徴量は、例えば、輝度の勾配情報や、ＳＩＦＴ（Scale Invariant Feature Transform ）、ＳＵＲＦ（Speeded-Up Robust Feature ）などにより表わされるがこれらに限定されず、不動点のまわりの画像領域の色や模様の特徴を記述する様々な特徴量を利用することができる。

本実施形態では、不動点がユーザ等により予め定められ、その不動点の位置および特徴量が予め不動点情報蓄積手段１０２に記憶されているものとする。例えば、ユーザは、ビルの角などの動かない点を目視で判断することで、その点を不動点と特定すればよい。

画角変動検出手段１０１は、映像取得手段１０から新たに映像が入力されると、不動点情報に基づいて、その入力された映像から映像取得手段１０の画角に変動があったか否かを検出する。以下、画角に変動があったか否かを示す情報、および、画角に変動があった場合には変動の内容を示す情報をまとめて画角変動検出情報と記す。

具体的には、画角変動検出手段１０１は、不動点情報蓄積手段１０２に記憶されている不動点の位置と同じ位置における入力映像の特徴量を算出し、不動点の特徴量と比較して、特徴量がほぼ一致する不動点の数を算出する。一致する不動点の数が一定数以上存在する場合、画角変動検出手段１０１は、画角が変動していないと判断し、画角が変動していないことを示す画角変動検出情報を生成する。

一方、一致する不動点の数が一定数以上存在しない場合、画角変動検出手段１０１は、画角が変動したと判断し、画角が変動したことを示す情報および変動の内容を示す情報を画角変動検出情報として生成する。画角変動検出手段１０１は、生成した画角変動検出情報を特徴量抽出手段１０３へ入力する。

なお、上記説明では、画角変動検出手段１０１が不動点に一致する点の数を算出して画角に変動があったか否かを検出する方法を説明した。ただし、画角に変動があったか否かを検出する方法は、不動点に一致する点の数を算出する方法に限定されない。画角変動検出手段１０１は、例えば、特徴量を表す特徴量ベクトル間の距離の統計量（平均やメディアン、パーセンタイル値など）が小さいほど、入力画像と不動点情報が示す画像との類似性が高いと判断し、その類似性が所定の閾値を下回る場合に、画角に変動があったと判定してもよい。

すなわち、画角変動検出手段１０１は、入力画像と不動点情報が示す画像との差が所定量よりも大きい場合に、画角に変動があったと判定すればよい。

特徴量抽出手段１０３は、入力された映像から特徴点を抽出し、各特徴点の位置における特徴量を抽出する。特徴量抽出手段１０３は、例えば、ＳＩＦＴやＳＵＲＦなどの特徴量を算出するが、特徴量の内容はＳＩＦＴやＳＵＲＦに限定されない。なお、特徴点を抽出する方法およびＳＩＦＴやＳＵＲＦの算出方法は広く知られているため、ここでは、詳細な説明は省略する。ただし、特徴量抽出手段１０３は、不動点情報に含まれる特徴量と比較可能な特徴量を算出する。以下、特徴量抽出手段１０３が抽出する特徴点の座標、および特徴点の特徴量を含む情報を特徴点情報と記す。

なお、特徴量自体は照明条件の変動等によって変化する。例えば、屋外で撮影されている場合、日照変動により特徴量は変化する。そのため、特徴量抽出手段１０３は、画角が変動していない場合に特徴量を算出してもよい。なお、特徴量が安定している点については、頻繁に特徴量を算出する必要はないため、特徴量抽出手段１０３は、このような特徴点に対しては、特徴量を算出する頻度を下げてもよい。

特徴量追跡手段１０４は、画角変動検出情報が画角変動があったことを示している場合、探索範囲内で不動点と特徴点とを照合させて両点の対応付けを行い、対応する不動点の位置へ各特徴点の位置を変換するパラメータ（以下、画角変動パラメータと記す。）を算出する。そして、特徴量追跡手段１０４は、最も多くの特徴点を対応する不動点へ変換可能な画角変動パラメータを算出する。

特徴量追跡手段１０４は、例えば、算出された特徴点の特徴量と不動点の特徴量との距離または類似度を算出してもよい。この場合、特徴量追跡手段１０４は、算出した距離が所定の閾値以下、または、算出した類似度が所定の閾値以上である特徴点と不動点のペアを抽出し、抽出されたペアを用いて、画角を変換するためのパラメータ候補を算出する。すなわち、このペアは、特徴点に対応する不動点の組合せを示すものである。そして、特徴量追跡手段１０４は、ペアとして抽出された不動点に特徴点が移動したとしたときの回転・並進パラメータをパラメータ候補として算出する。このとき、特徴量追跡手段１０４は、例えば、アフィン変換を用いてパラメータを算出してもよい。

そして、特徴量追跡手段１０４は、抽出された複数のペアについてパラメータ候補を算出し、その中から最も頻度が高くなるパラメータ候補を画角変動パラメータとすればよい。このとき、特徴量追跡手段１０４は、複数のペアからランダムにペアを選択してもよい。

また、特徴点の探索範囲が決まっている場合、特徴量追跡手段１０４は、入力された映像を任意に移動および変換し、不動点の特徴量と特徴点の特徴量との距離または類似度を算出してもよい。そして、特徴量追跡手段１０４は、算出した距離が所定の閾値以下、または、算出した類似度が所定の閾値以上になる状態への移動および変換を示すパラメータを画角変動パラメータとしてもよい。

特徴量追跡手段１０４は、算出した画角変動パラメータを一時保存する。そして、特徴量追跡手段１０４は、入力された次の映像（すなわち、次のフレームの映像）に対しても同様に画角変動パラメータを算出する。特徴量追跡手段１０４は、一時保存した画角変動パラメータと新たに算出した画角変動パラメータとを比較する。両パラメータの変化が予め定めた閾値よりも小さい状態がある一定フレーム数継続した場合、特徴量追跡手段１０４は、画角変動があったと判定し、画角変動パラメータを画角変動情報として出力する。すなわち、特徴量追跡手段１０４は、画角変動の変化が一定期間安定した場合に映像取得手段１０の画角が変動したと判定する。ここで、一定期間安定するとは、所定の期間内において、フレーム間の画角変動パラメータの変化が所定の閾値以内に収まっていることを意味する。

例えば、風などによってカメラが一瞬揺れた場合の映像の変化は、必ずしも画角変動が生じたとは言い切れない。本実施形態では、特徴量追跡手段１０４が入力された映像におけるフレーム間の画角変動パラメータの変化が一定期間安定した場合に映像取得手段１０の画角が変動したと判定する。そのため、一瞬の画角変動による誤検知を避けることができる。

なお、特徴量追跡手段１０４は、算出された画角変動パラメータが、通常の画角変動の範囲内か否か判定してもよい。そして、通常の画角変動の範囲内の場合に、特徴量追跡手段１０４は、カメラ制御情報生成手段１４に対してカメラ制御情報を生成するように指示してもよい。一方、通常の画角変動の範囲内ではない場合、映像取得手段１０がカメラ制御情報に基づいて、変動前の状態に戻せない可能性がある。この場合、特徴量追跡手段１０４は、画角変動が生じたことを示すアラートのみを挙げ、手動で再キャリブレーションを行うように利用者に促すようにしてもよい。

画角変動検出手段１０１と、特徴量抽出手段１０３と、特徴量追跡手段１０４とは、プログラム（画角変動検知プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、画角変動判定手段１３の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、画角変動検出手段１０１、特徴量抽出手段１０３および特徴量追跡手段１０４として動作してもよい。また、画角変動検出手段１０１と、特徴量抽出手段１０３と、特徴量追跡手段１０４とは、それぞれが専用のハードウェアで実現されていてもよい。

また、不動点情報蓄積手段１０２は、例えば、磁気ディスク等により実現される。

次に、本実施形態の画角変動検知装置の動作を説明する。図３は、第１の実施形態の画角変動検知装置の動作例を示すフローチャートである。

映像取得手段１０は、撮影した映像を画角変動判定手段１３に入力する（ステップＳ１）。画角変動検出手段１０１は、不動点情報に基づいて、映像取得手段１０が撮影した映像から映像取得手段１０の画角変動を検出する（ステップＳ２）。画角変動検出手段１０１は、例えば、入力された映像における不動点の位置と同じ位置の特徴量が不動点の特徴量とほぼ一致する不動点の数を算出してもよい。そして、画角変動検出手段１０１は、一致する不動点の数が一定数以上存在しない場合に画角が変動していると判断してもよい。

特徴量抽出手段１０３は、入力された映像から特徴点を抽出する（ステップＳ３）。特徴量追跡手段１０４は、不動点と特徴点との対応付けを行い、画角変動パラメータを算出する。そして、特徴量追跡手段１０４は、画角変動パラメータが一定期間安定したか否か判定する（ステップＳ４）。画角変動パラメータが一定期間安定していない場合（ステップＳ４におけるＮ）、入力される映像に対して画角変動を検出するステップＳ１以降の処理が繰り返される。

一方、画角変動パラメータが一定期間安定した場合（ステップＳ４におけるＹ）、特徴量追跡手段１０４は、映像取得手段１０の画角が変動したと判定し、画角変動パラメータを含む画角変動情報を生成し、カメラ制御情報生成手段１４に入力する（ステップＳ５）。そして、カメラ制御情報生成手段１４は、入力された画角変動情報に基づいてカメラ制御情報を生成し、映像取得手段１０に入力する（ステップＳ６）。映像取得手段１０は、入力されたカメラ制御情報に基づいて画角を調整し、変動前に戻す処理を行う（ステップＳ７）。

以上のように、本実施形態によれば、画角変動検出手段１０１が、不動点情報に基づいて映像取得手段１０が撮影する映像から映像取得手段１０の画角変動を検出する。そして、特徴量追跡手段１０４が、画角変動の変化が一定期間安定した場合に映像取得手段１０の画角が変動したと判定する。よって、撮像装置の撮影環境に応じて適切に画角の変動を検知できる。

また、一般に、パン・チルト・ズーム機能を有するカメラでは、電源が再投入されると、もとの角度に戻す制御が行われるが、その精度は、カメラによって異なる。そこで、パン・チルト・ズーム機能を有するカメラに、本実施形態の画角変動検知装置を適用することで、もとの角度に戻す精度を向上できる。

次に、第１の実施形態の画角変動検知装置の変形例を説明する。第１の実施形態では、映像取得手段１０が、画角を外部から制御可能な撮像装置であると想定した。すなわち、第１の実施形態では、映像取得手段１０が、カメラ制御情報生成手段１４が生成したカメラ制御情報に基づいて画角を調整し、変動前に戻す処理を行っていた。

ただし、本発明は、画角を外部から制御できない撮像装置に対しても適用可能である。図４は、第１の実施形態の画角変動検知装置の変形例の構成例を示すブロック図である。本変形例の画角変動検知装置は、映像取得手段２０と、位置算出手段１１と、カメラ校正情報蓄積手段２２と、画角変動判定手段１３と、カメラ校正情報生成手段２４とを備えている。

映像取得手段２０は、映像を撮影し、その映像を位置算出手段１１および画角変動判定手段１３へ入力する。ただし、映像取得手段２０は、画角を外部から制御できない撮像装置である点において、第１の実施形態の映像取得手段１０と異なる。映像取得手段２０は、カメラだけでなく、録画した映像を再生し、再生された映像を取得可能なＶＴＲ（Video Tape Recorder）やハードディスクレコーダなどによっても実現される。

カメラ校正情報生成手段２４は、位置算出手段１１が用いるカメラ校正情報を生成し、カメラ校正情報蓄積手段２２に記憶する。なお、カメラ校正情報生成手段２４がカメラ校正情報を生成する方法は任意である。カメラ校正情報生成手段２４は、例えば、カメラ制御情報生成手段１４と同様、所定のズームやパン、チルト量に対する画素の移動量を予め記憶しておき、画角の変動があった場合に、映像の見かけの動きから移動量を算出すればよい。なお、カメラ校正情報の算出方法は広く知られているため、ここでは詳細な説明を省略する。

このようにすることで、画角を外部から制御できない撮像装置の画角が変化した場合であっても、カメラパラメータを変更することで、画像の二次元上の座標から三次元（実空間）の位置を適切に算出できる。

また、本実施例でも、特徴量追跡手段１０４は、算出された画角変動パラメータが、通常の画角変動の範囲内か否か判定してもよい。そして、通常の画角変動の範囲内の場合に、特徴量追跡手段１０４は、カメラ校正情報生成手段２４に対してカメラ校正情報を生成するように指示してもよい。一方、通常の画角変動の範囲内ではない場合、位置算出手段１１がカメラ校正情報に基づいて、変動前の状態に戻せない可能性がある。この場合、特徴量追跡手段１０４は、画角変動が生じたことを示すアラートのみを挙げ、手動で再キャリブレーションを行うように利用者に促すようにしてもよい。

実施形態２．
次に、本発明による画角変動検知装置の第２の実施形態を説明する。本実施形態の画角変動検知装置の構成は、図１に例示する構成と同様であるが、画角変動判定手段１３の内容が第１の実施形態と異なる。

図５は、第２の実施形態の画角変動判定手段１３の構成例を示すブロック図である。本実施形態の画角変動判定手段１３は、画角変動検出手段１０１と、不動点情報蓄積手段１０２と、特徴量抽出手段１０３と、特徴量追跡手段１０４と、不動点検出手段２０４とを含む。なお、第１の実施形態と同様の構成については、図２と同一の符号を付し、説明を省略する。また、本実施形態では、特徴量抽出手段１０３によって算出された特徴点の特徴量は、不動点検出手段２０４へも入力される。以下、特徴量抽出手段１０３から入力される特徴点の位置および特徴点の特徴量を併せて、特徴点情報と記す。

不動点検出手段２０４は、特徴量抽出手段１０３によって抽出された特徴点のうち、継続して所定時間同じ位置に存在する特徴点を不動点として検出する。

具体的には、不動点検出手段２０４は、特徴量抽出手段１０３から入力された特徴点情報に含まれる特徴点のうち、不動点と照合されなかった特徴点の特徴点情報を、不動点候補として抽出し、保持しておく。不動点検出手段２０４は、次のフレームに対する処理で抽出された特徴点情報を特徴量抽出手段１０３から入力されると、入力された特徴点情報と保持したおいた不動点候補とを比較し、抽出された特徴点が継続して同じ位置に存在するか否かを判定する。なお、特徴点が継続して同じ位置に存在するか否かは、特徴点に対応する点の特徴量の変化に基づいて判断可能である。不動点検出手段２０４は、同じ位置に存在するとして検出された特徴点について特徴量を更新してもよい。

なお、特徴点自身の位置が変化しない場合でも、オクルージョン等により、時間によっては不動点が前景に隠されて、特徴点を確認できない場合がある。そこで、不動点検出手段２０４は、特徴点の一定期間における検出回数を算出してもよい。そして、不動点検出手段２０４は、期間内の検出回数が予め定めた閾値を超えた場合に、その特徴点を不動点として検出してもよい。

不動点検出手段２０４は、不動点として検出した特徴点の特徴点情報を不動点情報蓄積手段１０２へ記憶させる。すなわち、不動点検出手段２０４は不動点情報蓄積手段１０２に記憶された不動点情報を更新する。なお、不動点検出手段２０４は、期間内の検出回数を算出している場合、期間に対する検出回数をその特徴点の不動点らしさを示す信頼度とし、その信頼度を特徴点情報に対応付けて不動点情報蓄積手段１０２に記憶してもよい。

この信頼度は、例えば、特徴量追跡手段１０４が不動点と特徴点とを照合する際の重みとして用いられる。例えば、特徴量追跡手段１０４は、不動点と特徴点のペアを選択する際、この信頼度が高いペアを優先的に選択するようにしてもよい。このようにすることで、精度の高い不動点情報を優先的に利用することができる。

また、不動点検出手段２０４は、特徴点の検出時刻を算出し、不動点情報蓄積手段１０２に記憶してもよい。そして、不動点情報蓄積手段１０２が検出時刻を記憶している場合、不動点検出手段２０４は、特徴点が最後に検出された時刻からの経過時間が一定時間を超えた場合に、その特徴点は不動点ではないと判断し、その特徴点の特徴点情報を削除してもよい。このようにすることで、精度の高い不動点情報を維持することができる。

実施形態３．
次に、本発明による画角変動検知装置の第３の実施形態を説明する。本実施形態の画角変動検知装置の構成は、図１に例示する構成と同様であるが、画角変動判定手段１３の内容が第１の実施形態と異なる。本実施形態の画角変動検知装置では、撮像装置が撮影する状況に応じて不動点を切り替える。

図６は、第３の実施形態の画角変動判定手段１３の構成例を示すブロック図である。本実施形態の画角変動判定手段１３は、画角変動検出手段１０１と、不動点情報蓄積手段３０２と、特徴量抽出手段１０３と、特徴量追跡手段１０４と、状況判別手段３０６とを含む。なお、第１の実施形態と同様の構成については、図２と同一の符号を付し、説明を省略する。

状況判別手段３０６は、撮像装置が撮影する状況を判別する。具体的には、状況判別手段３０６は、映像全体の明るさや時刻など、撮像装置によって撮影される映像に基づいて、撮像装置が撮影する状況が今どのような状況かを判別する。状況判別手段３０６は、例えば、映像全体の明るさや時刻などから、撮影している時間帯（朝、昼、夜など）を判別してもよい。状況判別手段３０６は、状況を識別する情報（以下、状況識別情報と記す。）を不動点情報蓄積手段３０２に記憶する。

状況識別情報として、例えば、状況を判別するためのインデックスが用いられる。例えば、状況を昼と夜の２つのシーンに分類する場合、昼を示すインデックスを１、夜を示すインデックスを２として状況識別情報を定義してもよい。さらに、状況の切り替わりの間の中間的な状況（例えば、昼から夜に変化する状況）を示す場合には、状況判別手段３０６は、両方の状況を示す状況識別情報を生成してもよい。その際、状況判別手段３０６は、各状況の確からしさを数値化し、その値を信頼度情報として状態識別情報に含めてもよい。

不動点情報蓄積手段３０２は、不動点情報として、不動点の位置及びその不動点の特徴を示す特徴量に加え、その不動点が用いられる状況を示す情報を併せて記憶する。不動点が用いられる状況とは、その不動点が特定された状況を示す情報であってもよく、その不動点を適用すべき状況を示す情報であってもよい。また、複数の状況に適用可能な不動点の場合、不動点が用いられる状況を示す情報として、状況ごとの信頼度を用いてもよい。

また、不動点情報蓄積手段３０２は、共通に利用される不動点と、状況ごとの不動点とをグループ化して記憶しておいてもよい。この場合、各状況に応じて共通に利用される不動点に、状況ごとの不動点が加えられ、利用される。

画角変動検出手段１０１は、状況識別情報に基づいて利用する不動点情報を選択し、選択した不動点情報に基づいて、入力された映像から映像取得手段１０の画角に変動があったか否かを検出する。

また、特徴量追跡手段１０４は、状況識別情報に基づいて利用する不動点情報を選択し、選択した不動点の位置へ各特徴点の位置を変換するための画角変動パラメータを算出する。

一般に、撮像装置の画角から特定される不動点は、昼と夜、明け方など、時間帯によって、その有効性が異なる。本実施形態では、撮像装置が撮影している状況に応じて不動点を選択するため、画角変動の精度をより高めることができる。

なお、第２の実施形態で例示する画角変動判定手段１３に、本実施形態の状況判別手段を適用してもよい。

実施形態４．
次に、本発明による画角変動検知装置の第４の実施形態を説明する。本実施形態の画角変動検知装置の構成は、図１に例示する構成と同様であるが、画角変動判定手段１３の内容が第１の実施形態と異なる。

図７は、第４の実施形態の画角変動判定手段１３の構成例を示すブロック図である。本実施形態の画角変動判定手段１３は、画角変動検出手段１０１と、不動点情報蓄積手段１０２と、特徴量抽出手段１０３と、特徴量追跡手段１０４と、不動点学習手段４０６とを含む。なお、第１の実施形態と同様の構成については、図２と同一の符号を付し、説明を省略する。

不動点学習手段４０６は、前景が存在しないと判断される時間帯に、背景画像から不動点を自動的に抽出する。不動点学習手段４０６は、一定期間のフレームの映像に変化がない場合に前景が存在しないと判断してもよく、人手による指示に応じて前景が存在しない時間帯を特定してもよい。不動点学習手段４０６は、第２の実施形態の不動点検出手段２０４が不動点を検出する方法と同様の方法を用いて不動点を抽出し、不動点情報蓄積手段１０２へ記憶する。そのため、精度の高い不動点情報を取得できる。

次に、本発明の概要の例を説明する。図８は、本発明による画角変動検知装置の概要を示すブロック図である。本発明による画角変動検知装置は、撮像装置（例えば、映像取得手段１０）の画角から特定される不動点の位置とその不動点の特徴を示す特徴量とを含む不動点情報に基づいて、撮像装置が撮影する映像から撮像装置の画角変動を検出する画角変動検出手段８１（例えば、画角変動検出手段１０１）と、画角変動の変化が一定期間安定した場合に撮像装置の画角が変動したと判定する状態判定手段８２（例えば、特徴量追跡手段１０４）とを備えている。

そのような構成により、撮像装置の撮影環境に応じて適切に画角の変動を検知できる。

また、画角変動検知装置は、撮像装置が撮影する映像から特徴点を抽出する特徴点抽出手段（例えば、特徴量抽出手段１０３）と、特徴点の位置を対応する不動点の位置へ変換するパラメータである画角変動パラメータを算出するパラメータ算出手段とを備えていてもよい。そして、状態判定手段８２は、撮像装置が撮影する映像のフレーム間における画角変動パラメータの変化が一定期間安定した場合に、撮像装置の画角が変動したと判定してもよい。

また、特徴点抽出手段は、撮像装置によって撮影される映像から抽出した特徴点の特徴量を算出し、パラメータ算出手段は、特徴点の特徴量と不動点の特徴量との距離が所定の閾値以下、または、特徴点の特徴量と不動点の特徴量との類似度が所定の閾値以上である場合、その不動点を特徴点に対応する点と判断して画角変動パラメータを算出してもよい。

また、画角変動検知装置は、特徴点抽出手段によって抽出された特徴点のうち、継続して所定時間同じ位置に存在する特徴点を不動点として検出する不動点検出手段（例えば、不動点検出手段２０４）を備えていてもよい。この場合、利用する不動点の精度を向上できる。

また、画角変動検出手段８１は、撮像装置から入力された映像において不動点の位置と同じ位置の特徴量が不動点の特徴量とほぼ一致する不動点の数を算出し、一致する不動点の数が一定数以上存在しない場合に画角が変動していると判断してもよい。

また、画角変動検知装置は、不動点情報を記憶する不動点記憶手段（例えば、不動点情報蓄積手段１０２）を備えていてもよい。そして、画角変動検出手段８１は、記憶された不動点情報に基づいて撮像装置の画角変動を検出してもよい。

また、画角変動検知装置は、撮像装置が撮影する状況を判別する状況判別手段（例えば、状況判別手段３０６）を備えていてもよい。そして、不動点記憶手段は、不動点が用いられる状況を示す情報を含む不動点情報を記憶し、画角変動検出手段８１は、判別された状況に応じた不動点情報を不動点記憶手段が記憶する不動点情報の中から選択し、その不動点情報に基づいて、撮像装置が撮影する映像からその撮像装置の画角変動を検出してもよい。

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１２年７月１２日に出願された日本特許出願２０１２−１５６７７２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、撮像装置の画角変動を検知するに好適に適用される。

１０，２０ 映像取得手段
１１ 位置算出手段
１２，２２ カメラ校正情報蓄積手段
１３ 画角変動判定手段
１４ カメラ制御情報生成手段
２４ カメラ校正情報生成手段
１０１ 画角変動検出手段
１０２，３０２ 不動点情報蓄積手段
１０３ 特徴量抽出手段
１０４ 特徴量追跡手段
２０４ 不動点検出手段
３０６ 状況判別手段
４０６ 不動点学習手段

Claims (11)

1. 撮像装置の画角から特定される不動点の位置と当該不動点の特徴を示す特徴量とを含む不動点情報に基づいて、当該撮像装置が撮影する映像から当該撮像装置の画角変動を検出する画角変動検出手段と、
   前記画角変動の変化が一定期間安定した場合に前記撮像装置の画角が変動したと判定する状態判定手段とを備えた
   ことを特徴とする画角変動検知装置。
2. 撮像装置が撮影する映像から特徴点を抽出する特徴点抽出手段と、
   前記特徴点の位置を対応する不動点の位置へ変換するパラメータである画角変動パラメータを算出するパラメータ算出手段とを備え、
   状態判定手段は、撮像装置が撮影する映像のフレーム間における前記画角変動パラメータの変化が一定期間安定した場合に、撮像装置の画角が変動したと判定する
   請求項１記載の画角変動検知装置。
3. 特徴点抽出手段は、撮像装置によって撮影される映像から抽出した特徴点の特徴量を算出し、
   パラメータ算出手段は、前記特徴点の特徴量と不動点の特徴量との距離が所定の閾値以下、または、前記特徴点の特徴量と不動点の特徴量との類似度が所定の閾値以上である場合、当該不動点を前記特徴点に対応する点と判断して画角変動パラメータを算出する
   請求項２記載の画角変動検知装置。
4. 特徴点抽出手段によって抽出された特徴点のうち、継続して所定時間同じ位置に存在する特徴点を不動点として検出する不動点検出手段を備えた
   請求項２または請求項３記載の画角変動検知装置。
5. 画角変動検出手段は、撮像装置から入力された映像において不動点の位置と同じ位置の特徴量が不動点の特徴量とほぼ一致する不動点の数を算出し、一致する不動点の数が一定数以上存在しない場合に画角が変動していると判断する
   請求項１から請求項４のうちのいずれか１項に記載の画角変動検知装置。
6. 不動点情報を記憶する不動点記憶手段を備え、
   画角変動検出手段は、記憶された不動点情報に基づいて撮像装置の画角変動を検出する
   請求項１から請求項５のうちのいずれか１項に記載の画角変動検知装置。
7. 撮像装置が撮影する状況を判別する状況判別手段を備え、
   不動点記憶手段は、不動点が用いられる状況を示す情報を含む不動点情報を記憶し、
   画角変動検出手段は、判別された状況に応じた不動点情報を前記不動点記憶手段が記憶する不動点情報の中から選択し、当該不動点情報に基づいて、撮像装置が撮影する映像から当該撮像装置の画角変動を検出する
   請求項６記載の画角変動検知装置。
8. 撮像装置の画角から特定される不動点の位置と当該不動点の特徴を示す特徴量とを含む不動点情報に基づいて、当該撮像装置が撮影する映像から当該撮像装置の画角変動を検出し、
   前記画角変動の変化が一定期間安定した場合に前記撮像装置の画角が変動したと判定する
   ことを特徴とする画角変動検知方法。
9. 撮像装置が撮影する映像から特徴点を抽出し、
   前記特徴点の位置を対応する不動点の位置へ変換するパラメータである画角変動パラメータを算出し、
   撮像装置が撮影する映像のフレーム間における前記画角変動パラメータの変化が一定期間安定した場合に、撮像装置の画角が変動したと判定する
   請求項８記載の画角変動検知方法。
10. コンピュータに、
    撮像装置の画角から特定される不動点の位置と当該不動点の特徴を示す特徴量とを含む不動点情報に基づいて、当該撮像装置が撮影する映像から当該撮像装置の画角変動を検出する画角変動検出処理、および、
    前記画角変動の変化が一定期間安定した場合に前記撮像装置の画角が変動したと判定する状態判定処理
    を実行させるための画角変動検知プログラム。
11. コンピュータに、
    撮像装置が撮影する映像から特徴点を抽出する特徴点抽出処理、および、
    前記特徴点の位置を対応する不動点の位置へ変換するパラメータである画角変動パラメータを算出するパラメータ算出処理を実行させ、
    状態判定処理で、撮像装置が撮影する映像のフレーム間における前記画角変動パラメータの変化が一定期間安定した場合に、撮像装置の画角が変動したと判定させる
    請求項１０記載の画角変動検知プログラム。

Images