JP4948294B2 - 撮像装置、撮像装置の制御方法、及びプログラム - Google Patents

Description

本発明は、撮像装置に関し、特に、プリセット位置ずれ補正を行う監視カメラや雲台装置付きカメラ等の撮像装置、撮像装置の制御方法、及びプログラムに関する。

従来より、パン・チルト動作可能な電動雲台によりカメラを支持し、コントローラからの制御信号により電動雲台のパン・チルトやカメラのフォーカス、ズーム等を遠隔操作する技術が知られている。この技術は、監視カメラシステムなどへの応用がなされている。また、予めパン・チルト位置、ズーム位置、フォーカス位置等のプリセット位置をカメラのメモリに記憶しておき、ボタン操作するだけでメモリに記憶されたプリセット位置を自動的に再現する機能も知られている。しかし、高倍率のズームカメラの場合、ズーム時のパン・チルトの停止精度が不足して、プリセット位置がずれるという問題がおきてきている。

そこで、プリセット位置の登録時にプリセット位置情報とともに当該プリセット位置における画像（登録位置画像）を記憶する技術が開示されている（例えば、特許文献１参照）。プリセット再現時には、再現された位置で取り込んだ画像（再現位置画像）と登録位置画像を画像処理することにより画像のずれ量を検出する。検出されたずれ量に基づいて、ずれを低減する方向にカメラを駆動するように雲台の駆動を制御して、プリセット再現時の停止精度を向上させる。
特開２００３−０９８５７６号公報

しかしながら、上記特許文献１記載の技術では、地震や人が触るなどしてカメラに力が加わったとき等、登録位置画像を超えた範囲でずれが生じた場合には、プリセット位置ずれを補正することができない。また、登録位置画像以上の精度でプリセット位置ずれを補正することができない。

本発明の目的は、プリセット位置から大幅にずれた時や、微小にずれた時の双方に対応することができ、補正の精度及び確実性を向上させることができる撮像装置、撮像装置の制御方法、及びプログラムを提供することにある。

上記目的を達成するために、本発明による撮像装置は、画像を撮像する撮像手段と、前記撮像手段を駆動する駆動手段と、前記撮像手段を所定の撮像位置及び所定の焦点距離の状態として撮像するためのプリセット情報を保持する第１の保持手段と、前記プリセット情報が示す所定の撮像位置において前記撮像手段によって撮像され、その焦点距離が互いに異なる複数の補正用画像を保持する第２の保持手段と、前記プリセット情報で示す所定の撮像位置及び所定の焦点距離に駆動する指示を受けると、前記撮像手段を前記所定の撮像位置及び前記所定の焦点距離に駆動して撮像された画像と、前記撮像手段が前記所定の撮像位置及び前記所定の焦点距離とされた際の補正用画像とを比較する第１の比較と、前記撮像手段を前記所定の撮像位置とし前記所定の焦点距離とは異なる焦点距離として撮像された画像と、前記撮像手段が前記所定の撮像位置とされ前記異なる焦点距離とされた際の補正用画像とを比較する第２の比較とを行って、前記第１及び前記第２の比較の結果得られた第１及び第２の比較結果に基づいて前記駆動手段の駆動量を制御する制御手段とを有することを特徴とする。

上記目的を達成するために、本発明による制御方法は、画像を撮像する撮像手段と、前記撮像手段を駆動する駆動手段とを備える撮像装置の制御方法において、メモリに前記撮像手段を所定の撮像位置及び所定の焦点距離の状態として撮像するためのプリセット情報を保持する第１の保持工程と、メモリに前記プリセット情報が示す所定の撮像位置において前記撮像手段によって撮像され、その焦点距離が互いに異なる複数の補正用画像を保持する第２の保持工程と、前記プリセット情報で示す所定の撮像位置及び所定の焦点距離に駆動する指示を受けると、前記撮像手段を前記所定の撮像位置及び前記所定の焦点距離に駆動して撮像された画像と、前記撮像手段が前記所定の撮像位置及び前記所定の焦点距離とされた際の補正用画像とを比較する第１の比較工程と、前記撮像手段を前記所定の撮像位置とし前記所定の焦点距離とは異なる焦点距離として撮像された画像と、前記撮像手段が前記所定の撮像位置とされ前記異なる焦点距離とされた際の補正用画像とを比較する第２の比較工程と、前記第１及び前記第２の比較工程でそれぞれ得られた第１及び第２の比較結果に基づいて前記駆動手段の駆動量を制御する制御工程とを有することを特徴とする。

上記目的を達成するために、本発明によるプログラムは、画像を撮像する撮像手段と、前記撮像手段を駆動する駆動手段とを備える撮像装置を制御する制御方法をコンピュータに実行させるプログラムにおいて、前記制御方法は、メモリに前記撮像手段を所定の撮像位置及び所定の焦点距離の状態として撮像するためのプリセット情報を保持する第１の保持工程と、メモリに前記プリセット情報が示す所定の撮像位置において前記撮像手段によって撮像され、その焦点距離が互いに異なる複数の補正用画像を保持する第２の保持工程と、前記プリセット情報で示す所定の撮像位置及び所定の焦点距離に駆動する指示を受けると、前記撮像手段を前記所定の撮像位置及び前記所定の焦点距離に駆動して撮像された画像と、前記撮像手段が前記所定の撮像位置及び前記所定の焦点距離とされた際の補正用画像とを比較する第１の比較工程と、前記撮像手段を前記所定の撮像位置とし前記所定の焦点距離とは異なる焦点距離として撮像された画像と、前記撮像手段が前記所定の撮像位置とされ前記異なる焦点距離とされた際の補正用画像とを比較する第２の比較工程と、前記第１及び前記第２の比較工程でそれぞれ得られた第１及び第２の比較結果に基づいて前記駆動手段の駆動量を制御する制御工程とを有することを特徴とする。

本発明によれば、保持された位置（所定の撮像位置）において焦点距離の異なる補正用画像を保持するので、プリセット位置（所定の撮像位置）から大幅にずれた時や、微小にずれた時の双方に対応することができ、補正の精度及び確実性を向上させることができる。

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態に係る撮像装置の全体構成を示すブロック図である。

図１において、撮像装置としての監視カメラシステムは、監視カメラ１１３、及びクライアント制御装置１１２を備える。監視カメラ１１３は、ネットワークを介して接続されたクライアント制御装置１１２から制御可能である。

監視カメラ１１３は、カメラユニット１００を備える。カメラユニット１００は、レンズ、ＣＣＤ撮像素子、パン方向・チルト方向へ駆動可能なモータ等からなるメカ部分であり、天井などに固定されて用いられる。

また、監視カメラ１１３は内部に、カメラ信号処理回路１０１、画像メモリ１０２、画像処理回路１０３、補正用画像メモリ１０４（第２の保持手段、補正用画像保持手段ともいう）、画像比較処理回路１０５、及びメモリ１０６（第１の保持手段、プリセット情報保持手段ともいう）を備える。さらに、監視カメラ１１３は内部に、ズーム／フォーカス制御回路１０７、パン・チルト制御回路１０８、ネットワークインターフェース１０９、及びＣＰＵ１１０を備える。監視カメラ１１３内部の各ブロックは、バス１１１を介して互いに接続されている。

ＣＰＵ１１０は、メモリ１０６上のプログラムに従って動作する。プログラムから監視カメラ１１３が撮影した画像をクライアント制御装置１１２に保存すべく送信する命令が発行されると、カメラ信号処理回路１０１は、カメラユニット１００のＣＣＤ撮像素子から得られる電気信号に対してカメラ信号処理を行う。このカメラ信号処理により、電気信号は最適なレベルに増幅された後、映像信号又は画像信号に変換される。

このカメラ信号処理された画像は、一旦画像メモリ１０２に蓄積され、画像処理回路１０３によって所定の画像フォーマットであるＪＰＧに変換される。ＪＰＧに変換された画像は、ネットワークインターフェース１０９を経由してクライアント制御装置１１２に転送されて保存される。

また、クライアント制御装置１１２から監視カメラ１１３にズーム駆動、又はパン・チルト方向へ駆動する命令が発行されると、ネットワークインターフェース１０９を経由してメモリ１０６上のプログラムがこの命令を受け取る。ＣＰＵ１１０は、ズーム／フォーカス制御回路１０７や、パン・チルト制御回路１０８に対して駆動命令を発行して、カメラユニット１００の向きやズームを変更するように動作する。

画像比較処理回路１０５は、補正用画像メモリ１０４（補正用画像保持手段）に蓄えられていた過去の画像と、カメラ信号処理回路１０１から得た現在の画像の２つの画像の特徴的な成分を比較し、その画像のずれ量を検出してパン・チルト制御値に変換する。

次に、本監視カメラのプリセット動作について説明する。

ユーザは、クライアント制御装置１１２を操作して、プリセット番号を指定し、プリセット設定のモードに移行する。ユーザは、監視カメラ１１３の撮像画像を見ながらパン・チルト、ズームなどを操作して監視カメラ１１３の画角を決めると、再びクライアント制御装置１１２から監視カメラ１１３へプリセットのセットコマンドを発行する。

監視カメラ１１３は、ネットワークインターフェース１０９を介してこのプリセットのセットコマンドを受ける。そして、プリセット情報としてセット時現在のパン・チルトの角度情報、ズーム情報、及び撮像画像が、プリセット番号と関連づけられてメモリ１０６（プリセット情報保持手段）上に保存される。

次に、プリセット時に補正用画像を補正用画像メモリ１０４（補正用画像保持手段）に保存するまでの補正用画像保存処理を図２のフローチャートを用いて説明する。

図２は、図１におけるＣＰＵ１１０によって実行される補正用画像保存処理のフローチャートである。

図２において、ユーザは、クライアント制御装置１１２からプリセットの設定を開始するための操作を行う。複数のプリセットをメモリ１０６に保存することが可能であり、プリセット番号をＰｎとする。

まず、ＣＰＵ１１０は、プリセット位置（所定の撮像位置）そのものの設定で、プリセット位置でのプリセット時の焦点距離（所定の焦点距離）における画像を補正用画像ＩＭｎ＿ｐとして補正用画像メモリ１０６に保存する（ステップＳ２０２）。ここで、ＩＭｎ＿ｐは、プリセット番号Ｐｎのプリセット位置における補正用画像を示している。

次に、後述する図３の焦点距離算出処理を実行して、プリセット時以外の他の焦点距離において補正用画像を補正用画像メモリ１０６に保存するか否かを算出する（ステップＳ２０３）。すなわち、ズーム／フォーカス制御回路１０７によりズーム駆動して、ここで算出された複数の焦点距離で補正用画像を補正用画像メモリ１０６に保存することになる。

そのステップＳ２０３において算出された結果に基づいて、他の焦点距離で補正用画像を補正用画像メモリ１０６に保存するか否かを判別する（ステップＳ２０４）。

ステップＳ２０４の判別の結果、他の焦点距離で補正用画像を補正用画像メモリ１０６に保存するときは、ステップＳ２０５に進む。ステップＳ２０５では、ステップＳ２０３で算出された焦点距離になるようにズーム／フォーカス制御回路１０７によりズーム駆動を行う。次に、ＣＰＵ１１０は、ズーム駆動された位置（ズーム位置）における画像が補正用画像として適しているか否かを判別する（ステップＳ２０６）。

ステップＳ２０６の判別の結果、ズーム位置における画像が補正用画像として適しているときは、ズーム位置における画像ＩＭｎ＿ｘを補正用画像として補正用画像メモリ１０４に保存する（ステップＳ２０７）。なお、このＩＭｎ＿ｘのｎはプリセット番号、ｘは焦点距離情報を表す添え字としている。ｘにｔが入っていればテレ端の画像、ｗが入ればワイド端の画像、ｘが数値であればズーム倍率が表されている。

ステップＳ２０７において補正用画像を補正用画像メモリ１０４に保存するか、又はステップＳ２０６の判別の結果、ズーム位置における画像が補正用画像として適していないときは、ステップＳ２０４に戻る。

ステップＳ２０４の判別の結果、他の焦点距離で補正用画像を補正用画像メモリ１０４に保存しないとき、すなわち、他の焦点距離における補正用画像が必要ないときは、ステップＳ２０８に進む。ステップＳ２０８では、ＣＰＵ１１０は、新たに保存された補正用画像ＩＭｎ＿ｘの、後に画像マッチングするためのマッチングエリアを算出する。これは、画像を縦横５分割して画像を２５等分エリアに分け、各エリアの輝度情報にローパスフィルタ、ハイパスフィルタを施して、エリア内のエッジ成分を計算する。そのエッジ成分が所定以上あるか否かを判別し、エッジ成分が所定以上の値でありかつもっとも高いエリアをマッチングエリアとしている。

次に、メモリ１０６のプリセット位置情報を管理している領域に、プリセット情報を更新し（ステップＳ２０９）、本処理を終了する。

図３は、図２のステップＳ２０３の焦点距離算出処理のフローチャートである。

図３において、ＣＰＵ１１０は、監視カメラ１１３が有する一定倍率モードと通常モードの２つのうち、一定倍率モードであるか否かを判別する（ステップＳ３０２）。この判別の結果、一定倍率モードであるときは、プリセット時のズーム位置から所定の倍率の焦点距離の補正用画像すべてを補正用画像メモリ１０４に保存するように設定し（ステップＳ３０３）、本処理を終了する。例えば、プリセット時のズーム位置が８倍であれば、４倍、１２倍、１６倍、２０倍のズーム位置（焦点距離）での画像が補正用画像として補正用画像メモリ１０４に保存されることになる。

ステップＳ３０２の判別の結果、一定倍率モードでないとき、即ち通常モードであるときは、ステップＳ３０４に進む。ステップＳ３０４では、ＣＰＵ１１０は、これまでにプリセットされたプリセット数Ｎがユーザによりカスタマイズ設定が可能な所定数Ｍ以下であるか否かを判別する。

ステップＳ３０４の判別の結果、プリセット数Ｎが所定数Ｍ以下であるときは、ステップＳ３０５に進む。ステップＳ３０５では、テレ端での画像（テレ画像）及びワイド端での画像（ワイド画像）の二つの画像を補正用画像メモリ１０４に保存するように設定し、本処理を終了する。

ステップＳ３０４の判別の結果、プリセット数Ｎが所定数Ｍを超えるときは、ステップＳ３０６に進む。ステップＳ３０６では、ＣＰＵ１１０は、現在設定されようとした焦点距離Ｐｎを各プリセット位置の焦点距離（Ｐｎ：ｎ＝０〜ｎ−１）と比較し、焦点距離Ｐｎがテレ端及びワイド端からＭ番目以内にあるか否かを判別する。この判別の結果、焦点距離Ｐｎがテレ端及びワイド端からＭ番目以内にあるときは、ステップＳ３０５に進む。

一方、ステップＳ３０６の判別の結果、焦点距離Ｐｎがテレ端及びワイド端からＭ番目以内にないときは、ステップＳ３０７に進む。ステップＳ３０７では、ＣＰＵ１１０は、焦点距離Ｐｎがテレ端からＭ番目以内にあるか否かを判別する。

ステップＳ３０７の判別の結果、焦点距離Ｐｎがテレ端からＭ番目以内にあるときは、テレ画像のみを補正用画像メモリ１０４に保存するように設定し（ステップＳ３０８）、本処理を終了する。ステップＳ３０７の判別の結果、焦点距離Ｐｎがテレ端からＭ番目以内にないときは、ステップＳ３０９に進む。ステップＳ３０９では、焦点距離Ｐｎがワイド端からＭ番目以内にあるか否かを判別する。

ステップＳ３０９の判別の結果、焦点距離Ｐｎがワイド端からＭ番目以内にあるときは、ワイド画像のみを補正用画像メモリ１０４に保存するように設定し（ステップＳ３１０）、本処理を終了する。ステップＳ３０９の判別の結果、焦点距離Ｐｎがワイド端からＭ番目以内にないときは、プリセット位置における画像のみを補正用画像メモリ１０４に保存するように設定し（ステップＳ３１１）、本処理を終了する。

以上の処理によって設定された焦点距離の画像が、図２の処理において補正用画像として補正用画像メモリ１０４に保存されることになる。

図４は、図２の処理によってメモリ１０６に保存されたプリセット情報を示す図であり、（ａ）は２つのプリセットが設定された場合を示し、（ｂ）は３つのプリセットが設定された場合を示し、（ｃ）は４つのプリセットが設定された場合を示す。

図４（ａ）〜（ｃ）において、補正用画像数（ステップＳ３０４における所定数Ｍ）＝２とし、通常モードにおいてプリセット情報を保持しているものとする。

図４（ａ）では、プリセットＮＯ．１とプリセットＮＯ．２に、パン、チルトの角度情報、補正用画像、及びその補正用画像に対応したマッチングエリア情報が保存されている。プリセット数Ｎが所定数Ｍ＝２より少ないので、ワイド端、テレ端、プリセット位置の３つの画像がすべて登録されている。マッチングエリアの欄に記載の英字は、ｐがプリセット画像（ＩＭｎ＿ｐ）、ｗはワイド画像（ＩＭｎ＿ｗ）、ｔはテレ画像（ＩＭｎ＿ｔ）に対応し、引数は画像のエリアを示す。すなわちＰ（１３）は、プリセット位置の画像において、エリア１３がマッチングエリアであるということを示す。

図４（ｂ）において、プリセットＮＯ．３のズーム情報は×８倍であり、他のプリセット情報と比較してテレ端からもワイド端からも２番目であるので、保持する補正用画像はテレ端、ワイド端、プリセット位置の３つの画像となる。一方、テレ端から３番目のプリセットＮＯ．１のテレ画像の情報は消去され、ワイドから３番目のプリセットＮＯ２．のワイド画像の情報も消去される。

さらに、図４（ｃ）において、プリセットＮＯ．４のズーム情報は×１８倍であり、他のプリセット情報と比較してワイド端から４番目であるので、保持する補正用画像はテレ画像とプリセット位置の画像の２つとなる。一方、テレ端から３番目のプリセットＮＯ．３のテレ画像の情報が消去される。

以上のように、全プリセットのどこかで、設定したＭ＝２の値と等しい数のテレ画像とワイド画像が補正用画像として保存される。このようなプリセット情報を有する監視カメラ１１３において、ユーザ操作によってプリセット位置の巡回プログラムをセットするなどし、プリセット位置へ移動してプリセット位置ずれの補正などを行う。

図５は、図１におけるＣＰＵ１１０によって実行される位置ずれ補正処理のフローチャートである。

図５において、カメラユニット１００は、ユーザ操作やタイマーのプログラムなどによって、前述したような事前に登録されたプリセット位置へ移動命令が発行されて、プリセット情報に基づいてパン・チルト駆動、ズーム駆動されたものとする。直後、ＣＰＵ１１０は、メモリ１０６にプリセット位置の補正用画像が保存されているか否かを判別する（ステップＳ４０２）。

ステップＳ４０２の判別の結果、補正用画像メモリ１０４にプリセット位置の補正用画像が保存されていないときは、本処理を終了する。一方、ステップＳ４０２の判別の結果、補正用画像メモリ１０４にプリセット位置の補正用画像が保存されているときは、ステップＳ４０３に進む。ステップＳ４０３では、ＣＰＵ１１０は、カメラ信号処理回路１０１から得られる現在の撮像画像（ＩＭ＿Ｔ）と比較する比較画像として、プリセット位置画像ＩＭｎ＿ｐを選択する。

次に、画像処理回路１０３は、この２つの比較画像、すなわちプリセット位置画像ＩＭｎ＿ｐと現在の撮像画像（ＩＭ＿Ｔ）のそれぞれの画像に縮小処理を行う（ステップＳ４０４）。

次に、画像比較処理回路１０５は、これらの縮小処理された画像に画像マッチング処理を行い、２つの画像の一致性を計算し、２つの画像の画素ずれにあたるグローバルベクトルを算出する（ステップＳ４０５）。つまり、画像比較処理回路１０５は第１の比較を行うことになる。

次に、ＣＰＵ１１０は、このグローバルベクトルが検出されたか否かを判別する（ステップＳ４０６）。ステップＳ４０６の判別の結果、グローバルベクトルが検出されないときは、縮小処理された画像に相関がほとんどないので、ステップＳ４０７に進む。

ステップＳ４０７では、ＣＰＵ１１０は、現在のプリセット位置において補正用のワイド画像（ＩＭｎ＿ｗ）が補正用画像メモリ１０４に保存されているか否かを判別する。この判別の結果、補正用のワイド画像（ＩＭｎ＿ｗ）が補正用画像メモリ１０４に保存されているときは、比較画像をワイド画像に変更すると共に、ズームをワイド端へ駆動し（ステップＳ４０８）、ステップＳ４０４に戻る。ステップＳ４０４以降の処理により、このプリセット位置におけるワイド画像同士を比較する（つまり、第２の比較が行われることになる）。

ステップＳ４０７の判別の結果、現在のプリセット位置において補正用のワイド画像（ＩＭｎ＿ｗ）がステップＳ４０４保存されていないときは、本処理を終了する。もちろん、ワイド端でも画像のずれが検出しきれないほどにずれが生じているということで、パン・チルト位置のリセット動作を強制的に行うようにしてもよい。

ステップＳ４０６の判別の結果、グローバルベクトルが検出されたときは、ＣＰＵ１１０は、比較対象の補正用画像からマッチングエリアを選択する（ステップＳ４０９）。次に、ＣＰＵ１１０は、このマッチングエリアの画像情報と現在の撮像画像（ＩＭ＿Ｔ）情報を比較する画像マッチング処理を行う（ステップＳ４１０）。このとき、ＣＰＵ１１０は、ステップＳ４０６で検出されたグローバルベクトル方向へ画像を動かしながらマッチング処理を行う。

図６は、図５のステップＳ４１０の画像マッチング処理を説明する図であり、（ａ）は撮像画像及び補正用画像を示し、（ｂ）は撮像画像を示す。

図６（ａ）において、実線で表された部分は、プリセット登録時に補正用画像メモリ１０４に保存した補正用画像ＩＭｎ＿ｘである。また、二点鎖線で囲まれた部分は、再びこのプリセット位置に駆動されてきたときにカメラ信号処理回路１０１から得られる撮影画像ＩＭ＿Ｔである。図６（ａ）は、プリセット位置がモータの脱腸や衝突、地震等でずれてしまった例を示している。

点線と実線のずれかたは、ステップＳ４０５において縮小処理された画像で検出した画像マッチングからグローバルベクトルＧとして、概略には検出されている。また、この時の補正用画像ＩＭｎ＿ｘのマッチングエリアは、破線で囲まれた領域であるとする。このマッチングエリアは、画素の位置（ｉ、ｊ）から位置（ｉ＋ｐ、ｊ＋ｑ）を対角とする長方形で設定されている。また、ここでは画素（ｉ、ｊ）の輝度情報をＹ（ｉ、ｊ）としている。

図６（ｂ）は、撮像画像ＩＭ＿Ｔ の外枠を実線で示し、グローバルベクトルＧ、マッチングエリア、及び画像マッチングのサーチエリアの関係を示している。撮像画像ＩＭ＿Ｔのうち、補正用画像のマッチングエリアに相当するエリア（ｉ、ｊ）をグローバルベクトルＧ分加算した位置、すなわち｛（ｉ、ｊ）＋Ｇ｝ と｛（ｉ＋ｐ、ｊ＋ｑ）＋Ｇ｝を対角とするエリアがサーチエリアとして定められる。画像比較処理回路１０５は、このサーチエリア内のすべての範囲で、マッチングエリアとサーチエリアの輝度情報及び色情報の相関度を算出する。

マッチングエリアとサーチエリアの相関度は、対応する画素の輝度情報及び色情報の差分を全エリアに渡って積分した値の逆数で与えられる。すなわち、マッチングエリアとサーチエリアの輝度情報の相関度ΣＹは、以下の数１によって表される。

また、色情報からも同様にマッチングエリアとサーチエリアの相関度が算出される。色情報１から得られる相関度をΣＣ１、色情報２から得られる相関度をΣＣ２とすると、マッチングエリアとサーチエリアの相関度は、以下の数２によって表される。

図７は、図６の画像マッチング処理で算出されるマッチングエリアとサーチエリアの相関度の一例を示す図であり、（ａ）はピークが存在しない場合を示し、（ｂ）はピークＨが存在する場合を示し、（ｃ）はピークＨが０である場合を示す。

図７（ａ）〜（ｃ）において、横軸はサーチエリア内への画素ずらし量を示し、縦軸はマッチングエリアとサーチエリアの相関度を示す。

図７（ａ）では、マッチングエリアとサーチエリアの相関度が、どの画像ずらし量においても閾値Ｓを超えず、低い状態である。図５のステップＳ４０６において、グローバルベクトルが検出されている場合にはこのような状態にはならない。ただし、グローバルベクトルの検出時にも同様な手法で評価するが、この閾値Ｓを超えないような時には、ステップＳ４０６のグローバルベクトル検出時にグローバルベクトルが不明であると判別される。

図７（ｂ）では、サーチエリアで画素ずらしを行いマッチングエリアとサーチエリアの相関度を求めていくと、閾値Ｓを超えたピークＨが見つかる。このときの画像ずらし量がピーク値Ｈの位置として計算される。

図７（ｃ）では、画素ずらしを行わない位置にマッチングエリアとサーチエリアの相関度のピーク値Ｈがある。即ち、マッチングエリアとサーチエリアの画素ずれがない。この場合も、ステップＳ４０６のグローバルベクトル検出時にグローバルベクトルが無いと判別される。

以上のようにして、マッチングエリアとサーチエリアの画像ずれが、ピーク値Ｈに対応する画素ずらし量として検出される。この画素ずらし量を焦点距離から逆算して、パン・チルトの駆動量に変換する。

図５のフローチャートに戻り、ステップＳ４１０において、ＣＰＵ１１０は、画像マッチングの後に、パン・チルトの駆動量を算出する。次に、算出された駆動量に基づいてパン・チルト制御回路１０８によりパン・チルト駆動を行う（ステップＳ４１１）。次に、今回画像マッチングに使用した補正用画像よりもテレ端の補正用画像が補正用画像メモリ１０４に保存されているか否かを判別する（ステップＳ４１２）。

ステップＳ４１２の判別の結果、テレ端の補正用画像が補正用画像メモリ１０４に保存されていないときは、本処理を終了する。一方、ステップＳ４１２の判別の結果、テレ端の補正用画像が補正用画像メモリ１０４に保存されているときは、比較画像をテレ画像に変更すると共に、ズームをテレ端へ駆動し（ステップＳ４１３）、ステップＳ４０４へ戻る（これによって、第２の比較が行われることになる）。

以上のようなシーケンスをもって、プリセット位置がずれた場合に、所定の焦点距離とは焦点距離の異なる補正用画像と、対応する撮像画像とを比較し（第２の比較）、画像のずれに応じてプリセット位置ずれの補正を行うことができる。また、焦点距離の異なる補正用画像を保持しているので、少しのズーム駆動でプリセット位置ずれの補正を行うことができる。

本発明によれば、プリセット情報の登録時に、プリセットのパン・チルト位置において、焦点距離を変更してテレ端とワイド端の補正用画像を補正用画像メモリ１０４に保存する。これにより、テレ端の補正用画像を使用して位置ずれの微調整を行い、ワイド端の補正用画像を使用して祖調整を行うことができる。即ち、カメラユニット１００がプリセット位置から大幅にずれた時や、微小にずれた時の双方に対応することができ、補正の精度及び確実性を向上させることができる。また、複数のプリセット情報を比較して、各プリセット位置で最適な焦点距離の補正用画像を補正用画像メモリ１０４に保存するので、補正用画像を保持するメモリリソースを少なくすると共に高度な補正を行うことができる。

上記の実施の形態で説明した処理、機能等は、いずれもコンピュータで読み取り可能なプログラム等で実現することもできる。

この場合、上記の実施の形態で説明した処理、機能等は、システム又は装置に含まれるコンピュータ（ＣＰＵ、ＭＰＵ等でもよい）が上記のプログラム等を実行することによって実現されることになる。言い換えれば、上記のプログラム等が、システム又は装置に含まれるコンピュータに、上記の実施の形態で説明した処理、機能等を実行させることになる。また、この場合、上記のプログラム等は、コンピュータで読み取り可能な記憶媒体又はネットワークを介してシステム又は装置に含まれるコンピュータに提供されることになる。

システム又は装置に含まれるコンピュータに上記のプログラム等を提供する記憶媒体には、磁気ディスク、光ディスク、光磁気ディスク、ハードディスク、磁気テープ、不揮発性メモリ等を用いることができる。

また、上記のプログラム等は、その一部をコンピュータ上で稼動しているＯＳ（オペレーティングシステム）等を用いて構成してもよい。

さらに、上記のプログラム等は、その一部をコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットで実行するように構成してもよい。

本発明の実施の形態に係る撮像装置の全体構成を示すブロック図である。 図１におけるＣＰＵ１１０によって実行される補正用画像保存処理のフローチャートである。 図２のステップＳ２０３の焦点距離算出処理のフローチャートである。 図２の処理によってメモリ１０６に保存されたプリセット情報を示す図であり、（ａ）は２つのプリセットが設定された場合を示し、（ｂ）は３つのプリセットが設定された場合を示し、（ｃ）は４つのプリセットが設定された場合を示す。 図１におけるＣＰＵ１１０によって実行される位置ずれ補正処理のフローチャートである。 図５のステップＳ４１０の画像マッチング処理を説明する図であり、（ａ）は撮像画像及び補正用画像を示し、（ｂ）は撮像画像を示す。 図６の画像マッチング処理で算出されるマッチングエリアとサーチエリアの相関度の一例を示す図であり、（ａ）はピークが存在しない場合を示し、（ｂ）はピークＨが存在する場合を示し、（ｃ）はピークＨが０である場合を示す。

符号の説明

１００ カメラユニット
１０１ カメラ信号処理回路
１０４ 補正用画像メモリ
１０５ 画像比較処理回路
１０８ パン・チルト制御回路
１１０ ＣＰＵ

Claims (10)

1. 画像を撮像する撮像手段と、
   前記撮像手段を駆動する駆動手段と、
   前記撮像手段を所定の撮像位置及び所定の焦点距離の状態として撮像するためのプリセット情報を保持する第１の保持手段と、
   前記プリセット情報が示す所定の撮像位置において前記撮像手段によって撮像され、その焦点距離が互いに異なる複数の補正用画像を保持する第２の保持手段と、
   前記プリセット情報で示す所定の撮像位置及び所定の焦点距離に駆動する指示を受けると、前記撮像手段を前記所定の撮像位置及び前記所定の焦点距離に駆動して撮像された画像と、前記撮像手段が前記所定の撮像位置及び前記所定の焦点距離とされた際の補正用画像とを比較する第１の比較と、前記撮像手段を前記所定の撮像位置とし前記所定の焦点距離とは異なる焦点距離として撮像された画像と、前記撮像手段が前記所定の撮像位置とされ前記異なる焦点距離とされた際の補正用画像とを比較する第２の比較とを行って、前記第１及び前記第２の比較の結果得られた第１及び第２の比較結果に基づいて前記駆動手段の駆動量を制御する制御手段とを有することを特徴とする撮像装置。
2. 前記第２の保持手段は、互いに異なる焦点距離の補正用画像と、当該焦点距離を所定の倍率で変更した１つ以上の補正用画像とを保持することを特徴とする請求項１記載の撮像装置。
3. 前記第２の保持手段は、互いに異なる焦点距離の補正用画像と、当該焦点距離をテレ端及びワイド端とした２つの補正用画像とを保持することを特徴とする請求項１又は２記載の撮像装置。
4. 前記制御手段は、前記第１の比較及び前記第２の比較において画像間のグローバルベクトルを検出し、前記グローバルベクトルに基づいて両画像のマッチングを行って、前記駆動手段の駆動量を算出することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記第１の比較によって前記グローバルベクトルが検出されない場合に、前記第２の比較では、前記撮像手段を前記所定の撮像位置とし前記所定の焦点距離よりもワイド側の焦点距離として撮像された画像と、前記撮像手段が前記所定の撮像位置とされ前記ワイド側の焦点距離とされた際の補正用画像とを比較することを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、前記第１の比較に基づいて前記駆動手段の駆動量を算出して、該駆動量に基づいて前記駆動手段を駆動させた後に、前記第２の比較では、前記撮像手段を前記所定の撮像位置とし前記所定の焦点距離よりもテレ側の焦点距離として撮像された画像と、前記撮像手段が前記所定の撮像位置とされ前記テレ側の焦点距離とされた際の補正用画像とを比較することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記制御手段は、前記第１の比較及び前記第２の比較を行う際に、比較対象となる各画像をそれぞれ縮小処理して比較することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記第２の保持手段は、前記制御手段によって比較の対象とされる補正用画像のエリアを保持することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 画像を撮像する撮像手段と、前記撮像手段を駆動する駆動手段とを備える撮像装置の制御方法において、
   メモリに前記撮像手段を所定の撮像位置及び所定の焦点距離の状態として撮像するためのプリセット情報を保持する第１の保持工程と、
   メモリに前記プリセット情報が示す所定の撮像位置において前記撮像手段によって撮像され、その焦点距離が互いに異なる複数の補正用画像を保持する第２の保持工程と、
   前記プリセット情報で示す所定の撮像位置及び所定の焦点距離に駆動する指示を受けると、前記撮像手段を前記所定の撮像位置及び前記所定の焦点距離に駆動して撮像された画像と、前記撮像手段が前記所定の撮像位置及び前記所定の焦点距離とされた際の補正用画像とを比較する第１の比較工程と、
   前記撮像手段を前記所定の撮像位置とし前記所定の焦点距離とは異なる焦点距離として撮像された画像と、前記撮像手段が前記所定の撮像位置とされ前記異なる焦点距離とされた際の補正用画像とを比較する第２の比較工程と、
   前記第１及び前記第２の比較工程でそれぞれ得られた第１及び第２の比較結果に基づいて前記駆動手段の駆動量を制御する制御工程とを有することを特徴とする撮像装置の制御方法。
10. 画像を撮像する撮像手段と、前記撮像手段を駆動する駆動手段とを備える撮像装置を制御する制御方法をコンピュータに実行させるプログラムにおいて、前記制御方法は、
    メモリに前記撮像手段を所定の撮像位置及び所定の焦点距離の状態として撮像するためのプリセット情報を保持する第１の保持工程と、
    メモリに前記プリセット情報が示す所定の撮像位置において前記撮像手段によって撮像され、その焦点距離が互いに異なる複数の補正用画像を保持する第２の保持工程と、
    前記プリセット情報で示す所定の撮像位置及び所定の焦点距離に駆動する指示を受けると、前記撮像手段を前記所定の撮像位置及び前記所定の焦点距離に駆動して撮像された画像と、前記撮像手段が前記所定の撮像位置及び前記所定の焦点距離とされた際の補正用画像とを比較する第１の比較工程と、
    前記撮像手段を前記所定の撮像位置とし前記所定の焦点距離とは異なる焦点距離として撮像された画像と、前記撮像手段が前記所定の撮像位置とされ前記異なる焦点距離とされた際の補正用画像とを比較する第２の比較工程と、
    前記第１及び前記第２の比較工程でそれぞれ得られた第１及び第２の比較結果に基づいて前記駆動手段の駆動量を制御する制御工程とを有することを特徴とするプログラム。

Images