JP3796356B2 - カメラ制御装置、方法及びコンピュータ読み取り可能な記憶媒体 - Google Patents
カメラ制御装置、方法及びコンピュータ読み取り可能な記憶媒体 Download PDFInfo
- Publication number
- JP3796356B2 JP3796356B2 JP22476398A JP22476398A JP3796356B2 JP 3796356 B2 JP3796356 B2 JP 3796356B2 JP 22476398 A JP22476398 A JP 22476398A JP 22476398 A JP22476398 A JP 22476398A JP 3796356 B2 JP3796356 B2 JP 3796356B2
- Authority
- JP
- Japan
- Prior art keywords
- detection
- camera
- area
- detected
- areas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラ等のカメラで撮像された画像中の部分的な変化を検出し、この検出に応じてカメラを制御するカメラ制御装置、方法及びそれに用いられるコンピュータ読み取り可能な記憶媒体に関するものである。
【０００２】
【従来の技術】
従来よりカメラで撮像した映像の変化を検出して侵入者の出現や、異常事態の発生を自動的に検出する装置が提案されている。これらの装置の中には、撮像中の映像の全域を監視対象とするのではなく、撮像中の映像の一部領域をあらかじめ指定し、この一部領域内での変化のみを検出対象として扱うものがある。また、一部領域を複数設定してそれぞれ変化を検出するものもある。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記一部領域内での変化を検出対象として扱う従来例では、監視対象とする部分領域（以降、監視対象領域とも称する）が撮像領域全体に対して狭くなる、即ち、映像の画像サイズに占める監視対象領域のサイズが狭くなると、ノイズの混入等による影響が相対的に大きくなり、監視対象領域内での変化の有無を誤判定することが多くなることになる。
とりわけ、監視対象領域が複数ある場合には、各監視対象領域の映像中に占める画像領域サイズが小さくなりがちであり、誤判定が生じがちであった。
【０００４】
本発明は上記の問題を解決して、より精度の高い変化検出を行えるようにすることを目的とする。
【０００５】
【課題を解決するための手段】
本発明のカメラ制御装置は、カメラの全体撮像領域の中から設定された複数の検出領域と、前記複数の検出領域の検出優先順序とを対応づけて記憶する記憶手段と、前記全体撮像領域において前記カメラから取り込まれている現在の全体画像を用いて前記カメラの前記複数の検出領域の画像の変化を検出する全体検出手段と、前記全体検出手段が前記複数の検出領域における画像の変化を検出したとき、前記カメラの撮像領域が前記検出した複数の検出領域となるように、前記カメラのズーム、撮像方向の少なくとも一方を前記記憶手段に記憶された検出優先順序に従って各検出領域について連続して制御する第１カメラ制御手段と、前記第１カメラ制御手段により前記カメラの撮像領域が前記検出した複数の検出領域へと連続して制御されることに平行して、前記記憶手段に記憶された検出優先順序に従って前記検出した複数の検出領域の現在の画像を用いて前記検出した複数の検出領域の画像の変化を連続して検出する部分検出手段とを設けている。
【０００６】
本発明のカメラ制御方法は、カメラの全体撮像領域の中から設定された複数の検出領域と、前記複数の検出領域の検出優先順序とを対応づけて記憶手段に記憶する記憶手順と、前記全体撮像領域において前記カメラから取り込まれている現在の全体画像を用いて前記カメラの前記複数の検出領域の画像の変化を検出する全体検出手順と、前記全体検出手順で複数の検出領域における画像の変化を検出したとき、前記カメラの撮像領域が前記検出した複数の検出領域となるように、前記カメラのズーム、撮像方向の少なくとも一方を前記記憶手段に記憶された検出優先順序に従って各検出領域について連続して制御する第１カメラ制御手順と、前記第１カメラ制御手順により前記カメラの撮像領域が前記検出した複数の検出領域へと連続して制御されることに平行して、前記記憶手段に記憶された検出優先順序に従って前記検出した複数の検出領域の現在の画像を用いて前記検出した複数の検出領域の画像の変化を連続して検出する部分検出手順とを設けている。
【０００７】
本発明のコンピュータ読み取り可能な記憶媒体は、カメラの全体撮像領域の中から設定された複数の検出領域と、前記複数の検出領域の検出優先順序とを対応づけて記憶手段に記憶する記憶処理と、前記全体撮像領域において前記カメラから取り込まれている現在の全体画像を用いて前記カメラの前記複数の検出領域の画像の変化を検出する全体検出処理と、前記全体検出処理が複数の検出領域における画像の変化を検出したとき、前記カメラの撮像領域が前記検出した複数の検出領域となるように、前記カメラのズーム、撮像方向の少なくとも一方を前記記憶手段に記憶された検出優先順序に従って各検出領域について連続して制御する第１カメラ制御処理と、前記第１カメラ制御処理により前記カメラの撮像領域が前記検出した複数の検出領域へと連続して制御されることに平行して、前記記憶手段に記憶された検出優先順序に従って前記検出した複数の検出領域の現在の画像を用いて前記検出した複数の検出領域の画像の変化を連続して検出する部分検出処理とをコンピュータに実行させるためのプログラムを記憶している。
【０００８】
【発明の実施の形態】
図１は、本発明の実施の形態における主要部分の構成を示すブロック図である。図１において、１は撮像部１０と雲台部２０より構成されるビデオカメラである。撮像部１０はズーム可能なレンズ部１１とズーム制御部１２及び映像信号処理部１３より成る。また、雲台部２０はパンモータ２１とチルトモータ２２と雲台制御部２３より構成される。
【０００９】
３１はＣＰＵ、３２はＲＯＭ、３３はＲＡＭ、３４はＩ／Ｏ、３５はハードディスク装置等よりなる外部記憶装置であり、３６は図示しないキーボードや図示しないマウス等のポインティングデバイスにより構成される入力部である。３７は通信Ｉ／Ｆ部、３８はバスである。４１はビデオＩ／Ｆ、４２はビデオメモリ、５１はディスプレイである。
【００１０】
ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、Ｉ／Ｏ３４、外部記憶装置３５、入力部３６、通信Ｉ／Ｆ３７、ビデオメモリ４２は、それぞれバス３８に接続され、ＣＰＵ３１は、バス３８を介してこれらの各構成要素にアクセスすることができる。
【００１１】
ズーム制御部１２は、Ｉ／Ｏ３４と信号線１４で接続されており、信号線１４を介して受けるズーム制御コマンドに従ってレンズ部１１を制御し、ズーム倍率を制御する。雲台制御部２３は、Ｉ／Ｏ３４と信号線２４で接続されており、信号線２４を介して受ける雲台制御コマンドに従ってパンモータ２１とチルトモータ２２を制御することによりビデオカメラ１の撮像方向を制御する。
【００１２】
即ち、ＣＰＵ３１は、Ｉ／Ｏ３４を介して信号線１４にズーム制御コマンドを出力することで、ビデオカメラ１のズーム倍率の制御が可能であり、また、信号線２４に雲台制御コマンドを出力することで、ビデオカメラ１の撮像方向の制御が可能である。
【００１３】
映像信号処理部１３は、レンズ部１１により結像される光学像を電気的な信号に変換し、周知の処理（ゲイン補正、γ補正及び色バランス調整など）を施し、所定形式のビデオ信号を生成して信号線１５に出力する。
【００１４】
ビデオＩ／Ｆ４１は、信号線１５よりビデオ信号を入力し、信号線４３を介してビデオメモリ４２にディジタル画像として書き込む。これと共にビデオメモリに書かれている画像データを信号線４４を介して読み出し、所定形式のビデオ信号として信号線４５に出力する。ディスプレイ５１は、信号線４５に出力されたビデオ信号を入力して画像（映像）表示する。
【００１５】
図２は、ビデオカメラ１を用いて、３つの監視対象領域に対して同時に変化の有無を監視する場合の画角の関係を示した図である。図２において、０点は、撮像方向の中心（以降、撮像中心とも称する）を示しており、画角はこの撮像中心から水平方向（以降、パン方向とも称する）に左右にそれぞれ３５．０゜ずつ、即ち、水平方向には７０．０゜の画角を有しており、かつ垂直方向（以降、チルト方向とも称する）には、上下にそれぞれ２７．７゜ずつ、即ち５５．４゜の画角を有している。このパン方向に撮像中心０を０゜として−３５．０゜から３５．０゜である７０．０°、チルト方向に同じく−２７．７から２７．７゜である５５．４゜の画角を有する撮像領域をａ0 として記してある。
【００１６】
図３のａ1 、ａ2 、ａ3 はそれぞれ撮像領域ａ0 内の部分領域の例である。ａ1 はａ0 の撮像中心から、パン方向に＋３０．０゜、チルト方向に＋２３．５゜にある方向を撮像方向として、ａ0 の画角（パン７０．０゜、チルト５５．４゜）をズーム倍率１．０とした場合に、ズーム倍率８．０の画角（パン１０．０゜、チルト７．５゜）を有する部分領域である。同じくａ2 は、パン方向＋１５．０゜、チルト方向に−１５．０゜の撮像方向にズーム倍率６．０（パン１３．３゜、チルト１０．０゜）の画角を有する部分領域である。ａ3 は、パン方向−２５．０゜、チルト方向１０．０゜の撮像方向にズーム倍率４．０（パン１９．９゜、チルト１５．０゜）の画角を有する部分領域である。
【００１７】
上述の撮像領域ａ0 内における部分領域ａ1 、ａ2 、ａ3 の撮像方向（パン方向のずれ角をｐ（ｄｅｇ）、チルト方向のずれ角をｔ（ｄｅｇ））と、ズーム倍率ｚとを表１に示す。
【００１８】
【表１】
【００１９】
また、ズーム倍率ｚと、画角（パン方向の画角ｐｗ（ｄｅｇ）、チルト方向の画角ｔｗ（ｄｅｇ））との対応を表２に示す。
【００２０】
【表２】
【００２１】
図３、図４は、上述の撮像領域ａ0 及び部分領域ａ1 、ａ2 、ａ3 を、それぞれパン方向とチルト方向に関して撮像方向と画角との関係を空間的に表現した図である。図３では、撮像領域ａ0 の撮像方向（光軸方向）を部分領域ａ1 、ａ2 、ａ3 の撮像方向を表現する基準方向とし、かつ、この方向をパン方向における雲台制御の基準方向として用いる。また、雲台の回転中心に、撮像中心があるものとして扱い、回転中心から基準方向を見て右まわり（時計回り）を正の向きとしている。
【００２２】
図４においても図３と同様に、ａ0 の撮像方向を部分領域のチルト方向への撮像方向を表現する基準方向及び雲台のチルト方向への制御の基準方向として扱うものである。また、回転中心から基準方向を見て上側へ回る方向を正の向きとしている。
【００２３】
次に、図５〜図９のフローチャートを用いて、ＲＯＭ３２内に格納されたプログラム手順を読み出し、ＣＰＵ３１によりプログラムが実行されることにより、あらかじめ登録する各部分領域における変化の検出を行う一連の動作を説明する。
図５において処理を開始すると、ステップＳ１では、入力部３６や通信Ｉ／Ｆ３７、Ｉ／Ｏ３４等を初期化し、またＩ／Ｏ３４を介してビデオカメラ１の撮像部１０と雲台部２０を共にイニシアライズする等の初期化を行う。
【００２４】
ステップＳ１を終えるとステップＳ２へ進む。ステップＳ２では、以降に設定予定の監視対象領域を包含する撮像領域（以降、全体撮像領域と称する）が得られるようにビデオカメラ１をセットし、その撮像領域での無変化時の画像をキャプチャして参照画像として記憶する。
【００２５】
ステップＳ２の処理の内容を図６のフローチャートに示す。図６において、ステップＳ２の処理を開始するとステップＳ２１において、操作者は、その時点でビデオカメラ１により撮像されている映像をビデオＩ／Ｆ４１を経由してディスプレイ５１上の表示を見ながら、入力部３６を操作しつつ対話的にカメラの適正な向きとカメラの適正な画角のデータを入力する。
【００２６】
この対話的に入力されるデータに基づきＣＰＵ３１はＩ／Ｏ３４を経由して雲台制御部２３とズーム制御部１２に対してそれぞれパン角、チルト角とズーム倍率（画角）指定を行う。操作者によりビデオカメラ１の撮像領域の設定が完了した旨の指示を入力部３６を通して受けると、その時点での雲台部２０の状態をパン角０゜、チルト角０゜の基準位置における設定状態として記憶する。
【００２７】
次に、ステップＳ２２に進み、この時のビデオカメラ１による映像をビデオメモリ４２にディジタル静止画像としてキャプチャーする。得られたキャプチャー画像をＲＡＭ３３の所定のエリアに転送して、ステップＳ２のビデオカメラ１の全体撮像領域を設定する一連の処理を終える。
【００２８】
ステップＳ２を終えると図５のフローチャートのステップＳ３に進む。ステップＳ３では部分領域を設定する。ステップＳ３の処理の内容を図７のフローチャートに示す。図７において、ステップＳ３の処理を開始すると、ステップＳ３１において、ステップＳ２１における全体撮像領域の設定と同様にして、操作者は、ビデオＩ／Ｆ４１を経由してディスプレイ５１上で、その時点でビデオカメラ１により撮像されている映像を目視で確認しながら、入力部３６を操作して、対話的に前記ステップＳ２で設定した全体撮像領域中の一つの部分領域としての監視対象領域を指定する。操作者により入力部３６を介して指定の指示を受けるとステップＳ３２に進む。
【００２９】
ステップＳ３２では、その時点でのパン角ｐi 、チルト角ｔi 、ズーム倍率ｚi 、（パン画角θi 、チルト角ψi ）が、先述のステップＳ２で設定した全体撮像領域中の部分領域となっているか否か、即ち、登録しようとしている部分領域のパン方向の画角の両端の画角ｐi ＋（θi ／２）とｐi −（θi ／２）とが共に、全体撮像領域の水平方向の画角内に収まっているか否かを判定する。
【００３０】
図２の例で述べると、全体撮像領域ａ0 の水平方向の画角はズーム倍率１．０であり、表２より７０゜、即ち、両端の画角は撮像中心を挟んで＋３５．０゜〜−３５．０゜である。部分領域ａ1 のパン方向の画角の両端の画角は、表１よりパン角ｐ1 ＝３０．０゜、チルト角ｔ1 ＝２３．５゜、パン画角θ1 は、ズーム倍率８．０より表２を参照すると、θ1 ＝１０．０゜であり、ｐ1 ＋（θ1 ／２）＝３０．０゜＋５．０゜＝３５．０゜≦＋３５．０゜、ｐ1 −（θ1 ／２）＝３０．０゜−５．０°＝２５．０゜≧−３５．０゜であるから、パン方向に関しては、部分領域ａ1 は全体領域ａ0 内に収まっていると判断できる。
【００３１】
チルト方向も同様にｔi ＋（ψi ／２）とｔi −（ψi ／２）が全体撮像領域の垂直方向の画角内に収まっているか否かを判定する。そして、パン、チルト共に収まっている場合には、指定範囲は全体撮像領域中の部分領域であると判定し、そうでない場合には部分領域ではないと判定する。先の全体撮像領域ａ0 と部分撮像領域ａ1 の場合には、チルト方向もｔ1 ＋ψ1 ／２＝２３．５゜＋７．５゜／２＝２７．２５゜≦２７．７゜、ｔ1 −ψ1 ／２（ψ1 ／２）＝２３．５゜−（７．５゜／２）＝１９．７５゜≧−２７．７゜であり、確かに部分領域となっていることがわかる。
【００３２】
かくして、指定範囲が全体撮像領域中の部分領域となっていると判断した場合には、ステップＳ３３に進み、そうでない場合には、ステップＳ３１に戻り、再度、部分監視領域の指定をやり直す。
【００３３】
次に、ステップＳ３３では、ステップＳ３２で部分領域と判断したパン角ｐi 、チルト角ｔi 、ズーム倍率ｚi を部分領域ｉの情報とし前記表１に記載したテーブルに対応する部分監視領域リストとしてＲＡＭ３３に登録記憶する。そしてステップＳ３３を終えると、ステップＳ３４へ進む。
【００３４】
ステップＳ３４では、ステップＳ３３で記憶したパン角ｐi 、チルト角ｔi 、ズーム倍率ｚi におけるビデオカメラ映像からステップＳ２２と同様に静止画像をキャプチャーとして部分監視領域ｐi に関する無変化時の画像として、ＲＡＭ３３に記憶する。ステップＳ３４を終えるとステップＳ３５に進む。
【００３５】
ステップＳ３５では、Ｉ／Ｏ３４を介して、雲台制御部２３とズーム制御部を制御することによりビデオカメラの姿勢をステップＳ２１で登録した全体撮像領域のパン角（０゜）、チルト角（０゜）、ズーム倍率に設定し直し、一つの部分監視領域の設定を終えて、ステップＳ３の一連の処理を終了する。ステップＳ３の処理を終えると、ステップＳ４へ進む。
【００３６】
ステップＳ４では、想定する全ての監視対象領域（部分監視領域）の設定を終了したか否かを、ディスプレイ５１と入力部３６を用いて操作者が確認する。操作者により入力部３６より設定終了の入力を確認するとステップＳ５へ進み、まだ終了していない旨が確認された場合は、ステップＳ３へ戻り、他の部分監視領域の設定を行う。
【００３７】
ステップＳ５では、入力部３６を介して操作者からの監視スタートの指示があったか否かを判断する。スタートの指示がない場合は、監視スタートの指示が入力されたことを確認するまで、このステップＳ５を繰り返す。監視スタートの指示があったことを確認すると、ステップＳ６へ進む。
【００３８】
ステップＳ６では全体撮像領域画像中において、各監視対象領域に対応する各部分画像領域の変化を検出する。ステップＳ６の処理内容を図８に示す。同図において、ステップＳ６の処理を開始すると、ステップＳ４１では、全体撮像領域の画像をキャプチャーして静止画像を得る。得られた画像はＲＡＭ３３上の所定の領域に一時的に記憶する。次にステップＳ４２に進む。
【００３９】
ステップＳ４２では、背景差分法〔予め監視対象領域における無変化状態と考える基準となる画像（背景画像）を取り込んでおき、監視時における監視画像と上記基準画像との差分画像を生成して、変化のある部分のみを有意な画素値（０に比し十分大きな値（絶対値）を持つ領域として検出する方法〕によりステップＳ４１でキャプチャーした画像がステップＳ２２でキャプチャーした画像に比べてどのくらい変化しているかを検出する。即ち、両画像中の同位置にある画素間の画素値の差分の絶対値の平均値（総和をとって画素数で割った値）を求める。この値を以降、変化量と称する。本実施の形態では、この変化量を、ステップＳ３で設定された、各部分領域に対応する各画像領域（全体撮像領域画像の部分画像領域）に対してそれぞれ求める。
【００４０】
今、画像サイズを横Ｍ画素×縦Ｎ画素のＭ×Ｎ画素より成るとし、横に左からｘ画素番、縦に上からψ画素目の位置を座標値（ｘ，ｙ）で表わし、全体撮像領域の画角をパン方向がθ0 、チルト方向がψ0 であるとし、ステップＳ３でｋ番目に設定された部分監視領域の撮像方向が、パン角ｐk （−θ0 ／２＜ｐk ＜θ0 ／２）、チルト角ｔk （−ψ0 ／２＜ｔk ＜ψ0 ／２）で、画角はパン方向がθk 、チルト方向がψk とする。
【００４１】
すると、全体撮像領域画像中におけるこの部分監視領域の対応位置は、左端のｘ座標値がＸL が
【００４２】
【数１】
【００４３】
右端のｘ座標値ＸR が
【００４４】
【数２】
【００４５】
であり、
上端のｙ座標値ＹU が
【００４６】
【数３】
【００４７】
下端のｙ座標値ＹL が
【００４８】
【数４】
【００４９】
となる。
【００５０】
また画像がモノクロの場合は、座標値（ｉ，ｊ）の画素の画素値をＩ（ｉ，ｊ）と表わすとすると、上記ｋ番目の部分領域の変化量ＶK は、
【００５１】
【数５】
【００５２】
となる。
【００５３】
ここで、Ｉｄ（ｉ，ｊ）は、変化を観測する対象画像の座標値（ｉ，ｊ）の画素の画素値を表わし、Ｉｒ（ｉ，ｊ）は参照画像、即ち、無変化時の画像の座標値（ｉ，ｊ）の画素の画素値を表わしている。図２及び表１に示した例では、キャプチャーする画像サイズを６４０×４８０とする場合（即ち、Ｍ＝６４０、Ｎ＝４８０）には、表３に示すようになる。
【００５４】
【表３】
【００５５】
また、図１０は、同例における全体撮像領域ａ0 と部分領域ａ2 に対してのキャプチャー画像上での横方向（パン方向）との関係を示しており、角ＡＯＢが、ａ0 の画角、角ＣＯＤがａ2 の画角であり、角ＦＯＥがａ2 のパン角に対応している。また、全体撮像領域の横方向の画像サイズが線分ＡＢに対応し、この全体撮像領域の画像中に占めるａ2 の画像領域は、線分ＣＤに対応している。
【００５６】
図１１に、同例のａ0 、ａ1 、ａ2 、ａ3 の全体撮像領域のキャプチャー画像上での画像領域の対応を示す。
【００５７】
さて、以上示したような対応関係に基づき、各部分領域の各々に対して、変位量を求め、それらの値を例えば表４に示す如き一覧データとしてＲＡＭ３３に記憶して、ステップＳ６の一連の処理を終える。
【００５８】
【表４】
【００５９】
尚、上記の全体撮像領域画像中における各部分画像領域の対応は、ステップＳ４２で計算するのではなく、各部分監視領域を設定するステップＳ３において、あらかじめ計算しておいて、ステップＳ４２ではこれを参照するのみとする構成としてももちろんよい。
【００６０】
また、画像はモノクロに限るものではなく、カラー画像であってもよく、その場合には、各色成分毎に、参照画像との差分の絶対値の総和を求め、さらにそれら色成分毎の値の和の平均値を求めて、変化量とする等に変化量の定義を変更すればよい。
【００６１】
さて、ステップＳ６の処理を終えると、ステップＳ７へ進む。ステップＳ７では、上記表４の如くに格納された各部分領域毎に、順に変化量Ｖk が、あらかじめ定めた閾値Ｔ以下か否かを吟味し、全ての部分領域に関して、変化量が閾値未満の場合は、ステップＳ６へ戻り、吟味の途中で、例えばｍ番目の部分領域の変化量Ｖm が閾値Ｔ以上であった場合は、その時点でステップＳ８へ進む。
【００６２】
ステップＳ８では、直前のステップで、全体撮像領域の画像中において変化が有ると判定した部分画像領域に対応する部分監視領域に対してビデオカメラの姿勢（パン、チルト、ズーム）をセットして、その画角での変化検出を行う。
【００６３】
ステップＳ８の処理の内容を図９のフローチャートに示す。図９において、処理を開始すると、ステップＳ５１において直前のステップで全体撮像領域において変化が有ると判定した部分画像領域に対応する部分監視領域のパン角、チルト角、ズーム倍率のパラメータを、ステップＳ３で登録した部分監視領域リストのデータにアクセスして得、Ｉ／Ｏ３４を介して、ビデオカメラのズーム制御部１２と雲台制御部２３にコマンドを送り、ビデオカメラを当該部分領域の撮影方向と画角にセットする。次に、ステップＳ５２へ進む。
【００６４】
ステップＳ５２では、ビデオカメラから出力される映像からビデオＩ／Ｆ４１、ビデオメモリ４２を介してキャプチャーして静止画像を得る。得られた画像はＲＡＭ３３に一時的に記憶される。次に、ステップＳ５３へ進む。
【００６５】
ステップＳ５３では、ステップＳ５２で得られた静止画像と、ステップＳ３中のステップＳ３４で得られていた当該部分監視領域の撮影方向と画角における無変化時の映像とを画像領域全面に渡っての変化量ＶW を、先に述べた両画像中の同位置にある画素間の画素値差分の絶対値の平均値として求める。この値をＲＡＭ３３の所定の領域に一時的に記憶する。ステップＳ５３の処理を終えるとステップＳ８における一連の処理が終了し、ステップＳ９へ進む。
【００６６】
ステップＳ９では、ステップＳ８で求めた部分監視領域の撮影方向と画角で入力した画像での変化量Ｖw があらかじめ定めた閾値Ｔw 以上であると否かを判定し、Ｔw 以上の場合には、ステップＳ10へ、そうでない場合には、ステップＳ11に進む。
【００６７】
ステップＳ１０では、直前にステップＳ８及びステップＳ９で吟味した部分監視領域に、変化が発生している旨を警告として通信Ｉ／Ｆ３７を経由にして外部に通報する。また、ディスプレイ５１上に警告のメッセージを表示したり、図示しないスピーカ等を用いて、音による警告等を行なうように構成してもよい。ステップＳ１０を終えると、ステップＳ１１に進む。
【００６８】
ステップＳ１１では、直前のステップＳ６において、全体撮像領域の映像から得た画像上で、検出した変化量を吟味し残している。（即ち、先のステップＳ７の説明の例に続く場合は、ｍ＋１番目のＶm+1 の吟味から）部分領域に対する変化量のチェックをステップＳ７と同様に進め、新たに閾値Ｔ以上の値の変化量をもつ部分領域が存在した場合には、ステップＳ８へ戻り、そのような部分領域がもはや存在しない場合には、ステップＳ１２に進む。
【００６９】
ステップＳ１２においては、操作者より入力部３６を介して監視終了の指示があったか否かを判定する。終了の指示があった場合には、一連の処理を終了する。終了の指示がなかった場合には、ステップＳ１３へ進む。
【００７０】
ステップＳ１３においては、撮像方向（パン、チルト）と画角を全体撮像領域に設定し、ステップＳ６へ戻る。
【００７１】
尚、一般には、ステップＳ７で用いた閾値ＴはステップＳ９で用いた閾値ＴW 比べて、低く目の値に設定するとよい結果が得られることが多い。
【００７２】
尚、上述の実施の形態において、ステップＳ７において用いた閾値Ｔは、必ずしも全ての部分領域に対して同じ値を用いる必要はなく、各部分領域毎に別々の閾値を定めるように構成してもよい。
上述のステップＳ９において用いた閾値ＴW も、同様であり、各部分監視領域毎に異なる値を用いるように構成してもよい。
【００７３】
このように、各部分領域毎に異なる閾値を用いることができれば、それぞれの部分領域での変化の検出に最適な閾値を設定することが可能となり、より誤判定の少ない監視処理が実現可能となる。
【００７４】
また、上述の実施の形態において、ステップＳ３で説明した部分監視領域の設定法は、必ずしもこれに限るものではなく、例えば、入力部３６を介して直接パン角、チルト角、ズーム比をキーボードから数値入力するものであってもよいし、ＧＵＩ（グラフィックユーザインターフェース）を用いて、ディスプレイ５１上で視覚的にポインティングデバイスを用いて対話的操作により入力するのでもよい。
また、あらかじめ外部で作成したデータリストを、通信Ｉ／Ｆ３７を介して、あるいは不図示のリムーバブルな記憶媒体を介して入力するものであってもよい。
【００７５】
次に本発明による記憶媒体について説明する。
図１の各機能ブロックによるシステムは、ハード的に構成してもよく、また、ＣＰＵやメモリ等からなるコンピュータシステムに構成してもよい。コンピュータシステムに構成する場合、上記メモリは本発明による記録媒体を構成する。この記録媒体には、図５〜図９のフローチャートについて前述した動作を制御するための処理手順を実行するためのプログラムが記録される。
【００７６】
また、この記録媒体としては、ＲＯＭ、ＲＡＭ等の半導体メモリ、光ディスク、光磁気ディスク、磁気媒体等を用いてよく、これらをＣＤ−ＲＯＭ、フロッピィディスク、磁気媒体、磁気カード、不揮発性のメモリカード等に構成して用いてよい。
【００７７】
従って、この記憶媒体を図１に示したシステム以外の他のシステムあるいは装置で用い、そのシステムあるいはコンピュータがこの記憶媒体に格納されたプログラムコードを読み出し、実行することによっても、前述した各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【００７８】
また、コンピュータ上で稼働しているＯＳ等が処理の一部又は全部を行う場合、あるいは、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された拡張機能ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づいて、上記拡張機能ボードや拡張機能ユニットに備わるＣＰＵ等が処理の一部又は全部を行う場合にも、各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【００７９】
【発明の効果】
以上説明したように、本発明によれば、監視領域（検出領域）における部分的な変化のみをクローズアップして確認することにより、従来に比べてより正確に変化検出ができるという効果を有する。これは、複数の監視領域を一台のカメラで同時に、かつ定常的に監視する際に実際には、各監視領域ではまれにしか変化が発生しない場合が多く、かつ、どの監視領域で変化が発生するかをあらかじめ予測できない場合が多いという現状に適合している。
【００８０】
本発明のように普段は、一台のカメラで大域的に複数の監視領域を同時に監視し、変化があったと考えられる監視領域が検出されたときのみ、その部分を大うつしにしてより正確に変化確認をするというのは、コストと正確さのバランスの点から有用性が高い。
【００８１】
また、本発明は、とりわけ十分な照明が得にくいような使用条件で使用する場合に、結果として従来に比べてノイズの影響を軽減して誤判定の少ない処理系を構成し易く。このような使用条件は、監視用途ではありがちなものであり、この意味からも、本発明の有用性は高い。
【図面の簡単な説明】
【図１】本発明の実施の形態における主要部分の構成を示すブロック図である。
【図２】全体撮像領域と、３つの部分監視領域を有する場合の領域関係を示す構成図である。
【図３】図２の例で、パン方向に関して撮像方向と画角の関係を示した構成図である。
【図４】図２の例で、チルト方向に関して撮像方向と画角の関係を示した構成図である。
【図５】本発明の実施の形態における一連の処理の流れを示すフローチャートである。
【図６】図５のフローチャートのステップＳ２の流れを詳述するフローチャートである。
【図７】図５のフローチャートのステップＳ３の流れを詳述するフローチャートである。
【図８】図５のフローチャートのステップＳ６の流れを詳述するフローチャートである。
【図９】図５のフローチャートのステップＳ８の流れを詳述するフローチャートである。
【図１０】図２の中の一つの部分領域に対して、全体撮像領域の画像中における対応画像領域の画角の対応をパン方向に関して示した構成図である。
【図１１】図２において、全体撮像領域に対して得られた画像中での各部分監視領域に対応する部分画像領域を示す構成図である。
【符号の説明】
１ ビデオカメラ
１０ 撮像部
１１ レンズ部
１２ ズーム制御部
１３ 映像信号処理部
２０ 雲台部
２１ パンモータ
２２ チルトモータ
２３ 雲台制御部
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ Ｉ／Ｏ
３５ 外部記憶
３６ 入力部
３７ 通信Ｉ／Ｆ
４１ ビデオＩ／Ｆ
４２ ビデオメモリ
５１ ディスプレイ
【発明の属する技術分野】
本発明は、ビデオカメラ等のカメラで撮像された画像中の部分的な変化を検出し、この検出に応じてカメラを制御するカメラ制御装置、方法及びそれに用いられるコンピュータ読み取り可能な記憶媒体に関するものである。
【０００２】
【従来の技術】
従来よりカメラで撮像した映像の変化を検出して侵入者の出現や、異常事態の発生を自動的に検出する装置が提案されている。これらの装置の中には、撮像中の映像の全域を監視対象とするのではなく、撮像中の映像の一部領域をあらかじめ指定し、この一部領域内での変化のみを検出対象として扱うものがある。また、一部領域を複数設定してそれぞれ変化を検出するものもある。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記一部領域内での変化を検出対象として扱う従来例では、監視対象とする部分領域（以降、監視対象領域とも称する）が撮像領域全体に対して狭くなる、即ち、映像の画像サイズに占める監視対象領域のサイズが狭くなると、ノイズの混入等による影響が相対的に大きくなり、監視対象領域内での変化の有無を誤判定することが多くなることになる。
とりわけ、監視対象領域が複数ある場合には、各監視対象領域の映像中に占める画像領域サイズが小さくなりがちであり、誤判定が生じがちであった。
【０００４】
本発明は上記の問題を解決して、より精度の高い変化検出を行えるようにすることを目的とする。
【０００５】
【課題を解決するための手段】
本発明のカメラ制御装置は、カメラの全体撮像領域の中から設定された複数の検出領域と、前記複数の検出領域の検出優先順序とを対応づけて記憶する記憶手段と、前記全体撮像領域において前記カメラから取り込まれている現在の全体画像を用いて前記カメラの前記複数の検出領域の画像の変化を検出する全体検出手段と、前記全体検出手段が前記複数の検出領域における画像の変化を検出したとき、前記カメラの撮像領域が前記検出した複数の検出領域となるように、前記カメラのズーム、撮像方向の少なくとも一方を前記記憶手段に記憶された検出優先順序に従って各検出領域について連続して制御する第１カメラ制御手段と、前記第１カメラ制御手段により前記カメラの撮像領域が前記検出した複数の検出領域へと連続して制御されることに平行して、前記記憶手段に記憶された検出優先順序に従って前記検出した複数の検出領域の現在の画像を用いて前記検出した複数の検出領域の画像の変化を連続して検出する部分検出手段とを設けている。
【０００６】
本発明のカメラ制御方法は、カメラの全体撮像領域の中から設定された複数の検出領域と、前記複数の検出領域の検出優先順序とを対応づけて記憶手段に記憶する記憶手順と、前記全体撮像領域において前記カメラから取り込まれている現在の全体画像を用いて前記カメラの前記複数の検出領域の画像の変化を検出する全体検出手順と、前記全体検出手順で複数の検出領域における画像の変化を検出したとき、前記カメラの撮像領域が前記検出した複数の検出領域となるように、前記カメラのズーム、撮像方向の少なくとも一方を前記記憶手段に記憶された検出優先順序に従って各検出領域について連続して制御する第１カメラ制御手順と、前記第１カメラ制御手順により前記カメラの撮像領域が前記検出した複数の検出領域へと連続して制御されることに平行して、前記記憶手段に記憶された検出優先順序に従って前記検出した複数の検出領域の現在の画像を用いて前記検出した複数の検出領域の画像の変化を連続して検出する部分検出手順とを設けている。
【０００７】
本発明のコンピュータ読み取り可能な記憶媒体は、カメラの全体撮像領域の中から設定された複数の検出領域と、前記複数の検出領域の検出優先順序とを対応づけて記憶手段に記憶する記憶処理と、前記全体撮像領域において前記カメラから取り込まれている現在の全体画像を用いて前記カメラの前記複数の検出領域の画像の変化を検出する全体検出処理と、前記全体検出処理が複数の検出領域における画像の変化を検出したとき、前記カメラの撮像領域が前記検出した複数の検出領域となるように、前記カメラのズーム、撮像方向の少なくとも一方を前記記憶手段に記憶された検出優先順序に従って各検出領域について連続して制御する第１カメラ制御処理と、前記第１カメラ制御処理により前記カメラの撮像領域が前記検出した複数の検出領域へと連続して制御されることに平行して、前記記憶手段に記憶された検出優先順序に従って前記検出した複数の検出領域の現在の画像を用いて前記検出した複数の検出領域の画像の変化を連続して検出する部分検出処理とをコンピュータに実行させるためのプログラムを記憶している。
【０００８】
【発明の実施の形態】
図１は、本発明の実施の形態における主要部分の構成を示すブロック図である。図１において、１は撮像部１０と雲台部２０より構成されるビデオカメラである。撮像部１０はズーム可能なレンズ部１１とズーム制御部１２及び映像信号処理部１３より成る。また、雲台部２０はパンモータ２１とチルトモータ２２と雲台制御部２３より構成される。
【０００９】
３１はＣＰＵ、３２はＲＯＭ、３３はＲＡＭ、３４はＩ／Ｏ、３５はハードディスク装置等よりなる外部記憶装置であり、３６は図示しないキーボードや図示しないマウス等のポインティングデバイスにより構成される入力部である。３７は通信Ｉ／Ｆ部、３８はバスである。４１はビデオＩ／Ｆ、４２はビデオメモリ、５１はディスプレイである。
【００１０】
ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、Ｉ／Ｏ３４、外部記憶装置３５、入力部３６、通信Ｉ／Ｆ３７、ビデオメモリ４２は、それぞれバス３８に接続され、ＣＰＵ３１は、バス３８を介してこれらの各構成要素にアクセスすることができる。
【００１１】
ズーム制御部１２は、Ｉ／Ｏ３４と信号線１４で接続されており、信号線１４を介して受けるズーム制御コマンドに従ってレンズ部１１を制御し、ズーム倍率を制御する。雲台制御部２３は、Ｉ／Ｏ３４と信号線２４で接続されており、信号線２４を介して受ける雲台制御コマンドに従ってパンモータ２１とチルトモータ２２を制御することによりビデオカメラ１の撮像方向を制御する。
【００１２】
即ち、ＣＰＵ３１は、Ｉ／Ｏ３４を介して信号線１４にズーム制御コマンドを出力することで、ビデオカメラ１のズーム倍率の制御が可能であり、また、信号線２４に雲台制御コマンドを出力することで、ビデオカメラ１の撮像方向の制御が可能である。
【００１３】
映像信号処理部１３は、レンズ部１１により結像される光学像を電気的な信号に変換し、周知の処理（ゲイン補正、γ補正及び色バランス調整など）を施し、所定形式のビデオ信号を生成して信号線１５に出力する。
【００１４】
ビデオＩ／Ｆ４１は、信号線１５よりビデオ信号を入力し、信号線４３を介してビデオメモリ４２にディジタル画像として書き込む。これと共にビデオメモリに書かれている画像データを信号線４４を介して読み出し、所定形式のビデオ信号として信号線４５に出力する。ディスプレイ５１は、信号線４５に出力されたビデオ信号を入力して画像（映像）表示する。
【００１５】
図２は、ビデオカメラ１を用いて、３つの監視対象領域に対して同時に変化の有無を監視する場合の画角の関係を示した図である。図２において、０点は、撮像方向の中心（以降、撮像中心とも称する）を示しており、画角はこの撮像中心から水平方向（以降、パン方向とも称する）に左右にそれぞれ３５．０゜ずつ、即ち、水平方向には７０．０゜の画角を有しており、かつ垂直方向（以降、チルト方向とも称する）には、上下にそれぞれ２７．７゜ずつ、即ち５５．４゜の画角を有している。このパン方向に撮像中心０を０゜として−３５．０゜から３５．０゜である７０．０°、チルト方向に同じく−２７．７から２７．７゜である５５．４゜の画角を有する撮像領域をａ0 として記してある。
【００１６】
図３のａ1 、ａ2 、ａ3 はそれぞれ撮像領域ａ0 内の部分領域の例である。ａ1 はａ0 の撮像中心から、パン方向に＋３０．０゜、チルト方向に＋２３．５゜にある方向を撮像方向として、ａ0 の画角（パン７０．０゜、チルト５５．４゜）をズーム倍率１．０とした場合に、ズーム倍率８．０の画角（パン１０．０゜、チルト７．５゜）を有する部分領域である。同じくａ2 は、パン方向＋１５．０゜、チルト方向に−１５．０゜の撮像方向にズーム倍率６．０（パン１３．３゜、チルト１０．０゜）の画角を有する部分領域である。ａ3 は、パン方向−２５．０゜、チルト方向１０．０゜の撮像方向にズーム倍率４．０（パン１９．９゜、チルト１５．０゜）の画角を有する部分領域である。
【００１７】
上述の撮像領域ａ0 内における部分領域ａ1 、ａ2 、ａ3 の撮像方向（パン方向のずれ角をｐ（ｄｅｇ）、チルト方向のずれ角をｔ（ｄｅｇ））と、ズーム倍率ｚとを表１に示す。
【００１８】
【表１】
また、ズーム倍率ｚと、画角（パン方向の画角ｐｗ（ｄｅｇ）、チルト方向の画角ｔｗ（ｄｅｇ））との対応を表２に示す。
【００２０】
【表２】
図３、図４は、上述の撮像領域ａ0 及び部分領域ａ1 、ａ2 、ａ3 を、それぞれパン方向とチルト方向に関して撮像方向と画角との関係を空間的に表現した図である。図３では、撮像領域ａ0 の撮像方向（光軸方向）を部分領域ａ1 、ａ2 、ａ3 の撮像方向を表現する基準方向とし、かつ、この方向をパン方向における雲台制御の基準方向として用いる。また、雲台の回転中心に、撮像中心があるものとして扱い、回転中心から基準方向を見て右まわり（時計回り）を正の向きとしている。
【００２２】
図４においても図３と同様に、ａ0 の撮像方向を部分領域のチルト方向への撮像方向を表現する基準方向及び雲台のチルト方向への制御の基準方向として扱うものである。また、回転中心から基準方向を見て上側へ回る方向を正の向きとしている。
【００２３】
次に、図５〜図９のフローチャートを用いて、ＲＯＭ３２内に格納されたプログラム手順を読み出し、ＣＰＵ３１によりプログラムが実行されることにより、あらかじめ登録する各部分領域における変化の検出を行う一連の動作を説明する。
図５において処理を開始すると、ステップＳ１では、入力部３６や通信Ｉ／Ｆ３７、Ｉ／Ｏ３４等を初期化し、またＩ／Ｏ３４を介してビデオカメラ１の撮像部１０と雲台部２０を共にイニシアライズする等の初期化を行う。
【００２４】
ステップＳ１を終えるとステップＳ２へ進む。ステップＳ２では、以降に設定予定の監視対象領域を包含する撮像領域（以降、全体撮像領域と称する）が得られるようにビデオカメラ１をセットし、その撮像領域での無変化時の画像をキャプチャして参照画像として記憶する。
【００２５】
ステップＳ２の処理の内容を図６のフローチャートに示す。図６において、ステップＳ２の処理を開始するとステップＳ２１において、操作者は、その時点でビデオカメラ１により撮像されている映像をビデオＩ／Ｆ４１を経由してディスプレイ５１上の表示を見ながら、入力部３６を操作しつつ対話的にカメラの適正な向きとカメラの適正な画角のデータを入力する。
【００２６】
この対話的に入力されるデータに基づきＣＰＵ３１はＩ／Ｏ３４を経由して雲台制御部２３とズーム制御部１２に対してそれぞれパン角、チルト角とズーム倍率（画角）指定を行う。操作者によりビデオカメラ１の撮像領域の設定が完了した旨の指示を入力部３６を通して受けると、その時点での雲台部２０の状態をパン角０゜、チルト角０゜の基準位置における設定状態として記憶する。
【００２７】
次に、ステップＳ２２に進み、この時のビデオカメラ１による映像をビデオメモリ４２にディジタル静止画像としてキャプチャーする。得られたキャプチャー画像をＲＡＭ３３の所定のエリアに転送して、ステップＳ２のビデオカメラ１の全体撮像領域を設定する一連の処理を終える。
【００２８】
ステップＳ２を終えると図５のフローチャートのステップＳ３に進む。ステップＳ３では部分領域を設定する。ステップＳ３の処理の内容を図７のフローチャートに示す。図７において、ステップＳ３の処理を開始すると、ステップＳ３１において、ステップＳ２１における全体撮像領域の設定と同様にして、操作者は、ビデオＩ／Ｆ４１を経由してディスプレイ５１上で、その時点でビデオカメラ１により撮像されている映像を目視で確認しながら、入力部３６を操作して、対話的に前記ステップＳ２で設定した全体撮像領域中の一つの部分領域としての監視対象領域を指定する。操作者により入力部３６を介して指定の指示を受けるとステップＳ３２に進む。
【００２９】
ステップＳ３２では、その時点でのパン角ｐi 、チルト角ｔi 、ズーム倍率ｚi 、（パン画角θi 、チルト角ψi ）が、先述のステップＳ２で設定した全体撮像領域中の部分領域となっているか否か、即ち、登録しようとしている部分領域のパン方向の画角の両端の画角ｐi ＋（θi ／２）とｐi −（θi ／２）とが共に、全体撮像領域の水平方向の画角内に収まっているか否かを判定する。
【００３０】
図２の例で述べると、全体撮像領域ａ0 の水平方向の画角はズーム倍率１．０であり、表２より７０゜、即ち、両端の画角は撮像中心を挟んで＋３５．０゜〜−３５．０゜である。部分領域ａ1 のパン方向の画角の両端の画角は、表１よりパン角ｐ1 ＝３０．０゜、チルト角ｔ1 ＝２３．５゜、パン画角θ1 は、ズーム倍率８．０より表２を参照すると、θ1 ＝１０．０゜であり、ｐ1 ＋（θ1 ／２）＝３０．０゜＋５．０゜＝３５．０゜≦＋３５．０゜、ｐ1 −（θ1 ／２）＝３０．０゜−５．０°＝２５．０゜≧−３５．０゜であるから、パン方向に関しては、部分領域ａ1 は全体領域ａ0 内に収まっていると判断できる。
【００３１】
チルト方向も同様にｔi ＋（ψi ／２）とｔi −（ψi ／２）が全体撮像領域の垂直方向の画角内に収まっているか否かを判定する。そして、パン、チルト共に収まっている場合には、指定範囲は全体撮像領域中の部分領域であると判定し、そうでない場合には部分領域ではないと判定する。先の全体撮像領域ａ0 と部分撮像領域ａ1 の場合には、チルト方向もｔ1 ＋ψ1 ／２＝２３．５゜＋７．５゜／２＝２７．２５゜≦２７．７゜、ｔ1 −ψ1 ／２（ψ1 ／２）＝２３．５゜−（７．５゜／２）＝１９．７５゜≧−２７．７゜であり、確かに部分領域となっていることがわかる。
【００３２】
かくして、指定範囲が全体撮像領域中の部分領域となっていると判断した場合には、ステップＳ３３に進み、そうでない場合には、ステップＳ３１に戻り、再度、部分監視領域の指定をやり直す。
【００３３】
次に、ステップＳ３３では、ステップＳ３２で部分領域と判断したパン角ｐi 、チルト角ｔi 、ズーム倍率ｚi を部分領域ｉの情報とし前記表１に記載したテーブルに対応する部分監視領域リストとしてＲＡＭ３３に登録記憶する。そしてステップＳ３３を終えると、ステップＳ３４へ進む。
【００３４】
ステップＳ３４では、ステップＳ３３で記憶したパン角ｐi 、チルト角ｔi 、ズーム倍率ｚi におけるビデオカメラ映像からステップＳ２２と同様に静止画像をキャプチャーとして部分監視領域ｐi に関する無変化時の画像として、ＲＡＭ３３に記憶する。ステップＳ３４を終えるとステップＳ３５に進む。
【００３５】
ステップＳ３５では、Ｉ／Ｏ３４を介して、雲台制御部２３とズーム制御部を制御することによりビデオカメラの姿勢をステップＳ２１で登録した全体撮像領域のパン角（０゜）、チルト角（０゜）、ズーム倍率に設定し直し、一つの部分監視領域の設定を終えて、ステップＳ３の一連の処理を終了する。ステップＳ３の処理を終えると、ステップＳ４へ進む。
【００３６】
ステップＳ４では、想定する全ての監視対象領域（部分監視領域）の設定を終了したか否かを、ディスプレイ５１と入力部３６を用いて操作者が確認する。操作者により入力部３６より設定終了の入力を確認するとステップＳ５へ進み、まだ終了していない旨が確認された場合は、ステップＳ３へ戻り、他の部分監視領域の設定を行う。
【００３７】
ステップＳ５では、入力部３６を介して操作者からの監視スタートの指示があったか否かを判断する。スタートの指示がない場合は、監視スタートの指示が入力されたことを確認するまで、このステップＳ５を繰り返す。監視スタートの指示があったことを確認すると、ステップＳ６へ進む。
【００３８】
ステップＳ６では全体撮像領域画像中において、各監視対象領域に対応する各部分画像領域の変化を検出する。ステップＳ６の処理内容を図８に示す。同図において、ステップＳ６の処理を開始すると、ステップＳ４１では、全体撮像領域の画像をキャプチャーして静止画像を得る。得られた画像はＲＡＭ３３上の所定の領域に一時的に記憶する。次にステップＳ４２に進む。
【００３９】
ステップＳ４２では、背景差分法〔予め監視対象領域における無変化状態と考える基準となる画像（背景画像）を取り込んでおき、監視時における監視画像と上記基準画像との差分画像を生成して、変化のある部分のみを有意な画素値（０に比し十分大きな値（絶対値）を持つ領域として検出する方法〕によりステップＳ４１でキャプチャーした画像がステップＳ２２でキャプチャーした画像に比べてどのくらい変化しているかを検出する。即ち、両画像中の同位置にある画素間の画素値の差分の絶対値の平均値（総和をとって画素数で割った値）を求める。この値を以降、変化量と称する。本実施の形態では、この変化量を、ステップＳ３で設定された、各部分領域に対応する各画像領域（全体撮像領域画像の部分画像領域）に対してそれぞれ求める。
【００４０】
今、画像サイズを横Ｍ画素×縦Ｎ画素のＭ×Ｎ画素より成るとし、横に左からｘ画素番、縦に上からψ画素目の位置を座標値（ｘ，ｙ）で表わし、全体撮像領域の画角をパン方向がθ0 、チルト方向がψ0 であるとし、ステップＳ３でｋ番目に設定された部分監視領域の撮像方向が、パン角ｐk （−θ0 ／２＜ｐk ＜θ0 ／２）、チルト角ｔk （−ψ0 ／２＜ｔk ＜ψ0 ／２）で、画角はパン方向がθk 、チルト方向がψk とする。
【００４１】
すると、全体撮像領域画像中におけるこの部分監視領域の対応位置は、左端のｘ座標値がＸL が
【００４２】
【数１】
右端のｘ座標値ＸR が
【００４４】
【数２】
であり、
上端のｙ座標値ＹU が
【００４６】
【数３】
下端のｙ座標値ＹL が
【００４８】
【数４】
となる。
【００５０】
また画像がモノクロの場合は、座標値（ｉ，ｊ）の画素の画素値をＩ（ｉ，ｊ）と表わすとすると、上記ｋ番目の部分領域の変化量ＶK は、
【００５１】
【数５】
となる。
【００５３】
ここで、Ｉｄ（ｉ，ｊ）は、変化を観測する対象画像の座標値（ｉ，ｊ）の画素の画素値を表わし、Ｉｒ（ｉ，ｊ）は参照画像、即ち、無変化時の画像の座標値（ｉ，ｊ）の画素の画素値を表わしている。図２及び表１に示した例では、キャプチャーする画像サイズを６４０×４８０とする場合（即ち、Ｍ＝６４０、Ｎ＝４８０）には、表３に示すようになる。
【００５４】
【表３】
また、図１０は、同例における全体撮像領域ａ0 と部分領域ａ2 に対してのキャプチャー画像上での横方向（パン方向）との関係を示しており、角ＡＯＢが、ａ0 の画角、角ＣＯＤがａ2 の画角であり、角ＦＯＥがａ2 のパン角に対応している。また、全体撮像領域の横方向の画像サイズが線分ＡＢに対応し、この全体撮像領域の画像中に占めるａ2 の画像領域は、線分ＣＤに対応している。
【００５６】
図１１に、同例のａ0 、ａ1 、ａ2 、ａ3 の全体撮像領域のキャプチャー画像上での画像領域の対応を示す。
【００５７】
さて、以上示したような対応関係に基づき、各部分領域の各々に対して、変位量を求め、それらの値を例えば表４に示す如き一覧データとしてＲＡＭ３３に記憶して、ステップＳ６の一連の処理を終える。
【００５８】
【表４】
尚、上記の全体撮像領域画像中における各部分画像領域の対応は、ステップＳ４２で計算するのではなく、各部分監視領域を設定するステップＳ３において、あらかじめ計算しておいて、ステップＳ４２ではこれを参照するのみとする構成としてももちろんよい。
【００６０】
また、画像はモノクロに限るものではなく、カラー画像であってもよく、その場合には、各色成分毎に、参照画像との差分の絶対値の総和を求め、さらにそれら色成分毎の値の和の平均値を求めて、変化量とする等に変化量の定義を変更すればよい。
【００６１】
さて、ステップＳ６の処理を終えると、ステップＳ７へ進む。ステップＳ７では、上記表４の如くに格納された各部分領域毎に、順に変化量Ｖk が、あらかじめ定めた閾値Ｔ以下か否かを吟味し、全ての部分領域に関して、変化量が閾値未満の場合は、ステップＳ６へ戻り、吟味の途中で、例えばｍ番目の部分領域の変化量Ｖm が閾値Ｔ以上であった場合は、その時点でステップＳ８へ進む。
【００６２】
ステップＳ８では、直前のステップで、全体撮像領域の画像中において変化が有ると判定した部分画像領域に対応する部分監視領域に対してビデオカメラの姿勢（パン、チルト、ズーム）をセットして、その画角での変化検出を行う。
【００６３】
ステップＳ８の処理の内容を図９のフローチャートに示す。図９において、処理を開始すると、ステップＳ５１において直前のステップで全体撮像領域において変化が有ると判定した部分画像領域に対応する部分監視領域のパン角、チルト角、ズーム倍率のパラメータを、ステップＳ３で登録した部分監視領域リストのデータにアクセスして得、Ｉ／Ｏ３４を介して、ビデオカメラのズーム制御部１２と雲台制御部２３にコマンドを送り、ビデオカメラを当該部分領域の撮影方向と画角にセットする。次に、ステップＳ５２へ進む。
【００６４】
ステップＳ５２では、ビデオカメラから出力される映像からビデオＩ／Ｆ４１、ビデオメモリ４２を介してキャプチャーして静止画像を得る。得られた画像はＲＡＭ３３に一時的に記憶される。次に、ステップＳ５３へ進む。
【００６５】
ステップＳ５３では、ステップＳ５２で得られた静止画像と、ステップＳ３中のステップＳ３４で得られていた当該部分監視領域の撮影方向と画角における無変化時の映像とを画像領域全面に渡っての変化量ＶW を、先に述べた両画像中の同位置にある画素間の画素値差分の絶対値の平均値として求める。この値をＲＡＭ３３の所定の領域に一時的に記憶する。ステップＳ５３の処理を終えるとステップＳ８における一連の処理が終了し、ステップＳ９へ進む。
【００６６】
ステップＳ９では、ステップＳ８で求めた部分監視領域の撮影方向と画角で入力した画像での変化量Ｖw があらかじめ定めた閾値Ｔw 以上であると否かを判定し、Ｔw 以上の場合には、ステップＳ10へ、そうでない場合には、ステップＳ11に進む。
【００６７】
ステップＳ１０では、直前にステップＳ８及びステップＳ９で吟味した部分監視領域に、変化が発生している旨を警告として通信Ｉ／Ｆ３７を経由にして外部に通報する。また、ディスプレイ５１上に警告のメッセージを表示したり、図示しないスピーカ等を用いて、音による警告等を行なうように構成してもよい。ステップＳ１０を終えると、ステップＳ１１に進む。
【００６８】
ステップＳ１１では、直前のステップＳ６において、全体撮像領域の映像から得た画像上で、検出した変化量を吟味し残している。（即ち、先のステップＳ７の説明の例に続く場合は、ｍ＋１番目のＶm+1 の吟味から）部分領域に対する変化量のチェックをステップＳ７と同様に進め、新たに閾値Ｔ以上の値の変化量をもつ部分領域が存在した場合には、ステップＳ８へ戻り、そのような部分領域がもはや存在しない場合には、ステップＳ１２に進む。
【００６９】
ステップＳ１２においては、操作者より入力部３６を介して監視終了の指示があったか否かを判定する。終了の指示があった場合には、一連の処理を終了する。終了の指示がなかった場合には、ステップＳ１３へ進む。
【００７０】
ステップＳ１３においては、撮像方向（パン、チルト）と画角を全体撮像領域に設定し、ステップＳ６へ戻る。
【００７１】
尚、一般には、ステップＳ７で用いた閾値ＴはステップＳ９で用いた閾値ＴW 比べて、低く目の値に設定するとよい結果が得られることが多い。
【００７２】
尚、上述の実施の形態において、ステップＳ７において用いた閾値Ｔは、必ずしも全ての部分領域に対して同じ値を用いる必要はなく、各部分領域毎に別々の閾値を定めるように構成してもよい。
上述のステップＳ９において用いた閾値ＴW も、同様であり、各部分監視領域毎に異なる値を用いるように構成してもよい。
【００７３】
このように、各部分領域毎に異なる閾値を用いることができれば、それぞれの部分領域での変化の検出に最適な閾値を設定することが可能となり、より誤判定の少ない監視処理が実現可能となる。
【００７４】
また、上述の実施の形態において、ステップＳ３で説明した部分監視領域の設定法は、必ずしもこれに限るものではなく、例えば、入力部３６を介して直接パン角、チルト角、ズーム比をキーボードから数値入力するものであってもよいし、ＧＵＩ（グラフィックユーザインターフェース）を用いて、ディスプレイ５１上で視覚的にポインティングデバイスを用いて対話的操作により入力するのでもよい。
また、あらかじめ外部で作成したデータリストを、通信Ｉ／Ｆ３７を介して、あるいは不図示のリムーバブルな記憶媒体を介して入力するものであってもよい。
【００７５】
次に本発明による記憶媒体について説明する。
図１の各機能ブロックによるシステムは、ハード的に構成してもよく、また、ＣＰＵやメモリ等からなるコンピュータシステムに構成してもよい。コンピュータシステムに構成する場合、上記メモリは本発明による記録媒体を構成する。この記録媒体には、図５〜図９のフローチャートについて前述した動作を制御するための処理手順を実行するためのプログラムが記録される。
【００７６】
また、この記録媒体としては、ＲＯＭ、ＲＡＭ等の半導体メモリ、光ディスク、光磁気ディスク、磁気媒体等を用いてよく、これらをＣＤ−ＲＯＭ、フロッピィディスク、磁気媒体、磁気カード、不揮発性のメモリカード等に構成して用いてよい。
【００７７】
従って、この記憶媒体を図１に示したシステム以外の他のシステムあるいは装置で用い、そのシステムあるいはコンピュータがこの記憶媒体に格納されたプログラムコードを読み出し、実行することによっても、前述した各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【００７８】
また、コンピュータ上で稼働しているＯＳ等が処理の一部又は全部を行う場合、あるいは、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された拡張機能ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づいて、上記拡張機能ボードや拡張機能ユニットに備わるＣＰＵ等が処理の一部又は全部を行う場合にも、各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【００７９】
【発明の効果】
以上説明したように、本発明によれば、監視領域（検出領域）における部分的な変化のみをクローズアップして確認することにより、従来に比べてより正確に変化検出ができるという効果を有する。これは、複数の監視領域を一台のカメラで同時に、かつ定常的に監視する際に実際には、各監視領域ではまれにしか変化が発生しない場合が多く、かつ、どの監視領域で変化が発生するかをあらかじめ予測できない場合が多いという現状に適合している。
【００８０】
本発明のように普段は、一台のカメラで大域的に複数の監視領域を同時に監視し、変化があったと考えられる監視領域が検出されたときのみ、その部分を大うつしにしてより正確に変化確認をするというのは、コストと正確さのバランスの点から有用性が高い。
【００８１】
また、本発明は、とりわけ十分な照明が得にくいような使用条件で使用する場合に、結果として従来に比べてノイズの影響を軽減して誤判定の少ない処理系を構成し易く。このような使用条件は、監視用途ではありがちなものであり、この意味からも、本発明の有用性は高い。
【図面の簡単な説明】
【図１】本発明の実施の形態における主要部分の構成を示すブロック図である。
【図２】全体撮像領域と、３つの部分監視領域を有する場合の領域関係を示す構成図である。
【図３】図２の例で、パン方向に関して撮像方向と画角の関係を示した構成図である。
【図４】図２の例で、チルト方向に関して撮像方向と画角の関係を示した構成図である。
【図５】本発明の実施の形態における一連の処理の流れを示すフローチャートである。
【図６】図５のフローチャートのステップＳ２の流れを詳述するフローチャートである。
【図７】図５のフローチャートのステップＳ３の流れを詳述するフローチャートである。
【図８】図５のフローチャートのステップＳ６の流れを詳述するフローチャートである。
【図９】図５のフローチャートのステップＳ８の流れを詳述するフローチャートである。
【図１０】図２の中の一つの部分領域に対して、全体撮像領域の画像中における対応画像領域の画角の対応をパン方向に関して示した構成図である。
【図１１】図２において、全体撮像領域に対して得られた画像中での各部分監視領域に対応する部分画像領域を示す構成図である。
【符号の説明】
１ ビデオカメラ
１０ 撮像部
１１ レンズ部
１２ ズーム制御部
１３ 映像信号処理部
２０ 雲台部
２１ パンモータ
２２ チルトモータ
２３ 雲台制御部
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ Ｉ／Ｏ
３５ 外部記憶
３６ 入力部
３７ 通信Ｉ／Ｆ
４１ ビデオＩ／Ｆ
４２ ビデオメモリ
５１ ディスプレイ
Claims (10)
- カメラの全体撮像領域の中から設定された複数の検出領域と、前記複数の検出領域の検出優先順序とを対応づけて記憶する記憶手段と、
前記全体撮像領域において前記カメラから取り込まれている現在の全体画像を用いて前記カメラの前記複数の検出領域の画像の変化を検出する全体検出手段と、
前記全体検出手段が前記複数の検出領域における画像の変化を検出したとき、前記カメラの撮像領域が前記検出した複数の検出領域となるように、前記カメラのズーム、撮像方向の少なくとも一方を前記記憶手段に記憶された検出優先順序に従って各検出領域について連続して制御する第１カメラ制御手段と、
前記第１カメラ制御手段により前記カメラの撮像領域が前記検出した複数の検出領域へと連続して制御されることに平行して、前記記憶手段に記憶された検出優先順序に従って前記検出した複数の検出領域の現在の画像を用いて前記検出した複数の検出領域の画像の変化を連続して検出する部分検出手段と、
を設けたことを特徴とするカメラ制御装置。 - 前記記憶手段は、前記複数の検出領域と、各検出領域において前記カメラが撮像した参照用静止画像と、前記検出優先順序とを対応づけて記憶し、
前記部分検出手段は、前記記憶手段に記憶された参照用静止画像と前記カメラから取り込まれている各検出領域の現在の静止画像とを比較することにより、前記検出した複数の検出領域の画像の変化を検出することを特徴とする請求項１に記載のカメラ制御装置。 - 前記全体検出手段は、予め取り込んでおいた前記全体撮像領域における前記カメラが撮像した参照用全体静止画像と、前記カメラから取り込まれている現在の全体静止画像とを比較することにより、前記カメラの前記複数の検出領域の画像の変化を検出することを特徴とする請求項１または２に記載のカメラ制御装置。
- 前記第１カメラ制御手段及び前記部分検出手段による複数の検出領域についての前記検出優先順序に従ったカメラ制御と変化検出とが終了したことに応じて、前記カメラの撮像領域が前記全体撮像領域となるように、前記カメラのズーム、撮像方向の少なくとも一方を制御する第２カメラ制御手段をさらに設けたことを特徴とする請求項１〜３のいずれか１項に記載のカメラ制御装置。
- ユーザの操作入力に応じて、前記複数の検出領域と、前記複数の検出領域の検出優先順序とを設定する設定手段をさらに設けたことを特徴とする請求項１〜４のいずれか１項に記載のカメラ制御装置。
- 前記設定手段は、ユーザが設定操作入力した前記複数の検出領域の順番に基づき、前記複数の検出領域の検出優先順序を設定することを特徴とする請求項５に記載のカメラ制御装置。
- 前記部分検出手段が複数の検出領域について画像の変化を検出した場合、前記ユーザが操作入力を行うために用いたディスプレイ上において、検出した検出領域毎に警告表示を行うことを特徴とする請求項５または６に記載のカメラ制御装置。
- 前記部分検出手段は、前記複数の検出領域の各々について変化検出のための所定の閾値用いることを特徴とする請求項１〜７のいずれか１項に記載のカメラ制御装置。
- カメラの全体撮像領域の中から設定された複数の検出領域と、前記複数の検出領域の検出優先順序とを対応づけて記憶手段に記憶する記憶手順と、
前記全体撮像領域において前記カメラから取り込まれている現在の全体画像を用いて前記カメラの前記複数の検出領域の画像の変化を検出する全体検出手順と、
前記全体検出手順で複数の検出領域における画像の変化を検出したとき、前記カメラの撮像領域が前記検出した複数の検出領域となるように、前記カメラのズーム、撮像方向の少なくとも一方を前記記憶手段に記憶された検出優先順序に従って各検出領域について連続して制御する第１カメラ制御手順と、
前記第１カメラ制御手順により前記カメラの撮像領域が前記検出した複数の検出領域へと連続して制御されることに平行して、前記記憶手段に記憶された検出優先順序に従って前記検出した複数の検出領域の現在の画像を用いて前記検出した複数の検出領域の画像の変化を連続して検出する部分検出手順と、
を設けたことを特徴とするカメラ制御方法。 - カメラの全体撮像領域の中から設定された複数の検出領域と、前記複数の検出領域の検出優先順序とを対応づけて記憶手段に記憶する記憶処理と、
前記全体撮像領域において前記カメラから取り込まれている現在の全体画像を用いて前記カメラの前記複数の検出領域の画像の変化を検出する全体検出処理と、
前記全体検出処理が複数の検出領域における画像の変化を検出したとき、前記カメラの撮像領域が前記検出した複数の検出領域となるように、前記カメラのズーム、撮像方向の少なくとも一方を前記記憶手段に記憶された検出優先順序に従って各検出領域について連続して制御する第１カメラ制御処理と、
前記第１カメラ制御処理により前記カメラの撮像領域が前記検出した複数の検出領域へと連続して制御されることに平行して、前記記憶手段に記憶された検出優先順序に従って前記検出した複数の検出領域の現在の画像を用いて前記検出した複数の検出領域の画像の変化を連続して検出する部分検出処理と、
をコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22476398A JP3796356B2 (ja) | 1998-08-07 | 1998-08-07 | カメラ制御装置、方法及びコンピュータ読み取り可能な記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22476398A JP3796356B2 (ja) | 1998-08-07 | 1998-08-07 | カメラ制御装置、方法及びコンピュータ読み取り可能な記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000059762A JP2000059762A (ja) | 2000-02-25 |
| JP3796356B2 true JP3796356B2 (ja) | 2006-07-12 |
Family
ID=16818856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22476398A Expired - Fee Related JP3796356B2 (ja) | 1998-08-07 | 1998-08-07 | カメラ制御装置、方法及びコンピュータ読み取り可能な記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3796356B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001307103A (ja) * | 2000-04-18 | 2001-11-02 | Yokogawa Electric Corp | 画像検出システム |
| JP3685730B2 (ja) * | 2001-03-28 | 2005-08-24 | 三洋電機株式会社 | 画像検索装置およびこれを用いた監視カメラシステム |
| US7257235B2 (en) | 2002-02-28 | 2007-08-14 | Minolta Co., Ltd. | Monitoring apparatus, monitoring method, monitoring program and monitoring program recorded recording medium readable by computer |
| US7496212B2 (en) | 2003-05-16 | 2009-02-24 | Hitachi Kokusai Electric Inc. | Change detecting method and apparatus |
| CN104683743A (zh) * | 2013-11-29 | 2015-06-03 | 阿里巴巴集团控股有限公司 | 远程监控方法、信号采集设备、远程监控设备和系统 |
| JP7275863B2 (ja) * | 2019-05-29 | 2023-05-18 | コニカミノルタ株式会社 | 画像処理装置、画像処理装置の制御方法、及び画像処理装置の制御プログラム |
| WO2023112348A1 (ja) * | 2021-12-16 | 2023-06-22 | 古野電気株式会社 | 物標監視装置、物標監視方法、及びプログラム |
-
1998
- 1998-08-07 JP JP22476398A patent/JP3796356B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000059762A (ja) | 2000-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4912117B2 (ja) | 追跡機能付き撮像装置 | |
| JPS62125478A (ja) | 移動物体像を抽出する方法 | |
| JP7059054B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US20220030180A1 (en) | Image processing apparatus, image processing apparatus control method, and non-transitory computer-readable storage medium | |
| JP2004535610A (ja) | カメラビュー内の制御可能なディスプレイの前にある物体の位置の決定のための前景および背景画像データのロバストな分離のためのシステムおよび方法 | |
| US10455144B2 (en) | Information processing apparatus, information processing method, system, and non-transitory computer-readable storage medium | |
| JP3796356B2 (ja) | カメラ制御装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| JP2004532441A (ja) | 撮像装置によって取り込まれたコンピュータ制御可能な表示の前にある物体の所定点を抽出するためのシステムおよび方法 | |
| JPH11150676A (ja) | 画像処理装置及び追尾装置 | |
| CN114418908A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| JP2005070985A (ja) | 画像処理装置および方法、並びにプログラム | |
| JP2667885B2 (ja) | 移動物体の自動追尾装置 | |
| JPH0795469A (ja) | カムコーダの映像補正装置 | |
| JP2011205517A (ja) | 画像処理装置 | |
| JPH11284985A (ja) | 設備監視方法及び装置 | |
| JPH066796A (ja) | 監視装置 | |
| JP2000251193A (ja) | 映像処理装置及び方法並びに記憶媒体 | |
| KR102669621B1 (ko) | 지능형 고해상도 내시경 영상을 획득하여 저장하는 영상 제공 방법 및 장치 | |
| KR102455297B1 (ko) | 수직선 벡터를 이용한 cctv 영상 보정 시스템과 이에 적용되는 장치 및 방법 | |
| JP3035377B2 (ja) | 火災点検出装置 | |
| WO2021175125A1 (en) | System and method for automatically adjusting focus of a camera | |
| WO2021179969A1 (en) | System and method for automatically adjusting focus of a camera | |
| US20240073512A1 (en) | Control apparatus, image pickup apparatus, control method, and storage medium | |
| JPH05252437A (ja) | 画像処理方法および装置 | |
| JP3792460B2 (ja) | 侵入物体検知画像処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060124 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060411 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060417 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090421 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100421 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110421 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120421 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130421 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130421 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140421 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |