JP3948322B2 - 監視カメラシステム及び監視カメラシステムの制御プログラム - Google Patents
監視カメラシステム及び監視カメラシステムの制御プログラム Download PDFInfo
- Publication number
- JP3948322B2 JP3948322B2 JP2002091066A JP2002091066A JP3948322B2 JP 3948322 B2 JP3948322 B2 JP 3948322B2 JP 2002091066 A JP2002091066 A JP 2002091066A JP 2002091066 A JP2002091066 A JP 2002091066A JP 3948322 B2 JP3948322 B2 JP 3948322B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- monitoring
- image
- color
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、監視カメラシステムに関する。本発明はまた、監視カメラシステムの制御プログラムに関する。
【０００２】
【従来の技術】
現在、監視カメラの機能として、特定の色を発見したり追尾する機能が望まれている。このような機能は、例えば、赤い服を着た幼児が危険な場所に入ることを検出したり、学校や保育園に設けた監視カメラで子供の服の色を追尾することにより、親が子供の行動を家庭や会社でモニタできる点で有用である。
【０００３】
【発明が解決しようとする課題】
しかしながら、特定の色の検出や追尾のためには、対象となる色を予め記憶する必要がある。色の指定にはサンプル色から選択する方法があるが、実際の色と一致するサンプル色を選択するのは一般に困難である。
【０００４】
そこで、本発明は、色情報など監視対象に関する情報を簡便に指定できる監視カメラシステムを提供することを目的とする。
【０００５】
本発明はまた、色情報など監視対象に関する情報を簡便に指定できる監視カメラシステムの制御プログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る監視カメラシステムの第１の形態は、
カメラと、
カメラで撮影した動画像を表示する手段と、
上記表示手段に表示させた動画像のうちの、ユーザの第１の指定により指定された指定点が、画角の中央に来るように上記カメラの姿勢制御を行う手段と、
上記カメラ姿勢制御手段により画角の中央に来た指定点を中心として動画像を拡大する手段と、
上記拡大手段に拡大させた動画像を静止画像に切り替える手段と、
上記静止画上でユーザの第２の指定により指示された監視対象に関する情報を記憶する手段と、
カメラで撮影した画像と、上記記憶手段により記憶された上記監視対象に関する情報とを比較することにより、カメラで撮影した画像上で監視対象を検出する検出手段とを備えることを特徴とする。
【０００７】
かかるシステムでは、静止画状態で監視対象に関する情報の指定ができるので、ユーザは容易に指定を行うことができる。なお、検出手段により監視対象を検出するために用いる撮影画像は、動画に限らず静止画でもよい。
【０００８】
監視対象に関する情報として色情報が最も好適であるが、監視対象に関する情報の種類は本発明を限定するものではない。例えば、人の顔の指定をすることも可能である。
【０００９】
本発明に係る監視カメラシステムの第２の形態は、
複数のカメラと、
少なくとも一つのカメラで撮影した動画像を表示する手段と、
上記表示手段に表示させた動画像のうちの、ユーザの第１の指定により指定された指定点が、画角の中央に来るように、表示された動画像を撮影するカメラの姿勢制御を行う手段と、
上記カメラ姿勢制御手段により画角の中央に来た指定点を中心として動画像を拡大する手段と、
上記拡大手段に拡大させた動画像を静止画像に切り替える手段と、
上記静止画上でユーザの第２の指定により指示された監視対象に関する情報を記憶する手段と、
複数のカメラで撮影した画像と、上記記憶手段により記憶された上記監視対象に関する情報とを比較することにより、複数のカメラで撮影した画像上で監視対象を検出する検出手段とを備えることを特徴とする。
【００１０】
かかるシステムでは、一つのカメラで撮影した静止画上で指定した監視対象に関する情報（例えば色情報）を利用して、他のカメラで撮影した画像上でも監視対象を検出できる。
【００１１】
本発明に係る制御プログラムの第１の態様は、
カメラと、該カメラで撮影した動画像を表示する手段とを備えた監視カメラシステムの制御プログラムにおいて、
上記表示手段に表示させた動画像のうちの、ユーザの第１の指定により指定された指定点が、画角の中央に来るようにカメラの姿勢制御を行い、
上記のカメラの姿勢への制御により画角の中央に来た指定点を中心として動画像を拡大し、
拡大された動画像を静止画像に切り替え、
上記静止画上でユーザの第２の指定により指示された監視対象に関する情報を記憶し、
カメラで撮影した画像と上記監視対象に関する情報とを比較することにより、カメラで撮影した画像上で監視対象を検出することを特徴とする。
【００１２】
本発明に係る制御プログラムの第２の態様は、
複数のカメラと、少なくとも一つのカメラで撮影した動画像を表示する手段とを備えた監視カメラシステムの制御プログラムにおいて、
上記表示手段に表示させた動画像のうちの、ユーザの第１の指定により指定された指定点が、画角の中央に来るように、表示された動画像を撮影するカメラの姿勢制御を行い、
上記のカメラの姿勢への制御により画角の中央に来た指定点を中心として動画像を拡大し、
拡大された動画像を静止画像に切り替え、
上記静止画上でユーザの第２の指定により指示された監視対象に関する情報を記憶し、
複数のカメラで撮影した画像と上記監視対象に関する情報とを比較することにより、複数のカメラで撮影した画像上で監視対象を検出することを特徴とする。
【００１３】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施の形態を説明する。
【００１４】
本発明に係る監視カメラシステムは、少なくとも一つのカメラとカメラで撮影した映像を表示する表示部とを備え、監視中に表示部に動画表示を行い、監視対象色を設定する際に動画を静止画に切替え、ユーザが静止画上で色指定を行うためのものである。図１は、このような機能を実現するための本発明に係る監視カメラシステムの一実施形態を示す概略図である。図２は、図１の監視カメラシステムの制御ブロック図である。
【００１５】
具体的に、監視カメラシステム２は、概略、一つ又はそれ以上（図の例では４つ）の監視エリアＥ１〜Ｅ４を監視するための一つ又はそれ以上（図の例では４つ）の監視カメラ装置４（４Ａ、４Ｂ、４Ｃ、４Ｄ）（以下、単にカメラと称する。）と、複数のカメラ４による監視・追尾、検出色の設定などの処理を行うプログラムを搭載した制御部６と、各監視エリアＥ１〜Ｅ４内にそれぞれ設けられたセンサＳ１〜Ｓ４と、４つのカメラ４の監視映像を同時に表示することのできるディスプレイ８と、制御部６に対しユーザが適当な指示を入力するための入力装置９とを備える。各カメラ４は、後述するように、制御部６からの指示により、監視エリアＥ１〜Ｅ４を巡回する通常監視動作、特定の監視エリアで異常を検出した場合にそのエリアを集中的に監視する集中監視動作、及び対象物の追尾を行う追尾動作のいずれかを行う。
【００１６】
制御部６は、各カメラ４の視野制御を行う指示部１０と、カメラ４から送信された画像を処理する画像処理部１２と、各カメラ４に関連する各種情報を管理するための複数カメラ状態管理部１４と、センサＳ１〜Ｓ４に対応づけられた監視エリアＥ１〜Ｅ４の情報（例えば、センサＳ３は監視エリアＥ３内にあるという情報）を記憶するセンサ・監視エリア情報記憶部１６と、巡回時間、追尾実行時間、走査時間（これらは後述する。）などユーザが入力装置９を介して設定した各種時間を記憶する設定時間記憶部１８とを含む。カメラ４から画像処理部１２に画像データが送られると、画像記憶部１９に記憶される。画像記憶部１９内のデータに基づいて画像処理部１２からディスプレイ８に動画像データあるいは静止画像データが送信されるようになっている。
【００１７】
ディスプレイ８は、図３（ａ）に示すように、システム起動時に、システム２に監視を行わせる監視モードと各種設定を行うための設定モードのいずれかをユーザが選択できるよう選択メニュー画面が表示される。設定モードとして、図３（ｂ）に示すように、監視エリアとしてユーザが任意のエリアを選択し、この監視エリアを画角が捉えるようカメラの視野を設定するための「監視エリアの設定］メニュー、各カメラをどのような順序で巡回させるかを設定するための「巡回順の設定」メニュー、各監視エリアでの巡回時間を設定する「巡回時間の設定」メニュー、及び監視エリアの異常を検出するのに色検出を用いる場合に検出色を設定するための「検出色の設定」メニューが用意されている。監視エリア、巡回順、及び巡回時間の設定に関しては、本出願人により本願と同日に出願された「監視カメラシステム及び監視カメラシステムの制御プログラム」で詳細に説明されており、本願では説明しない。
【００１８】
監視モードにおいて、ディスプレイ８上で４分割されたブロックに表示させる画像の巡回による切替えは、図４（ａ）に示すように各カメラに割り当てる表示ブロックを固定して行ってもよいし（例えばカメラ４Ａで撮影される映像は常に左上のブロックに表示する。）、あるいは、図４（ｂ）に示すように各監視エリアに割り当てる表示ブロックを固定して行ってもよい（例えば監視エリアＥ１を撮影する映像は常に左上のブロックに表示する。）。なお、図４に示す巡回方法は、各カメラが同じ監視エリアを監視しないよう同期巡回させる場合であるが、各カメラが監視エリアを各々独立して巡回させるようにしてもよい。
【００１９】
複数カメラ状態管理部１４で管理される情報には、図５に示すように、カメラ４毎に、システム内でのカメラ４の設置位置の座標、各監視エリアＥｉ（ｉ＝１〜４）に関する下記の情報、カメラ４の現在の視野、ユーザが入力装置９を介して当該カメラ４の選択指示があった場合に選択情報を示すユーザ選択情報などが含まれる。監視エリアＥｉの情報には、該エリアＥｉを画角に捉えるためのカメラ４の視野情報、監視エリアＥｉを監視するための方法、監視エリアＥｉの巡回順を示す番号「ｎ」（ｎ＝１〜４）（例えば、カメラ４Ａは、一巡回当たり監視エリアＥ３を「２」番目に監視する。）が含まれる。監視エリアＥｉを画角に捉えるための各カメラ４の視野情報は、設定モードにおいて設定される。監視方法は、ユーザが「色検出の設定」メニューで検出色を設定しない限り、動体検出が選択されるようになっている。
【００２０】
各カメラ４は、追尾機能及びズーム機能を有するパン・チルトカメラであり、図６に示すように、指示部１０からの指示によりパン・チルト角及び撮影倍率を変更するアクチュエータ２０と、カメラ４で撮影した画像上で異常を検出する画像異常検出部２２と、カメラに関連する各種情報を管理するためのカメラ状態管理部２４とを備える。本願では、カメラの視野制御には、必要に応じて撮影倍率を変更するための制御も含む。各カメラ４には、ある監視エリアＥ１〜Ｅ４のセンサＳ１〜Ｓ４からの信号を受信するための入力端子（図示せず）が設けてある。センサの検出信号は、カメラの上記入力端子を介してカメラ状態管理部２４に送信されるようにしてある。なお、センサの検出信号は指示部１０に直接送信されるようにしてもよい。図１の例では、センサＳ１〜Ｓ４からの信号は、それぞれカメラ４Ａ〜４Ｄに送信される。
【００２１】
画像異常検出部２２は、画像フレームの差分に基づいて画像上の移動物体を検出する動体検出部２６と、設定モードで設定された色を画像上で検出する色検出部２８と、カメラ４のレンズが何らかで覆われたことを検出するレンズ覆い検出部３０とを有する。
【００２２】
各カメラ４のカメラ状態管理部２４で管理される情報には、画像異常検出部２２で異常を検出したか否かを示す「画像異常検出情報」、該カメラ４に検出信号を送信するセンサＳで異常を検出したか否かを示す「センサ異常検出情報」、カメラ４が追尾を行っているか否かを示す「追尾実行情報」などが含まれる。これらの情報は、後述するように指示部１０により適宜参照される。
【００２３】
センサは監視エリア以外にも設置してもよい。すなわち、カメラ４の通常の巡回では映さないエリアにもセンサ（図の例ではエリアＥ５、Ｅ６内にＳ５、Ｓ６の２つ）（以下、監視エリア外センサという。）を設け、このセンサで異常を検出した場合に、カメラ４が異常を検出したエリアを集中的に撮影するようにする。監視エリア外センサに対応して、制御部６には、該センサで異常を検出したか否かを示す「エリア外センサ異常検出情報」を管理するセンサ状態管理部３２が設けられる。
【００２４】
入力装置９には、検出色の決定を行うカメラを選択する選択キー、動画像を静止画像に切替える切替キー、指定した候補色を検出色として決定したり決定を解除するための決定・解除キー、ディスプレイ８上でカーソルを移動させるマウスなどが含まれる。検出色の設定時、画像処理部１２は、選択キーによりいずれかのカメラが選択されると、選択されたカメラの動画像のみをディスプレイ８上に拡大して表示するようにしてある。続いて切替キーを押すと、画像処理部１２は、動画像を静止画像に切替えるようになっている。さらに静止画像の任意の点をカーソルで指定して、マウスをクリックすると、指定点の色が、指定点の色の近似色と合わせて、指定色として点滅表示されるようになっている。さらに決定キーによる操作により、指定色が、ディスプレイ制御部６の検出色記憶部３４に検出色として記憶されるようになっている。画像記憶部１９に記憶された動画像データ及び静止画像データは、例えばＹＵＶ形式の色データを０〜２５５の２５６段階（８ビット）で表わしたデジタルデータである。画像処理部１２は、カーソルで指定した点の周辺画素（例えば１０画素）の色データを抽出し、近似色のデータと合わせて、検出色データとして検出色記憶部３４に記憶させるようになっている。例えば、カーソルで指定した色のデータがＹ：１５０、Ｕ：７０、Ｖ：８０の場合、画像処理部１２は、例えば近似幅３０として、上限及び下限すなわちＹ：（１３５、１６５）、Ｕ：（５５、８５）、Ｖ：（６５、９５）を検出色記憶部３４に記憶させる。なお、色の表記形式として他の形式、例えばＲＧＢ形式を用いた場合も同様である。
【００２５】
後述するように、入力装置９の選択キーは、監視モードにおいて、ディスプレイ８に表示される映像に基づいて集中監視エリアを指示部１０に指示するためにも用いられる。このとき、指示部１０は、特定のカメラに映し出されていた監視エリアに対し、複数のカメラで集中監視させるようカメラの視野を制御する。入力装置９にはさらに、監視モードにおいて監視、追尾動作を強制的に終了させる強制終了キーも含まれる。
【００２６】
次に、検出色の設定を行うための処理の一例を示すフローチャートである図７、８、及び、検出色の設定時にディスプレイ８上に表示される画面を示す図９を参照して、検出色の設定方法を説明する。以下では、子供の服の色を検出色として設定するものとして説明する。まず、ステップＳ１で、設定メニューから「検出色の設定」を選択する。ステップＳ２で、ユーザは入力装置９を介して検出色を設定するカメラ（４Ａ〜４Ｄのいずれか）を選択し、選択したカメラが撮影する動画像をディスプレイ８に表示させる。ステップＳ３で、ユーザは、入力装置９を介して目的の色対象である子供の服を捉えるよう選択カメラの視野制御を行う。
【００２７】
ステップＳ４で、ユーザが表示画面上の任意の点をカーソルＣで指定した場合［図９（ａ）］、ステップＳ５で、指示部１０は、この指定点が画角の中心にくるように選択カメラの姿勢制御を行う［図９（ｂ）］。色対象を表示画面の略中央に移動させるのは、ステップＳ６でズームアップをしても色対象が表示画面から外れないようにするためである。
【００２８】
ステップＳ６で、指示部１０は、撮影倍率を変更して指定点を中心として画像を拡大させ、画像処理部１２は、動画表示を停止してディスプレイ８に静止画を表示させる［図９（ｃ）］。このように静止画面を表示させることで、ユーザは検出色の指定を容易に行うことができる。また、画面を拡大させることで、ユーザが検出色の指定をさらに容易に行うことができる。ステップＳ７で、ユーザが静止画面上で子供の服の一部をカーソルＣで指定した場合、フローは図８のステップＳ８に進む。ステップＳ８、Ｓ９で、画像処理部１２は、指定点の周辺画素の色と指定点の周辺画素の色の近似色を合わせて指定色として、指定色のデータを検出色記憶部３４に一時的に記憶させる。このように、カーソルで指定した色に幅を持たせることで、子供の服が均一な色を有していなくても服の一部だけでなく子供の服全体を色対象として設定することが可能となる。
【００２９】
ステップＳ１０で、画像処理部１２は、指定点周辺の指定色を点滅表示させる。ステップＳ１１で、ユーザが入力装置９を介して点滅表示された指定色を検出色として決定指示を行った場合、ステップＳ１２に進み、検出色記憶部３４に一時的に記憶させておいた指定色のデータは、検出色のデータとして記憶される。この検出色のデータは、システム２が監視や追尾を行う際に指示部１０により参照される。
【００３０】
画像処理部１２は、ステップＳ１３で、ステップＳ６で変更した撮影倍率を元に戻し、ステップＳ１４で静止画像から動画像に切替え、検出色の設定フローが終了する。
【００３１】
ステップＳ７でユーザが静止画面上で一定時間で指定を行わない場合（ステップＳ１５）、ステップＳ１３に進み、撮影倍率の初期化及び動画への切替えが行われる。
【００３２】
ステップＳ１１で、ユーザが入力装置９を介して点滅表示された指定色を解除する場合、ステップＳ７に戻り、静止画面上での色指定待機状態に戻る。
【００３３】
上記検出色の設定方法では、検出色を有する色対象のほか、背景に含まれる同一色の物体も監視対象になりうるが、色検出とともに動体検出を行うようにすれば、検出色を有する移動物体のみを監視できる。
【００３４】
図１０、１１は、図７、８に示す検出色の設定方法の変形例を示すフローチャートである。図７のステップＳ６では、指示部１０が撮影倍率を変更して指定点を中心として画像を拡大させ後で、画像処理部１２が動画表示を停止してディスプレイ８に静止画を表示させたが、図１０のステップＳ６’では、画像処理部１２は、動画像から静止画像に切り替えた後で、指定点を中心として静止画像データを切出し、拡大する。この場合、図８のステップＳ１３に対応して指示部１０はカメラの撮影倍率を変更する必要はなく、図１１に示すように、ステップＳ１２で検出色記憶部３４に検出色を記憶した後、ステップＳ１４に進み静止画像から動画に切替わる。
【００３５】
図１２〜図１７は、本実施形態に係る監視カメラシステムにより監視を行うための処理の一例を示すフローチャートである。具体的には、複数の監視エリアのいずれかで異常を検出した場合に、複数のカメラの視野を制御して、同じ監視エリアを複数のカメラで多方向から監視するためのものである。図１、２、５、６も参照して、まず、ステップＳ１２０１でシステムを起動してディスプレイ８に選択メニューを表示させる。ステップＳ１２０２でディスプレイ８に表示した選択メニューから監視モードを選択し、ディスプレイ８に監視映像を表示させる。
【００３６】
指示部１０は、ステップＳ１２０３で、視野制御を行うカメラＮ（＝４Ａ、４Ｂ、４Ｃ、４Ｄ）を選択し、ステップＳ１２０４で、カメラＮに関して複数カメラ状態管理部１４で管理された各監視エリアの「巡回順番号」及び「カメラの視野情報」を参照し、これらの情報に従いカメラＮのアクチュエータ２０を制御し、これによりカメラＮの視野に最初に巡回すべき監視エリアが入るようにする。ステップＳ１２０５で、指示部１０は、カメラＮに関して複数カメラ状態管理部１４で管理された各監視エリア情報の「監視方法（動体検出又は色検出）の情報」を参照し、この情報に従いカメラＮに監視方法を指示する。カメラＮ以外のカメラの視野・監視方法の指示が終了するまで、ステップＳ１２０３〜Ｓ１２０５が繰り返される（ステップＳ１２０６）。全カメラの視野・監視方法の指示が終了する（すなわち、各カメラが最初に巡回すべき監視エリアの撮影を開始する。）と、フローはステップＳ１２０７に進む。
【００３７】
ステップＳ１２０７で現在の巡回位置での巡回時間が終了する前に、ユーザが入力装置９を介して監視停止指令を行うと（ステップＳ１２０８）、ディスプレイ８は初期画面である選択メニューを表示する（ステップＳ１２０９）。
【００３８】
ステップＳ１２０７で現在の巡回位置での巡回時間が終了した場合、ステップＳ１２０３に戻り次に巡回すべき監視エリアを監視するよう各カメラの視野を制御する（ステップＳ１２０３〜Ｓ１２０６）。
【００３９】
ステップＳ１２０７で現在の巡回位置での巡回時間が終了する前に、指示部１０がユーザから監視停止指令を受けていない場合、ステップＳ１２１０に進む。ステップＳ１２１０では、現在の巡回位置での巡回中、各カメラ４のカメラ状態管理部２４の「画像・センサ異常検出情報」の確認を行う。
【００４０】
詳しくは、図１３のサブルーチンを参照して、まずステップＳ１３０１で、指示部１０は、各カメラ４のカメラ状態管理部２４の「画像異常検出情報」を順次参照する。ステップＳ１３０２で、あるカメラ４が異常を検出したことを確認した場合、フローはステップＳ１３０３に進む。ステップＳ１３０２に関して、各カメラの監視フローは図１３を用いて後述する。ステップＳ１３０３で、異常が検出されたカメラが現在監視しているエリアを「集中監視エリア」として設定するとともに、このカメラを「基準カメラ」として設定し、異常検出情報の確認のフローを終了する。
【００４１】
ステップＳ１３０２で異常が検出されない場合、フローはステップＳ１３０４に進む。ステップＳ１３０４で、指示部１０は、各カメラ４内のカメラ状態管理部２４の「（エリア内）センサ異常検出情報」を順次参照するとともに、センサ状態管理部３２の「エリア外センサ異常検出情報」を参照する。
【００４２】
ステップＳ１３０５で異常が検出されると、フローはステップＳ１３０６に進む。ステップＳ１３０６で、指示部１０は、センサ・監視エリア情報記憶部１６に記憶された監視エリアの情報を参照して、検出されたセンサが配置された監視エリアを「集中監視エリア」として設定し、異常検出情報の確認のフローを終了する。
【００４３】
ステップＳ１３０５で異常が検出されない場合、フローはステップＳ１３０７に進む。ステップＳ１３０７で、指示部１０は、複数カメラ状態管理部１４で管理される各カメラ４の「ユーザ選択情報」を参照する。
【００４４】
ステップＳ１３０８でユーザによるカメラ４の選択を検出した場合、フローはステップＳ１３０９に進む。ステップＳ１３０９で、指示部１０は、ユーザが選択したカメラが現在監視しているエリアを「集中監視エリア」として設定するとともに、このカメラを「基準カメラ」として設定し、異常検出情報の確認のフローを終了する。
【００４５】
ステップＳ１３０８でユーザによるカメラ４の選択を検出しない場合、異常検出情報の確認のフローを終了する。
【００４６】
図１４は、各カメラの監視フローを示す。まず、ステップＳ１４０１で、各カメラ４は、指示部１０から監視方法及び監視エリアへの視野制御の指令を受け、アクチュエータ２０はカメラ視野を監視エリアに向け、画像異常検出部２２は監視を開始する。ステップＳ１４０２で、あるカメラ４の画像異常検出部２２が画像上の異常を検出した場合、ステップＳ１４０３に進み、当該カメラ４のカメラ状態管理部２４の「画像異常検出情報」に異常が存在することを記録し、監視フローを終了する。上述したように、各カメラ４の「画像異常検出情報」は画像上の異常の発見を目的として指示部１０が適宜参照するためのものである。ステップＳ１４０２で、画像異常検出部２２が画像上の異常を検出しない場合、フローはステップＳ１４０４に進む。ステップＳ１４０４で、各カメラ４が、対応する監視エリアのセンサから信号を受信した場合（例えば、カメラ４Ｂが監視エリアＥ２のセンサＳ２から信号を受信した場合）、ステップＳ１４０３に進み、当該カメラ４のカメラ状態管理部２４の「センサ異常検出情報」に異常が存在することを記録し、監視フローを終了する。上述したように、各カメラ４の「センサ異常検出情報」はセンサによる異常の発見を目的として指示部１０が適宜参照するためのものである。なお、ステップＳ１４０４で、各カメラ４が、対応する監視エリアのセンサから信号を受信しない場合、ステップＳ１４０２に戻り、画像異常検出部２２による画像上の異常検出が行われる。
【００４７】
図１２に戻って、ステップＳ１２１１では、ステップＳ１２１０で集中監視エリアの設定がされない場合、ステップＳ１２０３に戻り次に巡回すべき監視エリアを監視するよう各カメラの視野を制御する（ステップＳ１２０３〜Ｓ１２０６）。
【００４８】
ステップＳ１２１１で、ステップＳ１２１０で集中監視エリアの設定がされた場合、ステップＳ１２１２に進み集中監視制御フローを開始する。
【００４９】
図１４のサブルーチンを参照して集中監視制御フローを説明する。以下の説明では、監視エリアＥ４が「集中監視エリア」として設定されたとする。
【００５０】
まず、ステップＳ１５０１で、設定された集中監視エリアＥ４への視野制御を行うカメラＮを選択する。カメラＮは、図１２の異常検出情報の確認のフローで「基準カメラ」が設定された場合（すなわち、カメラ４で得た画像上の異常を検出した場合、あるいはユーザがディスプレイ８を見て集中監視エリアを指示した場合）、基準カメラを除く３つのカメラのいずれかであり、「基準カメラ」が設定されない場合（すなわち、センサが異常を検出した場合）、４つのカメラのいずれかである（但し、センサが異常を検出した監視エリアをいずれかのカメラが監視していた場合は、このカメラを除く。）。
【００５１】
ステップＳ１５０２で、指示部１０は、複数カメラ状態管理部１４に管理される情報を参照し、カメラＮを集中監視エリアＥ４に向かせる視野情報にしたがって、集中監視エリアへの視野制御をカメラＮのアクチュエータ２０に指示する。ステップＳ１５０１、Ｓ１５０２を残りのカメラについても行い、全てのカメラ４に集中監視エリアＥ４を監視させ（ステップＳ１５０３）（図１８に示すように、ディスプレイ８に表示させる映像は、全て監視エリアＥ４に切り替わる。）、集中監視制御フローを終了する。
【００５２】
図１２に戻って、集中監視制御フロー終了後、複数カメラ４による追尾フローを開始する（ステップＳ１２１３）。
【００５３】
図１６のサブルーチンを参照して追尾フローを説明する。ステップＳ１６０１で、集中監視エリアＥ４の設定が基準カメラで得た画像の色検出に基づく場合、ステップＳ１６０２に進み、追尾時の対象検出方法を色検出に設定する（すなわち、残りのカメラの異常検出方法を色検出に設定する。）。ステップＳ１６０１で、集中監視エリアＥ４の設定が基準カメラで得た画像の色検出以外に基づく場合（すなわち、基準カメラで得た画像の動体検出に基づく場合、監視エリアＥ４のセンサＳ４の異常検出に基づく場合、及びユーザが集中監視エリアを指示した場合）、ステップＳ１６０３に進み、追尾時の対象検出方法を動体検出に設定する（すなわち、全てのカメラの異常検出方法を動体検出に設定する。）。
【００５４】
ステップＳ１６０４で、指示部１０は、ステップＳ１６０２又はＳ１６０３で設定した追尾方法での追尾の開始を各カメラ４に指示する。ステップＳ１６０５でユーザが入力装置９を介して追尾停止を指示しない限り、ステップＳ１６０６に進み、指示部１０は、各カメラのカメラ状態管理部２４の「追尾実行情報」を参照し、各カメラが現在追尾を行っているか否かを確認する。ステップＳ１６０７で一台でも追尾中のカメラがある場合は追尾を続行し、全てのカメラが追尾を停止した場合、追尾フローを終了する。なお、その後は、図１２に示すようにステップＳ１２０３に戻って、システムは複数カメラによる巡回監視を再開する。ステップＳ１６０５でユーザが追尾終了を指示した場合も、システムは追尾動作を終了し、複数カメラによる巡回監視を再開する。
【００５５】
図１７は、各カメラ４の追尾フローを示す。ステップＳ１７０１で、各カメラ４は、指示部１０から追尾方法の指令を受け追尾を開始する。ステップＳ１７０２で、各カメラ４のカメラ情報管理部２４の「追尾実行情報」に追尾開始を記録する。ステップＳ１７０３で、追尾対象を見失う（すなわち画角外に追尾対象が移動した場合）まで、あるいは設定時間記憶部１８に記憶された追尾実行時間を過ぎるまで、追尾を行う。ステップＳ１７０４で追尾を停止し、ステップＳ１７０５で各カメラ４のカメラ情報管理部２４の「追尾実行情報」に追尾停止を記録し、各カメラでの追尾フローを終了する。
【００５６】
以上、本発明に係る具体的な実施形態を説明したが、本発明はこれらに限らず、種々改変可能である。例えば、カメラ４内に搭載された画像異常検出部２２及びカメラ状態管理部２４は制御部６側に設けてもよい。
【００５７】
また、上記実施形態では、選択メニューとして監視モードと設定モードが分けて用意されていたが、監視モード中にユーザによる検出色の設定指令を受け付け強制的に色監視を行うことができるようにしてもよい。
【００５８】
図１９は、巡回監視中に検出色を設定し、この検出色で監視、追尾を行うための処理の一例を示すフローチャートである。図２も参照して、ステップＳ１９０１でシステム２が巡回監視を行っている状態（図１２のステップＳ１２０３〜Ｓ１２１１）で、ステップＳ１９０２でユーザが検出色設定指示を指示部１０に行った場合、フローはステップＳ１９０３に進む。ステップＳ１９０３で検出色の設定を行う。検出色の設定は、例えば図８、９を用いて説明したのと同様の方法で行われ、検出色の情報は検出色記憶部３４に記録される。
【００５９】
ステップＳ１９０４で、指示部１０は、各カメラ４の監視方法を色検出に設定する。ステップＳ１９０５で、各カメラは、検出色記憶部３４に記録された検出色情報に基づいて、検出色を有する対象物（例えば子供）が画角に入れば追尾を開始し、画角から出れば追尾を停止する。
【００６０】
ステップＳ１９０６で、ステップＳ１９０３で設定した検出色による監視をユーザが強制的に終了させた場合、ステップＳ１９０７で、各カメラの視野はステップＳ１９０２で検出色設定指示を受ける前の巡回監視時の状態に戻るとともに、ステップＳ１９０８で各カメラの監視方法は巡回監視時の状態に戻る。なお、本フローでは、ステップ１９０６でユーザが検出色監視の強制終了を行う場合に限ってシステムは巡回監視の状態に戻るが、検出色監視の開始（ステップＳ１９０３の検出色設定後）から一定時間経過後に巡回監視時の状態に戻るようにしてもよい。
【００６１】
【発明の効果】
本発明によれば、静止画状態で監視対象に関する情報（例えば色情報）の指定ができ、したがってユーザにとって使い勝手のよい監視カメラシステムを提供できる。
【図面の簡単な説明】
【図１】 本発明に係る監視カメラシステムの一実施形態を示す概略図。
【図２】 図１の監視カメラシステムの制御ブロック図。
【図３】 （ａ）システム起動時の表示画面を示す図。（ｂ）設定メニュー画面を示す図。
【図４】 （ａ）各カメラに割り当てる表示ブロックを固定して切替えを行う場合の表示画面を示す図。（ｂ）各監視エリアに割り当てる表示ブロックを固定して切替えを行う場合の表示画面を示す図。
【図５】 図２の複数カメラ状態管理部に管理される情報を示す図。
【図６】 各カメラの構成を示す図。
【図７】 検出色の設定プロセスの第１の部分を示すフローチャート。
【図８】 検出色の設定プロセスの第２の部分を示すフローチャート。
【図９】 検出色の設定プロセスでの表示画面を示す図。
【図１０】 検出色の設定プロセスの別の例の第１の部分を示すフローチャート。
【図１１】 検出色の設定プロセスの別の例の第２の部分を示すフローチャート。
【図１２】 図１の監視カメラシステムを用いた監視・追尾プロセス全体を示すフローチャート。
【図１３】 図１２のステップＳ１２１０の異常検出情報確認のサブルーチンを示すフローチャート。
【図１４】 各カメラの監視動作を示すフローチャート。
【図１５】 図１２のステップＳ１２１２の集中監視制御のサブルーチンを示すフローチャート。
【図１６】 図１２のステップＳ１２１３の追尾動作のサブルーチンを示すフローチャート。
【図１７】 各カメラの追尾動作を示すフローチャート。
【図１８】 集中監視制御フローにおいて、表示画面の切替えの様子を示す図。
【図１９】 巡回監視中に強制的に検出色監視を行わせるための処理の一例を示すフローチャート。
【符号の説明】
２：監視カメラシステム、４Ａ〜４Ｄ：カメラ、Ｅ１〜Ｅ４：監視エリア、Ｓ１〜Ｓ４：センサ。
【発明の属する技術分野】
本発明は、監視カメラシステムに関する。本発明はまた、監視カメラシステムの制御プログラムに関する。
【０００２】
【従来の技術】
現在、監視カメラの機能として、特定の色を発見したり追尾する機能が望まれている。このような機能は、例えば、赤い服を着た幼児が危険な場所に入ることを検出したり、学校や保育園に設けた監視カメラで子供の服の色を追尾することにより、親が子供の行動を家庭や会社でモニタできる点で有用である。
【０００３】
【発明が解決しようとする課題】
しかしながら、特定の色の検出や追尾のためには、対象となる色を予め記憶する必要がある。色の指定にはサンプル色から選択する方法があるが、実際の色と一致するサンプル色を選択するのは一般に困難である。
【０００４】
そこで、本発明は、色情報など監視対象に関する情報を簡便に指定できる監視カメラシステムを提供することを目的とする。
【０００５】
本発明はまた、色情報など監視対象に関する情報を簡便に指定できる監視カメラシステムの制御プログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る監視カメラシステムの第１の形態は、
カメラと、
カメラで撮影した動画像を表示する手段と、
上記表示手段に表示させた動画像のうちの、ユーザの第１の指定により指定された指定点が、画角の中央に来るように上記カメラの姿勢制御を行う手段と、
上記カメラ姿勢制御手段により画角の中央に来た指定点を中心として動画像を拡大する手段と、
上記拡大手段に拡大させた動画像を静止画像に切り替える手段と、
上記静止画上でユーザの第２の指定により指示された監視対象に関する情報を記憶する手段と、
カメラで撮影した画像と、上記記憶手段により記憶された上記監視対象に関する情報とを比較することにより、カメラで撮影した画像上で監視対象を検出する検出手段とを備えることを特徴とする。
【０００７】
かかるシステムでは、静止画状態で監視対象に関する情報の指定ができるので、ユーザは容易に指定を行うことができる。なお、検出手段により監視対象を検出するために用いる撮影画像は、動画に限らず静止画でもよい。
【０００８】
監視対象に関する情報として色情報が最も好適であるが、監視対象に関する情報の種類は本発明を限定するものではない。例えば、人の顔の指定をすることも可能である。
【０００９】
本発明に係る監視カメラシステムの第２の形態は、
複数のカメラと、
少なくとも一つのカメラで撮影した動画像を表示する手段と、
上記表示手段に表示させた動画像のうちの、ユーザの第１の指定により指定された指定点が、画角の中央に来るように、表示された動画像を撮影するカメラの姿勢制御を行う手段と、
上記カメラ姿勢制御手段により画角の中央に来た指定点を中心として動画像を拡大する手段と、
上記拡大手段に拡大させた動画像を静止画像に切り替える手段と、
上記静止画上でユーザの第２の指定により指示された監視対象に関する情報を記憶する手段と、
複数のカメラで撮影した画像と、上記記憶手段により記憶された上記監視対象に関する情報とを比較することにより、複数のカメラで撮影した画像上で監視対象を検出する検出手段とを備えることを特徴とする。
【００１０】
かかるシステムでは、一つのカメラで撮影した静止画上で指定した監視対象に関する情報（例えば色情報）を利用して、他のカメラで撮影した画像上でも監視対象を検出できる。
【００１１】
本発明に係る制御プログラムの第１の態様は、
カメラと、該カメラで撮影した動画像を表示する手段とを備えた監視カメラシステムの制御プログラムにおいて、
上記表示手段に表示させた動画像のうちの、ユーザの第１の指定により指定された指定点が、画角の中央に来るようにカメラの姿勢制御を行い、
上記のカメラの姿勢への制御により画角の中央に来た指定点を中心として動画像を拡大し、
拡大された動画像を静止画像に切り替え、
上記静止画上でユーザの第２の指定により指示された監視対象に関する情報を記憶し、
カメラで撮影した画像と上記監視対象に関する情報とを比較することにより、カメラで撮影した画像上で監視対象を検出することを特徴とする。
【００１２】
本発明に係る制御プログラムの第２の態様は、
複数のカメラと、少なくとも一つのカメラで撮影した動画像を表示する手段とを備えた監視カメラシステムの制御プログラムにおいて、
上記表示手段に表示させた動画像のうちの、ユーザの第１の指定により指定された指定点が、画角の中央に来るように、表示された動画像を撮影するカメラの姿勢制御を行い、
上記のカメラの姿勢への制御により画角の中央に来た指定点を中心として動画像を拡大し、
拡大された動画像を静止画像に切り替え、
上記静止画上でユーザの第２の指定により指示された監視対象に関する情報を記憶し、
複数のカメラで撮影した画像と上記監視対象に関する情報とを比較することにより、複数のカメラで撮影した画像上で監視対象を検出することを特徴とする。
【００１３】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施の形態を説明する。
【００１４】
本発明に係る監視カメラシステムは、少なくとも一つのカメラとカメラで撮影した映像を表示する表示部とを備え、監視中に表示部に動画表示を行い、監視対象色を設定する際に動画を静止画に切替え、ユーザが静止画上で色指定を行うためのものである。図１は、このような機能を実現するための本発明に係る監視カメラシステムの一実施形態を示す概略図である。図２は、図１の監視カメラシステムの制御ブロック図である。
【００１５】
具体的に、監視カメラシステム２は、概略、一つ又はそれ以上（図の例では４つ）の監視エリアＥ１〜Ｅ４を監視するための一つ又はそれ以上（図の例では４つ）の監視カメラ装置４（４Ａ、４Ｂ、４Ｃ、４Ｄ）（以下、単にカメラと称する。）と、複数のカメラ４による監視・追尾、検出色の設定などの処理を行うプログラムを搭載した制御部６と、各監視エリアＥ１〜Ｅ４内にそれぞれ設けられたセンサＳ１〜Ｓ４と、４つのカメラ４の監視映像を同時に表示することのできるディスプレイ８と、制御部６に対しユーザが適当な指示を入力するための入力装置９とを備える。各カメラ４は、後述するように、制御部６からの指示により、監視エリアＥ１〜Ｅ４を巡回する通常監視動作、特定の監視エリアで異常を検出した場合にそのエリアを集中的に監視する集中監視動作、及び対象物の追尾を行う追尾動作のいずれかを行う。
【００１６】
制御部６は、各カメラ４の視野制御を行う指示部１０と、カメラ４から送信された画像を処理する画像処理部１２と、各カメラ４に関連する各種情報を管理するための複数カメラ状態管理部１４と、センサＳ１〜Ｓ４に対応づけられた監視エリアＥ１〜Ｅ４の情報（例えば、センサＳ３は監視エリアＥ３内にあるという情報）を記憶するセンサ・監視エリア情報記憶部１６と、巡回時間、追尾実行時間、走査時間（これらは後述する。）などユーザが入力装置９を介して設定した各種時間を記憶する設定時間記憶部１８とを含む。カメラ４から画像処理部１２に画像データが送られると、画像記憶部１９に記憶される。画像記憶部１９内のデータに基づいて画像処理部１２からディスプレイ８に動画像データあるいは静止画像データが送信されるようになっている。
【００１７】
ディスプレイ８は、図３（ａ）に示すように、システム起動時に、システム２に監視を行わせる監視モードと各種設定を行うための設定モードのいずれかをユーザが選択できるよう選択メニュー画面が表示される。設定モードとして、図３（ｂ）に示すように、監視エリアとしてユーザが任意のエリアを選択し、この監視エリアを画角が捉えるようカメラの視野を設定するための「監視エリアの設定］メニュー、各カメラをどのような順序で巡回させるかを設定するための「巡回順の設定」メニュー、各監視エリアでの巡回時間を設定する「巡回時間の設定」メニュー、及び監視エリアの異常を検出するのに色検出を用いる場合に検出色を設定するための「検出色の設定」メニューが用意されている。監視エリア、巡回順、及び巡回時間の設定に関しては、本出願人により本願と同日に出願された「監視カメラシステム及び監視カメラシステムの制御プログラム」で詳細に説明されており、本願では説明しない。
【００１８】
監視モードにおいて、ディスプレイ８上で４分割されたブロックに表示させる画像の巡回による切替えは、図４（ａ）に示すように各カメラに割り当てる表示ブロックを固定して行ってもよいし（例えばカメラ４Ａで撮影される映像は常に左上のブロックに表示する。）、あるいは、図４（ｂ）に示すように各監視エリアに割り当てる表示ブロックを固定して行ってもよい（例えば監視エリアＥ１を撮影する映像は常に左上のブロックに表示する。）。なお、図４に示す巡回方法は、各カメラが同じ監視エリアを監視しないよう同期巡回させる場合であるが、各カメラが監視エリアを各々独立して巡回させるようにしてもよい。
【００１９】
複数カメラ状態管理部１４で管理される情報には、図５に示すように、カメラ４毎に、システム内でのカメラ４の設置位置の座標、各監視エリアＥｉ（ｉ＝１〜４）に関する下記の情報、カメラ４の現在の視野、ユーザが入力装置９を介して当該カメラ４の選択指示があった場合に選択情報を示すユーザ選択情報などが含まれる。監視エリアＥｉの情報には、該エリアＥｉを画角に捉えるためのカメラ４の視野情報、監視エリアＥｉを監視するための方法、監視エリアＥｉの巡回順を示す番号「ｎ」（ｎ＝１〜４）（例えば、カメラ４Ａは、一巡回当たり監視エリアＥ３を「２」番目に監視する。）が含まれる。監視エリアＥｉを画角に捉えるための各カメラ４の視野情報は、設定モードにおいて設定される。監視方法は、ユーザが「色検出の設定」メニューで検出色を設定しない限り、動体検出が選択されるようになっている。
【００２０】
各カメラ４は、追尾機能及びズーム機能を有するパン・チルトカメラであり、図６に示すように、指示部１０からの指示によりパン・チルト角及び撮影倍率を変更するアクチュエータ２０と、カメラ４で撮影した画像上で異常を検出する画像異常検出部２２と、カメラに関連する各種情報を管理するためのカメラ状態管理部２４とを備える。本願では、カメラの視野制御には、必要に応じて撮影倍率を変更するための制御も含む。各カメラ４には、ある監視エリアＥ１〜Ｅ４のセンサＳ１〜Ｓ４からの信号を受信するための入力端子（図示せず）が設けてある。センサの検出信号は、カメラの上記入力端子を介してカメラ状態管理部２４に送信されるようにしてある。なお、センサの検出信号は指示部１０に直接送信されるようにしてもよい。図１の例では、センサＳ１〜Ｓ４からの信号は、それぞれカメラ４Ａ〜４Ｄに送信される。
【００２１】
画像異常検出部２２は、画像フレームの差分に基づいて画像上の移動物体を検出する動体検出部２６と、設定モードで設定された色を画像上で検出する色検出部２８と、カメラ４のレンズが何らかで覆われたことを検出するレンズ覆い検出部３０とを有する。
【００２２】
各カメラ４のカメラ状態管理部２４で管理される情報には、画像異常検出部２２で異常を検出したか否かを示す「画像異常検出情報」、該カメラ４に検出信号を送信するセンサＳで異常を検出したか否かを示す「センサ異常検出情報」、カメラ４が追尾を行っているか否かを示す「追尾実行情報」などが含まれる。これらの情報は、後述するように指示部１０により適宜参照される。
【００２３】
センサは監視エリア以外にも設置してもよい。すなわち、カメラ４の通常の巡回では映さないエリアにもセンサ（図の例ではエリアＥ５、Ｅ６内にＳ５、Ｓ６の２つ）（以下、監視エリア外センサという。）を設け、このセンサで異常を検出した場合に、カメラ４が異常を検出したエリアを集中的に撮影するようにする。監視エリア外センサに対応して、制御部６には、該センサで異常を検出したか否かを示す「エリア外センサ異常検出情報」を管理するセンサ状態管理部３２が設けられる。
【００２４】
入力装置９には、検出色の決定を行うカメラを選択する選択キー、動画像を静止画像に切替える切替キー、指定した候補色を検出色として決定したり決定を解除するための決定・解除キー、ディスプレイ８上でカーソルを移動させるマウスなどが含まれる。検出色の設定時、画像処理部１２は、選択キーによりいずれかのカメラが選択されると、選択されたカメラの動画像のみをディスプレイ８上に拡大して表示するようにしてある。続いて切替キーを押すと、画像処理部１２は、動画像を静止画像に切替えるようになっている。さらに静止画像の任意の点をカーソルで指定して、マウスをクリックすると、指定点の色が、指定点の色の近似色と合わせて、指定色として点滅表示されるようになっている。さらに決定キーによる操作により、指定色が、ディスプレイ制御部６の検出色記憶部３４に検出色として記憶されるようになっている。画像記憶部１９に記憶された動画像データ及び静止画像データは、例えばＹＵＶ形式の色データを０〜２５５の２５６段階（８ビット）で表わしたデジタルデータである。画像処理部１２は、カーソルで指定した点の周辺画素（例えば１０画素）の色データを抽出し、近似色のデータと合わせて、検出色データとして検出色記憶部３４に記憶させるようになっている。例えば、カーソルで指定した色のデータがＹ：１５０、Ｕ：７０、Ｖ：８０の場合、画像処理部１２は、例えば近似幅３０として、上限及び下限すなわちＹ：（１３５、１６５）、Ｕ：（５５、８５）、Ｖ：（６５、９５）を検出色記憶部３４に記憶させる。なお、色の表記形式として他の形式、例えばＲＧＢ形式を用いた場合も同様である。
【００２５】
後述するように、入力装置９の選択キーは、監視モードにおいて、ディスプレイ８に表示される映像に基づいて集中監視エリアを指示部１０に指示するためにも用いられる。このとき、指示部１０は、特定のカメラに映し出されていた監視エリアに対し、複数のカメラで集中監視させるようカメラの視野を制御する。入力装置９にはさらに、監視モードにおいて監視、追尾動作を強制的に終了させる強制終了キーも含まれる。
【００２６】
次に、検出色の設定を行うための処理の一例を示すフローチャートである図７、８、及び、検出色の設定時にディスプレイ８上に表示される画面を示す図９を参照して、検出色の設定方法を説明する。以下では、子供の服の色を検出色として設定するものとして説明する。まず、ステップＳ１で、設定メニューから「検出色の設定」を選択する。ステップＳ２で、ユーザは入力装置９を介して検出色を設定するカメラ（４Ａ〜４Ｄのいずれか）を選択し、選択したカメラが撮影する動画像をディスプレイ８に表示させる。ステップＳ３で、ユーザは、入力装置９を介して目的の色対象である子供の服を捉えるよう選択カメラの視野制御を行う。
【００２７】
ステップＳ４で、ユーザが表示画面上の任意の点をカーソルＣで指定した場合［図９（ａ）］、ステップＳ５で、指示部１０は、この指定点が画角の中心にくるように選択カメラの姿勢制御を行う［図９（ｂ）］。色対象を表示画面の略中央に移動させるのは、ステップＳ６でズームアップをしても色対象が表示画面から外れないようにするためである。
【００２８】
ステップＳ６で、指示部１０は、撮影倍率を変更して指定点を中心として画像を拡大させ、画像処理部１２は、動画表示を停止してディスプレイ８に静止画を表示させる［図９（ｃ）］。このように静止画面を表示させることで、ユーザは検出色の指定を容易に行うことができる。また、画面を拡大させることで、ユーザが検出色の指定をさらに容易に行うことができる。ステップＳ７で、ユーザが静止画面上で子供の服の一部をカーソルＣで指定した場合、フローは図８のステップＳ８に進む。ステップＳ８、Ｓ９で、画像処理部１２は、指定点の周辺画素の色と指定点の周辺画素の色の近似色を合わせて指定色として、指定色のデータを検出色記憶部３４に一時的に記憶させる。このように、カーソルで指定した色に幅を持たせることで、子供の服が均一な色を有していなくても服の一部だけでなく子供の服全体を色対象として設定することが可能となる。
【００２９】
ステップＳ１０で、画像処理部１２は、指定点周辺の指定色を点滅表示させる。ステップＳ１１で、ユーザが入力装置９を介して点滅表示された指定色を検出色として決定指示を行った場合、ステップＳ１２に進み、検出色記憶部３４に一時的に記憶させておいた指定色のデータは、検出色のデータとして記憶される。この検出色のデータは、システム２が監視や追尾を行う際に指示部１０により参照される。
【００３０】
画像処理部１２は、ステップＳ１３で、ステップＳ６で変更した撮影倍率を元に戻し、ステップＳ１４で静止画像から動画像に切替え、検出色の設定フローが終了する。
【００３１】
ステップＳ７でユーザが静止画面上で一定時間で指定を行わない場合（ステップＳ１５）、ステップＳ１３に進み、撮影倍率の初期化及び動画への切替えが行われる。
【００３２】
ステップＳ１１で、ユーザが入力装置９を介して点滅表示された指定色を解除する場合、ステップＳ７に戻り、静止画面上での色指定待機状態に戻る。
【００３３】
上記検出色の設定方法では、検出色を有する色対象のほか、背景に含まれる同一色の物体も監視対象になりうるが、色検出とともに動体検出を行うようにすれば、検出色を有する移動物体のみを監視できる。
【００３４】
図１０、１１は、図７、８に示す検出色の設定方法の変形例を示すフローチャートである。図７のステップＳ６では、指示部１０が撮影倍率を変更して指定点を中心として画像を拡大させ後で、画像処理部１２が動画表示を停止してディスプレイ８に静止画を表示させたが、図１０のステップＳ６’では、画像処理部１２は、動画像から静止画像に切り替えた後で、指定点を中心として静止画像データを切出し、拡大する。この場合、図８のステップＳ１３に対応して指示部１０はカメラの撮影倍率を変更する必要はなく、図１１に示すように、ステップＳ１２で検出色記憶部３４に検出色を記憶した後、ステップＳ１４に進み静止画像から動画に切替わる。
【００３５】
図１２〜図１７は、本実施形態に係る監視カメラシステムにより監視を行うための処理の一例を示すフローチャートである。具体的には、複数の監視エリアのいずれかで異常を検出した場合に、複数のカメラの視野を制御して、同じ監視エリアを複数のカメラで多方向から監視するためのものである。図１、２、５、６も参照して、まず、ステップＳ１２０１でシステムを起動してディスプレイ８に選択メニューを表示させる。ステップＳ１２０２でディスプレイ８に表示した選択メニューから監視モードを選択し、ディスプレイ８に監視映像を表示させる。
【００３６】
指示部１０は、ステップＳ１２０３で、視野制御を行うカメラＮ（＝４Ａ、４Ｂ、４Ｃ、４Ｄ）を選択し、ステップＳ１２０４で、カメラＮに関して複数カメラ状態管理部１４で管理された各監視エリアの「巡回順番号」及び「カメラの視野情報」を参照し、これらの情報に従いカメラＮのアクチュエータ２０を制御し、これによりカメラＮの視野に最初に巡回すべき監視エリアが入るようにする。ステップＳ１２０５で、指示部１０は、カメラＮに関して複数カメラ状態管理部１４で管理された各監視エリア情報の「監視方法（動体検出又は色検出）の情報」を参照し、この情報に従いカメラＮに監視方法を指示する。カメラＮ以外のカメラの視野・監視方法の指示が終了するまで、ステップＳ１２０３〜Ｓ１２０５が繰り返される（ステップＳ１２０６）。全カメラの視野・監視方法の指示が終了する（すなわち、各カメラが最初に巡回すべき監視エリアの撮影を開始する。）と、フローはステップＳ１２０７に進む。
【００３７】
ステップＳ１２０７で現在の巡回位置での巡回時間が終了する前に、ユーザが入力装置９を介して監視停止指令を行うと（ステップＳ１２０８）、ディスプレイ８は初期画面である選択メニューを表示する（ステップＳ１２０９）。
【００３８】
ステップＳ１２０７で現在の巡回位置での巡回時間が終了した場合、ステップＳ１２０３に戻り次に巡回すべき監視エリアを監視するよう各カメラの視野を制御する（ステップＳ１２０３〜Ｓ１２０６）。
【００３９】
ステップＳ１２０７で現在の巡回位置での巡回時間が終了する前に、指示部１０がユーザから監視停止指令を受けていない場合、ステップＳ１２１０に進む。ステップＳ１２１０では、現在の巡回位置での巡回中、各カメラ４のカメラ状態管理部２４の「画像・センサ異常検出情報」の確認を行う。
【００４０】
詳しくは、図１３のサブルーチンを参照して、まずステップＳ１３０１で、指示部１０は、各カメラ４のカメラ状態管理部２４の「画像異常検出情報」を順次参照する。ステップＳ１３０２で、あるカメラ４が異常を検出したことを確認した場合、フローはステップＳ１３０３に進む。ステップＳ１３０２に関して、各カメラの監視フローは図１３を用いて後述する。ステップＳ１３０３で、異常が検出されたカメラが現在監視しているエリアを「集中監視エリア」として設定するとともに、このカメラを「基準カメラ」として設定し、異常検出情報の確認のフローを終了する。
【００４１】
ステップＳ１３０２で異常が検出されない場合、フローはステップＳ１３０４に進む。ステップＳ１３０４で、指示部１０は、各カメラ４内のカメラ状態管理部２４の「（エリア内）センサ異常検出情報」を順次参照するとともに、センサ状態管理部３２の「エリア外センサ異常検出情報」を参照する。
【００４２】
ステップＳ１３０５で異常が検出されると、フローはステップＳ１３０６に進む。ステップＳ１３０６で、指示部１０は、センサ・監視エリア情報記憶部１６に記憶された監視エリアの情報を参照して、検出されたセンサが配置された監視エリアを「集中監視エリア」として設定し、異常検出情報の確認のフローを終了する。
【００４３】
ステップＳ１３０５で異常が検出されない場合、フローはステップＳ１３０７に進む。ステップＳ１３０７で、指示部１０は、複数カメラ状態管理部１４で管理される各カメラ４の「ユーザ選択情報」を参照する。
【００４４】
ステップＳ１３０８でユーザによるカメラ４の選択を検出した場合、フローはステップＳ１３０９に進む。ステップＳ１３０９で、指示部１０は、ユーザが選択したカメラが現在監視しているエリアを「集中監視エリア」として設定するとともに、このカメラを「基準カメラ」として設定し、異常検出情報の確認のフローを終了する。
【００４５】
ステップＳ１３０８でユーザによるカメラ４の選択を検出しない場合、異常検出情報の確認のフローを終了する。
【００４６】
図１４は、各カメラの監視フローを示す。まず、ステップＳ１４０１で、各カメラ４は、指示部１０から監視方法及び監視エリアへの視野制御の指令を受け、アクチュエータ２０はカメラ視野を監視エリアに向け、画像異常検出部２２は監視を開始する。ステップＳ１４０２で、あるカメラ４の画像異常検出部２２が画像上の異常を検出した場合、ステップＳ１４０３に進み、当該カメラ４のカメラ状態管理部２４の「画像異常検出情報」に異常が存在することを記録し、監視フローを終了する。上述したように、各カメラ４の「画像異常検出情報」は画像上の異常の発見を目的として指示部１０が適宜参照するためのものである。ステップＳ１４０２で、画像異常検出部２２が画像上の異常を検出しない場合、フローはステップＳ１４０４に進む。ステップＳ１４０４で、各カメラ４が、対応する監視エリアのセンサから信号を受信した場合（例えば、カメラ４Ｂが監視エリアＥ２のセンサＳ２から信号を受信した場合）、ステップＳ１４０３に進み、当該カメラ４のカメラ状態管理部２４の「センサ異常検出情報」に異常が存在することを記録し、監視フローを終了する。上述したように、各カメラ４の「センサ異常検出情報」はセンサによる異常の発見を目的として指示部１０が適宜参照するためのものである。なお、ステップＳ１４０４で、各カメラ４が、対応する監視エリアのセンサから信号を受信しない場合、ステップＳ１４０２に戻り、画像異常検出部２２による画像上の異常検出が行われる。
【００４７】
図１２に戻って、ステップＳ１２１１では、ステップＳ１２１０で集中監視エリアの設定がされない場合、ステップＳ１２０３に戻り次に巡回すべき監視エリアを監視するよう各カメラの視野を制御する（ステップＳ１２０３〜Ｓ１２０６）。
【００４８】
ステップＳ１２１１で、ステップＳ１２１０で集中監視エリアの設定がされた場合、ステップＳ１２１２に進み集中監視制御フローを開始する。
【００４９】
図１４のサブルーチンを参照して集中監視制御フローを説明する。以下の説明では、監視エリアＥ４が「集中監視エリア」として設定されたとする。
【００５０】
まず、ステップＳ１５０１で、設定された集中監視エリアＥ４への視野制御を行うカメラＮを選択する。カメラＮは、図１２の異常検出情報の確認のフローで「基準カメラ」が設定された場合（すなわち、カメラ４で得た画像上の異常を検出した場合、あるいはユーザがディスプレイ８を見て集中監視エリアを指示した場合）、基準カメラを除く３つのカメラのいずれかであり、「基準カメラ」が設定されない場合（すなわち、センサが異常を検出した場合）、４つのカメラのいずれかである（但し、センサが異常を検出した監視エリアをいずれかのカメラが監視していた場合は、このカメラを除く。）。
【００５１】
ステップＳ１５０２で、指示部１０は、複数カメラ状態管理部１４に管理される情報を参照し、カメラＮを集中監視エリアＥ４に向かせる視野情報にしたがって、集中監視エリアへの視野制御をカメラＮのアクチュエータ２０に指示する。ステップＳ１５０１、Ｓ１５０２を残りのカメラについても行い、全てのカメラ４に集中監視エリアＥ４を監視させ（ステップＳ１５０３）（図１８に示すように、ディスプレイ８に表示させる映像は、全て監視エリアＥ４に切り替わる。）、集中監視制御フローを終了する。
【００５２】
図１２に戻って、集中監視制御フロー終了後、複数カメラ４による追尾フローを開始する（ステップＳ１２１３）。
【００５３】
図１６のサブルーチンを参照して追尾フローを説明する。ステップＳ１６０１で、集中監視エリアＥ４の設定が基準カメラで得た画像の色検出に基づく場合、ステップＳ１６０２に進み、追尾時の対象検出方法を色検出に設定する（すなわち、残りのカメラの異常検出方法を色検出に設定する。）。ステップＳ１６０１で、集中監視エリアＥ４の設定が基準カメラで得た画像の色検出以外に基づく場合（すなわち、基準カメラで得た画像の動体検出に基づく場合、監視エリアＥ４のセンサＳ４の異常検出に基づく場合、及びユーザが集中監視エリアを指示した場合）、ステップＳ１６０３に進み、追尾時の対象検出方法を動体検出に設定する（すなわち、全てのカメラの異常検出方法を動体検出に設定する。）。
【００５４】
ステップＳ１６０４で、指示部１０は、ステップＳ１６０２又はＳ１６０３で設定した追尾方法での追尾の開始を各カメラ４に指示する。ステップＳ１６０５でユーザが入力装置９を介して追尾停止を指示しない限り、ステップＳ１６０６に進み、指示部１０は、各カメラのカメラ状態管理部２４の「追尾実行情報」を参照し、各カメラが現在追尾を行っているか否かを確認する。ステップＳ１６０７で一台でも追尾中のカメラがある場合は追尾を続行し、全てのカメラが追尾を停止した場合、追尾フローを終了する。なお、その後は、図１２に示すようにステップＳ１２０３に戻って、システムは複数カメラによる巡回監視を再開する。ステップＳ１６０５でユーザが追尾終了を指示した場合も、システムは追尾動作を終了し、複数カメラによる巡回監視を再開する。
【００５５】
図１７は、各カメラ４の追尾フローを示す。ステップＳ１７０１で、各カメラ４は、指示部１０から追尾方法の指令を受け追尾を開始する。ステップＳ１７０２で、各カメラ４のカメラ情報管理部２４の「追尾実行情報」に追尾開始を記録する。ステップＳ１７０３で、追尾対象を見失う（すなわち画角外に追尾対象が移動した場合）まで、あるいは設定時間記憶部１８に記憶された追尾実行時間を過ぎるまで、追尾を行う。ステップＳ１７０４で追尾を停止し、ステップＳ１７０５で各カメラ４のカメラ情報管理部２４の「追尾実行情報」に追尾停止を記録し、各カメラでの追尾フローを終了する。
【００５６】
以上、本発明に係る具体的な実施形態を説明したが、本発明はこれらに限らず、種々改変可能である。例えば、カメラ４内に搭載された画像異常検出部２２及びカメラ状態管理部２４は制御部６側に設けてもよい。
【００５７】
また、上記実施形態では、選択メニューとして監視モードと設定モードが分けて用意されていたが、監視モード中にユーザによる検出色の設定指令を受け付け強制的に色監視を行うことができるようにしてもよい。
【００５８】
図１９は、巡回監視中に検出色を設定し、この検出色で監視、追尾を行うための処理の一例を示すフローチャートである。図２も参照して、ステップＳ１９０１でシステム２が巡回監視を行っている状態（図１２のステップＳ１２０３〜Ｓ１２１１）で、ステップＳ１９０２でユーザが検出色設定指示を指示部１０に行った場合、フローはステップＳ１９０３に進む。ステップＳ１９０３で検出色の設定を行う。検出色の設定は、例えば図８、９を用いて説明したのと同様の方法で行われ、検出色の情報は検出色記憶部３４に記録される。
【００５９】
ステップＳ１９０４で、指示部１０は、各カメラ４の監視方法を色検出に設定する。ステップＳ１９０５で、各カメラは、検出色記憶部３４に記録された検出色情報に基づいて、検出色を有する対象物（例えば子供）が画角に入れば追尾を開始し、画角から出れば追尾を停止する。
【００６０】
ステップＳ１９０６で、ステップＳ１９０３で設定した検出色による監視をユーザが強制的に終了させた場合、ステップＳ１９０７で、各カメラの視野はステップＳ１９０２で検出色設定指示を受ける前の巡回監視時の状態に戻るとともに、ステップＳ１９０８で各カメラの監視方法は巡回監視時の状態に戻る。なお、本フローでは、ステップ１９０６でユーザが検出色監視の強制終了を行う場合に限ってシステムは巡回監視の状態に戻るが、検出色監視の開始（ステップＳ１９０３の検出色設定後）から一定時間経過後に巡回監視時の状態に戻るようにしてもよい。
【００６１】
【発明の効果】
本発明によれば、静止画状態で監視対象に関する情報（例えば色情報）の指定ができ、したがってユーザにとって使い勝手のよい監視カメラシステムを提供できる。
【図面の簡単な説明】
【図１】 本発明に係る監視カメラシステムの一実施形態を示す概略図。
【図２】 図１の監視カメラシステムの制御ブロック図。
【図３】 （ａ）システム起動時の表示画面を示す図。（ｂ）設定メニュー画面を示す図。
【図４】 （ａ）各カメラに割り当てる表示ブロックを固定して切替えを行う場合の表示画面を示す図。（ｂ）各監視エリアに割り当てる表示ブロックを固定して切替えを行う場合の表示画面を示す図。
【図５】 図２の複数カメラ状態管理部に管理される情報を示す図。
【図６】 各カメラの構成を示す図。
【図７】 検出色の設定プロセスの第１の部分を示すフローチャート。
【図８】 検出色の設定プロセスの第２の部分を示すフローチャート。
【図９】 検出色の設定プロセスでの表示画面を示す図。
【図１０】 検出色の設定プロセスの別の例の第１の部分を示すフローチャート。
【図１１】 検出色の設定プロセスの別の例の第２の部分を示すフローチャート。
【図１２】 図１の監視カメラシステムを用いた監視・追尾プロセス全体を示すフローチャート。
【図１３】 図１２のステップＳ１２１０の異常検出情報確認のサブルーチンを示すフローチャート。
【図１４】 各カメラの監視動作を示すフローチャート。
【図１５】 図１２のステップＳ１２１２の集中監視制御のサブルーチンを示すフローチャート。
【図１６】 図１２のステップＳ１２１３の追尾動作のサブルーチンを示すフローチャート。
【図１７】 各カメラの追尾動作を示すフローチャート。
【図１８】 集中監視制御フローにおいて、表示画面の切替えの様子を示す図。
【図１９】 巡回監視中に強制的に検出色監視を行わせるための処理の一例を示すフローチャート。
【符号の説明】
２：監視カメラシステム、４Ａ〜４Ｄ：カメラ、Ｅ１〜Ｅ４：監視エリア、Ｓ１〜Ｓ４：センサ。
Claims (5)
- カメラと、
カメラで撮影した動画像を表示する手段と、
上記表示手段に表示させた動画像のうちの、ユーザの第１の指定により指定された指定点が、画角の中央に来るように上記カメラの姿勢制御を行う手段と、
上記カメラ姿勢制御手段により画角の中央に来た指定点を中心として動画像を拡大する手段と、
上記拡大手段に拡大させた動画像を静止画像に切り替える手段と、
上記静止画上でユーザの第２の指定により指示された監視対象に関する情報を記憶する手段と、
カメラで撮影した画像と、上記記憶手段により記憶された上記監視対象に関する情報とを比較することにより、カメラで撮影した画像上で監視対象を検出する検出手段とを備えた監視カメラシステム。 - 上記監視対象に関する情報が色情報であることを特徴とする請求項１のシステム。
- 複数のカメラと、
少なくとも一つのカメラで撮影した動画像を表示する手段と、
上記表示手段に表示させた動画像のうちの、ユーザの第１の指定により指定された指定点が、画角の中央に来るように、表示された動画像を撮影するカメラの姿勢制御を行う手段と、
上記カメラ姿勢制御手段により画角の中央に来た指定点を中心として動画像を拡大する手段と、
上記拡大手段に拡大させた動画像を静止画像に切り替える手段と、
上記静止画上でユーザの第２の指定により指示された監視対象に関する情報を記憶する手段と、
複数のカメラで撮影した画像と、上記記憶手段により記憶された上記監視対象に関する情報とを比較することにより、複数のカメラで撮影した画像上で監視対象を検出する検出手段とを備えた監視カメラシステム。 - カメラと、該カメラで撮影した動画像を表示する手段とを備えた監視カメラシステムの制御プログラムにおいて、
上記表示手段に表示させた動画像のうちの、ユーザの第１の指定により指定された指定点が、画角の中央に来るようにカメラの姿勢制御を行い、
上記のカメラの姿勢への制御により画角の中央に来た指定点を中心として動画像を拡大し、
拡大された動画像を静止画像に切り替え、
上記静止画上でユーザの第２の指定により指示された監視対象に関する情報を記憶し、
カメラで撮影した画像と上記監視対象に関する情報とを比較することにより、カメラで撮影した画像上で監視対象を検出することを特徴とする制御プログラム。 - 複数のカメラと、少なくとも一つのカメラで撮影した動画像を表示する手段とを備えた監視カメラシステムの制御プログラムにおいて、
上記表示手段に表示させた動画像のうちの、ユーザの第１の指定により指定された指定点が、画角の中央に来るように、表示された動画像を撮影するカメラの姿勢制御を行い、
上記のカメラの姿勢への制御により画角の中央に来た指定点を中心として動画像を拡大し、
拡大された動画像を静止画像に切り替え、
上記静止画上でユーザの第２の指定により指示された監視対象に関する情報を記憶し、
複数のカメラで撮影した画像と上記監視対象に関する情報とを比較することにより、複数のカメラで撮影した画像上で監視対象を検出することを特徴とする制御プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002091066A JP3948322B2 (ja) | 2002-03-28 | 2002-03-28 | 監視カメラシステム及び監視カメラシステムの制御プログラム |
| US10/400,342 US20030202102A1 (en) | 2002-03-28 | 2003-03-27 | Monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002091066A JP3948322B2 (ja) | 2002-03-28 | 2002-03-28 | 監視カメラシステム及び監視カメラシステムの制御プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003289529A JP2003289529A (ja) | 2003-10-10 |
| JP3948322B2 true JP3948322B2 (ja) | 2007-07-25 |
Family
ID=29236243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002091066A Expired - Fee Related JP3948322B2 (ja) | 2002-03-28 | 2002-03-28 | 監視カメラシステム及び監視カメラシステムの制御プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3948322B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3927974B2 (ja) * | 2004-09-09 | 2007-06-13 | キヤノン株式会社 | 動画像処理装置及び動画像処理方法及びプログラム及び記憶媒体 |
| JP5177045B2 (ja) * | 2009-03-25 | 2013-04-03 | 株式会社Ｊｖｃケンウッド | 画像表示装置、撮像装置、画像表示システム、画像表示方法および画像合成装置 |
-
2002
- 2002-03-28 JP JP2002091066A patent/JP3948322B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003289529A (ja) | 2003-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6988146B2 (ja) | 演算処理装置及び演算処理方法 | |
| JP5891061B2 (ja) | 映像監視装置、監視システム、監視システム構築方法 | |
| JP4140591B2 (ja) | 撮像システム及び撮像方法 | |
| WO2017119034A1 (ja) | 撮影システム、撮影方法およびプログラム | |
| US20030202102A1 (en) | Monitoring system | |
| US20110050960A1 (en) | Method in relation to acquiring digital images | |
| JP2006101186A (ja) | カメラ | |
| WO2021043293A1 (zh) | 跟踪目标对象的方法、装置、平台、系统及存储介质 | |
| JP2000307928A (ja) | カメラ制御装置 | |
| JP2007158860A (ja) | 撮影システム、撮影装置、画像切替装置、およびデータ保持装置 | |
| JP2018032950A (ja) | 情報処理装置及びその方法、コンピュータプログラム | |
| US20130314547A1 (en) | Controlling apparatus for automatic tracking camera, and automatic tracking camera having the same | |
| JP4378636B2 (ja) | 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体 | |
| JP2008085874A (ja) | 人物監視システムおよび人物監視方法 | |
| JP2008103890A (ja) | 自動追尾システム | |
| WO2016132623A1 (ja) | 追尾撮影制御装置、追尾撮影システム、カメラ、端末装置、追尾撮影方法、追尾撮影プログラム | |
| JP2007067510A (ja) | 映像撮影システム | |
| JP2002010240A (ja) | 監視システム | |
| JP2016082506A (ja) | 監視装置、監視方法及びプログラム | |
| JP3948322B2 (ja) | 監視カメラシステム及び監視カメラシステムの制御プログラム | |
| KR101288881B1 (ko) | 다수의 감시영역을 설정하고 이를 확대촬영할 수 있는 감시카메라의 감시영역 설정시스템 | |
| JP3615868B2 (ja) | 自動撮影カメラシステム | |
| CN100523904C (zh) | 监视系统 | |
| JP2008278433A (ja) | 情報処理装置、プログラム | |
| JP6112436B1 (ja) | モニタリングシステム、映像表示方法及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040927 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040928 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060529 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060803 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070327 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070409 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3948322 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100427 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110427 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120427 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130427 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140427 Year of fee payment: 7 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |