JP7314973B2 - 映像監視装置、映像監視方法及びプログラム - Google Patents

映像監視装置、映像監視方法及びプログラム Download PDF

Info

Publication number
JP7314973B2
JP7314973B2 JP2021115821A JP2021115821A JP7314973B2 JP 7314973 B2 JP7314973 B2 JP 7314973B2 JP 2021115821 A JP2021115821 A JP 2021115821A JP 2021115821 A JP2021115821 A JP 2021115821A JP 7314973 B2 JP7314973 B2 JP 7314973B2
Authority
JP
Japan
Prior art keywords
monitoring
camera
image
predetermined event
target position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021115821A
Other languages
English (en)
Other versions
JP2021185663A (ja
Inventor
健一朗 猪田
啓至 北嶋
亮磨 大網
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2021115821A priority Critical patent/JP7314973B2/ja
Publication of JP2021185663A publication Critical patent/JP2021185663A/ja
Priority to JP2023113527A priority patent/JP2023126352A/ja
Application granted granted Critical
Publication of JP7314973B2 publication Critical patent/JP7314973B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、映像監視技術に関する。
複数の監視(防犯)カメラを用いた監視システムが存在する。下記特許文献1には、パン・チルト・ズーム制御が可能な回転カメラを含む複数のカメラを連携させ、最小限のカメラ台数で死角なく侵入物体を拡大表示する監視手法が提案されている。この手法は、監視空間内で侵入者が検出されていない間は、2台の回転カメラに、その監視空間を互いに死角を補う形で各々広域に撮影させる。一方のカメラにより撮像された画像で監視空間に侵入者が検出されると、その侵入者の監視空間上の座標が算出され、その座標を向き拡大撮影するように他方のカメラが制御される。
下記特許文献2には、マスタカメラとスレーブカメラとが連動して監視対象物である遊興者を撮影可能とする監視カメラシステムが提案されている。このシステムでは、マスタカメラにより監視対象物が撮影されると、そのマスタカメラの撮影方向とマスタカメラ及びスレーブカメラの位置情報とに基づいて、スレーブカメラの撮影方向が算出される。そして、スレーブカメラの撮影方向をその算出された方向に向けることで、マスタカメラとスレーブカメラとが連動して監視対象物を撮影することができる。
特開2004-343718号公報 特開2005-333628号公報
カメラ(撮像装置)間を連携動作させる上述の各提案手法は、侵入者等の人を死角なく監視できるように、複数のカメラで人を撮影する。即ち、各提案手法は、或る撮像装置で侵入者等の人が検知された場合に、他の撮像装置をその人の方向に向ける手法である。しかしながら、このような手法は、複数の人が往来する場面では監視効率が低下する。すなわち、各提案手法を複数の人が往来する場面に適応した場合、行き来する大勢の人の全てに反応し、一々カメラが制御されるため、監視効率が低下する。
本発明は、このような事情に鑑みてなされたものであり、複数の撮像装置で効率的に監視する技術を提供する。
本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
第1の側面は、映像監視装置に関する。第1の側面に係る映像監視装置は、第1カメラにより撮像された第1画像から異常状態である所定のイベントを検出する検出手段と、前記第1カメラとは異なる第2カメラにより撮像され、前記所定のイベントを発生させた人物を映す第2画像を取得する取得手段と、前記所定のイベントを検出した前記第1画像と前記第2画像とを表示装置に表示させる出力処理手段と、を備える
第2の側面は、少なくとも一つのコンピュータにより実行される映像監視方法に関する。第2の側面に係る映像監視方法は、第1カメラにより撮像された第1画像から異常状態である所定のイベントを検出し、前記第1カメラとは異なる第2カメラにより撮像され、前記所定のイベントを発生させた人物を映す第2画像を取得し、前記所定のイベントを検出した前記第1画像と前記第2画像とを表示装置に表示させる、ことを含む。
なお、本発明の他の側面としては、上記第2の側面の方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。当該他の側面に係るプログラムは、コンピュータを、第1カメラにより撮像された第1画像から異常状態である所定のイベントを検出する検出手段、前記第1カメラとは異なる第2カメラにより撮像され、前記所定のイベントを発生させた人物を映す第2画像を取得する取得手段、
前記所定のイベントを検出した前記第1画像と前記第2画像とを表示装置に表示させる出力処理手段、として機能させる。
上記各側面によれば、複数の撮像装置で効率的に監視する技術を提供することができる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
第一実施形態における映像監視システムのハードウェア構成例を概念的に示す図である。 第一実施形態における監視制御装置の処理構成例を概念的に示す図である。 監視カメラの撮像領域と設定された監視領域との関係を示す図である。 対応格納部に格納される対応関係情報の例を示す図である。 第一実施形態における監視制御装置の動作例を示すフローチャートである。 監視カメラの制御の例を概念的に示す図である。 監視カメラの撮像領域と監視対象位置と検出対象位置との関係を示す図である。 対応格納部に更に格納される対応関係情報の例を示す図である。 第二実施形態における監視制御装置の動作例を示すフローチャートである。 監視カメラの制御の例を概念的に示す図である。 第三実施形態における映像監視システムの処理構成例を概念的に示す図である。 第三実施形態における映像監視システムのハードウェア構成例を概念的に示す図である。 第三実施形態における映像監視システムの動作例を示すフローチャートである。 映像監視システムが適用されるスタジアムの概念図である。 所定イベントの具体例を示す図である。
まず、本発明の実施形態の理解を容易にするために、本発明の背景を説明する。
或る監視カメラが人や車等の物体を検出した場合に、他の監視カメラを制御する監視システムが存在する。このような監視システムによれば、複数の監視カメラが互いに連携して網羅的に侵入者等を監視することができる。しかしながらそのような監視システムは、元々人が侵入することが禁止されている禁止エリアや、人の出現がある程度限定されている場面への適用が想定されているため、単純に人を検知すると他のカメラの制御を開始する。そのため、例えば都市等街頭や大規模商業施設、空港、ターミナル駅、プラットホーム等重要施設、レジャー施設、スポーツ施設、スタジアム等、大勢の人が行き来したり、群衆が形成されたりするような場面では、人の検知に伴い監視カメラが一々制御されることになり、効率的に監視業務を行うことができない。
以下に説明される本発明の実施形態によれば、上述の問題が解決され、効率的に監視業務を行える。但し、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。
[第一実施形態]
〔システム構成〕
図1は、第一実施形態における映像監視システム1(以降、システム1と略称する場合もある)のハードウェア構成例を概念的に示す図である。システム1は、監視制御装置10、複数の監視カメラ9(#1)、9(#2)から9(#n)等を有する。
複数の監視カメラ9(#1)、9(#2)から9(#n)は、撮像方向を変更可能な可動式のカメラを少なくとも一台含む。この可動式カメラは、撮像方向を変更できれば、その可動方向は上下のみ変更できてもよいし、左右のみ変更できてもよい。以降の説明では、監視カメラ9(#1)がPTZ(Pan-Tilt-Zoom)カメラであると仮定する。他の監視カメラ9(#2)等は、固定式又は可動式のカメラである。以降、個々の監視カメラを区別する必要がある場合を除き、各監視カメラを「監視カメラ9」と表記する。
各監視カメラ9は、少なくとも一つの他の監視カメラ9と撮像領域に重なりが生じるように、異なる場所にそれぞれ設置される。各監視カメラ9は、映像信号(画像フレーム)を通信ユニット5に送る。各監視カメラ9が通信ユニット5に送る画像フレームの送信レートは制限されない。画像フレームの送信レートが高ければ、監視制御装置10は、時間単位で多くの画像フレームを取得することができるため、高精度の監視制御を行うことができる。画像フレームの送信レートは、各監視カメラ9のフレームレートの仕様、監視制御装置10と各監視カメラ9との間の通信容量、映像監視システム1に要求される精度等に応じて、決められれば良い。また、各監視カメラ9は、映像信号を出力できれば、その性能や機能は制限されない。
監視制御装置10は、いわゆるコンピュータであり、例えば、バスで接続される、CPU(Central Processing Unit)2、メモリ3、入出力インタフェース(I/F)4、通信ユニット5等を有する。各ハードウェア要素の数はそれぞれ制限されず、これらハードウェア要素は情報処理回路と総称することもできる。監視制御装置10のハードウェア構成は、図1に示される例に限定されない。
CPU2には、特定用途向け集積回路(ASIC)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)等も含まれてもよい。メモリ3は、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置(ハードディスク等)である。
入出力I/F4は、表示装置7、入力装置8、プリンタ(図示せず)、投影装置(図示せず)等のユーザインタフェース装置と接続可能である。表示装置7は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)ディスプレイのような、CPU2やGPU(Graphics Processing Unit)(図示せず)等により処理された描画データに対応する画面を表示する装置である。表示装置7は、各監視カメラ9から送られる映像信号から得られる画像をそれぞれ表示してもよい。入力装置8は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。また、監視制御装置10は、モバイル機器(スマートフォンやタブレット等)の計算機として実装されてもよく、入出力I/F4には、表示装置7及び入力装置8が一体化されたタッチパネルが接続されてもよい。
通信ユニット5は、他のコンピュータや機器と、有線通信又は無線通信により信号のやりとりを行う。本実施形態では、通信ユニット5は、複数の監視カメラ9と通信する。通信ユニット5と各監視カメラ9との通信手法は制限されない。例えば、通信ユニット5は、各監視カメラ9から映像信号をそれぞれ取得し、監視カメラ9への指示信号を送る。また、通信ユニット5には、可搬型記録媒体等も接続され得る。
〔処理構成〕
図2は、第一実施形態における監視制御装置10の処理構成例を概念的に示す図である。図2に示されるように、監視制御装置10は、取得部11、画像格納部12、検出部13、カメラ制御部14、対応格納部15、出力処理部16、入力部17、算出部18等を有する。これら各処理モジュールは、例えば、CPU2によりメモリ3に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、CD(Compact Disc)、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力I/F4又は通信ユニット5を介してインストールされ、メモリ3に格納されてもよい。
取得部11は、各監視カメラ9により撮像された画像のデータを各監視カメラ9からそれぞれ取得する。具体的には、取得部11は、各監視カメラ9から送られる映像信号から画像データを逐次取得する。このとき、取得部11は、入力された映像信号を任意のタイミングでキャプチャすることにより、画像データを取得してもよい。取得部11は、取得された画像データをその画像を撮像した監視カメラ9の識別情報と関連付けて、画像格納部12に格納する。取得部11は、例えば、通信ユニット5を介して画像を取得する。
取得部11は、監視カメラ9の撮像方向を特定し得るカメラパラメータを更に取得し、画像データ及び監視カメラ9の識別情報にそのカメラパラメータを更に関連付けて画像格納部12に格納する。このカメラパラメータは、例えば、監視カメラ9の位置、撮像方向等を示す監視カメラ9の姿勢やズーム値等(内部パラメータを含んでもよい)を示し、各監視カメラ9から取得されてもよいし、カメラ制御部14から取得されてもよい。以降、画像データを画像と表記する場合もある。
入力部17は、ユーザによる、所定イベントを検出する監視位置の設定の入力を受け付ける。「監視位置」は、共通座標系又はカメラ座標系における、任意の静的な点、線、平面又は空間として定義される。「監視位置」は、例えば「映像監視線の位置」又は「監視領域の位置」である。共通座標系は、複数の監視カメラ9間、及び各監視カメラ9で撮像された画像間で共通に認識される座標である。共通座標系には、例えば、GPS(Global Positioning System)座標系や、施設内のフロアマップ上で定義された座標系等が利用され得る。カメラ座標系は、或る監視カメラ9で撮像された画像上に設定される座標である。
即ち、入力部17は、監視位置の設定を、所定の監視カメラ9のカメラ座標系で受け付けてもよく、共通座標系で受け付けてもよい。監視位置がカメラ座標系で設定された場合は、入力部17は、上述のカメラパラメータに基づいて監視位置を共通座標系に変換する。カメラパラメータを用いた共通座標系とカメラ座標系との間の変換には、既知である様々な手法を適用できる。
入力部17は、受け付けた監視位置の共通座標系の情報を、当該監視位置の識別情報とともに算出部18に出力する。なお、入力部17は、図1で図示される入力装置8をユーザが操作することにより入力された監視位置の設定を入出力I/F4を介して受け付ける。
ここで、監視位置の具体例である「映像監視線の位置」又は「監視領域の位置」における映像監視線及び監視領域について説明する。「映像監視線」とは、ユーザにより指定された、監視画像等に重畳された線であって、当該線を横切る(通過する)又は当該線に触れる物体を検知するための線である。「監視領域」とは、ユーザにより設定された、監視画像等の一部の領域であって、所定のイベントを検知するための領域である。監視領域は、他の呼び方として、AOI(Area Of Interest)、ROI(Region Of Interest)、感知領域、制限エリア等がある。
図3は、監視カメラの撮像領域と設定された監視領域との関係を示す図である。図3の例では、監視カメラ9(#1)及び9(#2)は、撮像領域が重なるように設置されている。また、監視領域AMは、二つの撮像領域が重なる撮像領域に、一部重なるように設定されている。図3の例では、監視領域AMが、共通座標系上の平面領域、すなわち実世界の床面(地面)上の平面領域に設定されている。本実施形態では図3に示すように監視カメラ9が設置され、監視領域AMが設定されているものとする。
算出部18は、入力部17より出力された、共通座標系で表される監視位置から、その監視位置を撮像可能な監視カメラ9毎に当該監視位置を撮像するためのカメラパラメータを算出する。算出部18がカメラパラメータを算出する方法は限定されず、既知の様々な手法を利用してよい。例えば、対応格納部15が、後述する格納情報の他に、共通座標系における各監視カメラ9の撮像可能な範囲とその範囲を撮像するためのカメラパラメータ群との対応関係を、監視カメラ9毎に予め保持していてもよい。その場合、算出部18は、対応格納部15に格納されている対応関係を用いて、共通座標系上の或る位置(監視位置)を撮像可能なように、カメラパラメータを決定することができる。算出部18は、画角の中央に映像監視線を撮像するようにカメラパラメータを算出してもよい。また例えば、算出部18は、画角全体を占める監視領域の割合が半分程度になるようにカメラパラメータを算出してもよい。算出部18は、各監視位置の識別情報(ID)と、各監視位置の共通座標系の座標情報と、当該監視位置を撮像可能な監視カメラ9毎の当該監視位置を撮像可能なカメラパラメータとが対応付けられた情報を対応格納部15に出力する。
検出部13は、各監視カメラ9により撮像された画像に含まれる監視位置において所定イベントを検出する。検出部13は、その画像を撮像する際の監視カメラ9のカメラパラメータ及び対応格納部15に格納されている監視位置の共通座標に基づいて、画像内の監視位置を特定することができる。画像を撮像する際の監視カメラ9のカメラパラメータは、その画像に関連付けられて画像格納部12に格納されているものを用いればよい。例えば、検出部13は、共通座標系における各監視カメラ9の撮像可能な範囲とその範囲を撮像するためのカメラパラメータ群との対応関係、及び当該画像を撮像する際のカメラパラメータに基づいて、画像上のカメラ座標系を共通座標系に変換することができる。当該対応関係は、例えば、上述のように対応格納部15に予め保持される。これにより、検出部13は、画像に写る共通座標系の範囲と監視位置の共通座標との関係から、その画像内に監視位置が含まれているか否かを判定することができる。その画像内に監視位置が含まれている場合には、検出部13は、監視位置の共通座標を監視カメラ9のカメラ座標に変換することができる。検出部13は、カメラ座標系で表される監視位置(画像内の監視位置)における所定イベントを検出する。但し、検出部13の監視位置の特定方法は制限されない。
検出部13により検出される所定イベントとは、このシステム1において監視すべき様々な状況である。例えば、検出部13は、上記所定イベントとして、対象物により生じる所定の状況を検出する。「対象物」は、人、動物、車等の乗り物、スーツケースなどの、予め決められた物体の一部又は全部である。例えば、所定イベントは、対象物の映像監視線の通過、監視領域における対象物の所定の状況(侵入、立ち去り、出現、消失、喧嘩、滞留、うろつき、転倒、立ち上がり、座り込み、移動方向の変化、逆走、万引き、迂回、損傷、持ち去り、置き去り、落書き等)、線分で定義された特定ルートの対象物の移動等を含む。
また、検出部13は、所定の状況が所定数以上の対象物で生じたことを所定イベントとして検出してもよい。「対象物」については上述のとおりである。所定の状況は、対象物により生じ得る状況であり、例えば、映像監視線の通過、監視領域における侵入等、先に例示した状況を含む。この場合に検出される所定イベントは、特に注意すべき状況であるとして「異常状態」と表記することもできる。例えば、対象物が人である場合、監視領域において複数人の滞留が発生した場合、群衆が形成されることになる。検出部13は、その群衆が形成された状態を、異常状態として検出する。また、検出部13は、上述の所定の状況が所定数以上の対象物でほぼ同時刻で生じた場合を特に、「異常状態」として検出してもよい。例えば、対象物が人である場合、監視領域において複数人が一斉に座り込んだ場合、突然ある人物が拳銃を発砲した等の異常な状況が発生していると考えられる。検出部13は、大勢の人が一斉に座り込んだ状況を、異常状態として検出する。なお、映像監視線は方向の属性(右から左、左から右、両方向等)を持っていてもよく、ユーザにより指定された方向の対象物の通過があった場合にのみ、所定イベントとして検知されるように設計されていてもよい。また、単位時間当たりの映像監視線の通過人数が所定数を超えた場合に所定イベントとして検知されるように設計されていてもよい。また、その状態が異常状態として検知されるように設計されていてもよい。
検出部13は、所定イベントを検出するために、取得された画像から対象物を検出する。検出部13は、既存の様々な方式を利用して、対象物を検出する。例えば、検出部13は、取得された画像から、背景差分法によって対象物を検出する。その場合、検出部13は、時系列に沿って入力される複数の画像から背景の情報を表すモデルを構築し、当該モデルを用いて移動物体を検出する。最も単純には、検出部13は、画像の静止領域の情報を複数フレーム間で平均することにより生成した背景画像を背景モデルとして定義する。検出部13は、対象となる画像と背景画像との差分を計算し、差分が大きい領域を対象物として検出する。検出部13は、背景モデルを用いずに直接、人等の対象物のモデルを用いて検出してもよい。ここで用いるモデルは、例えば人の場合、人全体を表すモデルであってもよいし、人の一部を表すモデルであってもよい。例えば、検出部13は、人の一部として顔や頭部をモデル化して検出するようにした顔検出器や頭部検出器を用いて、顔や頭部を検出しもよい。あるいは検出部13は、上半身や下半身など人物領域の一部を検出する検出器を用いて、対象物を検出してもよい。
また、検出部13は、既存の様々な方式を利用して、所定イベントを検出する。例えば、検出部13は、検出された対象物を複数の画像間で追跡(トラッキング)しながら、その対象物が所定状態に変化するのを検出する。変化後の所定状態は、画像特徴量として予め保持されていてもよい。画像間の対象物の追跡手法や対象物の状態変化の検出手法には周知の手法が利用されればよい。または、検出部13は、所定状態となっている対象物の画像特徴量を用いて所定状態を検出することにより、当該所定状態に該当するイベントを検出してもよい。
検出部13は、対応格納部15に格納されている監視位置の共通座標をカメラ座標系に変換することで、画像内の監視位置における所定イベントを検出する。よって、検出部13は、所定イベントを検出した際に、対応格納部15に格納される情報に基づいて、その所定イベント又は異常状態が検出された監視位置のIDを特定することができる。所定イベント又は異常状態が検出された監視位置のIDは、例えば、後述のカメラ制御部14により利用される。
カメラ制御部14は、検出部13により所定イベントが検出された後、複数の監視カメラ9の中から監視位置(例えば映像監視線の位置又は監視領域の位置)を撮像可能な監視カメラ9を選択し、所定イベントが検出された監視位置を撮像するように、選択された監視カメラ9を制御する。カメラ制御部14は、選択されなかった監視カメラ9についてはその所定イベントの検出時の制御対象から除外する。本実施形態では、カメラ制御部14は、複数の監視カメラ9の中から、所定イベントが検出された画像を撮像した監視カメラ9以外の監視カメラ9であって、その所定イベントが検出された監視位置を撮像可能な監視カメラ9を制御対象として選択する。例えば、カメラ制御部14は、図4に例示される対応格納部15に格納される対応関係情報を参照して、制御対象となる監視カメラ9を選択する。
図4は、対応格納部15に格納される対応関係情報の例を示す図である。図4に例示されるように、対応格納部15は、監視カメラ9の識別情報(カメラID)と、監視位置の識別情報(監視位置のID)と、監視位置の共通座標と、カメラパラメータとの複数の対応関係を示す情報を格納する。対応関係情報に含まれるカメラパラメータは、カメラIDで特定される監視カメラ9が監視位置のIDで特定される監視位置を撮像するためのパラメータを示し、監視カメラ9の姿勢やズーム値等を示す。監視位置の共通座標は、映像監視線等の線分で定義される場合と、監視領域等の領域で定義される場合がある。線分の場合は、線分の両端の座標を示す。領域の場合は、例えば矩形で定義される領域の左下頂点と右上頂点の座標を示す。図4において、共通座標は、ある街頭の地図に設定されたX軸とY軸で定義される例が示される。
カメラ制御部14は、検出部13から、所定イベントが検出された監視位置の識別情報(ID)を取得する。または、カメラ制御部14は、対応格納部15に格納される対応関係情報を直接参照して、所定イベントが検出された監視位置のIDを特定してもよい。即ち、カメラ制御部14は、監視カメラ9(#1)で撮像された画像と共に取得されるカメラパラメータを用いて、監視位置のIDを特定することができる。例えば、カメラ制御部14は、所定イベントが検出された画像と共に取得されたカメラパラメータとより近いパラメータを、その監視カメラ9(#1)のID「001」に対応付けられた「パラメータ01」及び「パラメータ02」から選択する。カメラ制御部14は、選択された「パラメータ02」に対応付けられたID「002」で特定される監視位置を、所定イベントが検出された監視位置として特定することができる。
カメラ制御部14は、所定イベントが検出された監視位置のIDを特定すると、その特定された監視位置のIDに対応付けられた、所定イベントが検出された画像を撮像した監視カメラ9以外の監視カメラ9(制御対象)のID、及びカメラパラメータを対応格納部15から取得することができる。カメラ制御部14は、その取得されたカメラパラメータを用いて、その取得されたIDで特定される監視カメラ9を制御する。この制御の結果、所定イベントが検出された画像を撮像した監視カメラ9以外の監視カメラ9が、その所定イベントが検出された監視位置を撮像するようになる。カメラ制御部14は、その取得されたカメラパラメータが制御対象の監視カメラ9に設定されるように、そのカメラパラメータを監視カメラ9に送ることで、監視カメラ9を制御することができる。また、カメラ制御部14は、その取得されたカメラパラメータが示す姿勢又はズーム値となるように、制御信号を監視カメラ9に送信してもよい。カメラ制御部14は、監視カメラ9の撮像方向を変更してもよいし、監視カメラ9の他のパラメータ(ズーム値等)を変更してもよいし、両方を変更してもよい。所定イベントが検出された監視位置を撮像できていなかった監視カメラ9が撮像できるように制御されれば、その具体的な制御方法は制限されない。
制御対象となる監視カメラ9の選択方法及びその監視カメラ9の制御方法は、上述の例に限定されず、既知の様々な方法を利用してよい。対応格納部15において、カメラパラメータではなく、監視カメラ9に監視位置を撮像可能とさせる他の情報が、カメラID及び監視位置のIDに対応付けられてもよい。また、対応格納部15に格納される対応関係情報は、同じ監視位置を撮像可能な複数の監視カメラ9の識別情報と、それら監視カメラ9がその監視位置を撮像するための各カメラパラメータとを対応付けた情報であってもよい。
更に、対応格納部15に格納される対応関係情報には、制御対象となる監視カメラ9の撮像方向を制御するために利用される情報が含まれていなくてもよい。この場合、カメラ制御部14は、制御対象となる監視カメラ9を制御し、制御後にその監視カメラ9から得られる画像を、対象となる監視位置が含まれるようになるまで、逐次確認してもよい。カメラ制御部14は、対象となる監視位置が含まれることを確認すると、監視カメラ9の制御を停止する。
出力処理部16は、画像格納部12に格納される、各監視カメラ9により撮像された画像を表示装置7に表示させる。また、出力処理部16は、取得部11で取得された画像を表示装置7に表示させてもよい。例えば、出力処理部16は、表示装置7に各監視カメラ9により撮像された映像をそれぞれ常時表示させる。出力処理部16は、検出部13により所定イベントが検出された場合には、その所定イベントが検出された画像を他の画像よりも強調して表示装置7に表示することもできる。また、出力処理部16は、所定イベントが検出された場合には、表示装置7以外の他の出力装置(プリンタ、音声出力装置、LED(Light Emitting Diode)等)に出力することもできる。本実施形態では、各監視カメラ9で撮像された画像の出力形態は制限されない。
〔動作例〕
以下、第一実施形態における映像監視方法について図5及び図6を用いて説明する。図5は、第一実施形態における監視制御装置10の動作例を示すフローチャートである。図5に示されるように、第一実施形態における映像監視方法は、監視制御装置10のような少なくとも一つのコンピュータ(CPU2)により実行される。各工程は、監視制御装置10が有する上述の各処理モジュールの処理内容と同様であるため、各工程の詳細は、適宜省略される。
監視制御装置10は、ユーザによる監視位置の設定の入力を受け付ける(S51)。例えば、監視制御装置10は、監視位置の設定を、所定の監視カメラ9のカメラ座標系又は共通座標系で受け付ける。監視制御装置10は、監視位置がカメラ座標系で設定された場合は、そのカメラ座標系が設定された画像を撮像したカメラのカメラパラメータに基づいて監視位置を共通座標系に変換する。
続いて、監視制御装置10は、(S51)で受け付けられた入力から得られる、監視位置の共通座標から、その監視位置を撮像可能な監視カメラ9毎に当該監視位置を撮像するためのカメラパラメータを算出する(S52)。このカメラパラメータの算出手法については上述したとおりである。
監視制御装置10は、(S51)で受け付けられた入力で設定された監視位置について、監視位置のIDを決め、その監視位置のID、その監視位置の共通座標、及び(S52)で算出された監視カメラ9毎のカメラパラメータを対応付けて対応格納部15に格納する(S53)。これにより、対応格納部15には、ユーザにより入力された監視位置について、識別情報(ID)、共通座標、及びその監視位置を撮像可能な監視カメラ9で撮像するためのカメラパラメータが対応付けられて格納されることになる。
監視制御装置10は、各監視カメラ9により撮像された画像のデータを各監視カメラ9からそれぞれ取得する(S54)。監視制御装置10は、取得された画像データをその画像を撮像した監視カメラ9の識別情報と関連付けて、画像格納部12に格納する。このとき、監視制御装置10は、その画像を撮像した監視カメラ9のカメラパラメータを更に取得し、画像データ及び監視カメラ9の識別情報にそのカメラパラメータを更に関連付けて画像格納部12に格納する。
監視制御装置10は、(S51)で取得された画像又は画像格納部12から抽出された画像内で監視位置(例えば映像監視線の位置又は監視領域の位置)を特定する(S55)。この特定において、(S54)で取得されたカメラパラメータ及び対応格納部15に格納されている監視位置の共通座標が用いられる。画像から監視位置を特定する具体的な方法は、上述のとおりである。なお、S55の処理は、監視カメラのPTZが制御される度(撮像範囲が変わる度)に実行される。
監視制御装置10は、(S55)で特定された監視位置における所定イベントを検出する(S56)。監視制御装置10は、例えば、所定イベントとして、対象物の映像監視線の通過、監視領域における対象物の所定の状況、線分で定義された特定ルートの対象物の移動等のいずれか一つ以上を検出する。また、監視制御装置10は、所定イベントとして、異常状態を検出してもよい。所定イベントの内容及び所定イベントの検出手法については上述のとおりである。
監視制御装置10は、監視位置における所定イベントが検出されると、複数の監視カメラ9の中から、(S54)で取得された画像を撮像した監視カメラ9以外の監視カメラ9であって、(S55)で特定された監視位置を撮像可能な監視カメラ9を選択する(S57)。監視カメラ9の選択手法についても上述のとおりである。
監視制御装置10は、(S55)で特定された監視位置を撮像するように、(S57)で選択された監視カメラ9を制御する(S58)。例えば、監視制御装置10は、その監視位置を撮像可能となるように、(S57)で選択された監視カメラ9の撮像方向を変更する。監視カメラ9の制御方法についても上述のとおりである。
図6は、監視カメラ9の制御の例を概念的に示す図である。図6の例では、監視制御装置10は、監視領域AMの位置の設定の入力を受け付ける(S51)。この入力は、監視カメラ9(#2)により撮像された画像に対するユーザの範囲指定操作により行われてもよい。監視制御装置10は、その監視領域AMの共通座標を算出する。そして、監視制御装置10は、その監視領域AMの位置を撮像可能な監視カメラ9(#1)及び(#2)における、その監視領域AMの位置を撮像するためのカメラパラメータをそれぞれ算出する(S52)。監視制御装置10は、監視カメラ9(#2)のカメラパラメータが固定されている場合には、予めそのカメラパラメータを保持していてもよい。監視制御装置10は、監視領域AMの位置のID、監視領域の共通座標、監視カメラ9(#1)のカメラパラメータ及び監視カメラ9(#2)のカメラパラメータを対応付けて対応格納部15に格納する(S53)。
監視制御装置10は、(S54)において、監視カメラ9(#2)で撮像された画像のデータ及びその撮像時のカメラパラメータを取得する。監視制御装置10は、監視カメラ9(#2)のカメラパラメータが固定されている場合には、予めそのカメラパラメータを保持していてもよい。監視制御装置10は、その画像内で監視領域AMの位置を特定し(S55)、その監視領域AMの位置に人間OB1が侵入したことを所定イベントとして検出する(S56)。このとき、監視カメラ9(#1)は、撮像方向D1で撮像しており、監視領域AMの位置を撮像できていない。監視制御装置10は、所定イベントが検出されると、その監視領域AMの位置を撮像可能な監視カメラとして、監視カメラ9(#2)以外の監視カメラ9(#1)を選択する(S57)。そして、監視制御装置10は、監視領域AMの位置を撮像するように、選択された監視カメラ9(#1)を制御する(S58)。即ち、監視制御装置10は、監視カメラ9(#1)の撮像方向がD1からD2へ変わるように制御する。これにより、監視領域AMの位置が監視カメラ9(#1)及び(#2)の両方で撮像されるようになり、異なる方向から監視領域AMが撮像された画像を得ることができる。
〔第一実施形態の作用及び効果〕
上述したように第一実施形態では、或る監視カメラ9で撮像された画像に含まれる監視位置(例えば映像監視線の位置又は監視領域の位置)において、所定イベントが検出される。この検出に応じて、その所定イベントが検出された画像を撮像した監視カメラ9以外の監視カメラ9が、その所定位置を撮像するように、制御される。これにより、所定イベントが検出された監視位置が2台以上の監視カメラ9で撮像されるようになる。従って、第一実施形態によれば、所定イベントが発生した際の監視位置(例えば映像監視線の位置又は監視領域の位置)の様子、及び発生した所定イベントの様子を多方向から詳細に監視することができる。
更に、第一実施形態では、対象物の映像監視線の通過、対象物の監視領域における所定の状況、線分で定義された特定ルートの対象物の移動等といった、所定イベントの検出に応じて、監視カメラ9が制御される。よって、人の検知に伴い監視カメラが一々制御される手法に比べて、大勢の人が行き来したり、群衆が形成されたりするような場面においても、効率的に監視業務を行うことができる。また、第一実施形態では、所定の状況が所定数以上の対象物で生じたことが検出され、この検出を契機に監視カメラ9が制御される。これによれば、異常状態のような特に留意すべきイベントの発生のみによって監視カメラ9が制御されるため、監視業務の効率を一層向上させることができる。
また、第一実施形態では、PTZカメラのように、可動式の監視カメラ9が含まれ、その可動式の監視カメラ9が所定イベントの検出された監視位置を撮像するように制御される。従って、可動式の監視カメラ9を用いることで、少ない数の監視カメラで広いエリアを網羅的に監視することができると共に、所定イベントの検出に連動して、映像監視線の位置又は監視領域の位置のような監視位置を優先的に監視することができる。
[第2実施形態]
上述の第一実施形態では、或る監視カメラ9の撮像画像中における監視位置で所定イベントが検出されると、他の監視カメラ9がその監視位置を撮像するように制御された。第二実施形態では、或る監視カメラ9の撮像画像中でイベントが検出されると、そのイベントが検出された位置と異なる位置を撮像するように他の監視カメラ9が制御される。以下、第二実施形態における映像監視システム1について、第一実施形態と異なる内容を中心に説明する。以下の説明では、第一実施形態と同様の内容については適宜省略する。
〔処理構成〕
第二実施形態における監視制御装置10の処理構成は、第一実施形態と同様である(図2参照)。以下に示す処理内容が第一実施形態と異なる。
検出部13は、或る監視カメラ9により撮像された画像に含まれる所定位置で所定イベントを検出する。カメラ制御部14は、検出部13が所定イベントを検出した所定位置に対応する他の位置を撮像するように他の監視カメラ9を制御する。以降、或る監視カメラ9の画像により所定イベントを検出するための所定位置を「検出対象位置」と表記し、制御された他の1台乃至複数台の監視カメラ9により監視される位置を「監視対象位置と表記する。即ち、検出部13は、或る監視カメラ9により撮像された画像に含まれる、監視対象位置とは異なる検出対象位置で、所定イベントを検出する。「検出対象位置」は、所定イベントを検出するために予め決められた位置であり、少なくとも1台の監視カメラ9で撮像可能な位置である。「監視対象位置」は、1つ以上の「検出対象位置」に対応付けられて設けられる監視すべき位置であり、少なくとも1台の監視カメラ9で撮像可能な位置である。「検出対象位置」及び「監視対象位置」は、実世界における、任意の静的な点、線、平面又は空間に設定される。「検出対象位置」は、例えば、第一実施形態における「映像監視線の位置」又は「監視領域の位置」に相当する。「監視対象位置」は、線分又は領域の任意の位置である。検出対象位置及び監視対象位置の各共通座標は、入力部17により受け付けられるユーザ入力からそれぞれ取得される。第二実施形態では、対応格納部15には、検出対象位置のIDと、検出対象位置の共通座標と、検出対象位置に対応する監視対象位置のIDと、その監視対象位置を撮像可能な監視カメラ9毎の、その監視対象位置を撮像するためのカメラパラメータとの対応関係が格納される。
検出部13により検出される所定イベントは、上述のとおりである。しかしながら、監視カメラ9の制御により監視されるのは、監視対象位置であるため、検出対象位置での所定イベントの発生は、監視対象位置の監視が必要となるきっかけ(呼び水)となる。よって、例えば、このような関係に基づいて、監視対象位置に対する検出対象位置及び検出すべき所定イベントの内容が決定される。例えば、検出対象位置は、監視対象位置に向かう人が通る可能性の高い位置に設定される。この場合、検出部13は、検出対象位置において、人が監視対象位置の方向に移動する状態(映像監視線の所定方向の通過)や人の滞留状態を所定イベントとして検出する。他の例として、監視対象位置が或る駅のプラットホームの線路沿いの領域に設定され、検出対象位置がその駅の周辺の線路の一部に設定される。この場合、検出部13は、検出対象位置において、電車が監視対象位置(駅)の方向に移動する状態を所定イベントとして検出する。なお、その後の制御については、例えば、プラットホームに設置されてエスカレータを監視していた監視カメラ9が、監視対象位置である線路沿いの領域を監視するように制御される。監視対象位置、検出対象位置、及び検出される所定イベントの内容については、上述のような例に制限されない。
検出部13は、第一実施形態における監視位置と同様の手法で、画像内で検出対象位置を特定可能である。検出部13は、対応格納部15に格納されている検出対象位置の共通座標をカメラ座標系に変換することで、画像内の検出対象位置における所定イベントを検出する。よって、検出部13は、所定イベントを検出した際に、対応格納部15に格納される情報に基づいて、その所定イベントが検出された検出対象のIDを特定することができる。所定イベントが検出された検出対象位置のIDは、例えば、後述のカメラ制御部14により利用される。
図7は、監視カメラの撮像領域と監視対象位置と検出対象位置との関係を示す図である。図7の例では、監視対象位置は、実世界上の床面(地面)上の平面領域に設定されており、検出対象位置は実世界上の床面(地面)上の線分で設定されている。監視カメラ9(#1)、監視カメラ9(#3)及び監視カメラ9(#4)は、監視対象位置を撮像可能であり、監視カメラ9(#2)は検出対象位置を撮像可能である。この場合、検出部13は、監視カメラ9(#2)で撮像された画像に含まれる検出対象位置において所定イベントを検出する。
対応格納部15は、次のような対応関係情報を格納する。対応格納部15は、監視カメラ9の識別情報と、その監視カメラ9で撮像可能な検出対象位置の識別情報と、その検出対象位置の共通座標と、その検出対象位置に対応する監視対象位置の識別情報と、その監視対象位置をその監視カメラ9で撮像するためのカメラパラメータとの複数の対応関係情報を格納する。
図8は、対応格納部15に格納される対応関係情報の例を示す図である。図8の例では、対応格納部15に格納される対応関係情報は、監視カメラ9のカメラIDと、検出対象位置のIDと、検出対象位置の共通座標と、その検出対象位置に対応する監視対象位置のIDと、その監視対象位置をその監視カメラ9で撮像するためのカメラパラメータとの複数の対応関係を示す。このカメラパラメータは、カメラIDで特定される監視カメラ9が監視対象位置のIDで特定される監視対象位置を撮像するためのパラメータを示し、監視カメラ9の姿勢やズーム値等を示す。
図8の例によれば、カメラID「001」の監視カメラ9は、検出対象位置「001」とそれに対応する監視対象位置「001」とを両方撮像できることを示す。カメラID「002」の監視カメラ9は、監視対象位置「001」を撮像できることを示す。また、カメラID「003」の監視カメラ9は、監視対象位置「001」及び検出対象位置「002」を撮像でき、検出対象位置「002」に対応する監視対象位置「002」を撮像できないことを示す(監視対象位置「001」を撮像するためのカメラパラメータ「03」と、検出対象位置「002」の共通座標を保持しているが、監視対象位置「002」を撮像するためのカメラパラメータを保持していないことから把握できる。)カメラID「004」の監視カメラ9は、監視対象位置「002」を撮像できることを示す。なお、対応格納部15に格納される情報は、上述したように、ユーザによる検出対象位置と監視対象位置の設定を入力部で受け付けることで格納される。監視対象位置を撮像可能なカメラパラメータは、ユーザにより入力された監視対象位置の共通座標に基づき、算出部18により監視カメラ9毎に算出される。
カメラ制御部14は、検出部13による所定イベントの検出後、対応格納部15に格納される対応関係情報を参照することにより、その所定イベントが検出された所定の検出対象位置に対応する所定の監視対象位置を撮像可能な監視カメラ9を特定する。
例えば、カメラ制御部14は、検出部13から、上述したように、所定イベントが検出された検出対象位置の識別情報(ID)を取得する。カメラ制御部14は、対応格納部15に格納される対応関係情報から、その取得された検出対象位置のIDに対応する監視対象位置の識別情報(ID)及びその監視対象位置を撮像可能な監視カメラ9のカメラIDを特定する。カメラ制御部14は、その特定された監視カメラ9のカメラID毎に、その監視対象位置を撮像可能なカメラパラメータを取得することができる。ここで、図8の例において、カメラID「001」で特定される監視カメラ9の、検出対象位置のID「001」で特定される検出対象位置で所定イベントが検出されたと仮定する。この場合、カメラ制御部14は、検出対象位置ID「001」に対応する監視対象位置のID「001」を取得し、更に、その監視対象位置のID「001」に対応する監視カメラのカメラID「001」、「002」及び「003」を取得する。更に、カメラ制御部14は、取得されたカメラID毎にカメラパラメータを取得する。カメラ制御部14は、その取得されたカメラパラメータを用いて、その取得されたIDで特定される監視カメラ9を制御する。例えば、カメラ制御部14は、カメラパラメータ「01」を用いて、カメラID「001」の監視カメラ9を制御し、カメラパラメータ「02」を用いて、カメラID「002」の監視カメラ9を制御し、カメラパラメータ「03」を用いて、カメラID「003」の監視カメラ9を制御する。この例においては、所定イベントが検出された画像を取得したカメラID「001」の監視カメラ9自身も、監視対象位置の方向を向くように制御される。
〔動作例〕
以下、第二実施形態における映像監視方法について図9及び図10を用いて説明する。図9は、第二実施形態における監視制御装置10の動作例を示すフローチャートである。図9に示されるように、第二実施形態における映像監視方法は、監視制御装置10のような少なくとも一つのコンピュータ(CPU2)により実行される。各工程は、監視制御装置10が有する上述の各処理モジュールの処理内容と同様であるため、各工程の詳細は、適宜省略される。
監視制御装置10は、ユーザによる検出対象位置及び監視対象位置の設定の入力を受け付ける(S91)。例えば、監視制御装置10は、検出対象位置及び監視対象位置の設定を、所定の監視カメラ9のカメラ座標系又は共通座標系で受け付ける。監視制御装置10は、検出対象位置及び監視対象位置がカメラ座標系で設定された場合は、そのカメラ座標系が設定された画像を撮像したカメラのカメラパラメータに基づいて検出対象位置及び監視対象位置を共通座標系にそれぞれ変換する。
続いて、監視制御装置10は、(S91)で受け付けられた入力から得られる、監視対象位置の共通座標から、その監視対象位置を撮像可能な監視カメラ9毎に当該監視対象位置を撮像するためのカメラパラメータを算出する(S92)。このカメラパラメータの算出手法については、第一実施形態で述べたとおりである。
監視制御装置10は、(S91)で受け付けられた入力で設定された検出対象位置及び監視対象位置について、検出対象位置及び監視対象位置のIDをそれぞれ決め、その検出対象位置及び監視対象位置のID、その検出対象位置の共通座標、及び(S92)で算出された監視カメラ9毎のカメラパラメータを対応付けて対応格納部15に格納する(S93)。これにより、対応格納部15には、ユーザにより入力された検出対象位置及び監視対象位置の対応関係、検出対象位置の共通座標、及びその検出対象位置に対応する監視対象位置を撮像可能な監視カメラ9で撮像するためのカメラパラメータが対応付けられて格納されることになる。
監視制御装置10は、各監視カメラ9により撮像された画像のデータを各監視カメラ9からそれぞれ取得する(S94)。監視制御装置10は、取得された画像データをその画像を撮像した監視カメラ9の識別情報と関連付けて、画像格納部12に格納する。このとき、監視制御装置10は、その画像を撮像した監視カメラ9のカメラパラメータを更に取得し、画像データ及び監視カメラ9の識別情報にそのカメラパラメータを更に関連付けて画像格納部12に格納する。
監視制御装置10は、(S94)で取得された画像又は画像格納部12から抽出された画像内で(S91)で設定された検出対象位置を特定する(S95)。この特定において、(S94)で取得されたカメラパラメータ及び対応格納部15に格納されている検出対象位置の共通座標が用いられる。画像から検出対象位置を特定する方法は、第一実施形態における監視位置の特定方法と同様である。なお、S95の処理は、監視カメラのPTZが制御される度(撮像範囲が変わる度)に実行される。
監視制御装置10は、(S95)で特定された検出対象位置における所定イベントを検出する(S96)。監視制御装置10は、例えば、所定イベントとして、対象物の映像監視線の通過、監視領域における対象物の所定の状況、線分で定義された特定ルートの対象物の移動等のいずれか一つ以上を検出する。また、監視制御装置10は、所定イベントとして、異常状態を検出してもよい。所定イベントの内容及び所定イベントの検出手法については第一実施形態で述べたとおりである。
監視制御装置10は、検出対象位置における所定イベントが検出されると、複数の監視カメラ9の中から、(S95)で特定された検出対象位置に対応する監視対象位置を撮像可能な監視カメラ9を選択する(S97)。監視カメラ9の選択手法についても上述のとおりである。
監視制御装置10は、(S95)で特定された検出対象位置に対応する監視対象位置を撮像するように、(S97)で選択された監視カメラ9を制御する(S98)。例えば、監視制御装置10は、その監視対象位置を撮像可能となるように、(S97)で選択された監視カメラ9の撮像方向を変更する。監視カメラ9の制御方法についても上述のとおりである。
図10は、監視カメラ9の制御の例を概念的に示す図である。監視制御装置10は、検出対象位置(映像監視線)及び監視対象位置の設定の入力を受け付ける(S91)。この入力は、各監視カメラ9により撮像された各画像に対するユーザの線分指定操作及び範囲指定操作により行われてもよい。監視制御装置10は、その検出対象位置及び監視対象位置の共通座標を算出する。そして、監視制御装置10は、監視対象位置を撮像可能な監視カメラ9(#1)、9(#3)及び9(#4)における、その監視対象位置を撮像するためのカメラパラメータをそれぞれ算出する(S92)。監視制御装置10は、いずれか一つの監視カメラ9のカメラパラメータが固定されている場合には、予めそのカメラパラメータを保持していてもよい。
監視制御装置10は、次のような対応関係情報を対応格納部15に格納する(S93)。監視制御装置10は、監視カメラ9(#2)については、カメラIDと、検出対象位置(映像監視線)のIDと、その検出対象位置に対応する監視対象位置のIDとの対応関係情報を格納する。監視制御装置10は、監視カメラ9(#1)については、そのカメラIDと、その監視対象位置のIDと、その監視対象位置を撮像するためのカメラパラメータとの対応関係情報を格納する。監視制御装置10は、監視カメラ9(#3)については、そのカメラIDと、その監視対象位置のIDと、その監視対象位置を撮像するためのカメラパラメータとの対応関係情報を格納する。監視制御装置10は、監視カメラ9(#4)については、そのカメラIDと、その監視対象位置のIDと、その監視対象位置を撮像するためのカメラパラメータとの対応関係情報を格納する。
監視制御装置10は、(S94)において、監視カメラ9(#2)で撮像された画像のデータ及びその撮像時のカメラパラメータを取得する。監視制御装置10は、監視カメラ9(#2)のカメラパラメータが固定されている場合には、予めそのカメラパラメータを保持していてもよい。監視制御装置10は、その画像内で検出対象位置(映像監視線)を特定し(S95)、その映像監視線を人が通過したことを所定イベントとして検出する(S96)。このとき、図7に示されるように、監視カメラ9(#1)、9(#3)及び9(#4)はそれぞれ監視対象位置を撮像できていないものと仮定する。
監視制御装置10は、所定イベントが検出されると、対応格納部15に格納される対応関係情報に基づいて、その検出対象位置に対応する監視対象位置を撮像可能な監視カメラとして、監視カメラ9(#1)、9(#3)及び9(#4)を選択する(S97)。そして、監視制御装置10は、その監視対象位置を撮像するように、その対応関係情報に含まれる各カメラパラメータを用いて、その選択された監視カメラ9(#1)、9(#3)及び9(#4)を制御する(S98)。これにより、図10に示されるように、監視対象位置が監視カメラ9(#1)、9(#3)及び9(#4)で撮像されるようになる。
〔第二実施形態の作用及び効果〕
上述のように、第二実施形態では、異なる位置を示す検出対象位置及び監視対象位置がユーザ入力により取得され、或る監視カメラ9の撮像画像内の検出対象位置で所定イベントが検出され、その所定イベントが検出された検出対象位置に対応する監視対象位置を撮像するように、他の監視カメラ9が制御される。
第二実施形態によれば、例えば、監視対象位置で何かが起きる予兆を、検出対象位置での所定イベントの検出により捉え、予兆の段階で、監視対象位置を監視下に置くといったことができるようになる。例えば、エスカレータに向かう通路上に映像監視線が設定されており、単位時間当たりの通過人数が所定数を超えた場合に異常状態が発生しているとして、イベントが検出されるよう設定されているとする。そのようなイベントの検出により事故発生の予兆を捉え、第二実施形態における監視制御装置10は、アラートをあげると共にエスカレータの周辺に設置された複数の監視カメラ9をエスカレータの乗降口を集中して監視するよう制御する。このように、監視対象位置で何かが起きる前に前以て、監視カメラ9を制御することで、監視対象位置で発生した状況を取りこぼすことなく確実に監視することができる。
[変形例]
上述の第一実施形態では、入力部17により出力された監視位置の共通座標から、その監視位置を撮像可能な監視カメラ9毎にその監視位置を撮像するためのカメラパラメータが自動で算出された(算出部18)。そして、対応格納部15には、各監視位置について、識別情報(ID)、共通座標系の座標情報及びカメラパラメータがそれぞれ格納された。しかしながら、上述の第一実施形態では、監視位置の共通座標は用いられなくてもよい。
例えば、2台の可動式の監視カメラ9で撮像可能な1つの監視位置の設定の入力が入力部17により受け付けられる。この場合、ユーザは、2台の監視カメラ9でそれぞれ撮像された各画像に対して、その監視位置を指定する操作をそれぞれ行う。入力部17は、一方の監視カメラ9の画像に対するユーザ入力で指定された、その監視位置のカメラ座標情報(画像内座標)と、その画像の撮像時のカメラパラメータを取得する。更に、入力部17は、他方の監視カメラ9の画像に対するユーザ入力で指定された、その監視位置のカメラ座標情報(画像内座標)と、その画像の撮像時のカメラパラメータを取得する。対応格納部15には、その監視位置のIDと、2台の監視カメラ9のカメラIDと、その監視位置を撮像するための監視カメラ9毎のカメラパラメータ及び監視位置のカメラ座標情報とが格納付けられて格納される。検出部13は、この格納情報を用いて、各監視カメラ9の画像について、監視位置における所定イベントを検出することができる。この場合、可動式の各監視カメラ9のカメラパラメータの変更は、対応格納部15に格納されるカメラパラメータを含む範囲で許されることになる。カメラ制御部14は、この格納情報を用いて、所定イベントが検出された監視位置を撮像するように、各監視カメラ9を制御することができる。
第二実施形態についても同様に変形可能である。即ち、第二実施形態では、検出対象位置及び監視対象位置の共通座標は用いられなくてもよい。この場合、入力部17は、監視対象位置を撮像する際の、各監視カメラ9のカメラパラメータをそれぞれ取得する。また、入力部17は、検出対象位置のカメラ座標情報(画像内座標)を、その検出対象位置を撮像可能な監視カメラ9毎にそれぞれ取得し、検出対象位置と監視対象位置との対応付け情報を更に取得する。対応格納部15には、検出対象位置と監視対象位置との対応関係(IDのペア)、その検出対象位置又はその監視対象位置を撮像可能な監視カメラ9のカメラID、その監視対象位置を撮像するためのカメラパラメータの対応関係情報が格納される。
また、入力部17は、ユーザにより監視領域の位置の設定が入力された場合には、その監視領域の座標情報の代わりに、その監視領域の画像特徴量を取得してもよい。この場合には、検出部13は、取得された画像内で監視領域の画像特徴量と類似する領域を検出し、その検出された領域を監視領域として特定する。その場合、対応格納部には、ユーザにより入力された監視領域の画像特徴量が格納されてもよい。
[第三実施形態]
以下、第三実施形態における映像監視システム及び映像監視方法について図11、図12、及び図13を用いて説明する。また、第三実施形態は、この映像監視方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録した当該少なくとも1つのコンピュータが読み取り可能な記録媒体であってもよい。
図11は、第三実施形態における映像監視システム100の処理構成例を概念的に示す図である。図11に示されるように、映像監視システム100は、検出部101及び制御部102を有する。図11に示される映像監視システム100は、図1に示される上述の監視制御装置10として実現され得る。この場合、映像監視システム100は、図1に示される監視制御装置10と同様のハードウェア構成を有する。
図12は、第三実施形態における映像監視システム100のハードウェア構成例を概念的に示す図である。映像監視システム100は、図12に示されるように、監視カメラ9(#n)として実現されてもよい。この場合、映像監視システム100(監視カメラ9(#n))は、CPU2、メモリ3、入出力インタフェース(I/F)4、通信ユニット5等を有し、監視カメラ9(#n)が自身及び他の監視カメラ9を制御する。この場合の監視カメラ9(#n)は、いわゆるインテリジェントカメラである。第三実施形態における映像監視システム100のハードウェア構成は、図1及び図12の例に制限されず、映像監視システム100は、監視制御装置10と監視カメラ9(#n)との両方で実現されてもよい。
検出部101及び制御部102は、例えば、CPU2によりメモリ3に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、CD、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力I/F4又は通信ユニット5を介してインストールされ、メモリ3に格納されてもよい。映像監視システム100が監視制御装置10と監視カメラ9(#n)との両方で実現される場合には、検出部101が監視制御装置10で実現され、制御部102が監視カメラ9(#2)で実現されてもよい。
検出部101は、第一の撮像装置(例えば、監視カメラ9(#2))により撮像された画像に基づいて所定イベントを検出する。検出部101は、上述の検出部13に相当する。所定イベントの内容及び所定イベントの検出手法については、上述したとおりであり、制限されない。また、第一の撮像装置は、固定式の監視カメラ9であっても、可動式の監視カメラ9であってもよい。
制御部102は、検出部101による所定イベントの検出後、第二の撮像装置(例えば、監視カメラ9(#1))が所定位置を撮像するように第二の撮像装置を制御する。「所定位置」は、予め決められた監視位置であり、実世界における、任意の静的な点、線、平面又は空間に設定される。制御部102は、上述のカメラ制御部14に相当する。第二の撮像装置の制御方法については、上述したとおりであり、制限されない。
図11に示されるように、第三実施形態における映像監視システム100は、図2に示される、取得部11、画像格納部12、対応格納部15、出力処理部16を持たなくてもよい。映像監視システム100が持たないこれら各処理モジュールは、他のコンピュータにより備えられ、映像監視システム100は、当該他のコンピュータと通信することで、それら処理モジュールと連携することができる。
図13は、第三実施形態における映像監視システム100の動作例を示すフローチャートである。図13に示されるように、第三実施形態における映像監視方法は、映像監視システム100のような少なくとも1つのコンピュータにより実行される。例えば、図示される各工程は、映像監視システム100が有する各処理モジュールにより実行される。
本実施形態における映像監視方法は、第一の撮像装置(例えば、監視カメラ9(#2))により撮像された画像に基づいて所定イベントを検出し(S131)、所定イベントの検出後(S132;YES)、第二の撮像装置(例えば、監視カメラ9(#1))が所定位置を撮像するように第二の撮像装置を制御する(S133)ことを含む。
第三実施形態によれば、上述の第一実施形態及び第二実施形態と同様の作用効果を得ることができる。
[実施例]
以下、上述の各実施形態における映像監視システム1及び100(以降、符号1で総称する)の適用例が示される。但し、上述の各実施形態の適用は、以下の例に限定されない。
図14は、映像監視システム1が適用されるスタジアムの概念図である。例えば、上述の映像監視システム1は、図14に示されるような、多数の人が集まるスタジアムに適用される。この場合、複数の監視カメラ9が、観客席、通路、出入口などを撮像可能な位置に設置され、多数の人が存在し得る複数の領域が監視領域にそれぞれ設定される。監視制御装置10(検出部13)は、監視領域において複数の人物(群衆)が一斉に状態変化したことを所定イベントとして検出する。本実施例では、その所定イベントが異常状態として扱われる。例えば、監視制御装置10は、客席を撮像する監視カメラ9の画像に写る群衆が或る地点を中心に外側に向かって一斉に走り出したことを所定イベント(異常状態)として検出する。
図15は、所定イベントの具体例を示す図である。図15の例では、人物D1が凶器を振りかざしている様子が表されている。この場合、監視制御装置10は、画像に写る複数の人物が、その人物D1を中心に、その中心から離れる方向に走り出したことを所定イベントとして検出する。
監視制御装置10(カメラ制御部14)は、その所定イベント(異常状態)が検出された監視領域の近傍に設置されており、その監視領域を撮像可能な全ての監視カメラ9をその監視領域を撮像するように一斉に制御する。これにより、異常状態の原因、例えば、突然凶器を振りかざした人物(図15参照)を多方面から撮像でき、事後的な検証においても容易に犯人を特定することができる。
他の例として、多数の人が存在し得る複数の領域が検出対象領域にそれぞれ設定され、それら検出対象領域に対応する複数の監視対象領域が設定される。例えば、客席周辺が検出対象領域に設定され、複数の出入口が監視対象領域にそれぞれ設定される。監視制御装置10(検出部13)は、検出対象領域において複数の人物(群衆)が一斉に状態変化したことを所定イベント(異常状態)として検出する。図15の例のように、監視制御装置10は、客席を撮像する監視カメラ9の画像に写る群衆が或る地点を中心に外側に向かって一斉に走り出したことを所定イベント(異常状態)として検出する。
監視制御装置10(カメラ制御部14)は、その所定イベント(異常状態)が検出された検出対象領域に対応する監視対象領域(出入口)を撮像可能な複数の監視カメラ9を選択する。監視制御装置10は、選択された複数の監視カメラ9の全てを、その監視対象領域(出入口)を撮像するように、一斉に制御する。これにより、不審人物が凶器を振りかざした地点(検出対象領域)から逃げ出したとしても、その時には既に、複数の出入口が全て監視下に置かれているため、確実にその不審人物の姿を確認することができる。
なお、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
上記の内容の一部又は全部は、以下のようにも特定され得る。但し、上述の内容が以下の記載に限定されるものではない。
1. 第一の撮像装置により撮像された画像に基づいて所定イベントを検出する検出手段と、
前記所定イベントの検出後、第二の撮像装置が所定位置を撮像するように第二の撮像装置を制御する制御手段と、
を備える映像監視システム。
2. 前記制御手段は、前記所定イベントの検出後、撮像方向を変更可能な複数の可動式撮像装置の中から前記所定位置を撮像可能な可動式撮像装置を選択し、選択された可動式撮像装置を制御し、選択されなかった可動式撮像装置を前記所定イベントの検出時の制御対象から除外する、
1.に記載の映像監視システム。
3. 前記検出手段は、前記第一の撮像装置により撮像された前記画像に含まれる前記所定位置において前記所定イベントを検出する、
1.又は2.に記載の映像監視システム。
4. 前記検出手段は、前記第一の撮像装置により撮像された前記画像に含まれる、前記所定位置とは異なる他の所定位置で前記所定イベントを検出する、
1.又は2.に記載の映像監視システム。
5. 前記所定イベントが検出される所定の検出対象位置と、複数の所定の監視対象位置の中のその所定の検出対象位置に対応する所定の監視対象位置との複数の対応関係情報を格納する対応格納部、
を更に備え、
前記制御手段は、前記所定イベントの検出後、前記対応関係情報を参照することにより、前記所定イベントが検出された前記所定の検出対象位置に対応する前記所定の監視対象位置を撮像可能な前記第二の撮像装置を特定する、
4.に記載の映像監視システム。
6. 前記検出手段は、前記所定イベントとして、対象物の映像監視線の通過又は対象物の監視領域における所定の状況を検出する、
1.から5.のいずれか1つに記載の映像監視システム。
7. 前記検出手段は、前記対象物の映像監視線の通過又は前記対象物の監視領域における所定の状況が、所定の時間間隔の間で複数の対象物について発生したことを前記所定イベントとして検出する、
6.記載の映像監視システム。
8. 少なくとも一つのコンピュータにより実行される映像監視方法において、
第一の撮像装置により撮像された画像に基づいて所定イベントを検出し、
前記所定イベントの検出後、第二の撮像装置が所定位置を撮像するように第二の撮像装置を制御する、
ことを含む映像監視方法。
9. 撮像方向を変更可能な複数の可動式撮像装置の中から前記所定位置を撮像可能な可動式撮像装置を選択し、
選択されなかった可動式撮像装置を前記所定イベントの検出時の制御対象から除外する、
ことを更に含み、
前記第二の撮像装置の制御は、前記選択された可動式撮像装置を前記第二の撮像装置として制御する、
8.に記載の映像監視方法。
10. 前記所定イベントの検出は、前記第一の撮像装置により撮像された前記画像に含まれる前記所定位置において前記所定イベントを検出する、
8.又は9.に記載の映像監視方法。
11. 前記所定イベントの検出は、前記第一の撮像装置により撮像された前記画像に含まれる、前記所定位置とは異なる他の所定位置で前記所定イベントを検出する、
8.又は9.に記載の映像監視方法。
12. 前記所定イベントが検出される所定の検出対象位置と、複数の所定の監視対象位置の中のその所定の検出対象位置に対応する所定の監視対象位置との複数の対応関係情報を格納する対応格納部を参照し、
前記所定イベントが検出された前記所定の検出対象位置に対応する前記所定の監視対象位置を撮像可能な前記第二の撮像装置を特定する、
ことを更に含む11.に記載の映像監視方法。
13. 前記所定イベントの検出は、前記所定イベントとして、対象物の映像監視線の通過又は対象物の監視領域における所定の状況を検出する、
8.から12.のいずれか1つに記載の映像監視方法。
14. 前記所定イベントの検出は、前記対象物の映像監視線の通過又は前記対象物の監視領域における所定の状況が、所定の時間間隔の間で複数の対象物について発生したことを前記所定イベントとして検出する、
13.に記載の映像監視方法。
15. 8.から14.のいずれか1つに記載の映像監視方法を少なくとも一つのコンピュータに実行させるプログラム。

Claims (6)

  1. 第1カメラにより撮像された第1画像から異常状態である所定のイベントを検出する検出手段と、
    前記第1カメラとは異なる第2カメラにより撮像され、前記所定のイベントを発生させた人物であって前記所定のイベントが検出された位置とは異なる位置に存在する人物を映す第2画像を取得する取得手段と、
    前記所定のイベントを検出した前記第1画像と前記第2画像とを表示装置に表示させる出力処理手段と、
    を備え
    前記第1カメラおよび前記第2カメラは、スタジアムに設置された監視カメラであり、
    前記取得手段は、前記スタジアムの客席において前記所定のイベントが検出されたことに応じて、
    前記スタジアムに設置された全ての監視カメラの中から、前記スタジアムの前記客席に対応する出入口を撮像可能な複数のカメラを前記第2カメラとして選択し、
    前記第2カメラとして選択された前記複数のカメラのすべてを前記出入口を撮影するように制御し、
    制御後の前記複数のカメラのいずれかにおいて撮影された画像であって、前記出入口に前記人物が存在している画像を、前記第2画像として取得する、
    映像監視装置。
  2. 前記所定のイベントは、人物の滞留、置き去り行為、侵入、喧嘩、危険物振り回しのいずれか1つを含む、
    請求項1に記載の映像監視装置。
  3. 少なくとも一つのコンピュータにより実行される映像監視方法において、
    第1カメラにより撮像された第1画像から異常状態である所定のイベントを検出し、
    前記第1カメラとは異なる第2カメラにより撮像され、前記所定のイベントを発生させた人物であって前記所定のイベントが検出された位置とは異なる位置に存在する人物を映す第2画像を取得し、
    前記所定のイベントを検出した前記第1画像と前記第2画像とを表示装置に表示させる、
    ことを含み、
    前記第1カメラおよび前記第2カメラは、スタジアムに設置された監視カメラであり、
    前記第2画像を取得することは、前記スタジアムの客席において前記所定のイベントが検出されたことに応じて、
    前記スタジアムに設置された全ての監視カメラの中から、前記スタジアムの前記客席に対応する出入口を撮像可能な複数のカメラを前記第2カメラとして選択し、
    前記第2カメラとして選択された前記複数のカメラのすべてを前記出入口を撮影するように制御し、
    制御後の前記複数のカメラのいずれかにおいて撮影された画像であって、前記出入口に前記人物が存在している画像を、前記第2画像として取得する、
    ことを含む、映像監視方法。
  4. 前記所定のイベントは、人物の滞留、置き去り行為、侵入、喧嘩、危険物振り回しのいずれか1つを含む、
    請求項に記載の映像監視方法。
  5. コンピュータを、
    第1カメラにより撮像された第1画像から異常状態である所定のイベントを検出する検出手段、
    前記第1カメラとは異なる第2カメラにより撮像され、前記所定のイベントを発生させた人物であって前記所定のイベントが検出された位置とは異なる位置に存在する人物を映す第2画像を取得する取得手段、
    前記所定のイベントを検出した前記第1画像と前記第2画像とを表示装置に表示させる出力処理手段、
    として機能させるためのプログラムであって、
    前記第1カメラおよび前記第2カメラは、スタジアムに設置された監視カメラであり、
    前記取得手段は、前記スタジアムの客席において前記所定のイベントが検出されたことに応じて、
    前記スタジアムに設置された全ての監視カメラの中から、前記スタジアムの前記客席に対応する出入口を撮像可能な複数のカメラを前記第2カメラとして選択し、
    前記第2カメラとして選択された前記複数のカメラのすべてを前記出入口を撮影するように制御し、
    制御後の前記複数のカメラのいずれかにおいて撮影された画像であって、前記出入口に前記人物が存在している画像を、前記第2画像として取得する、
    プログラム
  6. 前記所定のイベントは、人物の滞留、置き去り行為、侵入、喧嘩、危険物振り回しのいずれか1つを含む、
    請求項に記載のプログラム。
JP2021115821A 2019-09-18 2021-07-13 映像監視装置、映像監視方法及びプログラム Active JP7314973B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021115821A JP7314973B2 (ja) 2019-09-18 2021-07-13 映像監視装置、映像監視方法及びプログラム
JP2023113527A JP2023126352A (ja) 2019-09-18 2023-07-11 プログラム、映像監視方法及び映像監視システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019169070A JP2020022177A (ja) 2019-09-18 2019-09-18 映像監視システム及び映像監視方法
JP2021115821A JP7314973B2 (ja) 2019-09-18 2021-07-13 映像監視装置、映像監視方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019169070A Division JP2020022177A (ja) 2019-09-18 2019-09-18 映像監視システム及び映像監視方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023113527A Division JP2023126352A (ja) 2019-09-18 2023-07-11 プログラム、映像監視方法及び映像監視システム

Publications (2)

Publication Number Publication Date
JP2021185663A JP2021185663A (ja) 2021-12-09
JP7314973B2 true JP7314973B2 (ja) 2023-07-26

Family

ID=69588880

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019169070A Pending JP2020022177A (ja) 2019-09-18 2019-09-18 映像監視システム及び映像監視方法
JP2021115821A Active JP7314973B2 (ja) 2019-09-18 2021-07-13 映像監視装置、映像監視方法及びプログラム
JP2023113527A Pending JP2023126352A (ja) 2019-09-18 2023-07-11 プログラム、映像監視方法及び映像監視システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019169070A Pending JP2020022177A (ja) 2019-09-18 2019-09-18 映像監視システム及び映像監視方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023113527A Pending JP2023126352A (ja) 2019-09-18 2023-07-11 プログラム、映像監視方法及び映像監視システム

Country Status (1)

Country Link
JP (3) JP2020022177A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7355674B2 (ja) * 2020-02-18 2023-10-03 株式会社日立製作所 映像監視システムおよび映像監視方法
CN111582243B (zh) * 2020-06-05 2024-03-26 上海商汤智能科技有限公司 逆流检测方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003289532A (ja) 2002-03-28 2003-10-10 Minolta Co Ltd 監視カメラシステム及び監視カメラシステムの制御プログラム
JP2011091705A (ja) 2009-10-23 2011-05-06 Canon Inc 画像処理装置、および画像処理方法
JP2012133665A (ja) 2010-12-22 2012-07-12 Sogo Keibi Hosho Co Ltd 把持物体認識装置、把持物体認識方法、及び把持物体認識プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11152034A (ja) * 1997-11-20 1999-06-08 Fujitsu General Ltd 列車監視システム
JP2000272863A (ja) * 1999-03-24 2000-10-03 Hitachi Ltd 乗客コンベアの監視装置
JP3800217B2 (ja) * 2003-10-10 2006-07-26 コニカミノルタホールディングス株式会社 監視システム
JP2009255654A (ja) * 2008-04-14 2009-11-05 Toshiba Corp 列車運行監視システム
JP6149357B2 (ja) * 2012-07-25 2017-06-21 日本電気株式会社 防護発報無線システム
JP5935617B2 (ja) * 2012-09-14 2016-06-15 オムロン株式会社 画像処理装置、移動体の状態判定方法、および移動体の状態判定プログラム
JP2015002553A (ja) * 2013-06-18 2015-01-05 キヤノン株式会社 情報処理システムおよびその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003289532A (ja) 2002-03-28 2003-10-10 Minolta Co Ltd 監視カメラシステム及び監視カメラシステムの制御プログラム
JP2011091705A (ja) 2009-10-23 2011-05-06 Canon Inc 画像処理装置、および画像処理方法
JP2012133665A (ja) 2010-12-22 2012-07-12 Sogo Keibi Hosho Co Ltd 把持物体認識装置、把持物体認識方法、及び把持物体認識プログラム

Also Published As

Publication number Publication date
JP2020022177A (ja) 2020-02-06
JP2023126352A (ja) 2023-09-07
JP2021185663A (ja) 2021-12-09

Similar Documents

Publication Publication Date Title
JP6631619B2 (ja) 映像監視システム及び映像監視方法
JP7173196B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US6690374B2 (en) Security camera system for tracking moving objects in both forward and reverse directions
US7436887B2 (en) Method and apparatus for video frame sequence-based object tracking
US9052386B2 (en) Method and apparatus for video frame sequence-based object tracking
JP6403687B2 (ja) 監視システム
JP2023126352A (ja) プログラム、映像監視方法及び映像監視システム
KR102195706B1 (ko) 침입 탐지방법 및 그 장치
EP0878965A2 (en) Method for tracking entering object and apparatus for tracking and monitoring entering object
JP2006523043A (ja) 監視を行なう方法及びシステム
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
US20220044028A1 (en) Information processing apparatus, control method, and program
JP2009027393A (ja) 映像検索システムおよび人物検索方法
US11120838B2 (en) Information processing apparatus, control method, and program
KR102046591B1 (ko) 영상 감시 시스템 및 영상 감시방법
KR101656642B1 (ko) 영상을 이용한 집단 행동 분석 방법
JP2005284652A (ja) 動きベクトルを用いた映像監視方法及び装置
KR102270858B1 (ko) 객체 추적을 위한 cctv 카메라 시스템
JP7329967B2 (ja) 画像処理装置、システム、画像処理装置の制御方法、及び、プログラム
US10979675B2 (en) Video monitoring apparatus for displaying event information
WO2005120070A2 (en) Method and system for performing surveillance
JP6954416B2 (ja) 情報処理装置、情報処理方法、及びプログラム
EP4280187A1 (en) Methods and systems for reducing redundant alarm notifications in a security system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R151 Written notification of patent or utility model registration

Ref document number: 7314973

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151