以下、適宜図面を参照しながら、本開示に係る監視カメラシステム及び監視方法を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
以下の各実施の形態では、本開示に係る監視カメラシステムの監視エリアとして、複数の車両が駐車可能な駐車場を例示して説明し、監視カメラシステムの一例として駐車場監視システムを挙げて説明する。
以下の各実施の形態の説明において、ある情報又はデータと、別の情報又はデータとを対応付けて関連付ける処理を「タグ化」と定義する。タグ化の処理は、駐車場監視システムを構成する監視状況判別サーバにより行われ、タグ化されると、そのタグ化の処理の識別情報としてのタグ化識別情報が付与されるとともに、タグ化した時の時刻情報もタグ化識別情報と対応付けて記録されるとする。
(実施の形態1)
実施の形態1では、駐車場(例えば路上の駐車場)に駐車されている車両(以下、「駐車車両」と称する場合がある)に対する加害行為(例えば車上荒らし)の検知を行った場合に、少なくともその駐車車両に関する情報とその駐車車両の撮像画像(例えば静止画又は動画)とをタグ化して記録する駐車場監視システムの例について説明する。
先ず、実施の形態1の駐車場監視システムのシステム構成の第1例について説明する。
図1は、実施の形態1の駐車場監視システムのシステム構成の第1例の概略を模式的に示す図である。図2は、実施の形態1の駐車場監視システムのシステム構成の第1例を詳細に示すブロック図である。
駐車場監視システム100は、駐車場PRKに設置された複数のカメラ10a,10b及びマイク20a,20bと、監視状況判別サーバ30と、監視センタサーバ50と、入力デバイス55とを含む構成である。駐車場PRKには、複数のポールP1,P2が立設され、例えばポールP1にカメラ10a,マイク20aが取り付けられ、ポールP2にカメラ10b,マイク20bが取り付けられる。以下、カメラ10a,10bの区別を行う必要が無い場合には総称的に「カメラ10」と記載し、同様に、マイク20a,20bの区別を行う必要が無い場合には総称的に「マイク20」と記載する。
なお、図1では説明を簡単にするために、1本のポールに1台のカメラ及びマイクが取り付けられているが、1本のポールに取り付けられるカメラ及びマイクの台数は限定されない。また、図1では説明を簡単にするために、2本のポールが図示されているが、ポールの設置本数は2本に限定されない。また、マイク20a,20bは、それぞれカメラ10a,10b内に含まれるように構成されてもよい。
カメラ10a,10bとマイク20a,20bと監視状況判別サーバ30とは、ネットワークNW1を介して相互に通信可能に接続されている。ネットワークNW1は、無線ネットワーク又は有線ネットワークである。無線ネットワークは、例えば無線LAN(Local Area Network)、無線WAN(Wide Area Network)、3G(第3世代移動通信システム)、LTE(Long Term Evolution)、WiGig(Wireless Gigabit)又は5G(第5世代移動通信システム)である。有線ネットワークは、例えばイントラネット又はインターネットである。
監視状況判別サーバ30と監視センタサーバ50とは、ネットワークNW2を介して相互に通信可能に接続されている。ネットワークNW2は、無線ネットワーク又は有線ネットワークである。無線ネットワークは、例えば無線LAN、無線WAN、3G(第3世代移動通信システム)、LTE、WiGig)又は5G(第5世代移動通信システム)である。有線ネットワークは、例えばイントラネット又はインターネットである。なお、ネットワークNW1,NW2は1つのネットワークに纏められてもよい。
駐車場PRKには、複数の車両CR1,CR2,CR3,CR4がそれぞれ駐車可能な駐車スペースWK(駐車領域の一例)が予め設けられている。図1では、合計4台の車両CR1,CR2,CR3,CR4がそれぞれの駐車スペースWKに駐車されている状況が図示されている。また図1では、悪意ある第三者である不審人物SDP(例えば車上荒らし犯)が駐車車両である車両CR2に向かって加害行為(例えば車上荒らし)をしようと企んでいる状況が図示されている。
ここで、本実施の形態を含む各実施の形態における駐車車両には、いわゆる車両の防犯装置の一例としてのイモビライザーが搭載されている。それぞれの駐車車両内に搭載されたイモビライザーは、不審人物SDPの駐車車両に対する加害行為(例えば車上荒らし)を検知すると、その検知に基づいて既定の警報音の音声出力を開始したり、その駐車車両が有するライト(例えば前照灯、制動灯)を点滅したりすることができる。
カメラ10は、駐車場PRKを撮像エリアとして自己の画角内に含むように設定されており、駐車場PRKを被写体として撮像する。カメラ10は、撮像によって得られた駐車場PRKの撮像画像を取得し、カメラ10自身の識別情報と撮像画像とを、ネットワークNW1を介して監視状況判別サーバ30に常時又は定期的に送信する。カメラ10は、パンチルトズーム機能(PTZ(Pan Tilt Zoom)機能)を有するPTZカメラでもよいし、360°の全方位画像を撮像可能な全方位カメラでもよいし、既定の固定画角内を撮像可能な固定カメラでもよい。カメラ10に関する情報(例えば設置位置情報、カメラ10の種別)は、監視状況判別サーバ30の情報蓄積部37に保存されている。カメラ10の設置位置情報は、例えば、緯度、経度、高さである。なお、カメラ10の被写体(つまり、撮像対象のターゲット)は、駐車場PRK1内の駐車スペース内の駐車車両だけに限定されることは無く、例えば駐車場PRK1内の駐車スペースに関係なく駐車されている車両や、その駐車場PRK1に隣接する道路又はその駐車場PRK1付近の道路に駐車されている車両(例えば、放置されている駐車車両)も含まれてよく、以下の各実施の形態の各種のカメラ(例えば全方位カメラ、PTZカメラ)においても同様である。
マイク20は、駐車場PRK内のマイク20の周囲を収音エリアとして含むように設定されており、駐車場PRK内の音を収音する。マイク20は、収音によって得られた駐車場PRKの音信号を取得し、マイク20自身の識別情報と音信号とを、ネットワークNW1を介して監視状況判別サーバ30に常時又は定期的に送信する。マイク20は、特定の方向の音を強調して収音できるように特定の方向に指向性が予め付与されてもよいし、無指向であってもよい。マイク20に関する情報(例えばマイク20の設置位置情報、指向性の有無に関する情報)は、監視状況判別サーバ30の情報蓄積部37に保存されている。マイク20の設置位置情報は、例えば、緯度、経度、高さである。
サーバの一例としての監視状況判別サーバ30は、通信IF(Interface)31と、画像解析部32と、音声解析部33と、タグ情報蓄積管理部34と、画像蓄積部35と、音声蓄積部36と、情報蓄積部37と、画像音声タグ検索表示部38とを含む構成である。なお、監視状況判別サーバ30は、オンプレミスで(つまり、駐車場監視システム100を運営する運営業者自身が管理する設備内に導入及び設置して)運営する形態で使用されても良いし、又はネットワーク上のクラウドで(つまり、駐車場監視システム100を運営する運営業者自身が管理しない他の設備内に導入及び設置して)運営する形態で使用されてもよく、以下の各実施の形態においても同様である。
また、監視状況判別サーバ30、又は監視状況判別サーバ30の各構成の少なくとも1つは、カメラ10、マイク20、又はその両方(つまり、カメラ10及びマイク20)のいずれかに設けられても構わない。
通信IF31は、カメラ10、マイク20、監視センタサーバ50との間の通信のインターフェースに関わる処理を行う。
画像解析部32は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)等のプロセッサを用いて構成され、カメラ10から送信された撮像画像を用いて各種の画像解析を行い、撮像画像を含む各種の画像解析結果を画像蓄積部35に保存する。画像解析部32は、ナンバー認識部321と、車種判定部322と、車色判定部323と、人判定部324とを含む。なお、画像解析部32は、カメラ10内に設けられてもよい。
ナンバー認識部321は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、カメラ10から送信された撮像画像を用いて、撮像画像に映る車両のナンバープレートを認識してナンバープレート上に表示された各種の番号を読み取り、読み取り結果を画像蓄積部35に保存する。
車種判定部322は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、カメラ10から送信された撮像画像を用いて、例えば車種毎に予め用意された既定のテンプレート画像を用いたパターンマッチング処理により、撮像画像に映る車両の車種を判定する。車種判定部322における車両の車種の判定方法は上述したパターンマッチング処理に限定されない。車種判定部322は、車両の車種の判定結果を画像蓄積部35に保存する。
車色判定部323は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、カメラ10から送信された撮像画像を用いて、例えば車色毎に予め用意された既定のテンプレート画像を用いたマッチング処理により、撮像画像に映る車両の車色を判定する。車色判定部323における車両の車色の判定方法は上述したマッチング処理に限定されない。車色判定部323は、車両の車色の判定結果を画像蓄積部35に保存する。
人判定部324は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、カメラ10から送信された撮像画像を用いて、例えば予め用意された既定の人物テンプレート画像を用いたマッチング処理により、撮像画像に映る人物(例えば不審人物SDP)を判定する。人判定部324は、人の判定結果を画像蓄積部35に保存する。人の判定結果には、例えば人物の特徴情報(例えば人物全体の形状、性別、大まかな身長、歩き方、顔)が含まれる。
音声解析部33は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、マイク20から送信された音信号を用いて音声解析を行い、音信号を含む音声解析結果を音声蓄積部36に保存する。音声解析部33は、イモビライザー警報音判定部331を含む。なお、音声解析部33は、カメラ10又はマイク20内に設けられてもよい。
イモビライザー警報音判定部331は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、マイク20から送信された音信号を用いて、車両(例えば車両CR2)に搭載されたイモビライザーが不審人物SDPにより行われた加害行為(例えば車上荒らし)に基づいて音声出力の開始された警報音を検知する。言い換えると、不審人物SDPが車両CR2に対して車上荒らしを行うと、その車上荒らし(例えば車両CR2のガラスの破損)を検知したイモビライザーが既定の警報音を音声出力し、その警報音がイモビライザー警報音判定部331により検知される。イモビライザー警報音判定部331は、警報音を検知した旨のメッセージとマイク20の識別情報とをタグ情報蓄積管理部34に出力する。
タグ情報蓄積管理部34は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、画像解析部32の画像解析結果及び音声解析部33の音声解析結果を用いて、駐車場PRKの駐車車両(例えば不審人物SDPにより狙われている車両CR2)への加害行為(例えば車上荒らし)に関する複数の情報又はデータのタグ化を行う。タグ情報蓄積管理部34は、タグ化された複数の情報又はデータを情報蓄積部37に記録する。なお、タグ情報蓄積管理部34は、カメラ10又はマイク20内に設けられてもよい。
画像蓄積部35は、例えばHDD(Hard Disk Drive)又はフラッシュメモリ等の半導体メモリを用いて構成され、カメラ10から送信された撮像画像や、画像解析部32の各種の画像解析結果を対応付けて保存する。なお、画像蓄積部35は、カメラ10内に設けられてもよい。
音声蓄積部36は、例えばHDD又はフラッシュメモリ等の半導体メモリを用いて構成され、マイク20から送信された音信号(音声データ)や、音声解析部33の音声解析結果を対応付けて保存する。なお、音声蓄積部36は、カメラ10又はマイク20内に設けられてもよい。
蓄積部の一例としての情報蓄積部37は、例えばHDD又はフラッシュメモリ等の半導体メモリを用いて構成され、各種の情報又はデータを保存する。情報蓄積部37は、例えばカメラ10,マイク20のそれぞれの設置位置情報(例えば緯度、経度、高さの情報)や、狙われ易い車種情報を保存する。狙われ易い車種情報は、例えば統計的に加害行為(例えば車上荒らし)の発生頻度が高い駐車車両の車種を示す。
画像音声タグ検索表示部38は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、監視センタサーバ50からの問い合わせ(リクエスト)に応じて、その問い合わせに対応するタグ化された情報又はデータを、情報蓄積部37、画像蓄積部35、音声蓄積部36から取得して監視センタサーバ50に応答(レスポンス)する。
ここで、タグ化された情報又はデータは、例えば駐車車両(例えば車両CR2)に対する加害行為(例えば車上荒らし)があった場合に、加害行為による被害を被った車両に関する情報と、その車両の撮像画像と、加害行為を行った人物(つまり、実行犯)に関する情報のうち少なくとも2つが含まれる。また、加害行為の実行犯が逃走時に乗車した別の車両(例えばその実行犯の所有する車両)に関する情報や、加害行為時に実行犯が発した音声が更に含まれてもよい。
外部サーバの一例としての監視センタサーバ50は、例えばPC(Personal Computer)を用いて構成され、本実施の形態の駐車場監視システム100の運営を行う監視業者(例えば、民間の監視業務従事者、又は警察)の従業員である監視員の入力操作に応じて、監視状況判別サーバ30から送信された、タグ化された情報又はデータを監視センタモニタ51に表示させる。なお、監視センタサーバ50は、オンプレミスで(つまり、監視センタサーバ50を運営する監視業者自身が管理する設備内に導入及び設置して)運営する形態で使用されても良いし、又はネットワーク上のクラウドで(つまり、監視センタサーバ50を運営する監視業者自身が管理しない他の設備内に導入及び設置して)運営する形態で使用されてもよく、以下の各実施の形態においても同様である。
監視センタモニタ51は、例えばLCD(Liquid Crystal Display)又は有機EL(Electroluminescence)を用いて構成され、監視センタサーバ50から渡された、タグ化された情報又はデータを表示する。なお、監視センタモニタ51は、監視センタサーバ50とは異なる外部装置として設けられるが、監視センタサーバ50の内部に含まれた構成としても良い。
入力デバイス55は、例えばマウス、キーボード、タッチパネル又はタッチパッドを用いて構成され、監視センタの監視員の入力操作に応じた信号を監視センタサーバ50に出力する。
次に、本実施の形態の駐車場監視システム100における加害行為(例えば車上荒らし)に基づいて駐車車両内のイモビライザーが警報音を音声出力した時の動作手順について、図3を参照して説明する。
図3は、実施の形態1の駐車場監視システム100の車上荒らしの検知時における動作手順の一例を詳細に示すフローチャートである。
図3に示す各処理は、図2に示す監視状況判別サーバ30により実行される。また、図3の説明の前提として、カメラ10は、駐車場PRKの撮像画像を監視状況判別サーバ30に常時又は定期的に送信し、マイク20は、駐車場PRKの音を収音して音信号を監視状況判別サーバ30に常時又は定期的に送信している。
図3において、イモビライザー警報音判定部331は、マイク20から送信された音信号を用いて、車両(例えば車両CR2)に搭載されたイモビライザーが不審人物SDPにより行われた加害行為(例えば車上荒らし)に基づいて音声出力の開始された警報音を検知する(S1)。イモビライザー警報音判定部331は、警報音を検知した旨のメッセージをタグ情報蓄積管理部34に出力する。これにより、タグ情報蓄積管理部34は、イモビライザー警報音判定部331からのメッセージを受け取ることにより、現在、駐車場PRKに駐車されているいずれかの車両に加害行為(例えば車上荒らし、又は車両の盗難)が実行された又は実行されていることを認識できる。
タグ情報蓄積管理部34は、情報蓄積部37に保存されているマイク20の設置位置情報(例えば緯度、経度、高さの情報)を用いて、警報音の発信位置のエリアを特定する(S2)。タグ情報蓄積管理部34は、情報蓄積部37に保存されているマイク20の指向性の有無に関する情報に基づいて、マイク20に指向性が付与されているかどうかを判定する(S3)。マイク20に指向性が付与されていないと判定された場合には(S3、NO)、監視状況判別サーバ30の処理はステップS5に進む。
タグ情報蓄積管理部34は、マイク20に指向性が付与されていると判定した場合には(S3、YES)、マイク20の指向性に関する情報に基づいて、警報音の発信位置を、ステップS2において特定されたエリアよりも絞り込むように限定的に特定する(S4)。
タグ情報蓄積管理部34は、ステップS2において特定された警報音の発信位置のエリア又はステップS4において特定された警報音の発信位置の情報を用いて、ライトが点滅している車両を探索する処理を行う(S5)。ステップS5の処理は、加害行為(例えば車上荒らし)に遭った駐車車両は、その駐車車両に予め搭載された一部又は全てのライト(例えば前照灯、制動灯)が点滅するという既定の設定に着目し、ライトが点滅している車両の探索により、加害行為(例えば車上荒らし)に遭った駐車車両を特定することを目的としている。
具体的には、タグ情報蓄積管理部34は、情報蓄積部37に保存されているカメラ10に関する情報を用いて、そのカメラ10にパンチルトズーム機能があるかどうかを判別する(S6)。カメラ10にパンチルトズーム機能がないと判別された場合には(S6、NO)、監視状況判別サーバ30の処理はステップS8に進む。
一方、タグ情報蓄積管理部34は、カメラ10にパンチルトズーム機能があると判別した場合(S6、YES)、ステップS2において特定された警報音の発信位置のエリア又はステップS4において特定された警報音の発信位置の情報を用いて、警報音の発信位置のエリア又は絞り込まれた警報音の発信位置をカメラ10に撮像させるための撮像指示を画像解析部32に渡す(S7)。画像解析部32は、タグ情報蓄積管理部34から渡された撮像指示に応じて、警報音の発信位置のエリア又は絞り込まれた警報音の発信位置を撮像するための撮像指示を、通信IF31を介してカメラ10に送信する(S7)。
カメラ10は、例えばパンチルトズーム機能を有する場合には、画像解析部32からの撮像指示に応じた撮像範囲を向けて、加害行為(例えば車上荒らし)に遭った駐車車両を撮像し、その駐車車両の撮像画像を監視状況判別サーバ30に送信する。
画像解析部32は、カメラ10から送信された駐車車両の撮像画像を、通信IF31を介して受信して、その撮像画像に映る駐車車両の一部又は全てのライトが点滅しているかどうかを判別する(S8)。画像解析部32は、駐車車両の一部又は全てのライトが点滅していないと判別した場合には(S8、NO)、駐車車両の一部又は全てのライトが点滅している撮像画像が得られるまで、カメラ10に撮像指示を送信する。例えば、画像解析部32は、カメラ10がパンチルトズーム機能を有する場合には、カメラ10の撮像範囲を変えて撮像するように撮像指示を生成して送信する。画像解析部32は、カメラ10がパンチルトズーム機能を有さない場合には、警報音の発信位置又はそのエリアを撮像可能な他のカメラ10を選択し、その選択されたカメラ10に撮像指示を生成して送信する。
一方、画像解析部32は、駐車車両の一部又は全てのライトが点滅していると判別した場合には(S8、YES)、駐車車両の一部又は全てのライトが点滅している旨のメッセージをタグ情報蓄積管理部34に通知する。タグ情報蓄積管理部34は、この通知に応じて、ライトが点滅している駐車車両(言い換えると、加害行為(例えば車上荒らし)がなされた車両)に関する情報と、その駐車車両の撮像画像(例えばステップS8において撮像された撮像画像)とを画像蓄積部35から取得する。タグ情報蓄積管理部34は、これらの各種の情報又はデータ(つまり、ライトが点滅している駐車車両に関する情報と、その駐車車両の撮像画像)をタグ化して情報蓄積部37に記録する(S9)。タグ情報蓄積管理部34は、ステップS9のタグ化の際に、タグ化識別番号を付与して情報蓄積部37に記録する。
ライトが点滅している駐車車両に関する情報は、例えば、その駐車車両のナンバープレート上に表示された車番号(ナンバー)、車種、車色、その駐車車両の撮像画像内における位置情報(例えば駐車車両の座標)、その駐車車両の位置情報(例えば緯度、経度、高さの情報)の一部又は全てが含まれる。また、駐車車両の撮像画像は、撮像画像そのもの、時刻情報(例えばライトの点滅が検知された時の時刻情報)、その駐車車両を撮像したカメラ10の識別情報、その駐車車両を撮像したカメラ10の映像を構成する撮像画像の位置、前述した映像の番号の一部又は全てが含まれる。
また、ステップS9では、タグ情報蓄積管理部34は、イモビライザー警報音出力情報も併せてタグ化して情報蓄積部37に記録してもよい。イモビライザー警報音出力情報は、例えばイモビライザーから出力された警報音が音声解析部33により検知された時刻情報、その警報音を収音したマイク20の識別情報、その警報音の種別、その警報音の内容を示す情報、その警報音の音源位置(例えば緯度、経度、高さの情報)の一部又は全てが含まれ、以下同様である。
タグ情報蓄積管理部34は、ライトが点滅している駐車車両に関する情報と、その駐車車両の撮像画像とをタグ化して情報蓄積部37に記録した旨のメッセージを、通信IF31を介して監視センタサーバ50に通知(送信)する(S10)。このメッセージには、例えば監視センタサーバ50を利用する監視員が問い合わせできるように、ステップS9においてタグ化された時に付与されたタグ化識別番号が含まれることが好ましい。
タグ情報蓄積管理部34は、ステップS9においてタグ化された駐車車両の付近に人物(例えば不審人物)がいるか探索する処理を行う(S11)。ステップS11の処理は、加害行為(例えば車上荒らし)を実際に行った人物(つまり、実行犯)の特定を容易にするために、加害行為の被害を被った駐車車両に関する情報、その駐車車両の撮像画像とともに、実行犯に関する情報も併せてタグ化することを目的としている。
具体的には、タグ情報蓄積管理部34は、情報蓄積部37に保存されているカメラ10に関する情報を用いて、タグ化された駐車車両の位置の付近に人物がいるかどうかの判別を行うために、タグ化された駐車車両の位置の情報を用いて、タグ化された駐車車両の位置をカメラ10に撮像させるための撮像指示を画像解析部32に渡す。画像解析部32は、タグ情報蓄積管理部34から渡された撮像指示に応じて、タグ化された駐車車両の位置を撮像するための撮像指示を、通信IF31を介してカメラ10に送信する。
カメラ10は、画像解析部32からの撮像指示に応じて、タグ化された駐車車両の位置を撮像し、その駐車車両の位置の撮像画像(つまり、加害行為の発生位置の撮像画像)を監視状況判別サーバ30に送信する。
画像解析部32は、カメラ10から送信された駐車車両の位置の撮像画像を、通信IF31を介して受信して、その撮像画像に映る人物がいるかどうかを判別する(S12)。画像解析部32は、その撮像画像に映る人物がいないと判別した場合には(S12、NO)、その撮像画像に映る人物がいる撮像画像が得られるまで、カメラ10に撮像指示を送信する。
一方、画像解析部32は、その撮像画像に映る人物がいると判別した場合には(S12、YES)、タグ化された駐車車両の付近に人物を検知した旨のメッセージをタグ情報蓄積管理部34に通知する。タグ情報蓄積管理部34は、この通知に応じて、タグ化された駐車車両の付近に検知された人物に関する情報と、その駐車車両の撮像画像(例えばステップS11において撮像された撮像画像)とを画像蓄積部35から取得する。タグ情報蓄積管理部34は、これらの各種の情報又はデータ(つまり、タグ化された駐車車両の付近に検知された人物に関する情報とその駐車車両の撮像画像)をタグ化して情報蓄積部37に記録する(S13)。タグ情報蓄積管理部34は、ステップS13のタグ化の際に、ステップS9のタグ化の際に付与したタグ化識別番号を同様に付与して情報蓄積部37に記録する。
タグ化された駐車車両の付近に検知された人物に関する情報は、例えば、人物の特徴情報(例えば人物全体の形状、性別、大まかな身長、歩き方、顔、服の色、髪の毛の色、)、その人物の撮像画像内における位置情報(例えば人物の座標)、その人物の位置情報(例えば緯度、経度、高さの情報)の一部又は全てが含まれる。駐車車両の撮像画像は、撮像画像そのもの、その人物を撮像したカメラ10の映像を構成する撮像画像の位置、前述した映像の番号の一部又は全てが含まれる。
ステップS9と同様にステップS13でも、タグ情報蓄積管理部34は、イモビライザー警報音出力情報も併せてタグ化して情報蓄積部37に記録してもよい。
次に、タグ情報蓄積管理部34は、ステップS13においてタグ化された人物を追跡して監視する処理を行う(S14)。ステップS14の処理は、加害行為(例えば車上荒らし)を実際に行った人物(つまり、実行犯)の移動経路を容易に特定するために、実行犯の移動の追跡により得られた情報も併せてタグ化することを目的としている。
具体的には、タグ情報蓄積管理部34は、情報蓄積部37に保存されているカメラ10に関する情報を用いて、そのカメラ10にパンチルトズーム機能があるかどうかを判別する(S15)。カメラ10にパンチルトズーム機能がないと判別された場合には(S15、NO)、監視状況判別サーバ30の処理はステップS17に進む。
一方、タグ情報蓄積管理部34は、カメラ10にパンチルトズーム機能があると判別した場合(S15、YES)、タグ化された人物の移動経路を追跡するために、タグ化された人物に関する情報を用いて、タグ化された人物の位置をカメラ10に撮像させるための撮像指示を画像解析部32に渡す。画像解析部32は、タグ情報蓄積管理部34から渡された撮像指示に応じて、タグ化された人物の位置を撮像するための撮像指示を、通信IF31を介してカメラ10に送信する。
カメラ10は、画像解析部32からの撮像指示に応じて、パンチルトズーム機能を用いて、タグ化された人物の位置を追跡しながら撮像し、その人物の位置の撮像画像(つまり、追跡中の人物の位置の撮像画像)を監視状況判別サーバ30に送信する。
画像解析部32は、カメラ10から送信された追跡中の人物の位置の撮像画像を、通信IF31を介して受信して、その人物の移動経路を追跡して監視する(S16)。画像解析部32は、例えば追跡対象の人物が撮像された静止画若しくは動画と時系列的に前後する静止画若しくは動画を用いて、その追跡対象の人物の移動経路の追跡を行う。画像解析部32は、その人物が車両(例えば、その人物が駐車場PRKに来るために乗車してきた車両CR1)に乗車したかどうかを検知する(S17)。画像解析部32は、例えば追跡対象の人物が撮像された静止画若しくは動画と時系列的に前後する静止画若しくは動画と、その車両(例えば上述した車両CR1)が撮像された静止画若しくは動画と時系列的に前後する静止画若しくは動画とを用いて、その追跡対象の人物がその車両(例えば上述した車両CR1)に乗車したかどうかを判別する。画像解析部32は、その人物がその車両に乗車した撮像画像が得られるまで、カメラ10に撮像指示を送信する。
一方、画像解析部32は、その人物がその車両に乗車したことを検知した場合には(S17、YES)、ステップS14の処理を終了し、その人物がその車両に乗車したことを検知した旨のメッセージをタグ情報蓄積管理部34に通知する。タグ情報蓄積管理部34は、この通知に応じて、ステップS13においてタグ化された人物に関する情報と、その人物が乗車した車に関する情報とその車両の撮像画像(例えばステップS14の処理において撮像された撮像画像)とを画像蓄積部35から取得する。タグ情報蓄積管理部34は、これらの各種の情報又はデータ(つまり、ステップS13においてタグ化された人物に関する情報と、その人物が乗車した車に関する情報とその車両の撮像画像)をタグ化して情報蓄積部37に記録する(S18)。タグ情報蓄積管理部34は、ステップS18のタグ化の際に、ステップS9,S13のタグ化の際に付与したタグ化識別番号を同様に付与して情報蓄積部37に記録する。
タグ情報蓄積管理部34は、ステップS18においてタグ化された情報又はデータ(つまり、ステップS13においてタグ化された人物に関する情報と、その人物が乗車した車に関する情報とその車両の撮像画像)を、通信IF31を介して監視センタサーバ50に送信する(S19)。なお、タグ情報蓄積管理部34は、ステップS19において、アラーム(つまり、警報の旨)の音声出力の制御信号を、通信IF31を介して監視センタサーバ50に送信してもよい。これにより、監視センタサーバ50は、ステップS19において監視状況判別サーバ30から送信された制御信号に応じて、アラーム(つまり、警報の旨)の既定音を音声出力できて、監視員に対し、注意喚起を促すことができる。
また、図3では図示を省略しているが、監視センタサーバ50は、監視員がステップS19の通報又は上述したアラームの既定音を確認した後の入力デバイス55の操作に応じて、例えばステップS9、S13又はS18の際に付与されたタグ化識別番号を用いて、そのタグ化識別番号に対応付けてタグ化された情報又はデータの検索を監視状況判別サーバ30に問い合わせてもよい。
画像音声タグ検索表示部38は、監視センタサーバ50から送信された問い合わせに含まれるタグ化識別番号に基づいて、そのタグ化識別番号に対応付けてタグ化された情報又はデータを、画像蓄積部35、音声蓄積部36、情報蓄積部37からそれぞれ抽出する。画像音声タグ検索表示部38は、抽出結果の情報又はデータを、通信IF31を介して監視センタサーバ50に送信する。これにより、監視員は、タグ化識別番号を通じてタグ化された各種の情報又はデータを一元的に検索して取得できるので、駐車場PRKにおいて何かしらの加害行為があった場合でも、迅速にその加害行為の位置や原因等を含む詳細情報を早期に把握でき、監視業務を効率化できる。
以上により、本実施の形態の駐車場監視システム100では、駐車場PRK(監視エリアの一例)に設置された複数のカメラ及びマイクと、監視状況判別サーバ30とが通信可能に接続され、カメラ10は、駐車場PRKの撮像画像を監視状況判別サーバ30に送信し、マイク20は、駐車場PRKの音を収音して監視状況判別サーバ30に送信する。監視状況判別サーバ30は、マイク20から送信された駐車場PRKの音信号を用いて、駐車場PRK内の車両に対する加害行為(例えば車上荒らし)に基づいて開始された車両内に搭載されたイモビライザーからの警報音を検知する。監視状況判別サーバ30は、警報音の検知に基づいて加害行為の発生位置又はそのエリアを判別し、判別された発生位置又はそのエリアの撮像画像を取得し、発生位置又はそのエリアの撮像画像を用いて、加害行為がなされた車両を判別し、判別された車両に関する情報を取得する。また、監視状況判別サーバ30は、車両に関する情報と発生位置の撮像画像とを対応付けて(つまり、タグ化して)情報蓄積部37に記録する。
これにより、駐車場監視システム100は、駐車場PRK内の駐車車両への危害を加える行為(例えば不審人物SDPによる車上荒らし)があった場合、被害車両や事件現場の位置を含む詳細情報の収集を早期に行え、かつこれらの情報又はデータのタグ化によって関連付けることができるので、監視業者の従業員である監視員にとって事件の詳細を早期把握するための効率性の向上を的確に担保できる。
また、監視状況判別サーバ30は、被害を被った車両に関する情報と発生位置の撮像画像とを対応付けて(つまり、タグ化して)情報蓄積部37に記録した旨を監視センタサーバ50に通知する。これにより、監視員は、駐車場PRK内の駐車車両への危害を加える行為(例えば不審人物SDPによる車上荒らし)があった場合に、監視状況判別サーバ30により、被害を被った車両に関する情報と発生位置の撮像画像とがタグ化されたことを早期に把握できるので、的確な初動措置を行うことができる。
また、監視状況判別サーバ30は、カメラ10から送信された駐車場PRKの撮像画像を用いて、加害行為に基づいて開始された車両のライトの点滅を検知し、ライトの点滅が検知された車両に関する情報を取得する。これにより、監視状況判別サーバ30は、ライトが点滅している車両を探索することにより、加害行為(例えば車上荒らし)に遭った駐車車両を容易に特定できる。
また、監視状況判別サーバ30は、発生位置の撮像指示をカメラ10に送信し、カメラ10は、パンチルトズーム機能を有し、監視状況判別サーバ30から送信された撮像指示に応じて、撮像方向を発生位置に向けて撮像する。これにより、カメラ10は、パンチルトズーム機能を用いて的確に撮像範囲を捉えることができるので、加害行為の被害を被った被害車両の状況を詳細に把握可能な撮像画像を取得できる。
また、監視状況判別サーバ30は、発生位置の周囲の人物の検知に応じて、人物に関する情報を取得し、前記人物に関する情報を、車両に関する情報と発生位置の撮像画像とに更に対応付けて情報蓄積部37に対応付けて(つまり、タグ化して)記録する。これにより、監視状況判別サーバ30は、加害行為の被害を被った被害車両とその撮像画像の他に、その被害車両の周囲で検知された人物(例えば加害行為の実行犯)に関する情報をタグ化できるので、その事件に関して広範な情報の関連付けが可能となり、事件に関する状況把握の早期化を支援できる。
また、監視状況判別サーバ30は、加害行為の被害を被った車両に関する情報と加害行為の発生位置の撮像画像とを対応付けて監視センタサーバ50に送信する。これにより、監視員は、駐車場PRK内の駐車車両への危害を加える行為(例えば不審人物SDPによる車上荒らし)があった場合に、加害行為の被害を被った車両に関する情報と加害行為の発生位置の撮像画像とを早期に把握できるので、事件に遭った車両の情報も含めた事件の詳細の確認を迅速化でき、適切に対処することができる。
また、監視状況判別サーバ30は、加害行為の被害を被った車両に関する情報と加害行為の発生位置の撮像画像とその車両の周囲で検知された人物(例えば加害行為の実行犯)に関する情報とを対応付けて監視センタサーバ50に送信する。これにより、監視員は、駐車場PRK内の駐車車両への危害を加える行為(例えば不審人物SDPによる車上荒らし)があった場合に、加害行為の被害を被った車両に関する情報と加害行為の発生位置の撮像画像とその車両の周囲で検知された人物に関する情報とを早期に把握できるので、事件の犯人の可能性のある人物の情報や事件に遭った車両の情報も含めた事件の詳細の確認を迅速化でき、適切に対処することができる。
次に、本実施の形態の駐車場監視システム100における重点監視対象車の設定時の動作手順について、図4を参照して説明する。盗難の対象に遭い易い車両は転売され易い高級車又は人気の高い車両であるところ、上述した特許文献1を含む従来技術では、狙われ易い車両の車種を優先的に監視することはできなかったという課題があった。
そこで、駐車場監視システム100は、盗難等の狙われ易い車両の車種に関する情報を保持し、駐車場に駐車されている車両の車種を判別し、狙われ易い車両の車種と一致した場合には、その車両を重点的に監視する必要がある重点監視対象車と設定する。
図4は、実施の形態1の駐車場監視システム100の重点監視対象車の設定時における動作手順の一例を詳細に示すフローチャートである。
図4に示す各処理は、図2に示す監視状況判別サーバ30により実行される。また、図4の各処理は、図3の各処理に先だって行われてもよいし、図3の各処理と並行して行われてもよいし、図3の各処理の後に行われてもよい。また、図4の説明の前提として、画像音声タグ検索表示部38は、入力デバイス55を用いた監視員の操作により、監視センタサーバ50から送信された、狙われ易い車種情報を、通信IF31を介して受信すると情報蓄積部37に登録して保存する。タグ情報蓄積管理部34は、狙われ易い車種情報を画像解析部32(具体的には、車種判定部322)に設定する。
図4において、画像解析部32は、カメラ10から送信された駐車場PRKの撮像画像を、通信IF31を介して受信すると、その撮像画像を用いて、車両を検知する(S21)。車種判定部322は、検知された車両の車種を判別する(S22)。
車種判定部322は、ステップS21において検知された車両の車種が車種判定部322に設定された、狙われ易い車種情報の車種と同一であるかどうかを判定する(S23)。車種判定部322は、ステップS21において検知された車両の車種が車種判定部322に設定された、狙われ易い車種情報の車種と同一でないと判定した場合には(S23、NO)、その旨のメッセージをタグ情報蓄積管理部34に通知する。タグ情報蓄積管理部34は、画像解析部32からの通知に応じて、ステップS21において検知された車両を通常車と設定する(S24)。通常車は、例えば駐車場監視システム100において重点的に監視される必要がある重点監視対象車とは異なる一般的な車両である。ステップS24の後、監視状況判別サーバ30の処理は終了する。
一方、画像解析部32は、ステップS21において検知された車両の車種が車種判定部322に設定された、狙われ易い車種情報の車種と同一であると判定された場合には(S23、YES)、その旨のメッセージをタグ情報蓄積管理部34に通知する。タグ情報蓄積管理部34は、画像解析部32からの通知に応じて、ステップS21において検知された車両を重点監視対象車と設定する(S25)。
タグ情報蓄積管理部34は、情報蓄積部37に保存されているカメラ10に関する情報を用いて、ステップS21において重点監視対象車と設定された車両を撮像したカメラ10にパンチルトズーム機能があるかどうかを判別する(S26)。
タグ情報蓄積管理部34は、そのカメラ10にパンチルトズーム機能があると判別した場合には(S26、YES)、パンチルトズーム機能を用いて、重点監視対象車と設定された車両に焦点を合わせて撮像するための撮像指示を画像解析部32に渡す(S27)。
一方、タグ情報蓄積管理部34は、そのカメラ10にパンチルトズーム機能がないと判別した場合には(S26、NO)、重点監視対象車と設定された車両を撮像可能なカメラ10を選定し(S28)、その選定されたカメラ10に撮像させるための撮像指示を画像解析部32に渡す(S28)。
画像解析部32は、タグ情報蓄積管理部34から渡された撮像指示に応じて、重点監視対象車と設定された車両に焦点を合わせて撮像するための撮像指示を、通信IF31を介して、パンチルトズーム機能を有するカメラ10又はステップS28において選定されたカメラ10のいずれかに送信する(S27,S28)。
カメラ10は、監視状況判別サーバ30からの撮像指示に応じて、パンチルトズーム機能を用いて、重点監視対象車と設定された車両に撮像範囲を向けて撮像し、その重点監視対象車と設定された車両の撮像画像を監視状況判別サーバ30に送信する。
画像解析部32は、カメラ10から送信された重点監視対象車と設定された車両の撮像画像を、通信IF31を介して受信して、その撮像画像を用いて、重点監視対象車と設定された車両の付近で通過する人物を検知し、その検知された人物に関する情報を取得する(S29)。また、画像解析部32は、その検知された人物が重点監視対象車と設定された車両の付近を往来している状況(例えばうろついている状況)を検知した場合、その検知された人物に対してうろつき情報を生成する。画像解析部32は、重点監視対象車と設定された車両の付近で検知された人物に関する情報とその人物に対するうろつき情報とをタグ情報蓄積管理部34に渡す。タグ情報蓄積管理部34は、画像解析部32から渡された人物に関する情報とその人物に対するうろつき情報とをタグ化して情報蓄積部37に記録する(S29)。タグ情報蓄積管理部34は、ステップS28のタグ化の際に、タグ化識別番号を付与して情報蓄積部37に記録する。
タグ情報蓄積管理部34は、重点監視対象車と設定された車両の付近で検知された人物に関する情報と、その人物に対するうろつき情報とをタグ化して情報蓄積部37に記録した旨のメッセージを、通信IF31を介して監視センタサーバ50に通知(送信)する(S29)。このメッセージには、例えば監視センタサーバ50を利用する監視員が問い合わせできるように、ステップS28においてタグ化された時に付与されたタグ化識別番号が含まれることが好ましい。なお、タグ情報蓄積管理部34は、アラーム(つまり、警報の旨)の音声出力の制御信号を、通信IF31を介して監視センタサーバ50に送信してもよい。これにより、監視センタサーバ50は、ステップS28において監視状況判別サーバ30から送信された制御信号に応じて、アラーム(つまり、警報の旨)の既定音を音声出力できて、監視員に対し、注意喚起を促すことができる。
このように、監視状況判別サーバ30は、統計的に加害行為の発生頻度が高い駐車車両の車種に関する情報(つまり、狙われ易い車種情報)を保持し、駐車場PRK内の撮像画像を用いて、駐車場PRK内に駐車された車両の車種を判別する。監視状況判別サーバ30は、判別された車種が狙われ易い車両の車種と一致した場合に、その車両の車両を重点監視対象車(監視対象車両の一例)と設定し、重点監視対象車の撮像指示をカメラ10に送信する。カメラ10は、監視状況判別サーバ30から送信された撮像指示に応じて、重点監視対象車と設定された車両を撮像する。これにより、監視状況判別サーバ30は、例えば加害行為が不審人物SDPにより実行される前に、統計的に狙われ易い車種(例えば人気の高い車両の車種、又は高く転売可能な車両の車種)の車両が駐車されていることを検知できた場合に、予めその車両の撮像画像を取得できるので、重点監視対象車と設定された車両に対する車上荒らしや盗難が発生した場合でも、早期に発見できる。
また、監視状況判別サーバ30は、重点監視対象車(監視対象車両の一例)の撮像画像を用いて、重点監視対象車の周囲で往来している人物に関する情報を取得し、重点監視対象車に関する情報と往来している人物に関する情報とを対応付けて(つまり、タグ化して)情報蓄積部37に記録する。これにより、監視状況判別サーバ30は、重点監視対象車の周囲でうろうろしている不審人物(例えば不審人物SDP)がいる事実を情報として記録でき、例えば実際に重点監視対象車に車上荒らしや盗難が発生してしまった場合でも、重点監視対象車に関する情報と対応付けられた人物に関する情報を用いて、その人物の詳細を迅速に把握させることができる。
また、監視状況判別サーバ30は、重点監視対象車(監視対象車両の一例)に関する情報とその重点監視対象車と設定された車両の周囲で往来している人物に関する情報とを対応付けて(つまり、タグ化して)情報蓄積部37に記録した旨を監視センタサーバ50に通知する。これにより、監視員は、重点監視対象車と設定された車両の周囲で不審人物が検知されたことを早期に把握できるので、この事実を踏まえて適切な対処を行うことができる。
次に、実施の形態1の駐車場監視システムのシステム構成の第2例について説明する。
図5は、実施の形態1の駐車場監視システムのシステム構成の第2例の概略を模式的に示す図である。図6は、実施の形態1の駐車場監視システムのシステム構成の第2例を詳細に示すブロック図である。
図5及び図6の説明において、図1及び図2に示す構成と同一の構成については同一の符号を付与して説明を簡略化又は省略する。
駐車場監視システム100Aは、駐車場PRKに設置された複数のカメラ10a,10b,マイク20a,20b及び輝度センサ60a,60bと、監視状況判別サーバ30Aと、監視センタサーバ50と、入力デバイス55とを含む構成である。駐車場PRKには、複数のポールP1,P2,P3が立設され、例えばポールP1にカメラ10a,マイク20a,輝度センサ60a,照明装置91aが取り付けられ、ポールP2にカメラ10b,マイク20b,輝度センサ60b,照明装置91bが取り付けられ、ポールP3には拡声器81,照明装置91cが取り付けられる。以下、輝度センサ60a,60bの区別を行う必要が無い場合には総称的に「輝度センサ60」と記載する。同様に、照明装置91a,91b,91cの区別を行う必要が無い場合には総称的に「照明装置91」と記載する。
なお、図5では説明を簡単にするために、1本のポールに1台のカメラ、マイク、輝度センサ、照明装置が取り付けられているが、1本のポールに取り付けられるカメラ、マイク、輝度センサ、照明装置の台数は限定されない。また、図5では説明を簡単にするために、3本のポールが図示されているが、ポールの設置本数は3本に限定されない。また、マイク20a,20bや輝度センサ60a,60bは、それぞれカメラ10a,10b内に含まれるように構成されてもよい。
また、駐車場PRKのそれぞれの駐車スペースWKには、例えば地面からフラップ板を有する車両止め装置(例えば車両止め装置71a,71b,71c,71d)が配備されている。以下、車両止め装置71a,71b,71c,71dの区別を行う必要が無い場合には総称的に「車両止め装置71」と記載する。図5では、車両CR1,CR2,CR3,CR4の合計4台が駐車されているので、4基の車両止め装置71a,71b,71c,71dが作動して車両CR1,CR2,CR3,CR4を容易に出動させないように止めている。
輝度センサ60は、輝度センサ60自身が取り付けられた駐車場PRKのポールの周囲の輝度(つまり、明るさ)を計測し、輝度センサ60自身の識別情報と計測結果とを、ネットワークNW1を介して監視状況判別サーバ30に常時又は定期的に送信する。輝度センサ60に関する情報(例えば識別情報)は、監視状況判別サーバ30の情報蓄積部37Aに保存されている。
サーバの一例としての監視状況判別サーバ30Aは、通信IF31と、画像解析部32Aと、音声解析部33と、タグ情報蓄積管理部34Aと、画像蓄積部35と、音声蓄積部36と、情報蓄積部37Aと、画像音声タグ検索表示部38とを含む構成である。
画像解析部32Aは、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、カメラ10から送信された撮像画像や輝度センサ60から送信された輝度の計測結果を用いて各種の画像解析を行い、撮像画像を含む各種の画像解析結果を画像蓄積部35に保存する。画像解析部32Aは、ナンバー認識部321と、車種判定部322と、車色判定部323と、人判定部324と、人数計測部325と、満空検知部326と、輝度計測部327を含む。なお、画像解析部32Aは、カメラ10内に設けられてもよい。
人数計測部325は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、カメラ10から送信された撮像画像を用いて、所定時間毎の撮像画像に映る人物の数を計測(カウント)する。人数計測部325は、人判定部324の判定結果を用いて、撮像画像に映る人物の数を計測(カウント)してもよい。人数計測部325は、撮像画像に映る人数の計測結果を人通り・車の出入り情報として情報蓄積部37Aに保存する。
満空検知部326は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、カメラ10から送信された撮像画像を用いて、撮像画像に映るそれぞれの駐車スペースWKの車両の駐車の有無(つまり、駐車スペースWK毎の満空状態)を検知する。満空検知部326は、駐車スペースWK毎の満空状態の検知結果を人通り・車の出入り情報及び駐車場入退情報として情報蓄積部37Aに保存する。
輝度計測部327は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、カメラ10から送信された撮像画像又は輝度センサ60から送信された輝度の計測結果を用いて、時間毎の駐車場PRKの電灯(例えばそれぞれのポールP1,P2,P3の頂上部分の電灯)の明かりの明度(つまり、明るさ)を計測する。輝度計測部327は、駐車場PRKの電灯(例えばそれぞれのポールP1,P2,P3の頂上部分の電灯)の明かりの明度の計測結果を電灯情報として情報蓄積部37Aに保存する。
タグ情報蓄積管理部34Aは、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、画像解析部32Aの画像解析結果及び音声解析部33の音声解析結果を用いて、駐車場PRKの駐車車両(例えば不審人物SDPにより狙われている車両CR2)への加害行為(例えば車上荒らし)に関する複数の情報又はデータのタグ化を行う。タグ情報蓄積管理部34Aは、タグ化された複数の情報又はデータを情報蓄積部37Aに記録する。なお、タグ情報蓄積管理部34Aは、カメラ10又はマイク20内に設けられてもよい。
蓄積部の一例としての情報蓄積部37Aは、例えばHDD又はフラッシュメモリ等の半導体メモリを用いて構成され、各種の情報又はデータを保存する。情報蓄積部37Aは、例えばカメラ10,マイク20のそれぞれの設置位置情報(例えば緯度、経度、高さの情報)や、狙われ易い車種情報を保存する。また、情報蓄積部37Aは、人通り・車両の出入り情報、電灯情報、駐車場入退情報を更に保存する。人通り・車両の出入り情報は、駐車場PRKを行き来する人数の計測結果や、駐車場PRKに出入りする車両の数に関する情報を示し、例えば人数計測部325の計測結果に基づいて生成される。電灯情報は、駐車場PRKの電灯(例えばそれぞれのポールP1,P2,P3の頂上部分の電灯)の明かりの明度(つまり、明るさ)の情報を示し、例えば輝度計測部327の計測結果に基づいて生成される。駐車場入退情報は、駐車場PRKへの車両の入場に関する情報や、駐車場PRKからの車両の退場に関する情報を示し、例えば人数計測部325の計測結果と満空検知部326の検知結果とに基づいて生成される。
車両止め制御装置70は、タグ情報蓄積管理部34から出力された制御信号の有無に応じて、車両止め装置の作動の有無を制御する。
車両止め装置71は、フラップ板を有し、駐車場PRKのそれぞれの駐車スペースWKに対応して配備される。車両止め装置71は、車両止め装置71自身に対応する駐車スペースWkに車両が駐車された場合に、車両止め制御装置70からの制御信号に応じて作動し、例えば車両を容易に出動させないように駐車状態を固定する。
音声出力制御装置80は、タグ情報蓄積管理部34から出力された制御信号の有無に応じて、拡声器81からの既定の警報音の音声出力の有無を制御する。
拡声器81は、例えばポールP3に取り付けられ、音声出力制御装置80から送信された既定の警報音の音声信号を音声出力する。
照明制御装置90は、タグ情報蓄積管理部34から出力された制御信号の有無に応じて、照明装置91の点灯、点滅及び消灯の有無を制御する。
照明装置91は、例えば駐車場PRKのそれぞれのポールの頂上部分に設けられ、照明制御装置90からの制御信号に応じて、点灯、点滅又は消灯のうちいずれかを実行する。
次に、本実施の形態の駐車場監視システム100Aにおける重点監視対象車の設定時の動作手順について、図7を参照して説明する。駐車場内の人通りや車の少ない場所や時間、電灯の明かりが暗い箇所や時間において車両に対する加害行為(例えば車上荒らし)が多く発生していた。上述した特許文献1を含む従来技術では、このような加害行為が起きやすい場所や時間にある車両を優先的に監視することはできなかったという課題があった。
そこで、駐車場監視システム100Aは、駐車場内で盗難等の狙われ易い場所や時間に関する情報を保持し、その狙われ易い場所や時間にある車両を重点的に監視する必要がある重点監視対象車と設定する。
図7は、実施の形態1の駐車場監視システム100Aの重点監視対象車の設定時における動作手順の一例を詳細に示すフローチャートである。
図7に示す各処理は、図6に示す監視状況判別サーバ30Aにより実行される。また、図7の各処理は、図3の各処理に先だって行われてもよいし、図3の各処理と並行して行われてもよいし、図3の各処理の後に行われてもよい。また、図7の説明の前提として、画像音声タグ検索表示部38は、入力デバイス55を用いた監視員の操作により、監視センタサーバ50から送信された、各種の閾値を、通信IF31を介して受信すると情報蓄積部37に登録して保存する。タグ情報蓄積管理部34は、各種の閾値を画像解析部32A(具体的には、人数計測部325、満空検知部326、輝度計測部327)に設定する。ここでいう各種の閾値は、例えば車上荒らしや盗難のような駐車車両に対する加害行為の発生頻度が統計的に高い場所又は時間帯を示すための閾値である。
図7において、画像解析部32Aは、カメラ10から送信された駐車場PRKの撮像画像を、通信IF31を介して受信すると、その撮像画像を用いて、所定時間毎の撮像画像に映る人物の数(つまり、人の交通量)を計測(カウント)する(S31)。画像解析部32Aは、撮像画像に映る人数の計測結果を画像蓄積部35に保存する。
また、画像解析部32Aは、カメラ10から送信された駐車場PRKの撮像画像を用いて、所定時間毎の撮像画像に映る車両の数(つまり、車両の交通量)を計測(カウント)する(S32)。画像解析部32Aは、撮像画像に映る車両の数の計測結果を画像蓄積部35に保存する。
画像解析部32Aは、カメラ10から送信された撮像画像又は輝度センサ60から送信された輝度の計測結果を用いて、時間毎の駐車場PRKの電灯(例えばそれぞれのポールP1,P2,P3の頂上部分の電灯)の明かりの明度(つまり、明るさ)を計測する(S33)。画像解析部32Aは、時間毎の駐車場PRKの電灯(例えばそれぞれのポールP1,P2,P3の頂上部分の電灯)の明かりの明度(つまり、明るさ)の計測結果を画像蓄積部35に保存する。
画像解析部32Aは、所定時間毎の人数交通量、所定時間毎の車両交通量、所定時間毎の明るさのうちいずれかがそれぞれに対して設定された閾値を超えた場合に、それぞれの閾値を超えた時間又はカメラ10の設置位置に基づいて、該当する時間又は位置をそれぞれ重点監視時間、重点監視箇所に設定する(S34)。また、画像解析部32Aは、所定時間毎の人数交通量、所定時間毎の車両交通量、所定時間毎の明るさの3つの項目の全てについて固有の重み係数をそれぞれの人数交通量、車両交通量、明るさに掛け合わせたポイント値が上述したそれぞれの閾値を超えた場合に、それぞれの閾値を超えた時間又はカメラ10の設置位置に基づいて、該当する時間又は位置をそれぞれ重点監視時間、重点監視箇所に設定してもよい(S34)。
画像解析部32Aは、ステップS34において設置された重点監視時間、重点監視箇所にある車両を重点監視対象車として設定する(S35)。なお、ステップS35の処理はタグ情報蓄積管理部34により行われてもよい。ステップS35の後は、図4に示すステップS29の処理が行われる。
このように、監視状況判別サーバ30Aは、統計的に加害行為の発生頻度が高い駐車位置又は駐車時間に関する情報を保持し、駐車場PRK内において駐車位置又は駐車時間にいる車両を重点監視対象車と設定し、重点監視対象車の撮像指示をカメラ10に送信する。カメラ10は、監視状況判別サーバ30Aから送信された撮像指示に応じて、重点監視対象車と設定された車両を撮像する。これにより、監視状況判別サーバ30Aは、例えば加害行為が不審人物SDPにより実行される前に、統計的に狙われ易い駐車位置又は駐車時間に車両が駐車されていることを検知できた場合に、予めその車両の撮像画像を取得できるので、重点監視対象車と設定された車両に対する車上荒らしや盗難が発生した場合でも、早期に発見できる。
また、監視状況判別サーバ30Aは、重点監視対象車(監視対象車両の一例)の撮像画像を用いて、重点監視対象車の周囲で往来している人物に関する情報を取得し、重点監視対象車に関する情報と往来している人物に関する情報とを対応付けて(つまり、タグ化して)情報蓄積部37Aに記録する。これにより、監視状況判別サーバ30Aは、重点監視対象車の周囲でうろうろしている不審人物(例えば不審人物SDP)がいる事実を情報として記録でき、例えば実際に重点監視対象車に車上荒らしや盗難が発生してしまった場合でも、重点監視対象車に関する情報と対応付けられた人物に関する情報を用いて、その人物の詳細を迅速に把握させることができる。
また、監視状況判別サーバ30Aは、重点監視対象車(監視対象車両の一例)に関する情報とその重点監視対象車と設定された車両の周囲で往来している人物に関する情報とを対応付けて(つまり、タグ化して)情報蓄積部37Aに記録した旨を監視センタサーバ50に通知する。これにより、監視員は、重点監視対象車と設定された車両の周囲で不審人物が検知されたことを早期に把握できるので、この事実を踏まえて適切な対処を行うことができる。
次に、本実施の形態の駐車場監視システム100Aにおけるナンバープレートの付け替えの検知時の動作手順について、図8を参照して説明する。車両の盗難犯は駐車場内に駐車されている車両のナンバープレートを他のナンバープレートに付け替えて逃走して逃走先が分からないようにすることが多い。上述した特許文献1を含む従来技術では、駐車場において車両の盗難犯によるナンバープレートの付け替えを検知することはできなかったという課題があった。
そこで、駐車場監視システム100Aは、駐車場への入場時に車両のナンバープレートを検知してそのナンバープレートに関する情報を保持しておき、定期的又はその車両の退場時にナンバープレートを検知してナンバープレートに関する情報を取得する。駐車場監視システム100Aは、その取得されたナンバープレートに関する情報と入場時に取得したナンバープレートに関する情報と比較することで、ナンバープレートの付け替えの有無を監視する。
図8は、実施の形態1の駐車場監視システム100Aのナンバープレートの付け替えの検知時における動作手順の一例を詳細に示すフローチャートである。
図8に示す各処理は、図6に示す監視状況判別サーバ30Aにより実行される。また、図8の各処理は、図3の各処理に先だって行われてもよいし、図3の各処理と並行して行われてもよいし、図3の各処理の後に行われてもよい。
図8において、画像解析部32Aは、カメラ10から送信された撮像画像を用いて、駐車場PRKの駐車スペースWKへの車両の入場を検知した時、その車両の入場時刻、ナンバープレート、車種、車色を判定して取得する(S41)。画像解析部32Aは、取得された車両の入場時刻、ナンバープレート、車種、車色を対応付けて駐車場入退情報として情報蓄積部37Aに保存する。
画像解析部32Aは、駐車場PRKの1台分の車両の駐車スペースWK毎のナンバープレート読取機能を有するか否かを判断する(S42)。画像解析部32Aは、駐車場PRKの1台分の車両の駐車スペースWK毎のナンバープレート読取機能を有すると判断した場合には(S42、YES)、定期的に駐車スペースWK毎のナンバープレートの読取処理を行いながらステップS43の処理を行う。つまり、画像解析部32Aは、駐車車両が退場するまでの間、1台分の車両の駐車スペースWK内の駐車車両のナンバープレートを順繰りに読み取る処理を定期的に行い、いずれかの駐車車両のナンバープレートが変更されたかどうかを判断する(S44)。
画像解析部32Aは、いずれの駐車車両のナンバープレートが変更されていないと判断した場合には(S44、NO)、いずれかの駐車車両についてナンバープレートが変更されたと判断を行うまで、ステップS44の判断を繰り返す。一方、画像解析部32Aは、いずれかの駐車車両のナンバープレートが変更されたと判断した場合には(S44、YES)、ステップS43の処理を終了して、いずれかの駐車車両のナンバープレートが変更された旨のメッセージをタグ情報蓄積管理部34Aに通知する。タグ情報蓄積管理部34Aは、画像解析部32Aからの通知に応じて、駐車車両のナンバープレートが変更された(言い換えると、入れ替えられた)旨のアラーム(つまり、警報の旨)の制御信号を、通信IF31を介して監視センタサーバ50に送信する(S45)。これにより、監視センタサーバ50は、ステップS45において監視状況判別サーバ30Aから送信された制御信号に応じて、アラーム(つまり、警報の旨)の既定音を音声出力できて、監視員に対し、注意喚起を促すことができる。
一方、画像解析部32Aは、駐車場PRKの1台分の車両の駐車スペースWK毎のナンバープレート読取機能を有しないと判断した場合には(S42、NO)、カメラ10から送信された撮像画像を用いて、駐車場PRKの駐車スペースWKからの車両の退場を検知した時、その車両の入場時刻、ナンバープレート、車種、車色を判定して取得する(S46)。
画像解析部32Aは、ステップS46の後、情報蓄積部37Aの駐車場入退情報の中に、ステップS46において退場が検知された車両の入場記録を保持しているかどうかを判断する(S47)。画像解析部32Aは、情報蓄積部37Aの駐車場入退情報の中に、ステップS46において退場が検知された車両の入場記録を保持していると判断した場合(S47、YES)、その車両のナンバープレートが変更されたかどうかを判断する(S48)。その車両のナンバープレートが変更されていないと判断された場合には(S48、NO)、監視状況判別サーバ30Aの処理は終了する。
一方、画像解析部32Aは、その車両のナンバープレートが変更されたと判断した場合には(S48、YES)、その車両のナンバープレートが変更された旨のメッセージをタグ情報蓄積管理部34Aに通知する。タグ情報蓄積管理部34は、画像解析部32Aからの通知に応じて、車両のナンバープレートが変更された(言い換えると、入れ替えられた)旨のアラーム(つまり、警報の旨)の制御信号を、通信IF31を介して監視センタサーバ50に送信する(S45)。これにより、監視センタサーバ50は、ステップS45において監視状況判別サーバ30Aから送信された制御信号に応じて、アラーム(つまり、警報の旨)の既定音を音声出力できて、監視員に対し、注意喚起を促すことができる。
一方、画像解析部32Aは、情報蓄積部37Aの駐車場入退情報の中に、ステップS46において退場が検知された車両の入場記録を保持していないと判断した場合には(S47、NO)、その車両の入場記録が無い旨のメッセージをタグ情報蓄積管理部34Aに通知する。タグ情報蓄積管理部34は、画像解析部32Aからの通知に応じて、車両の入場記録が無い(言い換えると、ナンバープレートが入れ替えられた可能性がある)旨のアラーム(つまり、警報の旨)の制御信号を、通信IF31を介して監視センタサーバ50に送信する(S49)。これにより、監視センタサーバ50は、ステップS49において監視状況判別サーバ30Aから送信された制御信号に応じて、アラーム(つまり、警報の旨)の既定音を音声出力できて、監視員に対し、注意喚起を促すことができる。
このように、監視状況判別サーバ30Aは、カメラ10から送信された駐車場PRKの撮像画像を用いて、駐車場の駐車スペースWKへの車両の入場時に車両のナンバープレートに関する情報を取得する。監視状況判別サーバ30Aは、車両のナンバープレートに関する情報を繰り返し取得し、取得された車両のナンバープレートと入場時のナンバープレートとが一致しない旨の検知に応じて、ナンバープレートの変更発生の旨を監視センタサーバ50に通知する。これにより、監視センタサーバ50は、車両が駐車場PRKに入場した後にナンバープレートが入れ替えられたことを、アラーム(つまり、警報の旨)の既定音の音声出力によって監視員に把握させることができ、適切な対処を行わせることができる。
また、監視状況判別サーバ30Aは、カメラ10から送信された駐車場PRKの撮像画像を用いて、駐車場PRKの駐車スペースWKへの車両の入場時に前記車両のナンバープレートに関する情報を取得する。監視状況判別サーバ30Aは、カメラ10から送信された駐車場PRKの撮像画像を用いて、駐車場PRKの駐車スペースWKからの車両の退場時に車両のナンバープレートに関する情報を取得する。監視状況判別サーバ30Aは、入場時に読み取られたナンバープレートの情報と退場時に読み取られたナンバープレートの情報とが一致しない旨の検知に応じて、ナンバープレートの変更発生の旨を監視センタサーバ50に通知する。これにより、監視センタサーバ50は、車両が駐車場PRKに入場してから退場する時までの間にナンバープレートが入れ替えられたことを、アラーム(つまり、警報の旨)の既定音の音声出力によって監視員に把握させることができ、適切な対処を行わせることができる。
次に、本実施の形態の駐車場監視システム100Aにおける加害者への威嚇時の動作手順について、図9を参照して説明する。上述した特許文献1を含む従来技術では、車上荒らしや車両の盗難の実行犯が正にその実行中であることをカメラの撮像画像等で検知できたとしても、監視員は適切に対処することができなかったという課題があった。
そこで、駐車場監視システム100Aは、車上荒らしや車両の盗難の実行犯が正にその実行中であることをカメラの撮像画像等で検知した場合に、照明装置、拡声器、車両止め装置のうち少なくとも1つを用いて、実行犯を注意喚起を促したり、威嚇したりする。
図9は、実施の形態1の駐車場監視システム100Aの加害者への威嚇時における動作手順の一例を詳細に示すフローチャートである。
図9に示す各処理は、図6に示す監視状況判別サーバ30Aにより実行される。また、図9の各処理は、図3の各処理に先だって行われてもよいし、図3の各処理と並行して行われてもよいし、図3の各処理の後に行われてもよい。
図9において、イモビライザー警報音判定部331は、マイク20から送信された音信号を用いて、車両(例えば車両CR2)に搭載されたイモビライザーが不審人物SDPにより行われた加害行為(例えば車上荒らし)に基づいて音声出力の開始された警報音を検知する(S51)。イモビライザー警報音判定部331は、警報音を検知した旨のメッセージをタグ情報蓄積管理部34Aに出力する。これにより、タグ情報蓄積管理部34Aは、イモビライザー警報音判定部331からのメッセージを受け取ることにより、現在、駐車場PRKに駐車されているいずれかの車両に加害行為(例えば車上荒らし、又は車両の盗難)が実行された又は実行されていることを認識できる(S51)。
タグ情報蓄積管理部34Aは、ステップS51の後、駐車場PRKに設置されているポールP1,P2,P3の頂上部分に設けられた照明装置91(つまり、電灯)を点滅させるための制御信号を照明制御装置90に出力する。照明制御装置90は、タグ情報蓄積管理部34Aからの制御信号に応じて、それぞれの照明装置91を点滅させることで、駐車場PRKで加害行為(例えば車上荒らし、盗難)がなされている現場の周囲を明るくする(S52)。
また、図9には図示が省略されているが、タグ情報蓄積管理部34Aは、ステップS51の後に、図3に示すステップS2〜ステップS9の処理を行うことにより、加害行為の発生位置を具体的に特定可能である。従って、タグ情報蓄積管理部34Aは、加害行為の実行犯に対し、ピンポイントで照明装置91のライトを向けて照明させるための制御信号を照明制御装置90に出力してもよい。この制御信号には、加害行為の発生位置に関する情報が含まれる。照明制御装置90は、タグ情報蓄積管理部34Aからの制御信号に応じて、ピンポイントで照明装置91のライトを実行犯に向けて照明させる(S52)。これにより、例えば実行犯の近くにいる周囲の人々が、照明装置91によるライトの点滅によって加害行為を行っている実行犯に気付き、警察等に連絡を行うことで、実行犯の犯行を抑制させることや実行犯の特徴を記憶して実行犯の早期確保を期待できる。
また、タグ情報蓄積管理部34Aは、ステップS51の後、駐車場PRKに設置されているポールP3の拡声器81から既定の警報音を音声出力させるための制御信号を音声出力制御装置80に出力する。音声出力制御装置80は、タグ情報蓄積管理部34Aからの制御信号に応じて、既定の警報音(つまり、アラーム音)を拡声器81から音声出力させることで、駐車場PRKで加害行為(例えば車上荒らし、盗難)がなされている現場の周囲にアラーム音を響かせる(S52)。なお、既定の警報音(つまり、アラーム音)に限定されず、例えば「おい、そこの君。そこで何をしているんだ!」のような定型のフレーズ音声が拡声器81から音声出力されてもよい。このような定型のフレーズ音声に関する情報は音声出力制御装置80又はタグ情報蓄積管理部34Aにおいて予め保持されている。これにより、例えば実行犯の近くにいる周囲の人々が、拡声器81からのアラーム音の音声出力によって加害行為を行っている実行犯に気付き、警察等に連絡を行うことで、実行犯の犯行を抑制させることや実行犯の特徴を記憶して実行犯の早期確保を期待できる。
また、図9には図示が省略されているが、タグ情報蓄積管理部34Aは、ステップS51の後に、図3に示すステップS2〜ステップS9の処理を行うことにより、加害行為の発生位置を具体的に特定可能である。従って、タグ情報蓄積管理部34Aは、ステップS51の後、駐車場PRKに設置されている車両止め装置71を作動させるための制御信号を車両止め制御装置70に出力する。この制御信号には、加害行為の発生位置に関する情報が含まれる。車両止め制御装置70は、タグ情報蓄積管理部34Aからの制御信号に応じて、ピンポイントで車両止め装置71のフラップ板を作動させて、車両をその位置から容易に出動させないようにする(S52)。これにより、例えば実行犯の近くにいる周囲の人々が、車両止め装置71を超えて車両を強引に奪って逃走しようとする実行犯に気付き、警察等に連絡を行うことで、実行犯の犯行を抑制させることや実行犯の特徴を記憶して実行犯の早期確保を期待できる。
このように、監視状況判別サーバ30Aは、駐車場PRK内の車両に対する加害行為に基づいて開始された車両からの警報音を検知すると、駐車場PRK内に設置された照明装置91を点滅させる。これにより、例えば実行犯の近くにいる周囲の人々が、照明装置91によるライトの点滅によって加害行為を行っている実行犯に気付き、警察等に連絡を行うことで、実行犯の犯行を抑制させることや実行犯の特徴を記憶して実行犯の早期確保を期待できる。
また、監視状況判別サーバ30Aは、駐車場PRK内の車両に対する加害行為に基づいて開始された車両からの警報音を検知すると、駐車場PRK内に設置された拡声器81から警報音(つまり、アラーム音)を音声出力させる。これにより、例えば実行犯の近くにいる周囲の人々が、拡声器81からの既定のアラーム音又はの定型のフレーズ音声の音声出力によって加害行為を行っている実行犯に気付き、警察等に連絡を行うことで、実行犯の犯行を抑制させることや実行犯の特徴を記憶して実行犯の早期確保を期待できる。
また、監視状況判別サーバ30Aは、駐車場PRK内の車両に対する加害行為に基づいて開始された車両からの警報音を検知すると、駐車場PRK内に設置されたいずれかの車両止め装置71を作動させる。これにより、例えば実行犯の近くにいる周囲の人々が、車両止め装置71を超えて車両を強引に奪って逃走しようとする実行犯に気付き、警察等に連絡を行うことで、実行犯の犯行を抑制させることや実行犯の特徴を記憶して実行犯の早期確保を期待できる。
次に、本実施の形態の駐車場監視システム100Aにおける駐車場PRK内の車両の長時間駐車の検知時の動作手順について、図10を参照して説明する。駐車場において暴漢等の犯罪事件が発生する場合、駐車場内に車両が長時間駐車して車両内に暴漢犯が潜んでおりターゲットを狙っていたという手口が多かった。しかし、上述した特許文献1を含む従来技術では、駐車場内の車両が長時間駐車をしていることを監視することは考慮されていなかったので、上述した暴漢等の犯罪の実行犯を未然に検知することはできなかったという課題があった。
そこで、駐車場監視システム100Aは、駐車場内の車両が長時間駐車していることや、駐車場内で長時間駐車している車両から人が出てこなくて車内にいることを検知し、その検知に基づいて、長時間駐車があったことを監視センタサーバに通報する。
図10は、実施の形態1の駐車場監視システム100Aの駐車場内の長時間駐車の検知時における動作手順の一例を詳細に示すフローチャートである。
図10に示す各処理は、図6に示す監視状況判別サーバ30Aにより実行される。また、図10の各処理は、図3の各処理に先だって行われてもよいし、図3の各処理と並行して行われてもよいし、図3の各処理の後に行われてもよい。
図10において、画像解析部32Aは、カメラ10から送信された駐車場PRKの撮像画像を用いて、駐車場PRK内の車両を検知する(S61)。ステップS61で検知される車両は、駐車場PRKに入場したばかりの車両でもよいし、駐車場PRKに駐車を始めて所定時間が経過した車両でもよい。
画像解析部32Aは、ステップS61において検知された車両付近の人を検知する処理を開始する(S62)。ステップS62の処理は、駐車されている車両から人が出てきた場合には、統計的にその人が暴漢犯の可能性が低いことに着目し、駐車されている車両に人が長時間潜んでいるかどうかによってその人が暴漢犯であるかそうでないかを確認することを目的としている。
具体的には、画像解析部32Aは、カメラ10から送信された駐車場PRKの撮像画像を用いて、ステップS61において検知された車両から人が車外に出てきたかどうかを判断する(S63)。つまり、画像解析部32Aは、カメラ10から送信された駐車場PRKの撮像画像を用いて、ステップS61において検知された車両から一定時間以上人が車外に出てこないかどうかを判断する(S64)。
画像解析部32Aは、ステップS61において検知された車両から一定時間以上人が車外に出てこないと判断した場合には(S64、YES)、ステップS61において検知された車両に対して長時間滞在状態フラグを設定する(S65)。長時間滞在状態フラグは、ステップS61において検知された車両が駐車場PRKに長時間(つまり、ステップS64の一定時間以上にわたって)駐車されていて、かつ、その車両から人(例えば運転手)が車外に出てこなくて車内にいる又は潜んでいる状態を示す。
画像解析部32Aは、ステップS61において検知された車両に対して長時間滞在状態フラグを設定した旨のメッセージをタグ情報蓄積管理部34Aに通知する。タグ情報蓄積管理部34Aは、画像解析部32Aからの通知に応じて、ステップS61において検知された車両に対して長時間滞在状態フラグを設定した旨と長時間滞在状態が存在していることのアラームの旨(つまり、警報の旨)を、通信IF31を介して監視センタサーバ50に送信する(S66)。これにより、監視センタサーバ50は、ステップS66において監視状況判別サーバ30Aから送信されたアラームの旨に応じて、現在駐車場PRKにおいて長時間駐車している車両から人が一定時間以上出てきていないことを監視員に把握させることができ、引き続き監視員にその車両に対する注意喚起を促すことができる。
一方、画像解析部32Aは、ステップS61において検知された車両から一定時間以上経たずして人が車外に出てきたと判断した場合には(S64−NO、S67−YES)、その人は暴漢犯等の実行犯の可能性は低いとして、ステップS68の処理を行う。つまり、画像解析部32Aは、ステップS66においてタグ情報蓄積管理部34Aによって長時間滞在状態が存在していることのアラームの旨が設定されていた場合には、その長時間滞在状態が存在していることのアラームの旨の設定を解除する(S68)。なお、ステップS66においてタグ情報蓄積管理部34Aによって長時間滞在状態が存在していることのアラームの旨が設定されていない場合には、ステップS68の処理は省略されてよい。
画像解析部32Aは、ステップS68の後、ステップS61において検知された車両に対し、長時間滞在状態フラグが設定されているかどうかを判断する(S69)。ステップS61において検知された車両に対して長時間滞在状態フラグが設定されていないと判断された場合には(S69、NO)、監視状況判別サーバ30Aの処理は終了する。
一方、画像解析部32Aは、ステップS61において検知された車両に対して長時間滞在状態フラグが設定されていると判断した場合には(S69、YES)、ステップS61において検知された車両に対して設定されている長時間滞在状態フラグを解除し(S70)、更に、長時間滞在解除フラグを設定する(S70)。長時間滞在解除フラグは、長時間滞在状態フラグが設定されていたが、その長時間滞在状態フラグが設定された車両から人が車外に出たことで、その人が暴漢犯等の犯罪の実行犯である可能性が低いだろうとの推測の下で、長時間滞在状態フラグの設定が必要なくなったことを示す。
また、画像解析部32Aは、ステップS61において検知された車両に対して長時間滞在状態フラグを解除して長時間滞在解除フラグを設定した旨のメッセージをタグ情報蓄積管理部34Aに通知する。タグ情報蓄積管理部34Aは、画像解析部32Aからの通知に応じて、ステップS61において検知された車両に対して長時間滞在状態フラグの解除及び長時間滞在解除フラグの設定の旨と長時間滞在状態が存在していることのアラームの旨(つまり、警報の旨)の停止の旨を、通信IF31を介して監視センタサーバ50に送信してもよい。これにより、監視センタサーバ50は、監視状況判別サーバ30Aから送信されたアラームの停止の旨に応じて、現在駐車場PRKにおいて長時間滞在状態フラグが設定されている車両から人が車外に出てきたことを監視員に把握させることができ、監視員のその車両に対する監視の軽減を促すことができる。
このように、監視状況判別サーバ30Aは、駐車場PRK内の車両を検知し、検知された車両から人物が一定時間以上出てこないことを検知すると、その車両に対する長時間滞在状態フラグを設定し、アラーム(つまり、警報)の旨を監視センタサーバ50に通知する。これにより、監視センタサーバ50は、監視状況判別サーバ30Aから送信されたアラームの旨に応じて、現在駐車場PRKにおいて長時間駐車している車両から人が一定時間以上出てきていないことを監視員に把握させることができ、引き続き監視員にその車両に対する注意喚起を促すことができる。
例えば、監視員又は監視員から連絡を受けた警察官等がその駐車場に赴き、長時間滞在状態フラグが設定された車両に乗車している人に職務質問等して、未然に暴漢等の事件の発生を防ぐことができる。また、監視員又は監視員から連絡を受けた警察官等は、何かしらの事件や事故が発生した場合に、長時間滞在状態フラグをキーに監視状況判別サーバ30Aの情報蓄積部37Aを検索することで、その事件や事故に関する原因となる事由を効率的に調査することができる。
また、監視状況判別サーバ30Aは、車両に対する長時間滞在状態時に車両内から人物が出たことを検知すると、監視センタサーバ50へのアラーム(つまり、警報)の旨の通知を停止する。これにより、監視センタサーバ50は、監視状況判別サーバ30Aから送信されたアラームの停止の旨に応じて、現在駐車場PRKにおいて長時間滞在状態フラグが設定されている車両から人が車外に出てきたことを監視員に把握させることができ、監視員のその車両に対する監視の軽減を促すことができる。
(実施の形態2に至る経緯)
駐車場内の駐車の満空状況(つまり、駐車場が駐車車両で満たされているのか、又は駐車車両のスペースが空いているのか)を監視するために、例えばカメラの撮像画像を用いて判別することが考えられる。上述した特許文献1では特に言及が無いが、従来技術として、例えば駐車場に設けられたポールに複数(例えば2台)のカメラを取り付け、1台のカメラはポールから左方向、もう1台のカメラはポールから右方向というように、個々のカメラが駐車場の撮像範囲を別にして撮像する運用がなされている。しかし、この運用の下では、カメラの設置高さによりカメラの角度を調整する必要があり、また高所での調整となるので画角調整に相当の工数を要するという課題があった。
また、それぞれのカメラの画角は固定であるため、画角外の範囲の撮像ができず、広範な駐車場の監視が難しいという課題もある。更に、複数のカメラを用いて監視する場合には、それぞれのカメラにおいて撮像された車両のナンバープレート、車種、車色、車両から出てきた人物の顔画像が他のカメラにおいて撮像された車両の車両のナンバープレート、車種、車色、車両から出てきた人物の顔画像と同一であるのかの対応付けも容易ではない。このため、駐車違反や事件が発生した時の対応関係の作業に相当の工数を要することになっているという課題もある。
(実施の形態2)
そこで、実施の形態2では、1台の全方位カメラを用いて駐車場を広範に撮像し、画角調整の作業を簡易化し、駐車場内で検知された車両や人物に関する各情報を簡易に対応付け可能で、駐車場内の駐車の満空状態を監視する駐車場監視システムの例について説明する。
図11は、実施の形態2の駐車場監視システム100Zのシステム構成例の概略を模式的に示す図である。図12は、実施の形態2の駐車場監視システム100Zのシステム構成例を詳細に示すブロック図である。
図11及び図12の説明において、図1、図2、図5、図6のいずれかに示す構成と同一の構成については同一の符号を付与して説明を簡略化又は省略する。
駐車場監視システム100Zは、駐車場PRK1に設置された全方位カメラ10Zと、監視状況判別サーバ30Zと、監視センタサーバ50と、入力デバイス55とを含む構成である。駐車場PRK1には、ポールP4が立設され、ポールP4に取付金具TK1を介して全方位カメラ10Zが設置されている。全方位カメラ10Zは地面から高さhの位置に設置されている。
なお、図11では説明を簡単にするために、駐車場PRK1には1本のポールだけが図示されているが、ポールの設置本数は1本に限定されない。
全方位カメラ10Zと監視状況判別サーバ30Zとは、ネットワークNW1を介して相互に通信可能に接続されている。監視状況判別サーバ30Zと監視センタサーバ50とは、ネットワークNW2を介して相互に通信可能に接続されている。
駐車場PRK1には、複数の車両CR2,CR4,CR5がそれぞれ駐車可能な駐車スペースWK(駐車領域の一例)が予め設けられている。図11では、合計3台の車両CR2,CR4,CR5がそれぞれの駐車スペースWKに駐車されている状況が図示されている。また図11では、悪意ある第三者である不審人物SDP(例えば車上荒らし犯)が駐車車両である車両CR5に向かって加害行為(例えば車上荒らし)をしようと企んでいる状況が図示されている。
全方位カメラ10Zは、駐車場PRK1の全域を撮像範囲として含むように、取付金具TK1を介してポールP4に取り付けられている。つまり、全方位カメラ10Zは、駐車場PRK1の全域を撮像範囲として含む全方位画像を撮像可能である。全方位カメラ10Zは、撮像によって得られた駐車場PRK1の全方位画像を取得し、全方位カメラ10Z自身の識別情報と全方位画像とを、ネットワークNW1を介して監視状況判別サーバ30Zに常時又は定期的に送信する。全方位カメラ10Zに関する情報(例えば設置位置情報)は、全方位カメラ10Zの設定情報蓄積部108に保存されている。全方位カメラ10Zの設置位置情報は、例えば、緯度、経度、高さである。
全方位カメラ10Zは、撮像部101と、画像入力部102と、認識部103と、解析部104と、ベストショット画像生成部105と、送信部106と、受信部107と、設定情報蓄積部108と、解析情報蓄積部109と、ベストショット画像蓄積部110とを含む構成である。認識部103は、車両認識部1031と、人物・顔認識部1032とを含む。
撮像部101は、レンズとイメージセンサとを少なくとも有する。レンズは、全方位カメラ10Zの外部から入射する光を集光し、イメージセンサの所定の撮像面に結像させる。レンズには、360度の全方位画像を撮像可能とするために、例えば魚眼レンズが用いられる。イメージセンサは、例えばCCD(Charged-Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。
画像入力部102は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、撮像部101からの電気信号を用いて所定の信号処理を行うことで、人間が認識可能なRGB(Red Green Blue)又はYUV(輝度・色差)等により規定される撮像画像のデータ(フレーム)を生成して認識部103に出力する。
認識部103は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、画像入力部102からの全方位画像と監視状況判別サーバ30Zから送信された設定値を用いて、対象物(例えば駐車場PRK1に存在する車両、人物、人の顔)の検知、認識、追跡を行う。認識部103は、対象物の検知、認識、追跡の各処理結果を解析部104に出力する。
ここで、設定値は、認識部103における認識の対象物(例えば駐車場PRK1に存在する車両、人物、人の顔)の大きさ(例えば画素値)を示す値であり、対象物毎に予め設定される。認識部103は、対象物を検知すると、検知された対象物が具体的に何であるかを認識し、必要に応じて、その対象物の移動経路を追跡して把握することができる。
車両認識部1031は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、画像入力部102からの全方位画像と車両を認識するための設定値とを用いて、対象物の一例としての車両を検知する。車両認識部1031は、検知された車両が具体的にどのような車両であるかを認識したり、その車両の移動経路を追跡したりして把握する。車両認識部1031は、車両の検知、認識、追跡の各処理結果を解析部104に出力する。
図13は、実施の形態2の全方位カメラ10Zにより撮像された全方位画像の一例を示す図である。
図13に示す全方位画像は、例えば監視センタサーバ50に接続された監視センタモニタ51の表示画面GM1に表示される。図13に示す全方位画像の中央には、全方位カメラ10Zが取り付けられたポールP5が映っている。ポールP5の図13の紙面下側には監視エリアの一例としての駐車場PRK2が映っており、駐車場PRK2と反対側には歩行者用道路PTH、車道RD1、更に、その車道RD1を挟んで反対側の歩行者用道路も映っており、広範な撮像が可能となっている。
車両認識部1031は、図13に示す全方位画像を入力すると、例えばポールP5の近くにいる車両TGT1を検知し、その車両TGT1を囲む検知枠WK1を生成するとともに、検知枠WK1の位置情報(例えば座標)も併せて生成する。検知枠WK1の位置情報は、例えば監視状況判別サーバ30Zの処理(例えば監視センタモニタ51における表示)に利用される。同様に、車両認識部1031は、図13に示す全方位画像を入力すると、例えばポールP5から遠く離れた車両TGT2を検知し、その車両TGT2を囲む検知枠WK2を生成するとともに、検知枠WK2の位置情報(例えば座標)も併せて生成する。検知枠WK2の位置情報は、例えば監視状況判別サーバ30Zの処理(例えば監視センタモニタ51における表示)に利用される。
人物・顔認識部1032は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、画像入力部102からの全方位画像と人物又は人の顔を認識するためのそれぞれの設定値とを用いて、対象物の一例としての人物又は人の顔を検知する。人物・顔認識部1032は、検知された人物又は人の顔が具体的にどのような人物又は人の顔であるかを認識したり、その人物又は人の顔の移動経路を追跡したりして把握する。人物・顔認識部1032は、人物又は人の顔の検知、認識、追跡の各処理結果を解析部104に出力する。
解析部104は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、認識部103から出力された対象物の検知、認識、追跡の各処理結果を用いて、それぞれの対象物に関して各種の解析処理を行う。解析部104は、各種の解析結果を解析情報蓄積部109に保存する。ここで、解析部104は、例えば特開2014−022970号公報(例えば図1の対象特徴解析部や帯域成分検出部を参照)に開示されている方法で、各種の解析処理を行ってもよい。
例えば、解析部104は、対象物が車両である場合に、その車両が駐車をしているかどうかを判定する処理を行う。具体的には、解析部104は、車両の移動軌跡を解析し、駐車場PRK1内の所定の駐車スペースWKに駐車したかどうかを判断する。また、解析部104は、車両が駐車した位置が駐車可能な位置又は駐車禁止の位置であるか(つまり、違法駐車でないかどうか)を判断する。また、解析部104は、駐車可能なエリアと判断した場合に、あと何台の車両が駐車場PRK1において駐車可能であるかを算出して判断する。
ベストショット画像生成部105は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、解析部104の出力と画像入力部102から出力された全方位画像とを用いて、それぞれの対象物(例えば車両、人物、人の顔)のベストショット画像を生成し、生成されたベストショット画像やベストショット画像のメタデータを送信部106に出力したりベストショット画像蓄積部110に保存したりする。なお、このメタデータには、ベストショット画像のサムネイル画像も含まれてよい。ベストショット画像の生成方法については、例えば特開2014−022970号公報(例えば図1の画像選択部及び図8参照)に詳細に開示されているので、ここでは説明を省略する。
ベストショット画像生成部105は、例えば車両が全方位カメラ10Zの画角内に進入した時の正面画像を選定して生成する。つまり、このような正面画像は、車両のナンバープレートや、乗車している人物の顔が認識し易く、後段の監視状況判別サーバ30Zでの処理に資する可能性が高い。ベストショット画像生成部105は、画像入力部102からの全方位画像から、対象物が正面視で映る正面画像を切り出してリサイズし、リサイズ後の画像をベストショット画像としてベストショット画像蓄積部110に保存する。
例えば通常、全方位カメラ10Zの画角内に入ったタイミングが正面の顔を抽出し易い傾向があり、車両の駐車が検知されたタイミングでは車両に乗車している人物の顔の正面画像を切り出して取得することは困難である。このため、ベストショット画像生成部105は、全方位カメラ10Zの画角内に対象物が入ってきたタイミングの全方位画像を用いて、対象物の正面画像を切り出しかつリサイズして生成することが好ましい。
送信部106は、ベストショット画像生成部105から出力されたベストショット画像やベストショット画像のメタデータを監視状況判別サーバ30Zに送信する。なお、送信部106は、ベストショット画像やベストショット画像のメタデータをベストショット画像蓄積部110から取得して監視状況判別サーバ30Zに送信してもよい。また、送信部106は、画像入力部102からの全方位画像に対する解析部104の各種の解析結果を解析情報蓄積部109から取得して監視状況判別サーバ30Zに送信してもよい。
受信部107は、監視状況判別サーバ30Zから送信された全方位カメラ10Zの高さに関する情報や対象物毎の設定値(上述参照)を受信して設定情報蓄積部108に保存する。なお図12では、送信部106と受信部107とを別個に含むように記載されているが、送信部106と受信部107とを纏めて通信部として構成されてもよいことは言うまでもない。
設定情報蓄積部108は、例えば半導体メモリ又はハードディスク装置を用いて構成され、受信部107から出力された全方位カメラ10Zの高さに関する情報や、対象物毎の設定値(上述参照)を保存する。設定情報蓄積部108は、全方位カメラ10Zの動作に必要な各種の設定情報を保存する。
解析情報蓄積部109は、例えば半導体メモリ又はハードディスク装置を用いて構成され、解析部104による各種の解析結果を保存する。
ベストショット画像蓄積部110は、例えば半導体メモリ又はハードディスク装置を用いて構成され、ベストショット画像生成部105により生成されたベストショット画像を解析する。ベストショット画像は、例えばベストショット画像の生成日時と対応付けて保存され、更に、ベストショット画像の対象物が車両である場合に、その車両に乗車している人物に関する情報も対応付けて保存されてよい。
監視状況判別サーバ30Zは、通信部301と、ストレージ302と、設定部303と、表示ログ画像生成部304とを含む構成である。なお、図12に示す監視状況判別サーバ30Zは、図2に示す監視状況判別サーバ30、又は図6に示す監視状況判別サーバ30Aの内部構成を有してよい。
通信部301は、監視状況判別サーバ30Zを利用する利用者により使用される入力デバイス55Zの操作によって入力された全方位カメラ10Zの高さに関する情報や対象物毎の設定値(上述参照)を取得し、設定部303に保存する。また、通信部301は、ネットワークNW1(図11参照)を介して、全方位カメラ10Zとの間で通信を行い、ネットワークNW2(図11参照)を介して、監視センタサーバ50との間でも通信を行う。通信部301は、全方位カメラ10Zから送信された情報又はデータをストレージ302に保存する。
蓄積部の一例としてのストレージ302は、例えば半導体メモリ又はハードディスク装置を用いて構成され、通信部301から出力された情報又はデータを保存したり、表示ログ画像生成部304により生成された静止画又は動画のデータを保存したりする。
設定部303は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、全方位カメラ10Zの高さに関する情報や、全方位カメラ10Zにおいて検知される対象物(例えば車両、人物、人の顔)の大きさの設定値を保持する。それぞれの対象物の大きさを決めるための各設定値は、全方位カメラ10Zの高さhに応じて変わる。つまり、全方位カメラ10Zの設置高さ(高さh)の値に応じて、それぞれの対象物の大きさの設定値は設定される。設定部303は、全方位カメラ10Zの高さに関する情報や、それぞれの対象物の大きさを定めるための設定値に関する情報を、通信部301を介して全方位カメラ10Zに送信し、全方位カメラ10Zに設定させる。
表示ログ画像生成部304は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、全方位カメラ10Zから送信された情報又はデータ(例えば、それぞれの対象物毎のベストショット画像や、それらのベストショット画像のメタデータ)を用いて、各種の画像を生成したり、その画像を監視センタモニタ51において表示することの制御を行う。各種の画像は、静止画も動画も含まれるとする。
表示ログ画像生成部304は、例えば車両が停止してから人が出てくるシーンの動画や静止画を生成する。表示ログ画像生成部304は、例えば車両に人が近付いたときのシーンの動画や静止画を生成する。この動画や静止画は、例えば車両の盗難等の事件発生の際に、証拠画像として使用可能となる。表示ログ画像生成部304は、例えば車両に人が戻って乗車して出発するまでのシーンの動画や静止画を生成する。表示ログ画像生成部304は、例えば車両のナンバープレートの静止画を生成する。表示ログ画像生成部304は、例えば車両に乗車している人物の顔や全身画像の静止画を生成する。
入力デバイス55Zは、例えばマウス、キーボード、タッチパネル又はタッチパッドを用いて構成され、監視状況判別サーバ30Zを用いる利用者(例えば、監視センタサーバ50を使用する監視員とは別の監視員)の入力操作に応じた情報又はデータを通信部301に出力する。
次に、本実施の形態の駐車場監視システム100Zにおける全方位カメラ10Z及び監視状況判別サーバ30Zの動作手順について、図14A及び図14Bを参照して説明する。
図14Aは、実施の形態2の全方位カメラ10Zの動作手順の一例を詳細に示すフローチャートである。図14Bは、実施の形態2の監視状況判別サーバ30Zの動作手順の一例を詳細に示すフローチャートである。
図14Aにおいて、撮像部101は、被写体である駐車場PRK1(図11参照)の全方位画像を撮像して画像入力部102に出力する。画像入力部102は、人間が認識可能なRGB(Red Green Blue)又はYUV(輝度・色差)等により規定される全方位画像のデータ(フレーム)を生成する(S71)。
認識部103は、設定情報蓄積部108に保存されている全方位カメラ10Zの高さに関する情報を取得し(S72)、それぞれの対象物の大きさを特定するための設定値を設定する(S73)。なお、ステップS72及びステップS73の各処理は、図14Aの説明の前提として行われていてもよい。
車両認識部1031は、ステップS71において生成された全方位画像とステップS73において設定された車両の大きさを示す設定値とを用いて、その全方位画像に含まれる(言い換えると、映っている)車両を検知、認識する(S74)。
人物・顔認識部1032は、ステップS71において生成された全方位画像とステップS73において設定された人物又は人の顔の大きさを示す各設定値とを用いて、その全方位画像に含まれる(言い換えると、映っている)人物又は人の顔を検知、認識する(S75)。
解析部104は、ステップS74において検知された車両を追跡したり、ステップS75において検知された人物又は人の顔を追跡したりすることで、それぞれの対象物に関して各種の解析処理を行う(S76)。
ベストショット画像生成部105は、解析部104の出力と画像入力部102から出力された全方位画像とを用いて、それぞれの対象物(例えば車両、人物、人の顔)のベストショット画像を生成し、生成されたベストショット画像やベストショット画像のメタデータをベストショット画像蓄積部110に保存する(S77)。
送信部106は、ベストショット画像生成部105から出力されたベストショット画像やベストショット画像のメタデータを監視状況判別サーバ30Zに送信する(S78)。
図14Bにおいて、通信部301は、全方位カメラ10Zから送信された情報又はデータ(例えば、ベストショット画像やベストショット画像のメタデータ)を受信する(S81)。
表示ログ画像生成部304は、全方位カメラ10Zから送信された情報又はデータ(例えば、それぞれの対象物毎のベストショット画像や、それらのベストショット画像のメタデータ)を用いて、各種の画像を生成し(S82)、生成された各種の画像をストレージ302に保存する(S83)。各種の画像の例については上述したので、ここではその説明は割愛する。
表示ログ画像生成部304は、ステップS82において生成した各種の画像のデータを、通信部301及びネットワークNW2を介して、監視センタサーバ50に送信する(SS84)。
監視センタサーバ50は、監視状況判別サーバ30Zから送信された各種の画像のデータを受信して監視センタモニタ51に表示する(S85、図13参照)。
以上により、本実施の形態の駐車場監視システム100Zでは、全方位カメラ10Zは、車両毎の駐車スペースWK(駐車領域の一例)を有する駐車場PRK2の全方位画像を撮像可能である。全方位カメラ10Zは、それぞれの駐車スペースWKにおける車両の駐車の有無に応じて、それぞれの駐車スペースWKにおける駐車状況(言い換えると、駐車の満空状態)を監視する。これにより、駐車場監視システム100Zは、1台の全方位カメラ10Zを用いて、全方位カメラ10Zの全方位画像を解析することにより、車両の駐車を検知し、駐車場の満空監視を行うことができる。つまり、全方位カメラ10Zを用いることで、全方位カメラ10Zの真下を含めて360度の駐車場PRK1の全方位監視が可能となる。
従来技術のように、複数(例えば2台)のカメラを用いる場合は、それぞれのカメラの角度やカメラ間の画角調整が必要になっていた。しかし、本実施の形態のように、全方位カメラ10Zを用いる場合は、例えば道路に対して水平に設置を行い、設置高さである高さhの情報が入力及び設定されるだけで、それぞれの対象物の大きさを特定するための設定値の調整を簡易に完了できる。なお、高さhの情報は、検知精度向上のために入力されることが好ましいが、入力されなくても固定の設定値であっても構わない。
また、全方位カメラ10Zを用いることで、真下の道路1レーン分のみならず、図13に示すように、隣のレーンや歩道の情報も1台の全方位カメラ10Zで取得できる。これにより、監視員は、例えば駐車場PRKの混雑予測情報のみならず、道路の混雑状況にも応じた運用(例えば、混雑時間帯では一部のエリアは駐車場ではなく道路として運用する等)も可能となる。
また、全方位カメラ10Zは、全方位画像の画角内に車両を検知すると、その車両の動きを追跡して車両のベストショット画像と車両に関する情報(ベストショット画像のメタデータの一例)とを取得して監視状況判別サーバ30Zに送信する。監視状況判別サーバ30Zは、全方位カメラ10Zから送信された車両のベストショット画像とその車両に関する情報とを対応付けて(つまり、タグ化して)ストレージ302に記録する。これにより、監視員は、駐車違反や事件発生時にその発生時刻を用いて、監視状況判別サーバ30Zに対して、タグ化された情報又はデータの検索を行うと、該当する駐車情報(例えば駐車開始時間等)と共に、ナンバープレート情報や車種を瞬時に把握可能である。また、更なる応用として、歩道の監視を行う場合には、歩行者の正面画像を取得し、年齢・性別等の情報を取得してマーケティングにも利用することも可能である。
また、全方位カメラ10Zは、全方位画像の画角内に映る、車両に乗車している人物を検知すると、その人物の動きを追跡して人物のベストショット画像とその人物に関する情報とを取得して監視状況判別サーバ30Zに送信する。監視状況判別サーバ30Zは、全方位カメラ10Zから送信された人物のベストショット画像と人物に関する情報とを、車両のベストショット画像と車両に関する情報とに更に対応付けて(つまり、タグ化して)ストレージ302に記録する。これにより、監視員は、駐車違反や事件発生時にその発生時刻を用いて、監視状況判別サーバ30Zに対して、タグ化された情報又はデータの検索を行うと、該当する駐車情報(例えば駐車開始時間等)と共に、ナンバープレート情報や車種、人の正面視が映る顔や人物全体の画像を瞬時に把握可能である。
なお、実施の形態2において、全方位カメラ10Zにおいて行われた処理(具体的には、図14AのステップS73〜ステップS77までの各処理)は、監視状況判別サーバ30Zにおいて実行されても構わない。
(実施の形態3に至る経緯)
上述した特許文献1を含む従来技術では、駐車場の所定エリアに駐車された複数の車両のナンバープレートを認識する際、例えば固定画角を有するカメラにより撮像された撮像画像を用いていた。このため、駐車場内に駐車されている全ての車両のナンバープレートを正確に認識できない場合があるという課題があった。これは、例えばカメラの固定画角外のエリアに車両が駐車されてしまった場合に、その車両のナンバープレートが正確に撮像されないためにナンバープレートの認識が失敗するためである。
(実施の形態3)
そこで、実施の形態3では、パンチルトズーム機能を有するPTZカメラを用いて、駐車場に駐車された複数の車両のそれぞれに焦点を合わせて撮像することで、その撮像により得られた個々の車両の撮像画像を用いてナンバープレートを正確に認識し、ナンバープレートに関する情報とその車両の撮像画像とを対応付けて記録する駐車場監視システムの例について説明する。
図15は、実施の形態3の駐車場監視システム100Yのシステム構成例の概略を模式的に示す図である。図16は、実施の形態3のPTZカメラ10Yの内部構成の一例を詳細に示すブロック図である。
図15及び図16の説明において、図1、図2、図5、図6、図11、図12のいずれかに示す構成と同一の構成については同一の符号を付与して説明を簡略化又は省略する。
駐車場監視システム100Yは、例えば工場内の駐車場PRK3に設置された全方位カメラ10Z及びPTZカメラ10Yと、監視状況判別サーバ30Aと、監視センタサーバ50と、入力デバイス55とを含む構成である。全方位カメラ10Z及びPTZカメラ10Yは、それぞれ図15に不図示の異なるポールの所定の設置高さの位置に取り付けられている。なお、全方位カメラ10Z及びPTZカメラ10Yは、図15に不図示の同一のポールの異なる設置高さの位置に取り付けられてもよい。
工場内の駐車場PRK3には、複数の車両TR1,TR2,TR3,TR4,TR5,TR6,TR7,TR8,TR9のそれぞれが駐車可能なバースBTHが設けられている。車両TR1〜TR9は、例えば工場内で製造された品物を搬出したり、工場内に届けた品物を搬入したりするトラックである。但し、車両TR1〜TR9はトラックに限定されない。図15に示すバースBTHには、それぞれの駐車スペースとしての駐車ロットが割り当てられており、具体的には、車両TR1〜TR9に対応して駐車ロット番号1〜9の駐車ロットが割り当てられている。
全方位カメラ10Z及びPTZカメラ10Yと監視状況判別サーバ30A(図6参照)とは、ネットワークNW1を介して相互に通信可能に接続されている。監視状況判別サーバ30Aと監視センタサーバ50とは、ネットワークNW2を介して相互に通信可能に接続されている。
全方位カメラ10Zは、駐車場PRK3のバースBTHの全域を撮像範囲として含むように、不図示のポールに取り付けられている。全方位カメラ10Zは、撮像によって得られた駐車場PRK3のバースBTHを含む全方位画像を取得し、全方位カメラ10Z自身の識別情報と全方位画像とを、ネットワークNW1を介して監視状況判別サーバ30Aに常時又は定期的に送信する。全方位カメラ10Zに関する情報(例えば設置位置情報)は、全方位カメラ10Zの設定情報蓄積部108(図12参照)に保存されている。全方位カメラ10Zの設置位置情報は、例えば、緯度、経度、高さである。
PTZカメラ10Yは、駐車場PRK3内に立設されている不図示のポールに取り付けられ、カバー範囲Dcv(言い換えると、撮像範囲AR1)の撮像が可能であり、更に、監視状況判別サーバ30Aからの制御信号に応じて、特定の車両(例えば車両TR1)に撮像範囲を向けてその車両を中心として撮像する。カバー範囲Dcvの距離は、撮像画角θとPTZカメラ10Yからの距離に応じて定まる。PTZカメラ10Yからの距離は、例えば図15を参照すると、PTZカメラ10Yの撮像範囲AR1(つまり、扇形)の半径に相当する長さである。PTZカメラ10Yは、撮像によって得られたいずれかの車両の撮像画像を用いて、その車両に取り付けられたナンバープレートを認識し、ナンバープレートの認識結果とPTZカメラ10Y自身の識別情報とを、ネットワークNW1を介して監視状況判別サーバ30Aに常時又は定期的に送信する。PTZカメラ10Yに関する情報(例えば設置位置情報)は、PTZカメラ10Yの設定情報蓄積部108Y(図16参照)に保存されている。PTZカメラ10Yの設置位置情報は、例えば、緯度、経度、高さである。
PTZカメラ10Yは、撮像部101Yと、画像入力部102Yと、認識部103Yと、解析部104Yと、送信部106Yと、受信部107Yと、設定情報蓄積部108Yと、解析情報蓄積部109Yと、撮像方向制御部111と、レンズ駆動モータ112とを含む構成である。認識部103Yは、車両認識部1031Yと、ナンバープレート認識部1033とを含む。
撮像部101Yは、レンズとイメージセンサとを少なくとも有する。レンズは、全方位カメラ10Zの外部から入射する光を集光し、イメージセンサの所定の撮像面に結像させる。レンズには、撮像画角θを満たすレンズが用いられる。イメージセンサは、例えばCCD又はCMOSの固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。
画像入力部102Yは、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、撮像部101Yからの電気信号を用いて所定の信号処理を行うことで、人間が認識可能なRGB又はYUV等により規定される撮像画像のデータ(フレーム)を生成して認識部103Yに出力する。
認識部103Yは、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、画像入力部102Yからの撮像画像を用いて、対象物(例えば駐車場PRK3のバースBTHのそれぞれの駐車ロットに存在する車両やその車両のナンバープレート)の検知、認識、追跡を行う。認識部103Yは、対象物の検知、認識、追跡の各処理結果を解析部104Yに出力する。
車両認識部1031Yは、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、画像入力部102Yからの撮像画像を用いて、対象物の一例としての車両を検知する。車両認識部1031Yは、検知された車両が具体的にどのような車両であるかを認識したり、その車両の移動経路を追跡したりして把握する。車両認識部1031は、車両の検知、認識、追跡の各処理結果を解析部104Yに出力する。
ナンバープレート認識部1033は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、画像入力部102Yからの撮像画像を用いて、対象物の一例としてのナンバープレートを検知する。ナンバープレート認識部1033は、検知されたナンバープレートに関する情報を認識する。ナンバープレート認識部1033は、ナンバープレートの検知、認識の各処理結果を解析部104Yに出力する。
解析部104Yは、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、認識部103Yから出力された対象物の検知、認識、追跡の各処理結果を用いて、それぞれの対象物に関して各種の解析処理を行う。解析部104Yは、各種の解析結果を解析情報蓄積部109Yに保存する。ここで、解析部104Yは、例えば特開2014−022970号公報(例えば図1の対象特徴解析部や帯域成分検出部を参照)に開示されている方法で、各種の解析処理を行ってもよい。
例えば、解析部104Yは、対象物が車両である場合に、その車両が駐車をしているかどうかを判定する処理を行う。具体的には、解析部104Yは、車両の移動軌跡を解析し、駐車場PRK3内の所定の駐車ロットに駐車したかどうかを判断する。また、解析部104Yは、車両が駐車した位置が駐車可能な位置又は駐車禁止の位置であるか(つまり、違法駐車でないかどうか)を判断する。また、解析部104Yは、駐車可能なエリアと判断した場合に、あと何台の車両が駐車場PRK3のバースBTHの駐車ロットにおいて駐車可能であるかを算出して判断する。
送信部106Yは、解析部104Yの解析結果やナンバープレート認識部1033の認識結果を監視状況判別サーバ30Aに送信する。また、送信部106は、画像入力部102Yからの撮像画像に対する解析部104Yの各種の解析結果を解析情報蓄積部109から取得して監視状況判別サーバ30Aに送信してもよい。
受信部107Yは、監視状況判別サーバ30Aから送信された撮像指示を受信して撮像方向制御部111に出力する。また、受信部107Yは、PTZカメラ10Yに関する各種の設定情報を受信して設定情報蓄積部108Yに保存する。なお図16では、送信部106Yと受信部107Yとを別個に含むように記載されているが、送信部106Yと受信部107Yとを纏めて通信部として構成されてもよいことは言うまでもない。
設定情報蓄積部108Yは、例えば半導体メモリ又はハードディスク装置を用いて構成され、受信部107Yから出力された各種の設定情報(例えばPTZカメラ10Yの高さに関する情報)を保存する。設定情報蓄積部108Yは、PTZカメラ10Yの動作に必要な各種の設定情報を保存する。
解析情報蓄積部109Yは、例えば半導体メモリ又はハードディスク装置を用いて構成され、解析部104Yによる各種の解析結果を保存する。
撮像方向制御部111は、例えばCPU、MPU又はDSP等のプロセッサを用いて構成され、監視状況判別サーバ30Aから送信された撮像指示(例えばナンバープレートの認識対象となる車両を撮像するための画角変更指示)に従い、PTZカメラ10Yの撮像方向をパン方向及びチルト方向のうち少なくとも1つを制御し、更に必要に応じて、ズーム倍率を変更するための制御信号をレンズ駆動モータ112に出力する。
レンズ駆動モータ112は、撮像方向制御部111からの制御信号に従って、撮像部101Yを構成するレンズを駆動し、その撮像方向を変更するとともに、レンズの焦点距離を調節してズーム倍率を変更する。
次に、本実施の形態の駐車場監視システム100Yのナンバープレートの認識時の動作手順について、図17及び図18を参照して説明する。
図17は、実施の形態3の駐車場監視システム100Yのナンバープレートの認識時における動作手順の第1例を詳細に示すシーケンス図である。図18は、実施の形態3の駐車場監視システム100Yのナンバープレートの認識時における動作手順の第2例を詳細に示すシーケンス図である。
図17に示す第1例では、全方位カメラ10Zが駐車ロットに駐車された車両を検知し、PTZカメラ10Yがその車両のナンバープレートを認識する。
一方、図18に示す第2例では、図17に示す第1例のバリエーションとして、全方位カメラ10Zを使用しないで、PTZカメラ10Yが駐車ロットに駐車された車両を検知し、更に、その車両のナンバープレートを認識する。なお、図18に示す各処理の説明において、図17に示す各処理と同一の内容については同一のステップ番号を付与して説明を簡略化又は省略する。
図17において、初期設定として、全方位カメラ10Z、PTZカメラ10Y及び監視状況判別サーバ30Aに対し、駐車場PRK3内のバースBTHに設けられたそれぞれの駐車ロット番号1〜9の駐車ロットの位置情報が保存される(S91)。ステップS91の後に具体的な運用が開始される。
ステップS91の初期設定の後、全方位カメラ10Zは、全方位カメラ10Z自身に設定された被写体(例えば駐車場PRK3のバースBTHの駐車ロット番号1〜9の各駐車ロット)の全方位画像を撮像する(S92)。全方位カメラ10Zは、ステップS92において撮像された全方位画像を用いて、いずれかの駐車ロットに駐車する車両を検知し、その検知された車両の位置情報(例えば全方位画像上の座標)とその車両の駐車を検知した入場時刻情報とを抽出する(S93)。
ステップS93以降の処理(つまり、ステップS94の処理)は、ステップS93において駐車ロットに駐車する車両が検知された後、例えば駐車ロット番号1〜9のそれぞれの駐車ロット毎に繰り返して実行される。言い換えると、PTZカメラ10Yによるナンバープレートの認識前に、全方位カメラ10Zは、バースBTHのどの駐車ロットに車両が駐車されているかを事前把握している。これにより、駐車ロットへの車両の駐車を全方位カメラ10Zが対応し、ナンバープレートの認識はPTZカメラ10Yが対応することで、PTZカメラ10Yは、ナンバープレートの認識の処理に集中でき、ナンバープレートの認識に遅延を生じさせることなくリアルタイムに駐車車両のナンバープレートに関する情報を取得できる。
具体的には、全方位カメラ10Zは、ステップS92において撮像された全方位画像とステップS93において検知された車両(検知車)の位置情報とその車両の駐車を検知した入場時刻情報とを監視状況判別サーバ30Aに送信する(S94−1)。なお、ステップS94−1の処理において、全方位カメラ10Zは、駐車ロットに駐車する車両を検知していない場合には、ステップS92において撮像された全方位画像と現在のステップS94の処理の対象となる駐車ロットには車両が駐車されていない旨のメッセージとを監視状況判別サーバ30Aに送信する。これにより、監視状況判別サーバ30Aは、現在のステップS94の処理の対象となる駐車ロットにおける車両の満空判別を容易に行える。
監視状況判別サーバ30Aは、例えば画像解析部32Aの満空検知部326において、ステップS91の初期設定において保存された駐車ロットの位置情報とステップS94−1において送信された位置情報とを用いて、現在のステップS94の処理の対象となる駐車ロットに車両が駐車しているかどうかを判別する(S94−2)。
監視状況判別サーバ30Aは、ステップS94−2の判別結果を基に、現在のステップS94の処理の対象となる駐車ロットについて、車両の入退場を判別する(S94−3)。例えば、監視状況判別サーバ30Aは、前回のステップS94の処理の際の該当する駐車ロットにおける満空判別(ステップS94−2参照)において「駐車無し」と判別し、かつ今回のステップS94の処理の際の同一の駐車ロットにおける満空判別において「駐車あり」と判別すると、「入場」と判別する。
一方、監視状況判別サーバ30Aは、前回のステップS94の処理の際の該当する駐車ロットにおける満空判別(ステップS94−2参照)において「駐車あり」と判別し、かつ今回のステップS94の処理の際の同一の駐車ロットにおける満空判別において「駐車なし」と判別すると、「退場」と判別する。
なお、監視状況判別サーバ30Aは、前回のステップS94の処理の際の該当する駐車ロットにおける満空判別(ステップS94−2参照)において「駐車無し」と判別し、かつ今回のステップS94の処理の際の同一の駐車ロットにおける満空判別において「駐車なし」と判別すると、「退場」と判別する。
同様に、監視状況判別サーバ30Aは、前回のステップS94の処理の際の該当する駐車ロットにおける満空判別(ステップS94−2参照)において「駐車あり」と判別し、かつ今回のステップS94の処理の際の同一の駐車ロットにおける満空判別において「駐車あり」と判別すると、「入場」と判別する。
監視状況判別サーバ30Aは、ステップS94−3において「入場」と判別された駐車ロット内の車両のナンバープレートの認識指示をPTZカメラ10Yに送信する(S94−4)。
PTZカメラ10Yは、監視状況判別サーバ30Aからの認識指示を受信すると、PTZ制御(つまり、パンチルトズーム機能)を用いて、認識指示に含まれる駐車ロットに撮像方向を向けて、該当する駐車ロットの車両を撮像するととともに(S94−5)、その撮像画像を用いてナンバープレートを認識する(S94−6)。PTZカメラ10Yは、ステップS94−5の撮像画像とステップS94−6のナンバープレートの認識結果とを対応付けて(つまり、タグ化)して監視状況判別サーバ30Aに送信する(S94−7)。
監視状況判別サーバ30Aは、ステップS94−7において送信された撮像画像及びナンバープレート認識結果を受信し、その車両の駐車を検知した入場時刻情報と対応付けて(つまり、タグ化して)情報蓄積部37Aに保存する(S94−8)。監視状況判別サーバ30Aは、現在のステップS94の処理の対象となる駐車ロットについて、その駐車ロットに駐車されている車両のナンバープレートの認識(言い換えると、読み取り)が終了した旨のメッセージ(例えばACK(Acknowledgment))を全方位カメラ10Zに送信する(S94−9)。これにより、全方位カメラ10Zは、現在のステップS94の処理の対象となる駐車ロットに関する処理の終了を認識でき、次の駐車ロット(例えば現在が駐車ロット番号1の駐車ロットであれば、隣接する駐車ロット番号2の駐車ロット等)についてステップS94の処理を開始できる。
図18において、初期設定として、PTZカメラ10Y及び監視状況判別サーバ30Aに対し、駐車場PRK3内のバースBTHに設けられたそれぞれの駐車ロット番号1〜9の駐車ロットの位置情報が保存される(S91A)。ステップS91Aの後に具体的な運用が開始される。つまり、ステップS94の処理が、例えば駐車ロット番号1〜9のそれぞれの駐車ロット毎に繰り返して実行される。
具体的には、PTZカメラ10Yは、PTZカメラ10Y自身に設定された被写体(例えば駐車場PRK3のバースBTHの駐車ロット番号1〜9の各駐車ロット)に対し、現在のステップS94の処理の対象となる駐車ロットに焦点を当てて、その撮像ロットの画像を撮像する(S92A)。PTZカメラ10Yは、ステップS92Aの撮像画像を用いて、現在のステップS94Aの処理の対象となる駐車ロットに駐車する車両の有無を検知し、その検知された車両の位置情報(例えば撮像画像上の座標)とその車両の駐車を検知した入場時刻情報とを抽出する(S93A)。
PTZカメラ10Yは、ステップS92Aの撮像画像とステップS93Aにおいて検知された車両(検知車)の位置情報とその車両の駐車を検知した入場時刻情報とを監視状況判別サーバ30Aに送信する(S94−1)。なお、ステップS94−1の処理において、PTZカメラ10Yは、駐車ロットに駐車する車両を検知していない場合には、ステップS92Aにおいて撮像された全方位画像と現在のステップS94Aの処理の対象となる駐車ロットには車両が駐車されていない旨のメッセージとを監視状況判別サーバ30Aに送信する。これにより、監視状況判別サーバ30Aは、現在のステップS94Aの処理の対象となる駐車ロットにおける車両の満空判別を容易に行える。
監視状況判別サーバ30Aは、例えば画像解析部32Aの満空検知部326において、ステップS91Aの初期設定において保存された駐車ロットの位置情報とステップS94−1において送信された位置情報とを用いて、現在のステップS94Aの処理の対象となる駐車ロットに車両が駐車しているかどうかを判別する(S94−2)。
監視状況判別サーバ30Aは、ステップS94−2の判別結果を基に、現在のステップS94Aの処理の対象となる駐車ロットについて、車両の入退場を判別する(S94−3)。例えば、監視状況判別サーバ30Aは、前回のステップS94Aの処理の際の該当する駐車ロットにおける満空判別(ステップS94−2参照)において「駐車無し」と判別し、かつ今回のステップS94Aの処理の際の同一の駐車ロットにおける満空判別において「駐車あり」と判別すると、「入場」と判別する。
一方、監視状況判別サーバ30Aは、前回のステップS94Aの処理の際の該当する駐車ロットにおける満空判別(ステップS94−2参照)において「駐車あり」と判別し、かつ今回のステップS94Aの処理の際の同一の駐車ロットにおける満空判別において「駐車なし」と判別すると、「退場」と判別する。
なお、監視状況判別サーバ30Aは、前回のステップS94Aの処理の際の該当する駐車ロットにおける満空判別(ステップS94−2参照)において「駐車無し」と判別し、かつ今回のステップS94Aの処理の際の同一の駐車ロットにおける満空判別において「駐車なし」と判別すると、「退場」と判別する。
同様に、監視状況判別サーバ30Aは、前回のステップS94Aの処理の際の該当する駐車ロットにおける満空判別(ステップS94−2参照)において「駐車あり」と判別し、かつ今回のステップS94Aの処理の際の同一の駐車ロットにおける満空判別において「駐車あり」と判別すると、「入場」と判別する。
監視状況判別サーバ30Aは、ステップS94−3において「入場」と判別された駐車ロット内の車両のナンバープレートの認識指示をPTZカメラ10Yに送信する(S94−4)。
PTZカメラ10Yは、監視状況判別サーバ30Aからの認識指示を受信すると、PTZ制御(つまり、パンチルトズーム機能)を用いて、認識指示に含まれる駐車ロットに撮像方向を向けて、該当する駐車ロットの車両を撮像するととともに(S94−5)、その撮像画像を用いてナンバープレートを認識する(S94−6)。PTZカメラ10Yは、ステップS94−5の撮像画像とステップS94−6のナンバープレートの認識結果とを対応付けて(つまり、タグ化)して監視状況判別サーバ30Aに送信する(S94−7)。
監視状況判別サーバ30Aは、ステップS94−7において送信された撮像画像及びナンバープレート認識結果を受信し、その車両の駐車を検知した入場時刻情報と対応付けて(つまり、タグ化して)情報蓄積部37Aに保存する(S94−8)。監視状況判別サーバ30Aは、現在のステップS94Aの処理の対象となる駐車ロットについて、その駐車ロットに駐車されている車両のナンバープレートの認識(言い換えると、読み取り)が終了した旨のメッセージ(例えばACK))をPTZカメラ10Yに送信する(S94−9)。これにより、PTZカメラ10Yは、現在のステップS94Aの処理の対象となる駐車ロットに関する処理の終了を認識でき、次の駐車ロット(例えば現在が駐車ロット番号1の駐車ロットであれば、隣接する駐車ロット番号2の駐車ロット等)についてステップS94Aの処理を開始できる。
このように、本実施の形態の駐車場監視システム100Yは、車両毎の駐車ロット(駐車領域の一例)を有する駐車場PRK3のバースBTHの全方位画像を撮像可能な全方位カメラ10Zを更に備える。PTZカメラ10Yは、全方位カメラ10Zにより駐車ロットへの車両の駐車が検知されると、撮像方向をその駐車ロットに向けて撮像し、駐車ロットの撮像画像を用いて、その撮像画像内に映る車両のナンバープレートを認識し、ナンバープレートに関する情報とその駐車ロットに駐車された車両の撮像画像とを取得して監視状況判別サーバ30Aに送信する。監視状況判別サーバ30Aは、PTZカメラ10Yから送信されたナンバープレートに関する情報と駐車された車両の撮像画像とを対応付けて(つまり、タグ化して)情報蓄積部37Aに記録する。これにより、駐車場監視システム100Yは、駐車ロットへの車両の駐車が全方位カメラ10Zにより検知され、ナンバープレートの認識がPTZカメラ10Yにより行われることで、PTZカメラ10Yにナンバープレートの認識の処理に集中させることができ、ナンバープレートの認識に遅延を生じさせることなくリアルタイムに駐車車両のナンバープレートに関する情報を取得できる。
また、PTZカメラ10Yは、駐車場PRK3内に設置された車両毎の駐車ロットを一定時間毎に撮像し、駐車ロットへの車両の駐車の検知に応じて、駐車領域の撮像画像を用いて、撮像画像内に映る車両のナンバープレートを認識し、ナンバープレートに関する情報と駐車ロットに駐車された車両の撮像画像とを取得して監視状況判別サーバ30Aに送信する。監視状況判別サーバ30Aは、PTZカメラ10Yから送信されたナンバープレートに関する情報と撮像画像とを対応付けて(つまり、タグ化して)情報蓄積部37Aに記録する。これにより、駐車場監視システム100Yは、全方位カメラ10Zを用いることなく、少なくともPTZカメラ10Yと監視状況判別サーバ30Aとを用いた簡易な構成で、駐車場PRK3のバースBTHのそれぞれの駐車ロットに駐車された車両のナンバープレートに関する情報を周期的に取得できる。
また、全方位カメラ10Zは、車両毎の駐車ロットを定期的に(つまり、繰り返して)撮像し、車両毎の駐車ロットの撮像画像(つまり、全方位画像)を用いて、それぞれの駐車ロット内の車両の入退場の有無を判別する。全方位カメラ10Zは、駐車ロット内の車両の退場を検知すると、入場時にPTZカメラ10Yによって読み取られた車両のナンバープレートに関する情報とその駐車ロットに駐車されていた車両の退場が検知された退場時刻情報とを取得して監視状況判別サーバ30Aに送信する。監視状況判別サーバ30Aは、全方位カメラ10Zから送信されたナンバープレートに関する情報と退場時刻情報とを対応付けて(つまり、タグ化して)情報蓄積部37Aに記録する。これにより、監視状況判別サーバ30Aは、駐車場PRK3のバースBTHの駐車ロットに駐車されていた車両が退場したことの証拠となる情報又はデータをその車両のナンバープレートに関する情報とともに記録でき、例えば監視員が事後的にその車両が適正に退場したかどうかを容易に確認させる作業を支援できる。
(実施の形態4に至る経緯)
上述した特許文献1を含む従来技術では、駐車場における車両の違法駐車を防ぐために、フラップ板やゲートが使用されている。フラップ板は、その設置費用や故障が多いことが指摘されている。近年、フラップ板やゲートを使用せず、駐車場に立設されたポールにセンサ(例えば赤外線センサ、磁気センサ、超音波センサ)を取り付け、このセンサのセンシング結果を用いて、駐車場内の駐車スペースへの車両の入退場を検知して駐車状況を監視することが行われている。
しかし、これらの従来技術において、例えばセンサの認識率は必ずしも100%ということが無く、駐車場の利用者に正しく駐車料金を請求できない可能性があるという課題があった。
(実施の形態4)
そこで、実施の形態4では、駐車場に駐車する予定の利用者に事前予約させ、カメラにより撮像された駐車場の撮像画像を用いて利用者に駐車の確認を促し、その確認が承認された場合に駐車料金を請求する駐車場監視システムの例について説明する。
図19は、実施の形態4の駐車場監視システム100Xのシステム構成例の概略を模式的に示す図である。図20Aは、実施の形態4のスマートフォン200の内部構成の一例を詳細に示すブロック図である。図20Bは、実施の形態4の監視センタサーバ50Xの内部構成の一例を詳細に示すブロック図である。
図19及び図20Bの説明において、図1、図2、図5、図6、図11、図12、図15、図16のいずれかに示す構成と同一の構成については同一の符号を付与して説明を簡略化又は省略する。
駐車場監視システム100Xは、駐車場PRK4に設置された全方位カメラ10Zと、監視状況判別サーバ30Aと、監視センタサーバ50Xと、スマートフォン200と、入力デバイス55とを含む構成である。駐車場PRK4には、ポールP5が立設され、ポールP5に取付金具TK1を介して全方位カメラ10Zが設置されている。全方位カメラ10Zは地面から高さhの位置に設置されている。
なお、図19では説明を簡単にするために、駐車場PRK4には1本のポールだけが図示されているが、ポールの設置本数は1本に限定されない。
監視状況判別サーバ30Aと監視センタサーバ50Xとは、ネットワークNW2を介して相互に通信可能に接続されている。スマートフォン200と監視センタサーバ50Xとはネットワークを介して相互に通信可能に接続されている。図19では、スマートフォン200と監視センタサーバ50Xとを接続するネットワークの図示は省略している。なお、スマートフォン200と監視センタサーバ50XとはネットワークNW2を介して接続されてもよい。
駐車場PRK4には、事前予約の登録がなされた複数の車両(例えば車両CR2)がそれぞれ駐車可能な駐車スペースSP1,SP2,SP3,SP4、SP5,SP6と、事前予約の登録がなされていない車両(例えば車両CR5)が駐車可能な駐車スペースWK(駐車領域の一例)とが予め設けられている。図19では、事前予約の登録がなされた車両CR2が駐車スペースSP2に駐車され、更に、事前予約の登録がなされていない車両CR5が駐車スペースWKに駐車されている状況が図示されている。
スマートフォン200は、本実施の形態の駐車場監視システム100Xにおいて、上述した駐車場PRK4の駐車の事前予約を行うユーザにより携帯されて使用される。スマートフォン200は、プロセッサ201と、メモリ202と、通信部203と、タッチパネルディスプレイ204とを含む構成である。
プロセッサ201は、例えばCPU、MPU又はDSPを用いて構成され、スマートフォン200の各部の動作を統括して制御するための制御処理、他の各部との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を行う。
メモリ202は、例えばスマートフォン200の動作を規定するプログラムや設定値のデータが格納されたROM(Read Only Memory)と、プロセッサ201の各処理時に使用される各種の情報やデータを一時的に保存するRAM(Random Access Memory)とを有する。
スマートフォン200には、本実施の形態の駐車場監視システム100Xにおいて、駐車場PRK4の駐車の事前予約を行うためのアプリケーションが実行可能に予めインストールされている。メモリ202には、このアプリケーションを実行するためのプログラムやデータ(例えば各種の設定値)を保存している。プロセッサ201は、メモリ202からプログラム及びデータを読み出すことにより、上述した事前予約を行うためのアプリケーションを実行可能である。
通信部203は、ネットワーク(例えば無線ネットワーク)を介して監視センタサーバ50Xとの間で通信(例えば情報又はデータの送受信)を行う。
タッチパネルディスプレイ204は、例えばスマートフォン200のユーザ(つまり、上述した駐車場PRK4の駐車の事前予約を行う利用者)の指又はスタイラスペンによる入力操作を受け付けるとともに、プロセッサ201から渡された各種の情報又はデータを表示する。
第2のサーバの一例としての監視センタサーバ50Xは、プロセッサ501と、メモリ502と、通信部503とを含む構成である。なお、監視センタサーバ50Xの構成は、各実施の形態における監視センタサーバ50の内部構成と同一であってよい。
プロセッサ501は、例えばCPU、MPU又はDSPを用いて構成され、監視センタサーバ50Xの各部の動作を統括して制御するための制御処理、他の各部との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を行う。
第2の蓄積部の一例としてのメモリ502は、例えば監視センタサーバ50Xの動作を規定するプログラムや設定値のデータが格納されたROMと、プロセッサ501の各処理時に使用される各種の情報やデータを一時的に保存するRAMとを有する。
監視センタサーバ50Xは、スマートフォン200において入力された、駐車場PRK4の駐車の事前予約を行うための予約情報(例えば、ユーザID、駐車時間、駐車スペース(駐車枠)の情報)を、スマートフォン200の識別情報と対応付けてメモリ502に保存している。
通信部503は、ネットワーク(例えば無線ネットワーク)を介してスマートフォン200、又は監視状況判別サーバ30Aとの間で通信(例えば情報又はデータの送受信)を行う。
次に、本実施の形態の駐車場監視システム100Xの動作概要について、図21を参照して説明する。
図21は、実施の形態4の駐車場監視システム100Xの動作概要の一例を示す図である。
先ず、ユーザは、自身が所持するスマートフォン200を用いて、駐車場PRK4の駐車の事前予約を行うためのアプリケーションを実行し、このアプリケーションの中でユーザ登録の処理を行う。例えば、ユーザは、スマートフォン200に対し、ユーザID、パスワード、メールアドレス、クレジットカード番号を入力して登録の処理を依頼する。スマートフォン200は、ユーザの入力操作に応じて、入力された各種の情報を監視センタサーバ50Xに送信する。監視センタサーバ50Xは、スマートフォン200から送信された各種の情報をメモリ502に登録する。この登録された各種の情報は、ユーザの照会に利用される。
図21において、ユーザは、スマートフォン200を操作し、先ず駐車場PRK4の駐車の事前予約を行うためのアプリケーションを起動して実行する。スマートフォン200は、このアプリケーションの中で事前予約に関するポータルサイトにアクセスし、ユーザの入力操作により入力された駐車場PRK4の駐車スペース(例えば駐車スペースSP2)、駐車開始時刻等の各種情報を取得し、これらの各種情報を含む事前予約のリクエストを監視センタサーバ50Xに送信する(T1)。なお駐車場監視システム100Xの運用上、ユーザの事前予約の時点で、基本料金(例えば100円)の徴収(例えばユーザIDに対応するクレジットカード番号に対する課金)が行われても良い。
ステップT1の後、ユーザは、自身の車両で駐車場PRK4に向かい、駐車場PRK4に到着すると、事前予約の際に入力された駐車開始時刻になったら、自身が予約していた駐車スペース(例えば駐車スペースSP2)に駐車する(T2)。
全方位カメラ10Zは、駐車場PRK4の全方位画像を監視状況判別サーバ30Aに常時又は定期的に送信する。監視状況判別サーバ30Aは、全方位カメラ10Zから送信された全方位画像を用いて、ユーザの車両CR2が事前予約していた駐車スペースSP2(駐車枠)に駐車したことを検知すると、その駐車スペースSP2への駐車開始時刻における事前予約を監視センタサーバ50Xに照会する。
監視センタサーバ50Xは、駐車スペースSP2と駐車開始時刻とに対応する事前予約のユーザID並びにメールアドレスを用いて、事前予約したユーザのスマートフォン200に対し、全方位カメラ10Zにより撮像された全方位画像又はその全方位画像に基づく車両CR2の切り出し画像を含むメールを送信する(T3)。このメールでは、車両CR2の上面視に相当する全方位画像が添付され、かつ駐車の確認文章(例えば、「XXパーキングに10:00に入庫を検知しました。これはあなたの車ですか?」というテキストが記載される。
ステップT3の後、ユーザがスマートフォン200に対し、ステップT3において送信されたメールの確認文章に対し、了解した旨の返信の入力操作を行った場合、スマートフォン200は、ユーザの確認文章の承認の旨のメッセージを監視センタサーバ50Xに送信する。監視センタサーバ50Xは、スマートフォン200からのメッセージを受信すると、事前予約において入力されていた駐車開始時刻に遡って駐車料金の課金を開始する(T4)。
ステップT4の後、しばらくの間、ユーザの車両CR2の駐車が継続される(T5)。
ステップT5の後、ユーザは、自身の車両CR2に乗車して駐車場PRK4の駐車スペースSP2から出庫(退場)したとする。全方位カメラ10Zは、駐車場PRK4の全方位画像を監視状況判別サーバ30Aに常時又は定期的に送信する。監視状況判別サーバ30Aは、全方位カメラ10Zから送信された全方位画像を用いて、ユーザの車両CR2が事前予約していた駐車スペースSP2(駐車枠)から出庫(退場)したことを検知したことを監視センタサーバ50Xに通知する。
監視センタサーバ50Xは、駐車スペースSP2と駐車開始時刻とに対応する事前予約のユーザID並びにメールアドレスを用いて、事前予約したユーザのスマートフォン200に対し、駐車スペースSP2の予約の利用完了の旨のメッセージのメールを送信する(T6)。このメールでは、駐車スペースSP2の予約の利用完了の旨の文章(例えば、「XXパーキングで10:00に出庫を検知しました。料金は300円です。ご利用ありがとうございました」というテキストが記載される。
次に、本実施の形態の駐車場監視システム100Xの車両の入場時及び退場時における動作手順について、図22及び図23を参照して説明する。
図22は、実施の形態4の駐車場監視システム100Xの車両の入場時における動作手順の一例を詳細に示すシーケンス図である。図23は、実施の形態4の駐車場監視システム100Xの車両の退場時における動作手順の一例を詳細に示すシーケンス図である。
なお、図23に示す各処理の説明において、図22に示す各処理と同一の内容については同一のステップ番号を付与して説明を簡略化又は省略する。
図22において、ユーザは、自身が所持するスマートフォン200を操作し、駐車場PRK4の駐車の事前予約を行うためのアプリケーションを起動して実行する。スマートフォン200は、このアプリケーションの中で事前予約に関するポータルサイトにアクセスし、ユーザの入力操作により入力された駐車場PRK4の駐車スペース(例えば駐車スペースSP2)、駐車開始時刻やユーザID等の各種の情報を取得し、これらの各種の情報を含む事前予約のリクエストを監視センタサーバ50Xに送信する(S101)。
監視センタサーバ50Xは、ステップS101において送信された各種の情報(例えば、駐車場PRK4の駐車スペースSP2、駐車開始時刻、ユーザID)を、駐車場PRK4の事前予約情報として対応付けてメモリ502に登録して保存する(S102)。
全方位カメラ10Zは、被写体としての駐車場PRK4を撮像し(S103)、撮像により得られた全方位画像(撮像画像)を監視状況判別サーバ30Aに送信する(S104)。
監視状況判別サーバ30Aは、ステップS104において送信された全方位画像を用いて、解析を行う(S105)。例えば、監視状況判別サーバ30Aは、ステップS102において登録された事前予約情報に含まれる予約専用の駐車スペース(駐車枠)への車両の入場が検知されたかどうかを解析する。
ステップS102において登録された事前予約情報に含まれる予約専用の駐車スペース(駐車枠)への車両の入場が検知されたと監視状況判別サーバ30Aにより判断された場合に、ステップS106の処理が実行される。
具体的には、監視状況判別サーバ30Aは、ステップS102において登録された事前予約情報に含まれる予約専用の駐車スペース(駐車枠)への車両の入場を検知した旨のメッセージと、駐車を検知した時刻、駐車スペース(駐車枠)及びその車両の撮像画像を対応付けて監視センタサーバ50Xに通知(送信)する(S106−1)。
監視センタサーバ50Xは、メモリ502を参照し、ステップS106−1の監視状況判別サーバ30Aからの通知に応じて、その通知に含まれる駐車スペース(駐車枠)、駐車を検知した時刻の情報から事前予約が登録されたユーザIDを検索する(S106−2)。
監視センタサーバ50Xは、ステップS106−2の検索により得られたユーザIDとそのユーザIDに対応するユーザのメールアドレスとを用いて、事前予約したユーザのスマートフォン200に対し、全方位カメラ10Zにより撮像された全方位画像又はその全方位画像に基づく車両の切り出し画像を含むメールを生成して送信する(S106−3)。このメールは、図21のステップT3を参照して説明したように、駐車(入場)が検知されたこと並びにその撮像画像を通知するとともに、ユーザ自身の車両で問題ないか(言い換えると、違法駐車でないか)をユーザに確認させるためのものである。
ユーザがスマートフォン200に対し、ステップS106−3において送信されたメールに対し、ユーザ自身の車両の駐車(入場)で問題ないことを了解した旨の返信の入力操作を行った場合、スマートフォン200は、ユーザの確認の承認の旨のメッセージを監視センタサーバ50Xに送信する(S106−4)。監視センタサーバ50Xは、スマートフォン200からのメッセージを受信すると、事前予約において入力されていた駐車開始時刻に遡って駐車料金の課金を開始する(S106−5)。
図23において、監視状況判別サーバ30Aは、ステップS104において送信された全方位画像を用いて、解析を行う(S105A)。例えば、監視状況判別サーバ30Aは、ステップS102において登録された事前予約情報に含まれる予約専用の駐車スペース(駐車枠)への車両からの退場が検知されたかどうかを解析する。
図22に示すステップS102において登録された事前予約情報に含まれる予約専用の駐車スペース(駐車枠)への車両からの退場が検知されたと監視状況判別サーバ30Aにより判断された場合に、ステップS107の処理が実行される。
具体的には、監視状況判別サーバ30Aは、ステップS102において登録された事前予約情報に含まれる予約専用の駐車スペース(駐車枠)への車両からの退場を検知した旨のメッセージと、退場を検知した時刻、駐車スペース(駐車枠)及びその車両の撮像画像を対応付けて監視センタサーバ50Xに通知(送信)する(S107−1)。
監視センタサーバ50Xは、メモリ502を参照し、ステップS107−1の監視状況判別サーバ30Aからの通知に応じて、その通知に含まれる駐車スペース(駐車枠)、駐車を検知した時刻の情報から事前予約が登録されたユーザIDを検索する(S107−2)。
監視センタサーバ50Xは、ステップS107−2の検索により得られたユーザIDとそのユーザIDに対応するユーザのメールアドレスとを用いて、事前予約したユーザのスマートフォン200に対し、駐車スペース(駐車枠)に関する情報と駐車スペース(駐車枠)の利用完了の旨のメッセージと全方位カメラ10Zにより撮像された全方位画像又はその全方位画像に基づく車両の切り出し画像とを含むメールを生成して送信する(S107−3)。このメールは、図21のステップT6を参照して説明したように、駐車スペース(駐車枠)からの退場が検知されたこと並びにその撮像画像を通知するとともに、ユーザ自身の車両の駐車スペース(駐車枠)の利用完了の旨をユーザに通知させるためのものである。
また、監視センタサーバ50Xは、ステップS107−3の後、駐車料金の課金を終了する(S107−4)。
このように、本実施の形態の駐車場監視システム100Xには、監視センタサーバ50Xは、スマートフォン200(ユーザ端末の一例)から入力された駐車場PRK4内の駐車スペース(駐車領域の一例)の事前予約情報(予約情報の一例)を、スマートフォン200の識別情報と対応付けてメモリ502に登録して保存する。監視センタサーバ50Xは、全方位カメラ10Zの撮像画像に基づいて駐車スペースへの車両の入場が検知されると、その車両の入場が検知された駐車スペースに関する情報とメモリ502に登録された駐車スペースの事前予約情報とを用いて、車両の入場が検知された駐車スペースの予約情報を入力したスマートフォン200に、駐車の確認通知を送信する。監視センタサーバ50Xは、スマートフォン200により入力された駐車の承認通知を受信すると、駐車スペースへの車両の入場時刻からの駐車に関する課金処理を行う。これにより、駐車場監視システム100Xは、駐車場PRK4の予約専用の駐車スペースについての事前予約情報を管理し、ユーザが車両を駐車したときの画像と駐車確認のメールをスマートフォン200において確認できるので、従来技術のようなセンサを用いることなく、適正なかつ正確な駐車(つまり、違法駐車でない駐車)の実行を効率的に把握できる。
また、ユーザは、コインパーキング等の駐車場PRK4において、お金を精算機の前に行って現金等の支払を行う必要がなく、簡易に駐車場からの車両の退場(出庫)を行える。駐車場監視システム100Xは、例えば分単位の課金を行えて、ユーザにとって無駄な出費を抑えさせることができる。
また、監視センタサーバ50Xは、全方位カメラ10Zの撮像画像に基づいて駐車スペースからの車両の退場が検知されると、その車両の退場が検知された駐車スペースに関する情報とメモリ502に登録された駐車スペースの事前予約情報とを用いて、車両の退場が検知された駐車スペースの予約情報を入力したスマートフォン200に、駐車の利用完了通知を送信する。これにより、駐車場監視システム100Xは、駐車場PRK4からのユーザの車両の退場(出庫)を適切に管理できるので、必要以上な課金を行うことがなく、ユーザに安心して駐車場の利用予約を行わせることができる。
また、本実施の形態の駐車場監視システム100Xによれば、駐車場PRK4の開設時において、フラップ板やゲート、駐車料金の精算機の設置が不要となる。また、駐車場PRK4からの車両の退場(出庫)が監視センタサーバ50Xにおいて適切に確認されると、監視センタサーバ50Xは、その駐車スペースに関する新たな事前予約を受け付けることができ、別のユーザ利用に供することができる。
また、本実施の形態の駐車場監視システム100Xによれば、監視センタサーバ50Xは、事前予約してきたユーザに駐車(入庫)時の画像をメールに添付してユーザの確認を促すので、違法駐車を迅速に確認でき、監視員にその旨を通知することも可能である。また、駐車場PRK4の全範囲を見渡せる全方位カメラ10Xが設置されるので、日常的に駐車場PRK4の監視が可能となる。
また、本実施の形態の駐車場監視システム100Xによれば、駐車場PRK4の予約専用の駐車スペースについては事前予約を受け付けるので、混雑する時間帯やそうでない時間帯に応じて、駐車料金の価格を柔軟に設定可能となる。例えば混雑する時間帯の駐車料金を少し高く設定し、混雑していない時間帯の駐車料金は少し低めに設定する等の運用が可能となり、適切な駐車場運営の利用に資することも可能となる。
以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述実施の形態における各構成要素を任意に組み合わせてもよい。
また、上述した各実施の形態において、監視状況判別サーバ30,30A,30Zの構成は、いずれかのカメラ(つまり、カメラ10,全方位カメラ10Z,PTZカメラ10Y)、又はいずれかのマイク(つまり、マイク20)の内部に設けられてもよい。これにより、高性能なカメラ又はマイクにおいて監視状況判別サーバ30,30A,30Zの構成を実装できるので、監視状況判別サーバ30,30A,30Zを別途、各実施の形態の駐車場監視システムの運営業者自身が導入及び設置する手間を省くことができ、システム構築の工数削減が期待可能となる。また、監視状況判別サーバ30,30A,30Zの構成を有するカメラ又はマイクから直接に監視センタサーバに、情報又はデータの送受信や通知等がなされるので、監視員は、例えばアラームの旨の通知を迅速に確認できる。
また、特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。