(本開示に至る経緯)
特許文献1では、複数のカメラのそれぞれにより撮像されたカメラ画像情報を車両に搭載された端末装置内の表示装置に表示できるので、ユーザ(例えば運転者)は、それぞれのカメラの配置箇所におけるリアルタイムのカメラ画像情報を確認できる。しかしながら、特許文献1では被写体としての車両を監視用途に撮像する際、走行中の車両の固有的特徴(例えば、車両を運転している運転者等の車内乗員の顔と、車両のナンバープレート)を具体的に特定可能に、カメラの撮像画像を画像処理することは考慮されていない。例えば事件等が発生した場合、その事件等を起こした容疑者が車両に乗車して逃走することがあり、警察の捜査においては逃走車両を効率的に絞り込むことが求められる。しかし、特許文献1の技術を用いても、捜査員(例えば警官)が個々のカメラの撮像映像を逐一確認すると捜査に時間がかかってしまい効率的ではなく、容疑者の早期発見が困難となるという課題があった。
そこで、以下の実施の形態では、事件等を起こした容疑者が乗車している逃走車両の固有的特徴を効率良く特定し、警察の捜査の利便性を向上する車両監視システムおよび車両監視方法を説明する。
ところで、特許文献1では被写体としての車両を監視用途に撮像する際、走行中の車両の固有的特徴(例えば、車両を運転している運転者等の車内乗員の顔と、車両のナンバープレート)を監視者(例えば警官)が把握可能となるように、撮像条件を異なるように切り替えながら撮像し、それぞれ撮像された動画を対比的に示すことは考慮されていない。例えば事件等が発生した場合、その事件等を起こした容疑者が車両に乗車して逃走することがあり、警察の捜査においては逃走車両の乗員の顔とナンバープレートとを早期に特定することが求められる。しかし、特許文献1の技術を用いても、捜査員(例えば警官)が個々のカメラの撮像映像を逐一確認すると捜査に時間がかかってしまい効率的ではなく、容疑者の早期発見が困難となるという課題があった。
そこで、以下の実施の形態では、事件等を起こした容疑者が乗車している逃走車両の固有的特徴の警官による早期かつ視覚的な特定を支援し、警察の捜査の利便性を向上する車両監視システムおよび車両監視方法を説明する。
(本開示に係る車両監視システム)
以下、添付図面を適宜参照しながら、本開示に係る車両監視システムおよび車両監視方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
(実施の形態1)
図1Aは、実施の形態1に係る車両監視システム1のシステム構成の第1例を示す図である。図1Bは、実施の形態1に係る車両監視システム1Aのシステム構成の第2例を示す図である。図1Bの車両監視システム1Aの説明において、図1Aの車両監視システム1の構成と同一のものには同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
車両監視システム1は、複数台の車両撮影カメラ10,10A,10B…と、映像蓄積解析サーバ50とを含む構成である。また、車両監視システム1は、クライアント端末90を更に含む構成としてもよい。車両撮影カメラ10,10A,10B…と、映像蓄積解析サーバ50とは、イントラネットの通信回線等のネットワークNW1を介して互いに通信可能に接続される。ネットワークNW1は、有線通信回線(例えば、光ファイバを用いた光通信網)により構成されるが、無線通信網により構成されてもよい。映像蓄積解析サーバ50は、警察署内でのオンプレミスサーバとして構築されてもよいし、インターネット等のネットワーク網に接続されるクラウドサーバとして設けられてもよい。
映像蓄積解析サーバ50とクライアント端末90とはそれぞれ1台だけ示されているが、それぞれ複数台が設けられてよい。また、車両監視システム1において、1つの警察署に限って使用されなくてもよく、例えば複数の警察署が跨って合同捜査する例に適用されてもよい。
カメラの一例としての車両撮影カメラ10,10A,10B…のそれぞれは、例えば交差点ごとに交差点の角部分から立設されたポール(図示略)の上方に固定的に設置され、所定角度の画角を有して交差点に進入する車両VCL1(被写体の一例)を撮像する。従って、車両撮影カメラ10,10A,10Bのそれぞれが設置される交差点は異なる。なお、それぞれの車両撮影カメラは、全ての交差点でなく一部の交差点にのみ設置されてもよいし、あるいは交差点以外の場所(例えば国道あるいは県道等の主要幹線道路)に設置されてもよい。車両撮影カメラ10,10A,10B…のそれぞれは、ネットワークNW1を介して、撮像映像を映像蓄積解析サーバ50に送る。以下の説明において、撮像映像には、撮像映像データだけでなく、その撮像映像を撮像したカメラのカメラID(Identification)(言い換えると、カメラが設置された交差点の位置情報)と撮像日時の情報とが含まれる。車両撮影カメラ10,10A,10B…のそれぞれは、車両VCL1のナンバープレートNPL1の撮像に適する画像パラメータ(後述参照)を有する第1撮像条件と、車両VCL1の乗員の顔FCE1の撮像に適する画像パラメータ(後述参照)を有する第2撮像条件とを切り替えながら撮像する。
車両撮影カメラ10,10A,10B…のそれぞれの内部構成は、レンズブロック17(図2参照)の構成あるいはカメラ筐体の構成が異なる点を除けば同一とみなしてよい。例えば車両撮影カメラ10は、単眼のレンズ構成を有し、ナンバープレートの撮像に適した撮像映像(第1撮像映像の一例)と乗員の顔の撮像に適した撮像映像(第2撮像映像の一例)との2つの映像ストリームを生成する。車両撮影カメラ10Aは、単眼カメラをそれぞれ有する2台のカメラの構成を有し、それぞれのカメラにおいて、ナンバープレートの撮像に適した撮像映像(第1撮像映像の一例)、乗員の顔の撮像に適した撮像映像(第2撮像映像の一例)をそれぞれ生成する。車両撮影カメラ10Bは、複眼のレンズ構成を有し、ナンバープレートの撮像に適した撮像映像(第1撮像映像の一例)、乗員の顔の撮像に適した撮像映像(第2撮像映像の一例)をそれぞれ生成する。このため、以下の説明では、車両撮影カメラ10の構成を例示して説明する。
サーバの一例としての映像蓄積解析サーバ50は、警察署内に設置され、例えばナンバー検出照合コア51と、車種車色検出コア52と、顔検出照合コア53と、乗員人数計測コア54とを少なくとも含む構成である(図4参照)。映像蓄積解析サーバ50は、警察署の管轄地域内の設置場所(例えば交差点)に設置された車両撮影カメラ10,10A,10B…のそれぞれから送られた撮像映像を受信して蓄積するとともに、後述する解析処理(例えば図5A,図5B,図5C,図5D参照)を実行する。警察署内に設置される映像蓄積解析サーバ50とクライアント端末90とは、警察署内のイントラネット等のネットワーク(図示略)を介して相互に通信可能に接続される。
ナンバー検出照合コア51は、例えば映像蓄積解析サーバ50を構成するプロセッサ(後述参照)により構成される処理部である。ナンバー検出照合コア51は、所定のタイミング(例えば図5A~図5D参照)に、車両撮影カメラ10,10A,10B…のそれぞれから送られた撮像映像に映る車両のナンバープレートの検出処理を行ったり、映像蓄積解析サーバ50に保持されているナンバー照合用リスト(図示略)を用いたナンバーの照合処理を行ったりする。ナンバー検出照合コア51は、検出処理あるいは照合処理の処理結果をデータベース57(図4参照)に保存する。この処理結果は、例えばナンバーの検出結果あるいはナンバーの照合結果だけでなく、その検出処理あるいは照合処理の対象となった撮像映像の撮像日時およびカメラIDが得られる。
車種車色検出コア52は、例えば映像蓄積解析サーバ50を構成するプロセッサ(後述参照)により構成される処理部である。車種車色検出コア52は、所定のタイミング(例えば図5A~図5D参照)に、車両撮影カメラ10,10A,10B…のそれぞれから送られた撮像映像に映る車両の車種(例えばセダン、ワゴン、バス、トラック)および車色(例えばレッド、ブルー、ホワイト、ブラック)の検出処理(解析処理)を行う。車種車色検出コア52は、検出処理の処理結果(解析結果)をデータベース57(図4参照)に保存する。この処理結果は、例えば車種および車色の解析結果だけでなく、その検出処理の対象となった撮像映像の撮像日時およびカメラIDが得られる。
顔検出照合コア53は、例えば映像蓄積解析サーバ50を構成するプロセッサ(後述参照)により構成される処理部である。顔検出照合コア53は、所定のタイミング(例えば図5A~図5D参照)に、車両撮影カメラ10,10A,10B…のそれぞれから送られた撮像映像に映る車両の車内の乗員の顔(例えば運転席の運転者、助手席の同乗者)の検出処理を行ったり、映像蓄積解析サーバ50に保持されている顔照合用リスト(例えば前科者等の顔画像が登録されたブラックリスト、図示略)を用いた顔の照合処理を行ったりする。顔検出照合コア53は、検出処理あるいは照合処理の処理結果をデータベース57(図4参照)に保存する。この処理結果は、例えば顔の検出結果あるいは顔の照合結果だけでなく、その検出処理あるいは照合処理の対象となった撮像映像の撮像日時およびカメラIDが得られる。
乗員人数計測コア54は、例えば映像蓄積解析サーバ50を構成するプロセッサ(後述参照)により構成される処理部である。乗員人数計測コア54は、所定のタイミング(例えば図5A~図5D参照)に、車両撮影カメラ10,10A,10B…のそれぞれから送られた撮像映像に映る車両の車内の乗員の人数の計測処理(解析処理)を行う。乗員人数計測コア54は、計測処理の処理結果(解析結果)をデータベース57(図4参照)に保存する。この処理結果は、例えば乗員の人数の解析結果だけでなく、その検出処理の対象となった撮像映像の撮像日時およびカメラIDが得られる。
クライアント端末90は、警察署内に設置され、例えば警察署内のオペレータOP1(署内警官)により使用され、ラップトップ型またはデスクトップ型のPC(Personal Computer)を用いて構成される。オペレータOP1は、例えば事件等が発生した場合にその事件等の発生を警察署に通報した通報者(例えば目撃者)からの入電を介して、その事件等に関する様々な目撃情報を聞き取り、クライアント端末90を操作することでデータ入力して記録する。クライアント端末90は、上述したPCに限定されず、例えばスマートフォンあるいはタブレット端末等の通信機能を有するコンピュータであってよい。クライアント端末90は、例えば目撃情報に合致する車両(つまり、事件等の容疑者が乗車した逃走車両)の検索(例えば図13あるいは図17参照)を映像蓄積解析サーバ50に実行させるための検索要求を映像蓄積解析サーバ50に送り、その検索結果を受信して表示部93に表示する。
クライアント端末90は、通信部91と、メモリ92と、表示部93と、プロセッサPRC2とを含む構成である。なお、図1Aおよび図1Bでは図示が省略されているが、クライアント端末90には、オペレータOP1の操作を受け付けるための操作部(例えばマウス、キーボード)が接続されてもよい。オペレータOP1の操作により、操作部からのUI(User Interface)操作信号がクライアント端末90のプロセッサPRC2に入力される。例えばオペレータOP1が事件等の発生した日時、地点およびナンバーを目撃者からの入電により聞き出せた場合、オペレータOP1の操作に基づき、日時、地点およびナンバーを検索条件として指定する旨のUI操作信号がクライアント端末90に入力される。
通信部91は、イントラネット等のネットワークを介して接続された映像蓄積解析サーバ50との間で有線あるいは無線の通信を行う。
メモリ92は、例えばRAM(Random Access Memory)とROM(Read Only Memory)とを用いて構成され、クライアント端末90の動作の実行に必要なプログラム、さらには、動作中に生成されたデータあるいは情報を一時的に保存する。RAMは、例えばプロセッサPRC2の動作時に使用されるワークメモリである。ROMは、例えばプロセッサPRC2を制御するためのプログラムを予め記憶する。また、メモリ92は、例えばハードディスクドライブまたはソリッドステートドライブを含んでもよい。メモリ92は、車両撮影カメラ10,10A,10B…のそれぞれが設置された位置を示す道路地図データを記録しており、例えば道路の新規建設もしくはメンテナンス工事等によって道路地図データの更新が行われる度に、更新後の道路地図データを記録する。
表示部93は、例えばLCD(Liquid Crystal Display)または有機EL(Electroluminescence)等の表示デバイスを用いて構成され、プロセッサPRC2から送られた各種のデータを表示する。
プロセッサPRC2は、例えばCPU(Central Processing Unit)、DSP(Digital Signal Processor)またはFPGA(Field Programmable Gate Array)を用いて構成され、クライアント端末90の制御部として機能し、クライアント端末90の各部の動作を全体的に統括するための制御処理、クライアント端末90の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサPRC2は、メモリ92に記憶されたプログラムに従って動作する。プロセッサPRC2は、動作時にメモリ92を使用し、映像蓄積解析サーバ50から送られた検索結果(例えば図7、図8、図9、図10、図11、図12、図14、図15、図16A、図16B参照)あるいは撮像映像のデータを表示部93に表示する。また、プロセッサPRC2は、UI操作信号に対応する検索条件を含む検索要求を生成し、その検索要求を、通信部91を介して映像蓄積解析サーバ50に送る。
プロセッサPRC2は、メモリ92に記憶されたプログラムを読み込んで実行することで、再生部(図示略)と検索部(図示略)とを機能的に実現する。再生部(図示略)は、オペレータOP1の操作に応じて、映像蓄積解析サーバ50から送られた撮像映像のデータを表示部93に出力して再生する。検索部(図示略)は、オペレータOP1の操作により入力された検索条件を含む検索要求を生成する。
図1Bに示す車両監視システム1Aにおいて、図1Aに示す車両監視システム1との構成上の相違は、映像蓄積解析サーバ50Aの構成である。図1Bにおいて、映像蓄積解析サーバ50Bは、図1Aに示す映像蓄積解析サーバ50のように単一のサーバにより構成されておらず、例えば4台のサーバにより構成されている。つまり、図1Bでは、図1Aに示すナンバー検出照合コア51を有する単一のナンバー検出照合サーバ51Aと、図1Aに示す車種車色検出コア52を有する単一の車種車色検出サーバ52Aと、図1Aに示す顔検出照合コア53を有する単一の顔検出照合サーバ53Aと、図1Aに示す乗員人数計測コア54を有する単一の乗員人数計測サーバ54Aとにより、映像蓄積解析サーバ50Bが構成される。
ナンバー検出照合サーバ51A、車種車色検出サーバ52A、顔検出照合サーバ53A、乗員人数計測サーバ54Aのそれぞれの処理は、対応するナンバー検出照合コア51、車種車色検出コア52、顔検出照合コア53、乗員人数計測コア54の処理と同一であるので、詳細な説明は省略する。言い換えると、図1Aに示す映像蓄積解析サーバ50は、単一のサーバではなく、図1Bに示す映像蓄積解析サーバ50Aのように複数台のサーバにより構成されてもよい。また、映像蓄積解析サーバ50のデータベース57と同一のデータベースが、ナンバー検出照合サーバ51A、車種車色検出サーバ52A、顔検出照合サーバ53A、乗員人数計測サーバ54Aのそれぞれに備えられてよい。
図2は、車両撮影カメラ10,10A,10B…のハードウェア構成の一例を示すブロック図である。上述したように、車両撮影カメラ10,10A,10B…のそれぞれの内部構成は、レンズブロック17(図2参照)の構成あるいはカメラ筐体の構成が異なる点を除けば同一とみなしてよいので、図2では車両撮影カメラ10を例示して説明する。車両撮影カメラ10は、プロセッサ11と、メモリ12と、通信部13と、撮像素子14と、照明ドライバ15と、夜間用短波長照明16と、レンズブロック17と、レンズドライバ18と、レンズ内フィルタ切替モジュール19と、レンズ内フィルタ切替ドライバ20と、前面フィルタ切替モジュール21と、前面フィルタ切替ドライバ22と、照度センサS1とを含む構成である。
プロセッサ11は、例えばCPU、DSPもしくはFPGAを用いて構成される。プロセッサ11は、車両撮影カメラ10の全体的な動作を司るコントローラとして機能し、車両撮影カメラ10の各部の動作を統括するための制御処理、車両撮影カメラ10の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ11は、メモリ12に記憶されたプログラムに従って動作する。プロセッサ11は、動作時にメモリ12を使用し、プロセッサ11が生成または取得したデータもしくは情報をメモリ12に一時的に保存する。
メモリ12は、例えばRAMとROMとを用いて構成され、車両撮影カメラ10の動作の実行に必要なプログラム、更には、動作中に生成されたデータもしくは情報を一時的に保持する。RAMは、例えば、車両撮影カメラ10の動作時に使用されるワークメモリである。ROMは、例えば、車両撮影カメラ10を制御するためのプログラムを予め記憶して保持する。
通信部13は、有線通信回線あるいは無線通信網(例えば無線LAN(Local Area Network))のネットワークNW1を介して、映像蓄積解析サーバ50との間で通信可能である。通信部13は、例えば車両のナンバープレートの撮像に適した第1撮像条件下での撮像映像(「ナンバープレート映像」とも称する場合がある)をチャネル1として映像蓄積解析サーバ50に配信(送信)する。通信部13は、車両の車内の乗員の顔の撮像に適した第2撮像条件下での撮像映像(「車内顔映像」とも称する場合がある)をチャネル2として映像蓄積解析サーバ50に配信(送信)する。
また、通信部13は、クライアント端末90から送信された外部入力信号を、映像蓄積解析サーバ50を介して受信してプロセッサ11に出力する。この外部入力信号は、例えばクライアント端末90に表示された撮像映像を閲覧したオペレータOP1の操作により、撮像映像の明度をより明るくするあるいはより暗くするための画像パラメータの変更指令である。ここで、画像パラメータは、例えば、電子シャッタによる露光時間、撮像素子14での撮像画像の電気信号の増幅用のゲイン、夜間用短波長照明16からの照明の強度であり、これらに限定されなくてもよい。プロセッサ11は、この外部入力信号に応じて、対応する画像パラメータの値を変更して設定する。この設定された画像パラメータは、その内容に応じて、撮像素子14あるいは夜間用短波長照明16に設定される。
撮像素子14は、例えば2K、4K、8K等の高精細な映像を撮像可能なイメージセンサであり、例えばCCD(Charged Coupled Device)あるいはCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子で構成される。この固体撮像素子は、撮像面に結像した光学像の光電変換に基づいて、光学像に対応する撮像画像の電気信号を生成する。また、撮像素子14は、上述した固体撮像素子と、固体撮像素子から出力される電気信号を増幅するためのアンプと、このアンプのゲイン(感度)を調整可能なゲイン調整部と、撮像時間(いわゆる露光時間)を制御可能な電子シャッタ(単に「シャッタ」とも称する場合がある)と、電子シャッタの露光時間を制御するための露光制御回路とが実装された集積回路基板により構成されてよい。なお、撮像素子14の出力は、プロセッサ11に入力されて所定の信号処理が実行された上で撮像映像のデータが生成されてもよいし、撮像素子14において上述した所定の信号処理を実行して撮像映像のデータを生成するための制御回路が備えられてもよい。
照明ドライバ15は、複数の夜間用短波長照明16のそれぞれの点灯あるいは消灯を切り替えるためのスイッチング回路等を用いて構成される。照明ドライバ15は、プロセッサ11からの制御指示に従い、複数の夜間用短波長照明16のそれぞれを点灯または消灯に切り替える。また、照明ドライバ15は、夜間用短波長照明16の発光量(強度)を調節可能な可変増幅回路等を更に有してよい。この場合、照明ドライバ15は、プロセッサ11からの制御指示に従い、夜間用短波長照明16の発光量(強度)を調節することで調光できる。
IR照明部の一例としての夜間用短波長照明16は、例えばLED(Light Emission Diode)を用いて構成され、複数個(例えば10~20個程度)が配置される。夜間用短波長照明16は、車両撮影カメラ10の動作モードが夜モード中に画角内の被写体(例えば車両)を撮像可能とするために、照明ドライバ15の制御に従った強度の照明光であるIR光(近赤外光)を照射する。
レンズブロック17は、撮像素子14の撮像面に被写体の光学像を結像させるフォーカスレンズを含む。なお、レンズブロック17は、フォーカスレンズの他、望遠から広角まで変倍可能なズームレンズ等を含んでもよい。
レンズドライバ18は、レンズブロック17を構成する少なくとも1つのレンズの位置を調整するための電気回路を用いて構成される。レンズドライバ18は、プロセッサ11からの制御指示に従い、レンズブロック17内のフォーカスレンズの位置を調節する。なお、レンズブロック17がズームレンズを有する場合、レンズドライバ18は、プロセッサ11からの制御指示に従い、ズームレンズの倍率を調節してもよい。
レンズ内フィルタ切替モジュール19は、レンズブロック17より後方(つまり反対物側)かつ撮像素子14の前方(つまり対物側)に配置される。レンズ内フィルタ切替モジュール19は、IRカットフィルタ(図示略)と素ガラス(図示略)とを切り替え可能に配置し、IRカットフィルタと素ガラスとを交互に切り替えて光学系の光軸上に配置する。レンズ内フィルタ切替モジュール19は、例えば昼モード中には光軸上にIRカットフィルタを配置する。これにより、昼モード中には、撮像素子14には、IR帯域の成分が遮断されたRGB(Red Green Blue)光が受光され、画質の良好な可視光画像が得られる。一方、レンズ内フィルタ切替モジュール19は、例えば夜モード中には光軸上に素ガラスを配置する。これにより、夜モード中には、撮像素子14には、IRカットフィルタによってIR帯域の成分が遮断されないで素ガラスを通過した入射光が受光され、その受光された入射光に基づいて一定の明るさを有する(言い換えると、暗くなり過ぎない)IR画像が得られる。
レンズ内フィルタ切替ドライバ20は、レンズ内フィルタ切替モジュール19を駆動するための電気回路を用いて構成される。レンズ内フィルタ切替ドライバ20は、プロセッサ11からの制御指示に従い、レンズ内フィルタ切替モジュール19を駆動し、光軸上にIRカットフィルタあるいは素ガラスのいずれかを配置する。
前面フィルタ切替モジュール21は、バンドパスフィルタと偏光フィルタとを交互に切り替えて(例えば、左右方向にスライド移動させて)、バンドパスフィルタあるいは偏光フィルタを光軸上に配置する。前面フィルタ切替モジュール21がレンズブロック17より光軸上の被写体側(つまり対物側)に配置されることで、前面フィルタ切替モジュール21の機械的調整(例えばメンテナンス)が容易となる。
前面フィルタ切替ドライバ22は、前面フィルタ切替モジュール用モータ(図示略)を駆動させるための電気回路を用いて構成される。前面フィルタ切替ドライバ22は、プロセッサ11からの制御指示に従い、前面フィルタ切替モジュール用モータ(図示略)を駆動させることで前面フィルタ切替モジュール21を移動させ、光軸上にバンドパスフィルタまたは偏光フィルタを配置する。
センサの一例としての照度センサS1は、車両撮影カメラ10の周囲からの光の照度を検出する。照度センサS1には、例えばフォトダイオードあるいはフォトトランジスタが用いられる。照度センサS1は、車両撮影カメラ10の被写体としての車両が存在する方向の光の照度を検出可能となるように、車両撮影カメラ10の筐体の前面に取り付けられる。照度センサS1で検出される照度情報(具体的には、照度値のデータ)はプロセッサ11に入力される。プロセッサ11は、照度情報に基づいて、現時点の車両撮影カメラ10の動作モードが昼モードあるいは夜モードのいずれであるかを判定する。
例えば、プロセッサ11は、照度情報が既定の閾値より高い(言い換えると、周囲が明るい)と判定すると、車両撮影カメラ10の動作モードを昼モードに移行するようにセットする。また、プロセッサ11は、照度情報が既定の閾値より低い(言い換えると、周囲が暗い)と判定すると、車両撮影カメラ10の動作モードを夜モードに移行するようにセットする。なお、現時点の照度情報が既定の閾値より高くならない場合あるいは低くならない場合には、現時点の動作モードが維持される。また、昼モードあるいは夜モードを示す情報(例えばフラグ)は、例えばメモリ12に一時的に保持される。
図3Aは、車両撮影カメラ10,10A,10B…の撮像に関する動作手順例を示すフローチャートである。図3Bは、車両撮影カメラ10,10A,10B…のデータ送信に関する動作手順例を示すフローチャートである。図3Cは、車両撮影カメラ10,10A,10B…の照明制御に関する動作手順例を示すフローチャートである。図3Dは、昼モードおよび夜モードのそれぞれにおける各種の動作制御例を示すテーブルである。図3A~図3Dのそれぞれの説明においても、同様に車両撮影カメラ10を例示する。
図3Aに示す処理は、例えば車両撮影カメラ10の電源がオンされて電源がオフになるまで繰り返して実行される。図3Aにおいて、プロセッサ11は、通信部13からの外部入力信号に基づいて、第1撮像条件の画像パラメータあるいは第2撮像条件の画像パラメータを演算し(St1)、その演算結果(画像パラメータ)をメモリ12に設定する。車両撮影カメラ10は、ナンバープレート映像と車内顔映像とを時分割に(例えばフレームごと)に切り替えながら撮像する。この時、プロセッサ11は、例えば奇数番目のフレーム(撮像画像)としてナンバープレート映像(ナンバープレート画像)を撮像し、偶数番目のフレーム(撮像画像)として車内顔映像(車内顔画像)を撮像する。
プロセッサ11は、ステップSt1の後、撮像素子14の電子シャッタの露光時間が「Long」あるいは「Short」のいずれであるかを判定する(St2)。
プロセッサ11は、偶数番目のフレームを撮像する時には、車内顔画像に対応する電子シャッタの露光時間を「Long」と判定し(St2、Long)、車内顔画像の撮像に適した画像パラメータ(例えば電子シャッタの露光時間、ゲイン)を撮像素子14に設定する(St3)。撮像素子14は、ステップSt3において設定された画像パラメータに基づいて、車内顔画像のデータをプロセッサ11に転送する(St4)。プロセッサ11は、撮像素子14からの車内顔画像のデータに対して所定の信号処理(例えばノイズ除去、ホワイトバランス、画像圧縮)を実行し(St5)、信号処理が施された車内顔画像のデータをメモリ12に一時的に蓄積する(St6)。ステップSt6の後、車両撮影カメラ10の処理はステップSt1に戻る。
一方、プロセッサ11は、奇数番目のフレームを撮像する時には、ナンバープレート画像に対応する電子シャッタの露光時間を「Short」と判定し(St2、Short)、ナンバープレート画像の撮像に適した画像パラメータ(例えば電子シャッタの露光時間、ゲイン)を撮像素子14に設定する(St7)。撮像素子14は、ステップSt7において設定された画像パラメータに基づいて、ナンバープレート画像のデータをプロセッサ11に転送する(St8)。プロセッサ11は、撮像素子14からのナンバープレート画像のデータに対して所定の信号処理(例えばノイズ除去、ホワイトバランス、画像圧縮)を実行し(St9)、信号処理が施されたナンバープレート画像のデータをメモリ12に一時的に蓄積する(St6)。これにより、車両撮影カメラ10は、フレームごとに車内顔画像用の画像パラメータとナンバープレート画像用の画像パラメータとを切り替えて、車内の乗員の顔の撮像に適した画像パラメータの下で撮像された車内顔画像を生成でき、ナンバープレートの撮像に適した画像パラメータの下で撮像されたナンバープレート画像を生成できる。
図3Bに示す処理は、例えば車両撮影カメラ10の電源がオンされて電源がオフになるまで繰り返して実行される。図3Bにおいて、プロセッサ11は、ステップSt6において一時的に蓄積された車内顔映像のデータあるいはナンバープレート映像のデータを読み出して取得する(St11)。
プロセッサ11は、ステップSt11において取得された映像のデータに対応する撮像素子14の電子シャッタの露光時間が「Long」あるいは「Short」のいずれであるかを判定する(St12)。
プロセッサ11は、露光時間が「Long」であると判定した場合には(St12、Long)、その露光時間に適したエンコード処理(つまり符号化処理)を行う(St13)。例えば、プロセッサ11は、車両のフロントガラス越しの乗員の顔を鮮明な顔画像として取得する場合、低圧縮率でエンコード処理を行う。プロセッサ11は、ステップSt13においてエンコード処理された車内顔映像のデータをストリーム1として、通信部13を介して映像蓄積解析サーバ50に配信する(St14)。ステップSt14の後、車両撮影カメラ10の処理はステップSt11に戻る。
一方、プロセッサ11は、露光時間が「Short」であると判定した場合には(St12、Short)、その露光時間に適したエンコード処理(つまり符号化処理)を行う(St15)。例えば、プロセッサ11は、ナンバープレートの画像を取得する場合、高圧縮率でエンコード処理を行ってよい。プロセッサ11は、ステップSt15においてエンコード処理されたナンバープレート映像のデータをストリーム2として、通信部13を介して映像蓄積解析サーバ50に配信する(St16)。ステップSt16の後、車両撮影カメラ10の処理はステップSt11に戻る。これにより、車両撮影カメラ10は、撮像素子14の電子シャッタの露光時間に応じて、車内顔映像のデータあるいはナンバープレート映像のデータに応じた圧縮率でエンコード処理を行えて映像蓄積解析サーバ50に配信できる。
図3Dに示すテーブルTBL1は、例えばメモリ12に予め登録されている。テーブルTBL1では、昼モードでは、前面フィルタ切替モジュール21は偏光フィルタ(図示略)を光軸上に配置し、レンズ内フィルタ切替モジュール19はIRカットフィルタを光軸上に配置し、夜間用短波長照明16は消灯することの指示情報が指令されている。一方、夜モードでは、前面フィルタ切替モジュール21はバンドパスフィルタ(図示略)を光軸上に配置し、レンズ内フィルタ切替モジュール19は素ガラスを光軸上に配置し、夜間用短波長照明16は点灯することの指示情報が指令されている。図3Cに示す昼モードあるいは夜モードへの切り替えは、プロセッサ11により、このテーブルTBL1の指令内容に基づいて行われる。
図3Cに示す処理は、例えば車両撮影カメラ10の電源がオンされて電源がオフになるまで繰り返して実行される。図3Cにおいて、プロセッサ11は、照度センサS1によって検出された周囲の照度情報を取得する(St21)。プロセッサ11は、ステップSt21において取得された照度情報に基づいて、現時点が日中(例えば朝方あるいは昼間)または夜間(例えば夕方あるいは夜中)であるかを判定する(St22)。
プロセッサ11は、ステップSt22の判定結果に基づいて、車両撮影カメラ10の動作モードを昼モードあるいは夜モードのいずれに設定するかを判定する(St23)。例えば、メモリ12は所定の照度に関する閾値を記憶して保持し、プロセッサ11により、この閾値より高ければ昼モードに設定され、この閾値より低ければ夜モードに設定される。
昼モードの場合(St23、昼モード)、プロセッサ11は、図3Dに示すテーブルTBL1に基づいて、昼モード中の処理を実行させるための制御指示を生成して前面フィルタ切替ドライバ22に送り、前面フィルタ切替ドライバ22を介して前面フィルタ切替モジュール21を駆動する(St24)。昼モードでは、前面フィルタ切替モジュール21は、偏光フィルタ(図示略)が光軸上に位置するように移動する。また、プロセッサ11は、上述した昼モード用の制御指示をレンズ内フィルタ切替ドライバ20に送り、レンズ内フィルタ切替ドライバ20を介して、レンズ内フィルタ切替モジュール19を駆動する(St25)。昼モードでは、レンズ内フィルタ切替モジュール19は、撮像素子14で撮像されるRGB画像を鮮明にするために、IRカットフィルタが光軸上に位置するように移動する。
また、プロセッサ11は、同様に上述した昼モード用の制御指示を照明ドライバ15に送り、照明ドライバ15を介して、複数の夜間用短波長照明16を消灯する(St26)。ステップSt26の後、車両撮影カメラ10の処理はステップS21に戻る。
一方、夜モードの場合(St23、夜モード)、プロセッサ11は、図3Dに示すテーブルTBL1に基づいて、夜モード中の処理を実行させるための制御指示を生成して前面フィルタ切替ドライバ22に送り、前面フィルタ切替ドライバ22を介して前面フィルタ切替モジュール21を駆動する(St27)。夜モードでは、前面フィルタ切替モジュール21は、バンドパスフィルタ(図示略)が光軸上に位置するように移動する。また、プロセッサ11は、上述した夜モード用の制御指示をレンズ内フィルタ切替ドライバ20に送り、レンズ内フィルタ切替ドライバ20を介してレンズ内フィルタ切替モジュール19を駆動する(St28)。夜モードでは、レンズ内フィルタ切替モジュール19は、車両撮影カメラ10に入射するIR光を遮断しないように、素ガラスが光軸上に位置するように移動する。
プロセッサ11は、撮像時の撮像素子14の電子シャッタの露光時間が「Long」あるいは「Short」のいずれであるかを判定する(St29)。
プロセッサ11は、偶数番目のフレームを撮像する時には、車内顔画像に対応する電子シャッタの露光時間を「Long」と判定し(St29、Long)、夜モード中の車内顔画像の撮像に適した画像パラメータ(例えば夜間用短波長照明16からのIR光の強度)の制御指示を照明ドライバ15に送り、この制御指示の下で照明ドライバ15を介して複数の夜間用短波長照明16をパルス点灯する(St30A)。ステップSt30Aの後、車両撮影カメラ10の処理はステップSt21に戻る。
一方、プロセッサ11は、奇数番目のフレームを撮像する時には、ナンバープレート画像に対応する電子シャッタの露光時間を「Short」と判定し(St29、Short、夜モード中のナンバープレート画像の撮像に適した画像パラメータ(例えば夜間用短波長照明16からのIR光の強度)の制御指示を照明ドライバ15に送り、この制御指示の下で照明ドライバ15を介して複数の夜間用短波長照明16をパルス点灯する(St30B)。ステップSt30Bの後、車両撮影カメラ10の処理はステップSt21に戻る。これにより、車両撮影カメラ10は、昼モードあるいは夜モードに応じて、前面フィルタ切替モジュール21、レンズ内フィルタ切替モジュール19、夜間用短波長照明16のオンオフを適応的に切り替えするので、昼モードでも夜モードでも高精度な撮像を実現でき、被写体としての車両の車内顔映像およびナンバープレート映像を生成できる。
図4は、映像蓄積解析サーバ50のハードウェア構成例を詳細に示すブロック図である。映像蓄積解析サーバ50は、プロセッサPRC1と、メモリ55と、通信部56と、データベース57とを含む構成である。
プロセッサPRC1は、例えばCPU、DSPまたはFPGAを用いて構成される。プロセッサPRC1は、映像蓄積解析サーバ50の制御部として機能し、映像蓄積解析サーバ50の各部の動作を全体的に統括するための制御処理、映像蓄積解析サーバ50の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサPRC1は、メモリ55に記憶されたプログラムに従って動作する。プロセッサPRC1は、メモリ55に記憶されたプログラムを読み込んで実行することで、ナンバー検出照合コア51と、車種車色検出コア52と、顔検出照合コア53と、乗員人数計測コア54とを機能的に実現する。ナンバー検出照合コア51と、車種車色検出コア52と、顔検出照合コア53と、乗員人数計測コア54の詳細については図1Aを参照して説明したので、ここでは説明を省略する。
メモリ55は、例えばRAMとROMを用いて構成され、映像蓄積解析サーバ50の動作の実行に必要なプログラムやデータ、さらには、動作中に生成された情報またはデータ等を一時的に保存する。RAMは、例えばプロセッサPRC1の動作時に使用されるワークメモリである。ROMは、例えばプロセッサPRC1を制御するためのプログラムおよびデータを予め記憶する。
通信部56は、イントラネットの通信回線等のネットワークNW1を介して接続された車両撮影カメラ10,10A,10B…のそれぞれとの間で通信を行い、それぞれの車両撮影カメラから送られた撮像映像(例えば画角内に進入する車両の状況を示す映像)を受信する。また、通信部56は、警察署内に設けられたイントラネット等のネットワークを介して、クライアント端末90との間で通信を行い、クライアント端末90から送られた検索要求を受信したり、その検索要求の応答を返送したりする。
データベース57は、例えばハードディスクドライブまたはソリッドステートドライブを用いて構成される。データベース57は、車両撮影カメラ10,10A,10B…のそれぞれから送られた撮像映像を、その撮像映像を撮像したカメラのカメラIDおよび撮像日時の情報と対応付けて記録する。また、データベース57は、車両撮影カメラ10,10A,10B…のそれぞれが設置された位置を示す道路地図データも記録しており、例えば道路の新規建設もしくはメンテナンス工事等によって道路地図データの更新が行われる度に、更新後の道路地図データを記録する。
また、データベース57は、プロセッサPRC1の検出処理、照合処理、計測処理(解析処理)等の各種の処理結果を、その処理対象となった撮像映像と対応付けて保存する。
また、データベース57は、警察の捜査対象車両(例えば盗難車)のナンバーがその捜査対象車両の属性情報と対応付けて登録されたナンバー照合用リスト(ブラックリストの一例)を保持している。このナンバー照合用リストは、例えばナンバー検出照合コア51によるナンバーの照合処理時に参照され、その内容はオペレータOP1の操作等によって、追加、変更、削除等の更新が適宜なされてよい。
また、データベース57は、警察の捜査対象人物(例えば容疑者)の顔画像がその捜査対象人物の属性情報と対応付けて登録された顔照合用リスト(ブラックリストの一例)を保持している。この顔照合用リストは、例えば顔検出照合コア53による顔画像の照合処理時に参照され、その内容はオペレータOP1の操作等によって、追加、変更、削除等の更新が適宜なされてよい。
次に、実施の形態1に係る車両監視システム1の映像解析の動作手順例について、図5A、図5B、図5Cおよび図5Dをそれぞれ参照して説明する。図5Aは、車両監視システムの映像解析の動作手順の第1例を示すシーケンス図である。図5Bは、車両監視システムの映像解析の動作手順の第2例を示すシーケンス図である。図5Cは、車両監視システムの映像解析の動作手順の第3例を示すシーケンス図である。図5Dは、車両監視システムの映像解析の動作手順の第4例を示すシーケンス図である。図5A~図5Dの説明においても同様に、車両撮影カメラ10を例示する。
図5A~図5Dの説明においては、説明を分かり易くするために、図1Aに示す車両監視システム1の構成を例示して説明する。また、図5B~図5Dの説明において、図5A中の処理と同一の処理については同一のステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
図5Aにおいて、車両撮影カメラ10は、撮像映像に映るナンバープレートおよび顔のそれぞれを検出する機能を有しない。車両撮影カメラ10は、撮像映像(具体的には、車内顔映像、ナンバープレート映像)を映像蓄積解析サーバ50に配信(送信)する(St31)。映像蓄積解析サーバ50(例えばプロセッサPRC1)は、車両撮影カメラ10からの撮像映像を受信すると、ナンバープレート映像をナンバー検出照合コア51に送る(St32)。ナンバー検出照合コア51は、ナンバープレート映像に映るナンバープレートを検出および認識し、ナンバープレートの認識結果をデータベース57に保持されているナンバー照合用リストと照合する(St33)。ナンバー検出照合コア51は、ナンバープレート照合の処理結果を映像蓄積解析サーバ50に通知する(St34)。
映像蓄積解析サーバ50は、車内顔映像またはナンバープレート映像を車種車色検出コア52に送る(St35)。車種車色検出コア52は、車内顔映像またはナンバープレート映像に映る車両の車種および車色を検出し(St36)、車種および車色の検出結果を映像蓄積解析サーバ50に通知する(St37)。
映像蓄積解析サーバ50は、ナンバープレート照合の処理結果がヒット(つまりナンバー照合用リストのいずれかのナンバーと一致)、または車種および車色の検出結果がヒット(例えばオペレータOP1の入電により聞き出さされた容疑者の逃走車両の車種および車色と一致)した場合、車内顔映像と顔照合実行指示とを顔検出照合コア53に送る(St38)。顔検出照合コア53は、車内顔映像に映る乗員の顔を検出し、顔の検出結果をデータベース57に保持されている顔照合用リストと照合する(St39)。顔検出照合コア53は、顔照合の処理結果を映像蓄積解析サーバ50に通知する(St40)。
映像蓄積解析サーバ50は、ナンバープレート照合の処理結果がヒット(つまりナンバー照合用リストのいずれかのナンバーと一致)、または車種および車色の検出結果がヒット(例えばオペレータOP1の入電により聞き出さされた容疑者の逃走車両の車種および車色と一致)した場合、車内顔映像と人数計測実行指示とを乗員人数計測コア54に送る(St41)。乗員人数計測コア54は、車内顔映像に映る乗員の人数を計測し(St42)、人数の計測結果を映像蓄積解析サーバ50に通知する(St43)。
映像蓄積解析サーバ50は、ステップSt34,St37,St40,St43のそれぞれにおいて通知された各種の処理結果(具体的には、ナンバープレート照合の処理結果,車色および車色の検出結果,顔照合の処理結果,人数の計測結果)と、ステップSt31において受信された撮像映像を構成する撮像画像(スナップショット)とを対応付けてデータベース57に蓄積(保存)する(St44)。なお、映像蓄積解析サーバ50は、ステップSt44において蓄積された各種の処理結果とスナップショットとをクライアント端末90に送ってもよい(St45)。これにより、クライアント端末90を操作するオペレータOP1は、映像蓄積解析サーバ50において車両撮影カメラ10の撮像映像に対する各種の解析等の処理結果がデータベース57に蓄積されていることを把握でき、その内容もクライアント端末90の表示部93を介して視覚的に確認できる。
図5Bにおいて、車両撮影カメラ10は、撮像映像に映るナンバープレートを検出する機能を有する。映像蓄積解析サーバ50(例えばプロセッサPRC1)は、ステップSt31において送られた車内顔映像またはナンバープレート映像を車種車色検出コア52および顔検出照合コア53に送る(St35A,St38A)。車種車色検出コア52および顔検出照合コア53のそれぞれは、映像蓄積解析サーバ50(例えばプロセッサPRC1)からナンバー照合用リスト中のいずれかと一致するナンバープレートの検出通知(ステップSt53参照)を受信しないうちは、ステップSt31において送られた車内顔映像またはナンバープレート映像を破棄する。
ステップSt31の後、車両撮影カメラ10は、ナンバープレート映像に映るナンバープレートを検出および認識し(St51)、ナンバープレートの認識結果をメモリ12に保持されているナンバー照合用リストと照合する(St51)。車両撮影カメラ10は、ナンバープレート照合の処理結果を映像蓄積解析サーバ50に通知する(St52)。映像蓄積解析サーバ50は、ステップSt52で送られたナンバープレート照合の処理結果に基づいて、ナンバープレート映像に映るナンバープレートがナンバー照合用リスト中のいずれかと一致する旨の検出通知を車種車色検出コア52に送る(St53)。車種車色検出コア52は、検出通知の受信に基づいて、車内顔映像またはナンバープレート映像に映る車両の車種および車色を検出する(St36)。これにより、クライアント端末90を操作するオペレータOP1は、映像蓄積解析サーバ50において車両撮影カメラ10の撮像映像に対する各種の解析等の処理結果がデータベース57に蓄積されていることを把握でき、その内容もクライアント端末90の表示部93を介して視覚的に確認できる。また、図5Aの動作手順に比べて、ナンバープレート照合の処理を車両撮影カメラ10において実行できるので、車両撮影カメラ10の撮像映像に対する各種処理を車両撮影カメラ10および映像蓄積解析サーバ50で分散できるので、映像蓄積解析サーバ50の処理負荷の軽減が図られる。
図5Cにおいて、車両撮影カメラ10(例えばプロセッサ11)は、撮像映像に映るナンバープレート、車種および車色、顔のそれぞれを検出する機能、ならびに乗員の人数を計測する機能を有する。ステップSt31の後、車両撮影カメラ10は、ナンバープレート映像に映るナンバープレートを検出および認識し、ナンバープレートの認識結果をメモリ12に保持されているナンバー照合用リストと照合する(St51)。車両撮影カメラ10は、車内顔映像またはナンバープレート映像に映る車両の車種および車色を検出する(St36B)。
車両撮影カメラ10は、ナンバープレート照合の処理結果がヒット(つまりナンバー照合用リストのいずれかのナンバーと一致)、または車種および車色の検出結果がヒット(例えばオペレータOP1の入電により聞き出さされた容疑者の逃走車両の車種および車色と一致)した場合、車内顔映像に映る乗員の顔を検出する(St39B)。車両撮影カメラ10は、顔の検出結果をデータベース57に保持されている顔照合用リストと照合する(St39B)。
車両撮影カメラ10は、ナンバープレート照合の処理結果がヒット(つまりナンバー照合用リストのいずれかのナンバーと一致)、または車種および車色の検出結果がヒット(例えばオペレータOP1の入電により聞き出さされた容疑者の逃走車両の車種および車色と一致)した場合、車内顔映像に映る乗員の人数を計測する(St42B)。車両撮影カメラ10は、ナンバープレート照合の処理結果、車種および車色の検出結果、顔の検出結果、人数の計測結果のそれぞれを映像蓄積解析サーバ50に通知する(St44B)。これにより、クライアント端末90を操作するオペレータOP1は、映像蓄積解析サーバ50において車両撮影カメラ10の撮像映像に対する各種の解析等の処理結果がデータベース57に蓄積されていることを把握でき、その内容もクライアント端末90の表示部93を介して視覚的に確認できる。また、図5Aおよび図5Bの動作手順に比べて、ナンバープレート照合、車種および車色の検出、顔照合、人数計測の各種の処理を車両撮影カメラ10において実行できるので、高性能な車両撮影カメラ10を使うことで、映像蓄積解析サーバ50の処理負荷の軽減が著しく図ることができる。
図5Dにおいて、車両撮影カメラ10(例えばプロセッサ11)は、撮像映像に映るナンバープレートおよび顔のそれぞれを検出する機能を有する。映像蓄積解析サーバ50(例えばプロセッサPRC1)は、ステップSt31において送られた車内顔映像またはナンバープレート映像を車種車色検出コア52に送り(St35A)、ステップSt31において送られた車内顔映像を乗員人数計測コア54に送る(St41C)。車両撮影カメラ10は、ナンバープレート映像に映るナンバープレートを検出し(St61)、ナンバープレート映像に映るナンバープレートの部分を切り出したナンバープレート画像(「ナンバー画像」と称する場合がある)を生成する(St61)。車両撮影カメラ10は、ナンバープレート映像に映るナンバープレートを検出した旨の検出情報通知を生成し、この検出情報通知とステップSt61で生成されたナンバープレート画像とを対応付けて映像蓄積解析サーバ50に送る(St62)。
映像蓄積解析サーバ50は、検出情報通知とナンバープレート画像とを対応付けてナンバー検出照合コア51に送る(St63)。ナンバー検出照合コア51は、ナンバープレート画像(つまりナンバープレートが切り出された画像)をデータベース57に保持されているナンバー照合用リストと照合する(St33C)。
映像蓄積解析サーバ50は、検出情報通知とナンバープレート画像とを対応付けて車種車色検出コア52および乗員人数計測コア54に送る(St64)。車種車色検出コア52は、ステップSt35Aで送られたナンバープレート映像または車内顔映像に映る車両の車種および車色を検出する(St36)。乗員人数計測コア54は、ステップSt41Cで送られた車内顔映像に映る乗員の人数を計測する(St42)。
車両撮影カメラ10は、車内顔映像に映る乗員の顔を検出し(St65)、車内顔映像に映る顔の部分を切り出した顔画像を生成する(St65)。車両撮影カメラ10は、車内顔映像に映る乗員の顔を検出した旨の検出情報通知を生成し、この検出情報通知とステップSt65で生成された顔画像とを対応付けて映像蓄積解析サーバ50に送る(St66)。
映像蓄積解析サーバ50は、検出情報通知と顔画像とを対応付けて顔検出照合コア53に送る(St67)。顔検出照合コア53は、顔画像(つまり乗員の顔が切り出された画像)をデータベース57に保持されている顔照合用リストと照合する(St39)。顔検出照合コア53は、顔照合の処理結果を映像蓄積解析サーバ50に通知する(St40C)。ナンバー検出照合コア51は、ナンバープレート照合の処理結果を映像蓄積解析サーバ50に通知する(St34C)。車種車色検出コア52は、車種および車色の検出結果を映像蓄積解析サーバ50に通知する(St37C)。乗員人数計測コア54は、人数の計測結果を映像蓄積解析サーバ50に通知する(St43C)。
映像蓄積解析サーバ50は、ステップSt34C,St37C,St40C,St43Cのそれぞれにおいて通知された各種の処理結果(具体的には、ナンバープレート照合の処理結果,車色および車色の検出結果,顔照合の処理結果,人数の計測結果)と、ステップSt31において受信された撮像映像を構成する撮像画像(スナップショット)とを対応付けてデータベース57に蓄積(保存)する(St44)。これにより、クライアント端末90を操作するオペレータOP1は、映像蓄積解析サーバ50において車両撮影カメラ10の撮像映像に対する各種の解析等の処理結果がデータベース57に蓄積されていることを把握でき、その内容もクライアント端末90の表示部93を介して視覚的に確認できる。また、ナンバー照合リスト,顔照合リストのそれぞれとの照合処理の対象となるナンバープレート画像,顔画像はそれぞれ撮像映像から該当するナンバープレート,顔だけが切り出されて生成されるので、ナンバープレート照合および顔照合の処理負荷の軽減が図られる。
次に、車両撮影カメラ10による運転者および同乗者の登録処理例について、図6Aおよび図6Bを参照して説明する。図6Aは、車両撮影カメラ10による運転者および同乗者の登録処理の動作手順の第1例を示すフローチャートである。図6Bは、車両撮影カメラ10による運転者および同乗者の登録処理の動作手順の第2例を示すフローチャートである。図6Aおよび図6Bの処理は、例えば図5DのステップSt65の処理において車両撮影カメラ10によって実行されるとして説明するが、図5Aおよび図5BのステップSt39の処理において顔検出照合コア53によって実行されてもよいし、図35CのステップSt39Bの処理において車両撮影カメラ10によって実行されてもよい。また、図6Aおよび図6Bの説明においても同様に、車両撮影カメラ10を例示し、被写体としての車両は進行方向に向かって右側にステアリング(ハンドル)が取り付けられている例を想定する。
図6Aにおいて、車両撮影カメラ10(例えばプロセッサ11)は、撮像映像(例えば車内顔映像)から乗員の顔を検出し、車内顔映像に映る顔の部分を切り出した顔画像を生成する(St65-1)。車両撮影カメラ10は、ステップSt65-1の処理結果に基づいて、検出された顔の数が1であるか(言い換えると、複数人が乗車しているか否か)を判別する(St65-2)。車両撮影カメラ10は、検出された顔の数が1であると判定した場合に(St65-2、YES)、その顔画像を運転者としての属性を有するように登録する(St65-3)。ステップSt65-3の後、図6Aに示す処理は終了する。
一方、車両撮影カメラ10は、検出された顔の数が1でないと判定した場合に(St65-2、NO)、車内顔映像に映る顔の位置を検出する(St65-4)。車両撮影カメラ10は、検出された顔の位置が車両撮影カメラ10から見て左側の顔であるか否かを判定する(St65-5)。車両撮影カメラ10は、検出された顔の位置が車両撮影カメラ10から見て左側の顔ではないと判定した場合に(St65-5、NO)、その顔画像を同乗者(例えば助手席の人物)としての属性を有するように登録する(St65-6)。ステップSt65-6の後、図6Aに示す処理は終了する。
一方、車両撮影カメラ10は、検出された顔の位置が車両撮影カメラ10から見て左側の顔であると判定した場合に(St65-5、YES)、その顔画像を運転者としての属性を有するように登録する(St65-7)。ステップSt65-7の後、図6Aに示す処理は終了する。
図6Bにおいて、車両撮影カメラ10(例えばプロセッサ11)は、撮像映像(例えば車内顔映像)から乗員の顔を検出し、車内顔映像に映る顔の部分を切り出した顔画像を生成する(St65-1)。車両撮影カメラ10は、車内顔映像から車内のステアリング(ハンドル)を検出し(St65-8)、ステップSt65-1で検出された顔の付近にステップSt65-8で検出されたステアリングが存在するか否かを判定する(St65-9)。
車両撮影カメラ10は、顔の付近にステアリングが存在しないと判定した場合に(St65-9、NO)、その顔画像を同乗者(例えば助手席の人物)としての属性を有するように登録する(St65-6)。ステップSt65-6の後、図6Bに示す処理は終了する。
一方、車両撮影カメラ10は、顔の付近にステアリングが存在すると判定した場合に(St65-9、YES)、その顔画像を運転者としての属性を有するように登録する(St65-7)。ステップSt65-7の後、図6Bに示す処理は終了する。これにより、図6Aあるいは図6Bの処理により、車両撮影カメラ10あるいは映像蓄積解析サーバ50による解析処理(例えば図5A~図5D)において、車内顔映像に映る顔が運転者のものであるか同乗者のものであるかを適切に判別可能となる。従って、クライアント端末90を操作するオペレータOP1にとって、映像蓄積解析サーバ50においてきめ細かい検索が可能となり、容疑者の絞り込みが容易になるという効果が期待される。例えば、「運転者」および「同乗者」の属性が含まれる検索条件を用いた検索ができなければ、容疑者が「運転者」である時の車内顔映像と同じ容疑者が「同乗者」である時の車内顔映像とがともに検索の対象となって数多くの検索結果が抽出されることになり、容疑者の絞り込みに時間を要する可能性が高い。しかし、「運転者」あるいは「同乗者」の属性を検索条件として含めた検索が可能となることで、容疑者として気になる人物が「運転者」である場合の車内顔映像だけを検索対象に絞れるので、検索結果の精度が向上する。
次に、車両監視システム1を用いた警察捜査の際に、クライアント端末90の表示部93に表示される各種の画面例について、図7から図12、図14から図16Bを参照して説明する。図7~図12ならびに図14から図16Bの説明において、図中に示される構成と同一の構成については同一の符号を参照して説明を簡略化あるいは省略する。
警察捜査において、クライアント端末90は、オペレータの操作により、予めインストールされている車両監視アプリケーション(以下「車両監視アプリ」という)を起動して実行中である。車両監視アプリは、例えばクライアント端末90のメモリ92のROMに格納され、オペレータの操作により起動されるとプロセッサPRC2により実行される。車両監視アプリの起動中にプロセッサPRC2により生成されるデータあるいは情報は、一時的にメモリ92のRAMに保持される。
図7は、昼モード中の撮像映像の監視画面例を示す図である。図7に示すように、監視画面WD1は、検索条件が入力される入力欄COND1の表示領域と、検索条件を満たすイベント(例えば車両)の検索結果がリスト形式で表示されるリスト表示欄EVE1の表示領域と、カーソルCUR1により選択されたイベントの詳細が表示される詳細表示欄DETL1の表示領域と、検索アイコンSCH1とを少なくとも含む。
入力欄COND1には、例えば日時開始入力欄FR1と、日時終了入力欄TO1と、カメラ選択欄CM1と、検索される対象のナンバープレートのテキスト入力欄TXT1とが含まれる。
日時開始入力欄FR1は、容疑者の逃走車両を映像蓄積解析サーバ50に検索させるために、その検索の対象となる逃走車両の存在の開始となる日時として、オペレータOP1の操作により入力される。日時開始入力欄FR1には、例えば事件等の発生日時またはその日時より少し前の日時が入力される。図7~図9では、日時開始入力欄FR1には、「2018年4月23日の午前2時00分」が入力された例が示されている。オペレータOP1の操作により入力されると、車両監視アプリは、検索条件(例えば開始日時)として日時開始入力欄FR1に入力された日時をセットする。
日時終了入力欄TO1は、容疑者の逃走車両を映像蓄積解析サーバ50に検索させるために、その検索の対象となる逃走車両の存在の終了となる日時として、オペレータOP1の操作により入力される。日時終了入力欄TO1には、例えば逃走車両の検索期間の終了日時が入力される。図7~図9では、日時終了入力欄TO1には、「2018年4月24日の午前12時00分」が入力された例が示されている。オペレータOP1の操作により入力されると、車両監視アプリは、検索条件(例えば終了日時)として日時終了入力欄TO1に入力された日時をセットする。
カメラ選択欄CM1は、容疑者の逃走車両を映像蓄積解析サーバ50に検索させるために、その検索の対象となる逃走車両が映ると推察される場所の車両撮影カメラが、オペレータOP1の操作により指定される。
テキスト入力欄TXT1は、容疑者の逃走車両のナンバープレートを映像蓄積解析サーバ50に検索させるために、その検索の対象となる逃走車両のナンバープレートのテキストデータが、オペレータOP1の操作により入力される。なお、図7に示されるように、テキスト入力欄TXT1において、「%」の文字は、ワイルドカード検索に使用可能であり、例えば「A」の文字で始まるナンバープレートの検索においては「A%」と入力する旨の注意事項が示されている。
検索アイコンSCH1は、オペレータOP1の操作により入力された入力欄COND1内の各種の検索条件が全て適正に入力された時点で押下可能に車両監視アプリにより表示される。オペレータOP1の操作により検索アイコンSCH1が押下されると、車両監視アプリは、その押下を検知し、入力された各種の検索条件を含む車両のナンバープレートの検索要求を生成し、通信部91を介して映像蓄積解析サーバ50に送る。車両監視アプリは、映像蓄積解析サーバ50によるナンバープレートの検索結果を受信してリスト表示欄EVE1に表示する。
リスト表示欄EVE1には、例えばナンバープレートがナンバー検出照合コア51によって検出された日時と、ナンバープレートの検出に用いられたカメラの名称と、ナンバープレート(ライセンスプレート)の読み取り結果(テキストデータ)とを少なくとも含む検索結果がリスト形式で複数並べられている。
オペレータOP1の操作により、リスト形式で並べられた複数の検索結果からいずれかがカーソルCUR1により選択されると、車両監視アプリは、その選択された検索結果に関する詳細情報(ナンバープレート画像を含む)を詳細表示欄DETL1に表示する。具体的には、車両監視アプリは、カーソルCUR1により選択されたナンバープレートが検出された日時と、ナンバープレートの検出に用いられたカメラの名称と、その検出されたナンバープレートに対応する車両全体が映るナンバープレート画像LPcap1と、ナンバープレートの切出画像LPEX1を含むナンバープレートの属性情報LPIF1と、イベント動画ビューアイコンVEV1(図8および図9参照)と期間指定アイコンTAJ1(図8および図9参照)とを対応付けて表示する。
ナンバープレートの属性情報LPIF1は、ナンバープレートの読み取り結果(テキストデータ)およびナンバープレートの切出画像LPEX1と、国名あるいは州名と、ナンバープレートの色と、検索(具体的には、ナンバープレート照合)時のスコア(類似度)とを含む。これにより、オペレータOP1は、リスト表示欄EVE1の中で気になるナンバープレートを選択するだけで、そのナンバープレートに関する詳細な情報をそのナンバープレートが取り付けられた車両が映るナンバープレート画像LPcap1とともに視覚的に把握でき、捜査の効率性を向上できる。
図8は、車内乗員が鮮明に映る昼モードの動画再生画面MVFC1とナンバープレートが鮮明に映る昼モードの動画再生画面MVLP1とが示される監視画面例を示す図である。図9は、車内乗員が鮮明に映る夜モードの動画再生画面MVFC2とナンバープレートが鮮明に映る夜モードの動画再生画面MVLP2とが示される監視画面例を示す図である。図8および図9に示される監視画面WD1も、図7に示す監視画面WD1と同様にクライアント端末90の表示部93に表示される。
車両監視アプリは、カーソルCUR1によりいずれかの検索結果(言い換えると、ナンバープレート)が選択された状態でイベント動画ビューアイコンVEV1を押下するオペレータの操作により、ナンバープレート画像LPcap1に対応する同一の車両撮影カメラ10により略同時刻(例えば昼モード中)に撮像された車内顔映像,ナンバープレート映像の動画再生画面MVFC1,MVLP1を表示する(図8参照)。なお、車両監視アプリは、期間指定アイコンTAJ1により、車内顔映像,ナンバープレート映像の動画再生期間を設定可能であり、図8では動画再生期間は「5秒」が示されている。車両監視アプリは、動画再生画面MVFC1、MVLP1の再生、一時停止、早送り、早戻し等の操作制御アイコンBTN1,BTN2を表示する。
図8では、車両撮影カメラ10が昼モード中に撮像された撮像映像(具体的には、車内顔映像、ナンバープレート映像)の動画再生画面MVFC1,MVLP1がそれぞれ表示されている。これにより、動画再生画面MVFC1での車内顔映像の再生により、たとえ昼間の時間帯で周囲が明るくても車両内の乗員(例えば運転者)の顔が鮮明に映し出されることになり、オペレータOP1の乗員の顔の早期認識を効率的に支援できる。一方で、動画再生画面MVLP1でのナンバープレート映像の再生により、たとえ昼間の時間帯で周囲が明るくても車両のナンバープレートが鮮明に映し出されることになり、オペレータOP1のナンバープレートの早期認識を効率的に支援できる。
また、車両監視アプリは、カーソルCUR1によりいずれかの検索結果(言い換えると、ナンバープレート)が選択された状態でイベント動画ビューアイコンVEV1を押下するオペレータの操作により、ナンバープレート画像LPcap2に対応する同一の車両撮影カメラ10により略同時刻(例えば夜モード中)に撮像された車内顔映像,ナンバープレート映像の動画再生画面MVFC2,MVLP2を表示する(図9参照)。なお、車両監視アプリは、期間指定アイコンTAJ1により、車内顔映像,ナンバープレート映像の動画再生期間を設定可能であり、図9では動画再生期間は「5秒」が示されている。車両監視アプリは、動画再生画面MVFC2、MVLP2の再生、一時停止、早送り、早戻し等の操作制御アイコンBTN1,BTN2を表示する。
図9では、車両撮影カメラ10が夜モード中に撮像された撮像映像(具体的には、車内顔映像、ナンバープレート映像)の動画再生画面MVFC2,MVLP2がそれぞれ表示されている。これにより、動画再生画面MVFC2での車内顔映像の再生により、たとえ夜中の時間帯で周囲が暗くても車両内の乗員(例えば運転者)の顔が鮮明に映し出されることになり、オペレータOP1の乗員の顔の早期認識を効率的に支援できる。一方で、動画再生画面MVLP2でのナンバープレート映像の再生により、たとえ夜中の時間帯で周囲が暗くても車両のナンバープレートが鮮明に映し出されることになり、オペレータOP1のナンバープレートの早期認識を効率的に支援できる。
(ナンバープレートを基にした顔画像の検索)
図10は、検索条件として入力されたナンバープレートを用いた車内乗員の顔画像の検索結果を示す監視画面の一例を示す図である。図11Aは、図10の監視画面に続けて表示される監視画面の第1例を示す図である。図11Bは、図10の監視画面に続けて表示される監視画面の第2例を示す図である。図12は、図10の監視画面に続けて表示される監視画面の第3例を示す図である。図10~図12のそれぞれに示される監視画面は、図13に示されるシーケンス図においてクライアント端末90において表示される検索結果画面の一例である。
図10に示される撮像映像は、ナンバープレートNBPL1の撮像に適した第1撮像条件下で撮像されたナンバープレート映像LPcap3であり、ナンバープレートを基にした顔画像の検索の対象として使用される。ナンバープレート映像LPcap3に映る車両VCL1には、例えば2名の乗員(具体的には、運転者および同乗者)が乗車している。
オペレータOP1は、クライアント端末90の表示部93に表示されたナンバープレート映像LPcap3を閲覧した際、ナンバープレートNBPL1の車両VCL1に乗車している乗員の顔画像FCE2,FCE3を検索したい場合がある。このようなナンバープレートNBPL1から車両VCL1の乗員の顔画像FCE2,FCE3を検索する際の車両監視システム1の動作手順は、後述する図13を参照して詳述する。このような検索が行われた際にクライアント端末90の表示部93には、図10に示される検索結果画面WD2が表示される。
図10に示される検索結果画面WD2は、検索に使用された日時開始入力欄および日時終了入力欄と、検索結果としての顔画像表示欄FCCと、検索結果としての乗員人数の計測結果表示欄HCCと、車両詳細情報表示欄VCCと、複数の候補人物の顔画像一覧表示欄LST2とを少なくとも含む。日時開始入力欄および日時終了入力欄は、図7に示される日時開始入力欄FR1および日時終了入力欄TO1と同様であるため、ここでは説明は省略する。
顔画像表示欄FCCには、ナンバープレートから車両の乗員の顔画像の検索結果として最もスコア(つまり類似度)が高いと判断された人物の顔画像が表示される。図10の例では、ナンバープレート映像LPcap3の車両VCL1の乗員の顔画像FCE2,FCE3が表示されている。
乗員人数の計測結果表示欄HCCは、ナンバープレート映像LPcap3の車両VCL1の乗員の人数の計測結果NUB1が表示される。図10の例では、顔画像表示欄FCCに表示された顔画像の個数と対応するように、「2人」が表示されている。
車両詳細情報表示欄VCCは、ナンバープレート映像LPcap3の車両VCL1のスナップショット(例えばナンバープレート映像LPcap3を構成する撮像画像)と、その車両VCL1に関する各種の車両情報VCLIF1(ナンバープレートNBPL1を含む)とが表示される。車両情報VCLIF1は、例えば陸運局等に登録された車両の所有者等のデータ(以下、「車両登録情報」と称する)、盗難車であるか否かを示す情報、過去の事故の有無を示す情報、車検情報等を含み、これらに限定されない。
候補人物の顔画像一覧表示欄LST2は、ナンバープレート映像LPcap3の車両VCL1の乗員の可能性がある複数の候補人物の顔画像の一覧が表示される。車両監視アプリは、ナンバープレート映像LPcap3の車両VCL1の乗員の顔画像を照合する処理において(図13参照)、顔照合用リスト(データベース57参照)と一致する顔画像を特定した場合には、ポップアップ画面CPR1を表示してよい。このポップアップ画面CPR1には、顔画像FCE2が顔照合用リスト(例えば前科者等の顔画像が登録されたブラックリスト)に登録されていた旨をオペレータOP1に提示するために、顔照合用リストに登録済みの顔画像RGFC1と、ナンバープレート映像LPcap3に映っていた顔画像FCE2と、そのナンバープレート映像LPcap3を撮像した車両撮影カメラ10の撮像日時およびカメラID(言い換えると、対応する車両撮影カメラ10の設置位置情報)とが示される。
図11Aに示される検索結果画面WD3は、検索結果画面WD2へのオペレータOP1の操作により、車両監視アプリにより表示される。検索結果画面WD3は、検索に使用された日時開始入力欄および日時終了入力欄と、検索結果としての顔画像表示欄FCCと、検索結果としての乗員人数の計測結果表示欄HCCと、車両詳細情報表示欄VCCと、タイムライン表示欄TML1,TML2とを少なくとも含む。
タイムライン表示欄TML1は、顔画像表示欄FCCに表示された顔画像(例えば顔画像FCE3)の人物が車両撮影カメラにより検出された日時を時系列に示す。図11Aの例では、顔画像FCE3の人物は、「LPR Camera」という名称を有する車両撮影カメラにより、「12:20:30」~「12:20:34」の間に検出されている。
タイムライン表示欄TML2は、顔画像表示欄FCCに表示された顔画像(例えば顔画像FCE2)の人物が車両撮影カメラにより検出された日時を時系列に示す。図11Aの例では、顔画像FCE2の人物は、「LPR Camera2」という名称を有する車両撮影カメラにより、「12:20:30」~「12:20:34」の間に検出されている。
図11Bに示される検索結果画面WD4は、検索結果画面WD2へのオペレータOP1の操作により、車両監視アプリにより表示される。検索結果画面WD4は、検索に使用された日時開始入力欄および日時終了入力欄と、検索結果としての顔画像表示欄FCCと、検索結果としての乗員人数の計測結果表示欄HCCと、車両詳細情報表示欄VCCと、タイムライン表示欄TML3とを少なくとも含む。なお、検索結果画面WD4は、検索結果として特定された顔画像は顔画像FCE3だけの場合を例示している。
タイムライン表示欄TML3は、顔画像表示欄FCCに表示された顔画像(例えば顔画像FCE3)の人物が複数台の車両撮影カメラのそれぞれにより検出された日時と、顔照合用リストに登録されている顔画像(登録されている場合に限る)と、その検出に関するスコア(類似度)とを対応付けて時系列に示す。図11Bの例では、顔画像FCE3の人物は、「LPR Camera」という名称の車両撮影カメラにより、「2018年4月23日の15:42:31」にスコア「90」で検出されている。また、顔画像FCE3の人物は、「LPR Camera 2」という名称の車両撮影カメラにより、「2018年4月23日の15:40:20」にスコア「70」で検出されている。また、顔画像FCE3の人物は、「LPR Camera」という名称の車両撮影カメラにより、「2018年4月23日の15:30:20」にスコア「65」で検出されている。また、顔画像FCE3の人物は、「LPR Camera 2」という名称の車両撮影カメラにより、「2018年4月23日の15:37:57」にスコア「50」で検出されている。また、顔画像FCE3の人物は、「LPR Camera」という名称の車両撮影カメラにより、「2018年4月23日の15:36:10」にスコア「30」で検出されている。また、顔画像FCE3の人物は、「LPR Camera」という名称の車両撮影カメラにより、「2018年4月23日の15:35:20」にスコア「25」で検出されている。
図12に示される検索結果画面WD5は、検索結果画面WD2へのオペレータOP1の操作により、車両監視アプリにより表示される。検索結果画面WD5は、ナンバープレート映像LPcap3の車両VCL1の逃走経路DRC1,DRC2を、車両VCL1を示す車両アイコンICO1とともに道路地図データMP1上に重畳して表示する。車両監視アプリは、オペレータOP1の操作により、車両撮影カメラの設置された交差点(図12中の丸印参照)のいずれかが指定されたことを検知すると、その指定された交差点を通過する直前のナンバープレート映像LPcap3の動画再生画面を検索結果画面WD5に重畳して表示してよい。
また、車両監視アプリは、オペレータOP1の操作により、逃走経路DRC1が指定されたことを検知すると、逃走経路DRC1の起点あるいは終点の交差点に設置された車両撮影カメラにより撮像されたナンバープレート映像LPcap3に映るナンバープレートNBPL1および運転者の顔画像FCE2を重畳して表示してよい。同様に、車両監視アプリは、オペレータOP1の操作により、逃走経路DRC2が指定されたことを検知すると、逃走経路DRC1の起点あるいは終点の交差点に設置された車両撮影カメラにより撮像されたナンバープレート映像LPcap3に映るナンバープレートNBPL1および運転者の顔画像FCE2を重畳して表示してよい。この時、車両監視アプリは、更に車両撮影カメラの設置場所に相当する撮影場所の名称を示す吹き出しを道路地図データMP1上に表示してよい。
次に、実施の形態1に係る車両監視システム1による、ナンバープレートから車内乗員の顔画像を検索する一連の動作手順について、図13を参照して説明する。図13は、検索条件として入力されたナンバープレートから車内乗員の顔画像を検索する一連の動作手順の一例を示すシーケンス図である。図13の説明においても、車両監視システムの構成は図1Aに示す車両監視システム1、車両撮影カメラの構成は車両撮影カメラ10をそれぞれ例示する。図13の説明の前提として、例えば図5Aに示すように、映像蓄積解析サーバ50は、ナンバープレート映像または車内顔映像の受信の度に、ナンバープレート映像または車内顔映像に基づく、ナンバープレート照合の処理結果、車種および車色の検出結果、顔照合の処理結果および人数の計測結果を取得し(St34,St37,St40,St43)、蓄積している(St44)。
図13において、映像蓄積解析サーバ50は、オペレータOP1の操作により入力されたナンバープレート(例えばナンバープレートNBPL1)が検索条件として入力されると(St71)、クライアント端末90から送られる検索要求(ナンバープレートNBPL1の画像を含む)を受信する。映像蓄積解析サーバ50(例えばプロセッサPRC1)は、検索要求の受信に応じて、ナンバープレートNBPL1の照合処理の実行を指示するためのナンバー照合要求をナンバー検出照合コア51に送る(St72)。ナンバー検出照合コア51は、ナンバープレートNBPL1をデータベース57に保持されているナンバー照合用リストと照合する(St73)。ナンバー検出照合コア51は、ナンバープレート照合の処理結果(例えば、ナンバープレートNBPL1、カメラID、撮像時刻、車両登録情報(上述参照))を映像蓄積解析サーバ50に通知する(St74)。
映像蓄積解析サーバ50は、ステップSt74で得られた処理結果に含まれるカメラIDおよび撮像時刻に基づいて、ステップSt44で蓄積されている各種処理の蓄積結果から対応する蓄積情報(例えば、検出された運転者あるいは同乗者の顔画像、車種車色、人数結果)を検索(抽出)する(St75)。
映像蓄積解析サーバ50は、ステップSt75で抽出された運転者あるいは同乗者の顔画像と顔照合要求とを顔検出照合コア53に送る(St76)。顔検出照合コア53は、運転者あるいは同乗者の顔画像をデータベース57に保持されている顔照合用リストと照合する(St77)。顔検出照合コア53は、顔照合の処理結果(例えば、スコア、カメラID、撮像時刻のリスト)を映像蓄積解析サーバ50に通知する(St78)。
映像蓄積解析サーバ50は、ステップSt74,St78のそれぞれで通知されたカメラIDおよび撮像時刻に紐付けられるスコアおよび蓄積結果をリスト化する(St79)。映像蓄積解析サーバ50は、スコアを含む蓄積結果(例えば、ナンバー情報、車両登録情報、顔画像、顔照合結果、車種車色情報、人数情報)の結果リストをクライアント端末90に検索結果として送る(St80)。クライアント端末90は、ステップSt80で送られた検索結果を用いて、検索結果画面WD2(例えば図10参照)を表示する(St81)。
(顔画像を基にしたナンバープレートの検索)
図14は、検索条件として入力された車内乗員の顔画像から検索されたナンバープレートの検索結果を示す検索結果画面の一例を示す図である。図15は、図14の検索結果画面に続けて表示される検索結果画面の第1例を示す図である。図16Aは、図14の検索結果画面に続けて表示される検索結果画面の第2例を示す図である。図16Bは、図14の検索結果画面に続けて表示される検索結果画面の第3例を示す図である。図14~図16Bのそれぞれに示される監視画面は、図17に示されるシーケンス図においてクライアント端末90において表示される検索結果画面の一例である。
図10に示される撮像映像は、顔画像の撮像に適した第2撮像条件下で撮像された車内顔映像であってもよく、この車内顔映像は、顔画像を基にしたナンバープレートの検索の対象として使用される。車内顔映像に映る車両VCL1には、例えば2名の乗員(具体的には、運転者および同乗者)が乗車している。
オペレータOP1は、クライアント端末90の表示部93に表示された車内顔映像を閲覧した際、顔画像FCE2,FCE3が映る車両VCL1のナンバープレートを検索したい場合がある。このような顔画像FCE2,FCE3から車両VCL1のナンバープレートNBPL1を検索する際の車両監視システム1の動作手順は、後述する図17を参照して詳述する。このような検索が行われた際にクライアント端末90の表示部93には、図14に示される検索結果画面WD6が表示される。
図14に示される検索結果画面WD6は、検索に使用された日時開始入力欄および日時終了入力欄と、検索条件として入力された顔画像を表示する顔画像表示欄FCCと、検索結果としての乗員人数の計測結果表示欄HCCと、車両詳細情報表示欄VCCと、顔照合(図17参照)の処理において抽出された複数の候補人物の顔画像一覧表示欄LST2とを少なくとも含む。日時開始入力欄および日時終了入力欄は、図7に示される日時開始入力欄FR1および日時終了入力欄TO1と同様であるため、ここでは説明は省略する。
顔画像表示欄FCCには、検索条件として入力されたイメージデータである顔画像が表示される。図14の例では、車内顔映像(上述参照)の車両VCL1の乗員の顔画像FCE2,FCE3が表示されている。
車両詳細情報表示欄VCCは、顔画像からナンバープレートの検索結果としてのナンバープレートNBPL1を含む、車内顔映像に映る車両VCL1に関する各種の車両情報VCLIF1とが表示される。
候補人物の顔画像一覧表示欄LST2は、車内顔映像(上述参照)の車両VCL1の乗員の可能性がある複数の候補人物の顔画像の一覧が表示される。また、図10と同様に、車両監視アプリは、車内顔映像(上述参照)の車両VCL1の乗員の顔画像を照合する処理において(図17参照)、顔照合用リスト(データベース57参照)と一致する顔画像を特定した場合には、ポップアップ画面CPR1を表示してよい。ポップアップ画面CPR1の詳細は図10を参照して説明したので、ここでは説明を省略する。
図15に示される検索結果画面WD7は、検索結果画面WD6へのオペレータOP1の操作により、車両監視アプリにより表示される。検索結果画面WD7は、検索結果としてのナンバープレートNBPL1および車両VCL1を含む車両基本表示欄COND2と、車両情報VCLIF1と、ナンバープレートの詳細表示欄DETL1と、動画再生画面MVFC1,MVLP1とを少なくとも含む。ナンバープレートの詳細表示欄DETL1では、図7と同様に、ナンバープレートNBPL1が取り付けられた車両VCL1の画像(上述したナンバープレート画像LPcap1参照)が表示されている。ナンバープレートの属性情報LPIF1の内容は図7を参照して説明した内容と同一であるため、ここでは説明を省略する。同様に、動画再生画面MVFC1,MVLP1の内容は図8(図9でも可)を参照して説明した内容と同一であるため、ここでは説明を省略する。
図16Aに示される検索結果画面WD8は、検索結果画面WD6へのオペレータOP1の操作により、車両監視アプリにより表示される。検索結果画面WD8は、検索結果としてのナンバープレートNBPL1および車両VCL1を含む車両基本表示欄COND2と、ナンバープレートの照合処理(図17参照)において抽出される複数のナンバープレート候補のそれぞれが取り付けられた車両画像の車両一覧表示欄LST3とが表示される。車両監視アプリは、オペレータOP1の操作により、車両一覧表示欄LST3の中からいずれか一つの車両画像が指定されたことを検知すると、その指定された車両画像に関する各種の車両情報を吹き出しで表示してよい。
図16Bに示される検索結果画面WD9は、検索結果画面WD8のいずれかの車両画像へのオペレータOP1の指定操作により、車両監視アプリにより表示される。検索結果画面WD9は、検索に使用された日時開始入力欄および日時終了入力欄と、検索条件として入力された顔画像を表示する顔画像表示欄FCCと、検索結果としての乗員人数の計測結果表示欄HCCと、車両詳細情報表示欄VCCと、タイムライン表示欄TML1,TML2とを少なくとも含む。
タイムライン表示欄TML1は、検索結果画面WD8に対して指定されたいずれかの車両画像に対応する車両が車両撮影カメラにより検出された日時を時系列に示す。図16Bの例では、選択された車両画像の車両は、「LPR Camera」という名称を有する車両撮影カメラにより、「12:20:30」~「12:20:34」の間に検出されている。
タイムライン表示欄TML2は、検索結果画面WD8に対して指定されたいずれかの車両画像に対応する車両が車両撮影カメラにより検出された日時を時系列に示す。図16Bの例では、選択された車両画像の車両は、「LPR Camera 2」という名称を有する車両撮影カメラにより、「12:20:30」~「12:20:34」の間に検出されている。また、検索結果画面WD6へのオペレータOP1の操作により、車両監視アプリは、図12と同様の検索結果画面WD5を表示部93に表示してよい。
次に、実施の形態1に係る車両監視システム1による、車内乗員の顔画像からナンバープレートを検索する一連の動作手順について、図17を参照して説明する。図17は、検索条件として入力された車内乗員の顔画像からナンバープレートを検索する一連の動作手順の一例を示すシーケンス図である。図17の説明においても、車両監視システムの構成は図1Aに示す車両監視システム1、車両撮影カメラの構成は車両撮影カメラ10をそれぞれ例示する。図17の説明の前提として、例えば図5Aに示すように、映像蓄積解析サーバ50は、ナンバープレート映像または車内顔映像の受信の度に、ナンバープレート映像または車内顔映像に基づく、ナンバープレート照合の処理結果、車種および車色の検出結果、顔照合の処理結果および人数の計測結果を取得し(St34,St37,St40,St43)、蓄積している(St44)。
図17において、映像蓄積解析サーバ50は、オペレータOP1の操作により入力された顔画像(例えば顔画像FCE2)が検索条件として入力されると(St91)、クライアント端末90から送られる検索要求(顔画像FCE2を含む)を受信する。映像蓄積解析サーバ50(例えばプロセッサPRC1)は、検索要求の受信に応じて、顔画像FCE2の照合処理の実行を指示するための顔照合要求を顔検出照合コア53に送る(St92)。顔検出照合コア53は、顔画像FCE2をデータベース57に保持されている顔照合用リストと照合する(St93)。顔検出照合コア53は、顔照合の処理結果(例えば、スコア、年齢、性別、カメラID、カメラ位置情報、撮像時刻)のリストを映像蓄積解析サーバ50に通知する(St94)。なお、年齢および性別は、顔検出の処理において判別可能である。
映像蓄積解析サーバ50は、ステップSt94で得られた処理結果に含まれるスコア、カメラIDおよび撮像時刻に基づいて、ステップSt44で蓄積されている各種処理の蓄積結果から対応する蓄積情報(例えば、ナンバープレート、車種車色、同乗者がいる場合の同乗者の顔画像、人数結果)を検索(抽出)する(St95)。
映像蓄積解析サーバ50は、ステップSt95で抽出された同乗者の顔画像と顔照合要求とを顔検出照合コア53に送る(St96)。顔検出照合コア53は、その同乗者の顔画像をデータベース57に保持されている顔照合用リストと照合する(St97)。顔検出照合コア53は、顔照合の処理結果(例えば、スコア、年齢、性別、カメラID、カメラ位置情報、撮像時刻のリスト)を映像蓄積解析サーバ50に通知する(St98)。
映像蓄積解析サーバ50は、ステップSt95で抽出されたナンバープレートの照合処理の実行を指示するためのナンバー照合要求をナンバー検出照合コア51に送る(St99)。ナンバー検出照合コア51は、ナンバープレートをデータベース57に保持されているナンバー照合用リストと照合する(St100)。ナンバー検出照合コア51は、ナンバープレート照合の処理結果(例えば、ナンバープレート、カメラID、撮像時刻、車両登録情報(上述参照))を映像蓄積解析サーバ50に通知する(St101)。
映像蓄積解析サーバ50(例えばプロセッサPRC1)は、ステップSt94,St98,St101のそれぞれで通知されたカメラIDおよび撮像時刻に紐付けられるスコアおよび蓄積結果をリスト化する(St102)。映像蓄積解析サーバ50は、スコアを含む蓄積結果(例えば、ナンバー情報、車両登録情報、人数情報、同乗者の顔画像)の結果リストをクライアント端末90に検索結果として送る(St103)。クライアント端末90は、ステップSt103で送られた検索結果を用いて、検索結果画面WD6(例えば図14参照)を表示する(St104)。
以上により、実施の形態1に係る車両監視システム1は、少なくとも1台の車両撮影カメラ10と、クライアント端末90との間で通信可能に接続された映像蓄積解析サーバ50と、を含む。車両撮影カメラ10は、画角内に進入する車両のナンバーおよび乗員の顔を撮像可能であり、車両のナンバーおよび乗員の顔が映る撮像映像を映像蓄積解析サーバ50に送信する。映像蓄積解析サーバ50は、撮像映像に基づいて、ナンバーの解析結果と、車両の種類および色の解析結果と、乗員の顔の解析結果と、乗員の人数の解析結果とをそれぞれ取得して撮像映像の解析結果として蓄積する。また、映像蓄積解析サーバ50は、ナンバーの解析結果と車両の種類および色の解析結果と乗員の顔の解析結果と乗員の人数の解析結果とを、車両の撮像映像のスナップショットとを対応付けてクライアント端末90に送る。
これにより、車両監視システム1は、事件等を起こした容疑者が乗車している逃走車両の固有的特徴(例えば、車両のナンバープレート、車両の乗員の顔画像、車両の車種および車色、乗員の人数)を効率良く特定できる。従って、車両監視システム1は、逃走車両の固有的特徴(上述参照)から容疑者の外見および逃走車両の特徴を踏まえて容疑者の早急な特定を支援できるので、警察の捜査の利便性を向上できる。
また、映像蓄積解析サーバ50は、捜査対象車両のナンバーが登録されたナンバー照合用リストを保持するデータベース57を備え、クライアント端末90から検索条件として入力されたナンバー情報を受信すると、ナンバー情報がナンバー照合用リストに登録されているか否かを照合する。映像蓄積解析サーバ50は、ナンバー情報の照合結果と撮像映像の解析結果とを用いて、ナンバー情報に対応する車両の乗員の顔画像、車両の種類および色、乗員の人数を抽出してクライアント端末90に表示させる。これにより、クライアント端末90は、被写体としての車両のナンバープレートおよび車内乗員の顔を略同時に撮像可能な車両撮影カメラ10を用いて、オペレータOP1の操作によって入力されたナンバープレートの情報からそのナンバープレートの車両に乗車している乗員の顔画像をオペレータOP1に提示できる。
また、映像蓄積解析サーバ50は、車両の運転者および同乗者のそれぞれの顔画像を抽出してクライアント端末90に表示させる。これにより、クライアント端末90は、検索条件として入力されたナンバープレートの車両に乗車している乗員を運転者(例えば事件等の主犯)だけでなく助手席の同乗者(例えば事件等の共犯)を漏れなくオペレータOP1に対して提示でき、捜査効率を向上できる。
また、映像蓄積解析サーバ50は、捜査対象人物の顔画像および人物情報が登録された顔照合用リストをデータベース57に保持し、ナンバー情報に対応する車両の乗員の顔画像が顔照合用リストに登録されている旨の照合結果に従って、顔画像に対応する乗員の人物情報をクライアント端末90にポップアップ表示させる。これにより、クライアント端末90は、検索条件として入力されたナンバープレートの車両の乗員が前科者等のブラックリストに登録されている犯罪者であることが特定された場合に、その旨を明示的にオペレータOP1に対して提示できる。
また、映像蓄積解析サーバ50は、捜査対象人物の顔画像および人物情報が登録された顔照合用リストを保持するデータベース57を備え、クライアント端末90から検索条件として入力された顔画像を受信すると、顔画像が顔照合用リストに登録されているか否かを照合する。映像蓄積解析サーバ50は、顔画像の照合結果と撮像映像の解析結果とを用いて、顔画像に対応する車両のナンバー、車両の種類および色、乗員の人数を抽出してクライアント端末90に表示させる。これにより、クライアント端末90は、被写体としての車両のナンバープレートおよび車内乗員の顔を略同時に撮像可能な車両撮影カメラ10を用いて、オペレータOP1の操作によって入力された顔画像からその顔画像の人物が乗車している車両のナンバープレートをオペレータOP1に提示できる。
また、映像蓄積解析サーバ50は、顔画像に対応する車両の同乗者の顔画像が顔照合用リストに登録されているか否かを照合し、車両のナンバー、車両の種類および色、乗員の人数を含めてクライアント端末90に表示させる。これにより、映像蓄積解析サーバ50は、事件等の主犯(例えば運転者)と共犯(例えば同乗者)とが逃走中に運転を入れ替えた場合も考慮した上でナンバープレートの候補を広範に収集でき、容疑者グループ(主犯および共犯)の逃走車両のナンバープレートを漏れなく抽出できる。
また、映像蓄積解析サーバ50は、捜査対象車両のナンバーが登録されたナンバー照合用リストを保持するデータベース57を備え、車両のナンバーの検出結果がナンバー照合用リストに登録されているか否かを照合する。映像蓄積解析サーバ50は、車両のナンバーの検出結果がナンバー照合用リストに登録されている場合、または車両の種類および色の解析結果が所定条件を満たす場合(例えば上述したヒットした場合)に、撮像映像に基づいて乗員の顔と乗員の人数とを解析する。これにより、オペレータOP1は、映像蓄積解析サーバ50において車両撮影カメラ10の撮像映像に対する各種の解析等の処理結果がデータベース57に蓄積されていることを把握でき、その内容もクライアント端末90の表示部93を介して視覚的に確認できる。
また、車両撮影カメラ10は、捜査対象車両のナンバーが登録されたナンバー照合用リストを保持するデータベース(例えばメモリ12)を備え、車両のナンバーの検出結果がナンバー照合用リストに登録されているか否かを照合する。映像蓄積解析サーバ50は、照合の結果通知を車両撮影カメラ10から受信した後、撮像映像に基づいて車両の種類および色を解析し、車両のナンバーの検出結果がナンバー照合用リストに登録されている場合、または車両の種類および色の解析結果が所定条件を満たす場合(例えば上述したヒットした場合)に、撮像映像に基づいて乗員の顔と乗員の人数とを解析する。これにより、クライアント端末90を操作するオペレータOP1は、映像蓄積解析サーバ50において車両撮影カメラ10の撮像映像に対する各種の解析等の処理結果がデータベース57に蓄積されていることを把握でき、その内容もクライアント端末90の表示部93を介して視覚的に確認できる。また、図5Aの動作手順に比べて、ナンバープレート照合の処理を車両撮影カメラ10において実行できるので、車両撮影カメラ10の撮像映像に対する各種処理を車両撮影カメラ10および映像蓄積解析サーバ50で分散できるので、映像蓄積解析サーバ50の処理負荷の軽減が図られる。
また、車両撮影カメラ10は、捜査対象車両のナンバーが登録されたナンバー照合用リストを保持するデータベース(例えばメモリ12)を備え、車両のナンバーの検出結果がナンバー照合用リストに登録されているか否かを照合する。車両撮影カメラ10は、撮像映像に基づいて車両の種類および色を解析し、車両のナンバーの検出結果がナンバー照合用リストに登録されている場合、または車両の種類および色の解析結果が所定条件を満たす場合(例えば上述したヒットした場合)に、撮像映像に基づいて乗員の顔と乗員の人数とを解析し、ナンバーの解析結果と車両の種類および色の解析結果と乗員の顔の解析結果と乗員の人数の解析結果とを映像蓄積解析サーバ50に送信する。これにより、クライアント端末90を操作するオペレータOP1は、映像蓄積解析サーバ50において車両撮影カメラ10の撮像映像に対する各種の解析等の処理結果がデータベース57に蓄積されていることを把握でき、その内容もクライアント端末90の表示部93を介して視覚的に確認できる。また、図5Aおよび図5Bの動作手順に比べて、ナンバープレート照合、車種および車色の検出、顔照合、人数計測の各種の処理を車両撮影カメラ10において実行できるので、高性能な車両撮影カメラ10を使うことで、映像蓄積解析サーバ50の処理負荷の軽減が著しく図ることができる。
また、車両撮影カメラ10は、撮像映像に基づいて車両のナンバーを検出し、車両のナンバーを切り出したナンバー画像を映像蓄積解析サーバ50に送り、撮像映像に基づいて車両の乗員の顔を検出し、乗員の顔を切り出した顔画像を映像蓄積解析サーバ50に送る。映像蓄積解析サーバ50は、捜査対象車両のナンバーが登録されたナンバー照合用リストを保持するデータベース57を備え、ナンバー画像の受信に応じて、ナンバー画像がナンバー照合用リストに登録されているか否かを照合するとともに、撮像映像に基づいて車両の種類および色と乗員の人数とを解析し、顔画像の受信に応じて、撮像映像に基づいて乗員の顔を解析する。これにより、クライアント端末90を操作するオペレータOP1は、映像蓄積解析サーバ50において車両撮影カメラ10の撮像映像に対する各種の解析等の処理結果がデータベース57に蓄積されていることを把握でき、その内容もクライアント端末90の表示部93を介して視覚的に確認できる。また、ナンバー照合リスト,顔照合リストのそれぞれとの照合処理の対象となるナンバープレート画像,顔画像はそれぞれ撮像映像から該当するナンバープレート,顔だけが切り出されて生成されるので、ナンバープレート照合および顔照合の処理負荷の軽減が図られる。
また、実施の形態1に係る車両監視システム1では、車両撮影カメラ10は、画角内に進入する車両のナンバーの撮像に適する画像パラメータを有する第1撮像条件と、車両の乗員の顔の撮像に適する画像パラメータを有する第2撮像条件とを切り替えながら撮像する。車両撮影カメラ10は、第1撮像条件下での第1撮像映像(例えばナンバープレート映像)、第2撮像条件下での第2撮像映像(例えば車内顔映像)を映像蓄積解析サーバ50に送信する。映像蓄積解析サーバ50は、第1撮像映像および第2撮像映像に基づいて、クライアント端末90において再生可能な第1撮像映像の再生画面および第2撮像映像の再生画面を並べてクライアント端末90に表示させる(例えば図8あるいは図9参照)。
これにより、車両監視システム1は、車両撮影カメラ10により略同時刻に撮像されたナンバープレート映像の動画再生画面MVLP1と車内顔映像の動画再生画面MVFC1とをクライアント端末90に表示させるので、事件等を起こした容疑者が乗車している逃走車両の固有的特徴(例えば、車両のナンバープレート、車両の乗員の顔画像、車両の車種および車色、乗員の人数)の警官による早期かつ視覚的な特定を支援できる。従って、車両監視システム1は、警察の捜査の利便性を向上できる。
また、映像蓄積解析サーバ50は、クライアント端末90において再生および一時停止の操作が可能な第1撮像映像の再生画面および第2撮像映像の再生画面を並べてクライアント端末90に表示させる。これにより、オペレータOP1は、クライアント端末90への操作により、ナンバープレート映像あるいは車内顔映像、またはその両方の動画再生中に一時停止を行えて、オペレータOP1が気になる瞬間を止めて詳細を確認できる。
また、映像蓄積解析サーバ50は、第1撮像映像に基づいて切り出されたナンバーの切出画像を含むナンバー解析結果と、第1撮像映像のスナップショットとを更にクライアント端末90に表示させる。これにより、オペレータOP1は、ナンバープレートの詳細を一目で確認可能となり、容疑者の逃走車両の情報を早急に把握でき、捜査効率を向上できる。
また、第1撮像条件の画像パラメータは、第1基準値(既定値)より短い露光時間、あるいは第2基準値より小さいゲイン値である。第2撮像条件の画像パラメータは、第1基準値(既定値)より長い露光時間、あるいは第2基準値より大きいゲイン値である。これにより、車両撮影カメラ10は、第1撮像条件の画像パラメータを用いることで、ナンバープレートの特性(例えば反射し易い材質が使用)に適合した第1撮像条件により、高精度なナンバープレート映像を撮像できる。同様に、車両撮影カメラ10は、第2撮像条件の画像パラメータを用いることで、車内顔映像の特性(例えばフロントガラス越しの乗員の顔)に適合した第2撮像条件により、高精度な車内顔映像を撮像できる。
また、車両撮影カメラ10は、周囲の明るさを検知可能な照度センサS1と周囲にIR光を照射する夜間用短波長照明16とを備え、照度センサS1の検知結果に基づいて、動作モードを昼モードあるいは夜モードに切り替える。車両撮影カメラ10は、夜モードの間、第3基準値(既定値)より弱い強度のIR光を夜間用短波長照明16から照射するととともに、第3基準値(既定値)より強い強度のIR光を夜間用短波長照明16から照射する。これにより、たとえ夜中の時間帯で周囲が暗くても車両内の乗員(例えば運転者)の顔が鮮明に映し出されることになり、オペレータOP1の乗員の顔の早期認識を効率的に支援できる。一方で、動画再生画面MVLP2でのナンバープレート映像の再生により、たとえ夜中の時間帯で周囲が暗くても車両のナンバープレートが鮮明に映し出されることになり、オペレータOP1のナンバープレートの早期認識を効率的に支援できる。
また、映像蓄積解析サーバ50は、第1撮像映像の再生画面および第2撮像映像の再生画面が表示されたクライアント端末90のユーザ操作に応じて、第1撮像条件あるいは第2撮像条件の画像パラメータの更新指示を受信すると、画像パラメータの更新指示を車両撮影カメラ10に送る。車両撮影カメラ10は、画像パラメータの更新指示に応じて、対応する画像パラメータを更新する。これにより、車両撮影カメラ10は、フレームごとに車内顔画像用の画像パラメータとナンバープレート画像用の画像パラメータとを切り替えて、車内の乗員の顔の撮像に適した画像パラメータの下で撮像された車内顔画像を生成でき、ナンバープレートの撮像に適した画像パラメータの下で撮像されたナンバープレート画像を生成できる。
また、映像蓄積解析サーバ50は、車両撮影カメラ10により略同時刻(同時刻も含む)に撮像された第1撮像映像および第2撮像映像をクライアント端末90において再生させる。これにより、動画再生画面MVFC1での車内顔映像の再生により、たとえ昼間であろうが夜間であろうが、車両内の乗員(例えば運転者)の顔が鮮明に映し出されることになり、オペレータOP1の乗員の顔の早期認識を効率的に支援できる。一方で、動画再生画面MVLP1でのナンバープレート映像の再生により、たとえ昼間であろうが夜間であろうが車両のナンバープレートが鮮明に映し出されることになり、オペレータOP1のナンバープレートの早期認識を効率的に支援できる。
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
なお、上述した実施の形態1では、車両撮影カメラ10の撮像映像における検知対象物が車両であることを例示したが、検知対象物は車両に限定されず、その他の物体(例えば、車両等の移動体)でもよい。その他の物体は、例えば、事件等を引き起こした被疑者等の人物により操作されるドローン等の飛行物体でもよい。