JPWO2014155639A1 - 映像監視システムおよび画像検索システム - Google Patents
映像監視システムおよび画像検索システム Download PDFInfo
- Publication number
- JPWO2014155639A1 JPWO2014155639A1 JP2015507829A JP2015507829A JPWO2014155639A1 JP WO2014155639 A1 JPWO2014155639 A1 JP WO2014155639A1 JP 2015507829 A JP2015507829 A JP 2015507829A JP 2015507829 A JP2015507829 A JP 2015507829A JP WO2014155639 A1 JPWO2014155639 A1 JP WO2014155639A1
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- feature amount
- detection
- monitoring system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 claims abstract description 58
- 238000007619 statistical method Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims description 79
- 238000000605 extraction Methods 0.000 claims description 49
- 238000012544 monitoring process Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 78
- 238000003672 processing method Methods 0.000 abstract description 5
- 238000007726 management method Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 208000029152 Small face Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Alarm Systems (AREA)
Abstract
本発明は、複数の認識処理方式を有する認識処理部と、上記認識処理部の有する複数の認識処理に対して各処理の性能を評価する評価部と、前記評価部から得られる過去の複数の評価結果を統計解析して、カメラ毎または時間帯毎に最適な認識処理が何かを判定する統計解析部と、前記統計解析部で得られた結果に従って前記カメラから得られる画像に対して、認識処理部の有する複数の認識処理の中から、1または複数の認識処理を決定し、認識処理部においてその方式を用いて認識処理を行わせることを特徴とする選択制御部で構成する。これにより、カメラの設置された環境に最適な認識方式を過去の統計結果から自動的に設定可能であり、人手による調整コストの軽減、認識精度の向上が実現できる。
Description
本発明は、映像監視システムに係り、特に、カメラで取得した映像に対して顔・人検出などの検出処理する技術に関する。
従来の大規模な監視システムでは、様々な場所に設置された監視カメラの映像から、顔や人、車両などの特定のオブジェクトを検出し、上記検出したオブジェクトから特徴量を抽出してデータベースに登録・管理を行っていた。これにより、蓄積されたオブジェクト特徴を用いて特定人物を検索することや、特定人物の移動軌跡などを瞬時に分析することができた。
しかしながら従来システムでは、システムに接続されたネットワーク上の複数の監視カメラそれぞれで照明環境や俯角などが大きく異なるため、設置状況によって認識精度が劣化するという課題がある。例えば俯角が大きく設置されたカメラや、周囲の照明変動が激しい位置に設置されたカメラの映像に対しては顔検出精度が劣化するということがある。また、カメラ間で映る人物の顔向きが異なる場合、あるカメラ1で撮影された顔の特徴量を基に、カメラ1と俯角の異なるカメラ2から顔検索を行っても顔向きが異なることで同一人物の顔が見つかりにくくなるということが生じる。
これに対して、特許文献1は使用環境の温度によって、事前に用意したテーブルを基に画像処理方法を選択することで、照明変動を安定化する方法を提案している。同様に、特許文献2は、2つのカメラを使って顔を撮影し、それぞれの画像から得られた顔の状況に応じて顔認証の閾値を切替えることで安定化を図っている。
P.Viola and M.Jones,「Rapid Object Detection using Boosted cascade of Simple Features」, CVPR2001
しかしながら、特許文献1では、温度のように別の手段を用いて計測しなければならずシステムが複雑化するという課題があった。また、特許文献2では、カメラを同位置に2台設置しなければならず、コストが増大していた。一方で、カメラ毎に異なる認識処理を人手で設定することも考えらえるが、これには専門知識が必要であり、カメラ台数が数100台以上など膨大になると、この設定に多くの時間が必要であった。
上記課題を解決するために、例えば請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、監視システムであって、カメラと、カメラで撮影された入力画像から対象物を検出する検出部と、検出された対象物の特徴量を抽出する特徴量抽出部と、入力画像と対象物と特徴量とを蓄積する記憶部と、検出部と特徴量抽出部とを制御する選択制御部と、検出部と特徴量抽出部とからの結果を評価する評価部と、を有し、評価部からの出力に基づいて選択制御部は、検出部での検出方式および特徴量抽出部での抽出方式を選択することを特徴とする。
本発明によれば、複数の監視カメラ毎に異なる状況下において、カメラ毎に最適な検出・抽出処理を自動的に選択できる。
図1は本発明の概要を示すものであり、本発明を用いた監視システムの一例を示す図である。本システムは、1または複数台のカメラ110a〜110bを有し、これらのカメラは通信基盤120を通じて繋がっている。通信基盤120は、LANや映像伝送ケーブルであり、各カメラの映像は通信基盤120を通じて伝送される。画像認識部130はサーバ上またはカメラ内のCPU上に置かれる処理部であり、カメラ110から得られる画像に対して顔検出などの認識処理を実施し、認識結果を通信基盤120を通じて特徴量データベース140に伝送する。
特徴量データベース140は、画像認識部130から得られた特徴量を格納し、管理する機能を有する。また、蓄積した複数の特徴量から類似する特徴量のデータを検索する機能を有する。特徴量データベース140に蓄積されている画像特徴量には、画像データベース150に蓄積されている画像とIDなどを用いて紐付けされている。画像データベース150は、各カメラ110から得られる画像データを蓄積する。
ここで蓄積される画像データには、時間情報やカメラ情報などが付加されており、これらの情報を基に所定の画像を瞬時に検索する機能を有する。管理部160は、選択制御部で設定されている制御方式の統括など、画像認識部130を管理する機能を有する。表示部170は、画像データベースに蓄積された画像データなどを検索・閲覧することや、管理部160を通じて認識部130の状態を管理する。センサ180は、赤外線センサやRFIDリーダなどの各種センサであり、センサ情報は通信基盤120を通じて画像認識部130でも取得できるようになっている。ただし、センサ180は必須の構成ではない。
画像認識部130では、カメラ110から得られた画像に対して、まず選択制御部131で、オブジェクト検出部132、特徴抽出部133で行う画像認識方式を決定する。オブジェクト検出部132は、複数の検出方式1〜Nを有しており、選択制御部131で選択された方式に従って、オブジェクト検出を行う。同様に、特徴抽出部133においても、選択制御部131で決められた抽出方式を用いて132で得られたオブジェクトから、そのオブジェクトの特徴量抽出を行う。
認識結果出力部134では、得られたオブジェクト特徴量の情報を通信基盤120経由で特徴量データベース140に送付する。また、状況に応じて評価部135に送付する。評価部135では、オブジェクト検出部132と特徴抽出部133の有する各種方式の評価を実施し、評価結果を統計解析部136に送付する。統計解析部136では、得られた複数の評価結果を統計解析することで、カメラ毎、または各カメラの時間帯毎に最適なオブジェクト検出方式、特徴抽出方式が何であるかを判定し、方式選択テーブルを作成および定期的に更新する。選択制御部131では、統計解析部136の有する方式選択テーブルに従って、方式選択を行う。以上の構成をとることで、カメラ毎に事前に決められた最適な認識方式を用いてオブジェクト検出や特徴抽出処理を行うことができ、設置状況に応じた最適な認識処理が自動的に行える。
図2は、本発明のシステム構成を示す図である。画像認識部130は、サーバ計算機210上で動作するソフトウェアである。サーバ計算機210は、情報を通信基盤に対して送受信するI/F211と、画像認識部130の処理を行うCPU212、メモリ213、情報記憶を行うHDD214で構成される。また、管理部160も同様にCPU212上で実行され、その管理情報はHDD214内に保管される。表示部170はクライアント計算機内で実現される。上記、システム構成上で、本発明は実行される。なお、サーバ計算機は1台でも複数台あってもよい。また、クライアント計算機170と同一機器上で実現してもよい。
図3は、オブジェクト検出部132の処理の流れの一例を示す図である。ここでは、オブジェクトとして顔検出を行う例を示しているが、検出したい対象に応じて人や車両検出を行っても良い。S31で得られた画像に対して、S32で前処理を行う。例えば、画像スケール変更、超解像、平滑化や輪郭強調などのフィルタ処理などが候補となる。次にS33では動体検出処理を行い、動体領域を抽出する。S34では、S33で得られた動体領域に対して顔検出を行い、顔を検出する。顔検出は例えば非特許文献1に記載された方式を用いることで事前に機械学習により構築した識別器を用いることで画像から顔を検出できる。
この識別器の例を図4に示す。正面顔を検出可能な正面顔識別器、左横顔を検出可能な横顔識別器、下向き顔を検出可能な下向き顔識別器など、事前に顔向き毎に識別器を構築しておく。顔の回転ごとに識別器を用意しておくことや、人・車両などオブジェクトごとに識別器を用意しておいても良い。実行時は、これら複数の識別器の中から選択制御部131で選択された識別器を使って検出処理を行う。S35では、S34で得られた検出結果に対して誤検出判定を行って、S36で検出結果を出力する。各ステップにおける処理の実行/未実行、複数方式の選択は、選択制御部131で決定されている結果に基づいて行われる。
図5は、特徴抽出部におけるオブジェクト特徴量抽出処理の流れの一例を示す図である。S51では、オブジェクト検出部132で得られたオブジェクト検出結果を受け取る。S52では、検出したすべてのオブジェクトからオブジェクトoを選択して、以下のS53、S54の処理を行う。S53では、検出した顔画像に対して前処理を行う。前処理は、照明の正規化や、超解像による画像拡大、目鼻口などの顔器官位置検出による画像位置補正などを行う。
次に、S54において前記前処理がおこなわれた顔画像に対して特徴量抽出を行う。特徴量抽出では、PCA(主成分分析)やGabor Filter、HOG特徴量算出などによって複数次元Dの画像特徴量を抽出する。この特徴量抽出として、頭部全体からD1次元の特徴量を抽出する手法や、髪のある領域を除いた顔領域部分のみからD2次元の特徴量を抽出する手法や、S54の前処理で得られた顔器官位置周辺から局所的な特徴量をD3次元抽出する手法などを用意しておき、これを選択制御部131の指定において切替える。ここでD1、D2、D3<Dである。
S55では、検出した全てのオブジェクトに対して特徴量を抽出したかを判定し、未抽出のオブジェクトがあればSE2に戻り、なければS56へと移動する。S56では得られた全オブジェクトの特徴量を出力する。これによって、例えば顔がカメラに小さく映る傾向にある場合は頭部全体のD1次元特徴量、大きく映る場合は、全体D1次元+顔部分D2次元特徴量を抽出するという選択が行われる。このように複数の特徴量を抽出することで、顔が小さい映るカメラと大きく映るカメラ間では、D1次元の頭部全体特徴量のみを用いて検索を行い、顔が大きく映るカメラ間では、全ての特徴量を用いて検索を行うことが可能となる。
図6は認識結果出力部134の出力結果の例を示す図である。認識結果出力部134では、オブジェクト検出部132、特徴抽出部133で得られたオブジェクト情報にカメラ番号や時間情報を付加して認識結果とし、特徴量データベース140に登録する。認識結果が要する情報は、撮影されたカメラ番号や、撮影時間などで固有なフレームID、選択制御部131で選択された検出処理方式と特徴抽出方式、画像上のオブジェクト位置を示す検出領域、そのオブジェクトから得られたD次元の特徴量などである。
得られた認識結果情報は認識結果テーブル610として蓄積され、これを画像フレームごとに送っても良いし、一定時間ごとにまとめて送ってもよい。検出方式と特徴抽出方式の情報を付加しておくことで、特徴量データベースにおいて、これらの情報別にファイル管理して記録しておくことができる。これにより、データ検索の速度を高められる。また、同方式の結果得られた特徴量同士内で検索したり、別方式間は所定の変換を行って検索することも可能となり、検索精度を高められる。
図7は、評価部135の詳細な構成を示した図である。画像収集部701では、評価画像を伝送部120から取得し、評価用データ蓄積部703に蓄積する。ただし、評価用データ蓄積部703への蓄積は、ある特定のセンサ情報と認識結果を取得した際のみ行われる。センサ情報取得部702では伝送部からセンサ情報を取得し、特定のセンサ情報を取得した際には画像収集部に通知する。このセンサ情報は、例えば人感センサや、RFIDなどを用いた入退カード情報、携帯電話などによる電波情報などである。入退時のカード情報などを用いれば、何人がどこからカメラ撮影エリアに入ったかまで大体推定可能となる。評価データ蓄積部703では、画像収集部701で収集した画像を蓄積する。この際に、センサ情報や認識結果情報を付加して記録しておく。
評価実行制御部704では、評価データ蓄積部703の画像に対する認識処理の実行命令を、選択制御部131に送付する。選択制御部131では、評価実行の際は全てのオブジェクト検出方式1〜N、特徴抽出方式1〜Mを実行するように制御命令を出す。この評価実行制御部は、例えば夜間などの時間帯や、人が誰も映っておらずにCPU212の処理負荷が軽い時間帯に、実行命令を出力する。
評価実行制御部704で命令された評価画像に対する認識結果は、認識結果出力部134から認識結果取得部705に入力され、結果判定部705へと送られる。また、認識結果取得部705は、評価実行時以外の通常時の認識結果も取得しており、ある特定の認識結果を取得したら画像収集部に、その結果を通知する。この特定の認識結果とは例えば、検出したオブジェクト数が多い場合や、多くの動体があるのにオブジェクトがほとんど検出できなかった場合などである。これらはそれぞれ、多くの人がいたであろう画像や、検出漏れが生じたであろう画像として評価画像として適しているため、画像収集部701において、この画像を収集するか判断し、蓄積する。結果判定部706では、複数方式の認識結果に対して精度評価を行い、その結果をまとめて統計解析部136に送付する。
以上の構成をとることで、評価に適した画像を定期的に収集でき、更にはセンサ情報や認識結果を基に、その評価画像における正解情報(人の位置や、その人が誰であるかなど)を自動的に収集できる。こうして得られた評価画像に対して、必要な認識処理を邪魔することなく、複数の認識方式の評価を実施できる。
図8は、画像収集部701における画像収集の判断を行うフローチャートである。S81にて判別処理を開始したら、まず、S83においてセンサ情報取得部702から得られたセンサ値が閾値Ss以上であるかを判断する。この閾値は、例えばセンサが人感センサであればセンサの感知量であり、センサがRFIDなどによるゲートや扉に対する通過情報であれば、一定時間内の通過人数(たとえば3人以上)などとする。閾値以上であれば、S86に遷移し、現在の画像を収集して一時メモリにキャッシュしておく。閾値未満であれば、S84へと遷移する。S84では、認識値を閾値Srと比較し、閾値以上であればS86へ、閾値未満であれば、S85へと遷移する。この認識値は例えば、動体領域数や、抽出した顔特徴量と事前登録された本人との距離の値となる。S85では、以前に評価画像を記録した時間から、一定時間T2秒以上経過したかを判定し、経過してなければS83の判定処理に戻り、経過していれば、S87に遷移して一時保存していた画像を評価データ蓄積部に記録する。
記録後は、S82へと遷移して、S82でT1秒間待機したのち、また画像収集を行うかを判別し続ける。T1秒待機するのは、同じような画像が保存されることを防ぐためである。以上の処理によって、一定間隔T2秒に一枚ずつ評価用画像を蓄積することができる。また、センサ値や認識値を用いて、より評価に適した画像が収集集可能となる。
図9は、結果判定部706の判定結果の例を示す図である。例えば、出勤時の入退ゲートなどを通過する場所では、センサ情報として通過時のIDを基に、カメラに撮影されている人の数と、その人が誰であるかという情報を画像に付加して評価データ蓄積部703に記録される。この情報を基に、画像中の3人中何人を検出できたかという検出率と、特定人物から得た特徴量と登録されているその人物の特徴量との特徴量空間上の距離(類似度)とを評価結果として得られる。以上によって、センサ情報を基にオブジェクト検出と特徴量の精度を算出できる。
図10は統計解析部136が保有する解析結果の一例を示す図である。統計解析部136は、評価部135で得られた評価結果をDBに蓄積し、一定時間間隔でこれらの蓄積されたデータに対して統計解析を行う。この結果、統計解析部は、解析結果テーブル1010を得る。テーブル1010aと1010bは、それぞれカメラ110aと110bの解析結果テーブルの一例を示す。
結果テーブルは、特定の時間帯、天気、検出方式、検出領域、特徴抽出方式などの項を有し、時間帯毎に認識結果を分けることで、選択制御部131において特定の時間帯毎に認識方式を切替えることを可能とする。同様に、その際の天気情報などを有することで天気毎に認識方式を変えることが可能となる。検出方式の項目では、検出方式毎の認識率として正検出精度が、特徴抽出方式では各特徴量抽出方式に対する認証精度が評価データすべてから平均を算出することで得られる。これによって、ある時間帯にどの認識方式が最高性能であるかを統計的に把握できる。
また、検出領域は、検出したすべてのオブジェクトが存在した領域などを格納しておく。これによって、時間帯毎にオブジェクトが存在するであろう領域を把握できる。また、統計解析に用いた総データ数もこのテーブルに保存していても良い。これにより、各認識率の信頼度が判定でき、統計データが少ないときには方式選択を行わないということも可能である。このほかにも、照明状況毎、顔の大きさごと、CPU負荷状況毎に統計解析テーブルを作成して出力しても良い。
図11は、選択制御部131の方式選択テーブルの一例である。各カメラ、時間帯毎にオブジェクト検出方式と特徴抽出方式を統計解析部136の結果を基に最高精度の認識処理行えるように規定する。実行中は、このテーブルに従ってオブジェクト検出部132と特徴抽出部133の処理内容を指定する。この方式制御テーブル1110は、1日毎や一週間毎など特定の期間で更新される。また、カメラ設置位置の変更などがあった場合は、リセットされる。
以上の構成を取ることで、監視システムを構成する複数個所に設置された膨大な数のカメラに対して、それぞれの環境に応じた最適な認識方式で画像認識処理を行うことができる。
図12は、表示部170において監視システム管理画面を表示した一例である。監視システムの管理情報は、管理部160において管理されている。例えば、選択制御部131が保有する各カメラの方式制御テーブル1110や、統計解析部が保有する解析結果テーブル1010を一括して管理している。表示部170では、管理部160から必要な情報を抽出し、これを整形してわかりやすく表示する処理を行う。これらは、HTMLやFlashなどを用いて構築できる。図12(a)は、処理方式確認画面1210の一例であり、この画面上で各カメラで採用されているオブジェクト検出方式と特徴抽出方式を確認することができる。ここで各項目の設定を変更して、「更新」ボタンを押すことで管理部160を通じて選択制御部131の方式選択テーブルを変更することも可能である。これにより、多くの認識方式は統計解析結果を基に自動で決定して、微調整だけを手動を行うこともできる。また、「固定」ボタンを押すことで、決定した方式を今後更新しないで使用し続けることも可能となる。画面右下の現画像ウインドウには、カメラの現画像に対する認識結果を表示することで、画像を確認しながら認識方式の微調整が可能となる。
図12(b)は、評価結果確認画面1220の一例である。ここでは、管理部160を通じて、統計解析部136で得られた評価結果を確認できる。また、確認したい方式を選択することで、画面下のウインドウに評価画像とその認識結果と正解情報などを重畳表示し、評価結果を確認することが可能である。画面下のボタンで画像送り、戻りなどの再生制御が行え、画面右横のボタンで、評価画像の削除や正解情報の追加・修正が行える。これにより、評価画像の質を高められ、より正確な精度評価を実現可能となる。
図13は、表示部170において画像検索を実施する画面の一例である。検索結果表示画面1310は、クエリ画像ウインドウにおいて特定の顔画像を選択し、ウインドウ横にある検索ボタンを押すことで、類似する顔が映っている画像の検索を行う。検索命令は、特徴量データベース140に伝送され、特徴量データベース140内でクエリの顔と類似する特徴量を有するデータを検索し、類似する順(距離の近い順)にデータベース内のデータを出力する。表示部170では、取得したデータ内のフレームID情報を基に画像データベース150から画像を吸出し、画面上に表示する。この際、検出方式と特徴抽出方式をクエリ画像と同じ処理だった画像に対してのみ限定して検索結果を表示することも可能である。また、1,2方式だけが異なる「近方式」間の結果や、それ以上で方式が異なる「別方式」間の検索結果という形で、分けて表示することも可能である。例えば、同方式間では同じ顔の距離が0.1であったのに対して、別方式間では、同じ人の顔の距離が最小でも0.3にしかならないということがある。これを同検索結果として表示すると、別方式で撮影された顔は検索結果の後の方になってしまい、発見が困難となる。同方式、別方式毎に分けて表示することにより、同じ顔の画像検索結果を発見しやすくなる。
以上を踏まえ、本実施例に記載の監視システムは、カメラと、カメラで撮影された入力画像から対象物を検出する検出部と、検出された対象物の特徴量を抽出する特徴量抽出部と、入力画像と対象物と特徴量とを蓄積する記憶部と、検出部と特徴量抽出部とを制御する選択制御部と、検出部と特徴量抽出部とからの結果を評価する評価部と、を有し、評価部からの出力に基づいて選択制御部は、検出部での検出方式および特徴量抽出部での抽出方式を選択することを特徴とする。
かかる特徴によって、評価に適した画像を定期的に収集でき、更にはセンサ情報や認識結果を基に、その評価画像における正解情報(人の位置や、その人が誰であるかなど)を自動的に収集できる。
<検出領域の限定>
本発明の第2の実施例である検出領域限定方法について図14を用いて説明する。図14(a)は、あるカメラ110aで撮影した通路の画像であり、図14(b)は統計解析部136に蓄積された認識結果を画像上に描画した一例を示した画像である。図14(b)に示すように、顔などのオブジェクトは通路上の限られたエリアに対してエリア毎に特定のサイズで出現する。このため、統計解析を行うことで図14(c)のように画像上の分割したエリア毎に存在するオブジェクトサイズを限定できる。図14(c)では、0と書かれた領域にはオブジェクトが出現しなかったことを示す。それ以外は、出現したオブジェクトの最小最大サイズを示している。このテーブルを選択制御部131で参照することで、オブジェクト検出を行う領域や、オブジェクトのサイズを制限することができ、処理時間の削減や誤検出除去を行うことが可能となる。
更には、統計処理で得られた出現分布を基に、カメラが設置されている位置のMAPを推定することが可能となる。これをカメラが設置された施設等の地図データと照合することで、地図上のどこを撮影しているかを推定でき、自動的に現在のカメラ位置を推定できる。
本発明の第2の実施例である検出領域限定方法について図14を用いて説明する。図14(a)は、あるカメラ110aで撮影した通路の画像であり、図14(b)は統計解析部136に蓄積された認識結果を画像上に描画した一例を示した画像である。図14(b)に示すように、顔などのオブジェクトは通路上の限られたエリアに対してエリア毎に特定のサイズで出現する。このため、統計解析を行うことで図14(c)のように画像上の分割したエリア毎に存在するオブジェクトサイズを限定できる。図14(c)では、0と書かれた領域にはオブジェクトが出現しなかったことを示す。それ以外は、出現したオブジェクトの最小最大サイズを示している。このテーブルを選択制御部131で参照することで、オブジェクト検出を行う領域や、オブジェクトのサイズを制限することができ、処理時間の削減や誤検出除去を行うことが可能となる。
更には、統計処理で得られた出現分布を基に、カメラが設置されている位置のMAPを推定することが可能となる。これをカメラが設置された施設等の地図データと照合することで、地図上のどこを撮影しているかを推定でき、自動的に現在のカメラ位置を推定できる。
<避難誘導>
本発明の第3の実施例である特殊状況時の監視システムについて図15を用いて説明する。図15は、選択制御部131が保有する特殊条件時方式制御テーブル1510の一例を示すものである。特殊条件時優先方式テーブル1510には、特殊条件が発生した際のオブジェクト検出部132と特徴抽出部133の処理の優先度を示す。特殊条件時優先方式テーブル1510は、緊急時の対応のため統計的に多くのデータを収集することができないため手動で設定しておく。特殊条件時優先方式テーブル1510には特殊状況の項を有し、火災、地震などの特殊状況毎に切替え認識方式の優先度を付けて置く。なお火災や地震などの特殊状況の発生は通信基盤120を通じてセンサから得ることができる。火災は、センサ180として、煙り検知センサを付けることで感知でき、地震は緊急地震速報の通知や震度計のセンサ情報を取得することで感知できる。これらのセンサ情報を選択制御部131で受信したら、特殊条件時優先方式テーブル1510と解析結果テーブル1010とから生成した特殊条件時方式制御テーブル1520に従って認識処理を行うことにする。特殊条件時方式制御テーブル1520は、解析結果テーブル1010の有する各方式の認識率Rと特殊条件時優先方式テーブル1510の優先度Pを掛け合わせた値が一定の閾値以上であり、かつ別方式の中で最大となった方式を選択する。これにより例えば地震時は顔検出は行わずに動体検出に専念させることや、あるカメラには何の認識処理もさせず、別の災害時に重要となるカメラに認識処理を専念させるといった切替えが可能となる。特殊条件時優先方式テーブル1510が持つ最小検出サイズは、これら特殊状況時のオブジェクトが画像に映る最小サイズを規定しておく。この値と統計解析部136が有するオブジェクトの最小・最大サイズを比較することで、特殊状況時にカメラのズームやパン・チルトをいくつにするべきか決定できる。これをカメラ切替え値として特殊条件時方式制御テーブル1520に記載しておくことで、各カメラの統計解析結果に基づいて特殊状況発生時に最適なカメラパラメータを設定できる。例えば、通常時は人の顔が鮮明に映るようにズーム気味に設定されていたカメラを、地震発生時にはより広角に撮影できるように切替えて全体を監視することが可能となる。また、特殊状況としてPTZカメラの設定値毎にテーブルを用意しておけば、カメラのPTZ向き毎に検出方式を切替えることも可能となる。
以上の構成により、地震などの災害や、渋滞などの混雑時といった特殊状況においても、事前に手動で設定した優先度と過去の統計量に基づいて、カメラ環境毎に最適な認識方式を実施することが可能となる。
本発明の第3の実施例である特殊状況時の監視システムについて図15を用いて説明する。図15は、選択制御部131が保有する特殊条件時方式制御テーブル1510の一例を示すものである。特殊条件時優先方式テーブル1510には、特殊条件が発生した際のオブジェクト検出部132と特徴抽出部133の処理の優先度を示す。特殊条件時優先方式テーブル1510は、緊急時の対応のため統計的に多くのデータを収集することができないため手動で設定しておく。特殊条件時優先方式テーブル1510には特殊状況の項を有し、火災、地震などの特殊状況毎に切替え認識方式の優先度を付けて置く。なお火災や地震などの特殊状況の発生は通信基盤120を通じてセンサから得ることができる。火災は、センサ180として、煙り検知センサを付けることで感知でき、地震は緊急地震速報の通知や震度計のセンサ情報を取得することで感知できる。これらのセンサ情報を選択制御部131で受信したら、特殊条件時優先方式テーブル1510と解析結果テーブル1010とから生成した特殊条件時方式制御テーブル1520に従って認識処理を行うことにする。特殊条件時方式制御テーブル1520は、解析結果テーブル1010の有する各方式の認識率Rと特殊条件時優先方式テーブル1510の優先度Pを掛け合わせた値が一定の閾値以上であり、かつ別方式の中で最大となった方式を選択する。これにより例えば地震時は顔検出は行わずに動体検出に専念させることや、あるカメラには何の認識処理もさせず、別の災害時に重要となるカメラに認識処理を専念させるといった切替えが可能となる。特殊条件時優先方式テーブル1510が持つ最小検出サイズは、これら特殊状況時のオブジェクトが画像に映る最小サイズを規定しておく。この値と統計解析部136が有するオブジェクトの最小・最大サイズを比較することで、特殊状況時にカメラのズームやパン・チルトをいくつにするべきか決定できる。これをカメラ切替え値として特殊条件時方式制御テーブル1520に記載しておくことで、各カメラの統計解析結果に基づいて特殊状況発生時に最適なカメラパラメータを設定できる。例えば、通常時は人の顔が鮮明に映るようにズーム気味に設定されていたカメラを、地震発生時にはより広角に撮影できるように切替えて全体を監視することが可能となる。また、特殊状況としてPTZカメラの設定値毎にテーブルを用意しておけば、カメラのPTZ向き毎に検出方式を切替えることも可能となる。
以上の構成により、地震などの災害や、渋滞などの混雑時といった特殊状況においても、事前に手動で設定した優先度と過去の統計量に基づいて、カメラ環境毎に最適な認識方式を実施することが可能となる。
110a,110b…カメラ、
120…通信基盤、
130…画像認識部、
131…選択制御部、
132…オブジェクト検出部、
133…特徴抽出部、
134…認識結果出力部、
135…評価部、
136…統計解析部、
140…特徴量データベース、
150…画像データベース、
160…管理部、
170…表示部、
180a…センサ
210…サーバ計算機、
211…I/F、
212…CPU、
213…メモリ、
214…HDD
610…認識結果テーブル
701…画像収集部、
702…センサ情報取得部、
703…評価データ蓄積部、
704…評価実行制御部、
705…認識結果取得部、
706…結果判定部
1010…解析結果テーブル
1110…方式制御テーブル
1210…処理方式確認画面、
1220…評価結果確認画面
1310…検索結果確認画面
1510…特殊条件時優先方式テーブル、
1520…特殊条件時方式制御テーブル。
120…通信基盤、
130…画像認識部、
131…選択制御部、
132…オブジェクト検出部、
133…特徴抽出部、
134…認識結果出力部、
135…評価部、
136…統計解析部、
140…特徴量データベース、
150…画像データベース、
160…管理部、
170…表示部、
180a…センサ
210…サーバ計算機、
211…I/F、
212…CPU、
213…メモリ、
214…HDD
610…認識結果テーブル
701…画像収集部、
702…センサ情報取得部、
703…評価データ蓄積部、
704…評価実行制御部、
705…認識結果取得部、
706…結果判定部
1010…解析結果テーブル
1110…方式制御テーブル
1210…処理方式確認画面、
1220…評価結果確認画面
1310…検索結果確認画面
1510…特殊条件時優先方式テーブル、
1520…特殊条件時方式制御テーブル。
Claims (9)
- カメラと、
前記カメラで撮影された入力画像から対象物を検出する検出部と、
検出された前記対象物の特徴量を抽出する特徴量抽出部と、
前記入力画像と前記対象物と前記特徴量とを蓄積する記憶部と、
前記検出部と前記特徴量抽出部とを制御する選択制御部と、
前記検出部と前記特徴量抽出部とからの結果を評価する評価部と、を有し、
前記評価部からの出力に基づいて選択制御部は、前記検出部での検出方式および前記特徴量抽出部での抽出方式を選択することを特徴とする監視システム。 - 請求項1記載の監視システムであって、
評価部から出力された結果を蓄積し、統計解析を行い、解析結果を制御選択部へ出力する統計解析部を、さらに有することを特徴とする監視システム。 - 請求項2に記載の監視システムであって、
前記対象物として検出されるのは顔であることを特徴とする監視システム。 - 請求項2に記載の監視システムであって、
前記記憶部は、特定の時間ごとに前記入力画像を蓄積し、
前記検出部および前記特徴量抽出部は、前記検出部および前記特徴量抽出部の処理負荷が少ないときに、前記入力画像に対して複数の検出方式および抽出方式を実行し、
前記評価部は、各前記検出方式および各前記抽出方式を実行した結果をそれぞれ評価し、前記記憶部に蓄積することを特徴とする監視システム。 - 請求項4に記載の監視システムであって、
センサ情報取得部をさらに有し、
前記センサ情報取得部で取得された画像を、前記評価部で用いることを特徴とする監視システム。 - 請求項2に記載の監視システムであって、
前記統計解析部は、前記評価部から出力された結果から、前記カメラの時間帯ごとの性能を算出することを特徴とする監視システム。 - 請求項3に記載の監視システムであって、
前記統計解析部は、過去に検出した顔の前記入力画像中に占める位置と大きさとを解析することで、前記入力画像上の領域ごとの顔の出現頻度を算出し、
前記選択制御部は、前記出現頻度に応じて前記検出部が検出する領域または検出する対象物の大きさを制御することを特徴とする監視システム。 - 請求項4に記載の前記監視システムと、
ユーザーからのクエリ画像の指定を受け付ける入力部と、
前記クエリ画像から抽出された特徴量と類似する特徴量を持つ前記対象物を前記記憶部から検索する検索部と、
前記検索部の結果を表示する表示部と、を有する画像検索システム。 - 請求項8に記載の画像検索システムであって、
前記記憶部は、前記特徴量を蓄積する特徴量記憶部と、前記入力画像を記憶する画像記憶部と、を備え、
前記特徴量記憶部は、抽出された前記特徴量に対し、抽出の際に用いた前記検出方式および前記抽出方式を特定する情報を付加して蓄積し、
前記表示部は、前記検出方式または前記抽出方式ごとに検索結果を表示することを特徴とする画像検索システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2013/059437 WO2014155639A1 (ja) | 2013-03-29 | 2013-03-29 | 映像監視システムおよび画像検索システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5982557B2 JP5982557B2 (ja) | 2016-08-31 |
JPWO2014155639A1 true JPWO2014155639A1 (ja) | 2017-02-16 |
Family
ID=51622706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015507829A Expired - Fee Related JP5982557B2 (ja) | 2013-03-29 | 2013-03-29 | 映像監視システムおよび画像検索システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5982557B2 (ja) |
WO (1) | WO2014155639A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230133832A1 (en) * | 2021-11-01 | 2023-05-04 | Western Digital Technologies, Inc. | Data Collection and User Feedback in Edge Video Devices |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6531435B2 (ja) * | 2015-03-11 | 2019-06-19 | カシオ計算機株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP6499750B2 (ja) * | 2015-03-25 | 2019-04-10 | 株式会社日立国際電気 | 顔照合システムおよび顔照合方法 |
KR101916832B1 (ko) * | 2017-07-11 | 2018-11-08 | 강경수 | 어노테이션 바운딩 박스를 이용한 오브젝트 감지 방법 및 장치 |
JP6977383B2 (ja) * | 2017-08-08 | 2021-12-08 | 富士通株式会社 | データ処理装置、プログラム及びデータ処理方法 |
WO2020148890A1 (ja) | 2019-01-18 | 2020-07-23 | 日本電気株式会社 | 情報処理装置 |
JP2020113964A (ja) * | 2019-07-17 | 2020-07-27 | パナソニックi−PROセンシングソリューションズ株式会社 | 監視カメラおよび検知方法 |
CN116456058A (zh) * | 2023-04-28 | 2023-07-18 | 南京派拉斯曼工程技术有限公司 | 一种基于改进的视频捕捉检测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002073321A (ja) * | 2000-04-18 | 2002-03-12 | Fuji Photo Film Co Ltd | 画像表示方法 |
JP2008017224A (ja) * | 2006-07-06 | 2008-01-24 | Casio Comput Co Ltd | 撮像装置、撮像装置の出力制御方法及びプログラム |
JP5509773B2 (ja) * | 2009-01-21 | 2014-06-04 | オムロン株式会社 | パラメータ決定支援装置およびパラメータ決定支援プログラム |
JP2012208710A (ja) * | 2011-03-29 | 2012-10-25 | Panasonic Corp | 属性推定装置 |
-
2013
- 2013-03-29 JP JP2015507829A patent/JP5982557B2/ja not_active Expired - Fee Related
- 2013-03-29 WO PCT/JP2013/059437 patent/WO2014155639A1/ja active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230133832A1 (en) * | 2021-11-01 | 2023-05-04 | Western Digital Technologies, Inc. | Data Collection and User Feedback in Edge Video Devices |
Also Published As
Publication number | Publication date |
---|---|
WO2014155639A1 (ja) | 2014-10-02 |
JP5982557B2 (ja) | 2016-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5982557B2 (ja) | 映像監視システムおよび画像検索システム | |
US11308777B2 (en) | Image capturing apparatus with variable event detecting condition | |
US11735018B2 (en) | Security system with face recognition | |
JP5976237B2 (ja) | 映像検索システム及び映像検索方法 | |
Adam et al. | Robust real-time unusual event detection using multiple fixed-location monitors | |
JP5793353B2 (ja) | 顔画像検索システム、及び顔画像検索方法 | |
US9224278B2 (en) | Automated method and system for detecting the presence of a lit cigarette | |
JP5390322B2 (ja) | 画像処理装置、及び画像処理方法 | |
JP6854881B2 (ja) | 顔画像照合システムおよび顔画像検索システム | |
US9477876B2 (en) | Person recognition apparatus and method thereof | |
WO2014132841A1 (ja) | 人物検索方法及びホーム滞留人物検索装置 | |
CN109766779B (zh) | 徘徊人员识别方法及相关产品 | |
JPWO2014050518A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP5669082B2 (ja) | 照合装置 | |
JPWO2015166612A1 (ja) | 映像解析システム、映像解析方法および映像解析プログラム | |
US20190213424A1 (en) | Image processing system and image processing method | |
US20160239712A1 (en) | Information processing system | |
KR102333143B1 (ko) | 무인 계수 서비스 제공 시스템 | |
US10373015B2 (en) | System and method of detecting moving objects | |
US9811739B2 (en) | Surveillance system and surveillance method | |
KR101979375B1 (ko) | 감시 영상의 객체 행동 예측 방법 | |
US10783365B2 (en) | Image processing device and image processing system | |
JP5202419B2 (ja) | 警備システムおよび警備方法 | |
KR20160093253A (ko) | 영상 기반 이상 흐름 감지 방법 및 그 시스템 | |
JP5586736B2 (ja) | 類似画像検索の結果表示装置及び類似画像検索の結果表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160801 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5982557 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |