JP3981391B2 - 監視装置 - Google Patents

監視装置 Download PDF

Info

Publication number
JP3981391B2
JP3981391B2 JP2005514758A JP2005514758A JP3981391B2 JP 3981391 B2 JP3981391 B2 JP 3981391B2 JP 2005514758 A JP2005514758 A JP 2005514758A JP 2005514758 A JP2005514758 A JP 2005514758A JP 3981391 B2 JP3981391 B2 JP 3981391B2
Authority
JP
Japan
Prior art keywords
density
image
monitoring
moving
movement direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005514758A
Other languages
English (en)
Other versions
JPWO2005039181A1 (ja
Inventor
正宏 岩崎
太郎 今川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2005039181A1 publication Critical patent/JPWO2005039181A1/ja
Application granted granted Critical
Publication of JP3981391B2 publication Critical patent/JP3981391B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/0423—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Description

本発明は、移動している人物や車両等の複数の移動物体又は群衆の監視を行う監視装置に関するものである。
従来の監視装置として、図１に示す装置が知られている（特開平１１−３９９１３９号公報参照）。図１に示すように、この従来の監視装置１０は、撮像装置１１、部位位置抽出部１２、形状特徴量抽出部１３、部位位置追尾部１４、動き特徴量計測部１５、比較検索部１６及び表示部１７を具備している。
図１に示すように、従来の監視装置１０においては、部位位置抽出部１２が人物の部位位置を抽出し、形状特徴量抽出部１３が形状特徴量を抽出し、部位位置追尾部１４が抽出した部位位置を追尾し、動き特徴量計測部１５が動き特徴量を計測している。従来の監視装置１０は、監視領域内の人物の特徴量を自動的に抽出して、データベース化すると共に、特定の不審人物の特徴を有する人物候補を探索し、監視者に注意を促すことにより、不審人物の調査、追跡及び特定を行っている。
また、他の従来の監視装置として、特開２０００−１６３６００号公報に記載された装置がある。この他の従来の監視装置は、撮像装置によって捉えられる被写体の皮膚色及び動きを検出することによって、最も適切な追跡対象体を自動的に選定して追跡することによって顔部分の映像を撮影し、撮影された顔画像を分析することによって個人を認識している。さらに、顔部位の情報から覆面、サングラス及び帽子などを識別することによって、危険人物と判定している。
しかしながら、従来の監視装置においては、人物を検出しデータベースとの照合を行う場合に、現状の技術では特に大量に蓄積されたデータベースとの照合を完全に自動化することが難しい。また、従来の監視装置においては、全体の画像中に複数人の画像が存在する場合又はオクルージョンが生じている場合において、正確に部位位置を特定すること、及び、顔画像を抽出することは難しい。このため、人物を検出及び追跡して大量のデータベースとの照合を完全に自動で行うと、検出ミス、追跡ミス及び照合ミスが起こることの２つの点が懸念されるため、異常事態の判断にも支障をきたす危険性がある。
本発明は、かかる点に鑑みてなされたものであり、全体画像に存在する移動物体又は群衆の画像を個々に検出及び追跡するのではなくマクロ的に捉えることによって、人物の顔などの部位を正確に検出できない場合においても、検出ミス、追跡ミス及び照合ミスを防止し、異常事態を判断して監視者に注意を促すことができる監視装置を提供することを目的とする。
上記目的を達成するために、本発明に係る監視装置は、監視領域内の監視を行う監視装置であって、監視領域内の画像を撮像して全体画像を生成する撮像手段と、前記撮像手段により生成される前記全体画像から複数の移動物体または群衆の画像である移動体画像を生成する移動体画像生成手段と、前記移動体画像生成手段により生成される前記移動体画像を縦軸方向にスキャンして得られる値を横軸に射影することで１次元情報に変換し、得られた前記１次元情報の高周波成分をカットした情報のガウス分布の分布数とそれぞれのガウス分布の平均値および分散値とをパラメータ化し、当該パラメータを前記移動物体または前記群衆の密集の度合いを示す密集度として算出する密集度算出手段とを備えることを特徴とする。
以上説明したように、本発明に係る監視装置によれば、画像に存在する移動物体又は群衆の部分的な画像を個々に検出及び追跡するのではなくマクロ的に捉えることによって、人物の顔などの部位を正確に検出できない場合においても、移動物体又は群衆の密集度又は移動方向が通常時と大きく異なる場合に異常事態と判断することによって検出ミス、追跡ミス及び照合ミスを防止し監視者に注意を促すことができる。
本発明の実施の形態に係る監視装置は、監視領域内の監視を行う監視装置であって、監視領域内の画像を撮像して全体画像を生成する撮像手段と、前記撮像手段により生成される前記全体画像から複数の移動物体または群衆の画像である移動体画像を生成する移動体画像生成手段と、前記移動体画像生成手段により生成される前記移動体画像を縦軸方向にスキャンして得られる値を横軸に射影することで１次元情報に変換し、得られた前記１次元情報または前記１次元情報の高周波成分をカットした情報から得られるパラメータを、前記移動物体または前記群衆の密集の度合いを示す密集度として算出する密集度算出手段とを備えることを特徴とする。
この構成によれば、全体画像に存在する移動物体又は群衆の画像を個々に検出及び追跡するのではなくマクロ的に捉えることによって、人物の顔などの部位を正確に検出できない場合においても、移動物体又は群衆の密集度を算出することができる。
また、前記監視装置は、さらに、前記密集度算出手段により算出される現時刻の前記密集度と、状況判断の基準とする密集度である基準密集度とに基づいて、現時刻の状況を判断する状況判断手段とを備えることが好ましい。
この構成によれば、移動物体又は群衆の密集度が通常時と大きく異なる時に異常事態と判断することによって検出ミス、追跡ミス及び照合ミスを防止することができる。
また、前記監視装置は、さらに、前記密集度算出手段により算出される所定日時の前記密集度に基づいて前記基準密集度を算出する基準密集度算出手段と、前記基準密集度算出手段により算出される前記基準密集度を保持するデータベースとを備えることが好ましい。
この構成によれば、通常時の移動物体又は群衆の密集度を算出することが可能である。
また、前記基準密集度算出手段は、前記密集度算出手段により算出される前記密集度に基づいて所定時間ごとに新しい基準密集度を算出し、算出した新しい前記基準密集度で前記データベースの前記基準密集度を更新してもよい。
この構成によれば、所定時間ごとにデータベースの基準密集度を更新するので、異常事態の判断がより正確になる。
また、前記基準密集度算出手段は、季節ごと、時刻ごと、天候ごとまたは曜日ごとの少なくとも１つごとに前記基準密集度を算出して前記データベースに保持させてもよい。
この構成によれば、季節ごと、時刻ごと、天候ごと又は曜日ごとの基準密集度を算出してデータベースに保持させるため、異常事態の判断がより正確になる。
また、前記密集度算出手段および前記基準密集度算出手段は、前記密集度および前記基準密集度を関数近似によりパラメータ化してもよい。
また、前記密集度算出手段および前記基準密集度算出手段は、前記密集度および前記基準密集度を、ガウス分布の分布数とそれぞれのガウス分布の平均値および分散値とをパラメータとしてパラメータ化してもよい。
この構成によれば、パラメータによって表現することで、ノイズや検出ミスにロバストに異常事態の判定を行うことができる。
また、前記監視装置は、さらに、あらかじめ設定される前記基準密集度を保持するデータベースを備えてもよい。
この構成によれば、基準密集度をあらかじめ設定して保持することで、構成を簡略化することができる。
また、前記状況判断手段は、現時刻の前記密集度と前記基準密集度とを比較し、現時刻の前記密集度と前記基準密集度とが所定の閾値以上異なる場合に、現時刻の前記状況を異常事態であると判断してもよい。
この構成によれば、移動物体又は群衆の密集度が通常時と大きく異なる時に異常事態と判断することによって検出ミス、追跡ミス及び照合ミスを防止することができる。
また、前記監視装置は、さらに、前記状況判断手段により判断された現時刻の前記状況を報知する報知手段を備えてもよい。
この構成によれば、移動物体又は群衆の密集度が通常時と大きく異なる時に異常事態と判断することによって検出ミス、追跡ミス及び照合ミスを防止し監視者に注意を促すことができる。
また、前記移動体画像生成手段は、前記全体画像に対してフレーム間差分処理または背景差分処理を行って前記移動体画像を生成してもよい。
この構成によれば、簡単に移動体画像を生成することができる。
また、前記密集度算出手段は、前記全体画像から頭部候補領域を検出し、検出した前記頭部候補領域が前記全体画像に対して占める面積に基づいて前記密集度を算出してもよい。
この構成によれば、移動物体又は群衆の密集度の算出が容易となる。
また、前記密集度算出手段は、前記移動体画像の面積に基づいて前記密集度を算出してもよい。
この構成によれば、移動物体又は群衆の密集度の算出が容易となる。
また、前記密集度算出手段は、前記移動体画像を１次元情報に変換し、変換した前記１次元情報に基づいて前記密集度を算出してもよい。
この構成によれば、移動物体又は群衆の密集度の算出が容易となる。
また、前記密集度算出手段は、前記１次元情報の周波数分析を行うことによって前記密集度を算出してもよい。
この構成によれば、移動物体又は群衆の密集度の算出がより容易となる。
また、前記撮像手段は、赤外線カメラであり、前記密集度算出手段は、前記赤外線カメラの反応領域に基づいて前記密集度を算出してもよい。
この構成によれば、移動物体又は群衆の密集度の算出が容易となる。
また、本発明の実施の形態に係る監視装置は、監視領域内の監視を行う監視装置であって、監視領域内の画像を撮像して全体画像を生成する撮像手段と、前記撮像手段により生成される前記全体画像から複数の移動物体または群衆の画像である移動体画像を生成する移動体画像生成手段と、前記移動体画像生成手段により生成される前記移動体画像に基づいて前記移動物体または前記群衆の密集の度合いを示す密集度を算出する密集度算出手段と、前記密集度算出手段により算出される現時刻の前記密集度と、状況判断の基準とする密集度である基準密集度とを比較し、現時刻の前記密集度と前記基準密集度とが所定の閾値以上異なる場合に、現時刻の状況を異常事態であると判断する状況判断手段と、パン、チルトおよびズーム機能の少なくともいずれかを有する他の撮像手段と、前記状況判断手段により異常事態であると判断された場合に、現時刻の前記密集度が前記基準密集度と異なる領域を撮像するように前記他の撮像手段を制御する撮像制御手段とを備えることを特徴とする。
この構成によれば、異常事態の判定結果に基づいて異常事態の発生領域を他の撮像手段が撮像することにより詳細な画像を得ることができる。
また、本発明の実施の形態に係る監視装置は、監視領域内の監視を行う監視装置であって、監視領域内の画像を撮像して全体画像を生成する撮像手段と、前記撮像手段により生成される前記全体画像から複数の移動物体または群衆の画像である移動体画像を生成する移動体画像生成手段と、前記移動体画像生成手段により生成される前記移動体画像に基づいて前記移動物体または前記群衆の密集の度合いを示す密集度を算出する密集度算出手段と、前記撮影手段により生成される前記全体画像と前記密集度算出手段により算出される前記密集度とに基づいて前記移動物体または前記群衆の移動方向を算出する移動方向算出手段とを備えることを特徴とする。
この構成によれば、全体画像に存在する移動物体又は群衆の画像を個々に検出及び追跡するのではなくマクロ的に捉えることによって、人物の顔などの部位を正確に検出できない場合においても、移動物体又は群衆の移動方向を算出可能である。
また、前記監視装置は、さらに、前記移動方向算出手段により算出される現時刻の前記移動方向と、状況判断の基準とする移動方向である基準移動方向とに基づいて、現時刻の状況を判断する状況判断手段とを備えてもよい。
この構成によれば、移動物体又は群衆の移動方向が通常時と大きく異なる時に異常事態と判断することが可能である。
また、前記監視装置は、さらに、前記移動方向算出手段により算出される所定日時の前記移動方向に基づいて前記基準移動方向を算出する基準移動方向算出手段と、前記基準移動方向算出手段により算出される前記基準移動方向を保持するデータベースとを備えてもよい。
この構成によれば、通常時の移動方向を算出することが可能である。
また、前記基準移動方向算出手段は、前記移動方向算出手段により算出される前記移動方向に基づいて所定時間ごとに新しい基準移動方向を算出し、算出した新しい前記基準移動方向で前記データベースの前記基準移動方向を更新してもよい。
この構成によれば、所定時間ごとにデータベースの基準移動方向を更新するから、異常事態の判断がより正確になる。
また、前記基準移動方向算出手段は、季節ごと、時刻ごと、天候ごとまたは曜日ごとの少なくとも１つごとに前記基準移動方向を算出して前記データベースに保持させてもよい。
この構成によれば、季節ごと、時刻ごと、天候ごと又は曜日ごとの基準移動方向を演算してデータベースに与えてデータベースに保持させるため、異常事態の判断がより正確になる。
また、前記移動方向算出手段および前記基準移動方向算出手段は、前記移動方向および前記基準移動方向を関数近似によりパラメータ化してもよい。
また、前記移動方向算出手段および前記基準移動方向算出手段は、前記移動方向および前記基準移動方向を、ガウス分布の分布数とそれぞれのガウス分布の平均値および分散値とをパラメータとしてパラメータ化してもよい。
この構成によれば、パラメータによって表現することで、ノイズや検出ミスにロバストに異常事態の判定を行うことができる。
また、前記監視装置は、さらに、あらかじめ設定される前記基準移動方向を保持するデータベースを備えてもよい。
この構成によれば、基準移動方向をあらかじめ設定して保持することで、構成を簡略化することができる。
また、前記状況判断手段は、現時刻の前記移動方向と前記基準移動方向とを比較し、現時刻の前記移動方向と前記基準移動方向とが所定の閾値以上異なる場合に、現時刻の前記状況を異常事態であると判断してもよい。
この構成によれば、移動物体又は群衆の移動方向が通常時と大きく異なる場合に異常事態と判断することによって検出ミス、追跡ミス及び照合ミスを防止することができる。
また、前記監視装置は、さらに、パン、チルトおよびズーム機能の少なくともいずれかを有する他の撮像手段と、前記状況判断手段により異常事態であると判断された場合に、現時刻の前記移動方向が前記基準移動方向と異なる領域を撮像するように前記他の撮像手段を制御する撮像制御手段とを備えてもよい。
この構成によれば、異常事態の判定結果に基づいて異常事態の発生領域を他の撮像手段が撮像することにより詳細な画像を得ることができる。
また、前記撮像制御手段は、前記状況判断手段により異常事態であると判断された場合に、現時刻の前記移動方向が前記基準移動方向と異なる領域、かつ、前記密集度がピーク値を持つ領域を撮像するように前記他の撮像手段を制御してもよい。
この構成によれば、他の撮像手段で異常事態の発生領域をより正確に撮像することができる。
さらに、本発明は、このような監視装置として実現することができるだけでなく、このような監視装置が含む特徴的な手段をステップとして含む監視方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
以下、本発明の実施の形態について、図面を参照して説明する。
（実施の形態１）
図２は、本発明の実施の形態１に係る監視装置の構成を示すブロック図である。図２に示すように、本発明の実施の形態１に係る監視装置１００は、移動している人物や車両等の複数の移動物体又は群衆の監視を行う装置であり、カメラ（撮像手段）１０１、移動体画像生成部１０２、密集度算出部１０３、モデル生成部１０４、データベース１０５、状況判断部１０６及び報知部１０７を具備している。報知部１０７は、画像表示部１０７１及び警報発生部１０７２を具備している。
カメラ１０１は、監視領域内の移動している複数の移動物体又は群衆を含む対象物の画像を撮像して全体画像を生成する。移動体画像生成部１０２は、カメラ１０１で撮影された全体画像をフレーム毎に受けて全体画像に対してフレーム間差分処理、又は事前に用意された背景画像との背景差分処理を行う。ここで、移動体画像生成部１０２により差分処理された画像は、移動している車両等の移動物体又は群集の動いている領域が特定された移動体画像となる。この時に、移動体画像生成部１０２は、画像のエッジの抽出が確実に行える場合に、差分処理を行わず入力画像毎にエッジ抽出処理を行ってもよい。以下においては、移動体画像生成部１０２が、フレーム間差分処理又は背景差分処理を行った場合について述べる。
密集度算出部１０３は、移動体画像生成部１０２により差分処理された画像（移動体画像）を１次元情報に変換し、周波数分析を行って、移動物体または群衆の密集の度合いを示す密集度を算出する。
次に、密集度算出部１０３について、図３を用いて詳しく説明する。
密集度算出部１０３は、１次元情報変換部２１０及び周波数処理部２１１を具備している。１次元情報変換部２１０は、移動体画像生成部１０２から出力された２次元画像を１次元情報に変換する。１次元情報変換部２１０の画像変換動作としては、以下の２つの画像変換動作例が挙げられる。
一つの画像変換動作例は、図４に示すように、移動体画像生成部１０２により入力画像（全体画像）３０１が差分処理され、密集度算出部１０３へ入力された差分画像３０２における差分値に基づいて横軸に射影し、ヒストグラム３０３を算出する。これにより、横軸の各値に対する１次元情報であるヒストグラム３０３を得ることができる。この場合、差分領域の面積情報を用いて１次元情報を算出することになる。
他の画像変換動作例は、図５に示すように、入力される差分画像３０２における差分値を「０」又は「１」の値に２値化した２値化画像４０１を生成し、２値化画像４０１に対して画像の最上部から縦軸方向にスキャンを行って最初に検出したオンピクセルの縦軸の最大値である検出縦軸値４０２を残すことによって１次元情報を得る。ここで、オンピクセルとは、２値化した画素で「１」の値を持つピクセルである。
例えば、２値化画像４０１がＸＹ軸で示され、左下を原点とした場合に、Ｘ軸の特定の値において、縦軸であるＹ軸に、複数のオンピクセルが存在し、Ｙ軸の値が、「２００」、「１００」、「５０」である場合は、検出縦軸値４０２として検出されるＹ軸の値は、画像最上部からスキャンして最初に検出したオンピクセルのＹ軸値であるため、「２００」となる。
なお、これらの１次元情報を得るための方法は、上記に限定されるものではなく、群集の密集度を算出可能な１次元情報を得る方法であれば、何でも良い。
ここで、群集の密集度として、ヒストグラム３０３およびオンピクセルの縦軸検出値４０２を用いてもよい。この場合、周波数処理部２１１は不要であるが、本実施の形態では、さらに、ノイズに対するロバスト性を向上させる例として、周波数処理部２１１によって、これらの１次元情報であるヒストグラム３０３と検出縦軸値４０２に対して、周波数処理を行った例について説明する。
１次元情報変換部２１０によって生成された１次元情報であるヒストグラム３０３又は検出縦軸値４０２は、周波数処理部２１１に送られる。周波数処理部２１１は、１次元情報であるヒストグラム３０３又は検出縦軸値４０２に対して１次元フーリエ変換を行う。これによって、１次元情報であるヒストグラム３０３又は検出縦軸値４０２の周波数スペクトラム５０１を図６に示すように算出することが可能である。ここで、１次元情報変換部２１０で処理された１次元情報であるヒストグラム３０３は、図６に示す周波数スペクトラム５０１のハッチング部に示すように高周波成分を含んでいる場合がある。
監視装置１００は、移動物体又は群衆をマクロ的に捉えることが目的であるために、高周波成分はノイズであると判断して、１次元情報であるヒストグラム３０３に対してフーリエ変換を行い、周波数成分を算出し、その中で高周波成分をカットして、逆フーリエ変換を行って逆変換結果５０３を得る。本実施の形態では、逆変換結果５０３を周波数分析処理後１次元情報と呼ぶ。すなわち、監視装置１００は、ローパス処理を行うことによって、マクロ的に移動物体又はその群集を捉えることが可能である。ここでは、必ずしも逆フーリエ変換を行って、画像空間に戻す必要は無く、監視装置１００は、周波数スペクトラム５０１や、音声認識等で用いられるケプストラム５０２を用いることで、周波数分析処理後１次元情報を算出することも可能である。なお、ケプストラム５０２の算出は、監視装置１００は、１次元フーリエ変換を行った後に、対数スペクトルを算出し、再度フーリエ変換を行うことでケプストラム係数を算出し、低次項の成分のみを用いることにより周波数分析処理後１次元情報を算出することも可能である。
ここでは、１次元情報変換部２１０により算出された１次元情報に対し、周波数処理部２１１によりケプストラム係数算出処理などの周波数分析処理を行った周波数分析処理後１次元情報は、移動している複数の移動物体又は群集の密集度として定義される。
もちろん、ヒストグラム３０３およびオンピクセルの縦軸検出値も周波数分析処理後１次元情報と同様な１次元情報であり、移動している複数の移動物体又は群集の密集度として定義することも可能である。
次に、モデル生成部１０４の基準密集度（モデル値）を生成する動作について、説明する。ここで、基準密集度は、通常時の全体画像から作成された移動物体又は群衆の密集度であり、異常事態発生の判断の基準となる１次元情報である。
基準密集度であるモデルを生成する方法としては、ヒストグラム３０３およびオンピクセルの縦軸検出値４０２を用いることができる。さらに、周波数処理部２１１において、図６に示すように１次元情報であるヒストグラム３０３をローパス処理した逆変換結果５０３を用いる方法と、フーリエスペクトラム又はケプストラム係数を用いる方法とがある。以下、１次元情報をローパスフィルタで処理した逆変換結果５０３を用いる方法について述べる。なお、フーリエスペクトラム又はケプストラム係数を用いたモデルを生成する方法についても、逆変換結果５０３と同じ手法を用いて生成することが可能である。
モデル生成部１０４は、周波数処理部２１１により算出される所定日時の周波数分析処理後１次元情報（密集度）に基づいて移動物体又は群衆の基準密集度（モデル値）を算出する基準密集度算出手段を構成している。モデル生成部１０４は、演算した基準密集度をデータベース１０５に与えて保持させる。
モデル生成部１０４は、季節、時刻、天候又は曜日ごとに基準密集度を演算することが可能であり、また、季節及び現時刻の時刻を勘案して複数の基準密集度を用意することもできる。
また、天候によっては、人物等の数は変化すると考えられるために、天候によってそれぞれ基準密集度を用意することが望ましい。さらに、雨天時の屋外であれば、傘をさした人物が存在するために、前記周波数分析処理後１次元情報（密集度）も晴天、曇天時とは異なる。また、同様に、平日と週末といったように、曜日によって、人物等の数は変化すると考えられるために、それぞれ複数の基準密集度を用意することが望ましい。また、これらの基準密集度は、季節、時刻、天候又は曜日に関する情報と対応づけるように複数のものを生成し、監視時には現在の季節、時刻、天候又は曜日に応じてどの基準密集度を用いるかを決定することが可能である。
図７（ａ）、（ｂ）、（ｃ）は、季節、時刻、天候、および曜日を基にモデル化した例を示す図である。図７（ａ）、（ｂ）、（ｃ）に示すように、例えば、現在の季節、時刻、天候、および曜日に応じて、モデル１、モデル２、モデル３…の中からどの基準密集度（モデル値）を用いるかが予め決定される。これにより、より詳細に移動物体又は群集に関するモデル化を行うことが可能となる。なお、季節、時刻、天候、および曜日すべてを基にモデル化する必要はなく、例えば時刻だけを基にモデル化しても構わない。これらの基準密集度（モデル値）は、データベース１０５に保持される。
ここで、周波数分析後１次元情報（密集度）として、逆変換結果５０３を用いた場合の、モデル生成部１０４の基準密集度演算例について説明する。逆変換結果５０３の代わりに、ヒストグラム３０３およびオンピクセルの縦軸検出値４０２を用いても同様の処理が可能である。
逆変換結果５０３は、ｘ軸における各点xiごとに値y(xi)を持つ。ここで各点xiにおける逆変換結果であるy(xi)の時間変化をモデル化することによって、基準密集度（モデル値）を算出する。具体的には、図７（ｄ）のように、y(xi)の時間変化である値に関して、平均値と分散値を求めることによって、ｘ軸における各点xiごとのy(xi)の時間変動をモデル化することが可能である。すなわち、基準密集度（モデル値）は、点xiごとにf(xi)の平均値と分散値を持つことになる。
モデル化により、曜日や日時によって、密集度の変動が大きい場合は、前記分散値が大きな値となる。また、密集度の変動が小さく、人通りが少ない場合においては、前記平均値、前記分散値共に低い値となり、通常時の密集度を時間変動分も考慮してモデル化することが可能である。さらに、逐次的に前記基準密集度として、前記分散値や平均値を更新することも可能である。
また、フーリエスペクトラムやケプストラム係数を用いた場合は、各周波数もしくは各ケプストラム次数におけるスペクトラム値およびケプストラム値の時間変動を用いて、モデル化することが可能である。
例えば、フーリエスペクトラムを用いた場合は、ある周波数fiごとのパワースペクトラム値g(fi)を持つため、g(fi)の時間変動を前述のように平均値と分散値を用いてモデル化することが可能である。
ここで、データベース１０５には、基準密集度（モデル値）として、ｘ軸における各点もしくは、各周波数、各ケプストラム次数の、y(xi)およびg(fi)の時間変動を表現する平均値と分散値を保持する。
なお、モデル生成部１０４は、環境変化によって人通りなどの移動物体の分布が変化した場合にも対応するために、基準密集度（モデル値）を所定時間毎に演算して新しい基準密集度（モデル値）を求めてデータベース１０５に与えて基準密集度（モデル値）を更新してもよい。
次に、状況判断部１０６について述べる。状況判断部１０６は、現在の季節、時刻、天候又は曜日などの情報を基に、データベース１０５に保持している基準密集度（モデル値）を選択し、選択された基準密集度と密集度算出部１０３から入力された現時刻における密集度（１次元情報）との比較を行って、現時刻における密集度が基準密集度と異なるか否かを判断して判断結果を生成して報知部１０７に与える。
状況判断部１０６において、現時刻における密集度と基準密集度との比較は、基準密集度（モデル値）の平均値および分散値σからの外れ具合を計算する。
ここでは、異常事態発生の判断は、入力された画像から１次元情報であるヒストグラム等を生成し、更に、周波数分析処理を行った周波数分析処理後１次元情報を現時刻における密集度として、ｘ軸における各点もしくは、各周波数、各ケプストラム次数におけるy(xi)およびg(fi)を算出する。次に、y(xi)およびg(fi)が、基準密集度（モデル値）の分散値σから決定したＮσ（Ｎ：定数）以上である点xiの数を計算し、その点数が閾値以上であれば、異常事態であると判断することができる。なお、比較方法については、点xiごとに重み係数を乗算しても良い。
次に、報知部１０７について述べる。報知部１０７は、画像表示部１０７１及び警報発生部１０７２を具備している。
画像表示部１０７１は、状況判断部１０６からの判断結果を受けて表示して監視者に報知する。警報発生部１０７２は、状況判断部１０６からの判断結果を受けて判断結果が異常事態の発生を示している時に警報音又は警報光を発生して監視者に報知する。
次に、上記のように構成された監視装置１００の動作について説明する。図８は、監視装置１００の動作の流れを示すフローチャートである。ここでは、データベース１０５には、モデル生成部１０４により例えば季節、時刻、天候、および曜日に応じて算出された複数の基準密集度がすでに保持されているとする。
カメラ１０１は、監視領域内の移動している複数の移動物体又は群衆を含む対象物の画像を撮像して全体画像を生成する（ステップＳ１０１）。移動体画像生成部１０２は、カメラ１０１で撮影された全体画像をフレーム毎に受けて全体画像に対してフレーム間差分処理、又は事前に用意された背景画像との背景差分処理を行う（ステップＳ１０２）。次に、密集度算出部１０３は、移動体画像生成部１０２により差分処理された画像（移動体画像）を１次元情報に変換し、周波数分析を行って現時刻の密集度を算出する（ステップＳ１０３）。状況判断部１０６は、データベース１０５に保持されている複数の基準密集度の中から、現在の季節、時刻、天候、および曜日に対応する基準密集度を選択する（ステップＳ１０４）。次に、状況判断部１０６は、選択した基準密集度と、密集度算出部１０３により算出された現時刻の密集度とに基づいて、現時刻の状況を判断する。すなわち、状況判断部１０６は、現時刻の密集度が基準密集度の平均値および分散値σから所定値以上外れているか否かを判断する（ステップＳ１０５）。この判断の結果、所定値以上外れている場合（ステップＳ１０５でＹＥＳ）には、現時刻の状況を異常事態と判断する（ステップＳ１０６）。そして、警報発生部１０７２は、状況判断部１０６からの異常事態との判断結果を受けて警報音又は警報光を発生して監視者に報知する（ステップＳ１０７）。一方、上記判断の結果、所定値以上外れていない場合（ステップＳ１０５でＮＯ）には、現時刻の状況を通常状態と判断する（ステップＳ１０８）。
このように、本発明の実施の形態１によれば、全体画像に存在する移動物体又は群衆の画像を個々に検出及び追跡するのではなくマクロ的に捉えることによって、人物の顔などの部位を正確に検出できない場合においても、移動物体又は群衆の密集度が通常時と大きく異なる場合に異常事態と判断することによって検出ミス、追跡ミス及び照合ミスを防止し監視者に注意を促すことができる。また、本発明の実施の形態１によれば、移動物体又は群衆の密集度の算出が容易となる。
（実施の形態２）
次に、本発明の実施の形態２について、図面を参照して説明する。図９は、本発明の実施の形態２に係る監視装置の構成を示すブロック図である。なお、本発明の実施の形態２においては、本発明の実施の形態１と同じ構成要素には同じ参照符号を付し、その説明を省略する。
図９に示すように、本発明の実施の形態２に係る監視装置７００は、本発明の実施の形態１の構成に加えて、カメラ７０１及びカメラ制御部７０２を備えている。
カメラ７０１は、パン、チルト及びズームの少なくとも一つの機能を備えている。密集度算出部１０３は、周波数分析処理後１次元情報（密集度）をカメラ制御部７０２に与える。また、状況判断部１０６は、判断結果をカメラ制御部７０２に与える。カメラ制御部７０２について、図１０を用いて説明する。図１０は、（ａ）通常時の画像例１２０１、（ｂ）異常事態発生時の画像例１２０２、（ｃ）基準密集度の平均値をプロットした例１２０３、（ｄ）異常事態発生時の密集度１２０４を示す図である。なお、実際には、図１０（ｃ）に示す基準密集度は各f(xi)が分散値を持っている。ここで、状況判断部１０６が、異常事態が発生していることを判断した場合、カメラ制御部７０２は、密集度算出部１０３からの１次元情報（密集度）が基準密集度と最も異なる領域にカメラ７０１が向くようにカメラ７０１を制御する。この時に、カメラ７０１が撮像する画像は、画像表示部１０７１に与えられ表示される。
例えば、図１０（ａ）に示すような通常の状態から人が倒れて図１０（ｂ）に示すように異常事態が発生し、状況判断部１０６が、異常事態が発生していると判断した場合、カメラ制御部７０２は、図１０（ｄ）に示すような現時刻の密集度１２０４が図１０（ｃ）に示すような基準密集度と最も異なる領域にカメラ７０１が向くようにカメラ７０１を制御する。これにより、図１０（ｂ）に示す人が倒れている領域をカメラ７０１で撮像することができる。
また、カメラ制御部７０２では、周波数分析処理後１次元情報（密集度）がピーク値を持つ領域にカメラを制御することも可能である。
このように、本発明の実施の形態２によれば、本発明の実施の形態１の効果に加えて、異常事態の判定結果に基づいて異常事態の発生領域をカメラ７０１が撮像することにより詳細な画像を得ることができる。
（実施の形態３）
次に、本発明の実施の形態３について、図面を参照して説明する。図１１は、本発明の実施の形態３に係る監視装置の構成を示すブロック図である。なお、本発明の実施の形態３においては、本発明の実施の形態１と同じ構成要素には同じ参照符号を付し、その説明を省略する。
図１１に示すように、本発明の実施の形態３に係る監視装置８００は、本発明の実施の形態１の構成に、移動方向算出部８０１を追加し、モデル生成部１０４及び状況判断部１０６の代わりにモデル生成部８０２及び状況判断部８０３を有する。
移動方向算出部８０１は、移動体画像生成部１０２で差分処理を行った画像を受け、かつ、密集度算出部１０３の周波数処理部２１１によりフレーム毎に周波数分析処理を行った周波数分析処理後１次元情報を受ける。
以下、移動方向算出部８０１が、図６に示した周波数処理部２１１でフレーム毎にローパス処理を行った逆変換結果５０３を入力として用いた場合について述べる。
図１２に示すように、移動方向算出部８０１は、画像領域選択部９０１及び画像照合部９０２を有している。画像領域選択部９０１は、図１３に示すように、周波数分析処理後１次元情報（密集度）である逆変換結果５０３に基づいて、その時刻に撮像された入力画像３０１の領域にローパス処理を行った逆変換結果５０３によって区切ることにより領域選択画像１００１を得る。次に、画像照合部９０２は、領域選択画像１００１を用いて現在の入力画像との照合を行う。この時に、画像照合部９０２は、領域選択画像１００１と現在の入力画像とが最も良く照合するように、領域選択画像１００１を拡大、縮小又は平行移動する。これにより、画像照合部９０２は、領域選択画像１００１と現在の入力画像とが最も良く照合した時の拡大又は縮小に関するパラメータと縦軸方向及び横軸方向における平行移動パラメータの情報を得る。このパラメータを１次元に並べたものを移動方向と呼ぶ。
次に、画像照合部９０２は、得られた拡大又は縮小及び平行移動に関するパラメータ値をモデル生成部８０２及び状況判断部８０３に与える。
モデル生成部８０２は、領域選択画像１００１と現在の入力画像とが最も良く照合した時の拡大又は縮小に関するパラメータと縦軸方向及び横軸方向における平行移動パラメータを並べた１次元データをデータベース１０５に保持させることも可能である。
また、実施の形態１で説明したように、時間変動を考慮しても良い。具体的には、画像照合部９０２で得た、２枚の領域選択画像１００１が最も良く照合した時の拡大又は縮小に関するパラメータと縦軸方向及び横軸方向における平行移動パラメータを並べた１次元情報から、さらに、この１次元情報の各要素の時間変動を加味することによって、各要素の平均値と分散値を算出して保持する。ここで、基準移動方向として、データベース１０５に保持する情報は、拡大、縮小、平行移動などに関するパラメータ値を並べた１次元情報か、もしくは、各パラメータ値の平均値と分散値を並べた１次元情報である。
なお、画像照合部９０２は、拡大、縮小及び平行移動を用いた照合方法以外により画像を照合するようにしてもよい。
状況判断部８０３は、画像照合部９０２で算出した現時刻のパラメータ値とデータベース１０５により保持された通常時の画像より算出されたパラメータ値（基準移動方向）との照合を行う。ここで、状況判断部８０３は、現時刻における季節、時刻、天候又は曜日などの情報をもとに、データベース１０５に保持しているモデル（基準移動方向）を選択し、密集度算出部１０３から入力された現時刻における入力情報との比較を行う。
この時、状況判断部８０３は、入力された画像から生成する１次元情報として、通常時の画像から算出するパラメータ値の生成方法と同様に、画像照合のために用いた拡大、縮小及び平行移動に関するパラメータ値を用いる。そして、状況判断部８０３は、現時刻の画像照合のために用いたパラメータ値を表す１次元情報と通常時の画像から算出した１次元情報との内積を計算して内積値を生成し、その内積値が閾値以上であるか否かを判断し判断結果を生成して報知部１０７に与える。この判断結果は、画像照合のために用いたパラメータ値を表す１次元情報と通常時の画像から算出した１次元情報との内積値が閾値以上である場合に異常事態の発生であることを示すものである。例えば、この監視装置８００は、通常時には移動物体及び群集が移動するにも拘わらず、グループ同士の抗争などで移動物体及び群集が移動しないような場合に異常事態と判定することが可能である。
ここでは、異常事態発生の判断は、１次元情報の内積値に基づいて行われたが、通常時の画像から算出される１次元情報と入力される現時刻の画像から１次元情報との類似度に基づくものでもよい。この時、各要素に重み係数を乗算することも有効である。また、状況判断部８０３は、現時刻の移動方向とデータベース１０５に保持された基準移動方向とを比較して現時刻の移動方向が基準移動方向より所定の閾値以上大きい場合に異常事態であると判断するものである。
なお、本発明の実施の形態１及び本発明の実施の形態３と組み合わせることも可能である。
このように、本発明の実施の形態３によれば、全体画像に存在する移動物体又は群衆の画像を個々に検出及び追跡するのではなくマクロ的に捉えることによって、人物の顔などの部位を正確に検出できない場合においても、移動物体又は群衆の移動方向が通常時と大きく異なる場合に異常事態と判断することによって検出ミス、追跡ミス及び照合ミスを防止し監視者に注意を促すことができる。また、本発明の実施の形態３によれば、移動物体又は群衆の移動方向の算出が容易となる。
（実施の形態４）
次に、本発明の実施の形態４について、図面を参照して説明する。図１４は、本発明の実施の形態４に係る監視装置の構成を示すブロック図である。なお、本発明の実施の形態４においては、本発明の実施の形態３と同じ構成要素には同じ参照符号を付し、その説明を省略する。
図１４に示すように、本発明の実施の形態４に係る監視装置１１００は、本発明の実施の形態３の構成に加えて、カメラ１１０１及びカメラ制御部１１０２を備えている。
ここでは、画像を複数の小領域に分割して、その小領域ごとに基準移動方向を算出する例について述べる。それぞれの処理は、小領域ごとに行う。カメラ１１０１は、パン、チルト及びズームの少なくとも一つの機能を備えている。密集度算出部１０３は、周波数分析処理後１次元情報をカメラ制御部１１０２に与える。また、状況判断部８０３は、判断結果をカメラ制御部１１０２に与える。カメラ制御部１１０２について、図１５を用いて説明する。図１５（ａ）は、通常時の画像例１３０１を示す図であり、入力画像を９個の小領域に分割した例を示している。図１５（ｂ）は、通常時の小領域ごとの移動方向例１３０２を示す図である。図１５（ｃ）は、異常事態発生時の画像例１３０３を示す図である。図１５（ｄ）は、異常事態発生時の移動方向例１３０４を示す図である。ここで、状況判断部１０６が、異常事態が発生していることを判断した場合、カメラ制御部１１０２は、異常事態発生時の移動方向例１３０４に示したように移動方向算出部８０１で算出された移動方向が、通常の移動方向（基準移動方向）と最も異なる領域（図１５（ｄ）の例では左下の領域）にカメラ１１０１が向くようにカメラ１１０１を制御する。この時に、カメラ１１０１が撮像する画像は、画像表示部１０７１に与えられ表示される。
このように、本発明の実施の形態４によれば、本発明の実施の形態３の効果に加えて、異常事態の判定結果に基づいて異常事態の発生領域をカメラ１１０１が撮像することにより詳細な画像を得ることができる。
なお、本実施の形態では、カメラ制御部１１０２は、移動方向算出部８０１で算出された移動方向が基準移動方向と最も異なる領域にカメラ１１０１が向くようにカメラ１１０１を制御しているが、これに限られるものではない。例えば、カメラ制御部１１０２は、移動方向算出部８０１で算出された移動方向が基準移動方向と所定の閾値以上異なる領域、かつ、１次元情報がピーク値を持つ領域にカメラ１１０１が向くようにカメラ１１０１を制御しても構わない。また、カメラ制御部１１０２は、例えば、移動方向算出部８０１で算出された移動方向が基準移動方向と所定値以上異なる複数の領域に順にカメラ１１０１が向くようにカメラ１１０１を制御しても構わない。
（実施の形態５）
本実施の形態では、入力された画像から人物の頭部候補領域の面積、人物の占める面積を用いて密集度を算出する形態について述べる。本発明の実施の形態５に係る監視装置の構成は、図２と同様である。
カメラ１０１は、移動している複数の移動物体又は群衆を含む対象物の画像を撮像して全体画像を生成する。ここでは、カラー画像もしくは赤外画像を用いることが望ましい。移動体画像生成部１０２は、背景差分処理を行っても良い。
次に、密集度算出部１０３で、頭部の検出を行う場合について述べる。カメラ１０１で撮影された例えば図１６（ａ）に示すような全体画像１６０１から、黒領域（もしくは肌色領域）を抽出して、例えば図１６（ｂ）に示すような検出結果１６０２を得る。次に、頭部に相当する楕円の検出を行うことによって、例えば図１６（ｃ）に示すような楕円検出結果１６０３を得て、画像中に含まれる頭部候補領域の面積を算出する。なお、ここでは、マクロ的に密集度を算出するため、図１６に示す例のように、人物が重なっていた場合等、頭部に相当する楕円の検出が正常に動作しなかった場合においても、動作が破綻しない。また、頭部の数が正確に検出できないような場合においても、正常に動作することが期待できる。
次に、密集度算出部１０３で、人物の画像中に占める面積を算出する場合について述べる。カメラ１０１は、赤外画像を用いることが望ましい。この場合、密集度算出部１０３で、赤外画像で検出された人物領域が占める画素数を算出する。もちろん、カラー画像で肌色検出等を行った後、人物領域を切り出しても良い。なお、ここでは、頭部候補領域の面積を検出する場合と同様に、人物領域は必ずしも正確に抽出される必要はない。
ここで、密集度は、頭部候補領域の面積、もしくは人物領域が画像中に占める画素数、割合等で定義することが可能である。
次に、モデル生成部１０４の基準密集度（モデル値）を生成する動作について、説明する。ここで、基準密集度は、通常時の全体画像から作成された移動物体又は群衆の密集度であり、異常事態発生の判断の基準となる頭部候補領域の面積もしくは、人物領域が画像中に占める画素数、割合である。
なお、密集度の一時的な変動に対応するために、基準密集度は、一定時刻分の平均値と分散値を用いても良い。モデル生成部１０４は、演算した基準密集度をデータベース１０５に与えて保持させる。また、天候によっては、人物等の数は変化すると考えられるために、天候によってそれぞれ基準密集度を用意することが望ましい。さらに、雨天時の屋外であれば、傘をさした人物が存在するために、前記周波数分析処理後１次元情報（密集度）も晴天、曇天時とは異なる。また、同様に、平日と週末といったように、曜日によって、人物等の数は変化すると考えられるために、それぞれ複数の基準密集度を用意することが望ましい。また、これらの基準密集度は、季節、時刻、天候又は曜日に関する情報と対応づけるように複数のものを生成し、監視時には現在の季節、時刻、天候又は曜日に応じてどの基準密集度を用いるかを決定することが可能である。
次に、状況判断部１０６について述べる。状況判断部１０６は、現在の季節、時刻、天候又は曜日などの情報を基に、データベース１０５に保持している基準密集度（モデル値）を選択し、選択された基準密集度と密集度算出部１０３から入力された現時刻における密集度（１次元情報）との比較を行って、現時刻における密集度が基準密集度と異なるか否かを判断して判断結果を生成して報知部１０７に与える。
状況判断部１０６において、現時刻における密集度と基準密集度との比較は、基準密集度（モデル値）の平均値および分散値σからの外れ具合を計算する。一例としては、密集度の値が、基準密集度（モデル値）の分散値σから決定したＮσ（Ｎ：定数）以上外れている場合に異常事態と判定することができる。
次に、報知部１０７について述べる。報知部１０７は、画像表示部１０７１及び警報発生部１０７２を具備している。
画像表示部１０７１は、状況判断部１０６からの判断結果を受けて表示して監視者に報知する。警報発生部１０７２は、状況判断部１０６からの判断結果を受けて判断結果が異常事態の発生を示している時に警報音又は警報光を発生して監視者に報知する。
このように、本発明の実施の形態５によれば、全体画像に存在する移動物体又は群衆の画像を個々に検出及び追跡するのではなくマクロ的に捉えることによって、移動物体又は群衆の密集度が通常時と大きく異なる場合に異常事態と判断することによって検出ミス、追跡ミス及び照合ミスを防止し監視者に注意を促すことができる。また、本発明の実施の形態５によれば、実施の形態１と比較して計算量が少なく、移動物体又は群衆の密集度の算出が容易となる。
（実施の形態６）
次に、本発明の実施の形態６について説明する。本発明の実施の形態６に係る監視装置の構成は、図２と同様である。
本実施の形態では、カメラ（撮像手段）１０１、移動体画像生成部１０２、密集度算出部１０３は、実施の形態１と同様であるため、説明は省略する。
モデル生成部１０４は、基準密集度（モデル値）を生成する場合に単純に算術平均と分散を用いて演算することも可能であるが、ここでは、関数近似を用いて、基準密集度を算出、応用する例について説明する。
この背景画像作成手法は、画素ごとに複数のガウス分布を用いて確率的に背景画像をモデル化し、逐次に入力される画像を学習する手法である。例えば、木々の揺れ等、常に変動している画素は、変動分を含めて背景とすることができるなどの利点がある。本発明の監視装置１００におけるモデル生成部１０４においては、通常時に入力される１次元情報を、背景と同様に基準となる情報と考えることによって、環境変化にも対応可能なモデルを生成することができる。
ここで、基準密集度は、通常時の全体画像から作成された移動物体又は群衆の密集度であり、異常事態発生の判断の基準となる１次元情報である。
基準密集度であるモデルを生成する方法としては、ヒストグラム３０３およびオンピクセルの縦軸検出値４０２を用いることができる。さらに、周波数処理部２１１において、図６に示すように１次元情報であるヒストグラム３０３をローパス処理した逆変換結果５０３を用いる方法と、フーリエスペクトラム又はケプストラム係数を用いる方法とがある。以下、１次元情報をローパスフィルタで処理した逆変換結果５０３を用いる方法について述べる。なお、フーリエスペクトラム又はケプストラム係数を用いたモデルを生成する方法についても、逆変換結果５０３と同じ手法を用いて生成することが可能である。
モデル生成部１０４は、周波数処理部２１１により算出される所定日時の周波数分析処理後１次元情報（密集度）に基づいて移動物体又は群衆の基準密集度（モデル値）を算出演算する基準密集度算出手段を構成している。モデル生成部１０４は、演算した基準密集度をデータベース１０５に与えて保持させる。
モデル生成部１０４は、季節、時刻、天候又は曜日ごとに基準密集度を演算することが可能であり、また、季節及び現時刻の時刻を勘案して複数の基準密集度を用意することもできる。
また、天候によっては、人物等の数は変化すると考えられるために、天候によってそれぞれ基準密集度を用意することが望ましい。さらに、雨天時の屋外であれば、傘をさした人物が存在するために、前記周波数分析処理後１次元情報（密集度）も晴天、曇天時とは異なる。また、同様に、平日と週末といったように、曜日によって、人物等の数は変化すると考えられるために、それぞれ複数の基準密集度を用意することが望ましい。また、これらの基準密集度は、季節、時刻、天候又は曜日に関する情報と対応づけるように複数のものを生成し、監視時には現在の季節、時刻、天候又は曜日に応じてどの基準密集度を用いるかを決定することが可能である。
ここで、周波数分析後１次元情報（密集度）として、逆変換結果５０３を用いた場合の、モデル生成部１０４の基準密集度演算例について説明する。逆変換結果５０３の代わりに、ヒストグラム３０３およびオンピクセルの縦軸検出値４０２を用いても同様の処理が可能である。
逆変換結果５０３は、ｘ軸における各点xiごとに値y(xi)を持つ。ここで各点xiにおける逆変換結果であるy(xi)の時間変化をモデル化することによって、基準密集度（モデル値）を算出する。ここでは、Ｃ． Ｓｔａｕｆｆｅｒ，Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ：“Ａｄａｐｔｉｖｅ ｂａｃｋｇｒｏｕｎｄ ｍｉｘｔｕｒｅ ｍｏｄｅｌｓ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ，”ＣＶＰＲ'９９，Ｖｏｌ．２，ｐｐ．２４６−２５２における背景画像作成手法を用いた例について説明する。
ここで、y(xi)の時間変化に対して、例えば図１７に点線で示すような複数のガウス分布を用いてフィッティングする。これにより、y(xi)の時間変化は、ガウス分布の分布数とそれぞれのガウス分布の平均値、分散値を示すパラメータとして表現することができる。
本実施の形態では、このパラメータセットを基準密集度（モデル値）と呼び、データベース１０５に保持する。
モデル化により、曜日や日時によって、密集度の変動が大きい場合は、前記分散値が大きな値となる。また、密集度の変動が小さく、人通りが少ない場合においては、前記平均値、前記分散値共に低い値となり、通常時の密集度を時間変動分も考慮してモデル化することが可能である。さらに、複数のガウス分布でモデル化することによって、信号機付近を監視する場合に、信号機の変化によって周期的に変動する密集度をモデル化することも可能である。
また、フーリエスペクトラムやケプストラム係数を用いた場合は、各周波数もしくは各ケプストラム次数におけるスペクトラム値およびケプストラム値の時間変動を用いて、モデル化することが可能である。
例えば、フーリエスペクトラムを用いた場合は、ある周波数fiごとのパワースペクトラム値g(fi)を持つため、g(fi)の時間変動をガウス分布の分布数とそれぞれのガウス分布の平均値、分散値を示すパラメータをセットとして表現することができる。
ここで、データベース１０５には、基準密集度（モデル値）として、前記パラメータセットを保持する。もちろん、時間ごとに前記パラメータセットを更新することも可能である。
次に、状況判断部１０６について述べる。状況判断部１０６は、現在の季節、時刻、天候又は曜日などの情報を基に、データベース１０５に保持している基準密集度（モデル値）を選択し、選択された基準密集度と密集度算出部１０３から入力された現時刻における密集度（１次元情報）との比較を行って、現時刻における密集度が基準密集度と異なるか否かを判断して判断結果を生成して報知部１０７に与える。
状況判断部１０６において、現時刻における密集度と基準密集度との比較は、基準密集度（モデル値）の平均値および分散値σからの外れ具合を計算する。
ここでは、異常事態発生の判断は、入力された画像から１次元情報であるヒストグラム等を生成し、更に、周波数分析処理を行った周波数分析処理後１次元情報から現時刻における密集度として、ｘ軸における各点もしくは、各周波数、各ケプストラム次数におけるy(xi)およびg(fi)を算出する。次に、y(xi)およびg(fi)が、ガウス分布でモデル化された基準密集度（モデル値）から、閾値およびその範囲を設定することによって、異常事態か否かを判定する。
次に、報知部１０７について述べる。報知部１０７は、画像表示部１０７１及び警報発生部１０７２を具備している。
画像表示部１０７１は、状況判断部１０６からの判断結果を受けて表示して監視者に報知する。警報発生部１０７２は、状況判断部１０６からの判断結果を受けて判断結果が異常事態の発生を示している時に警報音又は警報光を発生して監視者に報知する。
なお、モデル生成部１０４は、環境変化によって人通りなどの移動物体の分布が変化した場合にも対応するために、基準密集度（モデル値）を所定時間毎に演算して新しい基準密集度（モデル値）を求めてデータベース１０５に与えて基準密集度（モデル値）を更新してもよい。
このように、本発明の実施の形態６によれば、全体画像に存在する移動物体又は群衆の画像を個々に検出及び追跡するのではなくマクロ的に捉えることによって、人物の顔などの部位を正確に検出できない場合においても、移動物体又は群衆の密集度が通常時と大きく異なる場合に異常事態と判断することによって検出ミス、追跡ミス及び照合ミスを防止し監視者に注意を促すことができる。また、本発明の実施の形態６によれば、移動物体又は群衆の密集度の算出が容易となり、実施の形態１の効果に加えて、時間変動をより正確にモデル化することができる。
本発明に係る監視装置は、例えば駅、商店街、道路等において、移動物体又は群衆の異常事態を判断するのに有用である。
図１は、従来の監視装置の構成を示すブロック図である。 図２は、本発明の実施の形態１に係る監視装置の構成を示すブロック図である。 図３は、本発明の実施の形態１に係る監視装置の密集度算出部の構成を示すブロック図である。 図４は、本発明の実施の形態１に係る監視装置における１次元情報変換を説明するための図である。 図５は、本発明の実施の形態１に係る監視装置における１次元情報変換を説明するための他の図である。 図６は、本発明の実施の形態１に係る監視装置におけるローパス処理を説明するための図である。 図７は、本発明の実施の形態１に係る監視装置におけるモデルの生成を説明するための図である。 図８は、本発明の実施の形態１に係る監視装置の動作の流れを示すフローチャートである。 図９は、本発明の実施の形態２に係る監視装置の構成を示すブロック図である。 図１０は、本発明の実施の形態２に係る監視装置のカメラ制御部の動作を説明するための図である。 図１１は、本発明の実施の形態３に係る監視装置の構成を示すブロック図である。 図１２は、本発明の実施の形態３に係る監視装置の移動方向算出部の構成を示すブロック図である。 図１３は、本発明の実施の形態３に係る監視装置の動作を説明するための図である。 図１４は、本発明の実施の形態４に係る監視装置の構成を示すブロック図である。 図１５は、本発明の実施の形態４に係る監視装置のカメラ制御部の動作を説明するための図である。 図１６は、本発明の実施の形態５に係る監視装置における頭部候補領域検出の動作を説明するための図である。 図１７は、本発明の実施の形態６に係る監視装置におけるガウス分布によるモデル化を説明するための図である。

Claims (8)

  1. 監視領域内の監視を行う監視装置であって、
    監視領域内の画像を撮像して全体画像を生成する撮像手段と、
    前記撮像手段により生成される前記全体画像から複数の移動物体または群衆の画像である移動体画像を生成する移動体画像生成手段と、
    前記移動体画像生成手段により生成される前記移動体画像を縦軸方向にスキャンして得られる値を横軸に射影することで１次元情報に変換し、得られた前記１次元情報の高周波成分をカットした情報のガウス分布の分布数とそれぞれのガウス分布の平均値および分散値とをパラメータ化し、当該パラメータを前記移動物体または前記群衆の密集の度合いを示す密集度として算出する密集度算出手段と
    を備えることを特徴とする監視装置。
  2. 前記監視装置は、さらに、
    前記密集度算出手段により算出される現時刻の前記密集度と、状況判断の基準とする密集度である基準密集度とに基づいて、現時刻の状況を判断する状況判断手段を備える
    ことを特徴とする請求項１記載の監視装置。
  3. 前記監視装置は、さらに、
    前記密集度算出手段により算出される所定日時の前記密集度に基づいて前記基準密集度を算出する基準密集度算出手段と、
    前記基準密集度算出手段により算出される前記基準密集度を保持するデータベースとを備える
    ことを特徴とする請求項２記載の監視装置。
  4. 前記監視装置はさらに、
    前記撮影手段により生成される前記全体画像と前記密集度算出手段により算出される前記密集度とに基づいて前記移動物体または前記群衆の移動方向を算出する移動方向算出手段
    を備えることを特徴とする請求項１記載の監視装置。
  5. 前記監視装置は、さらに、
    前記移動方向算出手段により算出される現時刻の前記移動方向と、状況判断の基準とする移動方向である基準移動方向とに基づいて、現時刻の状況を判断する状況判断手段を備える
    ことを特徴とする請求項４記載の監視装置。
  6. 前記監視装置は、さらに、
    前記移動方向算出手段により算出される所定日時の前記移動方向に基づいて前記基準移動方向を算出する基準移動方向算出手段と、
    前記基準移動方向算出手段により算出される前記基準移動方向を保持するデータベースとを備える
    ことを特徴とする請求項５記載の監視装置。
  7. 監視領域内の監視を行う監視方法であって、
    監視領域内の画像を撮像して全体画像を生成する撮像ステップと、
    前記撮像ステップにより生成される前記全体画像から複数の移動物体または群衆の画像である移動体画像を生成する移動体画像生成ステップと、
    前記移動体画像を縦軸方向にスキャンして得られる値を横軸に射影することで１次元情報に変換し、得られた前記１次元情報の高周波成分をカットした情報のガウス分布の分布数とそれぞれのガウス分布の平均値および分散値とをパラメータ化し、当該パラメータを前記移動物体または前記群衆の密集の度合いを示す密集度として算出する密集度算出ステップと
    を含むことを特徴とする監視方法。
  8. 監視領域内の監視を行うためのプログラムであって、
    監視領域内の画像を撮像して全体画像を生成する撮像ステップと、
    前記撮像ステップにより生成される前記全体画像から複数の移動物体または群衆の画像である移動体画像を生成する移動体画像生成ステップと、
    前記移動体画像を縦軸方向にスキャンして得られる値を横軸に射影することで１次元情報に変換し、得られた前記１次元情報の高周波成分をカットした情報のガウス分布の分布数とそれぞれのガウス分布の平均値および分散値とをパラメータ化し、当該パラメータを前記移動物体または前記群衆の密集の度合いを示す密集度として算出する密集度算出ステップと
    をコンピュータに実行させることを特徴とするプログラム。
JP2005514758A 2003-10-21 2004-10-06 監視装置 Expired - Fee Related JP3981391B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003361060 2003-10-21
JP2003361060 2003-10-21
PCT/JP2004/015086 WO2005039181A1 (ja) 2003-10-21 2004-10-06 監視装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2006286521A Division JP3910626B2 (ja) 2003-10-21 2006-10-20 監視装置
JP2007059230A Division JP2007209008A (ja) 2003-10-21 2007-03-08 監視装置

Publications (2)

Publication Number Publication Date
JPWO2005039181A1 JPWO2005039181A1 (ja) 2007-02-08
JP3981391B2 true JP3981391B2 (ja) 2007-09-26

Family

ID=34463429

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005514758A Expired - Fee Related JP3981391B2 (ja) 2003-10-21 2004-10-06 監視装置

Country Status (3)

Country Link
US (1) US7995843B2 (ja)
JP (1) JP3981391B2 (ja)
WO (1) WO2005039181A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101331500B (zh) 2005-10-14 2015-04-29 尤尼森斯繁殖技术公司 细胞群的变化的测定
KR101375583B1 (ko) * 2005-11-23 2014-04-01 오브젝트비디오 인코퍼레이티드 비디오에서의 물체 조밀도 판단
JP2008236676A (ja) * 2007-03-23 2008-10-02 Fujifilm Corp 撮影システムおよび撮影方法
CN103642688B (zh) 2007-06-29 2018-05-01 尤尼森斯繁殖技术公司 用于监测和/或培养显微对象的设备、系统和方法
JP4624396B2 (ja) * 2007-10-26 2011-02-02 パナソニック株式会社 状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法および異常判定プログラム
CN101855573B (zh) * 2008-01-16 2013-11-20 三菱电机株式会社 动态障碍物判定装置
EP2093698A1 (en) * 2008-02-19 2009-08-26 British Telecommunications Public Limited Company Crowd congestion analysis
TWI482123B (zh) * 2009-11-18 2015-04-21 Ind Tech Res Inst 多狀態目標物追蹤方法及系統
US20120016633A1 (en) * 2010-07-16 2012-01-19 Andreas Wittenstein System and method for automatic detection of anomalous recurrent behavior
JP5895242B2 (ja) * 2011-10-19 2016-03-30 パナソニックＩｐマネジメント株式会社 蝟集判定装置及び蝟集判定方法
US9811755B2 (en) 2013-03-29 2017-11-07 Nec Corporation Object monitoring system, object monitoring method, and monitoring target extraction program
CN105593901B (zh) 2013-06-28 2020-06-12 日本电气株式会社 训练数据生成设备、方法和程序以及人群状态识别设备、方法和程序
US10699130B2 (en) 2014-07-25 2020-06-30 Nec Corporation Image processing apparatus, monitoring system, image processing method, and program
JP6630999B2 (ja) * 2014-10-15 2020-01-15 日本電気株式会社 画像認識装置、画像認識方法、および、画像認識プログラム
CN104658008B (zh) * 2015-01-09 2017-09-12 北京环境特性研究所 一种基于视频图像的人员聚集检测方法
CN104581081B (zh) * 2015-01-26 2018-03-30 浙江易网科技股份有限公司 基于视频信息的客流分析方法
CN104616432B (zh) * 2015-02-04 2017-03-15 田文华 一种人流密度智能识别和控制方法及系统
CN104778447B (zh) * 2015-03-23 2018-01-12 中国民航大学 一种基于网格单元特征的人群聚集行为检测方法
CN106203458B (zh) * 2015-04-29 2020-03-06 杭州海康威视数字技术股份有限公司 人群视频分析方法及系统
US20170053172A1 (en) * 2015-08-20 2017-02-23 Kabushiki Kaisha Toshiba Image processing apparatus, and image processing method
JP2017041869A (ja) * 2015-08-20 2017-02-23 株式会社東芝 画像処理装置、画像処理方法、およびプログラム
JP6988790B2 (ja) 2016-03-07 2022-01-05 日本電気株式会社 群衆種類識別システム、群衆種類識別方法および群衆種類識別プログラム
JP2019114821A (ja) 2016-03-23 2019-07-11 日本電気株式会社 監視システム、装置、方法およびプログラム
CN106128028B (zh) * 2016-07-21 2018-11-20 深圳奇迹智慧网络有限公司 一种基于mac码和人脸识别的人流预警方法
KR101909477B1 (ko) * 2016-11-07 2018-10-18 세메스 주식회사 공정 챔버 감시 장치 및 방법
EP3340105A1 (en) 2016-12-21 2018-06-27 Axis AB Method for and apparatus for detecting events
SG10201802668QA (en) 2018-03-29 2019-10-30 Nec Asia Pacific Pte Ltd Method and system for crowd level estimation
WO2019199580A1 (en) * 2018-04-09 2019-10-17 Carrier Corporation Detecting abnormal behavior in smart buildings
CN112262028B (zh) * 2018-06-11 2024-03-15 松下知识产权经营株式会社 测距系统及测距方法
JP7143661B2 (ja) 2018-07-24 2022-09-29 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
CN109819208B (zh) * 2019-01-02 2021-01-12 江苏警官学院 一种基于人工智能动态监控的密集人群安防监控管理方法
CN110188597B (zh) * 2019-01-04 2021-06-15 北京大学 基于注意力机制循环缩放的人群计数与定位方法和系统
CN111915862A (zh) * 2020-09-10 2020-11-10 深圳市万佳安人工智能数据技术有限公司 一种室内人群密集监测预警装置、系统及方法
CN112637568B (zh) * 2020-12-24 2021-11-23 中标慧安信息技术股份有限公司 基于多节点边缘计算设备的分布式安全监控方法和系统
CN117333981B (zh) * 2023-10-31 2024-03-22 浙江泰源科技有限公司 一种机房集成监控管理方法与系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0491589A (ja) 1990-08-06 1992-03-25 Sharp Corp 移動物体検知装置
JPH07296166A (ja) * 1994-04-22 1995-11-10 Matsushita Electric Works Ltd 混雑度検出装置
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
JPH08167022A (ja) 1994-12-12 1996-06-25 Toshiba Corp 画像監視装置
US6061091A (en) * 1996-05-30 2000-05-09 Agfa Gevaert N.V. Detection of and correction for specular reflections in digital image acquisition
JPH1081480A (ja) * 1996-09-09 1998-03-31 Toshiba Elevator Technos Kk エスカレータ運転制御装置
JP3665430B2 (ja) 1996-09-12 2005-06-29 東京電力株式会社 画像特徴量判定装置及び画像特徴量判定方法
US6353764B1 (en) * 1997-11-27 2002-03-05 Matsushita Electric Industrial Co., Ltd. Control method
JP3549725B2 (ja) * 1998-04-13 2004-08-04 シャープ株式会社 画像処理装置
JP3462754B2 (ja) 1998-05-21 2003-11-05 日本マイクロシステムズ株式会社 監視装置
GB2343945B (en) 1998-11-18 2001-02-28 Sintec Company Ltd Method and apparatus for photographing/recognizing a face
JP2001099461A (ja) * 1999-09-30 2001-04-13 Matsushita Electric Ind Co Ltd 大空間空調方法及び大空間空調装置
WO2002021441A1 (fr) * 2000-09-06 2002-03-14 Hitachi, Ltd. Detecteur de comportement anormal
EP1260934A3 (en) * 2001-05-22 2004-04-14 Matsushita Electric Industrial Co., Ltd. Surveillance recording device and method
JP2003058884A (ja) * 2001-08-13 2003-02-28 Nippon Signal Co Ltd:The 物体存在密度測定装置
CN1409267A (zh) * 2001-09-27 2003-04-09 松下电器产业株式会社 图像处理装置、图像处理方法和计算机可读取记录媒体
US7202791B2 (en) * 2001-09-27 2007-04-10 Koninklijke Philips N.V. Method and apparatus for modeling behavior using a probability distrubution function
US7239726B2 (en) * 2001-12-12 2007-07-03 Sony Corporation System and method for effectively extracting facial feature information
JP3708497B2 (ja) * 2002-03-29 2005-10-19 財団法人鉄道総合技術研究所 混雑状況監視システム

Also Published As

Publication number Publication date
US7995843B2 (en) 2011-08-09
WO2005039181A1 (ja) 2005-04-28
JPWO2005039181A1 (ja) 2007-02-08
US20060195199A1 (en) 2006-08-31

Similar Documents

Publication Publication Date Title
JP3981391B2 (ja) 監視装置
JP2007209008A (ja) 監視装置
US10346688B2 (en) Congestion-state-monitoring system
JP3910626B2 (ja) 監視装置
US11669979B2 (en) Method of searching data to identify images of an object captured by a camera system
JP7428213B2 (ja) 情報処理システム、情報処理方法及びプログラム
KR102553883B1 (ko) 비디오 감시 시스템에서 경보들을 발생시키는 방법
CN104378582B (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
US7660439B1 (en) Method and system for flow detection and motion analysis
EP2549738B1 (en) Method and camera for determining an image adjustment parameter
JP5271227B2 (ja) 群衆監視装置および方法ならびにプログラム
WO2010030814A2 (en) Pixel-level based micro-feature extraction
JP5047382B2 (ja) ビデオ監視時に移動物体を分類するシステムおよび方法
KR20110121885A (ko) 교통사고 인식장치 및 그 방법
CN116996665B (zh) 基于物联网的智能监控方法、装置、设备及存储介质
EP2076884A1 (en) Improvements relating to event detection
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
KR20230097854A (ko) 발전소내 작업자의 위험행동 인지방법 및 시스템
KR101154350B1 (ko) 고해상도 영상의 객체 검지 및 분할 인식을 이용한 다중 영상처리시스템 및 방법
JP2003256844A (ja) パターン推定方法、パターン推定装置、パターン推定方法のプログラムおよびこのプログラムを記録した記録媒体
US11908197B2 (en) Information processing apparatus, information processing method, and storage medium
CN118334743A (zh) 一种公共场所中的人员逗留行为检测方法
CN111046788A (zh) 一种停留人员的检测方法、装置及系统
CN118072225A (zh) 一种违规人员监控画面放大方法及人员身份识别方法

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070308

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070629

R150 Certificate of patent or registration of utility model

Ref document number: 3981391

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100706

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110706

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110706

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120706

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120706

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130706

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees