JP7204421B2 - 検知装置およびその制御方法 - Google Patents

検知装置およびその制御方法 Download PDF

Info

Publication number
JP7204421B2
JP7204421B2 JP2018201161A JP2018201161A JP7204421B2 JP 7204421 B2 JP7204421 B2 JP 7204421B2 JP 2018201161 A JP2018201161 A JP 2018201161A JP 2018201161 A JP2018201161 A JP 2018201161A JP 7204421 B2 JP7204421 B2 JP 7204421B2
Authority
JP
Japan
Prior art keywords
human body
detection
state
determination
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018201161A
Other languages
English (en)
Other versions
JP2020067905A (ja
Inventor
明弘 浜名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018201161A priority Critical patent/JP7204421B2/ja
Priority to CN201910972754.6A priority patent/CN111104845B/zh
Priority to US16/659,635 priority patent/US11341773B2/en
Publication of JP2020067905A publication Critical patent/JP2020067905A/ja
Application granted granted Critical
Publication of JP7204421B2 publication Critical patent/JP7204421B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission

Description

本発明は、映像に含まれる物体の検知技術に関するものである。
マンション、ビル、校舎、駅舎、空港等の施設の安全確保を目的として、監視カメラを設置し当該監視カメラにより得られた映像を解析することにより、人物が施設内に侵入したことを検知するシステムが導入されてきている。特許文献１は、映像中の人体領域検出に関して、部位を検出する強判別器をカスケード接続して人体を検出する技術を開示している。また、特許文献２は、人物が画像上の禁止領域に対して侵入したかどうかを判定する侵入者監視装置を開示している。
米国特許出願公開第２００７／２３７３８７号 特開平９－５０５８５号公報
ところで、上述の従来技術においては、映像に含まれる人体に関して当該人体の状態を区別せずに検出を行う構成となっている。そのため、図１に示すような映像がカメラにより取得されていた場合、車両に搭乗している人体（運転手１０２）と、道路上を歩行している人体（歩行者１０３）と、を検知することになる。例えば、破線矩形１０４及び破線矩形１０５において人体が検知されたと判定し追尾を開始する。そして、例えば、追尾中の人体が侵入検知線を通過したことをトリガに、侵入者が検知されたという警報を出力する。つまり、車両の進入は検知対象から除外したい（＝車両に搭乗した人体は検知対象から除外したい）というようなユースケースに対応することが出来ない。
本発明は、このような問題に鑑みてなされたものであり、物体の状態に応じて物体を区別して検知可能とする技術を提供することを目的としている。
上述の問題点を解決するため、本発明に係る検知装置は以下の構成を備える。すなわち、検知装置は、
人体の複数の部位を検出する人体検出部を用いて、動画像に含まれる人体を検出する検出手段と、
前記動画像を構成する複数のフレームそれぞれに対する、前記人体検出部による前記複数の部位のそれぞれの検出有無の組み合わせに基づいて、前記検出手段により検出された人体の状態を判定する状態判定手段と、
前記検出手段により検出された人体が前記動画像に対して予め設定された領域へ侵入したことを判定する侵入判定手段と、
前記状態判定手段による判定結果と前記侵入判定手段による判定結果とに基づいて、前記検出手段により検出された１以上の人体の中から通知の対象とする人体を決定する決定手段と、
を有する。
本発明によれば、物体の状態に応じて物体を区別して検知可能とする技術を提供することができる。
侵入検知の例を説明する図である。 第１実施形態における侵入検知の原理を説明する図である。 複数の部位検出に基づく人体の状態判定ロジックを説明する図である。 人体情報のデータ構造の一例を示す図である。 検知システムのハードウェア構成を例示的に示す図である。 検知装置の機能構成を例示的に示す図である。 侵入検知の条件を設定する画面の例を示す図である。 第１実施形態における侵入検知処理のフローチャートである。 人体情報のデータ構造の一例を示す図である。 第２実施形態における侵入検知処理のフローチャートである。
以下に、図面を参照して、この発明の実施の形態の一例を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
（第１実施形態）
本発明に係る検知装置の第１実施形態として、所定の監視領域を撮像するカメラと、当該カメラにより取得された動画像から物体を検出する検知装置と、を含む検知システムを例に挙げて以下に説明する。以下の説明では、検知対象の物体として人体を想定するが、他の物体でもよい。
＜システム構成＞
図５は、検知システムのハードウェア構成を例示的に示す図である。上述したように、検知システムは、検知装置５００とカメラ５５０とを含む。なお、ここでは、検知装置５００は、ネットワーク５３０を介して１つのカメラ５５０から映像を受信する構成を示しているが、複数のカメラから映像を受信するよう構成してもよい。また、検知装置５００自体にカメラを搭載し、ネットワーク５３０を介さず直接映像を取得する構成としてもよい。
検知装置５００は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、外部記憶Ｉ／Ｆ５０４、入出力Ｉ／Ｆ５０５、ネットワークＩ／Ｆ５０６を含む。ＲＯＭ５０２は、ＣＰＵ５０１が実行するプログラムや各種の設定データを記憶する。ＣＰＵ５０１は、ＲＯＭ５０２に記憶されたプログラムをＲＡＭ５０３に読み込み実行することにより、図６を参照して後述する各機能部を実現する。
外部記憶Ｉ／Ｆ５０４は、ハードディスクドライブ（ＨＤＤ）などの外部記憶装置５０７を接続するためのインタフェースである。入出力Ｉ／Ｆ５０５は、キーボード５２１、マウス５２２、不図示のタッチパネル等の入力デバイス、ディスプレイ５２３等の出力デバイスと接続するためのインタフェースである。ネットワークＩ／Ｆ５０６は、ネットワーク５３０と接続し、カメラ５５０等の外部装置と通信するためのインタフェースである。検知装置５００は、例えば、汎用のＰＣ（パーソナルコンピューター）、スマートフォン、タブレット、で実現可能であり、特定のデバイス形態に依存するものではない。
カメラ５５０は、ＣＰＵ５５１、ＲＯＭ５５２、ＲＡＭ５５３、撮像部５５４，ネットワークＩ／Ｆ５５５を含む。ＲＯＭ５５２は、ＣＰＵ５５１が実行するプログラムや各種の設定データを記憶する。ＣＰＵ５５１は、ＲＯＭ５５２に記憶されたプログラムをＲＡＭ５５３に読み込み実行することにより、撮像部５５４による撮像処理やネットワークＩ／Ｆ５５５を介した通信処理を実現する。撮像部５５４は、撮像光学系及びＣＣＤやＣＭＯＳなどの撮像素子を含み、撮像により動画像（複数のフレーム画像）の生成を行う。圧縮符号化等も併せて行う構成でもよい。
図６は、検知装置の機能構成を例示的に示す図である。検知装置６００は、機能部として、通信部６０１、画像取得部６０２、前処理部６０３、人体検出部６１０、状態判定部６０４、人体追尾部６０５、侵入判定部６０６、結果生成部６０８、領域設定部６０７を含む。また、人体検出部６１０は、それぞれが異なる対象部位を検出する複数の検出部（顔検出部６１１、頭部検出部６１２、上半身検出部６１３、全身検出部６１４）と、結果統合部６１５とを含む。
通信部６０１は、ネットワーク６３０と介して外部装置との間で通信を実行する。例えば、カメラ５５０から圧縮符号化された動画像を受信する。画像取得部６０２は、取得した動画像を復号化し、例えば複数のフレーム画像として外部記憶装置５０７に記憶する。前処理部６０３は、特徴量が抽出しやすいようにフレーム画像を補正する。
人体検出部６１０は、フレーム画像に含まれる人体を検出する。具体的には、顔検出部６１１、頭部検出部６１２、上半身検出部６１３、全身検出部６１４それぞれにおいて検出処理を実行し、結果統合部６１５で検出結果を統合することにより人体を検出する。検出処理の詳細については、図２及び図３を参照して後述する。
状態判定部６０４は、人体検出部６１０で検出した人体の状態を結果統合部６１５で統合した結果に基づいて判定する。ここでは、運転手であるか歩行者であるか識別する。人体追尾部６０５は、人体検出部６１０で検出した人体を複数のフレーム画像間で対応付けを行い、人体の状態等の人体情報と共に当該人体を追尾する。領域設定部６０７は、侵入検知の判定を行う所定領域である画像領域を設定する。ここでは、図２に示すように、動画像が示す撮像領域に対して、直線（線分）形状の侵入検知線として境界線を設定することを想定するが、折れ線又は曲線やそれらの組み合わせとして侵入検知線を設定してもよい。また、任意形状の侵入検知領域として設定してもよい。領域として設定する場合、例えば、対象の人体が当該領域の内側に所定時間以上存在することを条件に侵入検知の判定がなされる。
侵入判定部６０６は、領域設定部６０７による設定に従って、検知対象とする人体の侵入を判定する。結果生成部６０８は、侵入判定部６０６による検知結果の情報を生成し、警報通知を行う。例えば、出力部６２２への警告表示通知／警報音発生通知、あるいは、ネットワーク６３０を介した不図示の外部装置への警告通知を行う。
＜侵入検知の原理＞
図２は、第１実施形態における侵入検知の原理を説明する図である。図２は、図１と同様に、車両２０１に搭乗している人体（運転手２０２）と、道路上を歩行している人体（歩行者２０３）と、を含む映像がカメラにより取得されていた状態を示している。
映像に対して侵入検知線２１０が設定されており、検知装置は、人物が侵入検知線２１０を通過した場合に侵入検知判定を行う。また、部位検出情報２０４，２０５は、検知装置に含まれる４つの判別器により検知された４つの部位の検出結果を示す情報を例示的に示している。
第１実施形態では、検知装置は、侵入検知線２１０を通過した人体２０２、２０３に対して、部位検出情報２０４，２０５に基づき当該人体の状態２０６，２０７を判定し、人体の状態履歴として時系列的に保持する。ここでは、人体の状態履歴に基づいて、「運転中」であるか「歩行中」であるかを区別する。この際、人体の状態として所定回数以上「歩行中」と判別された人体２０３のみを侵入者と判定して警報通知する。すなわち、運転中である人体２０２に対して侵入者ではないと判定し警報通知を行わない。一方、歩行中である人体２０３（運転中ではない人体）に対しては侵入者と判定し警報通知を行う。なお、ここでは、車両に搭乗している人体の状態を便宜上「運転中」と表現するが、他の車両搭乗者（助手席や後部座席にいる人体）に対しても同様に適用可能である。
図３は、複数の部位検出に基づく人体の状態判定ロジックを説明する図である。図３（ａ）は、人体の状態判定処理の流れを示しており、図３（ｂ）は、部位検出結果の組み合わせパターンに基づく判定結果を示すテーブルを示している。
判別器３０２，３０４、３０６、３０８は、フレーム画像に対して、それぞれ人体の異なる部位（身体領域）に対応する検出処理を行う。判別器３０２，３０４、３０６、３０８は、図６の顔検出部６１１、頭部検出部６１２、上半身検出部６１３、全身検出部６１４に対応する。すなわち、第１実施形態では、「部位」として、「顔３０１」「頭部３０３」「上半身３０５」「全身３０７」を想定する。
それぞれの判別器（強判別器）は、例えば複数の弱判別器のカスケード接続によって構成される。弱判別器はエッジや色などの画像特徴のパターンを検出する。なお、画像特徴の最適な検出パターンは機械学習によって取得するとよい。
人体検出処理３０９では、それぞれの判別器（強判別器）による部位検出結果に基づいて人体を検出する。人体検出３０９は、図６の結果統合部６１５に対応する。なお、検出結果の統合には、例えば、各部位の重み付き和による評価関数を用いることが出来る。
状態判定処理３１０では、それぞれの判別器（強判別器）による部位検出結果に基づいて、検出した人体の状態を判定する。ここでは、部位検出結果の組み合わせパターンに基づいて、検出された人体が、「運転中」、「歩行中」、あるいはそれら以外であることを示す「不明」を判定する。
例えば、図３（ｂ）に示されるように、フレーム画像において顔または頭部の少なくとも一方が検出され、その他の部位が検出されない場合は、当該人体の状態を運転中と判定する。また、フレーム画像において全身が検出された場合は、当該人体の状態を歩行中と判定する。いずれのパターンにも所属しない場合は、人体の状態を「不明」とする。なお、図３（ｂ）のテーブルにおいて、「〇」は検出されたことを示し、「×」は検出されなかったことを示す。なお、図３（ｂ）のテーブルは単なる例であり、他の人体部位の組み合わせを用いてもよいし、他の状態を判定するよう構成してもよい。また、例えば、人体検出部６１０が含む複数の検出部として、上述の４つのうち２以上の検出器を有する構成としてもよい。例えば、頭部検出部６１２と全身検出部６１４の２つを備えるよう構成し、当該２つの検出器による検出結果に基づいて状態を判定する。
図４は、第１実施形態における人体情報のデータ構造の一例を示す図である。項目４０１は、部位検出を行った画像のフレームのタイミング（時刻やフレーム番号）を示す。例えば、「ｔ」が最新のフレームであり、「ｔ－１」が一つ前のフレーム、「ｔ－２」が二つ前のフレームを意味する。項目４０２～４０５は、画像に対する４つの検出部による部位検出情報を示す。項目４０６は、各フレームでの部位検出情報に基づいて判別した人体の状態を示す。
ここで、項目４０６において、各フレームで状態の判別結果が変化するのは、項目４０２～４０５における各部位の部位検出情報に揺らぎが存在するからである。これは、各部位の強判別器の出力結果は不安定な場合があり検知結果に誤りが生じることによる。そのため、侵入検知線２１０の通過の前後のみのフレームでは正しい検出結果が得られるとは限らない。そこで、第１実施形態では、侵入検知線２１０の通過の直近の数フレームにおける状態の判別結果の履歴を利用する。例えば、直近の数フレーム中、半数以上のフレームで人体の状態が「運転中」であれば当該人体を運転手と判定する。また、例えば、直近の数フレーム中、半数以上のフレームで人体の状態が「歩行中」であれば当該人体を歩行者と判定する。それ以外であれば、当該人体の状態を不明と判定する。
図７は、侵入検知の条件を設定する画面の例を示す図である。ここでは、ディスプレイ５２３上に表示されるダイアログ７００を介して、検知対象、検知領域、検知判定点の設定を受け付けることを想定する。もちろん、更に他の条件を受け付けるよう構成してもよい。ここでは、ダイアログ７００には、検知対象を選択するラジオボタン７０１、領域設定を行う設定ボタン７０２、検知判定点を表示する表示７０３が配置される。また、設定を確定するためのＯＫボタン７０４、及び設定を破棄するキャンセルボタン７０５がさらに配置される。
検知対象を選択するラジオボタン７０１は、侵入検知対象を限定するにあたって複数のオプションからマウス５２２によるクリック操作により１つの選択を受け付ける。例えば、「運転手を除外する」は、「運転中」と判定された人体を侵入検知対象から除外する。すなわち、「歩行中」又は「不明」と判定された人体が侵入検知対象となる。また、「歩行者のみ検知する」は、「運転中」と判定された人体に加え「不明」と判定された人体も侵入検知対象から除外する。
設定ボタン７０２は、侵入検知を判定する領域の設定を受け付ける。例えば、マウス５２２によるクリック操作により設定ボタン７０２を押下すると、図２に示すシーンが表示され、侵入検知線２１０の変更を受け付けるユーザインタフェース（ＵＩ）が表示される。当該ＵＩは図６の領域設定部６０７に相当するものである。上述したように、侵入検知線（ライン）として設定することが可能な他、侵入検知領域（エリア）として設定することも可能である。また、検知判定点の表示７０３は、侵入検知を判定する領域における検知ポイントを示す表示である。検知ポイントとして、例えば、足元、中央、右、左等が設定される。
＜装置の動作＞
図８は、第１実施形態における侵入検知処理のフローチャートである。上述したように、図６に示す各機能部は、ＣＰＵ５０１が、ＲＯＭ５０２に記憶されたプログラムをＲＡＭ５０３に読み込み実行することにより実現される。
Ｓ８０１では、画像取得部６０２は、ネットワーク６３０を介してカメラ５５０から動画像を取得する。そして、取得した動画像を復号化し、例えば複数のフレーム画像として外部記憶装置５０７に記憶する。
Ｓ８０２では、前処理部６０３は、特徴量が抽出しやすいようにフレーム画像を補正し、人体検出部６１０は、フレーム画像に含まれる人体を検出する。ここでは、上述したように、４つの検出部６１１～６１４それぞれは、人体の４つの部位（顔、頭部、上半身、全身）それぞれを検出する処理を行う。そして、結果統合部６１５で４つの検出部による検出結果を統合することにより人体を検出する。
Ｓ８０３では、状態判定部６０４は、各フレームに対して、人体の４つの部位（顔、頭部、上半身、全身）それぞれの検出結果に基づいて人体の状態を判定（仮判定）する。具体的には、図３を参照して説明した方法により運転中、歩行中、不明の何れであるかを判定する。なお、状態判定は、全てのフレームに対して行ってもよいし間引いて（例えば所定のフレーム間隔ごと）行ってもよい。
Ｓ８０４では、人体追尾部６０５は、人体検出部６１０で検出した人体を複数のフレーム画像にわたって追尾する。例えば、先行する（＝過去の）フレーム画像における人体の検出結果を紐づけて履歴保持するものである。なお、ここでは、人体検出部６１０で検出した全ての人体を追尾することを想定する。
Ｓ８０５では、侵入判定部６０６は、領域設定部６０７による設定に従って、検知対象とする人体の侵入を判定する。例えば、侵入検知線２１０に対して人体の移動ベクトルが所定の方向に交差したことを判定する。
Ｓ８０６では、状態判定部６０４は、侵入検知線２１０に対して交差した人体の状態を判定（本判定）する。具体的には、図４を参照して説明した方法により運転手、歩行者、不明の何れであるかを判定する。すなわち、侵入検知線２１０を通過した時点での直近の数フレームにおける状態の判別結果の履歴を利用して判定する。そして、運転手である場合はＳ８０８に進み、運転手でない場合（すなわち歩行者又は不明の場合）はＳ８０７に進む。また、Ｓ８０７では、歩行者である場合はＳ８０９に進み、歩行者でない場合（すなわち不明の場合）はＳ８１０に進む。
Ｓ８０８では、侵入判定部６０６は、対象の人体は正常な入構者であるとして記録する。一方、Ｓ８０９では、侵入判定部６０６は、対象の人体は異常入構者（歩行者）であるとして記録する。また、Ｓ８１０では、侵入判定部６０６は、対象の人体は異常入構者（不明）であるとして記録する。そして、侵入判定部６０６は、Ｓ８０９又はＳ８１０において異常入構者の記録を行った後、侵入アラートを発行する。
Ｓ８１２では、侵入判定部６０６は、Ｓ８０２で検出されＳ８０４で追尾されている全ての人体に対してＳ８０５の侵入検知判定を行ったか否かを判定する。判定を行っていない人体がある場合はＳ８０５に戻り、残りの人体について判定を行う。全ての人体に対する判定が完了した場合はＳ８１３に進む。
Ｓ８１３では、結果生成部６０８は、侵入アラートが発行された場合、異常入構者が検知された旨を警報通知する。例えば、出力部６２２への警告表示通知／警報音発生通知、あるいは、ネットワーク６３０を介した不図示の外部装置への警告通知を行う。
Ｓ８１４では、検知装置５００は、終了判定を行う。例えば、ユーザにより終了指示があった場合は処理を終了する。指示がない場合はＳ８０１に戻って処理を継続する。
以上説明したとおり第１実施形態によれば、複数の検出器の検出結果に基づいて人体を検出すると共に、当該人体の状態を仮判定する。また、複数のフレームに対する人体の状態の仮判定結果に基づいて当該人体の状態を本判定する。そして、判定された状態に基づいて侵入アラートの発行を制御する。例えば、人体が運転手と判定された場合は、侵入アラートの発行を抑止する。これにより、例えば、車両の侵入（車両に搭乗した人体の侵入）についての警報通知を抑止することが可能となる。すなわち、車両の進入は検知対象から除外したいというようなユースケースに対応することが可能となる。また、各部位の強判別器において揺らぎが生じている場合であっても（検出結果に誤りが含まれる場合であっても）、高精度に人体の状態を判定することが可能となる。
なお、上述の説明においては、検知対象の物体として人体を想定したが、様々な物体を検知対象の物体として指定可能である。すなわち、複数の判別器による検知結果に基づいて複数の状態をとり得る物体であればよい。
（第２実施形態）
第２実施形態では、人体の状態を判定する別の方法について説明する。具体的には、人体の状態の判別を、直近の数フレームにおける部位毎の検出回数に基づいて行う。侵入検知の原理、ハードウェア構成、機能構成については第１実施形態（図２，図５，図６）と同様であるため説明は省略する。
また、第２実施形態における状態判定ロジックは、基本的には第１実施形態（図３）と同様であるが、各部位に対する確定された検出結果を図９に従って決定する点が異なる。以下では、主に第１実施形態と異なる部分について説明する。
図９は、第２実施形態における人体情報のデータ構造の一例を示す図である。項目９０１～項目９０４は、第１実施形態における項目４０１～項目４０４と同じである。ただし、第２実施形態では、第１実施形態における項目４０６は存在せず、項目９０６が追加されている。項目９０６は、各部位の検出回数（〇の個数）である。
第１実施形態と同様に、項目９０２～９０５における各部位の部位検出情報には揺らぎが存在する。そのため、侵入検知線２１０の通過の前後のみのフレームでは正しい検出結果が得られるとは限らない。そこで、第２実施形態では、侵入検知線２１０の通過の直近の数フレームにおける各部位の検出回数を利用して、各部位に対する確定された検出結果を決定する。そして、各部位に対する確定された検出結果の組み合わせに基づいて人体の状態を判定する。
例えば、直近の数フレーム中、「全身」が半数以上のフレームで検出された場合は「全身」が検出されたと決定し、人体の状態を歩行中と判定する。また、例えば、直近の数フレーム中、「顔」または「頭部」が半数以上のフレームで検出された場合は「顔」または「頭部」が検出されたと決定し、人体の状態を運転中と判定する。それ以外であれば、当該人体の状態を不明と判定する。そして、人体の状態が「歩行中」であれば歩行者と判定し、「運転中」であれば運転手と判定する。
＜装置の動作＞
図１０は、第２実施形態における侵入検知処理のフローチャートである。第１実施形態と同様に、図６に示す各機能部は、ＣＰＵ５０１が、ＲＯＭ５０２に記憶されたプログラムをＲＡＭ５０３に読み込み実行することにより実現される。
Ｓ１００１、Ｓ１００２、Ｓ１００４、Ｓ１００５、Ｓ１００８～Ｓ１０１４に示す処理は、第１実施形態（図８）におけるＳ８０１、Ｓ８０２、Ｓ８０４、Ｓ８０５、Ｓ８０８～Ｓ８１４に示す処理と同様である。
Ｓ１００６及びＳ１００７では、状態判定部６０４は、侵入検知線２１０に対して交差した人体の状態を判定する。具体的には、図９を参照して説明した方法により運転手、歩行者、不明の何れであるかを判定する。すなわち、侵入検知線２１０を通過した時点での直近の数フレームにおける各部位の検出回数を利用して人体の状態を判定する。
以上説明したとおり第２実施形態によれば、検出した人体の状態（運転手、歩行者、不明）の判定結果に基づいて、侵入検知の対象とする人体を決定する。これにより、車両の進入は検知対象から除外したいというようなユースケースに対応することが可能となる。また、各部位の強判別器において揺らぎが生じている場合であっても（検出結果に誤りが含まれる場合であっても）、高精度に人体の状態を判定することが可能となる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
５００ 検知装置； ５０１ ＣＰＵ； ５０２ ＲＯＭ； ５０３ ＲＡＭ； ５３０ ネットワーク； ５５０ カメラ； ６０１ 通信部； ６０２ 画像取得部； ６１０ 人体検出部； ６０４ 状態判定部； ６０５ 人体追尾部； ６０６ 侵入判定部； ６０８ 結果生成部

Claims (14)

  1. 人体の複数の部位を検出する人体検出部を用いて、動画像に含まれる人体を検出する検出手段と、
    前記動画像を構成する複数のフレームそれぞれに対する、前記人体検出部による前記複数の部位のそれぞれの検出有無の組み合わせに基づいて、前記検出手段により検出された人体の状態を判定する状態判定手段と、
    前記検出手段により検出された人体が前記動画像に対して予め設定された領域へ侵入したことを判定する侵入判定手段と、
    前記状態判定手段による判定結果と前記侵入判定手段による判定結果とに基づいて、前記検出手段により検出された１以上の人体の中から通知の対象とする人体を決定する決定手段と、
    を有することを特徴とする検知装置。
  2. 前記状態判定手段は、
    前記複数のフレームそれぞれに対して、前記人体検出部による前記複数の部位のそれぞれの検出有無の組み合わせに基づいて前記人体の状態の仮判定を行う第１の判定手段と、
    前記第１の判定手段による前記複数のフレームに対する複数の仮判定の結果に基づいて前記人体の状態の本判定を行う第２の判定手段と、
    を有する
    ことを特徴とする請求項１に記載の検知装置。
  3. 前記状態判定手段は、
    前記複数のフレームそれぞれに対して、前記人体検出部による前記複数の部位のそれぞれの検出有無の履歴に基づいて前記複数の部位のそれぞれにおける検出有無を確定する確定手段と、
    前記複数の部位のそれぞれにおける確定された検出有無の組み合わせに基づいて前記人体の状態の判定を行う判定手段と、
    を有する
    ことを特徴とする請求項１に記載の検知装置。
  4. 前記複数のフレームは、前記検出手段により検出された人体が前記領域に侵入したと前記侵入判定手段により判定された直近に得られた複数のフレームである
    ことを特徴とする請求項１乃至３の何れか１項に記載の検知装置。
  5. 前記決定手段により通知の対象と決定された人体に関する通知を行う通知手段を更に有する
    ことを特徴とする請求項１乃至４の何れか１項に記載の検知装置。
  6. 前記領域の設定を受け付ける設定手段を更に有し、
    前記設定手段は、前記領域の設定を、該領域の境界線を示す直線、曲線またはそれらの組み合わせとして受け付ける
    ことを特徴とする請求項１乃至５の何れか１項に記載の検知装置。
  7. 前記検出手段により検出された１以上の人体を前記動画像に含まれる複数のフレーム画像にわたって追尾する追尾手段を更に含み、
    前記決定手段は、前記追尾手段により追尾されている人体が前記侵入判定手段により前記領域へ侵入したと判定された場合、該人体の状態の判定を前記状態判定手段に実行させ、該状態判定手段により該人体が第１の状態と判定された場合、該人体を通知の対象と決定する
    ことを特徴とする請求項１乃至６の何れか１項に記載の検知装置。
  8. 前記第１の状態の人体は、歩行者である
    ことを特徴とする請求項７に記載の検知装置。
  9. 前記決定手段は、前記状態判定手段により第２の状態と判定された人体を通知の対象から除外する
    ことを特徴とする請求項７又は８に記載の検知装置。
  10. 前記第２の状態の人体は、車両の搭乗者である
    ことを特徴とする請求項９に記載の検知装置。
  11. 前記人体検出部は、複数の検出部を含み、
    前記複数の検出部は、それぞれ、人体の異なる部位を検出するよう構成されている
    ことを特徴とする請求項１乃至１０の何れか１項に記載の検知装置。
  12. 前記複数の検出部は、人体の顔、人体の頭部、人体の上半身、人体の全身のうち２以上を検出する２以上の検出部を含む
    ことを特徴とする請求項１１に記載の検知装置。
  13. 人体の複数の部位を検出する人体検出部を用いて、動画像に含まれる人体を検出する検出工程と、
    前記動画像を構成する複数のフレームそれぞれに対する、前記人体検出部による前記複数の部位のそれぞれの検出有無の組み合わせに基づいて、前記検出工程により検出された人体の状態を判定する状態判定工程と、
    前記検出工程により検出された人体が前記動画像が示す撮像領域に対して予め設定された領域へ侵入したか否かを判定する侵入判定工程と、
    前記状態判定工程による判定結果と前記侵入判定工程による判定結果とに基づいて、前記検出工程により検出された１以上の人体の中から通知の対象とする人体を決定する決定工程と、
    を含むことを特徴とする検知装置の制御方法。
  14. コンピュータを、請求項１乃至１２の何れか１項に記載の検知装置の各手段として機能させるためのプログラム。
JP2018201161A 2018-10-25 2018-10-25 検知装置およびその制御方法 Active JP7204421B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018201161A JP7204421B2 (ja) 2018-10-25 2018-10-25 検知装置およびその制御方法
CN201910972754.6A CN111104845B (zh) 2018-10-25 2019-10-14 检测设备，控制方法及计算机可读记录介质
US16/659,635 US11341773B2 (en) 2018-10-25 2019-10-22 Detection device and control method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018201161A JP7204421B2 (ja) 2018-10-25 2018-10-25 検知装置およびその制御方法

Publications (2)

Publication Number Publication Date
JP2020067905A JP2020067905A (ja) 2020-04-30
JP7204421B2 true JP7204421B2 (ja) 2023-01-16

Family

ID=70327321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018201161A Active JP7204421B2 (ja) 2018-10-25 2018-10-25 検知装置およびその制御方法

Country Status (3)

Country Link
US (1) US11341773B2 (ja)
JP (1) JP7204421B2 (ja)
CN (1) CN111104845B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514703B2 (en) * 2018-08-07 2022-11-29 Canon Kabushiki Kaisha Detection device and control method of the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016021200A (ja) 2014-07-15 2016-02-04 パナソニックＩｐマネジメント株式会社 判定方法、判定システム、及び判定装置
JP2017028364A (ja) 2015-07-16 2017-02-02 株式会社日立国際電気 監視システムおよび監視装置
JP2018005357A (ja) 2016-06-29 2018-01-11 株式会社東芝 情報処理装置および情報処理方法
WO2018061616A1 (ja) 2016-09-28 2018-04-05 株式会社日立国際電気 監視システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0950585A (ja) 1995-08-07 1997-02-18 Hitachi Ltd 侵入者監視装置
CA2359269A1 (en) * 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
JP4425642B2 (ja) * 2004-01-08 2010-03-03 富士重工業株式会社 歩行者抽出装置
JP2006027481A (ja) * 2004-07-16 2006-02-02 Toyota Motor Corp 物体警告装置及び物体警告方法
US20070237387A1 (en) 2006-04-11 2007-10-11 Shmuel Avidan Method for detecting humans in images
US8358328B2 (en) * 2008-11-20 2013-01-22 Cisco Technology, Inc. Multiple video camera processing for teleconferencing
JP2014006700A (ja) 2012-06-25 2014-01-16 Mitsubishi Motors Corp 歩行者検出装置
JP5794255B2 (ja) 2013-05-21 2015-10-14 株式会社デンソー 物体検出装置
US9336436B1 (en) * 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
JP6639091B2 (ja) * 2015-02-12 2020-02-05 キヤノン株式会社 表示制御装置及び表示制御方法
US20190143989A1 (en) * 2016-05-11 2019-05-16 Sony Corporation Image processing device, image processing method, and movable body
JP6686988B2 (ja) * 2017-08-28 2020-04-22 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
CN107766835A (zh) * 2017-11-06 2018-03-06 贵阳宏益房地产开发有限公司 行车安全检测方法及装置
JP6782283B2 (ja) * 2018-07-03 2020-11-11 矢崎総業株式会社 監視システム
US11299149B2 (en) * 2018-07-23 2022-04-12 Denso International America, Inc. Considerate driving system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016021200A (ja) 2014-07-15 2016-02-04 パナソニックＩｐマネジメント株式会社 判定方法、判定システム、及び判定装置
JP2017028364A (ja) 2015-07-16 2017-02-02 株式会社日立国際電気 監視システムおよび監視装置
JP2018005357A (ja) 2016-06-29 2018-01-11 株式会社東芝 情報処理装置および情報処理方法
WO2018061616A1 (ja) 2016-09-28 2018-04-05 株式会社日立国際電気 監視システム

Also Published As

Publication number Publication date
JP2020067905A (ja) 2020-04-30
US11341773B2 (en) 2022-05-24
CN111104845A (zh) 2020-05-05
CN111104845B (zh) 2023-10-24
US20200134299A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
JP5121258B2 (ja) 不審行動検知システム及び方法
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
CN110268440B (zh) 图像解析装置、图像解析方法、以及存储介质
JP6436077B2 (ja) 画像処理システム、画像処理方法及びプログラム
EP3480729B1 (en) System and method for face position tracking and alerting user
US9367742B2 (en) Apparatus and method for monitoring object from captured image
JP6629139B2 (ja) 制御装置、制御方法およびプログラム
JP2012243128A (ja) 監視装置、監視方法及び監視プログラム
JP7204421B2 (ja) 検知装置およびその制御方法
JP2012128877A (ja) 不審行動検知システム及び方法
JP2013045344A (ja) 監視装置、監視方法及び監視プログラム
US20230044673A1 (en) Detection device and control method of the same
KR101648786B1 (ko) 객체 인식 방법
US20220165092A1 (en) Accident detection device and accident detection method
JP7378223B2 (ja) 検知装置およびその制御方法
JP5188840B2 (ja) 警備装置および更新方法
JP5587068B2 (ja) 運転支援装置及び方法
CN106355137B (zh) 检测反复游荡的方法和反复游荡检测装置
JP4888707B2 (ja) 不審者検知装置
JP4954459B2 (ja) 不審人物検出装置
JP6933178B2 (ja) 制御装置、監視システム、監視カメラ制御方法および監視プログラム
Kosmopoulos et al. Fusion of color and depth video for human behavior recognition in an assistive environment
JP2019128824A (ja) 画像処理装置および画像処理方法
US20230125410A1 (en) Information processing apparatus, image capturing system, method, and non-transitory computer-readable storage medium
Lee et al. Real-time fire and smoke detection using camera sequence image in tunnel environment

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221228

R151 Written notification of patent or utility model registration

Ref document number: 7204421

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151