JP7378223B2 - Detection device and its control method - Google Patents
Detection device and its control method Download PDFInfo
- Publication number
- JP7378223B2 JP7378223B2 JP2019084436A JP2019084436A JP7378223B2 JP 7378223 B2 JP7378223 B2 JP 7378223B2 JP 2019084436 A JP2019084436 A JP 2019084436A JP 2019084436 A JP2019084436 A JP 2019084436A JP 7378223 B2 JP7378223 B2 JP 7378223B2
- Authority
- JP
- Japan
- Prior art keywords
- detection
- human body
- detection device
- intrusion
- pedestrian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 154
- 238000000034 method Methods 0.000 title claims description 26
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000002159 abnormal effect Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 210000000746 body region Anatomy 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、映像に含まれる物体の検知技術に関するものである。 The present invention relates to a technology for detecting objects included in images.
マンション、ビル、校舎、駅舎、空港等の施設の安全確保を目的として、監視カメラを設置し当該監視カメラにより得られた映像を解析することにより、人物が施設内に侵入したことを検知するシステムが導入されてきている。特許文献1は、映像中の人体領域検出に関して、部位を検出する強判別器をカスケード接続して人体を検出する技術を開示している。また、特許文献2は、人物が画像上の禁止領域に対して侵入したかどうかを判定する侵入者監視装置を開示している。
A system that detects when a person has entered a facility by installing surveillance cameras and analyzing the images obtained by the surveillance cameras, with the aim of ensuring the safety of facilities such as apartments, buildings, school buildings, station buildings, and airports. has been introduced. Regarding detection of a human body region in a video, Patent Document 1 discloses a technique of detecting a human body by cascading strong classifiers that detect parts. Further,
ところで、上述の従来技術においては、映像に含まれる人体に関して当該人体の状態を区別せずに検出を行う構成となっている。そのため、図1に示すような映像がカメラにより取得されていた場合、車両に搭乗している人体(運転手102)と、道路上を歩行している人体(歩行者103)と、を検知することになる。例えば、破線矩形104及び破線矩形105において人体が検知されたと判定し追尾を開始する。そして、例えば、追尾中の人体が侵入検知線110を通過したことをトリガに、侵入者が検知されたという警報を出力する。つまり、車両の進入は検知対象から除外したい(=車両に搭乗した人体は検知対象から除外したい)というようなユースケースに対応することが出来ない。
By the way, the above-mentioned conventional technology is configured to detect a human body included in an image without distinguishing the state of the human body. Therefore, when an image as shown in FIG. 1 is captured by a camera, a human body (driver 102) riding in a vehicle and a human body (pedestrian 103) walking on the road are detected. It turns out. For example, it is determined that a human body is detected in the
本発明は、このような問題に鑑みてなされたものであり、物体の状態に応じて物体を区別して検知可能とする技術を提供することを目的としている。 The present invention has been made in view of such problems, and an object of the present invention is to provide a technology that allows objects to be distinguished and detected according to their states.
上述の問題点を解決するため、本発明に係る検知装置は以下の構成を備える。すなわち、検知装置は、動画のフレーム画像に含まれる物体の複数の部位を検出する検出手段と、前記検出手段により検出された部位に所定の部位を含むかによって、前記物体が歩行者であるか車両の搭乗者であるかを判定する判定手段と、を有する。 In order to solve the above-mentioned problems, a detection device according to the present invention has the following configuration. That is , the detection device includes a detection means that detects a plurality of parts of an object included in a frame image of a moving image, and determines whether the object is a pedestrian depending on whether the parts detected by the detection means include a predetermined part. determination means for determining whether the person is a passenger of the vehicle or not.
本発明によれば、物体の状態に応じて物体を区別して検知可能とする技術を提供することができる。 According to the present invention, it is possible to provide a technology that allows objects to be distinguished and detected according to their states.
以下に、図面を参照して、この発明の実施の形態の一例を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。 An example of an embodiment of the present invention will be described in detail below with reference to the drawings. Note that the following embodiments are merely illustrative, and are not intended to limit the scope of the present invention.
(第1実施形態)
本発明に係る検知装置の第1実施形態として、所定の監視領域を撮像するカメラと、当該カメラにより取得された動画像から物体を検出する検知装置と、を含む検知システムを例に挙げて以下に説明する。以下の説明では、検知対象の物体として人体を想定するが、他の物体でもよい。
(First embodiment)
As a first embodiment of the detection device according to the present invention, a detection system including a camera that images a predetermined monitoring area and a detection device that detects an object from a moving image acquired by the camera will be exemplified below. Explain. In the following description, a human body is assumed as the object to be detected, but other objects may be used.
<システム構成>
図4は、検知システムのハードウェア構成を例示的に示す図である。上述したように、検知システムは、検知装置400とカメラ450とを含む。なお、ここでは、検知装置400は、ネットワーク430を介して1つのカメラ450から映像を受信する構成を示しているが、複数のカメラから映像を受信するよう構成してもよい。また、検知装置400自体にカメラを搭載し、ネットワーク430を介さず直接映像を取得する構成としてもよい。
<System configuration>
FIG. 4 is a diagram illustrating the hardware configuration of the detection system. As mentioned above, the detection system includes a
検知装置400は、CPU401、ROM402、RAM403、外部記憶I/F404、入出力I/F405、ネットワークI/F406を含む。ROM402は、CPU401が実行するプログラムや各種の設定データを記憶する。CPU401は、ROM402に記憶されたプログラムをRAM403に読み込み実行することにより、図5を参照して後述する各機能部を実現する。
The
外部記憶I/F404は、ハードディスクドライブ(HDD)などの外部記憶装置407を接続するためのインタフェースである。入出力I/F405は、キーボード421、マウス422、不図示のタッチパネル等の入力デバイス、ディスプレイ423等の出力デバイスと接続するためのインタフェースである。ネットワークI/F406は、ネットワーク430と接続し、カメラ450等の外部装置と通信するためのインタフェースである。検知装置400は、例えば、汎用のPC(パーソナルコンピューター)、スマートフォン、タブレット、で実現可能であり、特定のデバイス形態に依存するものではない。
The external storage I/
カメラ450は、CPU451、ROM452、RAM453、撮像部454,ネットワークI/F455を含む。ROM452は、CPU451が実行するプログラムや各種の設定データを記憶する。CPU451は、ROM452に記憶されたプログラムをRAM453に読み込み実行することにより、撮像部454による撮像処理やネットワークI/F455を介した通信処理を実現する。撮像部454は、撮像光学系及びCCDやCMOSなどの撮像素子を含み、撮像により動画像(複数のフレーム画像)の生成を行う。圧縮符号化等も併せて行う構成でもよい。
The
図5は、検知装置の機能構成を例示的に示す図である。検知装置400は、機能部として、通信部501、画像取得部502、前処理部503、人体検出部510、人体追尾部504、状態判定部505、侵入判定部506、結果生成部508、領域設定部507を含む。また、人体検出部510は、それぞれが異なる対象部位を検出する複数の検出部(頭部検出部511、顔検出部512、上半身検出部513、全身検出部514)と、結果統合部515とを含む。
FIG. 5 is a diagram illustrating the functional configuration of the detection device. The
通信部501は、ネットワーク530と介して外部装置との間で通信を実行する。例えば、カメラ450から圧縮符号化された動画像を受信する。画像取得部502は、取得した動画像を復号化し、例えば複数のフレーム画像として外部記憶装置407に記憶する。前処理部503は、特徴量が抽出しやすいようにフレーム画像を補正する。
The
人体検出部510は、フレーム画像に含まれる人体を検出する。具体的には、頭部検出部511、顔検出部512、上半身検出部513、全身検出部514それぞれにおいて検出処理を実行し、結果統合部515で検出結果を統合することにより人体を検出する。検出処理の詳細については、図2及び図3を参照して後述する。
The human
人体追尾部504は、人体検出部510で検出した人体を複数のフレーム画像間で対応付けを行い、当該人体を追尾する。状態判定部505は、人体検出部510で検出した人体の状態を判定する。ここでは、運転手であるか歩行者であるか識別する。領域設定部507は、侵入検知の判定を行う所定領域である画像領域を設定する。ここでは、図2に示すように、動画像が示す撮像領域に対して、直線(線分)形状の侵入検知線として境界線を設定することを想定するが、折れ線又は曲線やそれらの組み合わせとして侵入検知線を設定してもよい。また、任意形状の侵入検知領域として設定してもよい。領域として設定する場合、例えば、対象の人体が当該領域の内側に所定時間以上存在することを条件に侵入検知の判定がなされる。
The human
侵入判定部506は、領域設定部507による設定に従って、検知対象とする人体の侵入を判定する。結果生成部508は、侵入判定部506による検知結果の情報を生成し、警報通知を行う。例えば、表示部522への警告表示、あるいは、ネットワーク530を介した不図示の外部装置への警告通知を行う。
The
<侵入検知の原理>
図2は、第1実施形態における侵入検知の原理を説明する図である。図2は、図1と同様に、車両201に搭乗している人体(運転手202)と、道路上を歩行している人体(歩行者203)と、を含む映像がカメラにより取得されていた状態を示している。
<Principle of intrusion detection>
FIG. 2 is a diagram illustrating the principle of intrusion detection in the first embodiment. Similar to FIG. 1, in FIG. 2, an image including a human body riding in a vehicle 201 (driver 202) and a human body walking on the road (pedestrian 203) was captured by a camera. It shows the condition.
映像に対して侵入検知線210が設定されており、検知装置は、人物が侵入検知線210を通過した場合に侵入検知判定を行う。また、部位検出情報204,205は、検知装置に含まれる4つの判別器により検知された4つの部位の検出結果を示す情報を例示的に示している。 An intrusion detection line 210 is set for the video, and the detection device performs an intrusion detection determination when a person passes through the intrusion detection line 210. Further, part detection information 204 and 205 exemplarily shows information indicating detection results of four parts detected by four discriminators included in the detection device.
第1実施形態では、検知装置は、侵入検知線210を通過した人体202、203に対して、部位検出情報204,205に基づき当該人体の状態を判定する。具体的には、人体が運転手であるか歩行者であるかを判定する。そして、運転手である人体202に対して侵入者ではないと判定し警報通知を行わない。一方、歩行者である人体203(運転手ではない人体)に対しては侵入者と判定し警報通知を行う。なお、ここでは、車両に搭乗している人体を便宜上「運転手」と表現するが、他の車両搭乗者(助手席や後部座席にいる人体)に対しても同様に適用可能である。 In the first embodiment, the detection device determines the state of the human bodies 202 and 203 that have passed through the intrusion detection line 210 based on the part detection information 204 and 205. Specifically, it is determined whether the human body is a driver or a pedestrian. Then, it is determined that the human body 202, which is the driver, is not an intruder, and no warning notification is given. On the other hand, a human body 203 that is a pedestrian (a human body that is not the driver) is determined to be an intruder, and a warning notification is given. Note that here, for convenience, the human body riding in the vehicle is referred to as a "driver," but the same applies to other vehicle occupants (human bodies in the passenger seat or rear seat).
図3は、複数の部位検出に基づく人体の状態判定ロジックを説明する図である。図3(a)は、人体の状態判定処理の流れを示しており、図3(b)は、部位検出結果の組み合わせパターンに基づく判定結果を示すテーブルを示している。 FIG. 3 is a diagram illustrating the logic for determining the state of a human body based on detection of a plurality of parts. FIG. 3(a) shows the flow of the human body state determination process, and FIG. 3(b) shows a table showing determination results based on combination patterns of part detection results.
判別器302,304、306、308は、フレーム画像に対して、それぞれ人体の異なる部位(身体領域)に対応する検出処理を行う。判別器302,304、306、308は、図5の頭部検出部511、顔検出部512、上半身検出部513、全身検出部514に対応する。すなわち、第1実施形態では、「部位」として、「顔301」「頭部303」「上半身305」「全身307」を想定する。
The
それぞれの判別器(強判別器)は、例えば複数の弱判別器のカスケード接続によって構成される。弱判別器はエッジや色などの画像特徴のパターンを検出する。なお、画像特徴の最適な検出パターンは機械学習によって取得するとよい。 Each classifier (strong classifier) is configured, for example, by cascading a plurality of weak classifiers. Weak classifiers detect patterns in image features such as edges and colors. Note that the optimal detection pattern for image features may be obtained by machine learning.
人体検出処理309では、それぞれの判別器(強判別器)による部位検出結果に基づいて人体を検出する。人体検出309は、図5の結果統合部515に対応する。なお、検出結果の統合には、例えば、各部位の重み付き和による評価関数を用いることが出来る。
In human
状態判定処理310では、それぞれの判別器(強判別器)による部位検出結果に基づいて、検出した人体の状態を判定する。ここでは、部位検出結果の組み合わせパターンに基づいて、検出された人体が、「運転手」、「歩行者」、あるいはそれら以外であることを示す「不明」を判定する。
In the
例えば、図3(b)に示されるように、フレーム画像において顔または頭部の少なくとも一方が検出され、その他の部位が検出されない場合は、当該人体を運転手と判定する。また、フレーム画像において全身が検出された場合は、当該人体を歩行者と判定する。すなわち、フレーム画像において全身が検出された場合とは、運転手等の車両搭乗者の場合には検出される可能性が低い人体の下半身を含む人体全体を検出している場合であるため、歩行者と判定する。一方で、フレーム画像において全身が検出されない場合は、下半身を含む人体全体を検出していない場合であるため、運転手等の車両搭乗者と判定する。なお、図3(b)のテーブルにおいて、「〇」は検出されたことを示し、「×」は検出されなかったことを示す。また、「-」は、検出有無によらない(状態判定には用いない)ことを示している。なお、図3(b)のテーブルは単なる例であり、他の人体部位の組み合わせを用いてもよいし、他の状態を判定するよう構成してもよい。また、例えば、人体検出部510が含む複数の検出部として、上述の4つのうち2以上の検出器を有する構成としてもよい。例えば、頭部検出部511と全身検出部514の2つを備えるよう構成し、当該2つの検出器による検出結果に基づいて状態を判定する。また、本実施形態では、上述の4つの検出器を有する構成としたが、さらに人体の下半身を検出する検出器を有する構成でもよい。運転手等の車両搭乗者の場合には、フレーム画像において、人体の下半身が検出される可能性は低いため、検出器により下半身が検出された場合には、歩行者と判定する。一方で、検出器により下半身が検出されない場合には、運転手等の車両搭乗者と判定する。下半身を検出する検出器としては、腰から下の下半身全体を検出する検出器、足首から下の部位を検出する検出器、脚を検出する検出器等が考えられる。
For example, as shown in FIG. 3B, if at least one of a face or a head is detected in the frame image and no other parts are detected, the human body is determined to be a driver. Further, if the whole body is detected in the frame image, the human body is determined to be a pedestrian. In other words, when the whole body is detected in a frame image, it is a case where the entire human body is detected, including the lower body, which is unlikely to be detected in the case of a vehicle occupant such as a driver. It is determined that the On the other hand, if the whole body is not detected in the frame image, this means that the entire human body including the lower body has not been detected, so it is determined that the person is a vehicle occupant such as a driver. In addition, in the table of FIG. 3(b), "O" indicates that the detection has occurred, and "x" indicates that the detection has not occurred. Further, "-" indicates that it does not depend on the presence or absence of detection (it is not used for state determination). Note that the table in FIG. 3(b) is merely an example, and other combinations of human body parts may be used, and other conditions may be determined. Furthermore, for example, the plurality of detection units included in the human
図6は、侵入検知の条件を設定する画面の例を示す図である。ここでは、ディスプレイ423上に表示されるダイアログ600を介して、検知対象、検知領域、検知判定点の設定を受け付けることを想定する。もちろん、更に他の条件を受け付けるよう構成してもよい。ここでは、ダイアログ600には、検知対象を選択するラジオボタン601、領域設定を行う設定ボタン602、検知判定点を表示する表示603が配置される。また、設定を確定するためのOKボタン604、及び設定を破棄するキャンセルボタン605がさらに配置される。
FIG. 6 is a diagram showing an example of a screen for setting conditions for intrusion detection. Here, it is assumed that settings for a detection target, detection area, and detection determination point are received via a
検知対象を選択するラジオボタン601は、侵入検知対象を限定するにあたって複数のオプションからマウス422によるクリック操作により1つの選択を受け付ける。例えば、「運転手を除外する」は、「運転手」と判定された人体を侵入検知対象から除外する。すなわち、「歩行者」又は「不明」と判定された人体が侵入検知対象となる。また、「歩行者のみを検知する」は、「運転手」と判定された人体に加え「不明」と判定された人体も侵入検知対象から除外する。
The
設定ボタン602は、侵入検知を判定する領域の設定を受け付ける。例えば、マウス422によるクリック操作により設定ボタン602を押下すると、図2に示すシーンが表示され、侵入検知線210の変更を受け付けるユーザインタフェース(UI)が表示される。当該UIは図5の領域設定部507に相当するものである。上述したように、侵入検知線(ライン)として設定することが可能な他、侵入検知領域(エリア)として設定することも可能である。また、検知判定点の表示603は、侵入検知を判定する領域における検知ポイントを示す表示である。検知ポイントとして、例えば、足元、中央、右、左等が表示される。
A
<装置の動作>
図7は、第1実施形態における侵入検知処理のフローチャートである。上述したように、図5に示す各機能部は、CPU401が、ROM402に記憶されたプログラムをRAM403に読み込み実行することにより実現される。
<Device operation>
FIG. 7 is a flowchart of intrusion detection processing in the first embodiment. As described above, each functional unit shown in FIG. 5 is realized by the
S701では、画像取得部502は、ネットワーク530を介してカメラ450から動画像を取得する。そして、取得した動画像を復号化し、例えば複数のフレーム画像として外部記憶装置407に記憶する。
In S701, the
S702では、前処理部503は、特徴量が抽出しやすいようにフレーム画像を補正し、人体検出部510は、フレーム画像に含まれる人体を検出する。ここでは、上述したように、4つの検出部511~514それぞれは、人体の4つの部位(頭部、顔、上半身、全身)それぞれを検出する処理を行う。そして、結果統合部515で4つの検出部による検出結果を統合することにより人体を検出する。
In S702, the
S703では、人体追尾部504は、人体検出部510で検出した人体を複数のフレーム画像にわたって追尾する。例えば、先行する(=過去の)フレーム画像における人体の検出結果を紐づけて履歴保持するものである。なお、第1実施形態では、人体検出部510で検出した全ての人体を追尾する。
In S703, the human
S704では、侵入判定部506は、領域設定部507による設定に従って、検知対象とする人体の侵入を判定する。例えば、侵入検知線210に対して人体の移動ベクトルが所定の方向に交差したことを判定する。
In S<b>704 , the
S705では、状態判定部505は、侵入検知線210に対して交差した人体の状態を判定する。具体的には、図3を参照して説明した方法により運転手、歩行者、不明の何れであるかを判定する。そして、運転手である場合はS707に進み、運転手でない場合(すなわち歩行者又は不明の場合)はS706に進む。また、S706では、歩行者である場合はS708に進み、歩行者でない場合(すなわち不明の場合)はS709に進む。
In S705, the
S707では、侵入判定部506は、対象の人体は正常な入構者であるとして記録する。一方、S708では、侵入判定部506は、対象の人体は異常入構者(歩行者)であるとして記録する。また、S709では、侵入判定部506は、対象の人体は異常入構者(不明)であるとして記録する。そして、侵入判定部506は、S708又はS709において異常入構者の記録を行った後、侵入検知イベントを発行する。
In S707, the
S711では、侵入判定部506は、S702で検出されS703で追尾されている全ての人体に対してS704の侵入検知判定を行ったか否かを判定する。判定を行っていない人体がある場合はS704に戻り、残りの人体について判定を行う。全ての人体に対する判定が完了した場合はS712に進む。
In S711, the
S712では、結果生成部508は、侵入検知イベントが発行された場合、異常入構者が検知された旨をユーザに認識させるべく警報通知する。例えば、表示部522への警告表示、あるいは、ネットワーク530を介した不図示の外部装置への警告通知を行う。
In S712, when an intrusion detection event is issued, the
S713では、検知装置400は、終了判定を行う。例えば、ユーザにより終了指示があった場合は処理を終了する。指示がない場合はS701に戻って処理を継続する。
In S713, the
以上説明したとおり第1実施形態によれば、複数の検出器の検出結果に基づいて人体を検出すると共に、当該人体の状態(運転手、歩行者、不明)を判定する。そして、判定された状態に基づいて侵入検知イベントの発行を制御する。例えば、人体が運転手と判定された場合は、侵入検知イベントの発行を抑止する。これにより、例えば、車両の侵入(車両に搭乗した人体の侵入)についての警報通知を抑止することが可能となる。すなわち、車両の進入は検知対象から除外したいというようなユースケースに対応することが可能となる。 As described above, according to the first embodiment, a human body is detected based on the detection results of a plurality of detectors, and the state of the human body (driver, pedestrian, unknown) is determined. The issuance of an intrusion detection event is then controlled based on the determined state. For example, if it is determined that the human body is a driver, the issuance of an intrusion detection event is suppressed. This makes it possible, for example, to suppress warning notifications regarding intrusion of a vehicle (intrusion of a human body aboard a vehicle). In other words, it becomes possible to correspond to a use case where it is desired to exclude the entry of a vehicle from the detection target.
なお、上述の説明においては、検知対象の物体として人体を想定したが、様々な物体を検知対象の物体として指定可能である。すなわち、複数の判別器による検知結果に基づいて複数の状態をとり得る物体であればよい。 Note that in the above description, a human body is assumed as the object to be detected, but various objects can be designated as the object to be detected. That is, any object may be used as long as it can take on a plurality of states based on detection results from a plurality of discriminators.
(第2実施形態)
第2実施形態では、追尾及び侵入検知の対象とする人体数を減らし、処理負荷を軽減する形態について説明する。具体的には、検出された人体に対して状態判定を行い、特定の状態にある人体(運転手)を除外した人体(歩行者及び不明)を追尾し侵入検知判定を行う形態について説明する。侵入検知の原理、状態判定ロジック、ハードウェア構成については第1実施形態(図2~図4)と同様であるため説明は省略する。
(Second embodiment)
In the second embodiment, a mode will be described in which the number of human bodies targeted for tracking and intrusion detection is reduced and the processing load is reduced. Specifically, a mode will be described in which the state of a detected human body is determined, and human bodies (pedestrians and unknown persons) excluding the human body (driver) in a specific state are tracked and intrusion detection is determined. The principle of intrusion detection, state determination logic, and hardware configuration are the same as those in the first embodiment (FIGS. 2 to 4), so explanations thereof will be omitted.
また、第2実施形態における機能構成は第1実施形態(図5)とほぼ同様であるが、処理順序が第1形態とは異なる。具体的には、第2実施形態では、図5における人体追尾部504と状態判定部505とが入れ替わり、状態判定を行った後に人体追尾を行う構成となる。以下では、主に第1実施形態と異なる部分について説明する。
Further, the functional configuration in the second embodiment is almost the same as that in the first embodiment (FIG. 5), but the processing order is different from the first embodiment. Specifically, in the second embodiment, the human
<装置の動作>
図8は、第2実施形態における侵入検知処理のフローチャートである。第1実施形態と同様に、図5に示す各機能部は、CPU401が、ROM402に記憶されたプログラムをRAM403に読み込み実行することにより実現される。
<Device operation>
FIG. 8 is a flowchart of intrusion detection processing in the second embodiment. Similar to the first embodiment, each functional unit shown in FIG. 5 is realized by the
S801及びS802は、第1実施形態のS701及びS702と同様である。S803では、状態判定部505は、S802で検出された人体の状態を判定する。具体的には、図3を参照して説明した方法により運転手、歩行者、不明の何れであるかを判定する。そして、運転手である場合はS805に進み、運転手でない場合(すなわち歩行者又は不明の場合)はS804に進む。また、S804では、歩行者である場合はS806に進み、歩行者でない場合(すなわち不明の場合)はS807に進む。
S801 and S802 are similar to S701 and S702 of the first embodiment. In S803, the
S805では、状態判定部505は、対象の人体は正常な入構者候補であると判定する。すなわち、当該人体は、侵入検知線210を通過したとしても正常な入構者として記録されるためである。一方、S806では、侵入判定部506は、対象の人体は異常入構者候補(歩行者)であると判定する。また、S807では、侵入判定部506は、対象の人体は異常入構者候補(不明)であると判定する。そして、S808では、侵入判定部506は、S806又はS807において異常入構者候補として記録した人体を追尾の対象として設定する。
In S805, the
S809では、侵入判定部506は、S802で検出された全ての人体に対してS803~S808の状態判定を行ったか否かを判定する。判定を行っていない人体がある場合はS803に戻り、残りの人体について判定を行う。全ての人体に対する判定が完了した場合はS810に進む。
In S809, the
S810では、人体追尾部504は、S808で追尾対象として設定された人体を複数のフレーム画像にわたって追尾する。そして、S811では、侵入判定部506は、領域設定部507による設定に従って、検知対象とする人体の侵入を判定し、S812では、侵入判定部506は、侵入検知イベントを発行する。すなわち、S808において追尾の対象として設定された人体は、全て、侵入検知線210を通過した場合に異常な入構者として記録される人体(異常入構者候補)であるためである。
In S810, the human
S813では、侵入判定部506は、S808において追尾の対象として設定された全ての人体に対してS811の状態判定を行ったか否かを判定する。判定を行っていない人体がある場合はS811に戻り、残りの人体について判定を行う。S808において追尾の対象として設定された全ての人体に対する判定が完了した場合はS814に進む。なお、S814及びS815は、第1実施形態のS712及びS713と同様である。
In S813, the
以上説明したとおり第2実施形態によれば、検出した人体の状態(運転手、歩行者、不明)の判定結果に基づいて、追尾及び侵入検知の対象とする人体を決定する。すなわち、第2実施形態においては、第1実施形態に比較し、追尾及び侵入検知判定を行う人体の数を低減することが可能となる。そのため、処理負荷を抑制することが可能となる。なお、図3(b)における判定結果に基づいて、結果生成部508が侵入検知の対象と決定した人体を計数してその計数結果を生成して出力するようにしてもよい。
As described above, according to the second embodiment, the human body to be tracked and intrusion detected is determined based on the determination result of the state of the detected human body (driver, pedestrian, unknown). That is, in the second embodiment, compared to the first embodiment, it is possible to reduce the number of human bodies for which tracking and intrusion detection determination are performed. Therefore, it is possible to suppress the processing load. Note that, based on the determination result in FIG. 3(b), the
(変形例)
上述の実施形態では、それぞれ人体の異なる部位を検出する複数の検出器(判定器)による検出結果を統合することにより、当該人体の状態(運転手、歩行、不明)を判定した。一方、人体の各部位を検出する1以上の検出器と車両の各部位を検出する1以上の検出器を設け、これらの検出器による検出結果を統合し、当該人体の状態を判定するよう構成してもよい。
(Modified example)
In the embodiment described above, the state of the human body (driver, walking, unknown) is determined by integrating the detection results from a plurality of detectors (determiners) each detecting a different part of the human body. On the other hand, one or more detectors that detect each part of the human body and one or more detectors that detect each part of the vehicle are provided, and the detection results from these detectors are integrated to determine the state of the human body. You may.
例えば、動画像に含まれる横長の動体領域を車両と判定する。そして、例えば、人体が侵入検知線210を通過した時点で、人体領域が車両領域の前方(進行方向)の中部に位置する場合に、当該人体が運転手であると判定する。すなわち、人体の状態判定を、当該人体以外の物体の検出結果を統合することに行ってもよい。 For example, a horizontally long moving object area included in a video image is determined to be a vehicle. Then, for example, if the human body area is located in the middle of the front (travel direction) of the vehicle area when the human body passes the intrusion detection line 210, it is determined that the human body is the driver. That is, the state of the human body may be determined by integrating the detection results of objects other than the human body.
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other examples)
The present invention provides a system or device with a program that implements one or more of the functions of the embodiments described above via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. This can also be achieved by processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
400 検知装置; 401 CPU; 402 ROM; 403 RAM; 430 ネットワーク; 450 カメラ; 501 通信部; 502 画像取得部; 510 人体検出部; 504 人体追尾部; 505 状態判定部; 506 侵入判定部; 508 結果生成部 400 Detection device; 401 CPU; 402 ROM; 403 RAM; 430 Network; 450 Camera; 501 Communication unit; 502 Image acquisition unit; 510 Human body detection unit; 504 Human body tracking unit; 505 State determination unit; Generation part
Claims (10)
前記検出手段により検出された部位に所定の部位を含むかによって、前記物体が歩行者であるか車両の搭乗者であるかを判定する判定手段と、 determining means for determining whether the object is a pedestrian or a vehicle occupant depending on whether a predetermined region is included in the region detected by the detection means;
を有することを特徴とする検知装置。A detection device characterized by having:
ことを特徴とする請求項1に記載の検知装置。 2. The detection device according to claim 1 , further comprising intrusion determining means for determining that the object has invaded a preset area with respect to the frame image.
ことを特徴とする請求項2に記載の検知装置。 3. The detection device according to claim 2 , further comprising notification means for notifying the determination result by the intrusion determination means when the determination means determines that the object is a pedestrian .
ことを特徴とする請求項3に記載の検知装置。The detection device according to claim 3, characterized in that:
前記設定手段は、前記領域の設定を、該領域の境界線を示す直線、曲線またはそれらの組み合わせとして受け付ける
ことを特徴とする請求項2乃至4のいずれか1項に記載の検知装置。 further comprising a setting means for accepting settings of the area,
5. The detection device according to claim 2, wherein the setting means accepts the setting of the area as a straight line, a curved line, or a combination thereof indicating a boundary line of the area.
ことを特徴とする請求項1乃至5のいずれか1項に記載の検知装置。 6. The determining means determines that the object is a pedestrian when the parts detected by the detecting means include a predetermined part. Detection device.
ことを特徴とする請求項1乃至6のいずれか1項に記載の検知装置。 7. The detection device according to claim 1, wherein the object is a human body, and the predetermined region is the entire human body or the lower half of the human body.
ことを特徴とする請求項1乃至7のいずれか1項に記載の検知装置。 8. The detection device according to claim 1, wherein the detection means detects a plurality of parts of the object using a plurality of detectors.
前記検出工程で検出された部位に所定の部位を含むかによって、前記物体が歩行者であるか車両の搭乗者であるかを判定する判定工程と、
を含むことを特徴とする検知装置の制御方法。 a detection step of detecting multiple parts of an object included in a frame image of a video;
a determination step of determining whether the object is a pedestrian or a vehicle occupant, depending on whether the region detected in the detection step includes a predetermined region;
A method for controlling a detection device, comprising:
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/531,539 US11514703B2 (en) | 2018-08-07 | 2019-08-05 | Detection device and control method of the same |
CN201910720555.6A CN110826387B (en) | 2018-08-07 | 2019-08-06 | Detection apparatus, control method thereof, and computer-readable recording medium |
US17/974,660 US20230044673A1 (en) | 2018-08-07 | 2022-10-27 | Detection device and control method of the same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018148854 | 2018-08-07 | ||
JP2018148854 | 2018-08-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020024669A JP2020024669A (en) | 2020-02-13 |
JP7378223B2 true JP7378223B2 (en) | 2023-11-13 |
Family
ID=69618774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019084436A Active JP7378223B2 (en) | 2018-08-07 | 2019-04-25 | Detection device and its control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7378223B2 (en) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005129003A (en) | 2003-06-09 | 2005-05-19 | Hitachi Kokusai Electric Inc | Device for detecting change |
JP2006027481A (en) | 2004-07-16 | 2006-02-02 | Toyota Motor Corp | Object warning device and its method |
JP2008021034A (en) | 2006-07-11 | 2008-01-31 | Fujitsu Ten Ltd | Image recognition device, image recognition method, pedestrian recognition device and vehicle controller |
JP2008181347A (en) | 2007-01-25 | 2008-08-07 | Meidensha Corp | Intrusion monitoring system |
JP2008181423A (en) | 2007-01-25 | 2008-08-07 | Fujitsu Ten Ltd | Pedestrian recognition device and pedestrian recognition method |
WO2010024281A1 (en) | 2008-08-28 | 2010-03-04 | 有限会社ラムロック映像技術研究所 | Monitoring system |
JP2010128727A (en) | 2008-11-27 | 2010-06-10 | Hitachi Kokusai Electric Inc | Image processor |
JP2015219868A (en) | 2014-05-21 | 2015-12-07 | キヤノン株式会社 | Information processor, information processing method and program |
JP2016021200A (en) | 2014-07-15 | 2016-02-04 | パナソニックIpマネジメント株式会社 | Determination method, determination system and determination device |
WO2017104835A1 (en) | 2015-12-16 | 2017-06-22 | 日本電気株式会社 | Intrusion detection device, setting assistance device, intrusion detection method, setting assistance method, and program recording medium |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0514892A (en) * | 1991-06-28 | 1993-01-22 | Toshiba Corp | Image monitor device |
-
2019
- 2019-04-25 JP JP2019084436A patent/JP7378223B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005129003A (en) | 2003-06-09 | 2005-05-19 | Hitachi Kokusai Electric Inc | Device for detecting change |
JP2006027481A (en) | 2004-07-16 | 2006-02-02 | Toyota Motor Corp | Object warning device and its method |
JP2008021034A (en) | 2006-07-11 | 2008-01-31 | Fujitsu Ten Ltd | Image recognition device, image recognition method, pedestrian recognition device and vehicle controller |
JP2008181347A (en) | 2007-01-25 | 2008-08-07 | Meidensha Corp | Intrusion monitoring system |
JP2008181423A (en) | 2007-01-25 | 2008-08-07 | Fujitsu Ten Ltd | Pedestrian recognition device and pedestrian recognition method |
WO2010024281A1 (en) | 2008-08-28 | 2010-03-04 | 有限会社ラムロック映像技術研究所 | Monitoring system |
JP2010128727A (en) | 2008-11-27 | 2010-06-10 | Hitachi Kokusai Electric Inc | Image processor |
JP2015219868A (en) | 2014-05-21 | 2015-12-07 | キヤノン株式会社 | Information processor, information processing method and program |
JP2016021200A (en) | 2014-07-15 | 2016-02-04 | パナソニックIpマネジメント株式会社 | Determination method, determination system and determination device |
WO2017104835A1 (en) | 2015-12-16 | 2017-06-22 | 日本電気株式会社 | Intrusion detection device, setting assistance device, intrusion detection method, setting assistance method, and program recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP2020024669A (en) | 2020-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5121258B2 (en) | Suspicious behavior detection system and method | |
US10810438B2 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
JP6137425B2 (en) | Image processing system, image processing apparatus, image processing method, and image processing program | |
Liu et al. | A fall detection system using k-nearest neighbor classifier | |
US20150094118A1 (en) | Mobile device edge view display insert | |
EP3480729B1 (en) | System and method for face position tracking and alerting user | |
JP6629139B2 (en) | Control device, control method, and program | |
US20220189038A1 (en) | Object tracking apparatus, control method, and program | |
JP2012128877A (en) | Suspicious behavior detection system and method | |
US20230044673A1 (en) | Detection device and control method of the same | |
JP7378223B2 (en) | Detection device and its control method | |
JP2012079340A (en) | Suspicious object detection system, suspicious object detection device, suspicious object detection method and program | |
JP7204421B2 (en) | Detecting device and its control method | |
US20220165092A1 (en) | Accident detection device and accident detection method | |
JP4888707B2 (en) | Suspicious person detection device | |
JP2020194227A (en) | Face hiding determination device, face hiding determination method, face hiding determination program, and occupant monitoring system | |
US10740623B2 (en) | Representative image generation device and representative image generation method | |
CN106355137B (en) | Method for detecting repetitive walk around and repetitive walk around detecting device | |
Lupinska-Dubicka et al. | Vehicle passengers detection for onboard eCall-compliant devices | |
KR102084329B1 (en) | Infant monitoring method in vehicle and the system thereof | |
Nair et al. | Smart System for Drowsiness and Accident Detection | |
JP2019128824A (en) | Image processing apparatus and image processing method | |
US20230252753A1 (en) | Image processing apparatus, image processing method, and storage medium | |
WO2017051499A1 (en) | Representative image generation device, representative image generation method, and program | |
KR19990007242U (en) | Surveillance System Using Image Processing Technique |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220418 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220418 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231002 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231031 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7378223 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |