JP6348368B2 - Object detection device - Google Patents

Object detection device Download PDF

Info

Publication number
JP6348368B2
JP6348368B2 JP2014164407A JP2014164407A JP6348368B2 JP 6348368 B2 JP6348368 B2 JP 6348368B2 JP 2014164407 A JP2014164407 A JP 2014164407A JP 2014164407 A JP2014164407 A JP 2014164407A JP 6348368 B2 JP6348368 B2 JP 6348368B2
Authority
JP
Japan
Prior art keywords
area
region
group
candidate
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014164407A
Other languages
Japanese (ja)
Other versions
JP2016040674A (en
Inventor
叶秋 李
叶秋 李
正則 小野塚
正則 小野塚
佐藤 昌宏
昌宏 佐藤
陽介 村井
陽介 村井
秀紀 氏家
秀紀 氏家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2014164407A priority Critical patent/JP6348368B2/en
Publication of JP2016040674A publication Critical patent/JP2016040674A/en
Application granted granted Critical
Publication of JP6348368B2 publication Critical patent/JP6348368B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は入力画像から所定の対象が現れた対象領域を検出する対象検出装置に関する。   The present invention relates to a target detection device that detects a target region where a predetermined target appears from an input image.

監視カメラなどで撮影した入力画像から人物領域などを検出するために識別器等による探索処理が行われる。入力画像における対象の位置や大きさは一般に未知であるため、この探索処理では、入力画像内の各位置に窓領域を設定し、窓領域における画像を識別器等に入力する。そして、識別器等から出力されるスコアが閾値を超える窓領域を対象の候補領域として抽出する。   Search processing by a classifier or the like is performed in order to detect a person region or the like from an input image taken by a surveillance camera or the like. Since the position and size of the target in the input image are generally unknown, in this search process, a window area is set at each position in the input image, and the image in the window area is input to a discriminator or the like. Then, a window region whose score output from the discriminator or the like exceeds a threshold is extracted as a target candidate region.

このとき1つの対象に対して、真の対象の位置及び大きさを有する候補領域が抽出されるだけでなく、その近傍や内側においても位置及び/または大きさの異なる複数の候補領域が抽出される。そのため、重複を有する候補領域を、1つの対象に対して抽出された複数の候補領域であるとしてグループ化し、領域グループごとにスコアが最大の候補領域を対象の領域として選別することが行われている。   At this time, not only a candidate area having a true target position and size is extracted for one target, but also a plurality of candidate areas having different positions and / or sizes are extracted in the vicinity or inside thereof. The Therefore, the candidate areas having overlap are grouped as a plurality of candidate areas extracted for one target, and the candidate area having the highest score for each area group is selected as the target area. Yes.

ここで、領域グループは背景のみが写った領域(以下、背景領域)でも抽出されることがある。そこで従来、重複して抽出された候補領域の数を求め、求めた数が閾値を下回る候補領域を削除していた。これは、背景領域では重複して抽出される候補領域の数が少ない傾向を利用したものである。   Here, the area group may be extracted even in an area where only the background is shown (hereinafter, background area). Therefore, conventionally, the number of candidate areas extracted in duplicate is obtained, and candidate areas in which the obtained number falls below a threshold value are deleted. This uses the tendency that the number of candidate areas extracted in the background area is small.

特開2010−160640号公報JP 2010-160640 A

しかしながら、背景領域であっても比較的多くの候補領域が重複して抽出されることがあり、また、対象が写った領域であっても対象の姿勢変動などの影響によって重複して抽出される候補領域の数が比較的少なくなる場合がある。   However, even if it is a background area, a relatively large number of candidate areas may be extracted in an overlapping manner, and even an area in which an object is captured is redundantly extracted due to influences such as a change in posture of the object. The number of candidate areas may be relatively small.

そのため、従来技術のように重複数だけに着目し、重複数が閾値を下回る領域グループを削除すると、対象を含む領域グループを誤って削除してしまうおそれがあった。或いは、重複数の閾値を高めに設定してしまうと対象領域の領域グループを検出し損ねるおそれがあった。   Therefore, if attention is paid only to the overlap number as in the prior art and an area group in which the overlap number falls below the threshold value is deleted, the area group including the target may be erroneously deleted. Alternatively, if the overlap threshold value is set high, there is a risk of failing to detect the region group of the target region.

また、真の対象を表す候補領域であっても対象の姿勢変化などによってスコアが低めとなる場合があり、単純に候補領域を抽出する閾値を引き上げて背景領域での領域グループの抽出を抑制しようとすると対象を検出し損ねる問題があった。   Even if a candidate region represents a true target, the score may be lower due to changes in the posture of the target, etc., so simply increase the threshold for extracting the candidate region and suppress the extraction of region groups in the background region. Then, there was a problem of failing to detect the target.

このように従来技術は対象の領域グループと背景の領域グループとを好適に弁別できないことが比較的起こりやすいという問題を有していた。   As described above, the conventional technique has a problem that it is relatively easy to appropriately distinguish the target area group from the background area group.

本発明は上記問題を鑑みてなされたものであり、対象の検出し損ねを防止しつつ、背景領域にて対象の誤検出を防止し、入力画像から精度よく対象を検出可能な対象検出装置を提供することを目的とする。   The present invention has been made in view of the above problems, and an object detection device capable of detecting a target with high accuracy from an input image while preventing erroneous detection of the target while preventing erroneous detection of the target in the background region. The purpose is to provide.

本発明に係る対象検出装置は、入力画像において所定の対象が現れている対象領域を検出するものであって、 前記入力画像内に設定される注目領域に前記対象が存在する尤もらしさを表す指標値を前記入力画像内の各所にて抽出される特徴量を用いて算出するための指標値算出関数を予め記憶している記憶部と、前記入力画像内の複数の位置に前記注目領域を設定し、当該注目領域における前記指標値を前記指標値算出関数により算出する指標値算出部と、前記注目領域のうち前記指標値が予め定められた第一閾値以上であるものを候補領域として抽出すると共に、当該候補領域相互についての予め定められた重複関係を満たす複数の前記候補領域からなる領域グループを生成する領域グループ生成部と、前記領域グループのうち、帰属する前記候補領域の個数が予め定められた個数閾値以下であり且つ帰属する前記候補領域の前記指標値が前記第一閾値よりも高く定めた第二閾値以下であるものを削除する領域グループ削除部と、前記領域グループ削除部によって削除されなかった前記領域グループそれぞれから前記対象領域を決定する対象領域決定部と、を備える。   An object detection device according to the present invention detects an object region in which a predetermined object appears in an input image, and is an index representing the likelihood that the object exists in an attention region set in the input image A storage unit that stores in advance an index value calculation function for calculating a value using a feature amount extracted at various points in the input image, and sets the attention area at a plurality of positions in the input image Then, an index value calculation unit that calculates the index value in the attention area by the index value calculation function, and the attention area that has the index value equal to or greater than a predetermined first threshold is extracted as a candidate area. In addition, a region group generation unit that generates a region group composed of a plurality of the candidate regions satisfying a predetermined overlapping relationship between the candidate regions, and belonging among the region groups An area group deletion unit that deletes the number of candidate areas that are equal to or less than a predetermined number threshold and the index value of the candidate area to which the candidate area belongs is equal to or less than a second threshold that is set higher than the first threshold; A target region determining unit that determines the target region from each of the region groups that have not been deleted by the region group deleting unit.

本発明に係る対象検出装置においては、前記領域グループに帰属する前記候補領域の前記個数が前記個数閾値以下である場合における前記第二閾値は当該個数に応じて設定され、当該第二閾値の各設定値は、当該設定値に対応する前記個数が多いほど小さい値とするのが好適である。   In the object detection device according to the present invention, the second threshold value when the number of the candidate regions belonging to the region group is equal to or less than the number threshold value is set according to the number, and each of the second threshold values The set value is preferably set to a smaller value as the number corresponding to the set value increases.

本発明によれば、対象の検出し損ねを防止しつつ背景の誤検出を的確に減じることができる。   According to the present invention, it is possible to accurately reduce background misdetection while preventing an object from being missed.

本発明の実施形態に係る人物検出装置の概略のブロック構成図である。1 is a schematic block configuration diagram of a person detection device according to an embodiment of the present invention. 入力画像及び縮小画像の例を示す模式図である。It is a schematic diagram which shows the example of an input image and a reduction image. 本発明の実施形態に係る人物検出装置の概略の動作を示すフロー図である。It is a flowchart which shows operation | movement of the outline of the person detection apparatus which concerns on embodiment of this invention. 領域グループ生成部の概略の処理フロー図である。FIG. 10 is a schematic process flow diagram of an area group generation unit. 領域グループ生成部により抽出された候補領域に対する後続処理を説明する模式的な画像である。It is a typical image explaining the subsequent process with respect to the candidate area | region extracted by the area | region group production | generation part. 領域グループ削除部の概略の処理フロー図である。FIG. 10 is a schematic process flow diagram of an area group deletion unit.

以下、本発明の実施の形態(以下実施形態という)について、図面に基づいて説明する。本実施形態に係る対象検出装置は、画像中に映った人物を検出の対象とする人物検出装置1である。   Hereinafter, embodiments of the present invention (hereinafter referred to as embodiments) will be described with reference to the drawings. The target detection apparatus according to the present embodiment is a person detection apparatus 1 that targets a person shown in an image as a detection target.

[構成例]
図1は、実施形態に係る人物検出装置1の概略のブロック構成図である。人物検出装置1は、画像入力部2、制御部3、記憶部4及び出力部5を含んで構成される。画像入力部2、記憶部4及び出力部5は制御部3と接続される。
[Configuration example]
FIG. 1 is a schematic block diagram of a person detection device 1 according to the embodiment. The person detection device 1 includes an image input unit 2, a control unit 3, a storage unit 4, and an output unit 5. The image input unit 2, the storage unit 4, and the output unit 5 are connected to the control unit 3.

画像入力部2は例えば、監視カメラなどの撮像装置、又は映像を記録したデジタルビデオレコーダーなどの記録装置であり、画像を制御部3へ出力する。以下、画像入力部2から制御部3に入力される画像を入力画像と称する。   The image input unit 2 is, for example, an imaging device such as a surveillance camera or a recording device such as a digital video recorder that records video, and outputs an image to the control unit 3. Hereinafter, an image input from the image input unit 2 to the control unit 3 is referred to as an input image.

制御部3はCPU(Central Processing Unit)、DSP(Digital Signal Processor)等の演算装置を用いて構成される。制御部3は、画像入力部2からの入力画像を処理して人の存在有無を判定し、その判定結果等を出力部5へ出力する処理を行う。そのために、制御部3は、記憶部4からプログラムを読み出して実行し、画像縮小部30、特徴量抽出部31、指標値算出部32、領域グループ生成部33、領域グループ削除部34及び対象領域決定部35として機能する。   The control unit 3 is configured using an arithmetic device such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor). The control unit 3 processes the input image from the image input unit 2 to determine the presence / absence of a person and outputs the determination result to the output unit 5. For this purpose, the control unit 3 reads out and executes a program from the storage unit 4, and executes an image reduction unit 30, a feature amount extraction unit 31, an index value calculation unit 32, a region group generation unit 33, a region group deletion unit 34, and a target region. It functions as the determination unit 35.

画像縮小部30は、入力画像に撮像されている人物のサイズが様々であることに対応して、予め設定された複数段階の倍率で入力画像を縮小する。これにより画像内にて人物を検出するために設定する窓領域の大きさは変えずに、様々なサイズの人物領域を検出することが可能となる。例えば、画像縮小部30は入力画像を予め定めた最小幅または高さになるまで決まった間隔で順次縮小し、縮小画像を生成する。縮小倍率は、例えば縦横のサイズが半分になるまでの間に10段階に設定される。例えば、図2(a)に示す画像100が原サイズの入力画像であり、図2(b),(c)に示す画像110,120は画像100を縮小した入力画像の例である。   The image reduction unit 30 reduces the input image at a plurality of preset magnifications in response to the various sizes of the person captured in the input image. This makes it possible to detect person areas of various sizes without changing the size of the window area set for detecting a person in the image. For example, the image reduction unit 30 sequentially reduces the input image at a predetermined interval until it reaches a predetermined minimum width or height, and generates a reduced image. For example, the reduction ratio is set to 10 levels until the vertical and horizontal sizes are halved. For example, the image 100 shown in FIG. 2A is an input image of the original size, and the images 110 and 120 shown in FIGS. 2B and 2C are examples of input images obtained by reducing the image 100.

特徴量抽出部31は、原サイズの入力画像及び縮小した入力画像のそれぞれを予め定めたブロックサイズに区切り、各ブロックの画像から特徴量を抽出する。特徴量として、ヒストグラム・オブ・オリエンティッド・グラディエント(Histograms of Oriented Gradients:HOG)特徴量、局所二値パターン(Local Binary Pattern:LBP)特徴量、Haar-like特徴量などの従来知られた特徴量を単独で、又は複数を組み合わせて用いることができる。   The feature amount extraction unit 31 divides each of the original size input image and the reduced input image into predetermined block sizes, and extracts the feature amount from the image of each block. Conventionally known features such as Histograms of Oriented Gradients (HOG), Local Binary Pattern (LBP) features, Haar-like features, etc. It can be used alone or in combination.

指標値算出部32は、原サイズの入力画像及び縮小した入力画像内の各位置に人物を検出するための枠として、予め定めた人の大きさの窓領域(注目領域)を設定し、当該窓領域に対象が存在する尤もらしさを表す多値の指標値であるスコアを、入力画像内の各所にて抽出された特徴量と予め学習した指標値算出関数により算出する。例えば、指標値算出部32は、各窓領域内の特徴量を指標値算出関数に入力して当該窓領域に対するスコアを算出する、または、人物の腕部等が窓領域からはみ出す姿勢変動を考慮して窓領域内及び窓領域周辺の所定範囲の特徴量を指標値算出関数に入力して当該窓領域に対するスコアを算出する。   The index value calculation unit 32 sets a window area (attention area) of a predetermined person size as a frame for detecting a person at each position in the original size input image and the reduced input image, and A score, which is a multi-valued index value representing the likelihood that the target exists in the window area, is calculated using feature values extracted at various points in the input image and an index value calculation function learned in advance. For example, the index value calculation unit 32 calculates the score for the window area by inputting the feature amount in each window area to the index value calculation function, or takes into account the posture variation that the arm part of the person protrudes from the window area Then, a feature amount within a predetermined range in and around the window area is input to the index value calculation function to calculate a score for the window area.

なお、図2では画像100,110,120に設定される矩形の窓領域101の例を点線で示している。指標値算出部32は窓領域101を少しずつずらしながら繰り返し設定し、画像全体を走査する。例えば、窓領域101の走査は画像の左上から水平方向の走査が開始される。水平方向の走査は垂直方向の位置を少しずつずらしつつ繰り返される。   In FIG. 2, an example of the rectangular window region 101 set in the images 100, 110, and 120 is indicated by a dotted line. The index value calculation unit 32 repeatedly sets the window area 101 while gradually shifting it, and scans the entire image. For example, scanning of the window region 101 starts in the horizontal direction from the upper left of the image. The horizontal scanning is repeated while shifting the vertical position little by little.

指標値算出関数は本実施形態では、検出対象である「人」と「人」以外とを識別する識別器である。識別器は「人」が映っている多数の画像と、「人」が映っていない多数の画像とを用いて予め学習され、後述する指標値算出関数格納部40に格納されている。指標値算出部32は識別器に窓領域の位置に応じて特徴量を与えることでスコアを算出する。指標値算出部32は、窓領域の矩形情報(入力画像における位置、幅及び高さ)とそのスコアを、後述する指標値格納部41に格納する。例えば、入力画像における窓領域の位置として窓領域をなす矩形の左上の座標が格納される。   In this embodiment, the index value calculation function is a discriminator that discriminates between “persons” to be detected and those other than “persons”. The discriminator is learned in advance using a large number of images in which “people” are reflected and a large number of images in which “people” are not reflected, and is stored in an index value calculation function storage unit 40 described later. The index value calculation unit 32 calculates a score by giving a feature amount to the classifier according to the position of the window region. The index value calculation unit 32 stores rectangular information (position, width, and height in the input image) of the window area and its score in an index value storage unit 41 described later. For example, the upper left coordinates of the rectangle forming the window area are stored as the position of the window area in the input image.

領域グループ生成部33は、指標値格納部41から、スコアが予め定めた第一閾値T以上である窓領域を候補領域として抽出すると共に、当該候補領域相互についての予め定められた重複関係を満たす複数の領域からなる領域グループを生成する。具体的には、領域グループ生成部33は、所定以上の重複を有する候補領域同士に同じラベル番号を割り当てることによって領域グループの情報を生成する。また、その際にスコアの高い候補領域を優先的にグループの核とする。詳細は動作の説明にて後述する。領域グループ生成部33で割り当てた各候補領域のラベル番号は、矩形情報及びスコアと共に、後述する領域グループ格納部42に格納される。 Region group generation unit 33, from the index value storage section 41, extracts the window region is first thresholds T 1 or the score is predetermined as a candidate region, a predetermined overlapping relation on the candidate regions mutually A region group composed of a plurality of regions to be filled is generated. Specifically, the region group generation unit 33 generates region group information by assigning the same label number to candidate regions having a predetermined overlap or more. At that time, a candidate area having a high score is preferentially set as the core of the group. Details will be described later in the description of the operation. The label number of each candidate area assigned by the area group generation unit 33 is stored in the area group storage unit 42 described later together with the rectangle information and the score.

領域グループ削除部34は、領域グループ格納部42に格納されている領域グループのうち、削除条件に合致するものを領域グループ格納部42から削除する。ここで、実験的に、人物の領域を含む領域グループは、人物の領域が含まれない領域グループよりも候補領域数が多く、且つ、姿勢変動、オクルージョン等が原因で仮に候補領域数が少なくなった場合でも、候補領域のスコアは人物の領域が含まれない領域グループの候補領域のスコアよりも高い傾向があることがわかった。そこで、削除条件は、領域グループが次の2つの要件(R1),(R2)をいずれも満たしていることとする。   The area group deletion unit 34 deletes the area groups stored in the area group storage unit 42 that match the deletion condition from the area group storage unit 42. Here, experimentally, an area group including a person area has a larger number of candidate areas than an area group not including a person area, and the number of candidate areas temporarily decreases due to posture variation, occlusion, and the like. Even in this case, it was found that the score of the candidate area tends to be higher than the score of the candidate area of the area group not including the person area. Therefore, the deletion condition is that the area group satisfies both of the following two requirements (R1) and (R2).

(R1)領域グループに帰属する候補領域の個数が予め定めた個数閾値M以下であること。   (R1) The number of candidate regions belonging to the region group is equal to or less than a predetermined number threshold M.

(R2)領域グループに帰属する全ての候補領域のスコアが第一閾値Tよりも高く定めた第二閾値T以下であること。 (R2) The scores of all candidate regions belonging to the region group are equal to or lower than a second threshold T 2 determined higher than the first threshold T 1 .

個数閾値Mは、指標値算出関数の性能、第一閾値の設定、縮小率の設定などに依存して実験的・経験的に決定するものであって、例えば、実験データにおいて人物を含まない領域グループごとに候補領域の個数を求め、これらのグループから求めた個数の最大値を閾値Mに設定することができる。つまり、個数閾値Mは、人物を含まないグループのうち最も個数が多い領域グループに基づいて定めた閾値であるので、人物を含まない可能性がある領域グループと確実に人物を含む領域グループとの境界となる閾値と推定することができる。   The number threshold M is determined experimentally and empirically depending on the performance of the index value calculation function, the setting of the first threshold, the setting of the reduction ratio, and the like. The number of candidate regions can be obtained for each group, and the maximum value obtained from these groups can be set as the threshold value M. That is, the number threshold M is a threshold determined based on the region group having the largest number among the groups not including the person, and therefore, the region group that may not include the person and the region group that surely includes the person. It can be estimated that the threshold value is a boundary.

第一閾値Tは、事前の実験に基づいて設定することができ、真の人物領域を検出し損ねない程度に低めの値に設定される。例えば、第一閾値Tは実験データにおける真の人物領域に対して算出されたスコアの最小値とすることができる。第二閾値Tも事前の実験を基づいて設定することができる。第二閾値Tは第一閾値Tよりも高い値であるが、領域グループ削除部34による第二閾値Tに関する要件(R2)の適用の有無が問題となるのは、領域グループが要件(R1)を満たす場合に限定される。そこで例えば、実験データにおいて帰属する候補領域の個数がM個以下であり真の人物領域を含む領域グループごとに最大スコアを求め、これらのグループから求めた最大スコアのうちの最小値を第二閾値Tとすることができる。 First thresholds T 1 may be set based on preliminary experiments, it is set to a lower value so as not fail to detect a true person area. For example, the first thresholds T 1 may be the minimum value of the scores calculated for the true person region in the experimental data. Also the second threshold value T 2 can be set based on preliminary experiments. The second threshold value T 2 is higher than the first threshold value T 1 , but whether or not the requirement (R 2) regarding the second threshold value T 2 is applied by the region group deletion unit 34 is a problem for the region group. It is limited to satisfying (R1). Therefore, for example, the maximum score is obtained for each area group including the true person area and the number of candidate areas belonging to the experimental data is M or less, and the minimum value of the maximum scores obtained from these groups is set as the second threshold value. it can be a T 2.

第二閾値Tは人物を含む領域グループのうち最もスコアが低い領域グループに基づいて定めた閾値であるので、これを人物を含む領域グループと人物を含まない領域グループとの境界となる閾値と推定することができる。 Since the second threshold value T 2 is a threshold determined based on the most score lower area group in the region group including a person, a threshold at the boundary between the region groups that do not contain area groups and persons including the same person Can be estimated.

対象領域決定部35は領域グループ格納部42に格納されている領域グループから最終的な人物領域を求める。対象領域決定部35は、領域グループ削除部34で残された領域グループごとに1つの人物領域を定め、当該人物領域の領域情報をスコアと共に対象領域格納部43に格納する。例えば、対象領域決定部35は、最終的な人物領域として、各領域グループの中でスコアが最大になる候補領域を1つ選択する。或いは、対象領域決定部35は、領域グループごとに当該領域グループを構成する候補領域を平均して最終的な人物領域を算出する。当該平均を求める際、スコアで重み付けをしてもよい。   The target area determination unit 35 obtains a final person area from the area group stored in the area group storage unit 42. The target region determination unit 35 determines one person region for each region group left by the region group deletion unit 34 and stores the region information of the person region in the target region storage unit 43 together with the score. For example, the target area determination unit 35 selects one candidate area having the maximum score in each area group as the final person area. Alternatively, the target area determination unit 35 calculates a final person area by averaging the candidate areas constituting the area group for each area group. When obtaining the average, the score may be weighted.

制御部3は,入力画像から最終的な人物領域が1つでも検出された場合は、その情報を出力部5に出力する。   When at least one final person region is detected from the input image, the control unit 3 outputs the information to the output unit 5.

記憶部4はROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク等の記憶装置であり、制御部3で使用されるプログラムやデータを記憶する。記憶部4はこれらプログラム、データを制御部3との間で入出力する。記憶部4は指標値算出関数格納部40、指標値格納部41、領域グループ格納部42及び対象領域格納部43としての機能を有する。   The storage unit 4 is a storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), and a hard disk, and stores programs and data used by the control unit 3. The storage unit 4 inputs and outputs these programs and data to and from the control unit 3. The storage unit 4 has functions as an index value calculation function storage unit 40, an index value storage unit 41, an area group storage unit 42, and a target area storage unit 43.

指標値算出関数格納部40は、入力画像内に設定される窓領域に対象が存在する尤もらしさを表す指標値であるスコアを、入力画像内の各ブロックにて抽出される特徴量を用いて算出するための指標値算出関数、及び第一閾値Tを予め記憶している。指標値算出関数は既に述べたように識別器であり、具体的には予め収集した人の学習用画像と人以外の学習用画像にサポートベクターマシーン(Support Vector Machine:SVM)を適用して求めた識別器のパラメータが指標値算出関数格納部40に格納される。学習アルゴリズムとして線形SVMを用いた場合、識別器のパラメータは学習用画像から生成した重みベクトルである。この重みベクトルは、特徴量の各要素に対する重みである。重みベクトルは、当該重みベクトルと学習用画像から抽出された特徴量との内積が0より大きい場合は人、0以下の場合は人以外と識別されるように学習において調整され、入力画像の特徴量と重みベクトルとの内積の値がスコアを表す。よって、人と人以外のスコアを識別する閾値は原理上は0であり、通常、第一閾値Tは0に設定される。しかし本実施形態では前述したように、人を人以外であると識別する誤りを減じるために、第一閾値Tを0よりも小さな値に設定しておく。 The index value calculation function storage unit 40 uses a feature amount extracted by each block in the input image to obtain a score, which is an index value representing the likelihood that the target exists in the window area set in the input image. calculated for the index value calculating function for, and the first thresholds T 1 are stored in advance. As described above, the index value calculation function is a discriminator. Specifically, the index value calculation function is obtained by applying a support vector machine (SVM) to learning images of human beings and learning images other than human beings. The parameters of the discriminator are stored in the index value calculation function storage unit 40. When linear SVM is used as the learning algorithm, the parameter of the discriminator is a weight vector generated from the learning image. This weight vector is a weight for each element of the feature amount. The weight vector is adjusted in learning so that the inner product of the weight vector and the feature amount extracted from the learning image is identified as a person when it is greater than 0, and when it is equal to or less than 0, it is identified as a person other than the person. The value of the inner product of the quantity and the weight vector represents the score. Therefore, the threshold for discriminating the score between a person and a person other than a person is 0 in principle, and the first threshold T 1 is normally set to 0. However, as described above in the present embodiment, in order to reduce the error identified as other than human human, leave the first thresholds T 1 is set to a value less than 0.

識別器の学習アルゴリズムにはSVMの他、アダブースト(AdaBoost)法など、従来知られた各種のものを用いることができる。   As the learning algorithm of the discriminator, various conventionally known ones such as the AdaBoost method can be used in addition to the SVM.

また、識別器の代わりにパターンマッチング器を用いることもでき、その場合、スコアは人の学習用画像から抽出した特徴量の平均パターンと入力画像の特徴量との距離の逆数などとなり、指標値算出関数は当該スコアを出力値とし入力画像の特徴量を入力値とする関数とすることができる。   In addition, a pattern matching device can be used instead of the discriminator. In this case, the score is the reciprocal of the distance between the average pattern of feature values extracted from the human learning image and the feature value of the input image, and the index value. The calculation function can be a function having the score as an output value and the feature quantity of the input image as an input value.

指標値格納部41は、指標値算出部32で算出された各窓領域の情報を格納する。窓領域の情報は当該窓領域の矩形情報(入力画像における矩形の位置及び寸法)とスコアを対応付けた情報である。   The index value storage unit 41 stores information on each window area calculated by the index value calculation unit 32. The window area information is information in which rectangular information of the window area (position and size of the rectangle in the input image) is associated with the score.

領域グループ格納部42は、領域グループ生成部33で生成された各領域グループの情報を格納する。領域グループの情報は、領域グループのラベル番号(識別符号)と領域グループに帰属する候補領域の数と各候補領域の情報とを対応付けた情報である。候補領域の情報は、矩形情報(入力画像における矩形の位置及び寸法)とスコアである。格納された領域グループの情報のうち削除条件に合致したものは領域グループ削除部34により削除される。   The area group storage unit 42 stores information on each area group generated by the area group generation unit 33. The area group information is information in which the label number (identification code) of the area group, the number of candidate areas belonging to the area group, and information on each candidate area are associated with each other. The candidate area information is rectangular information (rectangular position and size in the input image) and score. Of the stored area group information, the area group deletion unit 34 deletes the information that matches the deletion condition.

対象領域格納部43は、対象領域決定部35により最終的に人物がいると判定された人物領域の情報を格納する。人物領域の情報は、候補領域の情報と同様、入力画像における人物領域の矩形情報(矩形の位置、及び寸法)とスコアとを対応付けた情報である。   The target area storage unit 43 stores information on a person area that is finally determined to have a person by the target area determination unit 35. The person area information is information in which rectangular information (rectangle position and size) of the person area in the input image is associated with the score, as in the candidate area information.

出力部5は対象領域決定部35の結果を受けて、ディスプレイなどの外部表示装置に入力画像と共に異常発生の旨を表示し、または、異常信号をセンタ装置へ送出するといった警報出力を行う。   The output unit 5 receives the result of the target area determination unit 35 and displays an alarm occurrence on the external display device such as a display together with the input image, or outputs an alarm signal such as sending an abnormality signal to the center device.

[動作例]
次に人物検出装置1の動作を説明する。図3は人物検出装置1の概略の動作を示すフロー図である。制御部3は画像入力部2から画像を入力されると(ステップS10)、画像縮小部30により、入力画像を複数の倍率それぞれで縮小して縮小画像を作成する(ステップS20)。例えば、図2に示したように、入力画像100から縮小画像110,120が生成される。
[Example of operation]
Next, the operation of the person detection device 1 will be described. FIG. 3 is a flowchart showing a schematic operation of the person detection apparatus 1. When an image is input from the image input unit 2 (step S10), the control unit 3 creates a reduced image by reducing the input image at a plurality of magnifications by the image reduction unit 30 (step S20). For example, as illustrated in FIG. 2, reduced images 110 and 120 are generated from the input image 100.

特徴量抽出部31は入力画像及び複数の縮小画像それぞれについて、画像内の各所において特徴量を抽出する(ステップS30)。   The feature amount extraction unit 31 extracts a feature amount at each place in the image for each of the input image and the plurality of reduced images (step S30).

指標値算出部32は、特徴量抽出部31で抽出された特徴量と指標値算出関数格納部40に格納されている識別器とにより画像内の各所に設定する窓領域に対応したスコアを算出し指標値格納部41に格納する(ステップS40)。   The index value calculation unit 32 calculates a score corresponding to the window region set in each place in the image by using the feature amount extracted by the feature amount extraction unit 31 and the classifier stored in the index value calculation function storage unit 40. And stored in the index value storage unit 41 (step S40).

領域グループ生成部33は、指標値算出部32で算出されたスコアに基づき人物の候補領域を抽出し、重複する複数の候補領域からなる領域グループを生成して領域グループ格納部42に格納する(ステップS50)。   The area group generation unit 33 extracts a person candidate area based on the score calculated by the index value calculation unit 32, generates an area group including a plurality of overlapping candidate areas, and stores the area group in the area group storage unit 42 ( Step S50).

図4は領域グループ生成部33の概略の処理フロー図である。図4を用いて領域グループ生成部33の動作について説明する。   FIG. 4 is a schematic process flow diagram of the area group generation unit 33. The operation of the area group generation unit 33 will be described with reference to FIG.

領域グループ生成部33は指標値格納部41を参照し、スコアが第一閾値T以上である窓領域を候補領域として抽出する(ステップS500)。 Region group generation unit 33 refers to the index value storage section 41, extracts window regions score is first thresholds T 1 or more as a candidate region (step S500).

図2では、候補領域の例を窓領域101に応じた大きさの実線の矩形で示している。画像100では左側の小さな(遠くの)人物像の辺りに候補領域102a,102bが抽出されている。また、画像110では中央のバス停標識の辺りに候補領域112a,112bが検出され、画像120では右側の大きな(近くの)人物像の辺りに候補領域122a〜122dが抽出されている。なお、図2に示すように、人物などの1つの像に対し、重複した複数の候補領域が抽出され得る。   In FIG. 2, examples of candidate areas are indicated by solid-line rectangles having a size corresponding to the window area 101. In the image 100, candidate regions 102a and 102b are extracted around a small (far) person image on the left side. In the image 110, candidate areas 112a and 112b are detected around the central bus stop sign, and in the image 120, candidate areas 122a to 122d are extracted around a large (near) human image on the right side. As shown in FIG. 2, a plurality of overlapping candidate regions can be extracted for one image such as a person.

図5は領域グループ生成部33により抽出された候補領域に対する後続処理を説明する模式的な画像である。なお、図5の画像は図2に示したものと同じ内容が映っており、図5(a)の画像130は、画像100,110,120の候補領域を1つの画像上にまとめて表示したものである。画像130は入力画像100と等倍のサイズであり、画像100の候補領域102a,102bはそのままの倍率で画像130上の候補領域131a,131bとなる。一方、縮小画像における候補領域112a,112b,122a〜122dそれぞれは入力画像100の倍率に正規化された候補領域132a,132b,133a〜133dとなる。   FIG. 5 is a schematic image for explaining the subsequent process for the candidate area extracted by the area group generation unit 33. The image of FIG. 5 shows the same content as that shown in FIG. 2, and the image 130 of FIG. 5A displays the candidate areas of the images 100, 110, and 120 together on one image. Is. The image 130 is the same size as the input image 100, and the candidate areas 102a and 102b of the image 100 become candidate areas 131a and 131b on the image 130 at the same magnification. On the other hand, the candidate areas 112a, 112b, 122a to 122d in the reduced image are candidate areas 132a, 132b, 133a to 133d normalized to the magnification of the input image 100, respectively.

領域グループ生成部33は抽出した候補領域をスコアの降順に並べ替え(ステップS501)、全候補領域についてラベル情報をラベル番号が未割当であることを示す状態に設定する(ステップS502)。   The area group generation unit 33 rearranges the extracted candidate areas in descending order of the scores (step S501), and sets the label information for all candidate areas to a state indicating that the label number is not assigned (step S502).

領域グループ生成部33は、ラベル番号を0から順次、インクリメントして設定する。そこで、現在のラベル番号を初期値0に設定する(ステップS503)。   The area group generation unit 33 increments and sets the label number sequentially from 0. Therefore, the current label number is set to the initial value 0 (step S503).

領域グループ生成部33はラベル番号が未割当の候補領域があるかどうかチェックする(ステップS504)。未割当の候補領域がある場合は(ステップS504にて「YES」の場合)、未割当の候補領域の中からスコアが最大になるもの(候補領域Aとする)を選択し(ステップS505)、現在のラベル番号を付与する(ステップS506)。   The area group generation unit 33 checks whether there is a candidate area to which the label number is not assigned (step S504). If there is an unassigned candidate area (in the case of “YES” in step S504), the unassigned candidate area having the highest score (candidate area A) is selected (step S505), The current label number is assigned (step S506).

そして候補領域Aを比較の基準として、ラベル未割当の候補領域を1つずつ比較相手として繰り返されるループ処理(S507〜S511)が行われる。当該ループ処理では比較相手として選択されていない候補領域を順次選択し(ステップS507)、比較相手として選択された候補領域Bと、候補領域Aとの重複度を計算し(ステップS508)、重複度が予め定められたグループ判定閾値より大きいか否かを判定する(ステップS509)。   Then, a loop process (S507 to S511) is performed in which the candidate area A is used as a reference for comparison, and the candidate areas that have not been assigned labels are compared one by one. In the loop processing, candidate regions that are not selected as comparison partners are sequentially selected (step S507), the degree of overlap between the candidate region B selected as the comparison partner and the candidate region A is calculated (step S508), and the degree of overlap is calculated. Is larger than a predetermined group determination threshold value (step S509).

重複度は、例えば、(入力画像中での候補領域Aと候補領域Bとの共通領域の面積) / (入力画像中での候補領域A及び候補領域Bの面積のうち小さい方)で計算される。また、(入力画像中での候補領域Aと候補領域Bとの共通領域の面積) / (入力画像中での候補領域Aと候補領域Bとの和領域の面積)で重複度を計算することもできる。例えば、グループ判定閾値は0.5に設定することができる。   The degree of overlap is calculated by, for example, (the area of the common area between candidate area A and candidate area B in the input image) / (the smaller of the areas of candidate area A and candidate area B in the input image). The Also, the degree of overlap is calculated by (area of the common area between candidate area A and candidate area B in the input image) / (area of the sum area of candidate area A and candidate area B in the input image). You can also. For example, the group determination threshold can be set to 0.5.

重複度がグループ判定閾値より大きい場合は(ステップS509にて「YES」の場合)、候補領域Bに候補領域Aと同じラベル番号を付与し(ステップS510)、当該候補領域Bについての処理を終えステップS507に戻る。一方、重複度がグループ判定閾値以下の場合は(ステップS509にて「NO」の場合)、候補領域Bはラベル番号を未割当の状態のままとして当該候補領域Bについての処理を終えステップS507に戻る。   If the degree of overlap is greater than the group determination threshold value (if “YES” in step S509), the same label number as the candidate area A is assigned to the candidate area B (step S510), and the process for the candidate area B is finished. The process returns to step S507. On the other hand, if the degree of overlap is equal to or less than the group determination threshold value (in the case of “NO” in step S509), the candidate area B is left unallocated with the label number, and the process for the candidate area B is finished and the process returns to step S507. Return.

或る候補領域Aについて未割当の候補領域すべてとの比較が終了した場合、つまりステップS507で未処理の候補領域が存在せず選択できなかった場合(ステップS511にて「NO」の場合)、現在のラベル番号をインクリメントし(ステップS512)、ステップS504に戻り、新たな候補領域Aを選択してステップS505〜S512の処理を繰り返す。   When the comparison with all the unallocated candidate areas for a certain candidate area A is completed, that is, when an unprocessed candidate area does not exist in step S507 and cannot be selected (in the case of “NO” in step S511), The current label number is incremented (step S512), the process returns to step S504, a new candidate area A is selected, and the processes of steps S505 to S512 are repeated.

一方、候補領域に対してラベル番号の付与がすべて終了した場合、つまり未割当の候補領域が無い場合は、(ステップS504で「NO」の場合)、同じラベルを付与された候補領域同士を領域グループとして領域グループ格納部42に格納して(ステップS513)、グループ生成処理を終了し図3のステップS60に処理を移行する。   On the other hand, when all label numbers are assigned to the candidate areas, that is, when there is no unallocated candidate area (in the case of “NO” in step S504), the candidate areas to which the same label is assigned are defined as areas. The group is stored as a group in the area group storage unit 42 (step S513), the group generation process is terminated, and the process proceeds to step S60 in FIG.

なお、上述のように、スコアが高い候補領域を優先してグループの核に設定することにより、近接する複数の人物に係る候補領域が1つのグループとなることを回避することが期待できる。   As described above, by setting a candidate area having a high score as the core of a group with priority, it can be expected that candidate areas relating to a plurality of adjacent persons are prevented from forming one group.

領域グループ生成部33の処理の結果、例えば、図5(a)の画像130における候補領域133a〜133dがラベル番号“0”のグループとなり、候補領域131a,131bがラベル番号“1”のグループとなり、候補領域132a,132bがラベル番号“2”のグループとなる。   As a result of the processing of the area group generation unit 33, for example, the candidate areas 133a to 133d in the image 130 in FIG. 5A become a group with a label number “0”, and the candidate areas 131a and 131b become a group with a label number “1”. The candidate areas 132a and 132b form a group with the label number “2”.

なお、候補領域の重心と寸法をパラメータとするクラスタリングによっても重複度に基づくグループ生成を行うことができる。   Note that group generation based on the degree of overlap can also be performed by clustering using the centroid and dimensions of candidate regions as parameters.

領域グループ削除部34は、領域グループ格納部42に格納された領域グループのうち、上述した削除条件、すなわち要件(R1)及び(R2)に合致するものを領域グループ格納部42から削除する(ステップS60)。図6は領域グループ削除部34の概略の処理フロー図である。図6を用いて領域グループ削除部34の動作について説明する。   The area group deletion unit 34 deletes, from the area group storage unit 42, the area groups stored in the area group storage unit 42 that meet the above-described deletion conditions, that is, the requirements (R1) and (R2) (step S40). S60). FIG. 6 is a schematic process flow diagram of the area group deletion unit 34. The operation of the area group deletion unit 34 will be described with reference to FIG.

領域グループ削除部34は領域グループ格納部42に格納されている領域グループを1つずつ処理対象として選択してステップS601〜S603の処理を行い(ステップS600にて「YES」の場合)、未処理の領域グループがなくなるとグループ削除処理を終了し図3のステップS70に処理を移行する(ステップS600にて「NO」の場合)。   The region group deletion unit 34 selects the region groups stored in the region group storage unit 42 as processing targets one by one and performs the processing of steps S601 to S603 (in the case of “YES” in step S600), unprocessed When there is no more area group, the group deletion process is terminated and the process proceeds to step S70 in FIG. 3 (in the case of “NO” in step S600).

領域グループ削除部34は処理対象の領域グループについて、例えばまず要件(R1)を満たすか否か、つまり当該グループに帰属する候補領域の個数が予め定められた個数閾値M以下か否かを判定する(ステップS601)。個数閾値M以下の場合は(ステップS601にて「YES」の場合)、さらにスコアに関する要件(R2)を満たすか否か、すなわち領域グループに帰属する全ての候補領域のスコアが第二閾値T以下か否か判定する(ステップS602)。なお、第二閾値Tは既に述べたように、候補領域を抽出するための第一閾値Tよりも高く定められた閾値である。 For example, the region group deletion unit 34 first determines whether or not the region group to be processed satisfies the requirement (R1), that is, whether or not the number of candidate regions belonging to the group is equal to or less than a predetermined number threshold M. (Step S601). If the number is equal to or less than the number threshold M (in the case of “YES” in step S601), whether the score requirement (R2) is further satisfied, that is, the scores of all candidate regions belonging to the region group are the second threshold T 2. It is determined whether it is below (step S602). Note that as the second threshold value T 2 has already been mentioned, it is a high-determined threshold than the first thresholds T 1 for extracting a candidate region.

ステップS602にてスコアが第二閾値T以下の場合は(ステップS602にて「YES」の場合)、当該領域グループは削除条件である要件(R1)及び(R2)を満たすので、領域グループ削除部34は当該領域グループを領域グループ格納部42より削除する(ステップS603)。 If the score is the second threshold value T 2 or less at step S602 (if at step S602 is "YES"), because the area group meets the requirements a deletion condition (R1) and (R2), the area group deletion The unit 34 deletes the area group from the area group storage unit 42 (step S603).

一方、要件(R1)を満たさない場合(ステップS601にて「NO」の場合)、及び要件(R2)を満たさない場合(ステップS602にて「NO」の場合)は、領域グループ削除部34は当該領域グループを削除せず、ステップS600に戻り、次の領域グループを処理対象とする。   On the other hand, if the requirement (R1) is not satisfied (in the case of “NO” in step S601) and the requirement (R2) is not satisfied (in the case of “NO” in step S602), the region group deletion unit 34 The area group is not deleted, and the process returns to step S600 to set the next area group as a processing target.

図5(b)の画像140は画像130に対する領域グループ削除部34の処理結果を示しており、例えば、個数閾値Mを2として、以下にその処理と効果を説明する。   The image 140 in FIG. 5B shows the processing result of the area group deletion unit 34 for the image 130. For example, assuming that the number threshold M is 2, the processing and effects will be described below.

候補領域133a〜133dからなる領域グループ“0”は候補領域の数が4であるので要件(R1)を満たさず、よって削除されない。このように十分に多い候補領域が抽出される典型的な人物領域グループは、グループを構成する候補領域のスコアと第二閾値Tとの関係によらず適切に残すことができる。 The area group “0” composed of the candidate areas 133a to 133d does not satisfy the requirement (R1) because the number of candidate areas is 4, and thus is not deleted. The typical human region group sufficiently large candidate regions are extracted as may be appropriate to leave regardless of the relationship between the score and the second threshold value T 2 of the candidate regions that constitute the group.

一方、人物に起因する候補領域131a,131bからなる領域グループ“1”は、候補領域の数が2であり要件(R1)を満たし、背景に起因する候補領域132a,132bからなる領域グループ“2”もまた候補領域の数が2であり要件(R1)を満たす。従来技術のように要件(R1)のみで削除条件を構成すると、背景に起因する領域グループ“2”は削除できるものの、人物に起因する領域グループ“1”までも削除されてしまう。   On the other hand, the area group “1” composed of the candidate areas 131a and 131b attributed to the person satisfies the requirement (R1) because the number of candidate areas is 2, and the area group “2” composed of the candidate areas 132a and 132b attributed to the background. "" Also satisfies the requirement (R1) because the number of candidate regions is two. If the deletion condition is configured only by the requirement (R1) as in the prior art, the area group “2” caused by the background can be deleted, but the area group “1” caused by the person is also deleted.

しかし、要件(R2)を削除条件に含んだ本発明を適用することにより、これらを適切に弁別できる。すなわち、人物に起因する領域グループ“1”においては好適に真の人物領域を捉える位置にある候補領域131aのスコアが第二閾値Tを超えるため要件(R2)を満たさず、よって削除されない。他方、領域グループ“2”においては各候補領域132a,132bが背景に起因するためスコアが第二閾値T以下となり要件(R2)を満たし、よって削除される。 However, by applying the present invention in which the requirement (R2) is included in the deletion condition, these can be appropriately distinguished. In other words, preferably not satisfy the requirement (R2) for the score of the candidate region 131a in a position to capture the true person area exceeds a second threshold value T 2 are in the area group "1" due to the person, thus not deleted. On the other hand, the candidate region 132a in the area group "2", 132b meets the requirements score for due to the background becomes the second threshold value T 2 or less (R2), thus being removed.

上述した領域グループ削除部34の処理が終わると、対象領域決定部35は最終的な人物領域を求めて対象領域格納部43に格納する(図3のステップS70)。   When the processing of the region group deletion unit 34 described above is completed, the target region determination unit 35 obtains a final person region and stores it in the target region storage unit 43 (step S70 in FIG. 3).

図5(c)の画像150は画像140に対する対象領域決定部35の処理例を示しており、領域グループ“0”,“1”それぞれから、スコアが最大となる候補領域133a,131aが人物領域として選択されている。   An image 150 in FIG. 5C shows a processing example of the target area determination unit 35 for the image 140. The candidate areas 133a and 131a having the maximum score from the area groups “0” and “1” are person areas. As selected.

ステップS70にて人物領域の算出後、画像中に人物が1人でもいた場合(ステップS80にて「YES」の場合)、例えば、出力部5は検出された人物領域の情報と当該人物領域が検出された入力画像とを含めた異常信号をセンタ装置に送出する(ステップS90)。   If there is even one person in the image after the calculation of the person area in step S70 (in the case of “YES” in step S80), for example, the output unit 5 includes information on the detected person area and the person area. An abnormal signal including the detected input image is sent to the center device (step S90).

以上、実施形態を用いて説明した本発明では、領域グループに含まれる候補領域の個数と候補領域のスコアとを併用することで、人物領域の最終的な検出結果の精度を向上させる。具体的には、領域グループに含まれる候補領域の個数を第一の指標として、個数が閾値Mを下回ることを領域グループの削除条件の1つの要件(R1)とする。さらに、候補領域を見つけたときのスコアの閾値Tよりも高く定めた閾値Tを第二の指標として、候補領域のスコアがいずれも第二の指標を下回ることを領域グループの削除条件の他の1つの要件(R2)とする。これら要件(R1)及び(R2)を両方満たす領域グループを削除することで、対象の検出し損ねを防止しつつ背景の誤検出を的確に減じ、最終的な検出結果の精度を向上させることができる。 As described above, in the present invention described using the embodiment, the accuracy of the final detection result of the human region is improved by using the number of candidate regions included in the region group and the score of the candidate region together. Specifically, with the number of candidate regions included in the region group as a first index, one requirement (R1) of the region group deletion condition is that the number is below the threshold M. Further, as the higher second indicator threshold T 2 which defines than the threshold T 1 of the score when you find the candidate region, neither the score of the candidate region is deletion condition region group that below a second indicator Let it be another requirement (R2). By deleting a region group that satisfies both of these requirements (R1) and (R2), it is possible to accurately reduce background misdetection while preventing failure to detect the target and improve the accuracy of the final detection result. it can.

[他の実施形態]
以下、本発明の他の実施形態について上記実施形態との相違点のみを説明する。上記実施形態において領域グループ削除部34は1つの第二閾値Tを用いた削除条件に基づいて背景に起因する領域グループを削除したが、別の実施形態として、要件(R2)における第二閾値Tを、領域グループに含まれる候補領域の個数mに応じて変化させる構成とすることができる。例えば、要件(R2)において、個数閾値M以下の候補領域の個数mに対して第二閾値Tが複数段階に設定される。
[Other Embodiments]
Hereinafter, only different points of the other embodiments of the present invention from the above embodiments will be described. Area group deletion unit 34 in the above embodiment has been deleted region group due to background based on the deletion condition with one second threshold value T 2 but, as another embodiment, the second threshold value in the requirement (R2) T 2 may be configured to change according to the number m of candidate regions included in the region group. For example, in the requirement (R2), the second threshold value T 2 is set in a plurality of steps with respect to the number m of the following candidate area number threshold M.

具体的には、個数閾値M以下の候補領域の個数mに対して設定される複数の第二閾値Tの設定値は、個数mが多いほど小さく定められる。例えば、個数mについて個数閾値M以下の範囲を上から順に区間b、区間b、区間bの3つに区切り、区間bの第二閾値Tの設定値をρ(b)と表すと、T<ρ(b)<ρ(b)<ρ(b)を満たすように設定される。ちなみに、各区間に含まれる個数mの値は1つでも複数でもよい。 Specifically, the setting values of a plurality of second threshold T 2 set for the number m of the following candidate area number threshold value M is determined smaller the larger the number m. For example, for the number m, the range below the number threshold M is divided into the section b H , the section b M , and the section b L in order from the top, and the set value of the second threshold T 2 in the section b is expressed as ρ (b). And T 1 <ρ (b H ) <ρ (b M ) <ρ (b L ). Incidentally, the number m included in each section may be one or plural.

領域グループ削除部34は要件(R1)を満たす領域グループに対して、当該領域グループに帰属する候補領域の個数mに応じた第二閾値Tにて要件(R2)を満たすか否かを判定する。すなわち、第二閾値Tは個数mが多いときほど低くなるように定められ、領域グループ削除部34は領域グループについて、個数mが予め定められた閾値M以下である場合に、帰属する全ての候補領域のスコアが個数mに応じた定められた第二閾値T以下であるものを背景に起因する領域グループとして削除する。 Region group deletion unit 34 to the region group that meets the requirements (R1), determine whether they meet the requirements (R2) at the second threshold value T 2 in accordance with the number m of candidate regions that belong to the area group To do. That is, the second threshold value T 2 is determined to be lower as when the number m is large, the area group deletion unit 34 for the area groups, when the number m is not greater than the predetermined threshold value M, all attributable score of the candidate region is deleted as an area group due to the background what is the second threshold value T 2 or less defined according to the number m.

帰属する候補領域の個数mが多いほど対象領域を含む領域グループである確度が高いため、帰属する候補領域の個数mが多い領域グループほど第二閾値Tを低くでき、これによって対象領域の検出し損ねを防止する効果を高めることができる。他方、帰属する候補領域の個数mが少ない領域グループほど高い第二閾値Tが適用されるので、背景領域の誤検出も適確に防止できる。 For a high probability of a region group including the target region larger the number m of attributable candidate area, as the area group number m is larger attribution candidate region can be lowered a second threshold value T 2, whereby the detection of the target region The effect of preventing failure can be enhanced. On the other hand, since the number m of attribution candidate region is small region groups higher second threshold value T 2 is applied, erroneous detection of the background area can be prevented to apply probability.

なお、上記実施形態においては検出対象を人の全身としたが、人の顔や上半身など特定の部位を検出対象としてもよく、車輌や標識など各種の物体を検出対象としてもよく、また、表情や姿勢など各種の状態を検出対象としてもよい。   In the above embodiment, the detection target is the whole body of the person, but a specific part such as a person's face or upper body may be the detection target, and various objects such as a vehicle or a sign may be the detection target. Various states such as poses and postures may be detected.

1 人物検出装置、2 画像入力部、3 制御部、4 記憶部、5 出力部、30 画像縮小部、31 特徴量抽出部、32 指標値算出部、33 領域グループ生成部、34 領域グループ削除部、35 対象領域決定部、40 指標値算出関数格納部、41 指標値格納部、42 領域グループ格納部、43 対象領域格納部。   DESCRIPTION OF SYMBOLS 1 Person detection apparatus, 2 Image input part, 3 Control part, 4 Storage part, 5 Output part, 30 Image reduction part, 31 Feature-value extraction part, 32 Index value calculation part, 33 Area group generation part, 34 Area group deletion part , 35 target area determination unit, 40 index value calculation function storage unit, 41 index value storage unit, 42 area group storage unit, 43 target area storage unit.

Claims (2)

入力画像において所定の対象が現れている対象領域を検出する対象検出装置であって、
前記入力画像内に設定される注目領域に前記対象が存在する尤もらしさを表す指標値を前記入力画像内の各所にて抽出される特徴量を用いて算出するための指標値算出関数を予め記憶している記憶部と、
前記入力画像内の複数の位置に前記注目領域を設定し、当該注目領域における前記指標値を前記指標値算出関数により算出する指標値算出部と、
前記注目領域のうち前記指標値が予め定められた第一閾値以上であるものを候補領域として抽出すると共に、当該候補領域相互についての予め定められた重複関係を満たす複数の前記候補領域からなる領域グループを生成する領域グループ生成部と、
前記領域グループのうち、帰属する前記候補領域の個数が予め定められた個数閾値以下であり且つ帰属する全ての前記候補領域の前記指標値が前記第一閾値よりも高く定めた第二閾値以下であるものを削除する領域グループ削除部と、
前記領域グループ削除部によって削除されなかった前記領域グループそれぞれから前記対象領域を決定する対象領域決定部と、
を備えたことを特徴とする対象検出装置。
A target detection device for detecting a target region where a predetermined target appears in an input image,
An index value calculation function for calculating an index value representing the likelihood that the target exists in a region of interest set in the input image using feature amounts extracted at various points in the input image is stored in advance. Storage unit
An index value calculation unit that sets the attention area at a plurality of positions in the input image and calculates the index value in the attention area by the index value calculation function;
A region composed of a plurality of candidate regions satisfying a predetermined overlapping relationship between the candidate regions and extracting the region of interest whose index value is equal to or greater than a predetermined first threshold as a candidate region An area group generation unit for generating a group;
In the region group, the number of candidate regions to which the group belongs is equal to or less than a predetermined number threshold value, and the index value of all the candidate regions to which it belongs is equal to or less than a second threshold value set higher than the first threshold value. An area group deletion section for deleting a certain thing,
A target region determination unit that determines the target region from each of the region groups that have not been deleted by the region group deletion unit;
An object detection apparatus comprising:
前記領域グループに帰属する前記候補領域の前記個数が前記個数閾値以下である場合における前記第二閾値は当該個数に応じて設定され、当該第二閾値の各設定値は、当該設定値に対応する前記個数が多いほど小さい値であること、を特徴とする請求項1に記載の対象検出装置。
When the number of the candidate regions belonging to the region group is equal to or less than the number threshold, the second threshold is set according to the number, and each setting value of the second threshold corresponds to the setting value The object detection apparatus according to claim 1, wherein the value is smaller as the number is larger.
JP2014164407A 2014-08-12 2014-08-12 Object detection device Active JP6348368B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014164407A JP6348368B2 (en) 2014-08-12 2014-08-12 Object detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014164407A JP6348368B2 (en) 2014-08-12 2014-08-12 Object detection device

Publications (2)

Publication Number Publication Date
JP2016040674A JP2016040674A (en) 2016-03-24
JP6348368B2 true JP6348368B2 (en) 2018-06-27

Family

ID=55540992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014164407A Active JP6348368B2 (en) 2014-08-12 2014-08-12 Object detection device

Country Status (1)

Country Link
JP (1) JP6348368B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447674B (en) * 2016-09-30 2020-01-14 北京大学深圳研究生院 Background removing method for video
JP7122439B2 (en) 2020-07-06 2022-08-19 株式会社タクマ Garbage pit fall alarm device, garbage pit fall alarm method and garbage pit fall alarm program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3506958B2 (en) * 1998-09-10 2004-03-15 富士写真フイルム株式会社 Image processing method, image processing apparatus, and recording medium
JP2012084012A (en) * 2010-10-13 2012-04-26 Canon Inc Image processing device, processing method therefor, and program

Also Published As

Publication number Publication date
JP2016040674A (en) 2016-03-24

Similar Documents

Publication Publication Date Title
US9754160B2 (en) Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium
JP6385419B2 (en) Object detection device
JP4855556B1 (en) Moving object detection apparatus, moving object detection method, moving object detection program, moving object tracking apparatus, moving object tracking method, and moving object tracking program
US20160140399A1 (en) Object detection apparatus and method therefor, and image recognition apparatus and method therefor
JP2018524732A (en) Semi-automatic image segmentation
JP4533836B2 (en) Fluctuating region detection apparatus and method
JP6766950B2 (en) Object detection device, object detection method and object detection program
KR102474837B1 (en) Foreground area extracting method and apparatus
JP2000339457A (en) Face picture processor
KR101712136B1 (en) Method and apparatus for detecting a fainting situation of an object by using thermal image camera
JP6266468B2 (en) Object detection device
CN113011385A (en) Face silence living body detection method and device, computer equipment and storage medium
JP4903192B2 (en) Face detection device
JP6255944B2 (en) Image analysis apparatus, image analysis method, and image analysis program
WO2015186395A1 (en) Vehicle periphery monitoring device
JP6348368B2 (en) Object detection device
JP6255296B2 (en) Object identification device
US11494906B2 (en) Object detection device, object detection method, and program
JP5264457B2 (en) Object detection device
CN113255648A (en) Sliding window framing method based on image recognition and terminal
JP6077785B2 (en) Object detection apparatus and program
JP2021111423A5 (en)
JP5952942B2 (en) Information processing apparatus, information processing method, and program
KR101473991B1 (en) Method and apparatus for detecting face
JP6266461B2 (en) Object detection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180531

R150 Certificate of patent or registration of utility model

Ref document number: 6348368

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250