JP6348368B2 - Object detection device - Google Patents
Object detection device Download PDFInfo
- Publication number
- JP6348368B2 JP6348368B2 JP2014164407A JP2014164407A JP6348368B2 JP 6348368 B2 JP6348368 B2 JP 6348368B2 JP 2014164407 A JP2014164407 A JP 2014164407A JP 2014164407 A JP2014164407 A JP 2014164407A JP 6348368 B2 JP6348368 B2 JP 6348368B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- region
- group
- candidate
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 27
- 238000012217 deletion Methods 0.000 claims description 33
- 230000037430 deletion Effects 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 31
- 238000000034 method Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 11
- 230000009467 reduction Effects 0.000 description 8
- 241000282414 Homo sapiens Species 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000036544 posture Effects 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は入力画像から所定の対象が現れた対象領域を検出する対象検出装置に関する。 The present invention relates to a target detection device that detects a target region where a predetermined target appears from an input image.
監視カメラなどで撮影した入力画像から人物領域などを検出するために識別器等による探索処理が行われる。入力画像における対象の位置や大きさは一般に未知であるため、この探索処理では、入力画像内の各位置に窓領域を設定し、窓領域における画像を識別器等に入力する。そして、識別器等から出力されるスコアが閾値を超える窓領域を対象の候補領域として抽出する。 Search processing by a classifier or the like is performed in order to detect a person region or the like from an input image taken by a surveillance camera or the like. Since the position and size of the target in the input image are generally unknown, in this search process, a window area is set at each position in the input image, and the image in the window area is input to a discriminator or the like. Then, a window region whose score output from the discriminator or the like exceeds a threshold is extracted as a target candidate region.
このとき1つの対象に対して、真の対象の位置及び大きさを有する候補領域が抽出されるだけでなく、その近傍や内側においても位置及び/または大きさの異なる複数の候補領域が抽出される。そのため、重複を有する候補領域を、1つの対象に対して抽出された複数の候補領域であるとしてグループ化し、領域グループごとにスコアが最大の候補領域を対象の領域として選別することが行われている。 At this time, not only a candidate area having a true target position and size is extracted for one target, but also a plurality of candidate areas having different positions and / or sizes are extracted in the vicinity or inside thereof. The Therefore, the candidate areas having overlap are grouped as a plurality of candidate areas extracted for one target, and the candidate area having the highest score for each area group is selected as the target area. Yes.
ここで、領域グループは背景のみが写った領域(以下、背景領域)でも抽出されることがある。そこで従来、重複して抽出された候補領域の数を求め、求めた数が閾値を下回る候補領域を削除していた。これは、背景領域では重複して抽出される候補領域の数が少ない傾向を利用したものである。 Here, the area group may be extracted even in an area where only the background is shown (hereinafter, background area). Therefore, conventionally, the number of candidate areas extracted in duplicate is obtained, and candidate areas in which the obtained number falls below a threshold value are deleted. This uses the tendency that the number of candidate areas extracted in the background area is small.
しかしながら、背景領域であっても比較的多くの候補領域が重複して抽出されることがあり、また、対象が写った領域であっても対象の姿勢変動などの影響によって重複して抽出される候補領域の数が比較的少なくなる場合がある。 However, even if it is a background area, a relatively large number of candidate areas may be extracted in an overlapping manner, and even an area in which an object is captured is redundantly extracted due to influences such as a change in posture of the object. The number of candidate areas may be relatively small.
そのため、従来技術のように重複数だけに着目し、重複数が閾値を下回る領域グループを削除すると、対象を含む領域グループを誤って削除してしまうおそれがあった。或いは、重複数の閾値を高めに設定してしまうと対象領域の領域グループを検出し損ねるおそれがあった。 Therefore, if attention is paid only to the overlap number as in the prior art and an area group in which the overlap number falls below the threshold value is deleted, the area group including the target may be erroneously deleted. Alternatively, if the overlap threshold value is set high, there is a risk of failing to detect the region group of the target region.
また、真の対象を表す候補領域であっても対象の姿勢変化などによってスコアが低めとなる場合があり、単純に候補領域を抽出する閾値を引き上げて背景領域での領域グループの抽出を抑制しようとすると対象を検出し損ねる問題があった。 Even if a candidate region represents a true target, the score may be lower due to changes in the posture of the target, etc., so simply increase the threshold for extracting the candidate region and suppress the extraction of region groups in the background region. Then, there was a problem of failing to detect the target.
このように従来技術は対象の領域グループと背景の領域グループとを好適に弁別できないことが比較的起こりやすいという問題を有していた。 As described above, the conventional technique has a problem that it is relatively easy to appropriately distinguish the target area group from the background area group.
本発明は上記問題を鑑みてなされたものであり、対象の検出し損ねを防止しつつ、背景領域にて対象の誤検出を防止し、入力画像から精度よく対象を検出可能な対象検出装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object detection device capable of detecting a target with high accuracy from an input image while preventing erroneous detection of the target while preventing erroneous detection of the target in the background region. The purpose is to provide.
本発明に係る対象検出装置は、入力画像において所定の対象が現れている対象領域を検出するものであって、 前記入力画像内に設定される注目領域に前記対象が存在する尤もらしさを表す指標値を前記入力画像内の各所にて抽出される特徴量を用いて算出するための指標値算出関数を予め記憶している記憶部と、前記入力画像内の複数の位置に前記注目領域を設定し、当該注目領域における前記指標値を前記指標値算出関数により算出する指標値算出部と、前記注目領域のうち前記指標値が予め定められた第一閾値以上であるものを候補領域として抽出すると共に、当該候補領域相互についての予め定められた重複関係を満たす複数の前記候補領域からなる領域グループを生成する領域グループ生成部と、前記領域グループのうち、帰属する前記候補領域の個数が予め定められた個数閾値以下であり且つ帰属する前記候補領域の前記指標値が前記第一閾値よりも高く定めた第二閾値以下であるものを削除する領域グループ削除部と、前記領域グループ削除部によって削除されなかった前記領域グループそれぞれから前記対象領域を決定する対象領域決定部と、を備える。 An object detection device according to the present invention detects an object region in which a predetermined object appears in an input image, and is an index representing the likelihood that the object exists in an attention region set in the input image A storage unit that stores in advance an index value calculation function for calculating a value using a feature amount extracted at various points in the input image, and sets the attention area at a plurality of positions in the input image Then, an index value calculation unit that calculates the index value in the attention area by the index value calculation function, and the attention area that has the index value equal to or greater than a predetermined first threshold is extracted as a candidate area. In addition, a region group generation unit that generates a region group composed of a plurality of the candidate regions satisfying a predetermined overlapping relationship between the candidate regions, and belonging among the region groups An area group deletion unit that deletes the number of candidate areas that are equal to or less than a predetermined number threshold and the index value of the candidate area to which the candidate area belongs is equal to or less than a second threshold that is set higher than the first threshold; A target region determining unit that determines the target region from each of the region groups that have not been deleted by the region group deleting unit.
本発明に係る対象検出装置においては、前記領域グループに帰属する前記候補領域の前記個数が前記個数閾値以下である場合における前記第二閾値は当該個数に応じて設定され、当該第二閾値の各設定値は、当該設定値に対応する前記個数が多いほど小さい値とするのが好適である。 In the object detection device according to the present invention, the second threshold value when the number of the candidate regions belonging to the region group is equal to or less than the number threshold value is set according to the number, and each of the second threshold values The set value is preferably set to a smaller value as the number corresponding to the set value increases.
本発明によれば、対象の検出し損ねを防止しつつ背景の誤検出を的確に減じることができる。 According to the present invention, it is possible to accurately reduce background misdetection while preventing an object from being missed.
以下、本発明の実施の形態(以下実施形態という)について、図面に基づいて説明する。本実施形態に係る対象検出装置は、画像中に映った人物を検出の対象とする人物検出装置1である。 Hereinafter, embodiments of the present invention (hereinafter referred to as embodiments) will be described with reference to the drawings. The target detection apparatus according to the present embodiment is a person detection apparatus 1 that targets a person shown in an image as a detection target.
[構成例]
図1は、実施形態に係る人物検出装置1の概略のブロック構成図である。人物検出装置1は、画像入力部2、制御部3、記憶部4及び出力部5を含んで構成される。画像入力部2、記憶部4及び出力部5は制御部3と接続される。
[Configuration example]
FIG. 1 is a schematic block diagram of a person detection device 1 according to the embodiment. The person detection device 1 includes an image input unit 2, a control unit 3, a storage unit 4, and an
画像入力部2は例えば、監視カメラなどの撮像装置、又は映像を記録したデジタルビデオレコーダーなどの記録装置であり、画像を制御部3へ出力する。以下、画像入力部2から制御部3に入力される画像を入力画像と称する。 The image input unit 2 is, for example, an imaging device such as a surveillance camera or a recording device such as a digital video recorder that records video, and outputs an image to the control unit 3. Hereinafter, an image input from the image input unit 2 to the control unit 3 is referred to as an input image.
制御部3はCPU(Central Processing Unit)、DSP(Digital Signal Processor)等の演算装置を用いて構成される。制御部3は、画像入力部2からの入力画像を処理して人の存在有無を判定し、その判定結果等を出力部5へ出力する処理を行う。そのために、制御部3は、記憶部4からプログラムを読み出して実行し、画像縮小部30、特徴量抽出部31、指標値算出部32、領域グループ生成部33、領域グループ削除部34及び対象領域決定部35として機能する。
The control unit 3 is configured using an arithmetic device such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor). The control unit 3 processes the input image from the image input unit 2 to determine the presence / absence of a person and outputs the determination result to the
画像縮小部30は、入力画像に撮像されている人物のサイズが様々であることに対応して、予め設定された複数段階の倍率で入力画像を縮小する。これにより画像内にて人物を検出するために設定する窓領域の大きさは変えずに、様々なサイズの人物領域を検出することが可能となる。例えば、画像縮小部30は入力画像を予め定めた最小幅または高さになるまで決まった間隔で順次縮小し、縮小画像を生成する。縮小倍率は、例えば縦横のサイズが半分になるまでの間に10段階に設定される。例えば、図2(a)に示す画像100が原サイズの入力画像であり、図2(b),(c)に示す画像110,120は画像100を縮小した入力画像の例である。
The
特徴量抽出部31は、原サイズの入力画像及び縮小した入力画像のそれぞれを予め定めたブロックサイズに区切り、各ブロックの画像から特徴量を抽出する。特徴量として、ヒストグラム・オブ・オリエンティッド・グラディエント(Histograms of Oriented Gradients:HOG)特徴量、局所二値パターン(Local Binary Pattern:LBP)特徴量、Haar-like特徴量などの従来知られた特徴量を単独で、又は複数を組み合わせて用いることができる。
The feature
指標値算出部32は、原サイズの入力画像及び縮小した入力画像内の各位置に人物を検出するための枠として、予め定めた人の大きさの窓領域(注目領域)を設定し、当該窓領域に対象が存在する尤もらしさを表す多値の指標値であるスコアを、入力画像内の各所にて抽出された特徴量と予め学習した指標値算出関数により算出する。例えば、指標値算出部32は、各窓領域内の特徴量を指標値算出関数に入力して当該窓領域に対するスコアを算出する、または、人物の腕部等が窓領域からはみ出す姿勢変動を考慮して窓領域内及び窓領域周辺の所定範囲の特徴量を指標値算出関数に入力して当該窓領域に対するスコアを算出する。
The index
なお、図2では画像100,110,120に設定される矩形の窓領域101の例を点線で示している。指標値算出部32は窓領域101を少しずつずらしながら繰り返し設定し、画像全体を走査する。例えば、窓領域101の走査は画像の左上から水平方向の走査が開始される。水平方向の走査は垂直方向の位置を少しずつずらしつつ繰り返される。
In FIG. 2, an example of the
指標値算出関数は本実施形態では、検出対象である「人」と「人」以外とを識別する識別器である。識別器は「人」が映っている多数の画像と、「人」が映っていない多数の画像とを用いて予め学習され、後述する指標値算出関数格納部40に格納されている。指標値算出部32は識別器に窓領域の位置に応じて特徴量を与えることでスコアを算出する。指標値算出部32は、窓領域の矩形情報(入力画像における位置、幅及び高さ)とそのスコアを、後述する指標値格納部41に格納する。例えば、入力画像における窓領域の位置として窓領域をなす矩形の左上の座標が格納される。
In this embodiment, the index value calculation function is a discriminator that discriminates between “persons” to be detected and those other than “persons”. The discriminator is learned in advance using a large number of images in which “people” are reflected and a large number of images in which “people” are not reflected, and is stored in an index value calculation
領域グループ生成部33は、指標値格納部41から、スコアが予め定めた第一閾値T1以上である窓領域を候補領域として抽出すると共に、当該候補領域相互についての予め定められた重複関係を満たす複数の領域からなる領域グループを生成する。具体的には、領域グループ生成部33は、所定以上の重複を有する候補領域同士に同じラベル番号を割り当てることによって領域グループの情報を生成する。また、その際にスコアの高い候補領域を優先的にグループの核とする。詳細は動作の説明にて後述する。領域グループ生成部33で割り当てた各候補領域のラベル番号は、矩形情報及びスコアと共に、後述する領域グループ格納部42に格納される。
Region
領域グループ削除部34は、領域グループ格納部42に格納されている領域グループのうち、削除条件に合致するものを領域グループ格納部42から削除する。ここで、実験的に、人物の領域を含む領域グループは、人物の領域が含まれない領域グループよりも候補領域数が多く、且つ、姿勢変動、オクルージョン等が原因で仮に候補領域数が少なくなった場合でも、候補領域のスコアは人物の領域が含まれない領域グループの候補領域のスコアよりも高い傾向があることがわかった。そこで、削除条件は、領域グループが次の2つの要件(R1),(R2)をいずれも満たしていることとする。
The area
(R1)領域グループに帰属する候補領域の個数が予め定めた個数閾値M以下であること。 (R1) The number of candidate regions belonging to the region group is equal to or less than a predetermined number threshold M.
(R2)領域グループに帰属する全ての候補領域のスコアが第一閾値T1よりも高く定めた第二閾値T2以下であること。 (R2) The scores of all candidate regions belonging to the region group are equal to or lower than a second threshold T 2 determined higher than the first threshold T 1 .
個数閾値Mは、指標値算出関数の性能、第一閾値の設定、縮小率の設定などに依存して実験的・経験的に決定するものであって、例えば、実験データにおいて人物を含まない領域グループごとに候補領域の個数を求め、これらのグループから求めた個数の最大値を閾値Mに設定することができる。つまり、個数閾値Mは、人物を含まないグループのうち最も個数が多い領域グループに基づいて定めた閾値であるので、人物を含まない可能性がある領域グループと確実に人物を含む領域グループとの境界となる閾値と推定することができる。 The number threshold M is determined experimentally and empirically depending on the performance of the index value calculation function, the setting of the first threshold, the setting of the reduction ratio, and the like. The number of candidate regions can be obtained for each group, and the maximum value obtained from these groups can be set as the threshold value M. That is, the number threshold M is a threshold determined based on the region group having the largest number among the groups not including the person, and therefore, the region group that may not include the person and the region group that surely includes the person. It can be estimated that the threshold value is a boundary.
第一閾値T1は、事前の実験に基づいて設定することができ、真の人物領域を検出し損ねない程度に低めの値に設定される。例えば、第一閾値T1は実験データにおける真の人物領域に対して算出されたスコアの最小値とすることができる。第二閾値T2も事前の実験を基づいて設定することができる。第二閾値T2は第一閾値T1よりも高い値であるが、領域グループ削除部34による第二閾値T2に関する要件(R2)の適用の有無が問題となるのは、領域グループが要件(R1)を満たす場合に限定される。そこで例えば、実験データにおいて帰属する候補領域の個数がM個以下であり真の人物領域を含む領域グループごとに最大スコアを求め、これらのグループから求めた最大スコアのうちの最小値を第二閾値T2とすることができる。
First thresholds T 1 may be set based on preliminary experiments, it is set to a lower value so as not fail to detect a true person area. For example, the first thresholds T 1 may be the minimum value of the scores calculated for the true person region in the experimental data. Also the second threshold value T 2 can be set based on preliminary experiments. The second threshold value T 2 is higher than the first threshold value T 1 , but whether or not the requirement (R 2) regarding the second threshold value T 2 is applied by the region
第二閾値T2は人物を含む領域グループのうち最もスコアが低い領域グループに基づいて定めた閾値であるので、これを人物を含む領域グループと人物を含まない領域グループとの境界となる閾値と推定することができる。 Since the second threshold value T 2 is a threshold determined based on the most score lower area group in the region group including a person, a threshold at the boundary between the region groups that do not contain area groups and persons including the same person Can be estimated.
対象領域決定部35は領域グループ格納部42に格納されている領域グループから最終的な人物領域を求める。対象領域決定部35は、領域グループ削除部34で残された領域グループごとに1つの人物領域を定め、当該人物領域の領域情報をスコアと共に対象領域格納部43に格納する。例えば、対象領域決定部35は、最終的な人物領域として、各領域グループの中でスコアが最大になる候補領域を1つ選択する。或いは、対象領域決定部35は、領域グループごとに当該領域グループを構成する候補領域を平均して最終的な人物領域を算出する。当該平均を求める際、スコアで重み付けをしてもよい。
The target
制御部3は,入力画像から最終的な人物領域が1つでも検出された場合は、その情報を出力部5に出力する。
When at least one final person region is detected from the input image, the control unit 3 outputs the information to the
記憶部4はROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク等の記憶装置であり、制御部3で使用されるプログラムやデータを記憶する。記憶部4はこれらプログラム、データを制御部3との間で入出力する。記憶部4は指標値算出関数格納部40、指標値格納部41、領域グループ格納部42及び対象領域格納部43としての機能を有する。
The storage unit 4 is a storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), and a hard disk, and stores programs and data used by the control unit 3. The storage unit 4 inputs and outputs these programs and data to and from the control unit 3. The storage unit 4 has functions as an index value calculation
指標値算出関数格納部40は、入力画像内に設定される窓領域に対象が存在する尤もらしさを表す指標値であるスコアを、入力画像内の各ブロックにて抽出される特徴量を用いて算出するための指標値算出関数、及び第一閾値T1を予め記憶している。指標値算出関数は既に述べたように識別器であり、具体的には予め収集した人の学習用画像と人以外の学習用画像にサポートベクターマシーン(Support Vector Machine:SVM)を適用して求めた識別器のパラメータが指標値算出関数格納部40に格納される。学習アルゴリズムとして線形SVMを用いた場合、識別器のパラメータは学習用画像から生成した重みベクトルである。この重みベクトルは、特徴量の各要素に対する重みである。重みベクトルは、当該重みベクトルと学習用画像から抽出された特徴量との内積が0より大きい場合は人、0以下の場合は人以外と識別されるように学習において調整され、入力画像の特徴量と重みベクトルとの内積の値がスコアを表す。よって、人と人以外のスコアを識別する閾値は原理上は0であり、通常、第一閾値T1は0に設定される。しかし本実施形態では前述したように、人を人以外であると識別する誤りを減じるために、第一閾値T1を0よりも小さな値に設定しておく。
The index value calculation
識別器の学習アルゴリズムにはSVMの他、アダブースト(AdaBoost)法など、従来知られた各種のものを用いることができる。 As the learning algorithm of the discriminator, various conventionally known ones such as the AdaBoost method can be used in addition to the SVM.
また、識別器の代わりにパターンマッチング器を用いることもでき、その場合、スコアは人の学習用画像から抽出した特徴量の平均パターンと入力画像の特徴量との距離の逆数などとなり、指標値算出関数は当該スコアを出力値とし入力画像の特徴量を入力値とする関数とすることができる。 In addition, a pattern matching device can be used instead of the discriminator. In this case, the score is the reciprocal of the distance between the average pattern of feature values extracted from the human learning image and the feature value of the input image, and the index value. The calculation function can be a function having the score as an output value and the feature quantity of the input image as an input value.
指標値格納部41は、指標値算出部32で算出された各窓領域の情報を格納する。窓領域の情報は当該窓領域の矩形情報(入力画像における矩形の位置及び寸法)とスコアを対応付けた情報である。
The index
領域グループ格納部42は、領域グループ生成部33で生成された各領域グループの情報を格納する。領域グループの情報は、領域グループのラベル番号(識別符号)と領域グループに帰属する候補領域の数と各候補領域の情報とを対応付けた情報である。候補領域の情報は、矩形情報(入力画像における矩形の位置及び寸法)とスコアである。格納された領域グループの情報のうち削除条件に合致したものは領域グループ削除部34により削除される。
The area
対象領域格納部43は、対象領域決定部35により最終的に人物がいると判定された人物領域の情報を格納する。人物領域の情報は、候補領域の情報と同様、入力画像における人物領域の矩形情報(矩形の位置、及び寸法)とスコアとを対応付けた情報である。
The target
出力部5は対象領域決定部35の結果を受けて、ディスプレイなどの外部表示装置に入力画像と共に異常発生の旨を表示し、または、異常信号をセンタ装置へ送出するといった警報出力を行う。
The
[動作例]
次に人物検出装置1の動作を説明する。図3は人物検出装置1の概略の動作を示すフロー図である。制御部3は画像入力部2から画像を入力されると(ステップS10)、画像縮小部30により、入力画像を複数の倍率それぞれで縮小して縮小画像を作成する(ステップS20)。例えば、図2に示したように、入力画像100から縮小画像110,120が生成される。
[Example of operation]
Next, the operation of the person detection device 1 will be described. FIG. 3 is a flowchart showing a schematic operation of the person detection apparatus 1. When an image is input from the image input unit 2 (step S10), the control unit 3 creates a reduced image by reducing the input image at a plurality of magnifications by the image reduction unit 30 (step S20). For example, as illustrated in FIG. 2, reduced
特徴量抽出部31は入力画像及び複数の縮小画像それぞれについて、画像内の各所において特徴量を抽出する(ステップS30)。
The feature
指標値算出部32は、特徴量抽出部31で抽出された特徴量と指標値算出関数格納部40に格納されている識別器とにより画像内の各所に設定する窓領域に対応したスコアを算出し指標値格納部41に格納する(ステップS40)。
The index
領域グループ生成部33は、指標値算出部32で算出されたスコアに基づき人物の候補領域を抽出し、重複する複数の候補領域からなる領域グループを生成して領域グループ格納部42に格納する(ステップS50)。
The area
図4は領域グループ生成部33の概略の処理フロー図である。図4を用いて領域グループ生成部33の動作について説明する。
FIG. 4 is a schematic process flow diagram of the area
領域グループ生成部33は指標値格納部41を参照し、スコアが第一閾値T1以上である窓領域を候補領域として抽出する(ステップS500)。
Region
図2では、候補領域の例を窓領域101に応じた大きさの実線の矩形で示している。画像100では左側の小さな(遠くの)人物像の辺りに候補領域102a,102bが抽出されている。また、画像110では中央のバス停標識の辺りに候補領域112a,112bが検出され、画像120では右側の大きな(近くの)人物像の辺りに候補領域122a〜122dが抽出されている。なお、図2に示すように、人物などの1つの像に対し、重複した複数の候補領域が抽出され得る。
In FIG. 2, examples of candidate areas are indicated by solid-line rectangles having a size corresponding to the
図5は領域グループ生成部33により抽出された候補領域に対する後続処理を説明する模式的な画像である。なお、図5の画像は図2に示したものと同じ内容が映っており、図5(a)の画像130は、画像100,110,120の候補領域を1つの画像上にまとめて表示したものである。画像130は入力画像100と等倍のサイズであり、画像100の候補領域102a,102bはそのままの倍率で画像130上の候補領域131a,131bとなる。一方、縮小画像における候補領域112a,112b,122a〜122dそれぞれは入力画像100の倍率に正規化された候補領域132a,132b,133a〜133dとなる。
FIG. 5 is a schematic image for explaining the subsequent process for the candidate area extracted by the area
領域グループ生成部33は抽出した候補領域をスコアの降順に並べ替え(ステップS501)、全候補領域についてラベル情報をラベル番号が未割当であることを示す状態に設定する(ステップS502)。
The area
領域グループ生成部33は、ラベル番号を0から順次、インクリメントして設定する。そこで、現在のラベル番号を初期値0に設定する(ステップS503)。
The area
領域グループ生成部33はラベル番号が未割当の候補領域があるかどうかチェックする(ステップS504)。未割当の候補領域がある場合は(ステップS504にて「YES」の場合)、未割当の候補領域の中からスコアが最大になるもの(候補領域Aとする)を選択し(ステップS505)、現在のラベル番号を付与する(ステップS506)。
The area
そして候補領域Aを比較の基準として、ラベル未割当の候補領域を1つずつ比較相手として繰り返されるループ処理(S507〜S511)が行われる。当該ループ処理では比較相手として選択されていない候補領域を順次選択し(ステップS507)、比較相手として選択された候補領域Bと、候補領域Aとの重複度を計算し(ステップS508)、重複度が予め定められたグループ判定閾値より大きいか否かを判定する(ステップS509)。 Then, a loop process (S507 to S511) is performed in which the candidate area A is used as a reference for comparison, and the candidate areas that have not been assigned labels are compared one by one. In the loop processing, candidate regions that are not selected as comparison partners are sequentially selected (step S507), the degree of overlap between the candidate region B selected as the comparison partner and the candidate region A is calculated (step S508), and the degree of overlap is calculated. Is larger than a predetermined group determination threshold value (step S509).
重複度は、例えば、(入力画像中での候補領域Aと候補領域Bとの共通領域の面積) / (入力画像中での候補領域A及び候補領域Bの面積のうち小さい方)で計算される。また、(入力画像中での候補領域Aと候補領域Bとの共通領域の面積) / (入力画像中での候補領域Aと候補領域Bとの和領域の面積)で重複度を計算することもできる。例えば、グループ判定閾値は0.5に設定することができる。 The degree of overlap is calculated by, for example, (the area of the common area between candidate area A and candidate area B in the input image) / (the smaller of the areas of candidate area A and candidate area B in the input image). The Also, the degree of overlap is calculated by (area of the common area between candidate area A and candidate area B in the input image) / (area of the sum area of candidate area A and candidate area B in the input image). You can also. For example, the group determination threshold can be set to 0.5.
重複度がグループ判定閾値より大きい場合は(ステップS509にて「YES」の場合)、候補領域Bに候補領域Aと同じラベル番号を付与し(ステップS510)、当該候補領域Bについての処理を終えステップS507に戻る。一方、重複度がグループ判定閾値以下の場合は(ステップS509にて「NO」の場合)、候補領域Bはラベル番号を未割当の状態のままとして当該候補領域Bについての処理を終えステップS507に戻る。 If the degree of overlap is greater than the group determination threshold value (if “YES” in step S509), the same label number as the candidate area A is assigned to the candidate area B (step S510), and the process for the candidate area B is finished. The process returns to step S507. On the other hand, if the degree of overlap is equal to or less than the group determination threshold value (in the case of “NO” in step S509), the candidate area B is left unallocated with the label number, and the process for the candidate area B is finished and the process returns to step S507. Return.
或る候補領域Aについて未割当の候補領域すべてとの比較が終了した場合、つまりステップS507で未処理の候補領域が存在せず選択できなかった場合(ステップS511にて「NO」の場合)、現在のラベル番号をインクリメントし(ステップS512)、ステップS504に戻り、新たな候補領域Aを選択してステップS505〜S512の処理を繰り返す。 When the comparison with all the unallocated candidate areas for a certain candidate area A is completed, that is, when an unprocessed candidate area does not exist in step S507 and cannot be selected (in the case of “NO” in step S511), The current label number is incremented (step S512), the process returns to step S504, a new candidate area A is selected, and the processes of steps S505 to S512 are repeated.
一方、候補領域に対してラベル番号の付与がすべて終了した場合、つまり未割当の候補領域が無い場合は、(ステップS504で「NO」の場合)、同じラベルを付与された候補領域同士を領域グループとして領域グループ格納部42に格納して(ステップS513)、グループ生成処理を終了し図3のステップS60に処理を移行する。 On the other hand, when all label numbers are assigned to the candidate areas, that is, when there is no unallocated candidate area (in the case of “NO” in step S504), the candidate areas to which the same label is assigned are defined as areas. The group is stored as a group in the area group storage unit 42 (step S513), the group generation process is terminated, and the process proceeds to step S60 in FIG.
なお、上述のように、スコアが高い候補領域を優先してグループの核に設定することにより、近接する複数の人物に係る候補領域が1つのグループとなることを回避することが期待できる。 As described above, by setting a candidate area having a high score as the core of a group with priority, it can be expected that candidate areas relating to a plurality of adjacent persons are prevented from forming one group.
領域グループ生成部33の処理の結果、例えば、図5(a)の画像130における候補領域133a〜133dがラベル番号“0”のグループとなり、候補領域131a,131bがラベル番号“1”のグループとなり、候補領域132a,132bがラベル番号“2”のグループとなる。
As a result of the processing of the area
なお、候補領域の重心と寸法をパラメータとするクラスタリングによっても重複度に基づくグループ生成を行うことができる。 Note that group generation based on the degree of overlap can also be performed by clustering using the centroid and dimensions of candidate regions as parameters.
領域グループ削除部34は、領域グループ格納部42に格納された領域グループのうち、上述した削除条件、すなわち要件(R1)及び(R2)に合致するものを領域グループ格納部42から削除する(ステップS60)。図6は領域グループ削除部34の概略の処理フロー図である。図6を用いて領域グループ削除部34の動作について説明する。
The area
領域グループ削除部34は領域グループ格納部42に格納されている領域グループを1つずつ処理対象として選択してステップS601〜S603の処理を行い(ステップS600にて「YES」の場合)、未処理の領域グループがなくなるとグループ削除処理を終了し図3のステップS70に処理を移行する(ステップS600にて「NO」の場合)。
The region
領域グループ削除部34は処理対象の領域グループについて、例えばまず要件(R1)を満たすか否か、つまり当該グループに帰属する候補領域の個数が予め定められた個数閾値M以下か否かを判定する(ステップS601)。個数閾値M以下の場合は(ステップS601にて「YES」の場合)、さらにスコアに関する要件(R2)を満たすか否か、すなわち領域グループに帰属する全ての候補領域のスコアが第二閾値T2以下か否か判定する(ステップS602)。なお、第二閾値T2は既に述べたように、候補領域を抽出するための第一閾値T1よりも高く定められた閾値である。
For example, the region
ステップS602にてスコアが第二閾値T2以下の場合は(ステップS602にて「YES」の場合)、当該領域グループは削除条件である要件(R1)及び(R2)を満たすので、領域グループ削除部34は当該領域グループを領域グループ格納部42より削除する(ステップS603)。
If the score is the second threshold value T 2 or less at step S602 (if at step S602 is "YES"), because the area group meets the requirements a deletion condition (R1) and (R2), the area group deletion The
一方、要件(R1)を満たさない場合(ステップS601にて「NO」の場合)、及び要件(R2)を満たさない場合(ステップS602にて「NO」の場合)は、領域グループ削除部34は当該領域グループを削除せず、ステップS600に戻り、次の領域グループを処理対象とする。
On the other hand, if the requirement (R1) is not satisfied (in the case of “NO” in step S601) and the requirement (R2) is not satisfied (in the case of “NO” in step S602), the region
図5(b)の画像140は画像130に対する領域グループ削除部34の処理結果を示しており、例えば、個数閾値Mを2として、以下にその処理と効果を説明する。
The
候補領域133a〜133dからなる領域グループ“0”は候補領域の数が4であるので要件(R1)を満たさず、よって削除されない。このように十分に多い候補領域が抽出される典型的な人物領域グループは、グループを構成する候補領域のスコアと第二閾値T2との関係によらず適切に残すことができる。
The area group “0” composed of the
一方、人物に起因する候補領域131a,131bからなる領域グループ“1”は、候補領域の数が2であり要件(R1)を満たし、背景に起因する候補領域132a,132bからなる領域グループ“2”もまた候補領域の数が2であり要件(R1)を満たす。従来技術のように要件(R1)のみで削除条件を構成すると、背景に起因する領域グループ“2”は削除できるものの、人物に起因する領域グループ“1”までも削除されてしまう。
On the other hand, the area group “1” composed of the
しかし、要件(R2)を削除条件に含んだ本発明を適用することにより、これらを適切に弁別できる。すなわち、人物に起因する領域グループ“1”においては好適に真の人物領域を捉える位置にある候補領域131aのスコアが第二閾値T2を超えるため要件(R2)を満たさず、よって削除されない。他方、領域グループ“2”においては各候補領域132a,132bが背景に起因するためスコアが第二閾値T2以下となり要件(R2)を満たし、よって削除される。
However, by applying the present invention in which the requirement (R2) is included in the deletion condition, these can be appropriately distinguished. In other words, preferably not satisfy the requirement (R2) for the score of the
上述した領域グループ削除部34の処理が終わると、対象領域決定部35は最終的な人物領域を求めて対象領域格納部43に格納する(図3のステップS70)。
When the processing of the region
図5(c)の画像150は画像140に対する対象領域決定部35の処理例を示しており、領域グループ“0”,“1”それぞれから、スコアが最大となる候補領域133a,131aが人物領域として選択されている。
An
ステップS70にて人物領域の算出後、画像中に人物が1人でもいた場合(ステップS80にて「YES」の場合)、例えば、出力部5は検出された人物領域の情報と当該人物領域が検出された入力画像とを含めた異常信号をセンタ装置に送出する(ステップS90)。
If there is even one person in the image after the calculation of the person area in step S70 (in the case of “YES” in step S80), for example, the
以上、実施形態を用いて説明した本発明では、領域グループに含まれる候補領域の個数と候補領域のスコアとを併用することで、人物領域の最終的な検出結果の精度を向上させる。具体的には、領域グループに含まれる候補領域の個数を第一の指標として、個数が閾値Mを下回ることを領域グループの削除条件の1つの要件(R1)とする。さらに、候補領域を見つけたときのスコアの閾値T1よりも高く定めた閾値T2を第二の指標として、候補領域のスコアがいずれも第二の指標を下回ることを領域グループの削除条件の他の1つの要件(R2)とする。これら要件(R1)及び(R2)を両方満たす領域グループを削除することで、対象の検出し損ねを防止しつつ背景の誤検出を的確に減じ、最終的な検出結果の精度を向上させることができる。 As described above, in the present invention described using the embodiment, the accuracy of the final detection result of the human region is improved by using the number of candidate regions included in the region group and the score of the candidate region together. Specifically, with the number of candidate regions included in the region group as a first index, one requirement (R1) of the region group deletion condition is that the number is below the threshold M. Further, as the higher second indicator threshold T 2 which defines than the threshold T 1 of the score when you find the candidate region, neither the score of the candidate region is deletion condition region group that below a second indicator Let it be another requirement (R2). By deleting a region group that satisfies both of these requirements (R1) and (R2), it is possible to accurately reduce background misdetection while preventing failure to detect the target and improve the accuracy of the final detection result. it can.
[他の実施形態]
以下、本発明の他の実施形態について上記実施形態との相違点のみを説明する。上記実施形態において領域グループ削除部34は1つの第二閾値T2を用いた削除条件に基づいて背景に起因する領域グループを削除したが、別の実施形態として、要件(R2)における第二閾値T2を、領域グループに含まれる候補領域の個数mに応じて変化させる構成とすることができる。例えば、要件(R2)において、個数閾値M以下の候補領域の個数mに対して第二閾値T2が複数段階に設定される。
[Other Embodiments]
Hereinafter, only different points of the other embodiments of the present invention from the above embodiments will be described. Area
具体的には、個数閾値M以下の候補領域の個数mに対して設定される複数の第二閾値T2の設定値は、個数mが多いほど小さく定められる。例えば、個数mについて個数閾値M以下の範囲を上から順に区間bH、区間bM、区間bLの3つに区切り、区間bの第二閾値T2の設定値をρ(b)と表すと、T1<ρ(bH)<ρ(bM)<ρ(bL)を満たすように設定される。ちなみに、各区間に含まれる個数mの値は1つでも複数でもよい。 Specifically, the setting values of a plurality of second threshold T 2 set for the number m of the following candidate area number threshold value M is determined smaller the larger the number m. For example, for the number m, the range below the number threshold M is divided into the section b H , the section b M , and the section b L in order from the top, and the set value of the second threshold T 2 in the section b is expressed as ρ (b). And T 1 <ρ (b H ) <ρ (b M ) <ρ (b L ). Incidentally, the number m included in each section may be one or plural.
領域グループ削除部34は要件(R1)を満たす領域グループに対して、当該領域グループに帰属する候補領域の個数mに応じた第二閾値T2にて要件(R2)を満たすか否かを判定する。すなわち、第二閾値T2は個数mが多いときほど低くなるように定められ、領域グループ削除部34は領域グループについて、個数mが予め定められた閾値M以下である場合に、帰属する全ての候補領域のスコアが個数mに応じた定められた第二閾値T2以下であるものを背景に起因する領域グループとして削除する。
Region
帰属する候補領域の個数mが多いほど対象領域を含む領域グループである確度が高いため、帰属する候補領域の個数mが多い領域グループほど第二閾値T2を低くでき、これによって対象領域の検出し損ねを防止する効果を高めることができる。他方、帰属する候補領域の個数mが少ない領域グループほど高い第二閾値T2が適用されるので、背景領域の誤検出も適確に防止できる。 For a high probability of a region group including the target region larger the number m of attributable candidate area, as the area group number m is larger attribution candidate region can be lowered a second threshold value T 2, whereby the detection of the target region The effect of preventing failure can be enhanced. On the other hand, since the number m of attribution candidate region is small region groups higher second threshold value T 2 is applied, erroneous detection of the background area can be prevented to apply probability.
なお、上記実施形態においては検出対象を人の全身としたが、人の顔や上半身など特定の部位を検出対象としてもよく、車輌や標識など各種の物体を検出対象としてもよく、また、表情や姿勢など各種の状態を検出対象としてもよい。 In the above embodiment, the detection target is the whole body of the person, but a specific part such as a person's face or upper body may be the detection target, and various objects such as a vehicle or a sign may be the detection target. Various states such as poses and postures may be detected.
1 人物検出装置、2 画像入力部、3 制御部、4 記憶部、5 出力部、30 画像縮小部、31 特徴量抽出部、32 指標値算出部、33 領域グループ生成部、34 領域グループ削除部、35 対象領域決定部、40 指標値算出関数格納部、41 指標値格納部、42 領域グループ格納部、43 対象領域格納部。 DESCRIPTION OF SYMBOLS 1 Person detection apparatus, 2 Image input part, 3 Control part, 4 Storage part, 5 Output part, 30 Image reduction part, 31 Feature-value extraction part, 32 Index value calculation part, 33 Area group generation part, 34 Area group deletion part , 35 target area determination unit, 40 index value calculation function storage unit, 41 index value storage unit, 42 area group storage unit, 43 target area storage unit.
Claims (2)
前記入力画像内に設定される注目領域に前記対象が存在する尤もらしさを表す指標値を前記入力画像内の各所にて抽出される特徴量を用いて算出するための指標値算出関数を予め記憶している記憶部と、
前記入力画像内の複数の位置に前記注目領域を設定し、当該注目領域における前記指標値を前記指標値算出関数により算出する指標値算出部と、
前記注目領域のうち前記指標値が予め定められた第一閾値以上であるものを候補領域として抽出すると共に、当該候補領域相互についての予め定められた重複関係を満たす複数の前記候補領域からなる領域グループを生成する領域グループ生成部と、
前記領域グループのうち、帰属する前記候補領域の個数が予め定められた個数閾値以下であり且つ帰属する全ての前記候補領域の前記指標値が前記第一閾値よりも高く定めた第二閾値以下であるものを削除する領域グループ削除部と、
前記領域グループ削除部によって削除されなかった前記領域グループそれぞれから前記対象領域を決定する対象領域決定部と、
を備えたことを特徴とする対象検出装置。 A target detection device for detecting a target region where a predetermined target appears in an input image,
An index value calculation function for calculating an index value representing the likelihood that the target exists in a region of interest set in the input image using feature amounts extracted at various points in the input image is stored in advance. Storage unit
An index value calculation unit that sets the attention area at a plurality of positions in the input image and calculates the index value in the attention area by the index value calculation function;
A region composed of a plurality of candidate regions satisfying a predetermined overlapping relationship between the candidate regions and extracting the region of interest whose index value is equal to or greater than a predetermined first threshold as a candidate region An area group generation unit for generating a group;
In the region group, the number of candidate regions to which the group belongs is equal to or less than a predetermined number threshold value, and the index value of all the candidate regions to which it belongs is equal to or less than a second threshold value set higher than the first threshold value. An area group deletion section for deleting a certain thing,
A target region determination unit that determines the target region from each of the region groups that have not been deleted by the region group deletion unit;
An object detection apparatus comprising:
When the number of the candidate regions belonging to the region group is equal to or less than the number threshold, the second threshold is set according to the number, and each setting value of the second threshold corresponds to the setting value The object detection apparatus according to claim 1, wherein the value is smaller as the number is larger.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014164407A JP6348368B2 (en) | 2014-08-12 | 2014-08-12 | Object detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014164407A JP6348368B2 (en) | 2014-08-12 | 2014-08-12 | Object detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016040674A JP2016040674A (en) | 2016-03-24 |
JP6348368B2 true JP6348368B2 (en) | 2018-06-27 |
Family
ID=55540992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014164407A Active JP6348368B2 (en) | 2014-08-12 | 2014-08-12 | Object detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6348368B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106447674B (en) * | 2016-09-30 | 2020-01-14 | 北京大学深圳研究生院 | Background removing method for video |
JP7122439B2 (en) | 2020-07-06 | 2022-08-19 | 株式会社タクマ | Garbage pit fall alarm device, garbage pit fall alarm method and garbage pit fall alarm program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3506958B2 (en) * | 1998-09-10 | 2004-03-15 | 富士写真フイルム株式会社 | Image processing method, image processing apparatus, and recording medium |
JP2012084012A (en) * | 2010-10-13 | 2012-04-26 | Canon Inc | Image processing device, processing method therefor, and program |
-
2014
- 2014-08-12 JP JP2014164407A patent/JP6348368B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016040674A (en) | 2016-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9754160B2 (en) | Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium | |
JP6385419B2 (en) | Object detection device | |
JP4855556B1 (en) | Moving object detection apparatus, moving object detection method, moving object detection program, moving object tracking apparatus, moving object tracking method, and moving object tracking program | |
US20160140399A1 (en) | Object detection apparatus and method therefor, and image recognition apparatus and method therefor | |
JP2018524732A (en) | Semi-automatic image segmentation | |
JP6766950B2 (en) | Object detection device, object detection method and object detection program | |
JP4533836B2 (en) | Fluctuating region detection apparatus and method | |
KR102474837B1 (en) | Foreground area extracting method and apparatus | |
JP6245880B2 (en) | Information processing apparatus, information processing method, and program | |
JP2000339457A (en) | Face picture processor | |
JP5290227B2 (en) | Object detection device and learning device thereof | |
JP2020149111A (en) | Object tracking device and object tracking method | |
KR101712136B1 (en) | Method and apparatus for detecting a fainting situation of an object by using thermal image camera | |
CN113011385A (en) | Face silence living body detection method and device, computer equipment and storage medium | |
JP6266468B2 (en) | Object detection device | |
JP4903192B2 (en) | Face detection device | |
JP6255944B2 (en) | Image analysis apparatus, image analysis method, and image analysis program | |
WO2015186395A1 (en) | Vehicle periphery monitoring device | |
JP6348368B2 (en) | Object detection device | |
JP6255296B2 (en) | Object identification device | |
US11494906B2 (en) | Object detection device, object detection method, and program | |
JP5264457B2 (en) | Object detection device | |
CN113255648A (en) | Sliding window framing method based on image recognition and terminal | |
JP6077785B2 (en) | Object detection apparatus and program | |
JP2021111423A5 (en) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180515 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180531 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6348368 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |