JP6326622B2 - Human detection device - Google Patents
Human detection device Download PDFInfo
- Publication number
- JP6326622B2 JP6326622B2 JP2014061135A JP2014061135A JP6326622B2 JP 6326622 B2 JP6326622 B2 JP 6326622B2 JP 2014061135 A JP2014061135 A JP 2014061135A JP 2014061135 A JP2014061135 A JP 2014061135A JP 6326622 B2 JP6326622 B2 JP 6326622B2
- Authority
- JP
- Japan
- Prior art keywords
- hog feature
- person
- image
- directions
- luminance gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 86
- 238000000605 extraction Methods 0.000 claims description 56
- 238000012544 monitoring process Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 12
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、人物検出装置に関し、とくに監視カメラで撮影した画像を解析して画像中から人物を検出する人物検出装置に関する。 The present invention relates to a person detection apparatus, and more particularly to a person detection apparatus that analyzes an image taken by a surveillance camera and detects a person from the image.
従来の人物検出装置としては、顔の向きや隠れおよび照明変動による顔の認識性低下への対処として、特徴量全体を部分に分割して部分ごとの照合を行い部分ごとの照合結果を合成することにより画像に含まれるオブジェクトの識別の精度を高めたものが公知となっている(例えば、下記特許文献1参照)。
Conventional human detection devices divide the entire feature quantity into parts and perform part-by-part matching to synthesize the part-by-part matching results as a countermeasure against face recognizability due to face orientation, hiding, and illumination fluctuations In this way, an image with improved accuracy of identifying an object included in an image is known (for example, see
また、車載カメラとレーザレーダを用いて歩行者を検出する物標検出装置において、遠方の歩行者に対する誤検出を抑制するため、レーザレーダで計測した距離に近い候補のみを検出対象として検出する装置も公知となっている(例えば、下記特許文献2参照)。
In addition, in a target detection apparatus that detects a pedestrian using an in-vehicle camera and a laser radar, an apparatus that detects only candidates close to a distance measured by a laser radar as a detection target in order to suppress erroneous detection of a pedestrian far away. Is also known (see, for example,
また、非特許文献1には、局所領域における輝度の勾配方向をヒストグラム化した特徴量であるHOG(Histograms of Oriented Gradients)特徴量により人物の大まかな形状を表現し識別器によって人物を画像中から検出する人物検出方法が開示されている。
In
ここで、監視カメラで広範囲な監視場所を撮影した画像から人物を検出する場合、監視カメラから見て手前に存在する人物と遠方に存在する人物とでは画像中のサイズが大きく異なる。特に遠方に存在する人物は画像上で小さく写り、得られる情報が少ないため検出が難しい。 Here, when a person is detected from an image obtained by photographing a wide range of monitoring locations with a monitoring camera, the size of the image differs greatly between a person existing in front and a person existing far away as viewed from the monitoring camera. In particular, a person who is far away appears small on the image and is difficult to detect because there is little information to be obtained.
そのため、上述した特許文献1の方法では、顔などの向きの変化には対応できるが対象の画像中のサイズが小さくなった場合への対応が難しいという問題があった。
また、特許文献2の方法では、誤検出を抑制することはできるものの、遠方の人物を検出することができないという問題があった。
また、非特許文献1の方法では、遠方の人物のように画像上でのサイズが小さくなった場合、画像上での対象物のサイズが大きい場合と同じような9方向の輝度勾配ヒストグラムを作成することが困難となるため、遠方の人物の検出が難しいという問題があった。
For this reason, the method of
In addition, the method of
Further, in the method of Non-Patent
このようなことから本発明は、監視カメラで撮影した広範囲な監視場所の画像を解析して画像中から高精度に人物を検出することができる人物検出装置を提供することを目的とする。 In view of the above, an object of the present invention is to provide a person detection apparatus capable of analyzing a wide range of monitoring place images taken by a monitoring camera and detecting a person with high accuracy from the image.
上記の課題を解決するための第1の発明に係る人物検出装置は、
監視対象領域を撮影する撮像手段によって取得した画像のデータを入力する画像入力手段と、
少なくとも、前記画像中に写り込む人物の大きさに対応する複数の対象物サイズ及び人物の有無を判断するための人物判断しきい値の設定を行う処理設定部と、
前記複数の対象物サイズを順次選択して現在処理すべき対象物サイズとして設定する対象物サイズ設定手段と、
前記画像に対し、前記現在処理すべき対象物サイズに基づき、局所領域における輝度の勾配方向をヒストグラム化した特徴量であるHOG特徴量の抽出を行うHOG特徴量抽出手段と、
前記HOG特徴量抽出手段によって抽出された前記HOG特徴量及び前記人物判断しきい値に基づいて人物の有無を判断する識別手段と、
前記識別手段の判断結果をまとめて全ての前記対象物サイズに基づく人物の有無の判断結果を人物検出結果として出力する検出結果集計手段とを備え、
前記HOG特徴量抽出手段が、あらかじめ設定された前記現在処理すべき対象物サイズの範囲に対応して複数設けられるとともに、前記識別手段がそれぞれの前記HOG特徴量抽出手段に対応して複数設けられる人物検出装置であって、
前記処理設定部により前記対象物サイズを格子状に分割する分割数の設定を行い、
前記複数のHOG特徴量抽出手段が、
前記分割数に基づいて前記対象物サイズを格子状に分割して得られる小領域のサイズが予め設定するサイズ以上である場合に当該対象物サイズに対して8方向の輝度勾配方向ヒストグラムから構成した8方向HOG特徴量の抽出を行う8方向HOG特徴量抽出部と、
前記小領域のサイズが予め設定するサイズより小さい場合に前記対象物サイズに対して4方向の輝度勾配方向ヒストグラムから構成した4方向HOG特徴量の抽出を行う4方向HOG特徴量抽出部とであり、
前記複数の識別手段が、
前記8方向HOG特徴量抽出部により抽出した8方向HOG特徴量に基づいて人物の有無を判断する8方向識別器と、
前記4方向HOG特徴量抽出部により抽出した4方向HOG特徴量に基づいて人物の有無を判断する4方向識別器とである
ことを特徴とする。
A person detection device according to a first invention for solving the above-described problem is
An image input means for inputting data of an image acquired by an imaging means for photographing the monitoring target area;
At least a processing setting unit for setting a plurality of object sizes corresponding to the size of a person appearing in the image and a person determination threshold value for determining the presence or absence of a person;
Object size setting means for sequentially selecting the plurality of object sizes and setting them as object sizes to be processed at present;
HOG feature quantity extraction means for extracting a HOG feature quantity, which is a feature quantity obtained by histogramating the gradient direction of luminance in a local area, based on the object size to be processed at the present time, for the image;
Identification means for judging the presence or absence of a person based on the HOG feature quantity extracted by the HOG feature quantity extraction means and the person judgment threshold;
A detection result aggregating unit that outputs the determination results of the presence / absence of a person based on all the object sizes together as a person detection result by collecting the determination results of the identification unit;
A plurality of the HOG feature amount extraction means are provided corresponding to a preset range of the object size to be processed, and a plurality of the identification means are provided corresponding to each of the HOG feature amount extraction means. A human detection device,
Set the number of divisions to divide the object size into a grid by the processing setting unit,
The plurality of HOG feature amount extraction means include
When the size of the small area obtained by dividing the object size into a grid shape based on the number of divisions is equal to or larger than a preset size, the object size is configured from a luminance gradient direction histogram in eight directions with respect to the object size. An 8-way HOG feature quantity extraction unit for extracting 8-way HOG feature quantities;
A four-way HOG feature quantity extraction unit that extracts a four-way HOG feature quantity configured from a luminance gradient direction histogram in four directions for the object size when the size of the small area is smaller than a preset size ; ,
The plurality of identification means are:
An 8-way discriminator that determines the presence or absence of a person based on the 8-way HOG feature value extracted by the 8-way HOG feature value extraction unit;
A four-way discriminator that determines the presence or absence of a person based on the four-way HOG feature value extracted by the four-way HOG feature value extraction unit.
また、第2の発明に係る人物検出装置は、第1の発明に係る人物検出装置において、
前記入力画像の各画素における8方向の輝度勾配方向と輝度勾配強度を求めて輝度勾配方向画像を作成する輝度勾配方向画像作成手段を備える
ことを特徴とする。
A person detection device according to the second invention is the person detection device according to the first invention.
A luminance gradient direction image creating means for obtaining a luminance gradient direction image by obtaining eight luminance gradient directions and luminance gradient intensities in each pixel of the input image is provided.
また、第3の発明に係る人物検出装置は、第2の発明に係る人物検出装置において、
前記8方向HOG特徴量抽出部が前記輝度勾配方向画像に基づいて前記8方向HOG特徴量を抽出する一方、
前記4方向HOG特徴量抽出部が前記輝度勾配方向画像に基づいて8方向の輝度勾配強度のうち4方向に対する中間方向の輝度勾配強度を隣り合う二つの方向へ分割して4方向の各成分へ合成して前記4方向HOG特徴量を抽出する
ことを特徴とする。
また、第4の発明に係る人物検出装置は、
監視対象領域を撮影する撮像手段によって取得した画像のデータを入力する画像入力手段と、
少なくとも、前記画像中に写り込む人物の大きさに対応する複数の対象物サイズ及び人物の有無を判断するための人物判断しきい値の設定を行う処理設定部と、
前記複数の対象物サイズを順次選択して現在処理すべき対象物サイズとして設定する対象物サイズ設定手段と、
前記画像に対し、前記現在処理すべき対象物サイズに基づき、局所領域における輝度の勾配方向をヒストグラム化した特徴量であるHOG特徴量の抽出を行うHOG特徴量抽出手段と、
前記HOG特徴量抽出手段によって抽出された前記HOG特徴量及び前記人物判断しきい値に基づいて人物の有無を判断する識別手段と、
前記識別手段の判断結果をまとめて全ての前記対象物サイズに基づく人物の有無の判断結果を人物検出結果として出力する検出結果集計手段とを備え、
前記HOG特徴量抽出手段が、あらかじめ設定された前記現在処理すべき対象物サイズの範囲に対応して複数設けられるとともに、前記識別手段がそれぞれの前記HOG特徴量抽出手段に対応して複数設けられる人物検出装置であって、
前記入力画像の各画素における8方向の輝度勾配方向と輝度勾配強度を求めて輝度勾配方向画像を作成する輝度勾配方向画像作成手段を備えると共に、
前記8方向HOG特徴量抽出部が前記輝度勾配方向画像に基づいて前記8方向HOG特徴量を抽出する一方、
前記4方向HOG特徴量抽出部が前記輝度勾配方向画像に基づいて8方向の輝度勾配強度のうち4方向に対する中間方向の輝度勾配強度を隣り合う二つの方向へ分割して4方向の各成分へ合成して前記4方向HOG特徴量を抽出する
ことを特徴とする。
A person detection device according to a third aspect of the invention is the person detection device according to the second aspect of the invention,
While the 8-direction HOG feature amount extraction unit extracts the 8-direction HOG feature amount based on the luminance gradient direction image,
Based on the luminance gradient direction image, the four-direction HOG feature amount extraction unit divides the luminance gradient strength in the intermediate direction with respect to the four directions out of the luminance gradient strengths in the eight directions into two adjacent directions to each component in the four directions. The four-way HOG feature value is extracted by synthesis.
A human detection device according to a fourth invention is
An image input means for inputting data of an image acquired by an imaging means for photographing the monitoring target area;
At least a processing setting unit for setting a plurality of object sizes corresponding to the size of a person appearing in the image and a person determination threshold value for determining the presence or absence of a person;
Object size setting means for sequentially selecting the plurality of object sizes and setting them as object sizes to be processed at present;
HOG feature quantity extraction means for extracting a HOG feature quantity, which is a feature quantity obtained by histogramating the gradient direction of luminance in a local area, based on the object size to be processed at the present time, for the image;
Identification means for judging the presence or absence of a person based on the HOG feature quantity extracted by the HOG feature quantity extraction means and the person judgment threshold;
A detection result aggregating unit that outputs the determination results of the presence / absence of a person based on all the object sizes together as a person detection result by collecting the determination results of the identification unit;
A plurality of the HOG feature amount extraction means are provided corresponding to a preset range of the object size to be processed, and a plurality of the identification means are provided corresponding to each of the HOG feature amount extraction means. A human detection device,
A luminance gradient direction image creating means for obtaining a luminance gradient direction image by obtaining eight luminance gradient directions and luminance gradient intensities in each pixel of the input image;
While the 8-direction HOG feature amount extraction unit extracts the 8-direction HOG feature amount based on the luminance gradient direction image,
Based on the luminance gradient direction image, the four-direction HOG feature amount extraction unit divides the luminance gradient strength in the intermediate direction with respect to the four directions out of the luminance gradient strengths in the eight directions into two adjacent directions to each component in the four directions. Combine and extract the 4-way HOG feature
It is characterized by that.
上述した本発明に係る人物検出装置によれば、対象物の画像上のサイズに合わせて密なヒストグラムデータを常に識別器の照合に使用することができ、監視カメラの設置場所から離れた位置に存在し、画像中に小さく映っている人物についても高精度に検出を行うことが可能となる。 According to the above-described person detection device according to the present invention, dense histogram data can always be used for collation of the discriminator in accordance with the size of the object on the image, and at a position away from the installation location of the surveillance camera. It is possible to detect a person who exists and appears small in the image with high accuracy.
以下、図面を参照しつつ本発明に係る人物検出装置の詳細を説明する。 Hereinafter, the details of the person detecting apparatus according to the present invention will be described with reference to the drawings.
図1ないし図9を用いて本発明の一実施例に係る人物検出装置について説明する。
図1に示すように、本実施例に係る人物検出装置1は、監視カメラ2によって監視対象領域を撮影した画像を解析して、当該画像中から人物の抽出を行うものであり、画像入力部101と、処理設定部102と、記憶部103と、輝度勾配方向画像作成部104と、対象物サイズ設定部105と、8方向HOG特徴量抽出部106と、8方向識別器107と、4方向HOG特徴量抽出部108と、4方向識別器109と、検出結果集計部110と、結果出力部111とを備えて構成されている。
A person detection apparatus according to an embodiment of the present invention will be described with reference to FIGS.
As shown in FIG. 1, a
画像入力部101は、監視カメラ2から、当該監視カメラ2で撮影した図2に示すような画像3のデータ(以下、画像データという)を入力する。画像データは記憶部103に保管される。
The
処理設定部102は、人物検出に必要な各種処理パラメータとして、複数の対象物サイズS1〜Sn、対象物サイズ分割数a、人物判断しきい値b等を設定する。これら処理パラメータは記憶部103に保管される。
なお、対象物サイズS1〜Snは、監視カメラ2で撮影した画像3中に映し出される人物の大きさに対応して予め複数段階で設定されるサイズであり、本実施例では図3に示すようにn通りのサイズとする。また、対象物サイズ分割数aは、図4に示すように対象物サイズS1〜Snを格子状に分割する数である。また、人物判断しきい値bは、識別器で求めた確率が人物か否かを判断するためのしきい値である。
記憶部103は、処理パラメータや各種データを保管する。
The
The object sizes S1 to Sn are sizes set in advance in a plurality of stages corresponding to the size of the person shown in the
The
輝度勾配方向画像作成部104は、記憶部103から画像データを入力して各画素における8方向の輝度勾配方向と輝度勾配強度を求めた輝度勾配方向画像を作成する。作成された輝度勾配方向画像のデータ(以下、輝度勾配方向画像データという)は記憶部103に保管される。
The luminance gradient direction
対象物サイズ設定部105は、記憶部103に保管された対象物サイズS1〜Snのうち現在処理すべき対象物サイズSi(i=1,2,…,n)を設定する(例えば、図3に示す最も大きい対象物サイズS1から順にS2,S3,…,Snと現在処理すべき対象物サイズSiを設定する)。設定された現在処理すべき対象物サイズSiは記憶部103に保管される。
The object
8方向HOG特徴量抽出部106は、記憶部103から現在処理すべき対象物サイズSi、対象物サイズ分割数a及び輝度勾配方向画像データを入力し、これらを基に8方向の輝度勾配方向ヒストグラムから構成したHOG特徴量(以下、8方向HOG特徴量と呼ぶ)を抽出する。抽出された8方向HOG特徴量は8方向識別器107へ送られる。
The 8-direction HOG feature
具体的には、図4に示すように、画像上の現在処理すべき対象物サイズSiを対象物サイズ分割数aに基づき格子状に分割して得られる正方形状の小領域(これを「セル」と呼ぶ)Cj(j=1,2,…,m)に対して各セルCjごとに輝度勾配方向ヒストグラムを作り、この輝度勾配方向ヒストグラムを並べた高次元ベクトルを8方向HOG特徴量として抽出する。例えば5×5ピクセルのサイズの各セルCjに対して8方向の輝度勾配方向ヒストグラムを作成した場合、8方向HOG特徴量は一つのセルCjにつき25個の点から得られる輝度勾配方向のデータをヒストグラムとして表現することになる。 Specifically, as shown in FIG. 4, a square-shaped small region (this is referred to as a “cell” obtained by dividing the object size Si to be processed on the image in a grid shape based on the object size division number a. The luminance gradient direction histogram is created for each cell Cj for Cj (j = 1, 2,..., M), and a high-dimensional vector in which the luminance gradient direction histograms are arranged is extracted as an 8-way HOG feature quantity. To do. For example, when an eight-direction luminance gradient direction histogram is created for each cell Cj having a size of 5 × 5 pixels, the eight-direction HOG feature amount is obtained by data on luminance gradient directions obtained from 25 points for one cell Cj. It will be expressed as a histogram.
ここで、本実施例においては、セルCjのサイズが5×5ピクセル以上である場合に8方向HOG特徴量抽出部106による8方向HOG特徴量の抽出を行うものとする。輝度勾配方向の計算は対象画素に対する縦方向および横方向の輝度勾配強度のtanから求める方法や特許文献3に開示されている方法を用いて求めることができ、ここでの詳しい説明は省略する。
Here, in this embodiment, when the size of the cell Cj is 5 × 5 pixels or more, the 8-way HOG feature
8方向識別器107は、8方向HOG特徴量に対応する識別器であり、記憶部103から入力した人物判断しきい値b及び現在処理すべき対象物サイズSiと8方向HOG特徴量抽出部106から送られた8方向HOG特徴量とに基づき人物検出(対象物が人物か否かの判断)を行う。人物検出の結果は、検出結果データとして記憶部103に保管される。
The 8-direction discriminator 107 is a discriminator corresponding to the 8-way HOG feature quantity, and the person determination threshold value b inputted from the
ここで、8方向識別器107では、まず、人物検出を行う前の準備として学習を行っておく。具体的には、図5に示すように、ある大きさに正規化した人物の画像及び人物以外の画像(以下、「学習画像サンプル」と総称する)を多数枚用意し、それぞれの学習画像サンプルから8方向HOG特徴量を抽出して人物検出に有効な8方向HOG特徴量の成分を自動選択し、対象物サイズS1〜Sn内において選択した成分が存在した場合の人物である確率および人物以外である確率の分布を求め、人物判断しきい値bを導出しておく。
そして、予め学習画像サンプルを用いた学習により選択した人物に対応する8方向HOG特徴量と、記憶部103から入力した8方向HOG特徴量とを比較して人物判断しきい値bに基づき人物検出を行う。
Here, the 8-direction discriminator 107 first performs learning as preparation before performing person detection. Specifically, as shown in FIG. 5, a large number of human images normalized to a certain size and non-human images (hereinafter collectively referred to as “learning image samples”) are prepared, and each learning image sample is prepared. The 8-way HOG feature value is extracted from the image and the 8-way HOG feature value component effective for human detection is automatically selected, and the probability that the selected component exists within the object size S1 to Sn and other than the person Is obtained, and a person judgment threshold value b is derived.
Then, the eight-way HOG feature value corresponding to the person selected by learning using the learning image sample in advance is compared with the eight-way HOG feature value input from the
上述した8方向HOG特徴量抽出部106と8方向識別器107とを用いた人物検出は、輝度勾配方向画像に対し、各対象物サイズS1〜Snのうち、セルサイズが5×5ピクセル以上となるものを用いて、例えば図3(a)に示すようにそれぞれ8方向HOG特徴量抽出部106による8方向HOG特徴量の抽出と8方向識別器107による人物検出とをラスタスキャンにより行い、各対象物サイズS1〜Snのうち、セルサイズが5×5ピクセル以上となるものについて人物検出を行う。
The person detection using the above-described 8-direction HOG feature
4方向HOG特徴量抽出部108は、記憶部103から現在処理すべき対象物サイズSi、対象物サイズ分割数a及び輝度勾配方向画像データを入力し、これらを基に4方向の輝度勾配方向ヒストグラムから構成したHOG特徴量(以下、4方向HOG特徴量と呼ぶ)を抽出する。抽出された4方向HOG特徴量は4方向識別器109へ送られる。
The 4-direction HOG feature
ここで、本実施例に係る人物検出装置1においては、上述した8方向HOG特徴量抽出部106と同様に、4方向HOG特徴量抽出部108により輝度勾配方向から算出したHOG特徴量を用いて人物の大まかな形状を表現し、後述する4方向HOG識別器109によって人物を検出する。
Here, in the
ただし本実施例では、監視カメラ2の設置場所に対して遠方にいる人物を検出できるように、画像上における対象物サイズS1〜Snに対応して、HOG特徴量の構成を上述した8方向の輝度勾配方向ヒストグラムと後述する4方向の輝度勾配方向ヒストグラムとで切り替えるものとする。
例えば、図4に示すように輝度勾配方向の数に対して多数の画素から得られた情報を基にヒストグラムを作る場合には適度に密なヒストグラムを得ることができる。しかしながら、画像上における対象物のサイズが小さくなり、これに伴いセルCjのサイズが小さくなった場合、例えば3×3ピクセルのサイズのセルCjに対して8方向の輝度勾配方向ヒストグラムを作成した場合は、9個の点から得られる輝度勾配方向のデータをヒストグラムとして表現することになる。この場合、対象物に対して相対的に同じ場所のセルCjから求めた輝度勾配方向ヒストグラムであっても図10に示すように粗いヒストグラムとなる。これは画像3上に対象物が小さいサイズとなって写り込んだ場合に、当該対象物の検出が難しい主な原因となる。
そこで、本実施例では対象物の画像3上のサイズに合わせて輝度勾配方向ヒストグラムを作成する際の方向数を切り替えるものとする。具体的には、対象物の画像3上のサイズが予め設定するサイズ以上である場合には8方向の輝度勾配方向ヒストグラムからHOG特徴量を構成する。つまり、例えばセルサイズが5×5ピクセル以上の場合は8方向の輝度勾配方向ヒストグラムを用いる。一方、セルサイズが5×5ピクセルより小さい場合は4方向の輝度勾配方向ヒストグラムを用いる。
However, in the present embodiment, the configuration of the HOG feature amount corresponding to the object sizes S1 to Sn on the image is configured in the above-described eight directions so that a person far from the installation location of the
For example, as shown in FIG. 4, when a histogram is created based on information obtained from a large number of pixels with respect to the number of luminance gradient directions, a moderately dense histogram can be obtained. However, when the size of the object on the image is reduced, and the size of the cell Cj is reduced accordingly, for example, when a luminance gradient direction histogram in 8 directions is created for the cell Cj having a size of 3 × 3 pixels. Represents the data of the luminance gradient direction obtained from the nine points as a histogram. In this case, even the luminance gradient direction histogram obtained from the cell Cj at the same location relative to the object is a coarse histogram as shown in FIG. This is the main reason why it is difficult to detect the object when the object appears on the
Therefore, in this embodiment, it is assumed that the number of directions at the time of creating the luminance gradient direction histogram is switched according to the size of the object on the
なお、図3(a)〜(c)に示したようなラスタスキャンによりHOG特徴量を求める度に対象物サイズS1〜Sn内の輝度勾配方向を求めることは手間である。そこで、本実施例に係る人物検出装置1では、上述したように予め輝度勾配方向画像作成部104において画像データに対して8方向の輝度勾配方向と輝度勾配強度を求めた輝度勾配方向画像を作っておく。
これにより、8方向の輝度勾配方向ヒストグラムを作る場合は輝度勾配方向画像のデータからそのままヒストグラムを作成することができる。
一方、4方向の輝度勾配方向ヒストグラムを作る場合は、輝度勾配方向画像のデータから得た図8(a)に示す8方向(D1〜D8)の輝度勾配方向ヒストグラムに対し、図8(b)に示すように4方向(d1〜d4)に対する中間方向(d1-2〜d4-1)のヒストグラム値を隣り合う二つの方向へ分割して4方向(d1〜d4)の各成分へ合成するものとする。これにより、図6に示すように画像上の対象物サイズS1〜Snのうちセルサイズが5×5ピクセルより小さいものを対象物サイズ分割数aに基づき格子状に分割して得られる正方形状のセルCjに対して各セルCjごとに4方向の輝度勾配方向ヒストグラムを作り、この輝度勾配方向ヒストグラムを並べた高次元ベクトルを4方向HOG特徴量として抽出する。
It is troublesome to obtain the luminance gradient direction in the object sizes S1 to Sn every time the HOG feature value is obtained by raster scanning as shown in FIGS. Therefore, in the
As a result, when the brightness gradient direction histogram of 8 directions is created, the histogram can be created as it is from the data of the brightness gradient direction image.
On the other hand, when a luminance gradient direction histogram in four directions is created, the luminance gradient direction histogram in eight directions (D1 to D8) shown in FIG. 8A obtained from the data of the luminance gradient direction image is shown in FIG. divided into two directions histogram values adjacent intermediate direction (d 1-2 ~d 4-1) for four directions (d1 to d4) as shown in the synthesis to the components in the four directions (d1 to d4) It shall be. As a result, as shown in FIG. 6, among the object sizes S1 to Sn on the image, a square shape obtained by dividing a cell size smaller than 5 × 5 pixels into a lattice shape based on the object size division number a. For each cell Cj, a luminance gradient direction histogram in four directions is created for each cell Cj, and a high-dimensional vector in which the luminance gradient direction histograms are arranged is extracted as a four-way HOG feature quantity.
4方向識別器109は、4方向HOG特徴量に対応する識別器であり、記憶部103から入力した人物判断しきい値b及び現在処理すべき対象物サイズSiと4方向HOG特徴量抽出部108から送られた4方向HOG特徴量とに基づき人物検出(対象物が人物か否かの判断)を行う。人物検出の結果は、検出結果データとして記憶部103に保管される。
The four-direction discriminator 109 is a discriminator corresponding to the four-way HOG feature quantity, and the person determination threshold value b inputted from the
ここで、4方向識別器109では、まず、8方向識別器107と同様に、人物検出を行う前の準備として学習を行っておく。具体的には、図7に示すように、学習画像サンプルを多数枚用意し、それぞれの学習画像サンプルから4方向HOG特徴量を抽出して人物検出に有効な4方向HOG特徴量の成分を自動選択し、対象物サイズS1〜Sn内において選択した成分が存在した場合の人物である確率および人物以外である確率の分布を求め、人物判断しきい値bを導出しておく。
そして、予め学習画像サンプルを用いた学習により選択した人物に対応する4方向HOG特徴量と、記憶部103から入力した4方向HOG特徴量とを比較して人物判断しきい値bに基づき人物検出を行う。
上述した4方向HOG特徴量抽出部108と4方向識別器109とを用いた人物検出は、輝度勾配方向画像に対し、各対象物サイズS1〜Snのうち、セルサイズが5×5ピクセル未満となるものを用いて、例えば図3(c)に示すようにそれぞれ4方向HOG特徴量抽出部108による4方向HOG特徴量の抽出と4方向識別器109による人物検出とをラスタスキャンにより行い、各対象物サイズS1〜Snのうち、セルサイズが5×5ピクセル未満となるものについて人物検出を行う。
Here, in the four-way discriminator 109, first, as in the eight-way discriminator 107, learning is performed as preparation before performing person detection. Specifically, as shown in FIG. 7, a large number of learning image samples are prepared, and four-way HOG feature values are extracted from each learning image sample, and components of the four-way HOG feature values effective for human detection are automatically detected. A distribution of probability of being a person and a probability of being a person other than the person when the selected components exist within the object sizes S1 to Sn is obtained, and a person determination threshold value b is derived.
Then, the four-way HOG feature value corresponding to the person selected by learning using the learning image sample in advance and the four-way HOG feature value input from the
In the person detection using the above-described four-direction HOG feature
検出結果集計部110は、記憶部103から複数段階の対象物サイズS1〜Snに基づいて行った人物検出の結果(検出結果データ)をまとめて全サイズでの人物検出結果とし、これを検出結果集計データとして記憶部103に保管する。検出結果データは検出した人数と画像上における人物検出位置となる。
The detection
結果出力部111は、人物検出結果として記憶部103から入力した検出結果集計データを図示しない外部装置(例えば、表示装置等)へ出力する。
The
このように構成される本実施例に係る人物検出装置による人物検出の流れを図9を用いて説明する。 The flow of person detection by the person detection apparatus according to this embodiment configured as described above will be described with reference to FIG.
図9に示すように、本実施例に係る人物検出装置においては、まず、画像入力部101により監視カメラ2から画像データを入力する(ステップP1)。
続いて、輝度勾配方向画像作成部104により記憶部103から入力された画像データを用いて上述した輝度勾配方向画像の作成を行う(ステップP2)。
続いて、対象物サイズ設定部105により記憶部103に保管された対象物サイズS1〜Snのうち現在処理すべき対象物サイズSiを設定する(ステップP3)。
As shown in FIG. 9, in the human detection apparatus according to the present embodiment, first, image data is input from the
Subsequently, the above-described luminance gradient direction image is generated using the image data input from the
Subsequently, the target object size Si to be processed among the target object sizes S1 to Sn stored in the
そして、現在処理すべき対象物サイズSi及び対象物サイズ分割数aに基づいて当該対象物サイズSiを格子状に分割してなるセルのサイズが5×5ピクセル以上である場合はステップP5に移行し、セルのサイズが5×5ピクセル未満である場合はステップP7に移行する(ステップP4)。 If the size of the cell obtained by dividing the object size Si into a lattice shape based on the object size Si to be processed and the object size division number a is 5 × 5 pixels or more, the process proceeds to step P5. If the cell size is less than 5 × 5 pixels, the process proceeds to step P7 (step P4).
ステップP4からステップP5に移行した場合は、ステップP5で8方向HOG特徴量抽出部106により記憶部103から入力された現在処理すべき対象物サイズSi、対象物サイズ分割数a及び輝度勾配方向画像データを用いて8方向HOG特徴量の抽出を行う。
ステップP5に続いては、8方向識別器107により8方向HOG特徴量抽出部106から入力された8方向HOG特徴量と記憶部103から入力された人物判断しきい値bとから人物の有無を判断し(ステップP6)、ステップP9に移行する。
When the process proceeds from step P4 to step P5, the object size Si to be processed, the object size division number a, and the luminance gradient direction image input from the
Following step P5, the presence / absence of a person is determined from the eight-way HOG feature value input from the eight-way HOG feature
また、ステップP4からステップP7に移行した場合は、ステップP7で4方向HOG特徴量抽出部108により記憶部103から入力された現在処理すべき対象物サイズSi、対象物サイズ分割数a及び輝度勾配方向画像データを用いて4方向HOG特徴量の抽出を行う。
ステップP7に続いては、4方向識別器109により4方向HOG特徴量抽出部108から入力された4方向HOG特徴量と記憶部103から入力された人物判断しきい値bとから人物の有無を判断し(ステップP8)、ステップP9に移行する。
When the process proceeds from step P4 to step P7, the object size Si to be processed currently, the object size division number a, and the luminance gradient input from the
Following step P7, the presence / absence of a person is determined from the four-way HOG feature value input from the four-way HOG feature
ステップP9では、全ての対象物サイズS1〜Snによる探索が終了したか否かの判断を行い、全ての対象物サイズS1〜Snによる探索が終了していない場合(NO)はステップP3の処理に戻り、全ての対象物サイズS1〜Snによる探索が終了している場合(YES)は、検出結果集計部110により各対象物サイズS1〜Snに基づいて行った人物の検出結果を記憶部103から入力して集計を行う。
続いて、結果出力部111により記憶部103から入力された検出結果集計データを外部装置(例えば表示装置等)に出力する。
In Step P9, it is determined whether or not the search using all the object sizes S1 to Sn is completed. If the search using all the object sizes S1 to Sn is not completed (NO), the process of Step P3 is performed. Returning, when the search by all the object sizes S1 to Sn is completed (YES), the detection
Subsequently, the detection result summary data input from the
以上の処理を行うことにより、入力画像中に比較的大きく映っている(本実施例ではセルサイズが5×5ピクセル以上)人物については8方向HOG特徴量抽出部106及び8方向識別器107により人物検出を行う一方、入力画像中に比較的小さく映っている(本実施例ではセルサイズが5×5ピクセル未満)人物については4方向HOG特徴量抽出部108及び4方向識別器109により人物検出を行って、全ての対象物サイズS1〜Snでの探索が終了したら検出結果をまとめて出力することとなる。
By performing the above processing, an 8-way HOG feature
以上に説明した本実施例に係る人物検出装置によれば、対象物の画像3上のサイズに合わせて密なヒストグラムデータを常に識別器の照合に使用することができ、監視カメラ2の設置場所から離れた位置に存在し、画像3中に小さく映っている人物についても高精度に検出を行うことが可能となり、監視カメラ2で撮影した広範囲な監視場所の画像3を解析し近傍から遠方にわたる広範囲での人物検出を行うことができる。
また、監視カメラ2が首振り動作やズームを行った場合でも、撮影した広範囲な監視場所の画像3を解析し近傍から遠方にわたる広範囲での人物検出を行うことができる。
According to the human detection apparatus according to the present embodiment described above, dense histogram data can always be used for collation of the discriminator according to the size on the
Even when the
本発明は、人物検出装置に関し、とくにHOG特徴量を利用して画像中の人物を検出する人物検出装置に適用して好適なものである。 The present invention relates to a person detection apparatus, and is particularly suitable for application to a person detection apparatus that detects a person in an image using HOG feature values.
1 人物検出装置
2 監視カメラ
3 画像
101 画像入力部
102 処理設定部
103 記憶部
104 輝度勾配方向画像作成部
105 対象物サイズ設定部
106 8方向HOG特徴量抽出部
107 8方向識別器
108 4方向HOG特徴量抽出部
109 4方向識別器
110 検出結果集計部
111 結果出力部
S1〜Sn 対象物サイズ
Cj セル
DESCRIPTION OF
Claims (4)
少なくとも、前記画像中に写り込む人物の大きさに対応する複数の対象物サイズ及び人物の有無を判断するための人物判断しきい値の設定を行う処理設定部と、
前記複数の対象物サイズを順次選択して現在処理すべき対象物サイズとして設定する対象物サイズ設定手段と、
前記画像に対し、前記現在処理すべき対象物サイズに基づき、局所領域における輝度の勾配方向をヒストグラム化した特徴量であるHOG特徴量の抽出を行うHOG特徴量抽出手段と、
前記HOG特徴量抽出手段によって抽出された前記HOG特徴量及び前記人物判断しきい値に基づいて人物の有無を判断する識別手段と、
前記識別手段の判断結果をまとめて全ての前記対象物サイズに基づく人物の有無の判断結果を人物検出結果として出力する検出結果集計手段とを備え、
前記HOG特徴量抽出手段が、あらかじめ設定された前記現在処理すべき対象物サイズの範囲に対応して複数設けられるとともに、前記識別手段がそれぞれの前記HOG特徴量抽出手段に対応して複数設けられる人物検出装置であって、
前記処理設定部により前記対象物サイズを格子状に分割する分割数の設定を行い、
前記複数のHOG特徴量抽出手段が、
前記分割数に基づいて前記対象物サイズを格子状に分割して得られる小領域のサイズが予め設定するサイズ以上である場合に当該対象物サイズに対して8方向の輝度勾配方向ヒストグラムから構成した8方向HOG特徴量の抽出を行う8方向HOG特徴量抽出部と、
前記小領域のサイズが予め設定するサイズより小さい場合に前記対象物サイズに対して4方向の輝度勾配方向ヒストグラムから構成した4方向HOG特徴量の抽出を行う4方向HOG特徴量抽出部とであり、
前記複数の識別手段が、
前記8方向HOG特徴量抽出部により抽出した8方向HOG特徴量に基づいて人物の有無を判断する8方向識別器と、
前記4方向HOG特徴量抽出部により抽出した4方向HOG特徴量に基づいて人物の有無を判断する4方向識別器とである
ことを特徴とする人物検出装置。 An image input means for inputting data of an image acquired by an imaging means for photographing the monitoring target area;
At least a processing setting unit for setting a plurality of object sizes corresponding to the size of a person appearing in the image and a person determination threshold value for determining the presence or absence of a person;
Object size setting means for sequentially selecting the plurality of object sizes and setting them as object sizes to be processed at present;
HOG feature quantity extraction means for extracting a HOG feature quantity, which is a feature quantity obtained by histogramating the gradient direction of luminance in a local area, based on the object size to be processed at the present time, for the image;
Identification means for judging the presence or absence of a person based on the HOG feature quantity extracted by the HOG feature quantity extraction means and the person judgment threshold;
A detection result aggregating unit that outputs the determination results of the presence / absence of a person based on all the object sizes together as a person detection result by collecting the determination results of the identification unit;
A plurality of the HOG feature amount extraction means are provided corresponding to a preset range of the object size to be processed, and a plurality of the identification means are provided corresponding to each of the HOG feature amount extraction means. A human detection device,
Set the number of divisions to divide the object size into a grid by the processing setting unit,
The plurality of HOG feature amount extraction means include
When the size of the small area obtained by dividing the object size into a grid shape based on the number of divisions is equal to or larger than a preset size, the object size is configured from a luminance gradient direction histogram in eight directions with respect to the object size. An 8-way HOG feature quantity extraction unit for extracting 8-way HOG feature quantities;
A four-way HOG feature quantity extraction unit that extracts a four-way HOG feature quantity configured from a luminance gradient direction histogram in four directions for the object size when the size of the small area is smaller than a preset size ; ,
The plurality of identification means are:
An 8-way discriminator that determines the presence or absence of a person based on the 8-way HOG feature value extracted by the 8-way HOG feature value extraction unit;
Human object detection apparatus you wherein there in the four directions classifier to determine the presence or absence of a person based on the four directions HOG features extracted by the four directions HOG features extraction section.
ことを特徴とする請求項1記載の人物検出装置。 Human detection apparatus according to claim 1 Symbol mounting, characterized in that it comprises a brightness gradient direction image creation means for creating a brightness gradient direction image seeking brightness gradient direction and the brightness gradient strength of 8 directions in each pixel of the input image.
前記4方向HOG特徴量抽出部が前記輝度勾配方向画像に基づいて8方向の輝度勾配強度のうち4方向に対する中間方向の輝度勾配強度を隣り合う二つの方向へ分割して4方向の各成分へ合成して前記4方向HOG特徴量を抽出する
ことを特徴とする請求項2記載の人物検出装置。 While the 8-direction HOG feature amount extraction unit extracts the 8-direction HOG feature amount based on the luminance gradient direction image,
Based on the luminance gradient direction image, the four-direction HOG feature amount extraction unit divides the luminance gradient strength in the intermediate direction with respect to the four directions out of the luminance gradient strengths in the eight directions into two adjacent directions to each component in the four directions. The person detection apparatus according to claim 2, wherein the four-way HOG feature value is extracted by synthesis.
少なくとも、前記画像中に写り込む人物の大きさに対応する複数の対象物サイズ及び人物の有無を判断するための人物判断しきい値の設定を行う処理設定部と、At least a processing setting unit for setting a plurality of object sizes corresponding to the size of a person appearing in the image and a person determination threshold value for determining the presence or absence of a person;
前記複数の対象物サイズを順次選択して現在処理すべき対象物サイズとして設定する対象物サイズ設定手段と、Object size setting means for sequentially selecting the plurality of object sizes and setting them as object sizes to be processed at present;
前記画像に対し、前記現在処理すべき対象物サイズに基づき、局所領域における輝度の勾配方向をヒストグラム化した特徴量であるHOG特徴量の抽出を行うHOG特徴量抽出手段と、HOG feature quantity extraction means for extracting a HOG feature quantity, which is a feature quantity obtained by histogramating the gradient direction of luminance in a local area, based on the object size to be processed at the present time, for the image;
前記HOG特徴量抽出手段によって抽出された前記HOG特徴量及び前記人物判断しきい値に基づいて人物の有無を判断する識別手段と、Identification means for judging the presence or absence of a person based on the HOG feature quantity extracted by the HOG feature quantity extraction means and the person judgment threshold;
前記識別手段の判断結果をまとめて全ての前記対象物サイズに基づく人物の有無の判断結果を人物検出結果として出力する検出結果集計手段とを備え、A detection result aggregating unit that outputs the determination results of the presence / absence of a person based on all the object sizes together as a person detection result by collecting the determination results of the identification unit;
前記HOG特徴量抽出手段が、あらかじめ設定された前記現在処理すべき対象物サイズの範囲に対応して複数設けられるとともに、前記識別手段がそれぞれの前記HOG特徴量抽出手段に対応して複数設けられる人物検出装置であって、A plurality of the HOG feature amount extraction means are provided corresponding to a preset range of the object size to be processed, and a plurality of the identification means are provided corresponding to each of the HOG feature amount extraction means. A human detection device,
前記入力画像の各画素における8方向の輝度勾配方向と輝度勾配強度を求めて輝度勾配方向画像を作成する輝度勾配方向画像作成手段を備えると共に、A luminance gradient direction image creating means for obtaining a luminance gradient direction image by obtaining eight luminance gradient directions and luminance gradient intensities in each pixel of the input image;
前記8方向HOG特徴量抽出部が前記輝度勾配方向画像に基づいて前記8方向HOG特徴量を抽出する一方、While the 8-direction HOG feature amount extraction unit extracts the 8-direction HOG feature amount based on the luminance gradient direction image,
前記4方向HOG特徴量抽出部が前記輝度勾配方向画像に基づいて8方向の輝度勾配強度のうち4方向に対する中間方向の輝度勾配強度を隣り合う二つの方向へ分割して4方向の各成分へ合成して前記4方向HOG特徴量を抽出するBased on the luminance gradient direction image, the four-direction HOG feature amount extraction unit divides the luminance gradient strength in the intermediate direction with respect to the four directions out of the luminance gradient strengths in the eight directions into two adjacent directions to each component in the four directions. Combine and extract the 4-way HOG feature
ことを特徴とする人物検出装置。A person detection apparatus characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014061135A JP6326622B2 (en) | 2014-03-25 | 2014-03-25 | Human detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014061135A JP6326622B2 (en) | 2014-03-25 | 2014-03-25 | Human detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015184944A JP2015184944A (en) | 2015-10-22 |
JP6326622B2 true JP6326622B2 (en) | 2018-05-23 |
Family
ID=54351389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014061135A Expired - Fee Related JP6326622B2 (en) | 2014-03-25 | 2014-03-25 | Human detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6326622B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104318266B (en) * | 2014-10-19 | 2017-06-13 | 温州大学 | A kind of image intelligent analyzes and processes method for early warning |
EP3579183A4 (en) | 2017-01-31 | 2020-09-09 | Equos Research Co., Ltd. | Image feature value output device, image recognition device, image feature value output program, and image recognition program |
CN109614848B (en) | 2018-10-24 | 2021-07-20 | 百度在线网络技术(北京)有限公司 | Human body recognition method, device, equipment and computer readable storage medium |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5179329B2 (en) * | 2008-11-20 | 2013-04-10 | パナソニック株式会社 | Face recognition system |
JP5137863B2 (en) * | 2009-01-20 | 2013-02-06 | セコム株式会社 | Object detection device |
JP5561133B2 (en) * | 2010-12-02 | 2014-07-30 | 株式会社明電舎 | Luminance gradient direction detector and luminance gradient direction detection method |
TWI556194B (en) * | 2012-06-29 | 2016-11-01 | 希科母股份有限公司 | Object detection device, object detection method and computer program for object detection |
-
2014
- 2014-03-25 JP JP2014061135A patent/JP6326622B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015184944A (en) | 2015-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101617681B1 (en) | Text detection using multi-layer connected components with histograms | |
WO2016199244A1 (en) | Object recognition device and object recognition system | |
JP6482195B2 (en) | Image recognition apparatus, image recognition method, and program | |
JP2008286725A (en) | Person detector and detection method | |
JP2016099941A (en) | System and program for estimating position of object | |
EP2993621B1 (en) | Method and apparatus for detecting shielding against object | |
JP6095817B1 (en) | Object detection device | |
JP5936561B2 (en) | Object classification based on appearance and context in images | |
JP6494418B2 (en) | Image analysis apparatus, image analysis method, and program | |
KR20140031742A (en) | Apparatus and method for feature extraction of image, and image processing system using the same | |
US10762372B2 (en) | Image processing apparatus and control method therefor | |
Tschentscher et al. | Video-based parking space detection | |
KR101836811B1 (en) | Method, apparatus and computer program for matching between the images | |
JP2009163682A (en) | Image discrimination device and program | |
JP5656768B2 (en) | Image feature extraction device and program thereof | |
JP6326622B2 (en) | Human detection device | |
US10380743B2 (en) | Object identifying apparatus | |
JP2011165170A (en) | Object detection device and program | |
JP2014048131A (en) | Image processing device, method, and program | |
US9727780B2 (en) | Pedestrian detecting system | |
JP6221283B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2016053763A (en) | Image processor, image processing method and program | |
JP2010271792A (en) | Image processing apparatus and method | |
KR101284252B1 (en) | Curvature Field-based Corner Detection | |
JP5754931B2 (en) | Image analysis apparatus, image analysis method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180306 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180306 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180319 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6326622 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |