JP6326622B2 - Human detection device - Google Patents

Human detection device Download PDF

Info

Publication number
JP6326622B2
JP6326622B2 JP2014061135A JP2014061135A JP6326622B2 JP 6326622 B2 JP6326622 B2 JP 6326622B2 JP 2014061135 A JP2014061135 A JP 2014061135A JP 2014061135 A JP2014061135 A JP 2014061135A JP 6326622 B2 JP6326622 B2 JP 6326622B2
Authority
JP
Japan
Prior art keywords
hog feature
person
image
directions
luminance gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014061135A
Other languages
Japanese (ja)
Other versions
JP2015184944A (en
Inventor
伸行 藤原
伸行 藤原
宍道 洋
洋 宍道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Original Assignee
Meidensha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp filed Critical Meidensha Corp
Priority to JP2014061135A priority Critical patent/JP6326622B2/en
Publication of JP2015184944A publication Critical patent/JP2015184944A/en
Application granted granted Critical
Publication of JP6326622B2 publication Critical patent/JP6326622B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、人物検出装置に関し、とくに監視カメラで撮影した画像を解析して画像中から人物を検出する人物検出装置に関する。   The present invention relates to a person detection apparatus, and more particularly to a person detection apparatus that analyzes an image taken by a surveillance camera and detects a person from the image.

従来の人物検出装置としては、顔の向きや隠れおよび照明変動による顔の認識性低下への対処として、特徴量全体を部分に分割して部分ごとの照合を行い部分ごとの照合結果を合成することにより画像に含まれるオブジェクトの識別の精度を高めたものが公知となっている(例えば、下記特許文献1参照)。   Conventional human detection devices divide the entire feature quantity into parts and perform part-by-part matching to synthesize the part-by-part matching results as a countermeasure against face recognizability due to face orientation, hiding, and illumination fluctuations In this way, an image with improved accuracy of identifying an object included in an image is known (for example, see Patent Document 1 below).

また、車載カメラとレーザレーダを用いて歩行者を検出する物標検出装置において、遠方の歩行者に対する誤検出を抑制するため、レーザレーダで計測した距離に近い候補のみを検出対象として検出する装置も公知となっている(例えば、下記特許文献2参照)。   In addition, in a target detection apparatus that detects a pedestrian using an in-vehicle camera and a laser radar, an apparatus that detects only candidates close to a distance measured by a laser radar as a detection target in order to suppress erroneous detection of a pedestrian far away. Is also known (see, for example, Patent Document 2 below).

また、非特許文献1には、局所領域における輝度の勾配方向をヒストグラム化した特徴量であるHOG(Histograms of Oriented Gradients)特徴量により人物の大まかな形状を表現し識別器によって人物を画像中から検出する人物検出方法が開示されている。   In Non-Patent Document 1, a rough shape of a person is expressed by a HOG (Histograms of Oriented Gradients) feature value, which is a feature value obtained by histogramating luminance gradient directions in a local region, and a person is identified from an image by a classifier. A person detection method for detection is disclosed.

特開2012−234497号公報JP 2012-234497 A 特開2011−48485号公報JP 2011-48485 A 特開2012−118854号公報JP 2012-118854 A

藤吉著、「Gradient ベースの特徴抽出 −SIFTとHOG−」、2007-CVIM-160、情報処理学会研究報告、2007年9月4日、pp211-224Fujikichi, “Gradient-based feature extraction -SIFT and HOG-”, 2007-CVIM-160, Information Processing Society of Japan Research Report, September 4, 2007, pp211-224

ここで、監視カメラで広範囲な監視場所を撮影した画像から人物を検出する場合、監視カメラから見て手前に存在する人物と遠方に存在する人物とでは画像中のサイズが大きく異なる。特に遠方に存在する人物は画像上で小さく写り、得られる情報が少ないため検出が難しい。   Here, when a person is detected from an image obtained by photographing a wide range of monitoring locations with a monitoring camera, the size of the image differs greatly between a person existing in front and a person existing far away as viewed from the monitoring camera. In particular, a person who is far away appears small on the image and is difficult to detect because there is little information to be obtained.

そのため、上述した特許文献1の方法では、顔などの向きの変化には対応できるが対象の画像中のサイズが小さくなった場合への対応が難しいという問題があった。
また、特許文献2の方法では、誤検出を抑制することはできるものの、遠方の人物を検出することができないという問題があった。
また、非特許文献1の方法では、遠方の人物のように画像上でのサイズが小さくなった場合、画像上での対象物のサイズが大きい場合と同じような9方向の輝度勾配ヒストグラムを作成することが困難となるため、遠方の人物の検出が難しいという問題があった。
For this reason, the method of Patent Document 1 described above has a problem that it can cope with a change in the orientation of the face or the like, but it is difficult to cope with a case where the size of the target image becomes small.
In addition, the method of Patent Document 2 has a problem that although a false detection can be suppressed, a distant person cannot be detected.
Further, in the method of Non-Patent Document 1, when the size on the image becomes small like a distant person, a luminance gradient histogram in nine directions is created as in the case where the size of the object on the image is large. This makes it difficult to detect a distant person.

このようなことから本発明は、監視カメラで撮影した広範囲な監視場所の画像を解析して画像中から高精度に人物を検出することができる人物検出装置を提供することを目的とする。   In view of the above, an object of the present invention is to provide a person detection apparatus capable of analyzing a wide range of monitoring place images taken by a monitoring camera and detecting a person with high accuracy from the image.

上記の課題を解決するためのの発明に係る人物検出装置は、
監視対象領域を撮影する撮像手段によって取得した画像のデータを入力する画像入力手段と、
少なくとも、前記画像中に写り込む人物の大きさに対応する複数の対象物サイズ及び人物の有無を判断するための人物判断しきい値の設定を行う処理設定部と、
前記複数の対象物サイズを順次選択して現在処理すべき対象物サイズとして設定する対象物サイズ設定手段と、
前記画像に対し、前記現在処理すべき対象物サイズに基づき、局所領域における輝度の勾配方向をヒストグラム化した特徴量であるHOG特徴量の抽出を行うHOG特徴量抽出手段と、
前記HOG特徴量抽出手段によって抽出された前記HOG特徴量及び前記人物判断しきい値に基づいて人物の有無を判断する識別手段と、
前記識別手段の判断結果をまとめて全ての前記対象物サイズに基づく人物の有無の判断結果を人物検出結果として出力する検出結果集計手段とを備え、
前記HOG特徴量抽出手段が、あらかじめ設定された前記現在処理すべき対象物サイズの範囲に対応して複数設けられるとともに、前記識別手段がそれぞれの前記HOG特徴量抽出手段に対応して複数設けられる人物検出装置であって、
前記処理設定部により前記対象物サイズを格子状に分割する分割数の設定を行い、
前記複数のHOG特徴量抽出手段が、
前記分割数に基づいて前記対象物サイズを格子状に分割して得られる小領域のサイズが予め設定するサイズ以上である場合に当該対象物サイズに対して8方向の輝度勾配方向ヒストグラムから構成した8方向HOG特徴量の抽出を行う8方向HOG特徴量抽出部と、
前記小領域のサイズが予め設定するサイズより小さい場合に前記対象物サイズに対して4方向の輝度勾配方向ヒストグラムから構成した4方向HOG特徴量の抽出を行う4方向HOG特徴量抽出部とであり、
前記複数の識別手段が、
前記8方向HOG特徴量抽出部により抽出した8方向HOG特徴量に基づいて人物の有無を判断する8方向識別器と、
前記4方向HOG特徴量抽出部により抽出した4方向HOG特徴量に基づいて人物の有無を判断する4方向識別器とである
ことを特徴とする。
A person detection device according to a first invention for solving the above-described problem is
An image input means for inputting data of an image acquired by an imaging means for photographing the monitoring target area;
At least a processing setting unit for setting a plurality of object sizes corresponding to the size of a person appearing in the image and a person determination threshold value for determining the presence or absence of a person;
Object size setting means for sequentially selecting the plurality of object sizes and setting them as object sizes to be processed at present;
HOG feature quantity extraction means for extracting a HOG feature quantity, which is a feature quantity obtained by histogramating the gradient direction of luminance in a local area, based on the object size to be processed at the present time, for the image;
Identification means for judging the presence or absence of a person based on the HOG feature quantity extracted by the HOG feature quantity extraction means and the person judgment threshold;
A detection result aggregating unit that outputs the determination results of the presence / absence of a person based on all the object sizes together as a person detection result by collecting the determination results of the identification unit;
A plurality of the HOG feature amount extraction means are provided corresponding to a preset range of the object size to be processed, and a plurality of the identification means are provided corresponding to each of the HOG feature amount extraction means. A human detection device,
Set the number of divisions to divide the object size into a grid by the processing setting unit,
The plurality of HOG feature amount extraction means include
When the size of the small area obtained by dividing the object size into a grid shape based on the number of divisions is equal to or larger than a preset size, the object size is configured from a luminance gradient direction histogram in eight directions with respect to the object size. An 8-way HOG feature quantity extraction unit for extracting 8-way HOG feature quantities;
A four-way HOG feature quantity extraction unit that extracts a four-way HOG feature quantity configured from a luminance gradient direction histogram in four directions for the object size when the size of the small area is smaller than a preset size ; ,
The plurality of identification means are:
An 8-way discriminator that determines the presence or absence of a person based on the 8-way HOG feature value extracted by the 8-way HOG feature value extraction unit;
A four-way discriminator that determines the presence or absence of a person based on the four-way HOG feature value extracted by the four-way HOG feature value extraction unit.

また、第の発明に係る人物検出装置は、第1の発明に係る人物検出装置において、
前記入力画像の各画素における8方向の輝度勾配方向と輝度勾配強度を求めて輝度勾配方向画像を作成する輝度勾配方向画像作成手段を備える
ことを特徴とする。
A person detection device according to the second invention is the person detection device according to the first invention.
A luminance gradient direction image creating means for obtaining a luminance gradient direction image by obtaining eight luminance gradient directions and luminance gradient intensities in each pixel of the input image is provided.

また、第の発明に係る人物検出装置は、第の発明に係る人物検出装置において、
前記8方向HOG特徴量抽出部が前記輝度勾配方向画像に基づいて前記8方向HOG特徴量を抽出する一方、
前記4方向HOG特徴量抽出部が前記輝度勾配方向画像に基づいて8方向の輝度勾配強度のうち4方向に対する中間方向の輝度勾配強度を隣り合う二つの方向へ分割して4方向の各成分へ合成して前記4方向HOG特徴量を抽出する
ことを特徴とする。
また、第4の発明に係る人物検出装置は、
監視対象領域を撮影する撮像手段によって取得した画像のデータを入力する画像入力手段と、
少なくとも、前記画像中に写り込む人物の大きさに対応する複数の対象物サイズ及び人物の有無を判断するための人物判断しきい値の設定を行う処理設定部と、
前記複数の対象物サイズを順次選択して現在処理すべき対象物サイズとして設定する対象物サイズ設定手段と、
前記画像に対し、前記現在処理すべき対象物サイズに基づき、局所領域における輝度の勾配方向をヒストグラム化した特徴量であるHOG特徴量の抽出を行うHOG特徴量抽出手段と、
前記HOG特徴量抽出手段によって抽出された前記HOG特徴量及び前記人物判断しきい値に基づいて人物の有無を判断する識別手段と、
前記識別手段の判断結果をまとめて全ての前記対象物サイズに基づく人物の有無の判断結果を人物検出結果として出力する検出結果集計手段とを備え、
前記HOG特徴量抽出手段が、あらかじめ設定された前記現在処理すべき対象物サイズの範囲に対応して複数設けられるとともに、前記識別手段がそれぞれの前記HOG特徴量抽出手段に対応して複数設けられる人物検出装置であって、
前記入力画像の各画素における8方向の輝度勾配方向と輝度勾配強度を求めて輝度勾配方向画像を作成する輝度勾配方向画像作成手段を備えると共に、
前記8方向HOG特徴量抽出部が前記輝度勾配方向画像に基づいて前記8方向HOG特徴量を抽出する一方、
前記4方向HOG特徴量抽出部が前記輝度勾配方向画像に基づいて8方向の輝度勾配強度のうち4方向に対する中間方向の輝度勾配強度を隣り合う二つの方向へ分割して4方向の各成分へ合成して前記4方向HOG特徴量を抽出する
ことを特徴とする。
A person detection device according to a third aspect of the invention is the person detection device according to the second aspect of the invention,
While the 8-direction HOG feature amount extraction unit extracts the 8-direction HOG feature amount based on the luminance gradient direction image,
Based on the luminance gradient direction image, the four-direction HOG feature amount extraction unit divides the luminance gradient strength in the intermediate direction with respect to the four directions out of the luminance gradient strengths in the eight directions into two adjacent directions to each component in the four directions. The four-way HOG feature value is extracted by synthesis.
A human detection device according to a fourth invention is
An image input means for inputting data of an image acquired by an imaging means for photographing the monitoring target area;
At least a processing setting unit for setting a plurality of object sizes corresponding to the size of a person appearing in the image and a person determination threshold value for determining the presence or absence of a person;
Object size setting means for sequentially selecting the plurality of object sizes and setting them as object sizes to be processed at present;
HOG feature quantity extraction means for extracting a HOG feature quantity, which is a feature quantity obtained by histogramating the gradient direction of luminance in a local area, based on the object size to be processed at the present time, for the image;
Identification means for judging the presence or absence of a person based on the HOG feature quantity extracted by the HOG feature quantity extraction means and the person judgment threshold;
A detection result aggregating unit that outputs the determination results of the presence / absence of a person based on all the object sizes together as a person detection result by collecting the determination results of the identification unit;
A plurality of the HOG feature amount extraction means are provided corresponding to a preset range of the object size to be processed, and a plurality of the identification means are provided corresponding to each of the HOG feature amount extraction means. A human detection device,
A luminance gradient direction image creating means for obtaining a luminance gradient direction image by obtaining eight luminance gradient directions and luminance gradient intensities in each pixel of the input image;
While the 8-direction HOG feature amount extraction unit extracts the 8-direction HOG feature amount based on the luminance gradient direction image,
Based on the luminance gradient direction image, the four-direction HOG feature amount extraction unit divides the luminance gradient strength in the intermediate direction with respect to the four directions out of the luminance gradient strengths in the eight directions into two adjacent directions to each component in the four directions. Combine and extract the 4-way HOG feature
It is characterized by that.

上述した本発明に係る人物検出装置によれば、対象物の画像上のサイズに合わせて密なヒストグラムデータを常に識別器の照合に使用することができ、監視カメラの設置場所から離れた位置に存在し、画像中に小さく映っている人物についても高精度に検出を行うことが可能となる。   According to the above-described person detection device according to the present invention, dense histogram data can always be used for collation of the discriminator in accordance with the size of the object on the image, and at a position away from the installation location of the surveillance camera. It is possible to detect a person who exists and appears small in the image with high accuracy.

本発明の実施例に係る人物検出装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the person detection apparatus which concerns on the Example of this invention. 本発明の実施例に係る人物検出装置に入力される画像データの一例を示す説明図である。It is explanatory drawing which shows an example of the image data input into the person detection apparatus which concerns on the Example of this invention. 図3(a)〜図3(c)は対象物サイズに応じてラスタスキャンを行う例を示す説明図、図3(d)は人物検出結果の例を示す説明図である。FIGS. 3A to 3C are explanatory diagrams illustrating an example in which raster scanning is performed according to the object size, and FIG. 3D is an explanatory diagram illustrating an example of a person detection result. 本発明の実施例に係る人物検出装置におけるセルと当該セルに対応する8方向輝度勾配方向ヒストグラムの一例を示す説明図である。It is explanatory drawing which shows an example of the 8-direction luminance gradient direction histogram corresponding to the cell in the person detection apparatus which concerns on the Example of this invention, and the said cell. 本発明の実施例に係る人物検出装置における8方向識別器の学習例を示す説明図である。It is explanatory drawing which shows the learning example of the 8-way discriminator in the person detection apparatus which concerns on the Example of this invention. 本発明の実施例に係る人物検出装置におけるセルと当該セルに対応する4方向輝度勾配方向ヒストグラムの一例を示す説明図である。It is explanatory drawing which shows an example of the cell in the person detection apparatus which concerns on the Example of this invention, and a 4-way luminance gradient direction histogram corresponding to the said cell. 本発明の実施例に係る人物検出装置における4方向識別器の学習例を示す説明図である。It is explanatory drawing which shows the learning example of the 4-way discriminator in the person detection apparatus which concerns on the Example of this invention. 図8(a)は8方向の輝度勾配方向ヒストグラムの例を示す説明図、図8(b)は4方向の輝度勾配方向ヒストグラムの例を示す説明図である。FIG. 8A is an explanatory diagram illustrating an example of a luminance gradient direction histogram in eight directions, and FIG. 8B is an explanatory diagram illustrating an example of a luminance gradient direction histogram in four directions. 本発明の実施例に係る人物検出装置による人物検出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the person detection process by the person detection apparatus based on the Example of this invention. 従来のセルと当該セルに対応する8方向輝度勾配方向ヒストグラムの一例を示す説明図である。It is explanatory drawing which shows an example of the 8-way luminance gradient direction histogram corresponding to the conventional cell and the said cell.

以下、図面を参照しつつ本発明に係る人物検出装置の詳細を説明する。   Hereinafter, the details of the person detecting apparatus according to the present invention will be described with reference to the drawings.

図1ないし図9を用いて本発明の一実施例に係る人物検出装置について説明する。
図1に示すように、本実施例に係る人物検出装置1は、監視カメラ2によって監視対象領域を撮影した画像を解析して、当該画像中から人物の抽出を行うものであり、画像入力部101と、処理設定部102と、記憶部103と、輝度勾配方向画像作成部104と、対象物サイズ設定部105と、8方向HOG特徴量抽出部106と、8方向識別器107と、4方向HOG特徴量抽出部108と、4方向識別器109と、検出結果集計部110と、結果出力部111とを備えて構成されている。
A person detection apparatus according to an embodiment of the present invention will be described with reference to FIGS.
As shown in FIG. 1, a person detection apparatus 1 according to the present embodiment analyzes an image obtained by photographing a monitoring target area by a monitoring camera 2 and extracts a person from the image. 101, a processing setting unit 102, a storage unit 103, a luminance gradient direction image creation unit 104, an object size setting unit 105, an eight-direction HOG feature quantity extraction unit 106, an eight-direction discriminator 107, and four directions A HOG feature amount extraction unit 108, a four-direction discriminator 109, a detection result totaling unit 110, and a result output unit 111 are provided.

画像入力部101は、監視カメラ2から、当該監視カメラ2で撮影した図2に示すような画像3のデータ(以下、画像データという)を入力する。画像データは記憶部103に保管される。   The image input unit 101 inputs data of an image 3 (hereinafter referred to as image data) as shown in FIG. 2 taken by the monitoring camera 2 from the monitoring camera 2. Image data is stored in the storage unit 103.

処理設定部102は、人物検出に必要な各種処理パラメータとして、複数の対象物サイズS1〜Sn、対象物サイズ分割数a、人物判断しきい値b等を設定する。これら処理パラメータは記憶部103に保管される。
なお、対象物サイズS1〜Snは、監視カメラ2で撮影した画像3中に映し出される人物の大きさに対応して予め複数段階で設定されるサイズであり、本実施例では図3に示すようにn通りのサイズとする。また、対象物サイズ分割数aは、図4に示すように対象物サイズS1〜Snを格子状に分割する数である。また、人物判断しきい値bは、識別器で求めた確率が人物か否かを判断するためのしきい値である。
記憶部103は、処理パラメータや各種データを保管する。
The process setting unit 102 sets a plurality of target object sizes S1 to Sn, a target object size division number a, a person determination threshold value b, and the like as various process parameters necessary for person detection. These processing parameters are stored in the storage unit 103.
The object sizes S1 to Sn are sizes set in advance in a plurality of stages corresponding to the size of the person shown in the image 3 taken by the surveillance camera 2, and in this embodiment, as shown in FIG. N sizes. Further, the object size division number a is a number by which the object sizes S1 to Sn are divided in a lattice shape as shown in FIG. The person determination threshold value b is a threshold value for determining whether or not the probability obtained by the classifier is a person.
The storage unit 103 stores processing parameters and various data.

輝度勾配方向画像作成部104は、記憶部103から画像データを入力して各画素における8方向の輝度勾配方向と輝度勾配強度を求めた輝度勾配方向画像を作成する。作成された輝度勾配方向画像のデータ(以下、輝度勾配方向画像データという)は記憶部103に保管される。   The luminance gradient direction image creation unit 104 receives the image data from the storage unit 103 and creates a luminance gradient direction image obtained by obtaining the luminance gradient direction and the luminance gradient intensity in eight directions for each pixel. The created brightness gradient direction image data (hereinafter referred to as brightness gradient direction image data) is stored in the storage unit 103.

対象物サイズ設定部105は、記憶部103に保管された対象物サイズS1〜Snのうち現在処理すべき対象物サイズSi(i=1,2,…,n)を設定する(例えば、図3に示す最も大きい対象物サイズS1から順にS2,S3,…,Snと現在処理すべき対象物サイズSiを設定する)。設定された現在処理すべき対象物サイズSiは記憶部103に保管される。   The object size setting unit 105 sets the object size Si (i = 1, 2,..., N) to be currently processed among the object sizes S1 to Sn stored in the storage unit 103 (for example, FIG. 3). S2, S3,..., Sn and the object size Si to be processed are set in order from the largest object size S1 shown in FIG. The set object size Si to be processed at present is stored in the storage unit 103.

8方向HOG特徴量抽出部106は、記憶部103から現在処理すべき対象物サイズSi、対象物サイズ分割数a及び輝度勾配方向画像データを入力し、これらを基に8方向の輝度勾配方向ヒストグラムから構成したHOG特徴量(以下、8方向HOG特徴量と呼ぶ)を抽出する。抽出された8方向HOG特徴量は8方向識別器107へ送られる。   The 8-direction HOG feature amount extraction unit 106 inputs the object size Si to be processed currently, the object size division number a, and the luminance gradient direction image data from the storage unit 103, and based on these, the 8-direction luminance gradient direction histogram HOG feature values (hereinafter, referred to as 8-way HOG feature values) are extracted. The extracted 8-way HOG feature value is sent to the 8-way discriminator 107.

具体的には、図4に示すように、画像上の現在処理すべき対象物サイズSiを対象物サイズ分割数aに基づき格子状に分割して得られる正方形状の小領域(これを「セル」と呼ぶ)Cj(j=1,2,…,m)に対して各セルCjごとに輝度勾配方向ヒストグラムを作り、この輝度勾配方向ヒストグラムを並べた高次元ベクトルを8方向HOG特徴量として抽出する。例えば5×5ピクセルのサイズの各セルCjに対して8方向の輝度勾配方向ヒストグラムを作成した場合、8方向HOG特徴量は一つのセルCjにつき25個の点から得られる輝度勾配方向のデータをヒストグラムとして表現することになる。   Specifically, as shown in FIG. 4, a square-shaped small region (this is referred to as a “cell” obtained by dividing the object size Si to be processed on the image in a grid shape based on the object size division number a. The luminance gradient direction histogram is created for each cell Cj for Cj (j = 1, 2,..., M), and a high-dimensional vector in which the luminance gradient direction histograms are arranged is extracted as an 8-way HOG feature quantity. To do. For example, when an eight-direction luminance gradient direction histogram is created for each cell Cj having a size of 5 × 5 pixels, the eight-direction HOG feature amount is obtained by data on luminance gradient directions obtained from 25 points for one cell Cj. It will be expressed as a histogram.

ここで、本実施例においては、セルCjのサイズが5×5ピクセル以上である場合に8方向HOG特徴量抽出部106による8方向HOG特徴量の抽出を行うものとする。輝度勾配方向の計算は対象画素に対する縦方向および横方向の輝度勾配強度のtanから求める方法や特許文献3に開示されている方法を用いて求めることができ、ここでの詳しい説明は省略する。   Here, in this embodiment, when the size of the cell Cj is 5 × 5 pixels or more, the 8-way HOG feature quantity extraction unit 106 extracts the 8-way HOG feature quantity. The calculation of the luminance gradient direction can be performed by using a method of obtaining from the tan of the luminance gradient intensity in the vertical direction and the horizontal direction with respect to the target pixel or a method disclosed in Patent Document 3, and detailed description thereof is omitted here.

8方向識別器107は、8方向HOG特徴量に対応する識別器であり、記憶部103から入力した人物判断しきい値b及び現在処理すべき対象物サイズSiと8方向HOG特徴量抽出部106から送られた8方向HOG特徴量とに基づき人物検出(対象物が人物か否かの判断)を行う。人物検出の結果は、検出結果データとして記憶部103に保管される。   The 8-direction discriminator 107 is a discriminator corresponding to the 8-way HOG feature quantity, and the person determination threshold value b inputted from the storage unit 103, the object size Si to be processed at present, and the 8-way HOG feature quantity extraction unit 106. Person detection (determination of whether or not the object is a person) is performed based on the eight-way HOG feature value sent from. The result of person detection is stored in the storage unit 103 as detection result data.

ここで、8方向識別器107では、まず、人物検出を行う前の準備として学習を行っておく。具体的には、図5に示すように、ある大きさに正規化した人物の画像及び人物以外の画像(以下、「学習画像サンプル」と総称する)を多数枚用意し、それぞれの学習画像サンプルから8方向HOG特徴量を抽出して人物検出に有効な8方向HOG特徴量の成分を自動選択し、対象物サイズS1〜Sn内において選択した成分が存在した場合の人物である確率および人物以外である確率の分布を求め、人物判断しきい値bを導出しておく。
そして、予め学習画像サンプルを用いた学習により選択した人物に対応する8方向HOG特徴量と、記憶部103から入力した8方向HOG特徴量とを比較して人物判断しきい値bに基づき人物検出を行う。
Here, the 8-direction discriminator 107 first performs learning as preparation before performing person detection. Specifically, as shown in FIG. 5, a large number of human images normalized to a certain size and non-human images (hereinafter collectively referred to as “learning image samples”) are prepared, and each learning image sample is prepared. The 8-way HOG feature value is extracted from the image and the 8-way HOG feature value component effective for human detection is automatically selected, and the probability that the selected component exists within the object size S1 to Sn and other than the person Is obtained, and a person judgment threshold value b is derived.
Then, the eight-way HOG feature value corresponding to the person selected by learning using the learning image sample in advance is compared with the eight-way HOG feature value input from the storage unit 103 to detect the person based on the person determination threshold value b. I do.

上述した8方向HOG特徴量抽出部106と8方向識別器107とを用いた人物検出は、輝度勾配方向画像に対し、各対象物サイズS1〜Snのうち、セルサイズが5×5ピクセル以上となるものを用いて、例えば図3(a)に示すようにそれぞれ8方向HOG特徴量抽出部106による8方向HOG特徴量の抽出と8方向識別器107による人物検出とをラスタスキャンにより行い、各対象物サイズS1〜Snのうち、セルサイズが5×5ピクセル以上となるものについて人物検出を行う。   The person detection using the above-described 8-direction HOG feature amount extraction unit 106 and the 8-direction discriminator 107 has a cell size of 5 × 5 pixels or more among the object sizes S1 to Sn with respect to the luminance gradient direction image. For example, as shown in FIG. 3A, the 8-direction HOG feature quantity extraction unit 106 extracts the 8-way HOG feature quantity and the 8-direction discriminator 107 detects the person by raster scanning. Among the object sizes S1 to Sn, person detection is performed for a cell size of 5 × 5 pixels or more.

4方向HOG特徴量抽出部108は、記憶部103から現在処理すべき対象物サイズSi、対象物サイズ分割数a及び輝度勾配方向画像データを入力し、これらを基に4方向の輝度勾配方向ヒストグラムから構成したHOG特徴量(以下、4方向HOG特徴量と呼ぶ)を抽出する。抽出された4方向HOG特徴量は4方向識別器109へ送られる。   The 4-direction HOG feature amount extraction unit 108 inputs the object size Si to be processed currently, the object size division number a, and the luminance gradient direction image data from the storage unit 103, and based on these, the four-direction luminance gradient direction histogram HOG feature values (hereinafter referred to as 4-way HOG feature values) are extracted. The extracted 4-way HOG feature value is sent to the 4-way classifier 109.

ここで、本実施例に係る人物検出装置1においては、上述した8方向HOG特徴量抽出部106と同様に、4方向HOG特徴量抽出部108により輝度勾配方向から算出したHOG特徴量を用いて人物の大まかな形状を表現し、後述する4方向HOG識別器109によって人物を検出する。   Here, in the human detection device 1 according to the present embodiment, the HOG feature amount calculated from the luminance gradient direction by the four-direction HOG feature amount extraction unit 108 is used, similarly to the above-described 8-direction HOG feature amount extraction unit 106. A rough shape of the person is expressed, and the person is detected by a four-way HOG discriminator 109 described later.

ただし本実施例では、監視カメラ2の設置場所に対して遠方にいる人物を検出できるように、画像上における対象物サイズS1〜Snに対応して、HOG特徴量の構成を上述した8方向の輝度勾配方向ヒストグラムと後述する4方向の輝度勾配方向ヒストグラムとで切り替えるものとする。
例えば、図4に示すように輝度勾配方向の数に対して多数の画素から得られた情報を基にヒストグラムを作る場合には適度に密なヒストグラムを得ることができる。しかしながら、画像上における対象物のサイズが小さくなり、これに伴いセルCjのサイズが小さくなった場合、例えば3×3ピクセルのサイズのセルCjに対して8方向の輝度勾配方向ヒストグラムを作成した場合は、9個の点から得られる輝度勾配方向のデータをヒストグラムとして表現することになる。この場合、対象物に対して相対的に同じ場所のセルCjから求めた輝度勾配方向ヒストグラムであっても図10に示すように粗いヒストグラムとなる。これは画像3上に対象物が小さいサイズとなって写り込んだ場合に、当該対象物の検出が難しい主な原因となる。
そこで、本実施例では対象物の画像3上のサイズに合わせて輝度勾配方向ヒストグラムを作成する際の方向数を切り替えるものとする。具体的には、対象物の画像3上のサイズが予め設定するサイズ以上である場合には8方向の輝度勾配方向ヒストグラムからHOG特徴量を構成する。つまり、例えばセルサイズが5×5ピクセル以上の場合は8方向の輝度勾配方向ヒストグラムを用いる。一方、セルサイズが5×5ピクセルより小さい場合は4方向の輝度勾配方向ヒストグラムを用いる。
However, in the present embodiment, the configuration of the HOG feature amount corresponding to the object sizes S1 to Sn on the image is configured in the above-described eight directions so that a person far from the installation location of the monitoring camera 2 can be detected. It is assumed that switching is performed between a luminance gradient direction histogram and a luminance gradient direction histogram in four directions described later.
For example, as shown in FIG. 4, when a histogram is created based on information obtained from a large number of pixels with respect to the number of luminance gradient directions, a moderately dense histogram can be obtained. However, when the size of the object on the image is reduced, and the size of the cell Cj is reduced accordingly, for example, when a luminance gradient direction histogram in 8 directions is created for the cell Cj having a size of 3 × 3 pixels. Represents the data of the luminance gradient direction obtained from the nine points as a histogram. In this case, even the luminance gradient direction histogram obtained from the cell Cj at the same location relative to the object is a coarse histogram as shown in FIG. This is the main reason why it is difficult to detect the object when the object appears on the image 3 in a small size.
Therefore, in this embodiment, it is assumed that the number of directions at the time of creating the luminance gradient direction histogram is switched according to the size of the object on the image 3. Specifically, when the size of the object on the image 3 is equal to or larger than a preset size, the HOG feature amount is configured from the luminance gradient direction histograms in eight directions. That is, for example, when the cell size is 5 × 5 pixels or more, the luminance gradient direction histogram of 8 directions is used. On the other hand, when the cell size is smaller than 5 × 5 pixels, a luminance gradient direction histogram in four directions is used.

なお、図3(a)〜(c)に示したようなラスタスキャンによりHOG特徴量を求める度に対象物サイズS1〜Sn内の輝度勾配方向を求めることは手間である。そこで、本実施例に係る人物検出装置1では、上述したように予め輝度勾配方向画像作成部104において画像データに対して8方向の輝度勾配方向と輝度勾配強度を求めた輝度勾配方向画像を作っておく。
これにより、8方向の輝度勾配方向ヒストグラムを作る場合は輝度勾配方向画像のデータからそのままヒストグラムを作成することができる。
一方、4方向の輝度勾配方向ヒストグラムを作る場合は、輝度勾配方向画像のデータから得た図8(a)に示す8方向(D1〜D8)の輝度勾配方向ヒストグラムに対し、図8(b)に示すように4方向(d1〜d4)に対する中間方向(d1-2〜d4-1)のヒストグラム値を隣り合う二つの方向へ分割して4方向(d1〜d4)の各成分へ合成するものとする。これにより、図6に示すように画像上の対象物サイズS1〜Snのうちセルサイズが5×5ピクセルより小さいものを対象物サイズ分割数aに基づき格子状に分割して得られる正方形状のセルCjに対して各セルCjごとに4方向の輝度勾配方向ヒストグラムを作り、この輝度勾配方向ヒストグラムを並べた高次元ベクトルを4方向HOG特徴量として抽出する。
It is troublesome to obtain the luminance gradient direction in the object sizes S1 to Sn every time the HOG feature value is obtained by raster scanning as shown in FIGS. Therefore, in the person detection device 1 according to the present embodiment, as described above, the luminance gradient direction image creation unit 104 creates luminance gradient direction images in which eight luminance gradient directions and luminance gradient intensities are previously obtained from the image data. Keep it.
As a result, when the brightness gradient direction histogram of 8 directions is created, the histogram can be created as it is from the data of the brightness gradient direction image.
On the other hand, when a luminance gradient direction histogram in four directions is created, the luminance gradient direction histogram in eight directions (D1 to D8) shown in FIG. 8A obtained from the data of the luminance gradient direction image is shown in FIG. divided into two directions histogram values adjacent intermediate direction (d 1-2 ~d 4-1) for four directions (d1 to d4) as shown in the synthesis to the components in the four directions (d1 to d4) It shall be. As a result, as shown in FIG. 6, among the object sizes S1 to Sn on the image, a square shape obtained by dividing a cell size smaller than 5 × 5 pixels into a lattice shape based on the object size division number a. For each cell Cj, a luminance gradient direction histogram in four directions is created for each cell Cj, and a high-dimensional vector in which the luminance gradient direction histograms are arranged is extracted as a four-way HOG feature quantity.

4方向識別器109は、4方向HOG特徴量に対応する識別器であり、記憶部103から入力した人物判断しきい値b及び現在処理すべき対象物サイズSiと4方向HOG特徴量抽出部108から送られた4方向HOG特徴量とに基づき人物検出(対象物が人物か否かの判断)を行う。人物検出の結果は、検出結果データとして記憶部103に保管される。   The four-direction discriminator 109 is a discriminator corresponding to the four-way HOG feature quantity, and the person determination threshold value b inputted from the storage unit 103, the object size Si to be processed at present and the four-way HOG feature quantity extraction unit Person detection (determination as to whether or not the object is a person) is performed based on the four-way HOG feature value sent from. The result of person detection is stored in the storage unit 103 as detection result data.

ここで、4方向識別器109では、まず、8方向識別器107と同様に、人物検出を行う前の準備として学習を行っておく。具体的には、図7に示すように、学習画像サンプルを多数枚用意し、それぞれの学習画像サンプルから4方向HOG特徴量を抽出して人物検出に有効な4方向HOG特徴量の成分を自動選択し、対象物サイズS1〜Sn内において選択した成分が存在した場合の人物である確率および人物以外である確率の分布を求め、人物判断しきい値bを導出しておく。
そして、予め学習画像サンプルを用いた学習により選択した人物に対応する4方向HOG特徴量と、記憶部103から入力した4方向HOG特徴量とを比較して人物判断しきい値bに基づき人物検出を行う。
上述した4方向HOG特徴量抽出部108と4方向識別器109とを用いた人物検出は、輝度勾配方向画像に対し、各対象物サイズS1〜Snのうち、セルサイズが5×5ピクセル未満となるものを用いて、例えば図3(c)に示すようにそれぞれ4方向HOG特徴量抽出部108による4方向HOG特徴量の抽出と4方向識別器109による人物検出とをラスタスキャンにより行い、各対象物サイズS1〜Snのうち、セルサイズが5×5ピクセル未満となるものについて人物検出を行う。
Here, in the four-way discriminator 109, first, as in the eight-way discriminator 107, learning is performed as preparation before performing person detection. Specifically, as shown in FIG. 7, a large number of learning image samples are prepared, and four-way HOG feature values are extracted from each learning image sample, and components of the four-way HOG feature values effective for human detection are automatically detected. A distribution of probability of being a person and a probability of being a person other than the person when the selected components exist within the object sizes S1 to Sn is obtained, and a person determination threshold value b is derived.
Then, the four-way HOG feature value corresponding to the person selected by learning using the learning image sample in advance and the four-way HOG feature value input from the storage unit 103 are compared, and the person is detected based on the person determination threshold value b. I do.
In the person detection using the above-described four-direction HOG feature amount extraction unit 108 and the four-direction discriminator 109, the cell size is less than 5 × 5 pixels among the object sizes S1 to Sn with respect to the luminance gradient direction image. For example, as shown in FIG. 3C, the four-way HOG feature quantity extraction unit 108 extracts the four-way HOG feature quantity and the four-way discriminator 109 detects the person by raster scanning. Among the object sizes S1 to Sn, person detection is performed for a cell size of less than 5 × 5 pixels.

検出結果集計部110は、記憶部103から複数段階の対象物サイズS1〜Snに基づいて行った人物検出の結果(検出結果データ)をまとめて全サイズでの人物検出結果とし、これを検出結果集計データとして記憶部103に保管する。検出結果データは検出した人数と画像上における人物検出位置となる。   The detection result totaling unit 110 collects the results of human detection (detection result data) performed based on the object sizes S1 to Sn in a plurality of stages from the storage unit 103 as the human detection results for all sizes, and this is the detection result. Stored in the storage unit 103 as aggregated data. The detection result data is the number of people detected and the person detection position on the image.

結果出力部111は、人物検出結果として記憶部103から入力した検出結果集計データを図示しない外部装置(例えば、表示装置等)へ出力する。   The result output unit 111 outputs the detection result total data input from the storage unit 103 as a person detection result to an external device (for example, a display device) not shown.

このように構成される本実施例に係る人物検出装置による人物検出の流れを図9を用いて説明する。   The flow of person detection by the person detection apparatus according to this embodiment configured as described above will be described with reference to FIG.

図9に示すように、本実施例に係る人物検出装置においては、まず、画像入力部101により監視カメラ2から画像データを入力する(ステップP1)。
続いて、輝度勾配方向画像作成部104により記憶部103から入力された画像データを用いて上述した輝度勾配方向画像の作成を行う(ステップP2)。
続いて、対象物サイズ設定部105により記憶部103に保管された対象物サイズS1〜Snのうち現在処理すべき対象物サイズSiを設定する(ステップP3)。
As shown in FIG. 9, in the human detection apparatus according to the present embodiment, first, image data is input from the monitoring camera 2 by the image input unit 101 (step P1).
Subsequently, the above-described luminance gradient direction image is generated using the image data input from the storage unit 103 by the luminance gradient direction image generation unit 104 (step P2).
Subsequently, the target object size Si to be processed among the target object sizes S1 to Sn stored in the storage unit 103 is set by the target object size setting unit 105 (step P3).

そして、現在処理すべき対象物サイズSi及び対象物サイズ分割数aに基づいて当該対象物サイズSiを格子状に分割してなるセルのサイズが5×5ピクセル以上である場合はステップP5に移行し、セルのサイズが5×5ピクセル未満である場合はステップP7に移行する(ステップP4)。   If the size of the cell obtained by dividing the object size Si into a lattice shape based on the object size Si to be processed and the object size division number a is 5 × 5 pixels or more, the process proceeds to step P5. If the cell size is less than 5 × 5 pixels, the process proceeds to step P7 (step P4).

ステップP4からステップP5に移行した場合は、ステップP5で8方向HOG特徴量抽出部106により記憶部103から入力された現在処理すべき対象物サイズSi、対象物サイズ分割数a及び輝度勾配方向画像データを用いて8方向HOG特徴量の抽出を行う。
ステップP5に続いては、8方向識別器107により8方向HOG特徴量抽出部106から入力された8方向HOG特徴量と記憶部103から入力された人物判断しきい値bとから人物の有無を判断し(ステップP6)、ステップP9に移行する。
When the process proceeds from step P4 to step P5, the object size Si to be processed, the object size division number a, and the luminance gradient direction image input from the storage unit 103 by the 8-direction HOG feature amount extraction unit 106 in step P5. An 8-way HOG feature value is extracted using the data.
Following step P5, the presence / absence of a person is determined from the eight-way HOG feature value input from the eight-way HOG feature value extraction unit 106 by the eight-way discriminator 107 and the person determination threshold value b input from the storage unit 103. Judge (step P6) and move to step P9.

また、ステップP4からステップP7に移行した場合は、ステップP7で4方向HOG特徴量抽出部108により記憶部103から入力された現在処理すべき対象物サイズSi、対象物サイズ分割数a及び輝度勾配方向画像データを用いて4方向HOG特徴量の抽出を行う。
ステップP7に続いては、4方向識別器109により4方向HOG特徴量抽出部108から入力された4方向HOG特徴量と記憶部103から入力された人物判断しきい値bとから人物の有無を判断し(ステップP8)、ステップP9に移行する。
When the process proceeds from step P4 to step P7, the object size Si to be processed currently, the object size division number a, and the luminance gradient input from the storage unit 103 by the four-way HOG feature quantity extraction unit 108 in step P7. The four-way HOG feature value is extracted using the directional image data.
Following step P7, the presence / absence of a person is determined from the four-way HOG feature value input from the four-way HOG feature value extraction unit 108 by the four-way classifier 109 and the person determination threshold value b input from the storage unit 103. Judge (Step P8) and proceed to Step P9.

ステップP9では、全ての対象物サイズS1〜Snによる探索が終了したか否かの判断を行い、全ての対象物サイズS1〜Snによる探索が終了していない場合(NO)はステップP3の処理に戻り、全ての対象物サイズS1〜Snによる探索が終了している場合(YES)は、検出結果集計部110により各対象物サイズS1〜Snに基づいて行った人物の検出結果を記憶部103から入力して集計を行う。
続いて、結果出力部111により記憶部103から入力された検出結果集計データを外部装置(例えば表示装置等)に出力する。
In Step P9, it is determined whether or not the search using all the object sizes S1 to Sn is completed. If the search using all the object sizes S1 to Sn is not completed (NO), the process of Step P3 is performed. Returning, when the search by all the object sizes S1 to Sn is completed (YES), the detection result totaling unit 110 stores the person detection results based on the respective object sizes S1 to Sn from the storage unit 103. Enter and total.
Subsequently, the detection result summary data input from the storage unit 103 by the result output unit 111 is output to an external device (for example, a display device).

以上の処理を行うことにより、入力画像中に比較的大きく映っている(本実施例ではセルサイズが5×5ピクセル以上)人物については8方向HOG特徴量抽出部106及び8方向識別器107により人物検出を行う一方、入力画像中に比較的小さく映っている(本実施例ではセルサイズが5×5ピクセル未満)人物については4方向HOG特徴量抽出部108及び4方向識別器109により人物検出を行って、全ての対象物サイズS1〜Snでの探索が終了したら検出結果をまとめて出力することとなる。   By performing the above processing, an 8-way HOG feature amount extraction unit 106 and an 8-way classifier 107 are used for a person who is relatively large in the input image (in this embodiment, the cell size is 5 × 5 pixels or more). While human detection is performed, the human image is detected by the four-way HOG feature amount extraction unit 108 and the four-way classifier 109 for a person appearing relatively small in the input image (in this embodiment, the cell size is less than 5 × 5 pixels). When the search is completed for all the object sizes S1 to Sn, the detection results are collectively output.

以上に説明した本実施例に係る人物検出装置によれば、対象物の画像3上のサイズに合わせて密なヒストグラムデータを常に識別器の照合に使用することができ、監視カメラ2の設置場所から離れた位置に存在し、画像3中に小さく映っている人物についても高精度に検出を行うことが可能となり、監視カメラ2で撮影した広範囲な監視場所の画像3を解析し近傍から遠方にわたる広範囲での人物検出を行うことができる。
また、監視カメラ2が首振り動作やズームを行った場合でも、撮影した広範囲な監視場所の画像3を解析し近傍から遠方にわたる広範囲での人物検出を行うことができる。
According to the human detection apparatus according to the present embodiment described above, dense histogram data can always be used for collation of the discriminator according to the size on the image 3 of the object, and the installation location of the monitoring camera 2 It is possible to detect with high accuracy even a person who is present at a position away from the image 3 and is reflected in the image 3 small, and analyzes the image 3 of a wide range of monitoring locations photographed by the monitoring camera 2 and extends from the vicinity to the distance Person detection can be performed in a wide range.
Even when the surveillance camera 2 swings or zooms, the photographed image 3 of a wide range of surveillance locations can be analyzed to detect people over a wide range from near to far.

本発明は、人物検出装置に関し、とくにHOG特徴量を利用して画像中の人物を検出する人物検出装置に適用して好適なものである。   The present invention relates to a person detection apparatus, and is particularly suitable for application to a person detection apparatus that detects a person in an image using HOG feature values.

1 人物検出装置
2 監視カメラ
3 画像
101 画像入力部
102 処理設定部
103 記憶部
104 輝度勾配方向画像作成部
105 対象物サイズ設定部
106 8方向HOG特徴量抽出部
107 8方向識別器
108 4方向HOG特徴量抽出部
109 4方向識別器
110 検出結果集計部
111 結果出力部
S1〜Sn 対象物サイズ
Cj セル
DESCRIPTION OF SYMBOLS 1 Person detection apparatus 2 Surveillance camera 3 Image 101 Image input part 102 Process setting part 103 Memory | storage part 104 Brightness gradient direction image creation part 105 Object size setting part 106 8-way HOG feature-value extraction part 107 8-way identifier 108 Four-way HOG Feature extraction unit 109 Four-direction discriminator 110 Detection result totaling unit 111 Result output unit S1 to Sn Object size Cj cell

Claims (4)

監視対象領域を撮影する撮像手段によって取得した画像のデータを入力する画像入力手段と、
少なくとも、前記画像中に写り込む人物の大きさに対応する複数の対象物サイズ及び人物の有無を判断するための人物判断しきい値の設定を行う処理設定部と、
前記複数の対象物サイズを順次選択して現在処理すべき対象物サイズとして設定する対象物サイズ設定手段と、
前記画像に対し、前記現在処理すべき対象物サイズに基づき、局所領域における輝度の勾配方向をヒストグラム化した特徴量であるHOG特徴量の抽出を行うHOG特徴量抽出手段と、
前記HOG特徴量抽出手段によって抽出された前記HOG特徴量及び前記人物判断しきい値に基づいて人物の有無を判断する識別手段と、
前記識別手段の判断結果をまとめて全ての前記対象物サイズに基づく人物の有無の判断結果を人物検出結果として出力する検出結果集計手段とを備え、
前記HOG特徴量抽出手段が、あらかじめ設定された前記現在処理すべき対象物サイズの範囲に対応して複数設けられるとともに、前記識別手段がそれぞれの前記HOG特徴量抽出手段に対応して複数設けられる人物検出装置であって、
前記処理設定部により前記対象物サイズを格子状に分割する分割数の設定を行い、
前記複数のHOG特徴量抽出手段が、
前記分割数に基づいて前記対象物サイズを格子状に分割して得られる小領域のサイズが予め設定するサイズ以上である場合に当該対象物サイズに対して8方向の輝度勾配方向ヒストグラムから構成した8方向HOG特徴量の抽出を行う8方向HOG特徴量抽出部と、
前記小領域のサイズが予め設定するサイズより小さい場合に前記対象物サイズに対して4方向の輝度勾配方向ヒストグラムから構成した4方向HOG特徴量の抽出を行う4方向HOG特徴量抽出部とであり、
前記複数の識別手段が、
前記8方向HOG特徴量抽出部により抽出した8方向HOG特徴量に基づいて人物の有無を判断する8方向識別器と、
前記4方向HOG特徴量抽出部により抽出した4方向HOG特徴量に基づいて人物の有無を判断する4方向識別器とである
ことを特徴とする人物検出装置。
An image input means for inputting data of an image acquired by an imaging means for photographing the monitoring target area;
At least a processing setting unit for setting a plurality of object sizes corresponding to the size of a person appearing in the image and a person determination threshold value for determining the presence or absence of a person;
Object size setting means for sequentially selecting the plurality of object sizes and setting them as object sizes to be processed at present;
HOG feature quantity extraction means for extracting a HOG feature quantity, which is a feature quantity obtained by histogramating the gradient direction of luminance in a local area, based on the object size to be processed at the present time, for the image;
Identification means for judging the presence or absence of a person based on the HOG feature quantity extracted by the HOG feature quantity extraction means and the person judgment threshold;
A detection result aggregating unit that outputs the determination results of the presence / absence of a person based on all the object sizes together as a person detection result by collecting the determination results of the identification unit;
A plurality of the HOG feature amount extraction means are provided corresponding to a preset range of the object size to be processed, and a plurality of the identification means are provided corresponding to each of the HOG feature amount extraction means. A human detection device,
Set the number of divisions to divide the object size into a grid by the processing setting unit,
The plurality of HOG feature amount extraction means include
When the size of the small area obtained by dividing the object size into a grid shape based on the number of divisions is equal to or larger than a preset size, the object size is configured from a luminance gradient direction histogram in eight directions with respect to the object size. An 8-way HOG feature quantity extraction unit for extracting 8-way HOG feature quantities;
A four-way HOG feature quantity extraction unit that extracts a four-way HOG feature quantity configured from a luminance gradient direction histogram in four directions for the object size when the size of the small area is smaller than a preset size ; ,
The plurality of identification means are:
An 8-way discriminator that determines the presence or absence of a person based on the 8-way HOG feature value extracted by the 8-way HOG feature value extraction unit;
Human object detection apparatus you wherein there in the four directions classifier to determine the presence or absence of a person based on the four directions HOG features extracted by the four directions HOG features extraction section.
前記入力画像の各画素における8方向の輝度勾配方向と輝度勾配強度を求めて輝度勾配方向画像を作成する輝度勾配方向画像作成手段を備える
ことを特徴とする請求項1記載の人物検出装置。
Human detection apparatus according to claim 1 Symbol mounting, characterized in that it comprises a brightness gradient direction image creation means for creating a brightness gradient direction image seeking brightness gradient direction and the brightness gradient strength of 8 directions in each pixel of the input image.
前記8方向HOG特徴量抽出部が前記輝度勾配方向画像に基づいて前記8方向HOG特徴量を抽出する一方、
前記4方向HOG特徴量抽出部が前記輝度勾配方向画像に基づいて8方向の輝度勾配強度のうち4方向に対する中間方向の輝度勾配強度を隣り合う二つの方向へ分割して4方向の各成分へ合成して前記4方向HOG特徴量を抽出する
ことを特徴とする請求項記載の人物検出装置。
While the 8-direction HOG feature amount extraction unit extracts the 8-direction HOG feature amount based on the luminance gradient direction image,
Based on the luminance gradient direction image, the four-direction HOG feature amount extraction unit divides the luminance gradient strength in the intermediate direction with respect to the four directions out of the luminance gradient strengths in the eight directions into two adjacent directions to each component in the four directions. The person detection apparatus according to claim 2, wherein the four-way HOG feature value is extracted by synthesis.
監視対象領域を撮影する撮像手段によって取得した画像のデータを入力する画像入力手段と、An image input means for inputting data of an image acquired by an imaging means for photographing the monitoring target area;
少なくとも、前記画像中に写り込む人物の大きさに対応する複数の対象物サイズ及び人物の有無を判断するための人物判断しきい値の設定を行う処理設定部と、At least a processing setting unit for setting a plurality of object sizes corresponding to the size of a person appearing in the image and a person determination threshold value for determining the presence or absence of a person;
前記複数の対象物サイズを順次選択して現在処理すべき対象物サイズとして設定する対象物サイズ設定手段と、Object size setting means for sequentially selecting the plurality of object sizes and setting them as object sizes to be processed at present;
前記画像に対し、前記現在処理すべき対象物サイズに基づき、局所領域における輝度の勾配方向をヒストグラム化した特徴量であるHOG特徴量の抽出を行うHOG特徴量抽出手段と、HOG feature quantity extraction means for extracting a HOG feature quantity, which is a feature quantity obtained by histogramating the gradient direction of luminance in a local area, based on the object size to be processed at the present time, for the image;
前記HOG特徴量抽出手段によって抽出された前記HOG特徴量及び前記人物判断しきい値に基づいて人物の有無を判断する識別手段と、Identification means for judging the presence or absence of a person based on the HOG feature quantity extracted by the HOG feature quantity extraction means and the person judgment threshold;
前記識別手段の判断結果をまとめて全ての前記対象物サイズに基づく人物の有無の判断結果を人物検出結果として出力する検出結果集計手段とを備え、A detection result aggregating unit that outputs the determination results of the presence / absence of a person based on all the object sizes together as a person detection result by collecting the determination results of the identification unit;
前記HOG特徴量抽出手段が、あらかじめ設定された前記現在処理すべき対象物サイズの範囲に対応して複数設けられるとともに、前記識別手段がそれぞれの前記HOG特徴量抽出手段に対応して複数設けられる人物検出装置であって、A plurality of the HOG feature amount extraction means are provided corresponding to a preset range of the object size to be processed, and a plurality of the identification means are provided corresponding to each of the HOG feature amount extraction means. A human detection device,
前記入力画像の各画素における8方向の輝度勾配方向と輝度勾配強度を求めて輝度勾配方向画像を作成する輝度勾配方向画像作成手段を備えると共に、A luminance gradient direction image creating means for obtaining a luminance gradient direction image by obtaining eight luminance gradient directions and luminance gradient intensities in each pixel of the input image;
前記8方向HOG特徴量抽出部が前記輝度勾配方向画像に基づいて前記8方向HOG特徴量を抽出する一方、While the 8-direction HOG feature amount extraction unit extracts the 8-direction HOG feature amount based on the luminance gradient direction image,
前記4方向HOG特徴量抽出部が前記輝度勾配方向画像に基づいて8方向の輝度勾配強度のうち4方向に対する中間方向の輝度勾配強度を隣り合う二つの方向へ分割して4方向の各成分へ合成して前記4方向HOG特徴量を抽出するBased on the luminance gradient direction image, the four-direction HOG feature amount extraction unit divides the luminance gradient strength in the intermediate direction with respect to the four directions out of the luminance gradient strengths in the eight directions into two adjacent directions to each component in the four directions. Combine and extract the 4-way HOG feature
ことを特徴とする人物検出装置。A person detection apparatus characterized by the above.
JP2014061135A 2014-03-25 2014-03-25 Human detection device Expired - Fee Related JP6326622B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014061135A JP6326622B2 (en) 2014-03-25 2014-03-25 Human detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014061135A JP6326622B2 (en) 2014-03-25 2014-03-25 Human detection device

Publications (2)

Publication Number Publication Date
JP2015184944A JP2015184944A (en) 2015-10-22
JP6326622B2 true JP6326622B2 (en) 2018-05-23

Family

ID=54351389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014061135A Expired - Fee Related JP6326622B2 (en) 2014-03-25 2014-03-25 Human detection device

Country Status (1)

Country Link
JP (1) JP6326622B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318266B (en) * 2014-10-19 2017-06-13 温州大学 A kind of image intelligent analyzes and processes method for early warning
EP3579183A4 (en) 2017-01-31 2020-09-09 Equos Research Co., Ltd. Image feature value output device, image recognition device, image feature value output program, and image recognition program
CN109614848B (en) 2018-10-24 2021-07-20 百度在线网络技术(北京)有限公司 Human body recognition method, device, equipment and computer readable storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5179329B2 (en) * 2008-11-20 2013-04-10 パナソニック株式会社 Face recognition system
JP5137863B2 (en) * 2009-01-20 2013-02-06 セコム株式会社 Object detection device
JP5561133B2 (en) * 2010-12-02 2014-07-30 株式会社明電舎 Luminance gradient direction detector and luminance gradient direction detection method
TWI556194B (en) * 2012-06-29 2016-11-01 希科母股份有限公司 Object detection device, object detection method and computer program for object detection

Also Published As

Publication number Publication date
JP2015184944A (en) 2015-10-22

Similar Documents

Publication Publication Date Title
KR101617681B1 (en) Text detection using multi-layer connected components with histograms
WO2016199244A1 (en) Object recognition device and object recognition system
JP6482195B2 (en) Image recognition apparatus, image recognition method, and program
JP2008286725A (en) Person detector and detection method
JP2016099941A (en) System and program for estimating position of object
EP2993621B1 (en) Method and apparatus for detecting shielding against object
JP6095817B1 (en) Object detection device
JP5936561B2 (en) Object classification based on appearance and context in images
JP6494418B2 (en) Image analysis apparatus, image analysis method, and program
KR20140031742A (en) Apparatus and method for feature extraction of image, and image processing system using the same
US10762372B2 (en) Image processing apparatus and control method therefor
Tschentscher et al. Video-based parking space detection
KR101836811B1 (en) Method, apparatus and computer program for matching between the images
JP2009163682A (en) Image discrimination device and program
JP5656768B2 (en) Image feature extraction device and program thereof
JP6326622B2 (en) Human detection device
US10380743B2 (en) Object identifying apparatus
JP2011165170A (en) Object detection device and program
JP2014048131A (en) Image processing device, method, and program
US9727780B2 (en) Pedestrian detecting system
JP6221283B2 (en) Image processing apparatus, image processing method, and image processing program
JP2016053763A (en) Image processor, image processing method and program
JP2010271792A (en) Image processing apparatus and method
KR101284252B1 (en) Curvature Field-based Corner Detection
JP5754931B2 (en) Image analysis apparatus, image analysis method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180319

R150 Certificate of patent or registration of utility model

Ref document number: 6326622

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees