JP5916134B2 - 物体の検出方法及びその方法を用いた物体の検出装置 - Google Patents
物体の検出方法及びその方法を用いた物体の検出装置 Download PDFInfo
- Publication number
- JP5916134B2 JP5916134B2 JP2012546862A JP2012546862A JP5916134B2 JP 5916134 B2 JP5916134 B2 JP 5916134B2 JP 2012546862 A JP2012546862 A JP 2012546862A JP 2012546862 A JP2012546862 A JP 2012546862A JP 5916134 B2 JP5916134 B2 JP 5916134B2
- Authority
- JP
- Japan
- Prior art keywords
- hog feature
- bins
- detected
- detection
- detection target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 157
- 238000000034 method Methods 0.000 title claims description 43
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 description 11
- 238000012706 support-vector machine Methods 0.000 description 11
- 230000000052 comparative effect Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2115—Selection of the most significant subset of features by evaluating different subsets according to an optimisation criterion, e.g. class separability, forward selection or backward elimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7747—Organisation of the process, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Description
屋外で撮像された画像を対象とした物体の検出は、照明条件の変化やオクルージョン(画像上での移動体同士の重なり)等が影響して容易でないが、交通事故を減少させる効果があるため世界中で活発な研究がなされている。
非特許文献1には、このHOG特徴量とSVM(Support Vector Machine)を用いた手法が記載されている。この方法は、一定の大きさを備えたセル(ブロック)を画像中で移動させながら順次そのブロック部分のHOG特徴量を算出し、その画像に人が存在するか否かを検出するものである。
また、その他にもHOG特徴量を用いた物体の検出方法として、非特許文献2には複数のHOG特徴量間の共起を表すJoint特徴を用いた方法が記載されている。そして、非特許文献3には、ブロックの大きさを変えて複数のHOG特徴量を算出する手法が記載されている。
そこで、出願人は物体の存否を検知する識別器を、一のビン数からなるHOG特徴量を用いて構築する従来の手法を変えることによって、物体の検出精度の向上を図れないかという点に着目した。
本発明は、かかる事情に鑑みてなされるもので、画像中の局所領域の各位置に対してビン数の異なる複数のHOG特徴量を算出し、物体を検出するための基準を構築する物体の検出方法及びその方法を用いた物体の検出装置を提供することを目的とする。
ここで、全身、上半身及び下半身のそれぞれの向きを検知した中で最も多かった検知方向を、被検出物全体の向きと判定することができる。
ここで、全身、上半身及び下半身のそれぞれの向きを検知した中で最も多かった検知方向を、被検出物全体の向きと判定することができる。
図1〜図5に示すように、本発明の一実施例に係る物体の検出方法及びその方法を用いた物体の検出装置10は、検出対象画像について輝度勾配を示すHOG特徴量(A)を算出し、被検出物を撮像したサンプル画像20について予め算出した輝度勾配を示すHOG特徴量(B)を基準にして検出対象画像中の被検出物の存否を検知するものである。
以下、これらについて詳細に説明する。
計算機12は、カメラ11に信号接続されており、カメラ11で撮像した画像に被検出物P(図2参照)が存在しているか否かを判定し、存在している場合はその向きの判定も行って、判定結果をディスプレイ13に表示する。
ハードディスク15には、カメラ11で撮像した画像について輝度勾配を示すHOG特徴量を算出する演算手段17と、演算手段17によって構築され、画像中の被検出物Pの存否を判定する識別器18が搭載されている。ここでいう「画像」には、被検出物Pを撮像した図2に示すサンプル画像20と、被検出物Pが撮像されているか否かの判定がなされる検出対象画像の2種類があり、共にカメラ11によって撮像される(以下、単に「画像」という場合は、サンプル画像20と検出対象画像の2種類を指す)。
なお、演算手段17及び識別器18はハードディスク15に記憶されているプログラムである。また、計算機12には、CPU14を搭載した回路とカメラ11、ディスプレイ13及びハードディスク15をそれぞれ信号接続するインターフェース11a、13a、15aが設けられている。
HOG特徴量とは、図3で示すように、セル19の輝度勾配方向を横軸、輝度勾配の大きさ(強度)を縦軸として輝度勾配をヒストグラム化した特徴量であり、0°〜180°の方向を複数の方向領域に分割し、各方向領域に対応する輝度勾配の大きさをヒストグラムのビンの高さで示したものである。
画像中では物体の輪郭(その物体と背景との境界)が位置する箇所で輝度勾配が大きくなるので、HOG特徴量を求めることにより画像中にある物体の形状を検知することができる。このため、予めサンプル画像20から被検出物P(本実施例では人)を示すHOG特徴量(B)のパターン(特徴量パターンを指し、以下単に「特徴量パターン」ともいう)を学習し、その学習した特徴量パターンを基にして検出対象画像中に被検出物が存在しているか否かを判定するための識別器18を構築することができる。
演算手段17は、セル19内にある各ピクセルの輝度を基にして、式1により輝度勾配の大きさmを算出し、式2により輝度勾配方向θを算出する。
セル19は、画像のX軸方向両端部の一側から他側に1ピクセルずつ移動し、X軸方向の他側端部に到達した段階で、X方向の一側端部でかつY方向に1ピクセルずれた位置に移動し、その後X軸方向に1ピクセルずつの移動を行う。
演算手段17は、セル19が画像の全領域を移動し終えるまで、セル19の移動を続け、セル19が移動するごとに、ビン数の異なるN個(N≧2)のHOG特徴量を算出する。
従って演算手段17はセル19の移動の開始から終了までに、セル19の1456個(1456=(30−5+1)×(60−5+1))の配置位置についてそれぞれN個、合計で1456N個のHOG特徴量を算出することになる。本実施例では、画像中におけるセル19の各配置位置についてビン数が3、5、7、9の計4つ(N=4)のHOG特徴量が算出される。
そして、演算手段17は、検出対象画像中のセル19の各配置位置に対してそれぞれビン数の異なるN個のHOG特徴量(A)を算出し、この算出されたHOG特徴量(A)を識別器18に与える。
また、識別器18は、検出対象画像中に人が存在することを検知した場合、検出対象画像について演算手段17が算出したHOG特徴量(A)を基にして、検出対象画像中の人の全身、上半身及び下半身の検出を行い、その検出した人の全身、上半身及び下半身それぞれについて向きを検知して、検出対象画像中の人全体の向きを判定する。
検出対象画像中の人の存否及び人の向きの判定方法は、検出対象画像の人の存否及び人の向きを判定するための識別器18を構築する準備フェーズと、識別器18が検出対象画像中の人の存否及び人の向きの判定を行う判定フェーズに分けられる。
準備フェーズでは、サンプル画像20中のセル19の複数の異なる配置位置(即ち複数の局所領域)それぞれについてビン数の異なるN個のHOG特徴量(B)、人が存在しない場合の画像(図示せず)中のセルの複数の異なる配置位置それぞれについてビン数の異なる複数(例えば、HOG特徴量(B)と同程度の個数)のHOG特徴量をそれぞれ算出し、人の存在を示す特徴量パターンを求める工程と、検出対象画像中の人の存否を判定する識別器18を、特徴量パターンを基にして構築する工程が行われる。
判定フェーズでは、検出対象画像中のセル19の複数の異なる配置位置それぞれに対して算出するビン数の異なるN個のHOG特徴量(A)を基にして、識別器18によって検出対象画像中の人の存否及び人の向きを判定する工程が行われる。
画像中のHOG特徴量を算出するセル19の最初の位置を1番目のセル19の位置、k−1回目の移動を行った段階でのセル19の位置をk番目のセル19の位置とすると(kは2以上の整数)、k番目のセル19の位置のビン数BbのHOG特徴量のi番目のビンの要素akb iは、式5で求めることができる。
準備フェーズでは、まず、図4に示すように、画像内に人を収めた複数のサンプル画像20をカメラ11によって撮像し、そのサンプル画像20を、記憶媒体(例えばUSBメモリ)あるいは通信ネットワークを介してデータベースとして計算機12のハードディスク15に入力してハードディスク15に記憶させる(ステップS1)。
各サンプル画像20には、カメラ11に対して正面を向いた人、左を向いた人、右を向いた人が撮像されている。
ステップS2では、図4に示すように、サンプル画像20中をセル19が移動し(ステップS2−1)、演算手段17は、セル19が移動する度に、予め定められたビン数からHOG特徴量(B)の算出を行うビン数を決定し(ステップS2−2)、その決定したビン数のHOG特徴量(B)を算出する(ステップS2−3)。
演算手段17は、セル19をサンプル画像20中で固定した状態で異なるビン数のHOG特徴量(B)の算出を行い、予め定められた全てのビン数のHOG特徴量(B)を算出し終えた後に、セル19を移動する(ステップS2−4)。
このHOG特徴量(B)の算出は、各サンプル画像20について、サンプル画像20の始点(1番目のセル19の位置)からセル19が移動して終点位置(1456番目のセル19の位置)に配置されるまで順次行われる(ステップS2−5)。
例えば、右向きの人を検出しようとする場合、右を向いた人のサンプル画像を用いて、画像内の全セルを対象に、ビン数3、5、7、及び9の各HOG特徴量を算出し、AdaBoostのアルゴリズムを用いて特徴選択を行い、例えば、右向きの人の頭部前側を示すのに有効なビンのHOG特徴量を抽出する。図3には、ビン数3のHOG特徴量では、1番目及び3番目のビンが、ビン数5のHOG特徴量では、1番目、3番目、及び4番目のビンが、ビン数7のHOG特徴量では、1番目、2番目、3番目、5番目、及び7番目のビンが、ビン数9のHOG特徴量では、1番目、2番目、5番目、6番目、及び8番目のビンがそれぞれ選択されたことを示している。その結果、右向きの人の頭部前側を含むセルの初めのHOG特徴量は(3+5+7+9)個の成分を有していたが、AdaBoostにより、このセルのHOG特徴量を、右向きの人の検出(物体検出)に有効な(2+3+5+5)個の成分のみで構成することができる。
同様に、サンプル画像中の他の部位、例えば、胴体背面側上部、胴体前面側中部、臀部、脚前面上部、脚背面中部、脚前面下部等をそれぞれ含むセル内を対象にビン数3、5、7、及び9の各HOG特徴量を算出し、AdaBoostのアルゴリズムを用いて特徴選択する。これにより、ビン数3、5、7、及び9の各HOG特徴量から、右向きの人の各部位を示すのに有効なビンのみのHOG特徴量が求まる。
このように、ビン数3、5、7、及び9の各HOG特徴量において、右を向いた人の存在を検出する基準に相応しくないHOG特徴量のビンは用いず、右を向いた人の存在を検出する基準に相応しい、同じヒストグラムの他のビン(成分)又はビン数の異なる他のHOG特徴量(B)のビン(成分)を用いることにより、右を向いた人の存在の検出に効果的な成分から構成される特徴量を抽出することができ、被検出物の存否判定精度を高めることが可能となる。
正面を向いた人を検出しようとする場合、正面を向いた人のサンプル画像を用いて、左向きの人を検出しようとする場合、左を向いた人のサンプル画像を用いて、同様の処理を行うことで、正面を向いた人のビン数3、5、7、及び9の各HOG特徴量から、正面を向いた人の各部位を示すのに有効なビンのみのHOG特徴量が、左を向いた人のビン数3、5、7、及び9の各HOG特徴量から、左を向いた人の各部位を示すのに有効なビンのみのHOG特徴量がそれぞれ求まる。
このステップS3を設けることにより、画像中の人の存否及び向きの判定をするのに有効なビンのみを、特徴量パターンを算出するための基にすることができる。なお、有効なビンの選択には、AdaBoost以外にも、例えばPCA(Principle Component Analysis)のようなデータ圧縮法や他のアルゴリズムを用いることができる。
ステップS3が完了後、AdaBoostにより選択されたHOG特徴量(B)のビンの各要素akb iに対し、式6により正規化を行う(ステップS4)。
ステップS4終了後、演算手段17はパターン識別手法の一つであるSVM学習により、サンプル画像20を基にして、画像中に人が存在することを示す特徴量パターンを求め、この特徴量パターンから、1)人の存否判定(人の全身検知判定)と、2)人の全身から上半身及び下半身を機械的に分ける過程と、3)人の向きの判定とを行う識別器18をハードディスク15内に構築する(ステップS5)。
以下、1)、2)、及び3)について各別に説明する。
1)人の存否判定
サンプル画像20を用いて、AdaBoostのアルゴリズムにより、画像中に人が存在することを示す特徴量パターンであるHOG特徴量(正面を向いた人の検出用に選択されたHOG特徴量、左を向いた人の検出用に選択されたHOG特徴量、及び右を向いた人の検出用に選択されたHOG特徴量)を複数選択し、これらのHOG特徴量を組合せて人の検知を行う検知手段(識別器18の一部)を形成する。
ここで、検知手段は、人の全身検知判定をした場合は正の出力値、人が存在しないと判定した場合は負の出力値をそれぞれ出力する機能を有するので、サンプル画像20に対して検知手段が人が存在すると判定した結果(正の出力値)と、人が存在しない場合の画像に対して検知手段が人が存在しないと判定した結果(負の出力値)をSVM学習することから、検知手段が人の全身検知判定する際の出力値(人検知判定閾値)を決定することができる。
従って、検出対象画像を検知手段を用いて判定した際の出力値を求め、得られた出力値と人検知判定閾値を比較して、出力値が人検知判定閾値以上では人が存在すると判定し、出力値が人検知判定閾値未満では人が存在しないと判定する判定手段(識別器18の一部)を形成する。
2)人の上半身及び下半身の検知
人の全身が検知された場合、人の全身を機械的に上下に2分割することにより、検知された人の上半身及び下半身をそれぞれ特定することができる。従って、人の全身検出用に選択されたHOG特徴量を、人の上半身及び下半身の検知にそれぞれ有効なHOG特徴量に分ける分割手段(識別器18の一部)を形成することにより、人の上半身及び下半身がそれぞれ検知された場合に相当する出力値を求めることができる。
3)人の向きの判定
人の全身を検知した際の判定手段の出力値とサンプル画像20中の人の向き(正面向き、左向き、及び右向き)をSVM学習することから、1vs.1法では、右向きか正面向きかの優劣判定の閾値、正面向きか左向きかの優劣判定の閾値、左向きか右向きかの優劣判定の閾値をそれぞれ決定する。また、1vs.rest法では、右向きか右向き以外か(即ち、正面向きか左向きか)の優劣判定の閾値、左向きか左向き以外か(即ち、正面向きか右向きか)の優劣判定の閾値、正面向きか正面向き以外か(即ち、右向きか左向きか)の優劣判定の閾値をそれぞれ決定する。同様に、人の上半身及び人の下半身の場合について、1vs.1法及び1vs.rest法での各閾値を求める。
そして、検出対象画像中に人が存在すると判定された場合において、人の全身、人の上半身、及び人の下半身それぞれの出力値とvs.1法及び1vs.rest法の各優劣判定の閾値を比較して、右向きか正面向きか、正面向きか左向きか、左向きか右向きか、右向きか右向き以外か、左向きか左向き以外か、正面向きか正面向き以外かの優劣判定をそれぞれ行って、それらの結果を全て重ね合せて、最も頻度の多い方向を人全体の向き(被検出物全体の向き)として判定する身体方向検出手段(識別器18の一部)を形成する。
なお、検知手段、判定手段、分割手段、及び身体方向検出手段のそれぞれの機能を発現するプログラムをハードディスク15内に記録することにより、識別器18をハードディスク15内に構築することができる。
ステップS5により識別器18が構築され準備フェーズが終了する。
演算手段17は、図5に示すように、検出対象画像中でセル19を移動させながら、セル19の移動ごとにビン数の異なる複数のHOG特徴量(A)を算出し、識別器18に与える(ステップS1’)。
識別器18は、演算手段17から与えられた検出対象画像のHOG特徴量(A)を基にして検出対象画像中に人が存在するか否かを判定する(ステップS2’)。
一方、識別器18は、検出対象画像中に人が存在しているという判定をした場合、検出対象画像のHOG特徴量(A)を基にして検出対象画像中の人の全身、上半身及び下半身を検出し、検出した被検出物の全身、上半身及び下半身のそれぞれの向きを検知して、人全体の向きを判定する(ステップS4’)。
そして、人が存在する旨とその人の向きの判定結果がディスプレイ13上に表示される(ステップS5’)。
イ)正面向き:positive、右向き:negative
ロ)右向き:positive、左向き:negative
ハ)左向き:positive、正面向き:negative
また、1vs.rest法のpositive及びnegativeは以下の通りである。
ニ)正面向き:positive、右向き又は左向き(正面向き以外):negative
ホ)右向き:positive、正面向き又は左向き(右向き以外):negative
へ)左向き:positive、右向き又は正面向き(左向き以外):negative
左向きの人の画像500枚(IL)
=100枚(IL (1))+
100枚(IL (2))+
100枚(IL (3))+
100枚(IL (4))+
100枚(IL (5))
正面向きの人の画像500枚(IF)
=100枚(IF (1))+
100枚(IF (2))+
100枚(IF (3))+
100枚(IF (4))+
100枚(IF (5))
右向きの人の画像500枚(IR)=100枚(IR (1))+
100枚(IR (2))+
100枚(IR (3))+
100枚(IR (4))+
100枚(IR (5))
となる。
次いで、図6に示すように、各500枚の画像を、ケース1〜ケース5として示す5通りのやり方で学習用画像400枚と評価用画像100枚に分ける。
(1)ケース1について、学習用画像IL (2)+IL (3)+IL (4)+IL (5)及びIF (2)+IF (3)+IF (4)+IF (5)のうちそれぞれIL (2)+IL (3)+IL (4)の300枚及びIF (2)+IF (3)+IF (4)の300枚に対してAdaboostを実行し、弱識別器(右を向いた人の検出用に選択された複数のHOG特徴量、正面を向いた人の検出用に選択された複数のHOG特徴量)を求めた後に、強識別器(右を向いた人の検出用に選択された複数の弱識別器を組み合わせたもの、正面を向いた人の検出用に選択された複数の弱識別器を組み合わせたもの)を求め、強識別器を用いて学習用画像のうちIL (5)及びIF (5)のそれぞれ100枚、計200枚を特徴空間に写像し、それらの分布を最も効果的に分ける識別面(分類面)をSVM学習により求める。これにより、右向きか正面向きかを判定する身体方向検出手段が求まる。
(2)SVM学習により求めた識別面(右向きか正面向きかを判定する身体方向検出手段)を用いて、評価用画像IL (1)+IF (1)(200枚)により識別率(認識率―正しく分類された画像の比率)を求める。
(3)ケース2〜ケース5について、(1)及び(2)の処理を行い、それぞれ識別率を求める。
(4)ケース1〜ケース5の識別率の平均識別率を求め、これを右向きか正面向きかを判定する身体方向検出手段の性能とする。
同様に、正面向きか左向きかを判定する識別器(身体方向検出手段)、右向きか左向きかを判定する識別器(身体方向検出手段)を、上記(1)〜(4)の手続により求める。
(5)ケース1について、学習用画像IL (2) +IL (3) +IL (4) +IL (5) 及びIF (2) +IF (3) +IF (4) +IF (5) +IR (2) +IR (3) +IR (4) +IR (5) のうちそれぞれIL (2) +IL (3) +IL (4)の300枚及びIF (2) +IF (3) +IF (4) +IR (2) +IR (3) +IR (4)の600枚に対してAdaboost を実行し、弱識別器(右を向いた人の検出用に選択された複数のHOG特徴量、正面を向いた人及び左を向いた人の検出用にそれぞれ選択された複数のHOG特徴量)を求めた後に、強識別器(右を向いた人の検出用に選択された複数の弱識別器を組み合わせたもの、正面を向いた人及び左を向いた人の検出用にそれぞれ選択された複数の弱識別器を組み合わせたもの)を求め、強識別器を用いて学習用画像のうちIL (5) +IF (5)+ IR (5) の300枚を特徴空間に写像し,それらの分布を最も効果的に分ける識別面(分類面)をSVM 学習により求める。
(6)SVM 学習により求めた識別面(右向きか右向き以外かを判定する身体方向検出手段)を用いて、評価用画像IL (1) +IF (1) +IR (1)(300枚)により識別率(認識率 ― 正しく分類された画像の比率)を求める。
(7)ケース2〜ケース5について、(5)及び(6)の処理を行い、それぞれ識別率を求める。
(8)ケース1〜ケース5の各識別率の平均識別率を求め、これを右向きか右向き以外かを判定する身体方向検出手段の性能とする。
同様に、正面向きか正面向き以外かを判定する識別器(身体方向検出手段)、左向きか左向き以外かを判定する識別器(身体方向検出手段)を、上記(5)〜(7)の手続によって求める。
識別率(認識率)=正しく識別された画像枚数/評価用の全画像枚数
によって定義する。
ビン数を3、5、7、及び9としたHOG特徴量(A)を基にして評価画像中の人の全身、上半身、及び下半身の検出を行い、検出した人の全身、上半身、及び下半身のそれぞれの向きを検知して、人全体の向きを判定した際の総合性能は、識別率(認識率)90.1%であった。
実験例と同様に、ケース1〜ケース5の学習用画像及び評価用画像をそれぞれ準備し、学習用画像について非特許文献1のHOG特徴量(即ち、DalalとTriggsによるオリジナルHOG特徴量)を算出し、Adaboostを実行して弱識別器を求めた後に、強識別器を求め、SVM学習を行うことにより、右向きか正面向きか、正面向きか左向きか、左向きか右向きか、右向きか右向き以外か、左向きか左向き以外か、正面向きか正面向き以外かの人の向きを判定する身体方向検出手段をそれぞれ求めた。そして、評価用画像のオリジナルHOG特徴量を算出し、各身体方向検出手段を用いて人の向きを判定した際の識別率(認識率)を求めた。なお、オリジナルHOG特徴量は、セルを画像全体に亘って設定して算出するが、各セルの濃度ヒストグラムのビン数は一定である。
各身体方向検出手段で得られた識別率の平均識別率を求めると66.5%であった。
実験例と同様に、ケース1〜ケース5の学習用画像及び評価用画像をそれぞれ準備し、学習用画像について、人マスクを用いてHOG特徴量を算出し、Adaboostを実行して弱識別器を求めた後に、強識別器を求め、SVM学習を行うことにより、右向きか正面向きか、正面向きか左向きか、左向きか右向きか、右向きか右向き以外か、左向きか左向き以外か、正面向きか正面向き以外かの人の向きを判定する身体方向検出手段をそれぞれ求めた。そして、評価用画像において、人マスクを用いてHOG特徴量を算出し、各身体方向検出手段を用いて人の向きを判定した際の識別率(認識率)を求めた。なお、人マスクを用いたHOG特徴量は、人の形をマスクとして定義し、そのマスクの範囲内の画像上にセルを設定して算出するが、各セルの濃度ヒストグラムのビン数は一定である(中島、タン、石川、森江、「HOG特徴量と人マスクを用いた人物および身体方向の検出」、画像電子学会誌、39巻、p1104〜1111、2010年)。
各身体方向検出手段で得られた識別率の平均識別率を求めると85.9%であった。
例えば、セルの大きさは5×5ピクセルに限定されず、他の大きさにすることができる。
また、準備フェーズを行う物体の検出装置と、判定フェーズを行う物体の検出装置はそれぞれ別のものであってもよく、準備フェーズ用の装置で作成した識別器を、複数の判定フェーズ用の装置のハードディスクに記憶させて被検出物の検出を行う運用を採用することができる。
非特許文献1のHOGの場合、画像上の複数の重要な個所で1個所毎にエッジの方向を調べるが、CO-HOG(Co-occurrence-HOG)では、画像上の複数の重要な個所で2個ずつ同時にエッジの方向を調べるので認識精度が上がる。しかし、ヒストグラムのビン数はオリジナルHOGと同様にひとつに固定されている。従って、従来のCO-HOGの手法に本発明のHOGを適用した(画像上の複数の重要な個所それぞれにおいて、ビン数の異なる複数のHOG特徴量を算出するようにした)改良型CO-HOGの手法を用いると、更に認識率の向上が可能になる。
Claims (8)
- 検出対象画像について輝度勾配を示すHOG特徴量(A)を算出し、被検出物を撮像したサンプル画像について予め算出した輝度勾配を示すHOG特徴量(B)を基準にして前記検出対象画像中の前記被検出物の存否を検知する物体の検出方法において、
前記サンプル画像中の複数の局所領域それぞれについてビン数の異なる複数の前記HOG特徴量(B)を算出し、前記被検出物の存在を示す特徴量パターンを求める工程と、
前記検出対象画像中の前記被検出物の存否を判定する識別器を、前記特徴量パターンを基にして構築する工程と、
前記検出対象画像中の複数の局所領域それぞれに対して算出するビン数の異なる複数の前記HOG特徴量(A)を基に、前記識別器によって前記検出対象画像中の前記被検出物の存否を判定する工程とを有することを特徴とする物体の検出方法。 - 請求項1記載の物体の検出方法において、前記被検出物は人であって、前記識別器は、ビン数の異なる複数の前記HOG特徴量(A)を基にして前記検出対象画像中の前記被検出物の全身、上半身及び下半身の検出を行い、検出した該被検出物の全身、上半身及び下半身のそれぞれの向きを検知して、該被検出物全体の向きを判定することを特徴とする物体の検出方法。
- 請求項1又は2記載の物体の検出方法において、前記各HOG特徴量(B)の複数のビンから、学習アルゴリズムによって前記特徴量パターンを求めるのに有効な前記ビンを選択することを特徴とする物体の検出方法。
- 請求項3記載の物体の検出方法において、前記学習アルゴリズムはAdaBoostであることを特徴とする物体の検出方法。
- 検出対象画像について輝度勾配を示すHOG特徴量(A)を算出し、被検出物を撮像したサンプル画像について予め算出した輝度勾配を示すHOG特徴量(B)を基準にして前記検出対象画像中の前記被検出物の存否を検知する物体の検出装置において、
前記サンプル画像中の複数の局所領域それぞれについてビン数の異なる複数の前記HOG特徴量(B)を算出し、複数の該HOG特徴量(B)から前記被検出物の存在を示す特徴量パターンを求め、しかも、前記検出対象画像中の複数の局所領域それぞれについてビン数の異なる複数の前記HOG特徴量(A)を算出する演算手段と、
前記演算手段によって前記特徴量パターンを基に構築され、前記検出対象画像中の前記被検出物の存否を判定する識別器とを有し、
前記識別器は、前記演算手段が算出したビン数の異なる複数の前記HOG特徴量(A)を基にして前記検出対象画像中の前記被検出物の存否を判定することを特徴とする物体の検出装置。 - 請求項5記載の物体の検出装置において、前記被検出物は人であって、前記識別器は、ビン数の異なる複数の前記HOG特徴量(A)を基にして前記検出対象画像中の前記被検出物の全身、上半身及び下半身の検出を行い、検出した該被検出物の全身、上半身及び下半身のそれぞれの向きを検知して、該被検出物全体の向きを判定することを特徴とする物体の検出装置。
- 請求項5又は6記載の物体の検出装置において、前記演算手段は、前記各HOG特徴量(B)の複数のビンから、学習アルゴリズムによって前記特徴量パターンを求めるのに有効な前記ビンを選択することを特徴とする物体の検出装置。
- 請求項7記載の物体の検出装置において、前記学習アルゴリズムはAdaBoostであることを特徴とする物体の検出装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010265402 | 2010-11-29 | ||
JP2010265402 | 2010-11-29 | ||
PCT/JP2011/077404 WO2012073894A1 (ja) | 2010-11-29 | 2011-11-28 | 物体の検出方法及びその方法を用いた物体の検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2012073894A1 JPWO2012073894A1 (ja) | 2014-05-19 |
JP5916134B2 true JP5916134B2 (ja) | 2016-05-11 |
Family
ID=46171826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012546862A Active JP5916134B2 (ja) | 2010-11-29 | 2011-11-28 | 物体の検出方法及びその方法を用いた物体の検出装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8908921B2 (ja) |
EP (1) | EP2648159A4 (ja) |
JP (1) | JP5916134B2 (ja) |
WO (1) | WO2012073894A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5502149B2 (ja) * | 2012-06-29 | 2014-05-28 | 本田技研工業株式会社 | 車両周辺監視装置 |
US8774510B2 (en) * | 2012-09-11 | 2014-07-08 | Sharp Laboratories Of America, Inc. | Template matching with histogram of gradient orientations |
GB201219261D0 (en) * | 2012-10-26 | 2012-12-12 | Jaguar Cars | Vehicle access system and method |
US9064157B2 (en) * | 2012-11-30 | 2015-06-23 | National Chung Shan Institute Of Science And Technology | Pedestrian detection systems and methods |
KR101724658B1 (ko) * | 2012-12-21 | 2017-04-10 | 한국전자통신연구원 | 사람 검출 장치 및 방법 |
JP6351350B2 (ja) * | 2014-04-04 | 2018-07-04 | 国立大学法人豊橋技術科学大学 | 三次元モデル検索システム、及び三次元モデル検索方法 |
US10332266B2 (en) * | 2014-11-18 | 2019-06-25 | Agency For Science, Technology And Research | Method and device for traffic sign recognition |
TWI622000B (zh) * | 2015-09-29 | 2018-04-21 | 新加坡商雲網科技新加坡有限公司 | 行人偵測系統及方法 |
CN107025458B (zh) * | 2016-01-29 | 2019-08-30 | 深圳力维智联技术有限公司 | 人车分类方法和装置 |
WO2017132846A1 (en) * | 2016-02-02 | 2017-08-10 | Nokia Technologies Oy | Adaptive boosting machine learning |
US10169647B2 (en) * | 2016-07-27 | 2019-01-01 | International Business Machines Corporation | Inferring body position in a scan |
DE102018209306A1 (de) * | 2018-06-12 | 2019-12-12 | Conti Temic Microelectronic Gmbh | Verfahren zur Detektion von Kennleuchten |
JP7201211B2 (ja) * | 2018-08-31 | 2023-01-10 | 国立大学法人岩手大学 | 物体検出方法及び物体検出装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009181220A (ja) * | 2008-01-29 | 2009-08-13 | Chube Univ | 物体検出装置 |
JP2009301104A (ja) * | 2008-06-10 | 2009-12-24 | Chube Univ | 物体検出装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9183227B2 (en) * | 2008-09-19 | 2015-11-10 | Xerox Corporation | Cross-media similarity measures through trans-media pseudo-relevance feedback and document reranking |
IT1394181B1 (it) * | 2009-05-07 | 2012-06-01 | Marchesini Group Spa | Metodo di segmentazione basato sulle caratteristiche per segmentare una pluralita' di articoli duplicati disposti alla rinfusa e gruppo che attua tale metodo per alimentare una macchina confezionatrice |
US8639042B2 (en) * | 2010-06-22 | 2014-01-28 | Microsoft Corporation | Hierarchical filtered motion field for action recognition |
-
2011
- 2011-11-28 WO PCT/JP2011/077404 patent/WO2012073894A1/ja active Application Filing
- 2011-11-28 JP JP2012546862A patent/JP5916134B2/ja active Active
- 2011-11-28 EP EP11844177.3A patent/EP2648159A4/en not_active Withdrawn
- 2011-11-28 US US13/990,005 patent/US8908921B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009181220A (ja) * | 2008-01-29 | 2009-08-13 | Chube Univ | 物体検出装置 |
JP2009301104A (ja) * | 2008-06-10 | 2009-12-24 | Chube Univ | 物体検出装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2648159A4 (en) | 2018-01-10 |
JPWO2012073894A1 (ja) | 2014-05-19 |
EP2648159A1 (en) | 2013-10-09 |
US20130251206A1 (en) | 2013-09-26 |
US8908921B2 (en) | 2014-12-09 |
WO2012073894A1 (ja) | 2012-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5916134B2 (ja) | 物体の検出方法及びその方法を用いた物体の検出装置 | |
CN105205486B (zh) | 一种车标识别方法及装置 | |
Ikemura et al. | Real-time human detection using relational depth similarity features | |
Xu et al. | Detection of sudden pedestrian crossings for driving assistance systems | |
Charfi et al. | Definition and performance evaluation of a robust SVM based fall detection solution | |
US8385599B2 (en) | System and method of detecting objects | |
KR101395094B1 (ko) | 개체 검출 방법 및 시스템 | |
US9245206B2 (en) | Image processing apparatus and image processing method | |
US9443137B2 (en) | Apparatus and method for detecting body parts | |
Ohn-Bar et al. | Fast and robust object detection using visual subcategories | |
WO2012046426A1 (ja) | 物体検出装置、物体検出方法および物体検出プログラム | |
CN101383005A (zh) | 一种利用辅助规则纹理的乘客目标图像和背景分离方法 | |
JP5691834B2 (ja) | 画像識別装置及びプログラム | |
JP4548181B2 (ja) | 障害物検出装置 | |
JP2011248525A (ja) | 物体の検出装置及びその検出方法 | |
WO2011099072A1 (ja) | パターン識別装置 | |
JP6472504B1 (ja) | 情報処理装置、情報処理プログラム、及び、情報処理方法 | |
JP6384167B2 (ja) | 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム | |
KR101542206B1 (ko) | 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법 | |
JP6163732B2 (ja) | 画像処理装置、プログラム、及び方法 | |
Kataoka et al. | Extended feature descriptor and vehicle motion model with tracking-by-detection for pedestrian active safety | |
KR101582983B1 (ko) | 크기 불변 특징 벡터를 이용한 고속 객체 검출 장치 및 방법 | |
JP5798078B2 (ja) | 車両用外界認識装置とそれを用いた車両システム | |
Silva et al. | Camera and LiDAR fusion for robust 3D person detection in indoor environments | |
CN112084985A (zh) | 一种基于cssd的电力检修行人多目标跟踪算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160302 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5916134 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |