JP4997178B2

JP4997178B2 - 物体検出装置

Info

Publication number: JP4997178B2
Application number: JP2008151709A
Authority: JP
Inventors: 弘亘藤吉
Original assignee: Chubu University Educational Foundation
Current assignee: Chubu University Educational Foundation
Priority date: 2008-06-10
Filing date: 2008-06-10
Publication date: 2012-08-08
Anticipated expiration: 2028-06-10
Also published as: JP2009301104A

Description

本発明は、入力画像から物体を検出する物体検出装置に関する。

近年、セキュリティやＩＴＳ（Intelligent Transport System：高度道路交通システム）、マーケティングなどの分野で人検出の実現が期待され、多くの手法が提案されている。従来、人検出に用いられるアピアランス特徴として、局所領域における輝度の勾配方向をヒストグラム化した特徴ベクトルであるＨＯＧ（Histograms of Oriented Gradients）を用いた手法が提案されている（非特許文献１参照）。このＨＯＧは、照明変動や影の影響を受けにくく、局所的な幾何学的変化に頑健であるため、ＨＯＧを用いた人検出手法が多く提案されている（非特許文献２〜４）。
N. Dalal and B. Triggs, "Histograms of Oriented Gradients for Human Detection", IEEE Computer Vision and Pattern Recognition, pp. 886-893, 2005年 F.Suard and A.Broggi,"Pedestrian Detection using Infrared images and Histograms of Oriented Gradients", IEEE Symposium on Intelligent Vehicule, pp. 206-212, Jun, 2006年 Q.Zhu,S.Avidan, M.Yeh and K.Cheng,"Fast Human Detection Using a Cascade of Histograms of Oriented Gradients", IEEE Computer Vision and Pattern Recognition, Vol. 2, pp. 1491-1498, Jun, 2006年小林拓也, 日高章理, 栗田多喜夫，"Histograms of Oriented Gradients を用いた対象識別での特徴選択", 信学技報, Vol. 106, pp. 119-124, Mar, 2007年

しかしながら、ＨＯＧ特徴のようなローレベル（low-lebel）な特徴は、単一の特徴のみでは検出対象の識別に困難なパターンが存在する場合がある。

そこで、本発明は上記点に鑑み、輝度勾配に基づく特徴量を用いた物体検出装置において、物体の検出精度を向上させることを目的とする。

上記目的を達成するため、本発明の請求項１に記載の発明では、入力画像中を複数に分割した領域の輝度勾配に基づいて前記領域の第１の特徴量を算出する第１の特徴量算出手段と、位置が異なる複数の前記領域の前記第１の特徴量同士を組み合わせた第２の特徴量を算出する第２の特徴量算出手段と、前記第２の特徴量に基づいて前記入力画像から検出対象である物体を検出する識別手段と、学習サンプルを前記入力画像として、学習により前記識別手段を構築する学習手段とを備え、
前記学習手段は、前記第２の特徴量を入力とし、予め設定された前記学習サンプルの重みから算出される前記物体である条件付き確率が前記物体以外である条件付き確率より高いか否かにより、前記物体又は前記物体以外とを識別する弱識別器を構築する弱識別器構築手段と、複数の前記弱識別器を用いた第１のアダブーストにより、前記入力画像のすべての前記領域それぞれにおいて、前記物体の識別に有用な前記第２の特徴量を選択する第１強識別器を構築する第１強識別器構築手段と、前記第１強識別器を用いた第２のアダブーストにより、複数の前記領域のすべての組み合わせに対応する前記第２の特徴量から、前記物体の識別に有用な前記領域の組み合わせを選択する第２強識別器構築手段とを備えて構成されており、
前記識別手段は、第２強識別器構築手段により選択された前記領域の組み合わせに対応する前記第２の特徴量に基づいて、前記入力画像から前記物体を検出することを特徴としている。

このように、位置が異なる複数の領域の第１の特徴量同士を組み合わせた第２の特徴量を用いることで、複数箇所で同時に第１の特徴量を捉えることができるので、自動的に検出対象の外観上の特徴を捉えやすくなり、識別精度を向上させることができる。さらに、２段階のアダブーストを用いることで、検出対象の識別に有効な第２の特徴量のみを選択することができ、高精度な識別が可能となる。

また、請求項２に記載の発明では、前記入力画像における画像フレーム中の各領域の輝度変化に基づく前記領域の状態を第３の特徴量として算出する第３の特徴量算出手段を備え、前記第２の特徴量算出手段は、位置が異なる複数の前記領域の前記第１の特徴量同士、前記第３の特徴量同士、又は前記第１の特徴量と前記第３の特徴量を組み合わせて第２の特徴量を算出するように構成されていることを特徴としている。このように、輝度勾配に基づく第１の特徴量と輝度変化に基づく第３の特徴量を併用することで、第１の特徴量のみでは識別困難な検出対象に似た形状の他の物体等を誤検出することを抑制でき、物体の識別率を向上させることができる。

また、請求項３に記載の発明では、前記第３の特徴量算出手段は、前記画像フレーム中の前記領域の輝度の変化量を検出する第３の特徴量検出手段と、前記変化量が予め設定された所定変化量より大きい場合に動状態と判定する第１状態判定手段と、前記画像フレームより後の複数の画像フレーム中の前記領域に対応する領域の輝度の分散を算出する分散算出手段と、前記第１状態判定手段により動状態と判定され、かつ、前記分散が予め設定された所定値より小さい場合に背景または静状態と判定する第２状態判定手段と、前記第２状態判定手段により背景または静状態と判定された場合に、前記画像フレームの領域の輝度が予め設定された背景用輝度に属するときに背景と判定し、属さないときに静状態と判定する第３状態判定手段とを備え、前記領域を背景、動状態、静状態のいずれかに判別した結果を前記第３の特徴量として算出するように構成されていることを特徴としている。このように、各画素を背景、動状態、静状態のいずれかに判別することで、物体が静止状態であっても、識別率を向上させることができる。

また、請求項４に記載の発明では、前記第１の特徴量算出手段は、前記入力画像を多重解像度化するように構成され、前記共起特徴算出手段は、解像度が異なる複数の前記入力画像の前記第１の特徴量を組み合わせて前記第２の特徴量を算出することを特徴としている。これにより、例えば検出対象が人であれば、顔の特徴を選択しやすい解像度画像から算出した特徴量と上半身の特徴を選択しやすい解像度画像から算出した特徴量を組み合わせて第２の特徴量を算出することができ、入力画像を多様な捉え方で観測でき、高精度な検出を行うことができる。

なお、上記各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

（第１実施形態）
以下、本発明の第１実施形態について図１〜図５に基づいて説明する。本実施形態の物体検出装置は、撮像手段により取得された画像を分析して、画像に含まれる物体を検出するものである。本実施形態の物体検出装置は、入力画像から人を検出する人検出装置として構成されている。また、撮像手段は、監視カメラに多く用いられる固定式カメラや車載カメラのような移動式カメラなどを用いることができる。

図１は、本実施形態の物体検出装置の構成を示している。物体検出装置は、ＣＰＵ、メモリ等を備える周知のコンピュータから構成することができる。図１に示すように、物体検出装置は、特徴量算出部１０、識別部２０を備えている。これらの各構成要素１０、２０は、ＣＰＵが所定のプログラムを実行することによって実現される。

特徴量算出部１０は、入力画像の輝度勾配に基づく特徴量（第１の特徴量）としてＨＯＧ（Histograms of Oriented Gradients）特徴量を算出する。識別部２０は、入力画像中の複数の異なるセル（領域）のＨＯＧ特徴量を組み合わせたジョイントＨＯＧ特徴量（第２の特徴量）を算出し、ジョイントＨＯＧ特徴量に基づいて入力画像に検出対象である人が含まれるか否かを識別する。識別部２０は、周知のアダブースト（AdaBoost）によるカスケード型の識別器として構成されている。アダブーストによって構築される識別器は、識別関数が誤認識を起こしたデータを重視して再学習を行う。この処理をラウンド数Ｔ回反復した後、生成された識別器群の識別関数のアンサンブルによって最終的な識別関数を生成する。識別部２０の学習には、学習サンプルが用いられる。学習サンプルは、検出対象画像（人の画像）と非検出対象画像（人以外の画像）の画像からなる。なお、特徴量算出部が本発明の第１の特徴量算出手段に相当し、識別部２０が本発明の識別手段、学習手段、弱識別器構築手段、第１強識別器構築手段、第２強識別器構築手段に相当している。

アダブーストの識別器は、弱識別器のすべての判別結果が（検出対象画像であれば「１」、非検出対象画像であれば「０」）が結合機に供給され、結合機はすべての判別結果に対して、対応する弱識別器毎に学習時に算出された信頼度を重み付け加算し、その重み付き多数決の結果を出力し、結合機の出力値を評価することで入力された画像が検出対象か否かを判定するものである。識別器をカスケード型に構築することによって、検出対象の検出率を低下させることなく、誤検出率を抑制することができる。

図１に示すように、本実施形態の識別部２０は、２段階に構築されたアダブースト識別器となっている。まず、１段目のアダブースト識別器により位置の異なる２つのローレベルな特徴であるＨＯＧ特徴を組み合わせたジョイントＨＯＧ特徴の集合体であるジョイントＨＯＧ特徴プールを作成する。次に、ジョイントＨＯＧ特徴を入力とした２段階目のアダブースト識別器により最終識別器を構築する。２段階目のアダブースト識別器は、ジョイントＨＯＧ特徴プールから自動的に人検出に最適なジョイントＨＯＧ特徴を選択する。

以下、識別部２０における２段階に構築したアダブーストによる学習方法について説明する。

まず、入力画像中の各ピクセル（画素）の輝度勾配に基づくＨＯＧ特徴量を算出する。ＨＯＧ特徴量の算出は、特徴量算出部１０により行われる。特徴量算出部１０では、ローレベルな特徴としてアピアランス（画像の見え）に基づくＨＯＧ（Histograms of Oriented Gradients）を用いている。「ＨＯＧ」は、局所領域における輝度の勾配方向をヒストグラム化した特徴ベクトルであり、物体の輪郭情報を得ることができ、物体の形状（エッジ）を表わすことが可能である。近接画素の勾配を局所領域によってヒストグラム化するため、照明や影の影響を受けにくく、局所的な幾何学変化に頑強である。

図２は、入力画像の構造を示しており、図２（ａ）は入力画像を示し、図２（ｂ）は入力画像を複数のセルに分割した状態を示し、図２（ｃ）はブロックによる正規化を行う状態を示している。なお、本実施形態の入力画像は、３０×６０個のピクセルから構成されている。

まず、特徴量算出部１０では、各ピクセルの輝度勾配を算出する。輝度勾配とは、対象となるピクセル近傍での輝度変化の度合を示すものであり、入力画像内で物体の境界領域（輪郭）で大きな値となる。ここでは、対象となる入力画像に含まれるすべてのピクセルについて、各ピクセルの輝度Ｌから輝度の勾配強度ｍと勾配方向θを数式１により算出する。

ここで、ｆｘ（ｘ，ｙ）はｘ方向（図２の左右方向）の輝度の差分であり、ｆｙ（ｘ，ｙ）はｙ方向（図２の上下方向）の輝度の差分であり、これらは数式２により算出することができる。

次に、特徴量算出部１０は、数式１で算出された勾配強度ｍと勾配方向θを用いて、勾配方向ヒストグラムの作成を行う。勾配方向ヒストグラム作成は、複数のピクセルからなるセル単位で行う。図２（ｂ）に示すように、本実施形態では、５×５ピクセルを１セルとした領域において、輝度の勾配方向ヒストグラムを作成する。ただし、算出された勾配方向は０°〜３６０°となるが、ここでは勾配方向の向きを考慮する必要がないため、０°〜１８０°の範囲とする。本実施形態では、勾配方向を２０°ずつに分割し、各方向毎に１セルに含まれる各ピクセルの勾配強度ｍを加算して９方向の勾配方向ヒストグラムを作成する。このため、１セル当たり９次元の特徴量が存在する。本実施形態では入力画像に６×１２個のセルが存在し、７２個のセルそれぞれに対して勾配方向ヒストグラム（Ｖ＝［ｖ₁，ｖ₂，ｖ₃，…，ｖ₉］）を作成する。

次に、特徴量算出部１０は、各セルで作成した輝度の勾配ヒストグラムの正規化を行う。つまり、個々のセルには、輝度の偏りが含まれる場合があるので、近接するセルを含めたブロック単位で正規化を行って平均化する。本実施形態では、３×３セルを１ブロックとして正規化を行う。１セル当たりの９次元の特徴量を有しているので、１ブロック（＝３×３セル）当たり８１次元の特徴量を有することとなる。最後に次の数式３によりＨＯＧ特徴量を正規化する。

ここで、ｖは正規化後のＨＯＧ特徴量、ｋはブロック内のＨＯＧ特徴量の数、εは分母が０の場合に計算不能になることを防ぐ係数である。

正規化は、図２（ｃ）のようにブロックを１セルずつ移動させることにより行う。このため、特徴量は、異なるブロックの領域によって何度も正規化される。入力画像を３０×６０ピクセルとした場合、ｘ方向に４ブロック、ｙ方向に１０ブロック移動できるため、合計４０ブロックに対して正規化を行う。各ブロック毎に正規化されたＨＯＧ特徴ベクトルは、３２４０次元（＝４０ブロック×８１次元）となる。

以上の過程により、入力画像における各セルｃ₁〜ｃ₇₂の９つのＨＯＧ特徴量（ＨＯＧｖ₁〜ＨＯＧｖ₉）が得られ、図１の最下段に示す低位レベル（low-lebel）のＨＯＧ特徴プール（ＨＯＧ特徴の集合体）が作成される。

次に、ジョイントＨＯＧ特徴を算出する。ジョイントＨＯＧ特徴の算出は、識別部２０により行われる。まず、ジョイントＨＯＧ特徴を生成するために、複数のＨＯＧ特徴により共起を表現する。本実施形態では、「T. Mita, T. Kaneko and O.Hori: “Joint Haar-like Features for Face Detection”, ICCV, pp. 1619-1626, 2005.」で提案された共起の表現方法を用いる。まず、各セルの各ＨＯＧ特徴に対して、次の数式４から「人（１）」若しくは「人以外（０）」を表わす２値符号ｓを算出する。

ここで、θは閾値、ｐは不等号の向きを決定する符号であり、「＋１」または「−１」をとる。Ｖ（＝［ｖ₁，ｖ₂，ｖ₃，…，ｖ₉］）は、１のセルから算出される特徴量、ｏは勾配の方向を表わす。これにより、得られた２値化符号を２つ組み合わせることで共起を表現した特徴ｊを得ることができる。

図３は、ＨＯＧ特徴の共起を説明するための図である。例えば、図３に示すような入力画像において、異なる２つのセルｃｍ、ｃｎのＨＯＧ特徴ｖを２値化した符号ｓ１＝１、ｓ２＝１を観測したとき、共起を表現した特徴ｊ＝（１１）₂＝３となる。共起を表現した特徴ｊは、２進数表現された特徴との組み合わせのインデックス番号であり、本実施形態では２つの特徴量の組み合わせであるため、（００）₂＝０、（０１）₂＝１、（１０）₂＝２、（１１）₂＝３の４通りの値をとる。

次に、これまでに算出したＨＯＧ特徴量の共起を表現した特徴量を組み合わせて中位レベル（mid-lebel）なジョイントＨＯＧ特徴量として表現する。上述の数式４で算出したＨＯＧ特徴の共起を用いて、２つのセルの低位レベルのＨＯＧ特徴から算出した共起を表現した特徴量と、１段階目のアダブーストによりジョイントＨＯＧ特徴を生成する。複数の異なるセルのＨＯＧ特徴量を組み合わせたジョイントＨＯＧ特徴量を用いることにより、物体形状の対称性やエッジの連続性だけでなく、位置の異なるセルとセルとの関係を捉えることが可能となる。

まず、位置の異なる２つのセルｃｍ、ｃｎにおいて、共起を表現した特徴の中から、検出対象の識別に有効な特徴を学習により選択する。入力画像ｘからの特徴量Ｊ_t（ｘ）＝ｊを観測したときに、１段階目のアダブースト弱識別器ｈ_t（ｘ）は次の数式５により表わされる。なお、識別部２０が行う数式５の処理が本発明の弱識別器構築手段に相当している。

ここで、ｙは正解ラベルｙ∈｛＋１，−１｝を表わし、Ｐｔ（ｙ＝＋１｜ｊ）及びＰｔ（ｙ＝−１｜ｊ）は、それぞれＨＯＧ特徴の共起を表現したときの条件付き確率である。条件付き確率は、予め設定された学習サンプルｉの重みＤ_t（ｉ）に基づいて、次の数式６により算出することにより、誤認識した学習サンプルを重視した学習が可能となる。

次に、１段階目の強識別器であるジョイントＨＯＧ特徴Ｈ_cm,cn（ｘ）を次の数式７により構築する。なお、識別部２０が行う数式７の処理が本発明の第１強識別器構築手段に相当している。

ここで、Ｔは学習回数、α_t ^cm,cnは１段目の弱識別器ｈｔ^cm,cn（数式５）の重みを表わしている。重みα_t ^cm,cnは学習により設定される。

数式７の処理を入力画像のすべてのセルの組み合わせに対して行う。本実施形態では、検出ウィンドウ（３０×６０ピクセル）に対して７２個のセルがあるため、２つのセルの組み合わせは２５５６通りとなり、２５５６個のジョイントＨＯＧ特徴からなるジョイントＨＯＧ特徴プール（ジョイントＨＯＧ特徴の集合体）が作成される。これにより、図２の中段に示す中位レベル（mid-lebel）のジョイントＨＯＧ特徴プールが作成される。

次に、２段階目のアダブースト識別器について説明する。２段階目のアダブースト識別器では、１段階目のアダブースト識別器（数式７）により生成したジョイントＨＯＧ特徴プールを入力として最終識別器を構築する。２段階目のアダブーストでは、ジョイントＨＯＧ特徴で構築した１段階目の強識別器Ｈ_cm,cn（ｘ）のプールの中から識別に有効なものを選択して学習を行い、２段階目の強識別器Ｇ（ｃ）を構築する。強識別器Ｈ_cm,cn（ｘ）のプールの中から選択された強識別器をｇ_t（ｃ）とした場合に、２段階目のアダブーストにより得られる最終的な強識別器Ｇ（ｃ）は次の数式８により得られる。なお、識別部２０が行う数式８の処理が本発明の第１強識別器構築手段に相当している。

λは識別器の閾値であり、α_tは１段階目の強識別器ｇ_t（ｃ）の重みを表わしている。重みα_tは学習により設定される。ｃｍとｃｎはセルの組み合わせを表わし、ｃ＝｛ｃｍ，ｃｎ：１≦ｍ≦７２，１≦ｎ≦７２｝である。

図４は、２段階目の強識別器Ｇ（ｃ）で選択されるジョイントＨＯＧ特徴を説明するための図である。図４に示すように、２段階目のアダブーストにより、ジョイントＨＯＧ特徴プールから識別に有効な特徴量のみを選択して、最終識別器が構築される。

以上の過程により識別部２０の学習が完了する。学習により構築された識別部２０は、数式８により選択されたセルの組み合わせに対応するジョイントＨＯＧ特徴を用いて、入力画像中に検出対象である人が含まれているか否を識別する。

次に、本実施形態の物体検出装置の２段階のアダブーストにより選択されるジョイントＨＯＧ特徴量について説明する。まず、１段階目のアダブースト（数式７）では、入力画像中のすべてのセル領域のジョイントＨＯＧ特徴が選択され、その中でも特に人の形状に沿った勾配に対応するジョイントＨＯＧ特徴が多く選択されて重みが高くなる。次に、２段階目のアダブースト（数式８）では、１段階目のアダブーストで選択されたジョイントＨＯＧ特徴であっても、人の輪郭以外は選択されにくい傾向となる。これは、２段階目のアダブーストの特徴選択において、人の輪郭以外に対応するジョイントＨＯＧ特徴量は、人と人以外を識別するためには有効でないと判断されるためである。以上のことから、２段階にアダブーストを構築することにより、人の識別に有効な特徴が自動的に選択されることがわかる。

次に、本実施形態の物体検出装置で行った評価実験の結果を説明する。実験に用いた画像は、固定カメラにより撮影された多様な照明、背景、人の歩行方向など、異なる複数の場所で撮影された画像である。学習用ポジティブサンプルは２０５４枚、学習用ネガティブサンプルは６２５８枚、評価用ポジティブサンプルは１０００枚、評価用ネガティブサンプルは１２３４枚、それぞれ用いた。評価実験では、本実施形態の物体検出装置によるジョイントＨＯＧ特徴を用いた場合と、特徴算出部２０で算出された低位レベル（low-lebel）のＨＯＧ特徴を用いた場合とを比較した。

識別実験結果の比較はＤＥＴ（Detection Error Tradeoff）によって評価を行った。ＤＥＴは、横軸に誤検出率（人以外を人と認識する確率）、縦軸に未検出率（人を人以外と認識する確率）を両対数グラフによって表わしたものである。識別器のしきい値を変化させることによって、誤検出率に対する未検出率の比較を行うことができる。

図５は、評価実験結果を示している。本実施形態のジョイントＨＯＧ特徴を用いた場合には、ＨＯＧ特徴を用いた場合と比較して、検出精度が向上していることがわかる。誤検出率５．０％の場合、検出率を約２４．６％向上させることができた。これは、単一のＨＯＧ特徴量のみでは識別困難なパターンに対しても、異なる位置の複数のセルのＨＯＧ特徴を組み合わせたジョイントＨＯＧ特徴を用いることで、識別可能となったためである。このように、ジョイントＨＯＧ特徴を用いることで、複数箇所で同時にＨＯＧ特徴量を捉えることができるので、自動的に検出対象の外観上の特徴を捉えやすくなり、識別精度を向上させることができる。

（第２実施形態）
次に、本発明の第２実施形態について説明する。

図６は、本第２実施形態の物体検出装置の構成を示している。本実施形態では、ローレベルな特徴として、アピアランスに基づくＨＯＧ特徴に加えて時空間特徴を用いている。本実施形態では、時空間特徴を扱うため、撮像手段として監視カメラに多く用いられる固定式カメラを用い、時系列的に並んだ複数の画像フレームから構成される連続映像を入力画像として用いている。なお、本実施形態の特徴量算出部１０が本発明の第１の特徴量算出手段、第３の特徴量検出手段、第１状態判定手段、分散算出手段、第２状態判定手段、第３状態判定手段に相当している。

本実施形態の特徴量算出部１０では、ＨＯＧ特徴の算出に加え、入力画像のピクセルの輝度変化に基づいてピクセル状態分析（ＰＳＡ：Pixel State Analysis）を行い、各ピクセルの状態を判別し、ＰＳＡ特徴量を算出している。「ピクセル状態分析」とは、フレームに含まれる各ピクセルの輝度の時間的変化をモデル化することにより、各ピクセルを背景差分により背景と前景に区別し、さらに前景の各ピクセルを輝度値の変化と安定度から物体の動きを示す動状態と静状態として、各ピクセルを背景、動状態、静状態のいずれかに判別する手法である。ピクセル状態分析によるＰＳＡ特徴は、空間的情報とモーション情報（時間情報）の両方の情報を含む特徴である。

図７は、ピクセル状態分析の状態遷移を示している。図７に示すように、各ピクセルの初期状態は背景（ＢＧ）に設定されており、背景（ＢＧ）から動状態（ＴＲ）に遷移することができ、動状態（ＴＲ）から背景（ＢＧ）または静状態（ＳＴ）に遷移することができ、静状態（ＳＴ）から動状態（ＴＲ）に遷移することができる。

これらの３つの状態を判定するための基本的原理として、ピクセルの輝度が状況に応じて、（１）〜（３）のように変化する点を利用する。（１）物体がピクセル上を通過する場合には、そのピクセルの輝度値は急激な変化を伴う。その後、一時的に不安的な状態が続き、再度急激な変化の後、背景である元の輝度値に戻る。（２）物体がピクセル上で停止した場合には、そのピクセルの輝度値は急激な変化の後、一時的に不安的な状態が続き、最終的には物体の輝度値に安定する。（３）太陽が雲に隠れた等の環境変化が生じた場合には、輝度値は緩やかに変化する。

図８は、ピクセル状態分析を行うフレームの時系列的な関係を示している。ピクセルの状態遷移を捉えるには、各ピクセルの輝度値の急激な変化（Motion Trigger）と輝度値の安定度（Stability Measure）を検出する。輝度値の急激な変化の検出は、ピクセル状態分析の対象となっている現在のフレームｔより前の複数フレーム（図８の例では５フレーム）に着目して行い、輝度値の安定度の検出には、現在のフレームｔから後の複数フレーム（図８の例では５フレーム）に着目して行う。

まず最初に、輝度値の急激な変化の検出を行う。ここで、ピクセル状態分析の対象となっている現在のフレームｔからｋフレーム前の輝度値をＩtとする。輝度値の変化量Ｔを求めるには、Ｉtと、フレームｔからｋフレーム前までの各フレームのＩ_t-jの差分（輝度値の最大変化量）の絶対値を算出する。急激な輝度値の変化がピクセル上に生じたとき、輝度値の変化量Ｔの値は大きくなる。輝度値の変化量Ｔは、数式９により算出することができる。

次に、ピクセルの輝度値の安定度について考える。輝度値の安定状態の検出は、現在のフレームｔより後のｋフレームに着目し、フレームｔからフレームｔ＋ｋまでの輝度値の分散の逆数として算出する。安定度Ｓは、輝度値が安定した状態では大きい値となる。安定度Ｓは、数式１０により算出することができる。

ここで、フレームの各ピクセルの判別方法を図９のフローチャートに基づいて説明する。

まず、ピクセル状態が背景または静状態であり、かつ、数式４で算出した輝度値の変化量Ｔが所定変化量を上回っているか否かを判定する（Ｓ１０）。所定変化量は、急激な変化を判別するための閾値であり、予め設定された固定値としてもよいが、固定値の場合には、建物の陰となっているような領域を物体が移動しても、その物体と背景である影の部分の輝度値に大きな差がないため、輝度値の変化量が閾値を上回らない場合がある。しかしながら、影の領域を物体が移動すると、このピクセルの過去の輝度の平均値より大きな変化が生じる。このため、検出対象フレームｔより過去の複数フレームにおいて、対応するピクセルの輝度値の分散により所定変化量を決定することで、適切な閾値を得ることができる。

Ｓ１０の判定処理の結果、肯定判定された場合には、ピクセル状態を動状態に設定する（Ｓ１１）。一方、否定判定された場合には、ピクセル状態を背景または静状態のままとする。

次に、ピクセル状態が動状態であり、かつ、数式５で算出した輝度値の安定度Ｓが所定安定度を上回っているか否かを判定する（Ｓ１２）。所定安定度は、安定性を判定するための閾値である。この結果、否定判定された場合には、ピクセル状態を動状態のままとする。一方、肯定判定された場合には、ピクセルの輝度値が背景画像の輝度値であるか否かを判定する（Ｓ１３）。背景画像は、Ｓ１３の判定処理に先立ち予め用意されているものとし、ＩＩＲフィルタなどを用いて環境変化に対応可能となるように適宜更新すればよい。

この結果、肯定判定された場合には、ピクセル状態を背景に設定し（Ｓ１４）、否定判定された場合には、ピクセル状態を静状態に設定する（Ｓ１５）。以上の処理をフレームに含まれる各ピクセルに対して行うことで、各ピクセルを背景、動状態、静状態のいずれかに分類することができる。なお、図９のフローチャートにおけるＳ１０、Ｓ１１の処理が本発明の第１状態判定手段に相当し、Ｓ１２、Ｓ１３、Ｓ１５の処理が本発明の第２状態判定手段に相当し、Ｓ１２、Ｓ１３、Ｓ１４の処理が本発明の第３状態判定手段に相当している。

ピクセル状態分析では、フレーム間差分に加えて背景差分を用いているため、同一フレームに歩行者と静止している人が含まれている場合であっても、歩行者は動状態、静止している人は静状態として判別することができる。オプティカルフローなどの物体の動きを示す特徴量では、静止状態にある物体の情報を得ることは困難だが、ピクセル状態分析を行うことにより、静状態である物体の情報を得ることができる。

次に、ピクセル状態分析結果をセル領域によってヒストグラム化し、ＰＳＡ特徴となる特徴ベクトルを算出する。まず最初に、上述のＨＯＧ特徴ベクトルのヒストグラム化で用いたセル領域の構造（図２（ｂ）参照）を用いて、ＨＯＧと同様にピクセル状態ヒストグラムを作成する。各ピクセルは、３つの状態（背景、静状態、動状態）に分類されるので、１つのヒストグラム（１つのセル）から３つの特徴ベクトルが算出される。

最後に、上述のＨＯＧ特徴ベクトルの正規化で述べたＨＯＧと同様の手順でブロック（図２（ｃ）参照）による正規化を行う。１ブロックは、３×３セルなので、１ブロックあたり２７次元（＝３×３×９次元）の特徴ベクトルとなる。そして、入力画像を３０×６０ピクセルとした場合、１フレーム当たり４０ブロックなので、ＰＳＡ特徴から得られる特徴ベクトルは、１０８０次元（＝４０ブロック×２７次元）となる。

以上の過程により、入力画像における各セルｃ₁〜ｃ₇₂の９つのＨＯＧ特徴量（ＨＯＧｖ₁〜ＨＯＧｖ₉）に加えて３つのＰＳＡ特徴量（ＰＳＡｖ₁₀〜ＰＳＡｖ₁₂）が得られ、図６の最下段に示す低位レベル（low-lebel）の特徴プールが作成される。さらに、上記第１実施形態で説明した数式４〜１０と同様の処理を行い、２段階のアダブーストによりジョイント特徴プールを作成し、最終的な識別器を構築する。本実施形態のジョイント特徴は、ＨＯＧ特徴同士の組み合わせ、ＰＳＡ特徴同士の組み合わせ、ＨＯＧ特徴とＰＳＡ特徴の組み合わせの３種類が存在する。

図１０は、本実施形態の物体検出装置の学習時に選択された特徴の割合を示している。図１０に示すように、学習初期にはＰＳＡ特徴が多く選択され、学習の後半ではＨＯＧ特徴が多く選択される傾向がある。これは、識別時において、まず物体の動きを表わすことが可能なＰＳＡ特徴により、大まかに人と人以外に判別し、その後、より詳細に識別境界を形成するためにアピアランス情報であるＨＯＧ特徴量が選択されたものと考えられる。さらに、学習初期に選択されたＰＳＡ特徴を詳細に検討してみると、ピクセル状態分析の背景から得られるＰＳＡ特徴が多く選択されていた。これは、背景の状態を占めるピクセルが多い／少ないによって、人を判別していることを示している。

次に、本実施形態の物体検出装置で行った評価実験の結果を説明する。評価実験では、上記第１実施形態と同一の学習用サンプル画像と評価用サンプル画像を用いた。評価実験では、本実施形態のＨＯＧ特徴とＰＳＡからジョイント特徴を作成した場合と、上記第１実施形態のＨＯＧ特徴のみからジョイント特徴を用いた場合と、特徴算出部２０で算出された低位レベル（low-lebel）のＨＯＧ特徴を用いた場合とを比較した。

図１１は、評価実験結果を示している。本第２実施形態の物体検出装置では、上記第１実施形態の物体検出装置に比較して、誤検出率５％の場合に、検出率が約９％向上しており、検出率約９９％を得ることができた。つまり、ＨＯＧ特徴のみからなるジョイント特徴を用いる場合より、アピアランスに基づくＨＯＧ特徴に時空間特徴に基づくＰＳＡ特徴を併用したジョイント特徴を用いた場合の方が、より高精度な識別が可能となることがわかる。

（第３実施形態）
次に、本発明の第３実施形態について説明する。

本実施形態では、ローレベルな特徴として、多重解像度画像から得られるＨＯＧ特徴を用いる。具体的には、入力画像を多重解像度化し、異なる解像度の画像のセルのＨＯＧ特徴を組み合わせてジョイントＨＯＧ特徴を作成する。

図１２は、本実施形態の物体検出装置で取り扱う入力画像を示している。人の頭部領域と上半身領域では、外観上の特徴を最も表現する解像度が同一であるとは限らない。このため、本実施形態の物体検出装置では、図１２に示すように、入力画像から切り出した頭部画像と上半身画像を、それぞれ多重解像度化している。

図１２の例では、入力画像から切り出した状態の上半身画像の解像度は１２８×１２８ピクセルであり、それを半分の大きさまで０．１２５ずつ倍率を縮小している。このため、５つの上半身画像のピクセル数はそれぞれ、１２８×１２８、１１２×１１２、９６×９６、８０×８０、６４×６４となる。同様に、入力画像から切り出した状態の顔画像の解像度は６４×６４ピクセルであり、それを半分の大きさまで０．１２５ずつ倍率を縮小している。このため、５つの顔画像のピクセル数はそれぞれ、６４×６４、５６×５６、４８×４８、４０×４０、３２×３２となる。上半身画像では、セルサイズを１６×１６ピクセルとし、ブロックサイズを２×２セルとしている。顔画像では、セルサイズを８×８ピクセルとし、ブロックサイズを２×２セルとしている。

次に、多重解像度のＨＯＧ特徴量による共起特徴の算出について説明する。まず、多重解像度画像からセルのサイズを固定してＨＯＧ特徴量を算出する。これにより、解像度が異なる複数の画像について、各セルのＨＯＧ特徴量が算出され、ＨＯＧ特徴プールが作成される。次に、頭部画像と上半身画像から算出したＨＯＧ特徴量を１つずつ用いることにより共起特徴を算出する。これにより、位置と解像度が異なるＨＯＧ特徴量間の共起を表現することが可能となる。そして、２段階のアダブーストを行って、最終的な識別器を構築する。

次に、本実施形態の物体検出装置の学習時に選択される特徴について説明する。特徴選択の傾向が出やすい学習初期では、頭部は高解像度のＨＯＧ特徴量が選択され、上半身は低解像度のＨＯＧ特徴量が選択される。このことから、頭部は高解像度の方が特徴を表現しやすく、上半身は低解像度の方が特徴を表現しやすいと考えられる。頭部のように勾配にばらつきが少ないと、局所領域でも頭部のラインを捉えることができるため、高解像度のＨＯＧ特徴が選択されると考えられる。これに対し、上半身は性別、衣服、年齢などにより肩のラインの勾配がばらつく傾向にある。低解像度のＨＯＧ特徴は、広い範囲でヒストグラムをまとめることになるため、勾配のばらつきを吸収でき、上半身で選択されやすいと考えられる。

以上説明した本実施形態の物体検出装置では、入力画像の解像度を変化させながら算出したＨＯＧ特徴量を用いることで、例えば顔の特徴を選択しやすい解像度画像から算出したＨＯＧ特徴量と上半身の特徴を選択しやすい解像度画像から算出したＨＯＧ特徴量とを組み合わせてジョイントＨＯＧ特徴を算出することができ、入力画像を多様な捉え方で観測でき、高精度な検出を行うことができる。

（他の実施形態）
なお、上記各実施形態では、物体検出装置の検出対象の物体を人としたが、これに限らず、動物や自動車などの人以外の物体を検出対象としてもよい。さらに、物体検出装置の検出対象は必ずしも物体全体である必要はなく、例えば人の顔のように物体の一部であってもよい。

また、上記各実施形態では、２つのセルのＨＯＧ特徴量を組み合わせてジョイントＨＯＧ特徴量を算出したが、組み合わせるセルの数は２つに限らず、３以上であってもよい。

また、上記第２実施形態の特徴量算出部１０では、第３の特徴量としてピクセル状態分析により各ピクセルの状態を判別したＰＳＡ特徴量を算出するように構成したが、これに限らず、公知のフレーム間差分や背景差分により輝度変化に基づいて、第３の特徴量の算出を行ってもよい。

フレーム間差分（ＴＤ）は、現在入力されている画像フレームと前回入力された画像フレームとの差分を計算し、差分値の大きい領域を物体として検出するものであり、各ピクセルの状態を動状態と動状態以外に判別することができる。背景間差分（ＢＳ）は、検出すべき物体が存在しない背景画像フレームを予め用意しておき、現在入力されている画像フレームと背景画像フレームとの差分を計算して前景を検出するものであり、各ピクセルの状態を背景と背景以外に判別することができる。フレーム間差分および背景間差分を用いる場合にも、上記第２実施形態と同様、セルによるヒストグラム化、ブロックによる正規化を行う。

また、上記第３実施形態では、入力画像から切り出した異なる画像（顔画像と上半身画像）を多重解像度化して用いたが、これに限らず、同一画像（例えば、顔画像のみ又は上半身画像のみ）を多重解像度化して用いてもよい。

第１実施形態の物体検出装置の構成を示す図である。入力画像の構造を示す図であり、（ａ）は入力画像を示し、（ｂ）は入力画像を複数のセルに分割した状態を示し、（ｃ）はブロックによる正規化を行う状態を示している。ＨＯＧ特徴の共起を説明するための図である。２段階目の強識別器で選択されるジョイントＨＯＧ特徴を説明するための図である。第１実施形態の物体検出装置の評価実験結果を示す図である。第２実施形態の物体検出装置の構成を示す図である。ピクセル状態分析の状態遷移を示す図である。ピクセル状態分析を行うフレームの時系列的な関係を示す図である。ピクセル状態分析によるピクセルの判別方法を示すフローチャートである。第２実施形態の物体検出装置の学習時に選択された特徴の割合を示す図である。第２実施形態の物体検出装置の評価実験結果を示す図である。第３実施形態の物体検出装置で取り扱う入力画像を示すである。

符号の説明

１０特徴量算出部
２０識別器

Claims

入力画像中を複数に分割した領域の輝度勾配に基づいて前記領域の第１の特徴量を算出する第１の特徴量算出手段と、
位置が異なる複数の前記領域の前記第１の特徴量同士を組み合わせた第２の特徴量を算出する第２の特徴量算出手段と、
前記第２の特徴量に基づいて前記入力画像から検出対象である物体を検出する識別手段と、
学習サンプルを前記入力画像として、学習により前記識別手段を構築する学習手段とを備え、
前記学習手段は、
前記第２の特徴量を入力とし、予め設定された前記学習サンプルの重みから算出される前記物体である条件付き確率が前記物体以外である条件付き確率より高いか否かにより、前記物体又は前記物体以外とを識別する弱識別器を構築する弱識別器構築手段と、
複数の前記弱識別器を用いた第１のアダブーストにより、前記入力画像のすべての前記領域それぞれにおいて、前記物体の識別に有用な前記第２の特徴量を選択する第１強識別器を構築する第１強識別器構築手段と、
前記第１強識別器を用いた第２のアダブーストにより、複数の前記領域のすべての組み合わせに対応する前記第２の特徴量から、前記物体の識別に有用な前記領域の組み合わせを選択する第２強識別器構築手段とを備えて構成されており、
前記識別手段は、第２強識別器構築手段により選択された前記領域の組み合わせに対応する前記第２の特徴量に基づいて、前記入力画像から前記物体を検出することを特徴とする物体検出装置。
前記入力画像における画像フレーム中の前記各領域の輝度変化に基づく前記領域の状態を第３の特徴量として算出する第３の特徴量算出手段を備え、
前記第２の特徴量算出手段は、位置が異なる複数の前記領域の前記第１の特徴量同士、前記第３の特徴量同士、又は前記第１の特徴量と前記第３の特徴量を組み合わせて第２の特徴量を算出するように構成されていることを特徴とする請求項１に記載の物体検出装置。
前記第３の特徴量算出手段は、前記画像フレーム中の前記領域の輝度の変化量を検出する第３の特徴量検出手段と、前記変化量が予め設定された所定変化量より大きい場合に動状態と判定する第１状態判定手段と、前記画像フレームより後の複数の画像フレーム中の前記領域に対応する領域の輝度の分散を算出する分散算出手段と、前記第１状態判定手段により動状態と判定され、かつ、前記分散が予め設定された所定値より小さい場合に背景または静状態と判定する第２状態判定手段と、前記第２状態判定手段により背景または静状態と判定された場合に、前記画像フレームの領域の輝度が予め設定された背景用輝度に属するときに背景と判定し、属さないときに静状態と判定する第３状態判定手段とを備え、前記領域を背景、動状態、静状態のいずれかに判別した結果を前記第３の特徴量として算出するように構成されていることを特徴とする請求項２に記載の物体検出装置。
前記第１の特徴量算出手段は、前記入力画像を多重解像度化するように構成され、
前記共起特徴算出手段は、解像度が異なる複数の前記入力画像の前記第１の特徴量を組み合わせて前記第２の特徴量を算出することを特徴とする請求項１ないし３のいずれか１つに記載の物体検出装置。