JP6524910B2 - 物体検出装置、物体検出方法および学習装置 - Google Patents

Description

本発明は、画像から物体を検出する物体検出装置及び方法に関する。

映像（または静止画）から物体を検出する技術は、物体検出と呼ばれる。物体検出は、カメラの撮影映像から監視目的である所望の物体を見つけ出す用途、高画質化のために特定の物体に対してフォーカスを合わせる用途、等に使用される。

物体検出の一態様として、Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗ法と呼ばれる技術が使用されている。Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗ法の処理概念を図１５に示す。Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗ法は、図１５に示すように、検出対象の画像に対して矩形領域（Ｗｉｎｄｏｗ）を設定し、Ｗｉｎｄｏｗの位置と大きさを変化させながら、各矩形領域内での検出対象物体の有無を、評価関数により評価する。しかし、検出対象物体が他の物体に一部隠れている場合や、Ｗｉｎｄｏｗサイズが検出対象のサイズと大きく異なる場合、検出対象の位置を正確に求めることができないという問題があった。

これに対し非特許文献１は、複数の決定木の集合で構築されたアンサンブル学習法を用いて人の検出を行う手法を提案している。この手法は、パーツと呼ばれる、物体の局所位置が写っている画像群から決定木を構築し、入力画像がどのパーツに分類されたかをスコアにより評価する。パーツは局所領域であるので、物体が一部遮蔽されていても、遮蔽されない領域に基づいて、パーツを検出できる可能性が高い事例が報告されている。なお、非特許文献１では、複数のパーツを認識した結果から算出したスコアの平均値を用いて、人の検出を行なっている（図１６）。

また、非特許文献２は、パーツ間の関係性を星座に例えた星座モデルを提案している。星座モデルは、各パーツがどのような外見・相対位置・回転角度・サイズなどのパラメータによって２次元画像に存在するかを示す確率分布を表現するモデルである。非特許文献２では、パーツの位置や大きさの平均値と分散からなるモデルを作成し、パーツ候補すべての組み合わせについて星座モデルと一致するか否かの尤度を計算すると共に、背景である尤度も計算する。そして、この手法では、両者の尤度比がしきい値以上か否かに基づいて、物体であるか否かを判断する。

三井相和、藤吉弘亘著、 "Randomized Treesを用いたパーツベースによる人検出法"、動的画像処理実利用可ワークショップ2011(DIA)、 O3-1番、 2011年. R. Fergus、P. Perona、A.Zisserman著 "Object class recognition by unsupervised scale-invariant learning"、 In CVPR、 2003年.

しかしながら、上述した技術は、いずれも精度よく物体領域を検出することができないという課題がある。例えば非特許文献１の手法では、人体が写っている画像を複数のパーツ領域に分解し、パーツ領域毎に算出したスコアの平均値から、人体を検出したか否かを判断している。しかしながら、この手法では、パーツ領域の位置関係を考慮していないので、図１７に示すように、パーツ領域の位置が間違っている場合でも人体として検出してしまう。したがって、誤検出が生じる虞がある。

また、非特許文献２の手法では、モデル化したパーツ領域の位置関係に基づいた評価を行っている。しかしながら、非特許文献２の手法では、パーツ領域の出現確率分布の総和値のみに基づいてモデル化するので、出現確率が０の領域に対する領域の調整は行われない。このため、本来の物体領域よりも大きな領域が検出される場合があるので、位置精度は低下する。

本発明は、上記問題点に鑑みてなされたもので、精度よく物体領域を検出することができる物体検出装置、物体検出方法および学習装置を提供することを目的とする。

本発明の一態様の物体検出装置は、検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定するパーツ領域指定手段と、前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成する出現確率分布生成手段と、前記パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において前記物体が写る領域を判定する物体判定手段とを備える。

本発明の一態様の物体検出方法は、検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定し、前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成し、前記パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において前記物体が写る領域を判定する。

本発明の一態様の学習装置は、検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定するパーツ領域指定手段と、前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成する出現確率分布生成手段と、を備える。

なお同目的は、上記の各構成を有する物体検出装置、物体検出方法または学習装置を、コンピュータによって実現するコンピュータ・プログラム、およびそのコンピュータ・プログラムが格納されている、コンピュータ読み取り可能な記録媒体によっても達成される。

本発明によれば、精度よく物体領域を検出することができる。

図１は、本発明の第１の実施の形態にかかる物体検出装置の構成を示すブロック図である。 図２は、物体検出の流れを示すフローチャートである。 図３は、物体検出の流れを示すフローチャートである。 図４は、出現頻度分布の生成を説明する図である。 図５は、出現頻度分布の生成を説明する図である。 図６は、非出現頻度分布の生成を説明する図である。 図７は、出現頻度分布の他の生成方法を説明する図である。 図８は、タイヤ領域の検出結果の例を示す図である。 図９は、物体領域の判定を説明する図である。 図１０は、物体領域の判定を説明する図である。 図１１は、本発明の第２の実施の形態にかかる物体検出装置の構成を示すブロック図である。 図１２は、第２の実施形態における物体領域の判定を説明する図である。 図１３は、本発明の第３の実施の形態にかかる物体検出装置の構成を示すブロック図である。 図１４は、本発明の各実施の形態にかかる物体検出装置を実現するハードウエア構成を示す図である。 図１５は、Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗ法の処理概念を説明するための図である。 図１６は、複数の決定木の集合で構築されたアンサンブル学習法を用いて人の検出を行う手法を説明するための図である。 図１７は、複数の決定木の集合で構築されたアンサンブル学習法を用いて人の検出を行う手法を説明するための図である。

以下、本発明の実施形態を説明する。
第１の実施形態
図１は、本発明の実施の形態にかかる物体検出装置の構成を示すブロック図である。物体検出装置１００は、画像供給部１１０、検出部１２０、学習部１３０、及び位置検出結果出力部１４０を有する。

検出部１２０は、パーツ領域検出部１２１、物体判定部１２２を含む。学習部１３０は、パーツ領域指定部１３１、出現確率分布生成部１３２、出現確率分布記憶部１３３を含む。位置検出結果出力部１４０は、検出部１２０による検出結果を出力する。

物体検出装置１００は、画像を処理する任意の装置であれば良く、例えば一般的なコンピュータ装置、撮像装置（携帯電話、スマートフォン、デジタルスチールカメラ）等を含む。

各構成要素の概要について説明する。

画像供給部１１０は、任意の撮像手段で撮像された画像を取得する。また、画像供給部１１０は、その画像を、学習時にはパーツ領域指定部１３１に供給し、検出時にはパーツ領域検出部１２１に供給する。なお、画像供給部１１０は、処理対象とする画像を供給するものであれば良く、例えば物体検出装置１００に着脱可能な記憶装置（たとえばＵＳＢ（Universal Serial Bus）メモリ）から画像を読み出して検出部１２０又は学習部１３０に供給してもよい。ここで、画像供給部１１０が供給する画像には、静止画が想定されるが、画像供給部１１０は、動画を構成する各フレームを切り出して検出部１２０又は学習部１３０に逐次供給してもよい。

学習部１３０は、パーツ領域を指定するパーツ領域指定部１３１と、パーツ領域の出現確率分布を生成する出現確率分布生成部１３２と、出現確率分布記憶部１３３とを含んでいる。学習部１３０は、物体検出装置１００と着脱可能であってもよい。

パーツ領域指定部１３１は、画像中に写っている物体のパーツ領域を指定し、パーツ領域を示す座標値を、出現確率分布生成部１３２に渡す。パーツ領域の指定方法は、人手により指定してもよいし、後述する公知のパーツ領域検出技術により指定してもよい。ここで、パーツ領域とは、物体が写る画像において、その物体を構成するパーツが写る領域である。

出現確率分布生成部１３２は、パーツ領域指定部１３１から入力された複数のパーツ領域の位置に対して、回数をカウントすることにより、出現頻度ヒストグラムを生成する。出現確率分布生成部１３２は、生成された出現頻度ヒストグラムに基づいて、物体を構成するパーツ領域毎の出現確率分布、非出現確率分布を生成する。

出現確率分布生成部１３２は、例えば、画像中のタイヤ領域の位置と大きさを、ｘ−ｙ平面における位置と大きさに変換する（図４に示す）。出現確率分布生成部１３２は、この変換を、多数の画像に関して行うことで、ｚ軸方向に、その位置におけるタイヤ領域の出現頻度を得ることができる。このように、出現確率分布生成部１３２は、タイヤ領域の、画像における位置に関連付けられる出現頻度を算出する。出現確率分布生成部１３２は、ｘ−ｙ平面に変換されたタイヤ領域の全出現頻度の総和を求めると共に、各位置におけるタイヤ領域の出現頻度をその総和で割ることで、タイヤ領域の出現確率を求めてもよい。また、出現確率分布生成部１３２は、出現頻度の極大値を求め、極大値の位置からある出現頻度値までの広がりを、分布の分散としてガウス分布にフィッティングしてもよい。なお、例えばタイヤの非出現確率分布は、タイヤ以外のパーツの出現頻度を算出した際に生成される出現確率分布に等しい。

出現確率分布記憶部１３３は、予め多数の画像から、出現確率分布生成部１３２で生成された出現確率分布、非出現確率分布を記憶する。出現確率分布記憶部１３３は、分布の値を、ファイル形式で保持してもよいし、データベースのテーブル等の形式で保持してもよい。また、出現確率分布記憶部１３３は、複数種類の物体のパーツ領域の位置に関する出現確率分布を記憶してもよい。例えば、出現確率分布記憶部１３３は、大型車、中型車、小型車、スクーター、オフロードバイク、ネイキッドバイクの各種類について、各パーツ領域の位置に関する出現確率分布を記憶してもよい。この場合、パーツ領域とは、タイヤやヘッドライト等の機能単位の部品が写される領域を意味する。

パーツ領域検出部１２１は、画像供給部１１０から供給された画像を部分領域に分割し、部分領域を、パーツ領域らしさを示す評価値（スコア）で表現する。パーツ領域検出部１２１は、画像中の部分領域毎にスコアが格納されたスコアマップを生成する。

物体判定部１２２は、画像供給部１１０から供給された画像の一定領域に対して、検出対象の物体が写っているかどうかの判定を行う。物体判定部１２２は、パーツ領域検出部１２１が算出したパーツ領域のスコアと、出現確率分布記憶部１３３に格納された当該パーツ領域の出現確率分布から評価値を算出する。なお、物体判定部１２２は、複数のパーツ領域の評価値を統合し、しきい値にもとづいて物体かどうかの判定を行ってもよい。

図２、図３は、物体検出装置１００による物体検出の流れを示すフローチャートである。

図１から図３を参照して、物体検出装置１００の処理の流れの概要について説明する。

まず、学習時の動作について説明する。

画像供給部１１０は、予め、検出対象となる物体が撮影されている複数の画像（物体画像）を学習部１３０内のパーツ領域指定部１３１に供給する。

パーツ領域指定部１３１は、入力画像からパーツ領域の位置と大きさを指定する（Ｓ１）。出現確率分布生成部１３２は、パーツ領域の位置と大きさに基づいて、そのパーツ領域が、画像中のどの位置に何回出現したかを算出し、分布として生成する（Ｓ２）。ここで、パーツ領域の位置は、絶対位置でもよいし、相対位置でもよい。パーツ領域指定部１３１は、パーツ領域毎に生成された出現頻度分布から、出現確率分布、非出現確率分布を生成すると共に、それらを出現確率分布記憶部１３３に格納する（Ｓ３）。

次に、検出時の動作について説明する。

画像供給部１１０は、検出対象画像を検出部１２０内のパーツ領域検出部１２１に供給する。

パーツ領域検出部１２１は、画像を分割した部分領域毎にパーツ領域を検出し、パーツ領域の位置とともにパーツ領域らしさを表すスコアを格納する（Ｓ４）。

物体判定部１２２は、出現確率分布記憶部１３３に格納された出現確率分布や非出現確率分布と、パーツ領域検出部１２１で算出されたパーツ領域らしさを示すスコアとから、物体かどうかの判定を行う。物体判定部１２２は、判定手法として、例えば、出現確率分布を正の値、非出現確率分布を負の値とし、パーツ領域の部分領域毎のスコアと、出現確率分布または非出現確率分布との積算を行えばよい。そして、物体判定部１２２は、積算値を一定領域内で総和を取ることにより評価値を求め、評価値がしきい値以上の場合、物体を検出したと判定する（Ｓ５）。

続いて、具体的な実施例を用いて、物体検出装置１００の詳細な動作について説明する。以下の説明では、予め出現確率分布を生成する確率分布生成フェーズ（学習部１３０の動作）と、入力された画像から物体位置を検出する検出フェーズ（検出部１２０の動作）に分けて説明する。

はじめに確率分布生成フェーズについて説明する。

パーツ領域指定部１３１は、画像中に写っている物体、例えば車やバイクから、機能単位のパーツ領域である、ヘッドライトやタイヤ等の領域を決定する。決定方法として、予めユーザがパーツ領域指定部１３１を操作することにより、ヘッドライトやタイヤ等の領域を指定してもよい。あるいはパーツ領域指定部１３１が、後述する公知の検出技術を用いてヘッドライトやタイヤ等の領域を検出し、検出結果を用いて領域を指定しても良い。

指定されたパーツ領域は、出現確率分布生成部１３２に入力される。出現確率分布生成部１３２は、指定されたパーツ領域毎に、パーツ領域の位置と大きさから出現頻度を示すヒストグラムを生成する。例えば、出現確率分布生成部１３２は、図４のように、画像１に写るタイヤ領域の位置と大きさ、画像２に写るタイヤ領域の位置と大きさに関して、タイヤ領域が、画像中のどの位置に何回出現したかを算出する。算出した結果に基づいて、出現確率分布生成部１３２は、Ｘ−Ｙ平面において、タイヤ領域に関する出現頻度分布Ｐ１、Ｐ２を生成することができる。出現確率分布生成部１３２は、ある位置におけるタイヤの出現頻度を、タイヤの出現頻度の総和で正規化することにより、タイヤの出現頻度確率分布を生成する。このように、出現確率分布生成部１３２は、複数の画像群から車のヘッドライトやフロントグリルといったパーツ領域に対して、同様に、出現確率分布を生成する。例えば、図５は、車のヘッドライトとタイヤの出現確率分布の例を示す。図５において、分布Ｐ３、Ｐ４は、車のヘッドライトの出現確率分布を示し、分布Ｐ５、Ｐ６は、車のタイヤの出現確率分布を示す。

次に、出現確率分布生成部１３２は、非出現確率を生成する。非出現確率とは、画像において、注目しているパーツ領域がその位置に出現しにくい確率を示す。例えば、タイヤは、ヘッドライト領域で出現する確率は低いので、ヘッドライトの出現確率を、タイヤの非出現確率として定義する。タイヤの非出現確率は、ヘッドライトの出現確率に”−１”を乗算した分布として定義される。図６は、タイヤの出現確率と非出現確率の分布の例を示す図である。図６において、分布Ｐ７、Ｐ８は、タイヤの出現確率を示し、分布Ｐ９、Ｐ１０は、タイヤの非出現確率を示す。従って、タイヤがヘッドライト位置に出現した場合、出現確率は、ペナルティとして負の値を持つことになる。なお、他の非出現確率を生成する例として、しきい値以下の出現確率を負の値に変換した値を、非出現確率と定義してもよい。すなわち、図７に示すように、しきい値以下の出現確率を負の値に変換すると共に、変換した値を非出現確率としてもよい。生成された出現確率分布は、出現確率分布記憶部１３３にファイルやデータベースとして保存されてもよい。

次に、画像内から物体検出を行う検出フェーズについて説明する。以下の説明では、確率分布生成フェーズで生成した出現確率を用いて検出を行う。

パーツ領域検出部１２１は、画像を部分領域に分割し、分割した部分領域ごとにパーツ領域の検出を行う。例えば、パーツ領域検出部１２１は、入力画像を横１６分割、縦８分割した場合、分割した計１６×８＝１２８の部分領域に対して、パーツ領域の検出を行う。検出方法には、公知の検知技術が用いられてもよい。例えば、パーツ領域検出部１２１は、予めパーツ領域ごとにＳＩＦＴ（Scale-Invariant Feature Transform）やＨＯＧ（Histograms of Oriented Gradients）といった輝度勾配を用いた公知の特徴抽出方法により特徴量を算出しておく。そして、パーツ領域検出部１２１は、検出対象の領域に対しても同様の特徴量を算出し、その算出した特徴量は、上記予め算出したどのパーツ領域の特徴量に近いかを、特徴量間の距離値により求めてもよい。

パーツ領域検出部１２１は、予め算出した特徴量と最も近い特徴量を持つパーツ領域を、検出したパーツ領域として決定すると共に、近さを表す距離をスコアとして表現する。例えば、パーツ領域検出部１２１は、特徴量が同一の場合、特徴量間の距離は０となるので、スコアを１００と設定してもよい。また、パーツ領域検出部１２１は、特徴量間の距離が所定値より小さい領域を、検出したパーツ領域として決定してもよい。図８は、タイヤを検出した結果の例を示す図である。

入力画像１０００が分割された領域である部分領域２０００において、タイヤが検出された３領域は、網掛け領域として図示される。３領域のスコアは、それぞれ４０、８０、５０である。スコアは、スコアマップに保持される。なお、この例では、スコア４０を示す領域は、誤検出である。

次に、物体判定部１２２について説明する。物体判定部１２２は、一定領域について、検出したパーツ領域ごとのスコアとパーツ領域の出現確率分布の積和値に基づいて、物体領域（物体が写っている領域）かどうかの判定を行う。積和値は、評価値である。ここで、一定領域として、図９に示す矩形領域３０００を設定する。また、例えば、スコア４０の領域の出現確率を”０．３”に負を乗じた”−０．３”とし、スコア８０の領域の出現確率を”０．８”、スコア５０の領域の出現確率を”０．５”と仮定する。この場合、図９の矩形領域３０００内での積和値は、”４０×（−０．３）＋８０×０．８＋５０×０．５＝７７”となる。一方、図１０の矩形領域３５００内での積和値は、”８０×０．８＋５０×０．５＝８９”となる。この場合、積和値がもっとも高い図１０の矩形領域３５００が、検出した物体領域として判定される。一定領域は、例えば、検出したパーツ領域を含む矩形領域を、一又は複数パターン生成することにより定められてもよい。また、一定領域の領域サイズは、パーツ領域の大きさに基づいて決定されてもよい。

なお、上述の例では、前輪と後輪を含むタイヤ領域を検出する例を説明したが、ヘッドライトや、他の物体のパーツ領域についても同様にして求めることができる。物体判定部１２２は、最後に、パーツ領域ごとの検出結果を統合して１つの物体領域として判定することもできる。

続いて、本実施の形態にかかる物体検出装置１００の効果について説明する。上述のように、物体検出装置１００は、パーツ領域の出現確率分布と非出現確率分布から構成される物体出現確率分布を生成することにより、誤検出したパーツ領域に対してペナルティを与えることができるので、精度よく物体領域を判定することができる。このように、本実施の形態にかかる物体検出装置１００は、非出現確率分布を考慮した物体出現確率分布を用いることで、精度よく物体領域を検出することができるという効果が得られる。
第２の実施の形態
次に、上述した第１の実施形態を基礎とする第２の実施形態について説明する。以下の説明では、第１の実施形態と同様の構成については同じ参照番号を付与することにより、重複する説明は省略する。

本実施形態では、物体らしさの増加率に基づいて、判定領域（すなわち、物体が写っている領域かどうかを判定する領域）の大きさを変化させることを説明する。本実施形態では、例えば、物体判定において、判定領域の面積を増減させ、物体が写ると判定される確率（物体確率）が大きくなる方向に領域を変化させる。そして、物体確率が極大値となる領域において、その物体確率が、設定したしきい値以上の場合、その領域に物体が写っていると判定してもよい。

本発明の第２実施の形態にかかる物体検出装置１０１は、第１の実施の形態の構成と比較して物体位置探索部を有することを特徴とする。本実施の形態にかかる物体検出装置１０１について第１の実施の形態と異なる点を以下に説明する。

図１１は、第２の実施の形態にかかる物体検出装置１０１の構成を示すブロック図である。第２の実施の形態にかかる物体検出装置１０１は、図１に示す構成に加えて検出部１２０内に物体位置探索部１２３を有する。

物体位置探索部１２３は、物体領域を検出する領域を変化させながら、第１の実施形態において説明した積和値が最も高くなる領域を探索する。第１の実施の形態では、検出する領域が一定の形状を保ちながら、積和値が最大となる位置を検出することを説明したが、本実施の形態では、検出する領域を変化させる。例えば、第２の実施の形態にかかる物体検出装置１０１は、判定領域の右辺を１分割領域広げた場合や狭めた場合の積和値、あるいは、判定領域の上辺を１分割領域広げた場合や狭めた場合の積和値を算出し、積和値が最大となる領域を探索する。第１の実施の形態における図９に示す例では、矩形領域が一定のため、本来は物体領域に含まれるはずのタイヤ領域が、矩形領域をはみ出す場合がある。

図１２は、第２の実施の形態に係る物体検出装置１０１により、物体領域を判定した結果の例を示す図である。物体検出装置１０１は、探索領域を変化させることにより、図１２の矩形領域３６００に示すように、タイヤ領域を超える領域を、物体領域に含まないようにすることができる。物体検出装置１０１は、探索領域の変化方法として、例えば、ある方向に領域を拡大・縮小したときの積和値を算出すると共に、従前の領域の積和値と比較し、積和値が増減する方向に領域を拡大・縮小してもよい。

以上のように、本第２の実施形態によれば、物体位置探索部１２３は、物体領域を検出する領域を変化させながら、積和値が最も高くなる領域を探索するので、より精度よく物体領域を検出することができるという効果が得られる。

第３の実施の形態
次に、上記実施形態を包含する第３の実施形態について説明する。図１３は、本発明の第３の実施の形態にかかる物体検出装置１０２は、パーツ領域指定部１０３、出現確率分布生成部１０４および物体判定部１０５を備える。

パーツ領域指定部１０３は、検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、物体が写る複数の画像から指定する。出現確率分布生成部１０４は、パーツ領域の、画像における位置に関連付けられる出現頻度に基づいて、パーツ領域の出現確率分布と、非出現確率分布とを生成する。物体判定手部１０５は、パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において物体が写る領域を判定する。

上記構成を採用することにより、本第３の実施形態によれば、パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において物体が写る領域であるか否かを判定するので、精度よく物体領域を検出することができるという効果が得られる。

なお、図１および図１１に示した物体検出装置の各部は、図１４に例示するハードウエア資源において実現される。すなわち、図１４に示す構成は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２、外部接続インタフェース２３および記憶装置２４を備える。ＣＰＵ２０は、ＲＯＭ２２または記憶装置２４に記憶された各種ソフトウエア・プログラム（コンピュータ・プログラム）を、ＲＡＭ２１に読み出して実行することにより、物体検出装置の全体的な動作を司る。すなわち、上記各実施形態において、ＣＰＵ２０は、ＲＯＭ２２または記憶装置２４を適宜参照しながら、物体検出装置が備える各機能（各部）を実現するソフトウエア・プログラムを実行する。なお、物体検出装置およびその各機能ブロックのハードウエア構成は、上述の構成に限定されない。

また、各実施形態を例に説明した本発明は、物体検出装置に対して、上記説明した機能を実現可能なコンピュータ・プログラムを供給した後、そのコンピュータ・プログラムを、ＣＰＵ２０が実行することによって達成される。

また、係る供給されたコンピュータ・プログラムは、読み書き可能なメモリ（一時記憶媒体）またはハードディスク装置等のコンピュータ読み取り可能な記憶デバイスに格納すればよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムを表すコード或いは係るコンピュータ・プログラムを格納した記憶媒体によって構成されると捉えることができる。

以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定するパーツ領域指定手段と、
前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成する出現確率分布生成手段と、
前記パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において前記物体が写る領域を判定する物体判定手段と
を備える物体検出装置。

（付記２）
前記出現確率分布生成手段は、前記パーツ領域の、前記画像における位置に関連付けられる出現頻度についてのヒストグラムを作成することにより前記出現確率分布を作成する
付記１に記載の物体検出装置。

（付記３）
前記出現確率分布生成手段は、前記パーツ領域の、前記物体が写る画像における出現位置と大きさを表す正の値を持つ分布を前記出現確率分布として生成する
付記１または付記２記載の物体検出装置。

（付記４）
前記出現確率分布生成手段は、前記対象パーツ以外のパーツが写る領域の出現頻度を、前記パーツ領域の非出現頻度として算出する
付記１ないし付記３のいずれか１に記載の物体検出装置。

（付記５）
前記出現確率分布生成手段は、前記パーツ領域の、前記画像における位置に関連付けられる出現確率の、一定値以下の値に負の値を積算した値を、前記非出現確率として算出する
付記１ないし付記３のいずれか１に記載の物体検出装置。

（付記６）
前記入力画像が分割された領域である部分領域に対して画素の輝度変化から構成される特徴量を抽出し、抽出した特徴量に基づいて、前記部分領域に関する前記パーツ領域らしさを示すスコア値を算出するパーツ領域検出手段をさらに備え、
前記物体判定手段は、前記パーツ領域検出手段により算出されたスコア値と、前記出現確率分布生成手段が生成した、前記パーツ領域の前記出現確率分布との積和演算の結果に基づいて、前記入力画像における物体が写る領域を判定する
付記１から付記５のいずれか１に記載の物体検出装置。

（付記７）
前記出現確率分布は、前記パーツ領域が前記画像における出現しにくい位置と大きさを表す負の値を持つ分布を含む
付記６に記載の物体検出装置。

（付記８）
物体らしさの増加率に基づいて、前記入力画像における物体が写る領域を判定する領域である判定領域の大きさを変化させる物体位置探索手段を更に備える
付記６又は付記７に記載の物体検出装置。

（付記９）
前記物体位置探索手段は、前記判定領域の面積を増減させ、前記物体が写ると判定される確率が大きくなる方向に領域を変化させ、
前記物体判定手段は、前記確率が極大値となる領域において、前記確率が、しきい値以上の場合、前記領域に物体が写ると判定する
付記６から付記８のいずれか１に記載の物体検出装置。

（付記１０）
検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定するパーツ領域指定手段と、
前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成する出現確率分布生成手段と、
を備えた学習装置。

（付記１１）
検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定し、
前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成し、
前記パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において前記物体が写る領域を判定する
物体検出方法。

（付記１２）
検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定する処理と、
前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成する処理と、
前記パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において前記物体が写る領域を判定する処理と
をコンピュータに実行させる物体検出プログラム。

この出願は、２０１３年１０月１日に出願された日本出願特願２０１３−２０６０４６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、例えば、画像を処理する機能を備えたコンピュータ装置、携帯電話、スマートフォン、デジタルスチールカメラ等に適用することができる。

１００、１０１ 物体検出装置
１１０ 画像入力部
１２０ 検出部
１２１ パーツ領域検出部
１２２ 物体判定部
１３０ 学習部
１３１ パーツ領域指定部
１３２ 出現確率分布生成部
１３３ 出現確率分布記憶部
１４０ 位置検出結果出力部

Claims (9)

1. 検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定するパーツ領域指定手段と、
   前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成する出現確率分布生成手段と、
   前記パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において前記物体が写る領域を判定する物体判定手段と
   を備え、
   前記出現確率分布生成手段は、前記対象パーツ以外のパーツが写る領域の出現頻度を、前記パーツ領域の非出現頻度として算出する
   物体検出装置。
2. 検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定するパーツ領域指定手段と、
   前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成する出現確率分布生成手段と、
   前記パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において前記物体が写る領域を判定する物体判定手段と
   を備え、
   前記出現確率分布生成手段は、前記パーツ領域の、前記画像における位置に関連付けられる前記出現頻度に基づく出現確率の、一定値以下の値に負の値を積算した値を、非出現確率として算出する
   物体検出装置。
3. 前記出現確率分布生成手段は、前記パーツ領域の、前記画像における位置に関連付けられる出現頻度についてのヒストグラムを作成することにより前記出現確率分布を作成する
   請求項１または請求項２に記載の物体検出装置。
4. 前記出現確率分布生成手段は、前記パーツ領域の、前記物体が写る画像における出現位置と大きさを表す正の値を持つ分布を前記出現確率分布として生成する
   請求項１から請求項３のいずれか１項記載の物体検出装置。
5. 前記入力画像が分割された領域である部分領域に対して画素の輝度変化から構成される特徴量を抽出し、抽出した特徴量に基づいて、前記部分領域に関する前記パーツ領域らしさを示すスコア値を算出するパーツ領域検出手段をさらに備え、
   前記物体判定手段は、前記パーツ領域検出手段により算出されたスコア値と、前記出現確率分布生成手段が生成した、前記パーツ領域の前記出現確率分布との積和演算の結果に基づいて、前記入力画像における物体が写る領域を判定する
   請求項１から請求項４のいずれか１項に記載の物体検出装置。
6. 前記出現確率分布は、前記パーツ領域が前記画像における出現しにくい位置と大きさを表す負の値を持つ分布を含む
   請求項５に記載の物体検出装置。
7. 物体らしさの増加率に基づいて、前記入力画像における物体が写る領域を判定する領域である判定領域の大きさを変化させる物体位置探索手段を更に備える
   請求項５又は請求項６に記載の物体検出装置。
8. 検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定するパーツ領域指定手段と、
   前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成する出現確率分布生成手段と、
   を備え、
   前記出現確率分布生成手段は、前記対象パーツ以外のパーツが写る領域の出現頻度を、前記パーツ領域の非出現頻度として算出する
   学習装置。
9. 検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定し、
   前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成し、
   前記パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において前記物体が写る領域を判定し、
   前記出現確率分布と、前記非出現確率分布とを生成するに際し、前記対象パーツ以外のパーツが写る領域の出現頻度を、前記パーツ領域の非出現頻度として算出する
   物体検出方法。

Images