JP6494253B2 - 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム - Google Patents

Description

本発明は、入力画像から所定の物体を検出する物体検出装置及び方法及び画像認識装置及びコンピュータプログラムに関する。

近年、デジタルスチルカメラやカムコーダにおいて撮影中の画像から人の顔を検出して人物を追跡する機能が急速に普及している。このような顔検出や人物追跡機能は撮影対象の人物に自動的にピントや露出を合せるために非常に有用である。画像から顔を検出する技術は、例えば非特許文献１で提案されているような技術を用いることで実用化が進んでいる。

一方、監視カメラにおいては、人物の顔が見えるような状況で人物の顔から人物を検出するだけでなく、人物の顔が見えないような状況からでも人物を検出し、その検出結果を侵入検知、及び行動や混雑度の監視等に利用したいという要望がある。
人物の顔が見えないような状況からでも人物を検出することのできる技術として、例えば非特許文献２に開示される技術が提案されている。この非特許文献２に提案されている方法は、画像から画素値の勾配方向のヒストグラムを抽出し、それを特徴量（ＨＯＧ(Histogram of Oriented Gradients)特徴量）として用い、画像中の部分領域が人物か否かを判定するものである。すなわち、画素値の勾配の方向という特徴量によって人体の輪郭を表現し、人物の検出さらには特定人物の認識に利用している。

しかしながら、このような人物の検出において、画像中の人物の一部が他の物体によって隠された場合に、人物の画像からの検出の精度ひいては特定人物の認識の精度が劣化してしまう。このような状況は入力された画像が群衆で混雑する画像である場合にしばしば発生し、このような場合には、例えば、群衆中の人物の数を正確に数え上げることができない。

ここで、人物の体の一部が他の物体の陰に隠れた場合に対応する方法として、例えば非特許文献３で提案されているように、人物を頭・手・足・胴体等の部分に分割して検出し、それらの検出結果を統合する方法がある。また、非特許文献４では、異なる隠れ部分を予め想定した複数の人物検出器を用意しておき、これらの検出器のうち反応の高い結果を採用する方法が提案されている。一方、非特許文献５では、画像から得られる特徴量等から人物の隠れ領域を推定して、その結果に応じて人物の検出処理を行う方法が提案されている。

一方、ＲＧＢ画像だけでなく、ＲＧＢ画像の色や濃淡の値に替えて或いはこれに加えてカメラなどの画像入力装置から対象物までの距離の値を持った画像である距離画像を用いて、画像中の人物の検出の性能を向上させる方法がある。これらの方法においては、ＲＧＢ画像における検出方法と同様に距離画像を扱い、距離画像からＲＧＢ画像と同様に特徴量を抽出して人物の検出及び認識に利用している。例えば、特許文献１では距離画像の勾配を求めて、それを距離勾配特徴量として用い、人物の検出を行っている。

特開２０１０−１６５１８３号公報

Viola and Jones, "Rapid Object Detection using Boosted Cascade of Simple Features", Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Dalal and Triggs, "Histograms of Oriented Gradients for Human Detection", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005 Felzenszwalb et al.,"A discriminatively trained, multiscale, deformable part model", IEEE Conference on Computer Vision and Pattern Recognition, 2008 Mathias et al., "Handling occlusions with franken-classifiers", IEEE International Conference on Computer Vision, 2013 Wang et al., "An HOG-LBP Human Detector with Partial Occlusion Handling", IEEE 12th International Conference on Computer Vision, 2009

しかしながら、非特許文献３又は非特許文献４に開示されているような方法を用いて人物の検出を行おうとすると、人物検出のための演算処理量が著しく増加してしまう。これは、非特許文献３の技術では、人物の部分ごとに検出処理を行う必要があり、非特許文献４の技術では、異なる隠れ部分を想定した複数の人物検出器を用いて処理を行う必要があるためである。増加した演算処理量を処理するためには、数多くのプロセスを起動させ又は複数の検出器を設けるため装置が複雑化し、さらに高い処理負荷に耐え得るプロセッサ等が必要となってしまう。また、非特許文献５に開示されている隠れ領域を推定する方法においては、隠れ領域の推定を高精度に行うことは困難であり、人物の検出精度がその推定結果に依存してしまう。このように、検出対象となり得る物体（被写体）同士が画像中で重畳する等、混雑している状況下で人物を検出する場合、従来は、画像中の人物の一部が他の物体によって隠されている状態を考慮して、検出対象の人物（物体）を画像から適切に識別することは困難であった。

同様に、混雑している状況下で人物を検出する場合、たとえそれぞれの領域において人物を検出できたとしても、従来は、検出された人物を同定する際において、これら人物が検出された領域（部分領域）が重なる場合に一つの領域に一律に統合していた。その結果、実際の人物の数より少ない数の人物しか検出できない等の検出漏れや誤検出を招いていた。人物検出器は通常一人の人物に対して複数の検出結果を出力することが多く、物理的に重なる領域を一つの領域として（すなわち、複数の出力結果が一人の人物からの出力であると推定して、それらの結果を）統合処理している。しかし、実際に混雑した状況では複数の人物が画像中で重畳している場合も多く、一律に領域を統合したのでは、複数の異なる人物としてそれぞれ同定すべきところ、同一の（一人の）人物として同定されてしまい、検出対象の人物のカウントに抜けが生じてしまう。

本発明は、従来の上記課題を解決するためになされたものであり、その目的は、検出対象となり得る物体同士が画像中で重畳する等、混雑した状況を撮像した入力画像からでも、高精度な物体の検出を行うことができる物体検出装置、物体検出方法、画像認識装置及びプログラムを提供することである。

本発明の目的を達成するために、本発明の物体検出装置は以下の構成を備える。
すなわち、本発明のある態様によれば、取得された画像から、複数の部分領域を抽出する抽出手段と、抽出された前記部分領域中の画素ごとの距離を取得する距離取得手段と、前記部分領域が所定の物体を含むか否かを識別する識別手段と、前記識別手段により前記所定の物体を含むと識別された部分領域のうち、互いに重複する複数の部分領域のそれぞれに対応する距離を比較して、距離の差分が所定の閾値より小さい場合に、前記互いに重複する複数の部分領域の識別結果を統合すると判定する判定手段と、統合すると判定された前記複数の部分領域の識別結果を統合し、統合された前記複数の部分領域の識別結果から検出対象の物体を検出する統合手段と、を具備する物体検出装置が提供される。
上記の構成によれば、取得された画像中の画素ごとの距離を用いて入力画像中の複数の部分領域の識別結果を統合するか否かを判断しているので、画像中で複数の物体が重畳している場合でも、これら重畳している複数の物体を統合して同一物体と同定してしまうおそれを低減することができる。

上記の構成によれば、取得された画像中の画素ごとの距離を用いて、入力画像中の部分領域中で検出すべき物体を含む領域を推定し、この推定結果に基づいて部分領域内の局所領域の局所特徴量を算出しているので、画像中で複数の物体が重畳している場合でも、検出すべき物体に重畳している別の物体を容易に区別して局所特徴量の算出対象から除き、物体検出のための演算処理量を抑制しつつ、適切に検出対象の物体を検出することができる。

また、本発明の他の態様によれば、取得された所定の画像から、複数の部分領域を抽出するステップと、抽出された前記部分領域中の画素ごとの距離を取得するステップと、前記部分領域が所定の物体を含むか否かを識別するステップと、前記所定の物体を含むと識別された前記部分領域のうち、互いに重複する複数の部分領域のそれぞれに対応する距離を比較して、距離の差分が所定の閾値より小さい場合に、前記互いに重複する複数の部分領域の識別結果を統合すると判定するステップと、統合すると判定判断された前記複数の部分領域の識別結果を統合し、統合された前記複数の部分領域の識別結果から検出対象の物体を検出するステップと、を含む物体検出方法が提供される。

本発明によれば、画像中で複数の物体が重畳している場合でも、これら重畳している複数の物体を同一物体と同定してしまうおそれを低減し、物体の検出漏れや誤検出を抑制することができる。したがって、混雑した状況下で撮像した画像に基づいた場合でも、高精度な物体の検出が実現できる。

本発明の実施形態に係る物体検出装置の構成の一例を示すブロック図である。 本発明の実施形態に係る図１の人体識別部の構成の一例を示すブロック図である。 本発明の実施形態に係る図１の領域統合部の構成の一例を示すブロック図である。 本発明の実施形態に係る物体検出処理の処理フローを説明するフローチャートである。 本発明の実施形態に係る人体識別処理の詳細処理フローを説明するフローチャートである。 入力される画像データの例を示す図である。 図６の入力画像から抽出される部分領域画像の例を示す図である。 図６の入力画像から抽出される部分領域画像の他の例を示し、複数の人物が重畳する画像の例を示す図である。 距離画像の例を示す図である。 特徴ベクトルの一例を説明する図である。 本発明の実施形態に係る領域統合処理の詳細処理フローを説明するフローチャートである。 人物検出結果の例を示す図である。 図１２に対応する距離画像の他の例を示す図である。 物体検出装置を構成するコンピュータのハードウエア構成の一例を示す構成図である。

以下、添付図面を参照して、本発明の実施形態を詳細に説明する。
なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。
なお、本明細書及び請求の範囲において、物体の「検出」とは検出対象の物体であるか否かを検出することをいい、例えば検出すべき物体が画像中の人物であれば、当該画像中に複数の人物がいる場合に各個体を区別することなく、画像中に何人の人がいるかを検出する場合等がこれに該当する。他方、画像中の各個体を他の個体から区別すること（例えば特定の人物（Ａ氏、Ｂ氏など）を区別すること）は、物体の「認識」と一般に称される。また、検出対象が人物以外の物体（例えば動物、自動車、建物等の任意の物体）の場合にも同様にこれらの概念を適用することができる。

（物体検出装置の構成）
以下、本実施形態では、画像から検出すべき物体が人物であって、人物の頭部及び肩を包含する部分を人体として検出する例につき説明する。しかしながら、本実施形態を適用可能な検出対象物体は人物（人体）に限定されず、後述するパターン照合用モデルを対象物体に適合させることにより他のあらゆる被写体に適用可能であることは当業者に容易に理解され得る。

図１は、本実施形態に係る物体検出装置の構成の一例を示す。図１に示すように、本実施形態に係る物体検出装置１０は、画像取得部１００及び２００、距離取得部３００、領域抽出部４００、人体識別部５００、領域統合部６００、結果出力部７００及び記憶部８００を備える。物体検出装置１０は、請求の範囲の物体検出装置の一例に相当する。
画像取得部１００及び画像取得部２００は、外部に設けられるカメラ等の撮像手段により撮像された画像データをそれぞれ取得し、距離取得部３００及び領域抽出部４００に取得された画像データを供給する。或いは、画像取得部１００及び画像取得部２００がカメラ等の撮像手段（画像入力装置）として構成され、画像を撮像するとともに図１の後段に設けられた距離取得部３００及び領域抽出部４００に画像データを供給してもよい。

なお、図１において画像取得部１００及び２００は、後述するステレオマッチングの原理に基づきそれぞれで取得された画像データに基づき距離取得部３００において画像の距離を求めるため、複数（２つ）設けられているがこれに限定されない。例えば他の手法により距離を得る場合には、画像取得部は１つ設けられてもよい。ここで取得される画像データは、例えばＲＧＢ画像であってよい。
距離取得部３００は、画像取得部１００及び画像取得部２００でそれぞれ取得された画像データに基づき、画像取得手段１００で取得した画像データ中の各画素に対応する距離を取得し、人体識別部５００及び領域統合部６００に供給する。距離取得部３００は、請求の範囲の距離取得手段の一例に相当する。

ここで、距離取得部３００が取得する「距離」とは、画像中に撮像される物体の奥行き方向（画像に対して垂直方向の）の距離をいい、カメラ等の撮像手段（画像入力装置）から撮像される対象物までの距離である。画像中の各画素毎にこの距離のデータが付与された画像データを、「距離画像」といい、距離取得部３００は、この距離画像から距離を得てもよい。距離画像は、各画素の値として（輝度や色に替えて、又は輝度や色と共に）距離の値を有する画像であるととらえることができる。距離取得部３００は、この画素ごとに特定される距離の値を、人体識別部５００及び領域統合部６００に供給する。距離取得部３００はまた、取得した画像の距離画像又は距離を、距離取得部３００の内部メモリ又は記憶部８００に格納してよい。

なお、本実施形態における距離とはいわば正規化された距離であってよい。すなわち、厳密には、撮像装置（の視点）からの距離としては、画像取得部の光学系の焦点距離や、２つの画像取得部の左右に離間している離間距離等を考慮して実際の距離測定を行うものではあるが、本実施形態では被写体の奥行き方向の距離の差（視差ずれ量）を物体検出に利用できればよいため、必ずしも現実の距離を厳格に求めなくても足りる。

領域抽出部４００は、画像取得部１００又は画像取得部２００で取得された画像データ中に、部分領域を設定する。この部分領域は、取得された画像中に設定され、人物であるか否かの判定を行う単位領域（検出領域）となる。各部分領域に対してその部分領域が人物の画像を含むか否かが判断される。領域抽出部４００は、請求の範囲の抽出手段の一例に相当する。

領域抽出部４００は、画像取得部１００（又は画像取得部２００）で取得された画像データ中に設定した部分領域の画像データ（以下、「部分領域画像」と称する。）を抽出する。この部分領域の設定は、画像データ中に網羅的に複数（多数）の部分領域を設定することにより行われる。好適には、ある部分領域は他の部分領域とある程度重複する位置に設定される。部分領域設定の詳細については後述する。

人体識別部５００は、領域抽出部４００により抽出された部分領域の画像（部分領域画像）が人物か否かを、各部分領域毎に判定し、その部分領域が人物であると判定した場合にはどの程度人物らしいかを表す尤度（以下、「スコア」と称する。）とともに当該部分領域画像の位置座標を出力する。部分領域ごとのスコアと位置座標とは、人体識別部５００の内部メモリ又は記憶部８００に格納されてよい。本実施形態において、人体識別部５００は、人物か否かの判定を行う際に、距離画像取得部３００で取得された距離画像又は距離を利用して選択的に画像特徴量を算出する。その詳細な動作については後述する。人体識別部５００は、請求の範囲の識別手段の一例に相当する。

領域統合部６００は、人体識別部５００で人物であると判定された部分領域画像が複数重なっている場合に検出結果（識別結果）を統合する。すなわち、人物であると判断された部分領域が位置座標上重複している場合に、これら重複する複数の部分領域画像を統合する。一般に、統合された部分領域画像から、一人の人物が同定され、検出され得る。領域統合部６００は、検出結果を統合するか否かの判断を行う際に、距離画像取得部３００で取得された距離画像又は距離を利用する。その詳細な動作については後述する。

結果出力部７００は、領域統合部６００により統合された人体検出結果を出力する。例えば、人物であると判定された部分領域の画像の輪郭を表す矩形を画像取得部１００又は画像取得部２００で取得された画像データに重畳してディスプレイ等の表示装置に表示させてよい。この結果、ディスプレイ上で、画像中で検出された人物を囲むような矩形が表示され、どれだけの人物の検出が行われたのか、容易に知ることが可能となる。

記憶部８００は、画像取得部１００、画像取得部２００、距離取得部３００、領域抽出部４００、人体識別部５００、領域統合部６００及び結果出力部７００から出力されるデータを必要に応じて内部又は外部の記憶装置に格納する。
物体検出装置１０により検出された画像中の人物は、さらに後段で特定人物として認識されてよい。このような認識を行う認識部は、請求の範囲の認識手段の一例に相当する。物体検出装置１０と、このような認識部と、を具備する画像認識装置は、請求の範囲の画像認識装置の一例に相当する。

（人体識別部５００の詳細構成）
図２は、図１の人体識別部５００の詳細構成を示す。図２に示すように、本実施形態に係る人体識別部５００は、隠れ領域推定部５１０と、特徴抽出部５２０と、パターン照合部５３０とを備える。
隠れ領域推定部５１０には、領域抽出部４００から入力される部分領域画像と、距離取得部３００から入力される距離とが入力され、領域抽出部４００により抽出された部分領域画像中に、当該部分領域が人物の画像か否かの判定を行うために、隠れ領域を推定する。この「隠れ領域」とは、特徴抽出部５２０による人物検出のための局所特徴量の算出に用いられない領域であって、例えば、検出対象人物と画像上で重畳する前景の物体（例えば、人物）により隠されている検出対象人物の領域であってよい。隠れ領域推定部５１０は、この隠れ領域を推定する際に、距離画像取得部３００により取得された距離画像を利用する。すなわち、本実施形態において隠れ領域推定部５１０は、隠れ領域の推定を、距離に基づき行い、この推定された隠れ領域は人物の検出に用いられない。隠れ領域推定部５１０は、請求の範囲の推定手段の一例に相当する。

特徴抽出部５２０は、隠れ領域推定部５１０により推定された隠れ領域を除く他の領域から、人物を検出するための特徴量を求める。後述するように、本実施形態では、１つの部分領域を複数の局所ブロック（例えば５×５や、７×７ブロック）に分割してよい。この局所ブロック毎に、人物に該当する可能性があるとして特徴量を求める局所ブロックと、人物に該当する可能性があるがノイズ（例えば、前景）であるので特徴量の算出に用いない局所ブロック、ないし人物には該当しない局所ブロック等とに分類されてよい。特徴抽出部５２０は、例えば、人物に該当して特徴量を求める局所ブロックのみから特徴量（以下、局所ブロックについて算出される特徴量を「局所特徴量」と称する。）を算出してよい。この段階における人物か否かの判断は、人物らしき局所ブロックを特定すれば足りるため、人物の輪郭の形状を特徴付ける、例えばオメガ型形状や略逆三角形の形状、頭、肩、胴体、足などの左右対称性形状等の形状モデルを利用して簡便に行うことができる。特徴抽出部５２０は、請求の範囲の算出手段の一例に相当する。また、局所ブロックは、請求の範囲の局所領域の一例に相当する。

このように隠れ領域推定部５１０及び特徴抽出部５２０を構成すれば、特徴量算出の演算処理量が低減されると共に、高精度の人物検出が可能となる。
なお、特徴抽出部５２０は、隠れ領域推定部５１０により推定される隠れ領域を用いて、さらに画像中の背景領域を除いて特徴量を算出してもよく、人物に該当する領域の輪郭の特徴量のみを算出してもよく、これらを上記と適宜組み合わせて算出してもよい。

パターン照合部５３０は、特徴抽出部５２０により求められた局所特徴量から、領域抽出部４００により抽出された部分領域画像が人物か否かを判定する。この段階における人物検出の判定は、所定の人物モデルと、算出された局所特徴量を結合して得られる特徴ベクトルとをパターン照合することで実行することができる。パターン照合部５３０は、請求の範囲の識別手段の一例に相当する。

（領域統合部６００の詳細構成）
図３は、図１の領域統合部６００の詳細構成を示す。図３に示すように、本実施形態に係る領域統合部６００は、同一人物判定部６１０と、部分領域統合部６２０とを備える。
同一人物判定部６１０には、人体識別部５００から入力される人体識別結果と、距離取得部３００から入力される距離とが入力され、互いに重複する複数の部分領域画像が同一人物か否かを、距離を利用して判定し、異なる人物であると判断された部分領域同士は統合されないよう指令する信号を、部分領域統合部６２０に出力する。同一人物判定部６１０は、請求の範囲の判定手段の一例に相当する。

部分領域統合部６２０は、同一人物判定部６１０から入力される信号に従って、異なる人物であると判断された部分領域同士を除き、重複する複数の部分領域を統合して、この部分領域統合により得られた人物検出結果を結果出力部７００及び記憶部８００に出力する。部分領域統合部６２０は、請求の範囲の統合手段の一例に相当する。
このように同一人物判定部６１０及び部分領域統合部６２０を構成すれば、異なる複数の人物が一人の人物として同定されることが有効に防止され、人物の検出漏れや誤検出が低減できる。

（物体検出装置１０の物体検出処理）
以下、本実施形態に係る物体検出装置１０の動作を図４に示す処理フローチャートに従って説明する。 まず、画像取得部１００及び画像取得部２００は撮像された画像データを取得する。取得した画像データは、それぞれ画像取得部１００及び画像取得部２００の内部のメモリに、又は記憶部８００に記憶される（ステップＳ１００）。
なお、ここで画像取得部１００及び画像取得部２００により取得される画像を撮影するシーンでは、ほぼ完全に重複するように撮像手段の視野が調整されている。また、画像取得部１００及び画像取得部２００にそれぞれ入力される２つの画像を撮像する２つの撮像手段は、所定の距離間隔をあけて、左右に並んで配置されてよい。これによって、いわゆるステレオ視による距離計測を行うことができ、距離のデータ（距離画像）を取得することが可能となる。

更に、画像取得部１００及び画像取得部２００は、取得された画像データを所望の画像サイズに縮小してよい。例えば、取得した画像データに対して０．８倍、更にその０．８倍（即ち０．８^２倍）、…となるよう所定回数だけ縮小処理を行い、異なる倍率の縮小画像を、画像取得部１００の内部メモリ又は記憶部８００に記憶する。これは、取得された画像中から異なるサイズの人物をそれぞれ検出するためである。

距離取得部３００は、画像取得部１００及び画像取得部２００により取得された画像データから、画像取得部１００（又は画像取得部２００、以下同様。）により取得された画像データのそれぞれの画素に対応する距離を取得する（ステップＳ３００）。
本実施形態においては、距離データの取得はステレオマッチングの原理に基づいて行われてよい。すなわち、画像取得部１００により取得された画像データのそれぞれの画素に対応する画像取得部２００の画素位置をパターンマッチングによって求め、その視差ずれ量の２次元分布を距離画像として得ることができる。
なお、距離の取得はこの方法だけに限定されず、例えば、符号化パターンを投光して距離画像を得るパターン投光方式や、光の飛行時間をもとに距離をセンサで測るＴｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ（ＴＯＦ）方式に依ってもよい。取得された距離画像は距離取得部３００の内部メモリ又は記憶部８００に記憶される。

領域抽出部４００は、画像取得部１００により取得された画像データ中に、人物か否かの判定を行う部分領域を設定し、部分領域画像を抽出する（ステップＳ４００）。
このとき、画像取得部１００により取得された画像及び複数の縮小画像について順次、画像の上左端から下右端まで所定サイズの部分領域を所定量だけ位置をずらして切り出すようにする。すなわち、取得された画像中から様々な位置及び倍率の物体を検出できるように、画像中網羅的に部分領域を抽出する。例えば、部分領域の縦横９０％がオーバーラップするように切り出し位置をシフトしていけばよい。

人体識別部５００は、領域抽出部４００により抽出された部分領域画像が人物か否かを判定し、人物であると判定した場合にはその尤度を示すスコアとともに部分領域画像の位置座標を出力する（ステップＳ５００）。この人体識別処理の詳細については後述する。
ステップＳ５１０において、すべての部分領域が処理されたか否かが判断され、全ての部分領域が処理されるまで（ステップＳ５１０Ｙ）、ステップＳ４００及びＳ５００の処理が画像中の部分領域毎に順次繰り返して行われる。
領域統合部６００は、人体識別部５００により人物であると判定された部分領域画像が複数重なる場合に検出結果を統合する（ステップＳ６００）。この領域統合処理の詳細については後述する。結果出力部７００は、領域統合部６００により統合された人体識別結果を出力する（ステップＳ７００）。

（人体識別部５００の人体識別処理）
次に、図５を参照して、人体識別部５００が実行する人体識別処理の詳細動作を説明する。
まず、人体識別部５００は、人体識別処理対象とする部分領域画像の基準距離を、距離取得部３００から取得する（ステップＳ５１０）。ここで部分領域画像の「基準距離」とは、部分領域画像中の基準となる位置に対応する距離である。
図６は、画像取得部１００により取得された画像データの例を示す。図６において、部分領域Ｒ１，Ｒ２は矩形であってよく、図６には部分領域Ｒ１、Ｒ２のみが示されているが、上述したように、互いに縦横方向、共にある程度、例えば９０％程度オーバーラップするように多数配置されてよい。例えば、部分領域群は、隣接する部分領域とオーバーラップしながら、画像データ中を網羅的に設定されてよい。

図７は、図６の部分領域Ｒ１に対応する部分領域画像の例を示す。図７において、部分領域画像Ｒ１は例えば５×５の局所ブロック群（Ｌ１１、Ｌ１２、・・・、Ｌ５４、Ｌ５５）に分割されている。局所ブロックへの分割はこれに限定されず、部分領域内で任意の単位で分割されてよい。
図７では、この部分領域Ｒ１中で、斜線部分の局所ブロックＬ２３に対応する距離を上述した基準距離とする。例えば図７に示すように、人物であろうと推定される物体の頭部にあたる部分の距離を、基準距離とすることができる。なお、上述のように、本実施形態では、まずオメガ型形状等のモデルを用いて、人物と思われる領域から頭部や肩の検出を行っているので、その頭部や肩部がちょうど部分領域に囲まれるような位置にあるように部分領域が設定され、図７に示すように、頭部に該当するような大きさになるように基準距離を取得するための局所ブロックの大きさが設定されてよい。他の物体のモデルを採用する場合は、局所ブロックの大きさはそのモデルに合わせて設定されればよい。

ここで、基準距離をｄ０で表すと、以下の式１により、基準距離ｄ０を得ることができる。
ｄ０＝１÷ｓ０ （式１）
但し、ｓ０は距離取得部３００から得られる図７の斜線部分の局所ブロックＬ２３の視差ずれ量であり、ｓ０＞０となる値である。なお、ｓ０は、図７の斜線部分の局所ブロックＬ２３に対応する距離画像中の代表視差ずれ量であってよい。この代表視差ずれ量とは、この局所ブロックＬ２３の中心画素の視差ずれ量、又は、その局所ブロックＬ２３内画素の平均視差ずれ量、のいずれかであってよいが、これに限定されず、他の統計的手法で求めた値でもよい。

図５に戻り、次に、隠れ領域推定部５１０は、得られた部分領域画像内に局所ブロックを設定する（ステップＳ５２０）。この局所ブロックは、図７に示すように部分領域画像を所定の大きさの矩形領域に分割した小領域である。図７では部分領域画像を５×５ブロックに分割した例が示されている。この局所ブロックは図７のように互いに重ならないように分割してもよいし、一部重なるようにして分割するようにしてもよい。図７では、最初に左上のブロックＬ１１を設定し、右下のブロックＬ５５まで順に処理を繰り返すように設定されている。

次に、ステップＳ５２０で設定された処理対象局所ブロックに対応する距離（以下、「局所距離」と称する。）を距離取得部３００から取得する（ステップＳ５３０）。この局所距離の取得はステップＳ５１０と同様にして行うことができる。
隠れ領域推定部５１０は、ステップＳ５１０、及び、ステップＳ５３０において、それぞれ取得された基準距離と局所距離とを比較し、Ｓ５２０で設定された局所ブロックが隠れ領域であるかどうかを推定する（ステップＳ５４０）。具体的には、基準距離をｄ０、局所距離をｄ１とするとき、以下の式２が成り立つ場合に、当該処理対象の局所領域を隠れ領域と判定する。
ｄ０―ｄ１＞ｄＴ１ （式２）
但し、ｄＴ１は予め定めた閾値であり、例えば人物が検出対象の場合、おおよそ人物の体の厚みに対応する値であってよい。上述したように、本実施形態における距離とは、いわば正規化された距離であるので、このｄＴ１もまた、正規化された人体の厚みに相当する値であってよい。ステップＳ５４０で局所ブロックが隠れ領域と判定された場合は、特徴抽出部５２０は、特徴抽出処理を行わないで、例えば、特徴量の値に替えて‘０’を出力する（ステップＳ５５０）。

一方、Ｓ５４０で局所ブロックが隠れ領域でないと判定された場合は、特徴抽出部５２０は、当該局所ブロックから特徴抽出を行う（ステップＳ５６０）。この特徴抽出においては、例えば非特許文献２で提案されているＨＯＧ特徴量を算出することができる。なお、ここで算出する局所特徴量はＨＯＧ特徴量の他に輝度、色、エッジ強度などの特徴量を用いてもよいし、これらの特徴量をＨＯＧ特徴量と組み合せてもよい。
以上説明したステップＳ５２０からステップＳ５６０までの処理が、画像中の局所ブロック毎に順次繰り返して行われる（ステップＳ５７０）。全ての局所ブロックに対する処理が終了後（ステップＳ５７０Ｙ）、ステップＳ５８０に処理が移行する。

図８を用いて隠れ領域推定部５１０が実行する隠れ領域推定処理（選択的局所特徴量抽出処理）を説明する。図８に示される部分領域画像Ｒ２は、図６の画像中の部分領域Ｒ２に対応する部分領域画像である。図８の例では後景の人物Ｐ１の左肩部が前景の人物Ｐ２の頭部によって隠されている。このような状況では図８の斜線で示したブロック（左下部分の３×３のブロック）の部分は後景の人物Ｐ１を検出するためのノイズ要因になるため、後段のパターン照合処理での人体識別精度が劣化する。

本実施形態では、ここで距離画像を利用することでこの識別精度劣化を低減することができる。図９は、図８の部分領域画像に対応する距離画像９０１における距離を濃淡で示したデプスマップを示し、図９で黒の濃度が高い部分ほど遠距離であることを表す。ステップＳ５４０において、図９における局所ブロック間の距離を比較することによって図８の斜線部分からの局所特徴量の抽出を回避し、人体識別精度の劣化を抑制することができる。

図５に戻り、特徴抽出部５２０は、局所ブロック毎に求めた特徴量を結合して特徴ベクトルを生成する（ステップＳ５８０）。図１０に、結合された特徴ベクトルの詳細を示す。図１０において、斜線部分は隠れ領域でないと判定された局所ブロックの特徴量部分であり、ＨＯＧ特徴量の値が並ぶ。ＨＯＧ特徴量は、例えば、９つの実数値であってよい。一方、隠れ領域と判定された局所ブロックでは図１０に示すように‘０’の値を９つの実数値として並べておき、ＨＯＧ特徴量の次元と揃える。局所特徴量がＨＯＧ特徴量と異なる場合も特徴量の次元を揃えるように‘０’の値を入れておけばよい。特徴ベクトルはこれらの特徴量を結合した一つのベクトルであり、局所特徴量の次元をＤ、局所ブロックの数をＮとすると、Ｎ×Ｄ次元の特徴ベクトルとなる。

図５に戻り、パターン照合部５３０は、ステップＳ５８０で求められた隠れ領域を除いた領域から得られた特徴ベクトルに基づき、部分領域画像が人物であるか否かを判定する（ステップＳ５９０）。例えば非特許文献２で提案されているように、ＳＶＭ（サポートベクターマシン）による学習を行って得られたパラメータを用いて人物かどうかを判定することができる。ここでのパラメータは各局所ブロックに対応する重み係数及び判定を行うための閾値である。パターン照合部５３０ではステップＳ５８０で求められた特徴ベクトルとパラメータ中の重み係数との積和演算を行い、演算結果と閾値とを比較して人体の識別結果を得る。ここで、パターン照合部５３０は、演算結果が閾値以上の場合は、演算結果をスコアとして出力するとともに部分領域を表す位置座標を出力する。この位置座標は、画像取得部１００により取得された入力画像中の部分領域の上下左右端の垂直及び水平座標値である。一方、演算結果が閾値より小さい場合、出力は行われない。このようにして得られた検出結果は、パターン照合部５３０内の不図示のメモリ又は記憶部８００に記憶される。
なお、人体識別処理の手法はＳＶＭによるパターン照合に限定されず、例えば非特許文献１で用いられているアダブースト学習にもとづくカスケード型識別器を利用することもできる。

（領域統合部６００の部分領域統合処理）
次に、図１１を参照して、領域統合部６００が実行する分部領域統合処理の動作を説明する。
領域統合部６００は、人物であるとして検出された複数の部分領域から、重複する検出結果を統合する処理を実行する。まず、同一人物判定部６１０は、ステップＳ５００で得られた検出結果のリストから一つの検出結果を、人物領域として取得する（ステップＳ６１０）。
次に、同一人物判定部６１０は、ステップＳ６１０で取得した検出結果の位置座標から対応する部分領域の距離を距離取得部３００から取得する（ステップＳ６２０）。この距離の取得は、図５に示したステップＳ５１０と同様にして行うことができる。

次に同一人物判定部６１０は、ステップＳ６１０で取得した検出結果と重複する部分領域を検出結果のリストから取得する（Ｓ６３０）。具体的には、ステップＳ６１０で取得した検出結果の位置座標と検出結果のリストから取り出した一つの部分領域の位置座標とを比較し、２つの部分領域が以下の式３を満たすとき、重複する部分領域であると判定する。
ｋ×Ｓ１＞Ｓ２ （式３）
但し、Ｓ１は２つの部分領域が重なっている部分の面積、Ｓ２は２つの部分領域のどちらかのみに属する部分の面積であり、ｋは予め定めた定数である。すなわち、重なっている部分が所定割合より多ければ、これらが重複していると判断する。
同一人物判定部６１０は、ステップＳ６３０で取得した部分領域の距離を距離取得部３００から取得する（ステップＳ６４０）。この距離の取得はステップＳ６２０と同様にして行うことができる。

次に、ステップＳ６２０で取得された検出結果の部分領域の距離と、Ｓ６４０で取得された重複する部分領域の距離とを比較して、２つの部分領域が同じ人物を検出しているか否かを判定する（ステップＳ６５０）。具体的には、重複する２つの部分領域の距離をそれぞれｄ２、ｄ３とするとき、以下の式４が成り立つ場合に、同一人物と判定する。
ａｂｓ（ｄ２―ｄ３）＜ｄＴ２ （式４）
但し、ｄＴ２は予め定めた閾値であり、例えば検出対象が人物の場合、おおよそ人物の厚みに対応する値であってよい。また、ａｂｓ（ ）は絶対値演算を表す。

図１２は、図８における部分領域Ｒ２近傍の検出結果の例を示す。図１３は、図１１に対応する距離画像１３０１のデプスマップの例を示す。この図１３の距離画像でも、濃度が高い方が遠く、薄い方が近くを表すものとする。
例えば、図１２の破線で表した矩形Ｒ２０がステップＳ６１０で取得された部分領域とし、同じく破線で表した矩形Ｒ２１がステップＳ６３０で取得された部分領域であると仮定する。この場合、両部分領域の距離を比較して同一人物かどうかを判定する。図１３の距離画像１３０１を参照すると、上記式４に従い、距離の差が所定値内にあるとして、同一人物であると判定できる。

一方、図１２の破線で表した矩形Ｒ２２をステップＳ６３０で取得された部分領域とするときは、矩形Ｒ２０で表される部分領域とは、上記式４に従い、距離の差が所定値より大きいので別人物であると判定できる。
なお、重複する２つの部分領域のそれぞれの距離として、所定位置の局所ブロックに対応する距離を用いたが、本実施形態はこれに限定されない。例えば、部分領域内の各ブロックの距離を求めて、その平均値、あるいは、中間値、最頻値等を用いるようにしてもよい。また、人物であると判断した局所特徴量を算出した局所ブロックの距離の平均値を用いてもよい。

図１１に戻り、同一人物判定部６１０が、ステップＳ６５０で２つの部分領域が同じ人物を検出していると判定した場合は、部分領域統合部６２０は、検出結果を統合する（ステップＳ６６０）。この統合処理は、人体識別部５００で求めた２つの部分領域のスコアを比較し、スコアの低い、すなわち、人物らしさの低い部分領域を検出結果のリストから削除することによって行う。一方、同一人物判定部６１０が、ステップＳ６５０で２つの部分領域が別人物を検出していると判定した場合は、部分領域の統合処理は行われない。なお、統合処理はスコアの低い部分領域をリストから削除する方法には限定されない。例えば、両部分領域の位置座標の平均を求めて、その平均位置に位置する部分領域が統合後の部分領域であると設定してもよい。

ステップＳ６１０で取得された検出結果（１つの部分領域）と重複する他の全ての部分領域に対してステップＳ６３０からステップＳ６６０までの処理が順次繰り返して行われる（ステップＳ６７０）。また、ステップＳ５００で得られた全ての検出結果に（含まれる全ての部分領域に）対してＳ６１０からＳ６６０までの処理が順次繰り返して行われる（ステップＳ６８０）。

以上説明したように、本実施形態では、距離を利用して入力画像中の部分領域中で検出すべき人物と重畳する物体により人物が隠される隠れ領域を推定し、この推定結果に基づいて部分領域内の局所領域の局所特徴量を算出しているので、混雑した状況下においても物体検出のための演算処理量を抑制しつつ、適切に検出対象の物体を検出することができる。
また、本実施形態では、距離を利用して互いに重複する部分領域が同一人物を捉えているのか、別人物なのかを判断し、別人物と判断した場合には、重複する部分領域を一律に統合する処理を回避することができるので、混雑した状況下においても精度よく人物を検出することができる。

（変形例）
以上、画像から人物を検出する場合に本発明を適用する例について説明したが、照合に用いるパターンを人物以外の物体に適合させれば、画像中に撮像可能なあらゆる物体を検出対象とすることができる。
また、上記では前景物体により隠される後景物体を検出する例を説明したがこれに限定されず、例えば、距離を利用して、後景物体と重畳して輪郭抽出が困難な前景物体の検出に適用することもできるし、背景画像から検出対象物体を有効に検出することもできる。

図１４は、本実施形態に係る物体検出装置１０の全部又はその一部のコンポーネントを構成するコンピュータ１０１０の例を示す。図１４に示すように、コンピュータ１０１０は、プログラムを実行するＣＰＵ１０１１と、プログラムその他のデータを格納するＲＯＭ１０１２と、プログラムやデータが格納されるＲＡＭ１０１３と、ハードディスクや光学ディスク等である外部メモリ１０１４と、キーボードやマウス等により操作者の操作入力やその他のデータを入力する入力部１０１６と、画像データ等や検出結果、認識結果等を表示する表示部１０１７と、外部との通信を行う通信Ｉ／Ｆ１０１８と、これらを接続するバス１０１９と、を備えてよく、さらに画像を撮像する撮像部１０１５を備えてもよい。

コンピュータ１０１０中のＣＰＵ１０１１が、ＲＯＭ１０１２や外部メモリ（ハードディスク等）１０１４から読み出したプログラムコードを実行することにより、上記実施形態の画像検出装置の各機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ１０１０上で稼働するオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も、本発明の範囲に含まれることは言うまでもない。

また、上述の実施形態は、これらの１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述した１つ乃至複数のうちのいくつかの効果を有する。

１０ 物体検出装置
１００、２００ 画像取得部
３００ 距離取得部
４００ 領域検出部
５００ 人体識別部
５１０ 隠れ領域推定部
５２０ 特徴抽出部
５３０ パターン照合部
６００ 領域統合部
６１０ 同一人物判定部
６２０ 部分領域統合部
７００ 結果出力部
８００ 記憶部

Claims (18)

1. 取得された画像から、複数の部分領域を抽出する抽出手段と、
   抽出された前記部分領域中の画素ごとの距離を取得する距離取得手段と、
   前記部分領域が所定の物体を含むか否かを識別する識別手段と、
   前記識別手段により前記所定の物体を含むと識別された部分領域のうち、互いに重複する複数の部分領域のそれぞれに対応する距離を比較して、距離の差分が所定の閾値より小さい場合に、前記互いに重複する複数の部分領域の識別結果を統合すると判定する判定手段と、
   統合すると判定された前記複数の部分領域の識別結果を統合し、統合された前記複数の部分領域の識別結果から検出対象の物体を検出する統合手段と、
   を具備することを特徴とする物体検出装置。
2. 前記判定手段は、前記所定の物体を含むと識別された部分領域に対応する距離と、該部分領域と重複する部分領域に対応する距離とを比較して、双方の距離の差分が所定の閾値より小さい場合に、前記互いに重複する複数の部分領域中の物体が同一であると判定することを特徴とする請求項１に記載の物体検出装置。
3. 抽出された前記部分領域内に複数の局所領域を設定する設定手段と、
   前記距離に基づいて、前記複数の部分領域中で、所定の物体を含む領域を推定する推定手段と、
   前記推定手段が推定した結果に基づいて、前記部分領域内の前記局所領域の局所特徴量を算出する算出手段とをさらに具備し、
   前記識別手段は、算出された前記局所特徴量に基づいて、前記部分領域が前記所定の物体を含むか否かを識別することを特徴とする請求項１に記載の物体検出装置。
4. 前記推定手段は、前記部分領域中の基準となる位置に設定された基準距離と、前記局所領域について取得された距離とを比較して、双方の距離の差分が所定の閾値以下の場合に、前記局所領域が前記所定の物体を含むと推定することを特徴とする請求項３に記載の物体検出装置。
5. 前記推定手段は、前記距離に基づいて、前記部分領域中で、前記所定の物体が該物体に重畳する前景物体により隠される局所領域を推定し、
   前記算出手段は、前記部分領域内の前記局所領域のうち、前記隠される局所領域と推定された局所領域からは前記局所特徴量を算出しないことを特徴とする請求項３又は４に記載の物体検出装置。
6. 前記算出手段は、前記推定手段が推定した結果に基づいて、前記局所領域中の検出対象の物体の輪郭の領域の局所特徴量を算出することを特徴とする請求項３から５のいずれか１項に記載の物体検出装置。
7. 前記識別手段は、算出された前記局所特徴量から特徴ベクトルを生成し、生成された前記特徴ベクトルと、各局所領域について予め設定された重み係数とをパターン照合することにより、前記部分領域が前記所定の物体を含むか否かを識別することを特徴とする請求項３から６のいずれか１項に記載の物体検出装置。
8. 前記距離は、取得された前記画像を撮像した撮像装置から撮像された対象物までの奥行き方向の距離であることを特徴とする請求項１から７のいずれか１項に記載の物体検出装置。
9. 請求項１から８のいずれか１項に記載の物体検出装置と、
   前記取得された画像から検出された前記物体を認識する認識手段と、
   を具備することを特徴とする画像認識装置。
10. 取得された所定の画像から、複数の部分領域を抽出するステップと、
    抽出された前記部分領域中の画素ごとの距離を取得するステップと、
    前記部分領域が所定の物体を含むか否かを識別するステップと、
    前記所定の物体を含むと識別された前記部分領域のうち、互いに重複する複数の部分領域のそれぞれに対応する距離を比較して、距離の差分が所定の閾値より小さい場合に、前記互いに重複する複数の部分領域の識別結果を統合すると判定するステップと、
    統合すると判定判断された前記複数の部分領域の識別結果を統合し、統合された前記複数の部分領域の識別結果から検出対象の物体を検出するステップと、
    を含むことを特徴とする物体検出方法。
11. 前記判定するステップにおいて、前記所定の物体を含むと識別された部分領域に対応する距離と、該部分領域と重複する部分領域に対応する距離とを比較して、双方の距離の差分が所定の閾値より小さい場合に、前記互いに重複する複数の部分領域中の物体が同一であると判定することを特徴とする請求項１０に記載の物体検出方法。
12. 抽出された前記部分領域内に複数の局所領域を設定するステップと、
    前記距離に基づいて、前記複数の部分領域中で、所定の物体を含む領域を推定するステップと、
    推定された前記結果に基づいて、前記部分領域内の前記局所領域の局所特徴量を算出するステップとを含み、
    前記識別するステップでは、算出された前記局所特徴量に基づいて、前記部分領域が前記所定の物体を含むか否かを識別することを特徴とする請求項１０に記載の物体検出方法。
13. 前記推定するステップにおいて、前記部分領域中の基準となる位置に設定された基準距離と、前記局所領域について取得された距離とを比較して、双方の距離の差分が所定の閾値以下の場合に、前記局所領域が前記所定の物体を含むと推定することを特徴とする請求項１２に記載の物体検出方法。
14. 前記推定するステップにおいて、前記距離に基づいて、前記部分領域中で、前記所定の物体が該物体に重畳する前景物体により隠される局所領域を推定し、
    前記算出するステップにおいて、前記部分領域内の前記局所領域のうち、前記隠される局所領域と推定された局所領域からは前記局所特徴量を算出しないことを特徴とする請求項１２又は１３に記載の物体検出方法。
15. 前記算出するステップにおいて、推定された前記結果に基づいて、前記局所領域中の検出対象の物体の輪郭の領域の局所特徴量を算出することを特徴とする請求項１２から１４のいずれか１項に記載の物体検出方法。
16. 前記識別するステップにおいて、算出された前記局所特徴量から特徴ベクトルを生成し、生成された前記特徴ベクトルと、各局所領域について予め設定された重み係数とをパターン照合することにより、前記部分領域が前記所定の物体を含むか否かを識別することを特徴とする請求項１２から１５のいずれか１項に記載の物体検出方法。
17. 前記距離は、取得された前記画像を撮像した撮像装置から撮像された対象物までの奥行き方向の距離であることを特徴とする請求項１０から１６のいずれか１項に記載の物体検出方法。
18. コンピュータが読み込み実行することで、前記コンピュータを請求項１から８のいずれか１項に記載の物体検出装置の各部として機能させるコンピュータプログラム。
    

Images