JP5780249B2

JP5780249B2 - 画像処理装置及び、当該画像処理装置を用いた車両制御システム

Info

Publication number: JP5780249B2
Application number: JP2013037715A
Authority: JP
Inventors: 映酒井; 孝行宮原
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2012-02-27
Filing date: 2013-02-27
Publication date: 2015-09-16
Anticipated expiration: 2033-02-27
Also published as: JP2013211005A; DE102013203300A1

Description

本発明は、車載カメラの画像内から歩行者を検出する技術に関する。

従来、車両走行の障害となる物体との衝突回避等を目的として、車載カメラの画像内から歩行者を検出する技術が提案されている。例えば、車載カメラの画像内から判別対象となる物体を検出し、その物体に対して歩行者の輪郭パターンを用いたニューラルネットワークの物体判別手法を適用し、歩行者を検出する技術が提案されている。

ところが、歩行者の輪郭パターンを用いたニューラルネットワークの物体判別手法では、歩行者の輪郭パターンに類似した例えば樹木などの物体を歩行者として検出する虞があり、歩行者の検出精度が低下してしまうことがある。

この課題を解決するための手法として、歩行者を構成する所定部位に関する判定を行い、各所定部位の判定出力値の総和が閾値を上回っているか否かで歩行者を判定する技術が提案されている（例えば、特許文献１参照）。例えば、頭、胴体、手、足という所定部位に関する判定を行い、各所定部位の判定出力値の総和を基に検出するという具合である。

特開２００８−２１０３４号公報

しかしながら、上記特許文献１に記載の技術には、歩行者の後ろにいる歩行者や、物陰に隠れた歩行者を精度よく検出できないという課題がある。すなわち、歩行者の頭、胴体、手、足などの所定部位のいくつかが画像内に写らない場合、その所定部位の判定出力値が小さくなることにより、判定出力値の総和が小さくなる。そのため、判定出力値の総和を基に歩行者を検出した場合、歩行者が検出されないことが懸念される。

なお、ここに挙げた課題は、歩行者に限られるものではなく、画像内の対象物を検出する場合にも同様に生じるものである。
本発明は、上述した課題を解決するためになされたものであり、その目的は、画像内の対象物を適切に検出することが可能な画像処理装置及び、当該画像処理装置を用いた車両制御システムを提供することにある。

上記目的を達成するためになされた画像処理装置（１０）は、車両に搭載される撮像装置（３２）からの画像に基づいて対象物を検出する。
この画像処理装置では、パーツモデル記憶手段（６１）に、対象物の特徴を示す各部位であるパーツを画像内から検出可能な複数のパーツモデルが記憶されている。パーツモデルは、例えば対象物が歩行者であれば、頭部に対応する頭部パーツモデル、腕部に対応する腕部パーツモデル、腰部に対応する腰部パーツモデル、脚部に対応する脚部パーツモデルなどとして用意される。また例えば対象物が車両であれば、タイヤに対応するタイヤパーツモデル、テールライトに対応するテールライトパーツモデル、窓に対応する窓パーツモデルなどとして用意される。

このとき、パーツ領域抽出手段（５１）が、パーツモデル記憶手段に記憶されたパーツモデルを用い、パーツ毎のパーツ領域を抽出する。そして、対象物領域推定手段（５１）が、パーツ領域抽出手段にて抽出されたパーツ領域に基づき、対象物が存在する対象物領域を推定する。

つまり、パーツモデルを用いてパーツ毎のパーツ領域を抽出し、パーツ領域に基づいて対象物領域を推定するのである。例えば、歩行者の脚部に対応するパーツ領域だけが抽出された場合でも、当該脚部に対応するパーツ領域から歩行者を対象物とする領域を推定するという具合である。さらに、パーツ領域抽出手段は、画像内でパーツモデルを移動させ、当該パーツモデルと重なった領域であるエリアとの一致度をスコアとして算出し、スコアが予め定められた設定閾値を上回る高スコアエリアに基づき（Ｓ１２０）、撮像された画像内に映る複数の対象物における共通する部位を含む領域をパーツ領域として抽出する。ここで、請求項１に記載の画像処理装置では、対象物は、歩行者であり、パーツ領域抽出手段は、高スコアエリアを包含するパーツグループ領域を抽出した後（Ｓ１３０）、パーツグループ領域に基づいて、前記パーツ領域を抽出し、相互の距離が一定閾値以下である高スコアエリアを包含するようにパーツグループ領域を抽出し、パーツグループ領域における高スコアエリアの密集度が一定閾値以下である場合、当該パーツグループ領域を抽出対象から外すこととしている。一方、請求項２に記載の画像処理装置では、設定閾値は、パーツ毎に定められており、パーツ領域抽出手段は、高スコアエリアを包含するパーツグループ領域を抽出した後（Ｓ１３０）、パーツグループ領域に基づいて、前記パーツ領域を抽出し、相互の距離が一定閾値以下である前記高スコアエリアを包含するようにパーツグループ領域を抽出し、パーツグループ領域における高スコアエリアの密集度が一定閾値以下である場合、当該パーツグループ領域を抽出対象から外すこととしている。したがって、画像内の対象物を適切に検出することができる。

車両制御システムの概略構成を示すブロック図である。歩行者検出処理を示すフローチャートである。パーツモデルを用いた高スコアエリアの抽出を示す説明図である。スコアマップにおけるスコアに対する設定閾値の決定を示す説明図である。パーツグループ領域の抽出を示す説明図である。パーツグループ領域に基づくパーツ領域の抽出及びパーツ領域のスコアの算出を示す説明図である。パーツ領域からの歩行者領域の抽出を示す説明図である。

以下、本発明の一実施形態を図面に基づいて説明する。
本実施形態の車両制御システムは、画像処理装置１０および車両制御装置２０を中心に構成されている。画像処理装置１０には、測距装置３１および撮像装置３２が接続されている。また、車両制御装置２０には、スピーカ４１、ブレーキ４２およびステアリング４３が接続されている。

画像処理装置１０および車両制御装置２０は、いわゆるコンピュータとして構成されている。これにより、画像処理装置１０では、撮像装置３２からの画像に基づき歩行者を検出し、測距装置３１による距離情報に基づき、衝突危険度を判定する。これに対し、車両制御装置２０は、画像処理装置１０から出力される衝突危険度に応じて、スピーカ４１による報知を行ったり、緊急度合が大きい場合には、ブレーキ４２およびステアリング４３による回避制御を行ったりする。

次に、各部の構成について具体的に説明する。
測距装置３１は、レーザレーダなどとして具現化される。もちろん、ミリ波レーダなどの別の構成を用いてもよい。この測距装置３１により、車両前方の物体までの距離を検知することが可能となる。

撮像装置３２は、単眼カメラなどとして具現化される。この撮像装置３２により、車両前方が撮像される。画像処理装置１０では、上述したように、この画像に基づいて歩行者を検出する。

スピーカ４１は、音声出力のための構成である。歩行者との衝突危険度が大きくなると、このスピーカ４１を介して「前方に歩行者がいます」や「注意してください」などの音声が出力される。

ブレーキ４２は、ブレーキの駆動装置を含み、車両制御装置２０からの信号によって、車両を減速させる。また、ステアリング４３は、ＥＰＳ（Electric Power Steering ）装置を含み、車両制御装置２０からの信号によって運転者の操舵をアシストする。このような車両制御が行われるのは、歩行者との衝突危険度がさらに大きくなった場合であり、緊急性の大きい場合である。

画像処理装置１０は、制御部５０および記憶部６０を有している。制御部５０は、いわゆるマイコン（マイクロコンピュータ）として具現化される。制御部５０は、機能ブロックとして、歩行者検出部５１および衝突危険度判定部５２を具備する。また、記憶部６０は、例えばＲＯＭなどとして具現化される。もちろん、ＲＯＭ以外のフラッシュメモリやＨＤＤなどを用いてもよい。記憶部６０は、パーツモデル記憶部６１および衝突危険度判定テーブル記憶部６２を具備している。

ここで歩行者検出部５１は、撮像装置３２から出力される画像内の歩行者を検出する。具体的には後述するが、画像をスキャンすることで、歩行者の各パーツを検出し、歩行者の存在とその位置を推定する。

衝突危険度判定部５２は、歩行者が検出された後、当該歩行者までの距離が測距装置３１にて分かるため、当該歩行者との距離に応じて衝突危険度を判定する。この衝突危険度は、車両制御装置２０へ出力される。

パーツモデル記憶部６１には、パーツモデルが記憶されている。パーツモデルは、歩行者の各パーツをモデル化したものであり、歩行者の各パーツの画像内における分布の検出に用いられる。本実施形態では、頭部、腕部、腰部、および、脚部をパーツとして用意する。以下では、これらのパーツに対応するパーツモデルを「頭部パーツモデル」、「腕部パーツモデル」、「腰部パーツモデル」および「脚部パーツモデル」として適宜区別する。なお、パーツモデルは、例えば、輪郭情報等の各パーツの特徴を表現する特徴ベクトルである。

衝突危険度判定テーブル記憶部６２には、衝突危険度判定テーブルが記憶されている。この衝突危険度判定テーブルは、歩行者までの距離と衝突危険度とを対応付けるテーブルである。衝突危険度判定部５２は、この衝突危険度判定テーブルを参照することで、衝突危険度を判定する。

車両制御装置２０は、報知制御部７０および車両制御部８０を有している。いずれもいわゆるマイコンとして具現化される。報知制御部７０は、スピーカ４１を介した報知を行うための構成であり、衝突危険度が大きくなると、まずはスピーカ４１を介した報知が行われる。車両制御部８０は、ブレーキ４２およびステアリング４３を介した車両制御を行うための構成であり、衝突危険度がさらに大きくなった場合に衝突回避制御が行われる。

なお、本実施形態は、歩行者検出部５１の機能としての歩行者検出処理に特徴を有する。そこで、以下では、この歩行者検出処理の詳細を説明する。歩行者検出処理は、所定時間間隔で繰り返し実行される。

図２に示すように、最初のＳ１１０では、画像入力を行う。この処理は、撮像装置３２から出力される画像を入力するものである。
続くＳ１２０では、スコアマップを作成し高スコアのエリア（以下「高スコアエリア」という）を抽出する。歩行者の各パーツをモデル化したパーツモデルがパーツモデル記憶部６１に記憶されることは上述したが、当該パーツモデルによって画像をスキャンすることで、スコアマップを作成する。また、設定された閾値を上回るスコアを有する高スコアエリアを抽出する。

具体的には、図３（ａ）に示すように、頭部パーツモデルＴＰ１を、例えば画像の左上部分から順に、予め定められた間隔で右方向へ移動させていく。そして、画像の右端に到達したら、左端に戻し、予め定められた間隔で下方向へ移動させる。その後は、同様の移動を繰り返し、画像の右下部分まで順に移動させていく。このとき、頭部パーツモデルＴＰ１の位置ごとに、頭部パーツモデルＴＰ１と重なるエリアとの類似度をスコアとして記憶する。これによりパーツモデルの位置毎（エリア毎）にスコアを持つスコアマップ（不図示）が作成される。

また、相対的に遠い距離に存在する歩行者は、画像内では小さく写る。そこで、図３（ｂ）に示すように、頭部パーツモデルＴＰ１を縮小した頭部パーツモデルＴＰ２を用いて同様のスコア化を行う。

なお、ここでは、歩行者が相対的に近くに存在する場合と、歩行者が相対的に遠くに存在する場合との２段階でのスキャンを説明したが、現実的には、３段階以上でスキャンすることが考えられる。また、段階的なスキャンに際し、パーツモデルを拡大／縮小するようにしてもよいし、パーツモデルの大きさはそのままで、スキャンの対象となる画像を拡大／縮小するようにしてもよい。

このようなスコアマップを作成した後、設定された閾値を越えているスコアを有するパーツモデルの位置、すなわち高スコアエリアを抽出する。これにより、図３（ｃ）に示すように、画像内に高スコアエリアＴＣ、ＴＴが抽出される。なお、高スコアエリアＴＣは、頭部パーツモデルＴＰ１でスキャンした場合にスコアが高くなった領域であり、高スコアエリアＴＴは、頭部パーツモデルＴＰ２でスキャンした場合にスコアが高くなった領域である。なお、頭部パーツモデルの他に、腕部パーツモデル、腰部パーツモデル、および、脚部パーツモデルがあるため、各パーツモデルでのスキャンに対応して、図３（ｃ）と同様に高スコアエリアが抽出される。

ここで、高スコアエリアを判定するための閾値の設定の一例を説明する。図４（ａ）では、二人の人物Ｊ１，Ｊ２が画像に写り込んでいるが、手前の人物Ｊ２の腕や脚で、奥の人物Ｊ１の腕や脚が隠れている。そこで、歩行者のパーツにも隠れやすいパーツが存在するということに着目し、図４（ｂ）に示すように、頭部Ｋ、腕部Ｌ１，Ｌ２、腰部Ｍ、および、脚部Ｎ１，Ｎ２の各パーツにおいて、本実施形態では、隠れにくい頭部Ｋ及び腰部Ｍを抽出する際の閾値に比べ、腕部Ｌ１，Ｌ２及び脚部Ｎ１，Ｎ２を抽出する際の閾値を低めに設定している。

図２に戻り、Ｓ１３０では、パーツグループ領域を抽出する。この処理は、Ｓ１２０で抽出した高スコアエリアをグループ化するものである。
具体的には、図５（ａ）に示すように、高スコアエリアＴＣ，ＴＴの相互の距離及び、高スコアエリアＴＣ，ＴＴのサイズでグループ化する。サイズを用いて近くに存在する歩行者と遠くに存在する歩行者とを別に抽出することで、抽出精度を上げるのである。図５（ａ）では、高スコアエリアＴＣを包含するパーツグループ領域Ｇ１、及び、高スコアエリアＴＴを包含するパーツグループ領域Ｇ２が抽出された様子を示している。ここでいう距離とは、画像上の２Ｄ距離、又は、実空間の３Ｄ距離である（以下でも同様）。

なお、図５（ｂ）に示すように、高スコアエリアＴＣ，ＴＴの相互の距離だけでグループ領域を抽出するようにしてもよい。この場合は、比較的処理が簡単になるという点で有利である。

また、高スコアエリアの密集度を考慮してパーツグループ領域を抽出するようにしてもよい。密集度が相対的に低い場合、誤検出であることが考えられるためである。具体的には、図５（ｃ）に示すように、高スコアエリアＴＴの距離でグループ化し、高スコアエリアＴＴを包含するパーツグループ領域Ｇ４，Ｇ５を抽出する。そして、各パーツグループ領域Ｇ４，Ｇ５に含まれるエリアＴＴの数を当該パーツグループ領域Ｇ４，Ｇ５の面積で除して、密集度を計算する。そして、密集度が一定の閾値を越えている場合にパーツグループ領域とし、一定の閾値以下である場合には、パーツグループ領域から外す。

さらにまた、密集度に加えあるいは代えて、スコアの総和を考慮してパーツグループ領域を抽出するようにしてもよい。スコアの総和が相対的に低い場合、誤検出であることが考えられるためである。具体的には、図５（ｃ）に示すように、高スコアエリアＴＴの距離でグループ化し、高スコアエリアＴＴを包含するパーツグループ領域Ｇ４，Ｇ５を抽出する。そして、各パーツグループ領域Ｇ４，Ｇ５に含まれる高スコアエリアＴＴのスコアの総和を求める。そして、スコアの総和が一定の閾値を越えている場合にパーツグループ領域とし、一定の閾値以下である場合には、パーツグループ領域から外す。

図２に戻り、Ｓ１４０では、パーツ領域を抽出する。この処理は、Ｓ１３０で抽出したパーツグループ領域を包含する外接矩形の領域を抽出するものである。このとき、距離の近いパーツグループ領域があれば、それらグループ領域を包含する外接矩形の領域を抽出する。パーツグループ領域同士の距離は、境界から境界までの最短距離としてもよいし、パーツグループ領域の中心位置の距離としてもよいし、各エリアのスコアに基づく重心位置の距離としてもよい。このような距離が一定の閾値を下回る場合に、距離が近いものと判定することが考えられる。図６は、２つのパーツグループ領域Ｇ６，Ｇ７を包含するパーツ領域Ｐの抽出を示している。

続くＳ１５０では、パーツ領域のスコアを算出する。この処理は、Ｓ１４０で抽出されたパーツ領域のスコアを算出するものである。
具体的には、パーツ領域に含まれるパーツグループ領域のスコアの総和として算出する。パーツグループ領域のスコアは、当該パーツグループ領域に含まれる高スコアエリアのスコアの総和として算出する。例えば図６では、パーツグループ領域Ｇ１，Ｇ２に含まれる高スコアエリアＴＴのスコアの総和としてパーツグループ領域Ｇ１，Ｇ２のスコアを算出し、パーツグループ領域Ｇ１，Ｇ２のスコアの総和としてパーツ領域Ｐのスコアを算出するという具合である。この場合、比較的簡単に、パーツ領域のスコアを算出することができる。

また、グループ領域Ｇ１，Ｇ２のスコアを算出する場合、高スコアエリアの「位置の近さ」を含めてスコアを算出してもよい。具体的には、図６の下部に示すように、高スコアエリアの位置ｐの差分和の逆数として、高スコアエリアの「位置の近さ」を定義することが考えられる。

さらにまた、高スコアエリアの「位置の近さ」に加え又は代え、パーツグループ領域にサイズの異なる高スコアエリアが含まれることを前提に、「サイズの近さ」を含め、パーツグループ領域のスコアを算出してもよい。具体的には、高スコアエリアのサイズｓの差分和の逆数として、各エリアの「サイズの近さ」を定義することができる。

また、これら「位置の近さ」や「サイズの近さ」に加え又は代え、パーツグループ領域の密集度を含めてパーツグループ領域のスコアを算出してもよい。この場合の密集度は、既に上述した。

続くＳ１６０では、歩行者を検出する。この処理は、抽出したパーツ領域を基に、歩行者の存在する領域である歩行者領域を抽出するものである。パーツ領域を構成するパーツの種類及び、高スコアエリアのサイズが分かれば、歩行者領域を抽出することが可能となる。

具体的に、図７（ａ）に示すように頭部パーツモデルを基に抽出されたパーツ領域Ｐがある場合、その下に胴体部分があると推測する。また、パーツ領域Ｐに含まれる高スコアエリアのサイズから、胴体部分のサイズを推測する。これにより、パーツ領域Ｐから歩行者領域Ｓを推定する。なお、歩行者領域Ｓに含まれるパーツ領域Ｐのスコアが一定の閾値以下である場合、その歩行者領域Ｓを抽出対象から外す。

また具体的に、図７（ｂ）に示すように、頭部パーツモデルを基に抽出された２つのパーツ領域Ｐ１，Ｐ３があり、脚部パーツモデルを基に抽出されたパーツ領域Ｐ２がある場合、その配置関係を基に、歩行者領域を検出する。例えば、パーツ領域Ｐ１，Ｐ２に含まれる高スコアエリアのサイズが同じである場合、２つのパーツ領域Ｐ１，Ｐ２は対応関係にあると考えられる。つまり、同じ歩行者集団の頭部と脚部と考えられるのである。これに対し、パーツ領域Ｐ３に含まれる高スコアエリアのサイズが他のパーツ領域Ｐ１，Ｐ２に含まれる高スコアエリアのサイズと異なっており、パーツ領域Ｐ３に対応するパーツ領域が存在しない場合、パーツ領域Ｐ３は誤検出であるとする。

そして、図７（ｃ）に示すように、２つのパーツ領域Ｐ１，Ｐ２が対応関係にある場合、当該パーツ領域Ｐ１，Ｐ２から推定される歩行者領域Ｓ１，Ｓ２に対する外接矩形を歩行者領域Ｓ３として推定する。このとき、パーツ領域Ｐ１，Ｐ２のそれぞれのスコアの総和が一定の閾値を上回るときに、歩行者領域Ｓ３を推定する。一定の閾値以下である場合には、歩行者領域Ｓ３を抽出対象から外す。

以上、詳述したように本実施形態によれば、画像処理装置１０のパーツモデル記憶部６１に、歩行者の特徴を示す各部位であるパーツを画像内から検出可能な複数のパーツモデルが記憶されている。このとき、制御部５０の歩行者検出部５１は、撮像装置３２からの画像を入力し（図２中のＳ１１０）、パーツモデル記憶部６１に記憶されたパーツモデルを用い、スコアマップを作成して高スコアエリアを抽出する（Ｓ１２０）。これにより、パーツグループ領域を抽出し（Ｓ１３０）、パーツグループ領域を基に、パーツ毎のパーツ領域を抽出する（Ｓ１４０）。そして、抽出されたパーツ領域のスコアを算出して（Ｓ１５０）、歩行者が存在する歩行者領域を推定する（Ｓ１６０）。

つまり、パーツモデルを用いてパーツ毎のパーツ領域を抽出し、パーツ領域に基づいて歩行者領域を推定するのである。例えば、歩行者の脚部に対応するパーツ領域だけが抽出された場合でも、当該脚部に対応するパーツ領域から歩行者領域を推定するという具合である。したがって、画像内の歩行者を適切に検出することができる。

また、本実施形態では、図３（ａ）に示したように、画像内で頭部パーツモデルＴＰ１を移動させ、当該頭部パーツモデルＴＰ１と重なった領域であるエリアとの一致度をスコアとして算出してスコアマップを作成し、スコアが予め定められた設定閾値を上回る高スコアエリアを抽出する（図２中のＳ１２０）。すなわち、画像内でパーツモデルを移動させ、当該パーツモデルと重なった領域であるエリアとの一致度をスコアとして算出し、スコアが予め定められた設定閾値を上回る高スコアエリアに基づき、パーツ領域を抽出する。これにより、比較的簡単にパーツ領域を抽出することができる。

このとき、本実施形態では、歩行者のパーツにも隠れやすいパーツが存在するということに着目し、図４（ｂ）に示したように、頭部Ｋ、腕部Ｌ１，Ｌ２、腰部Ｍ、および、脚部Ｎ１，Ｎ２の各パーツにおいて、隠れにくい頭部Ｋ及び腰部Ｍを抽出する際の閾値に比べ、腕部Ｌ１，Ｌ２及び脚部Ｎ１，Ｎ２を抽出する際の閾値を低めに設定している。すなわち、設定閾値をパーツ毎に定めている。これにより、各パーツを適切に検出することができる。

また、本実施形態では、高スコアエリアをグループ化してパーツグループ領域を抽出すし（図２中のＳ１３０）、パーツグループ領域に基づきパーツ領域を抽出する（Ｓ１４０）。これにより、より適切なパーツ領域を抽出することができる。

具体的には、図５（ａ）に示したように、高スコアエリアＴＣ，ＴＴの距離及び、高スコアエリアＴＣ，ＴＴのサイズでグループ化する。すなわち、相互の距離が一定閾値以下である高スコアエリアであって、相互に同様のサイズを有する高スコアエリアを包含するようにパーツグループ領域を抽出する。このように、サイズを用いて近くに存在する歩行者と遠くに存在する歩行者とを別に抽出するため、抽出精度を上げることができる。

さらにまた、本実施形態では、パーツグループ領域を包含する外接矩形領域としてパーツ領域を抽出する（図２中のＳ１４０）。外接矩形領域としてパーツ領域を抽出することにより、その後の処理が比較的簡単になるという点で有利である。

このとき、距離の近いパーツグループ領域があれば、それらグループ領域を包含する外接矩形の領域を抽出する。例えば、図６の例では、２つのパーツグループ領域Ｇ６，Ｇ７を包含するパーツ領域Ｐを抽出した。すなわち、相互の距離が一定閾値以下であるパーツグループ領域を包含する外接矩形領域としてパーツ領域を抽出する。これにより、歩行者が集団を形成している場合のパーツ領域を適切に抽出することができる。

また、本実施形態では、高スコアエリアのスコアの総和としてパーツグループ領域のスコアを算出し、パーツグループ領域のスコアの総和としてパーツ領域のスコアを算出する（図２中のＳ１５０）。例えば図６では、パーツグループ領域Ｇ１，Ｇ２に含まれる高スコアエリアＴＴのスコアの総和としてパーツグループ領域Ｇ１，Ｇ２のスコアを算出し、パーツグループ領域Ｇ１，Ｇ２のスコアの総和としてパーツ領域Ｐのスコアを算出する。これにより、比較的簡単に、パーツ領域のスコアを算出することができる。

さらにまた、本実施形態では、図７（ａ）に示したように頭部パーツモデルを基に抽出されたパーツ領域Ｐがある場合はその下に胴体部分があると推測し、パーツ領域Ｐに含まれる高スコアエリアのサイズから胴体部分のサイズを推測して、歩行者領域Ｓを推定する。すなわち、パーツ領域に包含される高スコアエリアのサイズに基づき対象物が存在する対象物領域（実施形態でいう歩行者領域、以下も同様）を推定する。これにより、各パーツ領域から歩行者領域を推定することができる。

しかも、図７（ｂ）に示したように、頭部パーツモデルを基に抽出された２つのパーツ領域Ｐ１，Ｐ３があり、脚部パーツモデルを基に抽出されたパーツ領域Ｐ２がある場合、その配置関係を基に、歩行者領域を推定する。すなわち、パーツ領域同士の位置関係に基づき対象物が存在する対象物領域を推定する。これにより、より適切な歩行者領域を推定することができる。

このとき、図７（ｃ）に示したように、２つのパーツ領域Ｐ１，Ｐ２が対応関係にある場合、当該パーツ領域Ｐ１，Ｐ２から推定される歩行者領域Ｓ１，Ｓ２に対する外接矩形を歩行者領域Ｓ３として推定する。すなわち、パーツ領域を包含する外接矩形として対象物領域を推定する。これにより、より適切な歩行者領域を推定することができる。

そして、歩行者領域の推定にあっては、歩行者領域に包含されるパーツ領域のスコアの総和が一定閾値以下である場合には、当該歩行者領域を抽出対象から外す。すなわち、パーツ領域に基づく対象物領域のスコアを算出し、当該スコアが一定閾値以下の対象物領域を抽出対象から外す。これにより、より確かな歩行者領域を推定することができる。

また、本実施形態では、歩行者領域が推定されると、衝突危険度判定部５２が、測距装置３１から出力される歩行者までの距離に基づき、衝突危険度を判定する。そして、この衝突危険度に基づき、車両制御装置２０の報知制御部７０によるスピーカ４１を介した運転者への報知、および、車両制御部８０によるブレーキ４２、ステアリング４３を介した衝突回避制御が行われる。これにより、より安全性の高い運転支援が実現される。

以上、本発明は、上述した実施形態に何ら限定されるものではなく、その技術的範囲を逸脱しない限り、種々なる形態で実施可能である。
(イ)上記実施形態では、図５（ａ）に示したように、高スコアエリアＴＣ，ＴＴの距離及び、高スコアエリアＴＣ，ＴＴのサイズでグループ化していた。

（イ−１）これに対し、図５（ｂ）に示したように、高スコアエリアＴＣ，ＴＴの距離だけでパーツグループ領域を抽出するようにしてもよい。すなわち、相互の距離が一定閾値以下である高スコアエリアを包含するようにパーツグループ領域を抽出するようにしてもよい。このようにすれば、比較的簡単な処理でパーツグループ領域が抽出できる。

（イ−２）また、図５（ｃ）に示したように、パーツグループ領域Ｇ４，Ｇ５に含まれるエリアＴＴの数を当該パーツグループ領域Ｇ４，Ｇ５の面積で除して密集度を計算し、密集度が一定の閾値を越えている場合にパーツグループ領域とし、一定の閾値以下である場合には、パーツグループ領域から外すこととしてもよい。すなわち、パーツグループ領域における高スコアエリアの密集度が一定閾値以下である場合、当該パーツグループ領域を抽出対象から外すようにしてもよい。このようにすれば、誤検出の虞が小さくなり、より精度よくパーツグループ領域を抽出することができる。

（イ−３）さらにまた、図５（ｃ）に示した例で、パーツグループ領域Ｇ４，Ｇ５に含まれる高スコアエリアＴＴのスコアの総和を求め、スコアの総和が一定の閾値を越えている場合にパーツグループ領域とし、一定の閾値以下である場合には、パーツグループ領域から外すようにしてもよい。すなわち、パーツグループ領域における高スコアエリアのスコアの総和が一定閾値以下である場合、当該パーツグループ領域を抽出対象から外すようにしてもよい。このようにしても、誤検出の虞が小さくなり、より精度よくパーツグループ領域を抽出することができる。

（ロ）上記実施形態では、パーツ領域に含まれるパーツグループ領域のスコアの総和を、パーツ領域のスコアとしていた（図２中のＳ１５０）。
（ロ−１）ここでパーツグループ領域のスコアを算出するにあたり、高スコアエリアの「位置の近さ」を含めてスコアを算出してもよい。具体的には、図６の下部に示すように、高スコアエリアの位置ｐの差分和の逆数として、高スコアエリアの「位置の近さ」を定義することが考えられる。すなわち、パーツグループ領域のスコアを算出する際、当該パーツグループ領域に含まれる高スコアエリア同士の距離を加味してスコアを算出してもよい。このようにすれば、パーツ領域のスコアがより信頼性の大きなものとなる。

（ロ−２）また、パーツグループ領域のスコアを算出するにあたり、高スコアエリアの「位置の近さ」に加え又は代え、パーツグループ領域にサイズの異なる高スコアエリアが含まれることを前提に「サイズの近さ」を含めてスコアを算出してもよい。具体的には、図６の下部に示すように、高スコアエリアのサイズｓの差分和の逆数として、各エリアの「サイズの近さ」を定義することができる。すなわち、パーツグループ領域のスコアを算出する際、当該パーツグループ領域に含まれる高スコアエリアのサイズの差分を加味してスコアを算出してもよい。このようにすれば、パーツ領域のスコアがより信頼性の大きなものとなる。

（ロ−３）さらにまた、「位置の近さ」や「サイズの近さ」に加え又は代え、パーツグループ領域における高スコアエリアの密集度を含め、パーツグループ領域のスコアを算出してもよい。すなわち、パーツグループ領域のスコアを算出する際、当該パーツグループ領域における高スコアエリアの密集度を加味してスコアを算出してもよい。このようにすれば、パーツ領域のスコアがより信頼性の大きなものとなる。

（ハ）上記実施形態では、歩行者領域（対象物領域）に含まれるパーツ領域のスコアの総和が一定閾値以下である場合、当該歩行者領域を抽出対象から外すようにしていた。これに対し、パーツ領域のスコアを算出した時点で、当該スコアが一定閾値以下である場合、当該パーツ領域を抽出対象から外すようにしてもよい。このようにすれば、信頼性が相対的に小さなパーツ領域に基づく歩行者領域の推定が行われず、より適切に歩行者領域を推定することができる。

（ニ）上記実施形態では、測距装置３１から出力される歩行者までの距離に基づき、衝突危険性を判定していた。これに対し、歩行者までの距離に加え又は代え、歩行者領域（対象物領域）の位置、サイズ、および、スコアの少なくとも一つを用いて、衝突危険性を判定するようにしてもよい。

（ホ）上記実施形態では、歩行者までの距離を測距装置３１にて測定していたが、測距装置３１に代え、撮像装置３２からの画像情報を基に距離を測定してもよい。すなわち、測距装置３１を省略した構成としてもよい。もちろん、測距装置３１を備えることで、精度の高い測定が可能となる。

１０…画像処理装置、２０…車両制御装置、３１…測距装置、３２…撮像装置、４１…スピーカ、４２…ブレーキ、４３…ステアリング、５０…制御部、５１…歩行者検出部、５２…衝突危険度判定部、６０…記憶部、６１…パーツモデル記憶部、６２…衝突危険度判定テーブル記憶部、７０…報知制御部、８０…車両制御部

Claims

車両に搭載される撮像装置（３２）からの画像に基づいて対象物を検出する画像処理装置（１０）であって、
該対象物の各部位であるパーツを画像内から検出可能な複数のパーツモデルを記憶するパーツモデル記憶手段（６１）と、
前記パーツモデル記憶手段に記憶された前記パーツモデルを用い、前記パーツ毎のパーツ領域を抽出するパーツ領域抽出手段（５１）と、
前記パーツ領域抽出手段にて抽出された前記パーツ領域に基づき、該対象物が存在する対象物領域を推定する対象物領域推定手段（５１）と、
を備え、
前記パーツ領域抽出手段は、前記画像内で前記パーツモデルを移動させ、当該パーツモデルと重なった領域であるエリアとの一致度をスコアとして算出し、前記スコアが予め定められた設定閾値を上回る高スコアエリアに基づき（Ｓ１２０）、撮像された画像内に映る複数の対象物における共通する部位を含む領域を前記パーツ領域として抽出し、
前記対象物は、歩行者であり、
さらに、前記パーツ領域抽出手段は、前記高スコアエリアを包含するパーツグループ領域を抽出した後（Ｓ１３０）、前記パーツグループ領域に基づいて、前記パーツ領域を抽出し、相互の距離が一定閾値以下である前記高スコアエリアを包含するように前記パーツグループ領域を抽出し、前記パーツグループ領域における高スコアエリアの密集度が一定閾値以下である場合、当該パーツグループ領域を抽出対象から外すこと
を特徴とする画像処理装置。
車両に搭載される撮像装置（３２）からの画像に基づいて対象物を検出する画像処理装置（１０）であって、
該対象物の各部位であるパーツを画像内から検出可能な複数のパーツモデルを記憶するパーツモデル記憶手段（６１）と、
前記パーツモデル記憶手段に記憶された前記パーツモデルを用い、前記パーツ毎のパーツ領域を抽出するパーツ領域抽出手段（５１）と、
前記パーツ領域抽出手段にて抽出された前記パーツ領域に基づき、該対象物が存在する対象物領域を推定する対象物領域推定手段（５１）と、
を備え、
前記パーツ領域抽出手段は、前記画像内で前記パーツモデルを移動させ、当該パーツモデルと重なった領域であるエリアとの一致度をスコアとして算出し、前記スコアが予め定められた設定閾値を上回る高スコアエリアに基づき（Ｓ１２０）、撮像された画像内に映る複数の対象物における共通する部位を含む領域を前記パーツ領域として抽出し、
前記設定閾値は、前記パーツ毎に定められており、
さらに、前記パーツ領域抽出手段は、前記高スコアエリアを包含するパーツグループ領域を抽出した後（Ｓ１３０）、前記パーツグループ領域に基づいて、前記パーツ領域を抽出し、相互の距離が一定閾値以下である前記高スコアエリアを包含するように前記パーツグループ領域を抽出し、前記パーツグループ領域における高スコアエリアの密集度が一定閾値以下である場合、当該パーツグループ領域を抽出対象から外すこと
を特徴とする画像処理装置。
請求項１又は２に記載の画像処理装置において、
前記パーツ領域抽出手段は、相互に同様のサイズを有する前記高スコアエリアを包含するように前記パーツグループ領域を抽出すること
を特徴とする画像処理装置。
請求項１〜３の何れか一項に記載の画像処理装置において、
前記パーツ領域抽出手段は、前記パーツグループ領域における高スコアエリアのスコアの総和が一定閾値以下である場合、当該パーツグループ領域を抽出対象から外すこと
を特徴とする画像処理装置。
請求項１〜４の何れか一項に記載の画像処理装置において、
前記パーツ領域抽出手段は、前記パーツグループ領域を包含する外接矩形領域として前記パーツ領域を抽出すること（Ｓ１４０）
を特徴とする画像処理装置。
請求項５に記載の画像処理装置において、
前記パーツ領域抽出手段は、相互の距離が一定閾値以下である前記パーツグループ領域を包含する外接矩形領域として前記パーツ領域を抽出すること
を特徴とする画像処理装置。
請求項５又は６に記載の画像処理装置において、
前記パーツ領域抽出手段は、前記外接矩形領域に包含される前記パーツグループ領域のスコアを当該パーツグループ領域に含まれる前記高スコアエリアのスコアの総和として算出し、前記パーツグループ領域のスコアの総和として前記パーツ領域のスコアであるパーツ領域スコアを算出すること（Ｓ１５０）
を特徴とする画像処理装置。
請求項７に記載の画像処理装置において、
前記パーツ領域抽出手段は、前記パーツグループ領域のスコアを算出する際、当該パーツグループ領域に含まれる前記高スコアエリア同士の距離を加味してスコアを算出すること
を特徴とする画像処理装置。
請求項７又は８に記載の画像処理装置において、
前記パーツ領域抽出手段は、前記パーツグループ領域のスコアを算出する際、当該パーツグループ領域に含まれる前記高スコアエリアのサイズの差分を加味してスコアを算出すること
を特徴とする画像処理装置。
請求項７〜９の何れか一項に記載の画像処理装置において、
前記パーツ領域抽出手段は、前記パーツグループ領域のスコアを算出する際、当該パーツグループ領域における前記高スコアエリアの密集度を加味してスコアを算出すること
を特徴とする画像処理装置。
請求項７〜１０の何れか一項に記載の画像処理装置において、
前記パーツ領域抽出手段は、前記パーツ領域の前記パーツ領域スコアが一定閾値以下である場合、当該パーツ領域を抽出対象から外すこと
を特徴とする画像処理装置。
請求項１〜１１の何れか一項に記載の画像処理装置において、
前記対象物領域推定手段は、前記パーツ領域に包含される前記高スコアエリアのサイズに基づき対象物が存在する対象物領域を推定すること（Ｓ１６０）
を特徴とする画像処理装置。
請求項１〜１２の何れか一項に記載の画像処理装置において、
前記対象物領域推定手段は、前記パーツ領域同士の位置関係に基づき対象物が存在する対象物領域を推定すること（Ｓ１６０）
を特徴とする画像処理装置。
請求項１３に記載の画像処理装置において、
前記対象物領域推定手段は、前記パーツ領域を包含する外接矩形として前記対象物領域を推定すること（Ｓ１６０）
を特徴とする画像処理装置。
請求項１〜１４の何れか一項に記載の画像処理装置において、
前記対象物領域推定手段は、前記パーツ領域に基づく前記対象物領域のスコアを算出し、当該スコアが一定閾値以下の対象物領域を抽出対象から外すこと
を特徴とする画像処理装置。
請求項１〜１５の何れか一項に記載の画像処理装置において、
前記対象物領域推定手段にて推定された前記対象物領域の位置、サイズ、スコア、及び、対象物までの距離の少なくとも一つに基づき、衝突危険度を判定する衝突危険度判定手段（５２）をさらに備えていること
を特徴とする画像処理装置。
請求項１６に記載の画像処理装置と、
前記衝突危険度判定手段にて判定された前記衝突危険度に基づき、運転者への報知を行う報知制御手段（７０）を有する車両制御装置（２０）と、
を備えていることを特徴とする車両制御システム。
請求項１６に記載の画像処理装置と、
前記衝突危険度判定手段にて判定された前記衝突危険度に基づき、衝突回避制御を行う車両制御手段（８０）を有する車両制御装置（２０）と、
を備えていることを特徴とする車両制御システム。