JP5999127B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

従来、視差に基づいて人物の顔等の特定物体を検出する技術がある。例えば、特許文献１には、２つの画像の視差に基づいて距離画像を生成し、距離画像において距離値に対応したサイズの検出領域を設定し、検出領域における被写体が人物の顔であるか否かを判定する技術が開示されている。

特開２００７−２８００８８号公報

撮像手段によって撮像された画像データの視差に基づいて物標を抽出するときの精度の低下を抑制できることが望まれている。例えば、撮像手段から対象の物標までの距離と、撮像手段から背景までの距離との差が小さいと、視差の値が小さくなり、画像データから物標の領域を抽出する際の抽出精度が低くなる。視差情報による輪郭抽出を、人物の顔だけでなく胴体や脚部まで含む広範囲に拡大して行う場合、抽出対象は背景までの距離が短い部分と、背景までの距離が長い部分とを含む。背景までの距離が短い部位においては、当該部位の画像データから得られる視差値と、その近傍の背景位置の画像データから得られる視差値との差が小さくなるため、分離／抽出の精度が低下する可能性がある。これにより、背景までの距離が短い部位においては、抽出された形状と物標の真の形状との乖離が大きくなりやすい。抽出された形状に基づいてパターンマッチング等の比較を行う場合、抽出された形状と真の形状との乖離が大きいと、パターンマッチングの精度の低下を招いてしまう。

本発明の目的は、画像データから視差に基づいて物標の領域を抽出する際の抽出精度を向上させることができる画像処理装置を提供することである。

本発明の画像処理装置は、周囲の画像を撮像するステレオカメラ撮像手段と、前記ステレオカメラ撮像手段によって撮像された画像データに基づいて物標の候補を含む画像領域である第一領域を抽出する第一の抽出手段と、前記ステレオカメラ撮像手段によって撮像された画像データに基づいて視差を算出する視差算出手段と、前記視差に基づいて、前記第一領域から前記候補の画像領域である候補領域を抽出する第二の抽出手段と、前記候補領域の形状と、予め定められた前記物標の形状との比較により前記候補領域の画像が前記物標の画像であるか否かを判定する対象物判定手段とを備え、前記第一領域のうち所定の位置よりも下部を撮像した領域から前記候補領域を抽出することが、前記所定の位置よりも上部を撮像した領域から前記候補領域を抽出することよりも制約され、前記所定の位置は、基準位置として設定される位置であって、前記第一領域のうち前記基準位置よりも下部を撮像した下部領域から前記候補領域を抽出することが、前記基準位置よりも上部を撮像した上部領域から前記候補領域を抽出することよりも制約され、更に、前記ステレオカメラ撮像手段から前記物標の候補までの距離を特定する距離特定手段を備え、前記距離特定手段によって特定された前記距離が大きい場合における前記基準位置が、当該距離が小さい場合における前記基準位置よりも、前記第一領域におけるより上部側に設定されることを特徴とする。

上記画像処理装置において、前記距離特定手段によって特定された前記距離が大きい場合における前記下部領域について前記候補領域の抽出が制約される度合いが、当該距離が小さい場合における前記下部領域について前記候補領域の抽出が制約される度合いよりも、高く設定されることが好ましい。

上記画像処理装置において、前記第二の抽出手段は、前記第一領域のうち、撮像対象と前記ステレオカメラ撮像手段との距離が、前記距離特定手段によって特定された前記距離に対して所定の範囲内である領域を前記候補領域として抽出し、前記第一領域のうち前記下部領域についての前記所定の範囲が、前記上部領域についての前記所定の範囲よりも狭いことにより、前記下部領域について前記候補領域を抽出することが制約されることが好ましい。

上記画像処理装置において、前記第二の抽出手段は、前記第一領域のうち、撮像対象と前記ステレオカメラ撮像手段との距離が、前記距離特定手段によって特定された前記距離に対して所定の範囲内である領域を前記候補領域として抽出し、前記第一領域のうち前記下部領域について、前記候補領域を抽出することが禁止されることが好ましい。

上記画像処理装置において、前記距離特定手段によって特定された前記距離が大きい場合、当該距離が小さい場合よりも、前記第一領域のうち前記下部領域についての前記所定の範囲と、前記上部領域についての前記所定の範囲との乖離度合いが大きいことが好ましい。

上記画像処理装置において、前記第一領域のうち所定の位置よりも下部を撮像した領域では、前記候補領域の抽出が禁止されることが好ましい。

本発明に係る画像処理装置は、周囲の画像を撮像する撮像手段と、前記撮像手段によって撮像された画像データに基づいて物標の候補を含む画像領域である第一領域を抽出する第一の抽出手段と、前記撮像手段によって撮像された画像データに基づいて視差を算出する視差算出手段と、前記視差に基づいて、前記第一領域から前記候補の画像領域である候補領域を抽出する第二の抽出手段と、前記候補領域の形状と、予め定められた前記物標の形状との比較により前記候補領域の画像が前記物標の画像であるか否かを判定する対象物判定手段とを備え、前記第一領域のうち所定の位置よりも下部を撮像した領域から前記候補領域を抽出することが、前記所定の位置よりも上部を撮像した領域から前記候補領域を抽出することよりも制約されている。

本発明に係る画像処理装置によれば、画像データから視差に基づいて物標の領域を抽出する際の抽出精度を向上させることができるという効果を奏する。

図１は、第１実施形態に係る画像処理装置の動作を示すフローチャートである。 図２は、第１実施形態に係る画像処理装置のブロック図である。 図３は、第１実施形態に係る車両の斜視図である。 図４は、視差を算出する方法の一例を示す図である。 図５は、第一領域を示す図である。 図６は、視差に基づく抽出方法の問題を説明する図である。 図７は、抽出許可領域を示す図である。 図８は、抽出領域の決定方法の説明図である。 図９は、候補領域の抽出方法の説明図である。 図１０は、候補領域の一例を示す図である。 図１１は、第１実施形態の変形例に係る抽出許可領域の決定方法の説明図である。 図１２は、第２実施形態の候補領域の抽出方法を説明する図である。 図１３は、第２実施形態の第１変形例に係る候補領域の抽出方法を説明する図である。 図１４は、第２実施形態の第２変形例に係る候補領域の抽出方法を説明する図である。

以下に、本発明の実施形態に係る画像処理装置および画像処理方法につき図面を参照しつつ詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるものあるいは実質的に同一のものが含まれる。

［第１実施形態］
図１から図１０を参照して、第１実施形態について説明する。本実施形態は、画像処理装置および画像処理方法に関する。図１は、本発明の第１実施形態に係る画像処理装置の動作を示すフローチャート、図２は、第１実施形態に係る画像処理装置のブロック図、図３は、第１実施形態に係る車両の斜視図、図４は、視差を算出する方法の一例を示す図、図５は、第一領域を示す図、図６は、視差に基づく抽出方法の問題を説明する図、図７は、抽出許可領域を示す図、図８は、抽出領域の決定方法の説明図、図９は、候補領域の抽出方法の説明図、図１０は、候補領域の一例を示す図である。

図２に示すように、本実施形態の画像処理装置１００は、ステレオカメラ撮像手段２と、ＥＣＵ３とを含んで構成されている。本実施形態では、画像処理装置１００が図３に示すように車両１に搭載され、車両１の周囲の障害物を検出する障害物検出装置として機能する場合について説明する。ステレオカメラ撮像手段２は、車両１の周囲の画像を撮像する撮像手段である。本実施形態のステレオカメラ撮像手段２は、車両１の前方の画像を撮像する。ステレオカメラ撮像手段２は、例えば、車室内におけるフロントガラスの近傍に配置される。

図３に示すように、ステレオカメラ撮像手段２は、２つのカメラ２Ｒ，２Ｌを有する。本実施形態では、右側カメラ２Ｒと左側カメラ２Ｌは、それぞれ独立した撮像手段である。各カメラ２Ｒ，２Ｌは、例えば、ＣＣＤ又はＣＭＯＳなどの光電変換素子を有するものである。２つのカメラ２Ｒ，２Ｌは、例えば、車両１の水平方向前方の画像を撮像する。２つのカメラ２Ｒ，２Ｌは、車両１の車幅方向の異なる位置に配置されている。右側カメラ２Ｒは、左側カメラ２Ｌに対して相対的に車幅方向の右側に配置されている。２つのカメラ２Ｒ，２Ｌは、右側カメラ２Ｒの光軸と左側カメラ２Ｌの光軸とが平行となるように配置されている。

右側カメラ２Ｒおよび左側カメラ２Ｌは、それぞれＥＣＵ３と接続されている。各カメラ２Ｒ，２Ｌによって撮像された画像データは、それぞれＥＣＵ３に出力される。ＥＣＵ３は、ステレオカメラ撮像手段２によって撮像された画像データを処理する画像処理手段としての機能を有する。ＥＣＵ３は、例えば、コンピュータを有する電子制御ユニットである。ＥＣＵ３は、例えば、右側カメラ２Ｒおよび左側カメラ２Ｌに対して、所定の時間周期ごとに撮像を指令する。右側カメラ２Ｒおよび左側カメラ２Ｌの撮像タイミングは、同期されていることが好ましい。ＥＣＵ３は、撮像指令に応じて各カメラ２Ｒ，２Ｌによって撮像され、生成された画像データを取得する。

図２に示すように、ＥＣＵ３は、視差算出手段４、第一の抽出手段５、距離特定手段６、抽出範囲設定手段７、第二の抽出手段８および対象物判定手段９を含んで構成されている。視差算出手段４は、撮像手段によって撮像された画像データに基づいて視差を算出する。本実施形態の視差算出手段４は、ステレオカメラ撮像手段２によって撮像された複数の画像データに基づいて視差を算出する。本実施形態の視差算出手段４は、右画像データと、左画像データの２つの画像データに基づいて視差を算出する。なお、「右画像データ」とは、右側カメラ２Ｒによって撮像され、生成された画像データである。また、「左画像データ」とは、左側カメラ２Ｌによって撮像され、生成された画像データである。２つのカメラ２Ｒ，２Ｌは、車幅方向の異なる位置に配置されていることから、右画像データと左画像データには、視差が生じる。視差算出手段４は、この視差を算出する。

図４を参照して、視差の算出方法の一例について説明する。視差算出手段４は、右画像データＤＲと、左画像データＤＬとの相関から、同一の撮像対象が撮影された画素に生じている視差を算出する。具体的には、視差算出手段４は、左画像データＤＬのうち着目する画素（以下、単に「着目画素」と称する。）ＰＸについて、着目画素ＰＸを中心とする予め定められたサイズの画素ブロックを元ブロックＢＫとして選択する。視差算出手段４は、選択した元ブロックＢＫと、右画像データＤＲの比較対象のブロックＢＫＣとの相関度合いを算出する。

図４において、右画像データＤＲの対応ブロックＢＫ０は、左画像データＤＬの元ブロックＢＫと対応するブロック、言い換えると、画像データ中における位置が元ブロックＢＫと同一のブロックである。視差算出手段４は、対応ブロックＢＫ０に対して上下方向や左右方向にシフトさせた位置の比較対象のブロックＢＫＣと、元ブロックＢＫとの相関度合いを算出する。ここで、「上下方向」とは、画像データにおける撮像対象の上下方向を示し、「左右方向」とは、画像データにおける撮像対象の左右方向を示す。本実施形態では、各画像データＤＲ，ＤＬの上下方向は、紙面の上下方向と一致し、各画像データＤＲ，ＤＬの左右方向は、紙面の左右方向と一致している。

視差算出手段４は、対応ブロックＢＫ０に対して様々なシフト量でシフトさせた比較対象のブロックＢＫＣについて、元ブロックＢＫとの相関度合いを算出する。視差算出手段４は、例えば、１画素分ずつ比較対象のブロックＢＫＣを左右方向あるいは上下方向にシフトさせ、シフトさせるごとに相関度合いを算出する。そして、元ブロックＢＫとの相関度合いが最も高い比較対象のブロックＢＫＣに基づいて、着目画素ＰＸの視差を算出する。視差算出手段４は、例えば、元ブロックＢＫと比較対象のブロックＢＫＣとの対応する画素の輝度の差を各画素について算出し、その輝度差の和（あるいは二乗和でもよい）を求める。求められた輝度差の和が小さい値であるほど、元ブロックＢＫと比較対象のブロックＢＫＣとの相関度合いが高い。

視差算出手段４は、元ブロックＢＫとの相関度合いが最も高い比較対象のブロックＢＫＣを決定し、その比較対象のブロックＢＫＣの対応ブロックＢＫ０からのシフト量を着目画素ＰＸの視差とする。なお、比較対象のブロックＢＫＣを対応ブロックＢＫ０に対してシフトさせるときの最大シフト量Ｓmaxは、予め定められている。

なお、視差算出手段４は、例えば、下記の参考文献１に記載された方法で視差を算出するようにしてもよい。
（１）H. Hirschmuller, "Accurate and efficient stereo processing by semiglobal matching and mutual information", CVPR, 2005, pp.807-814（参考文献１）

第一の抽出手段５は、ステレオカメラ撮像手段２によって撮像された画像データに基づいて物標の候補を含む画像領域である第一領域（図５の符号Ｒ１参照）を抽出する。本実施形態では、検出対象の物標が歩行者である場合を例に説明する。「物標の候補」とは、検出対象である歩行者の候補のことである。物標の候補は、画像データＤＲ，ＤＬに基づいて抽出された物体であり、パターンマッチングにより実際に歩行者であるか否かを判定する対象とされるものである。

第一の抽出手段５は、例えば、画像データＤＲ，ＤＬの各画素の輝度に基づいて、第一領域Ｒ１を抽出する。本実施形態の第一の抽出手段５は、右画像データＤＲおよび左画像データＤＬのいずれか一方に基づいて、第一領域Ｒ１を抽出する。第一の抽出手段５は、例えば、右画像データＤＲ内で、周辺との輝度の差が大きい一群の画素領域ＰＸ１を抽出する。第一の抽出手段５は、抽出されたひとかたまりの画素領域ＰＸ１の輪郭形状と、予め記憶している歩行者の輪郭形状とのマッチングにより、画素領域ＰＸ１の画像が歩行者を撮像したものであるか否かを判断する。

なお、第一の抽出手段５は、例えば、下記の参考文献２に記載された方法で輝度に基づいて歩行者を抽出するようにしてもよい。
（２）N. Dalal and B. Triggs, "Histogram of oriented gradient for human detection", CVPR, 2005(参考文献２)

第一の抽出手段５は、画素領域ＰＸ１の輪郭形状と歩行者の輪郭形状との相関度合いが高い場合、画素領域ＰＸ１の画像が歩行者のものであると仮に判定する。本実施形態では後述するように、歩行者のものであると仮判定された画素領域ＰＸ１について、更に、高さ方向の位置に基づく抽出条件が調整される。画像処理装置１００は、調整された抽出条件に基づいて、最終的なパターンマッチング用の候補領域を抽出する。

第一の抽出手段５は、画素領域ＰＸ１の画像が歩行者のものであると仮判定すると、第一領域Ｒ１を抽出する。第一領域Ｒ１は、図５に示すように、画素領域ＰＸ１を含むように抽出される。第一領域Ｒ１の上端は、画素領域ＰＸ１の上端よりも上側にあることが好ましい。また、第一領域Ｒ１の下端は、画素領域ＰＸ１の下端よりも下側にあることが好ましい。また、第一領域Ｒ１の左端は画素領域ＰＸ１の左端よりも左側に、第一領域Ｒ１の右端は画素領域ＰＸ１の右端よりも右側にあることが好ましい。第一領域Ｒ１は、例えば、歩行者の候補よりも外側の所定の幅（例えば、数十ｃｍ）の画像を撮像できるように定められてもよい。なお、第一領域Ｒ１の外枠の形状は、図５に示す矩形には限定されない。

距離特定手段６は、ステレオカメラ撮像手段２によって撮像された画像データに基づいて、ステレオカメラ撮像手段２から物標の候補までの距離を特定する。本実施形態の距離特定手段６は、視差算出手段４によって算出された視差に基づいて、距離の算出を行う。本実施形態では、距離特定手段６は、第一領域Ｒ１内に距離算出用の領域Ｒ１１を設定する。距離特定手段６は、距離算出用の領域Ｒ１１の各画素の視差情報に基づいて、ステレオカメラ撮像手段２と物標の候補との距離を算出する。

距離算出用の領域Ｒ１１は、例えば、図５に示すように、矩形の領域である。本実施形態の距離算出用の領域Ｒ１１は、第一の抽出手段５によって抽出された画素領域ＰＸ１のうち、胴体部分に対応する領域ＰＸ１１と、脚部の上部に対応する領域ＰＸ１２と、上腕部分に対応する領域ＰＸ１３とを含むように設定されている。距離算出用の領域Ｒ１１は、歩行者であると仮判定された画素領域ＰＸ１の中心部分、すなわち物標の候補の中心部分を含むように設定される。本実施形態の距離算出用の領域Ｒ１１は、少なくとも一部に画素領域ＰＸ１の背景の領域ＰＸ２を含むように定められている。

距離特定手段６は、距離算出用の領域Ｒ１１の各画素の視差の値から、ステレオカメラ撮像手段２と歩行者として仮判定された撮像対象までの距離を算出する。距離特定手段６は、ステレオカメラ撮像手段２と、歩行者として仮判定された物標の候補との距離を代表する値として、代表距離を算出する。画像データＤＲ，ＤＬの各画素の視差の値は、その画素の撮像対象とステレオカメラ撮像手段２との距離に対応している。距離特定手段６は、例えば、距離算出用の領域Ｒ１１に含まれる各画素の視差の中央値や平均値を代表視差として算出する。この代表視差は、物標の候補とステレオカメラ撮像手段２との代表距離に対応している。距離特定手段６は、代表視差の値をそのまま代表距離に対応する値として出力しても、代表視差を距離に換算して、代表距離を出力してもよい。本実施形態の距離特定手段６は、代表距離Ｌ０を算出し、算出した代表距離Ｌ０を抽出範囲設定手段７に出力する。なお、ステレオカメラ撮像手段２と物標の候補との距離が遠いほど視差値は小さな値となり、距離が近いほど視差値は大きな値となる。従って、距離特定手段６が代表距離Ｌ０に対応する値として代表視差の値を出力する場合には、上記の視差値と距離との相関関係に基づいて、抽出範囲設定手段７等による各処理がなされるようにすればよい。

抽出範囲設定手段７は、第一領域Ｒ１のうち、実際に物標の抽出に用いる範囲を設定する。まず、図６を参照して、視差に基づいて物標を抽出するときの問題点について説明する。ステレオカメラ撮像手段２より得られる画像データから立体物の形状を抽出する場合、立体物と背景との分離が必要である。歩行者のような路面に接地している立体物では、路面に近い脚の部分と路面との分離は、上半身と背景との分離と比較して困難である。

図６に示すように、ステレオカメラ撮像手段２から抽出対象の歩行者ＰＥ（歩行者ＰＥ１，ＰＥ２）までの距離Ｌ１と、背景（例えば、路面）までの距離（Ｌ１＋Ｌ２）とは異なる。このことから、２つの画像データＤＲ，ＤＬの視差に基づいて歩行者ＰＥ１や歩行者ＰＥ２を抽出することが可能となる。しかしながら、歩行者ＰＥ（ＰＥ１，ＰＥ２）のうち、路面に近い部分、例えば歩行者ＰＥの脚部を抽出しようとする場合、２つの距離の差分Ｌ２が小さな値となる。このため、抽出の精度が低下しやすい。また、ステレオカメラ撮像手段２から遠い位置にいる歩行者ＰＥ２の場合、抽出対象までの距離Ｌ１が大きな値となる。このため、近い位置にいる歩行者ＰＥ１を抽出する場合と比較して、歩行者ＰＥ２の足元を背景から分離することが難しく、真の形状とは異なる形状を抽出してしまいやすい。例えば、歩行者ＰＥ２の足元を抽出する場合、路面形状に起因するノイズによる影響を受けやすくなる。

これに対して、本実施形態に係る画像処理装置１００は、以下に説明するように、物標の候補までの距離に応じて、立体物の形状の抽出に使用する上下方向の範囲を変化させる。これにより、物標の候補の形状を精度よく抽出することができ、例えば、遠方にある物標の候補を抽出するときの精度の低下が抑制される。図７および図８を参照して、抽出範囲設定手段７による範囲の設定について説明する。

図７に示すように、第一領域Ｒ１には、抽出許可領域Ｒ１２および抽出禁止領域Ｒ１３が定められる。ここで、抽出許可領域Ｒ１２は、画像データＤＲ，ＤＬから後述する候補領域ＰＸ３（図１０参照）を抽出することが許可される領域である。一方、抽出禁止領域Ｒ１３は、画像データＤＲ，ＤＬから候補領域ＰＸ３を抽出することが禁止される領域である。抽出許可領域Ｒ１２と抽出禁止領域Ｒ１３とは、境界線ＬＢによって分けられている。境界線ＬＢは、所定の位置としての一例であり、本実施形態では直線である。所定の位置としての境界線ＬＢは、基準位置として設定される位置である。境界線ＬＢは、第一領域Ｒ１の上端Ｒ１ａからの上下方向の幅ｈｐで決まるラインである。言い換えると、境界線ＬＢは、第一領域Ｒ１の枠上端よりも下側にあり、上端Ｒ１ａからの距離がｈｐの線である。抽出許可領域Ｒ１２は、境界線ＬＢよりも上端Ｒ１ａ側の領域である。つまり、抽出許可領域Ｒ１２は、基準位置である境界線ＬＢよりも上部を撮像した上部領域である。一方、抽出禁止領域Ｒ１３は、境界線ＬＢよりも上端Ｒ１ａ側と反対側の領域である。抽出禁止領域Ｒ１３は、基準位置である境界線ＬＢよりも下部を撮像した下部領域である。つまり、本実施形態では、第一領域Ｒ１のうち境界線ＬＢよりも下部を撮像した領域である抽出禁止領域Ｒ１３について、候補領域ＰＸ３を抽出することが禁止される。

抽出範囲設定手段７は、例えば、図８に示すマップを参照して、抽出許可領域Ｒ１２を設定する。図８の横軸は、ステレオカメラ撮像手段２と物標の候補との距離ｄを示し、縦軸は、高さｈを示す。なお、高さｈは、画像上の距離ではなく、実際の高さである。すなわち、高さｈは、物標の候補がある位置での実際の空間上の長さを示すものである。この高さｈに応じて、抽出許可領域Ｒ１２の枠が決定される。例えば、ステレオカメラ撮像手段２から物標の候補までの距離ｄの値がｄ１である場合、高さｈの値としてｈ１が選択される。抽出範囲設定手段７は、高さｈを物標の候補までの距離ｄに応じて画像上の長さに変換し、図７に示す抽出許可領域Ｒ１２の上下方向の幅ｈｐを決定する。抽出範囲設定手段７は、第一領域Ｒ１のうち、上端Ｒ１ａから幅ｈｐの領域を抽出許可領域Ｒ１２とする。

図８に示すように、ステレオカメラ撮像手段２から物標の候補までの距離ｄが大きい場合の高さｈは、当該距離ｄが小さい場合の高さｈよりも小さい。つまり、距離特定手段６によって特定された距離（代表距離Ｌ０）が大きい場合の所定の高さ位置（境界線ＬＢ）は、代表距離Ｌ０が小さい場合の所定の高さ位置よりも、物標候補の上下方向の上側に位置する。本実施形態では、代表距離Ｌ０が大きな値であるほど、境界線ＬＢが歩行者の上端寄りの位置に設定される。一方、代表距離Ｌ０が小さな値であるほど、境界線ＬＢが相対的に歩行者の下端寄りの位置に設定される。

従って、本実施形態では、同一の物標候補を抽出する際に、代表距離Ｌ０に応じて抽出許可領域Ｒ１２の縦横比が変化することになる。物標が車両１から遠くにあるほど、画像において物標を撮像した領域が小さくなる。従って、物標が遠くにあるほど、第一領域Ｒ１の大きさも小さくなる。本実施形態では、物標が遠ざかることによる第一領域Ｒ１の縮小割合よりも大きな縮小割合で抽出許可領域Ｒ１２の上下方向の幅ｈｐが縮小される。従って、物標の候補がステレオカメラ撮像手段２から近い位置にあるほど、抽出許可領域Ｒ１２が上下方向に細長くなる一方、物標の候補が遠い位置にあるほど、抽出許可領域Ｒ１２の横枠の幅に対する縦枠の幅ｈｐの割合が小さくなる。

なお、距離ｄに応じた高さｈの値は、予め実験的に定められてもよい。例えば、路面からステレオカメラ撮像手段２までの高さと、距離ｄと、高さｈとの組み合わせについて、実験結果に基づいて物標を抽出する抽出精度の評価が行われる。その結果、例えば、距離ｄの位置にある物標を抽出する際に許容される抽出精度を実現できる高さｈの最大値に基づいて図８のマップが作成される。

第二の抽出手段８は、視差に基づいて、第一領域Ｒ１から物標の候補の画像領域である候補領域ＰＸ３を抽出する。第二の抽出手段８は、抽出許可領域Ｒ１２の各画素の視差の値に基づいて、物標の候補と背景とを分離する。図９を参照して、第二の抽出手段８による物標の候補の抽出方法について説明する。

第二の抽出手段８は、抽出許可領域Ｒ１２のうち、撮像対象とステレオカメラ撮像手段２との距離が、距離特定手段６によって特定された距離（代表距離Ｌ０）に対して所定の範囲内である領域を候補領域として抽出する。例えば、図９に示すように、ステレオカメラ撮像手段２からの距離が、代表距離Ｌ０に対して奥行き方向の所定距離σの範囲内が所定の範囲内とされる。なお、図９には、抽出許可領域Ｒ１２に対応する領域が矢印で示されている。

抽出許可領域Ｒ１２の画素のうち、視差の値に対応する距離が代表距離Ｌ０に対して所定の範囲内である画素は、物標の候補を撮像した画素として判定される。具体的には、第二の抽出手段８は、抽出許可領域Ｒ１２内の各画素について、その画素の視差の値をステレオカメラ撮像手段２からの距離ＬＰに換算する。第二の抽出手段８は、算出された距離ＬＰが、下記式（１）を満たす画素を候補領域の画素であると判断する。
Ｌ０−σ≦ＬＰ≦Ｌ０＋σ…（１）

図１０に示すように、候補領域ＰＸ３は、抽出許可領域Ｒ１２において抽出され、抽出禁止領域Ｒ１３では抽出されない。このように、本実施形態の画像処理装置１００によれば、視差に基づく抽出精度が比較的高い領域に限定して物標の候補領域ＰＸ３を抽出することができる。その結果、物標の領域を抽出する際の抽出精度を向上させることができる。よって、本実施形態の画像処理装置１００によれば、候補領域ＰＸ３に基づいてパターンマッチングを行う際の判定精度の低下が抑制される。

対象物判定手段９は、候補領域ＰＸ３の形状と、予め定められた物標の形状との比較により候補領域ＰＸ３の画像が物標の画像であるか否かを判定する。本実施形態の対象物判定手段９による比較方法は、パターンマッチングである。ＥＣＵ３は、物標の形状として、歩行者の形状を予め記憶している。ＥＣＵ３は、例えば、向きや姿勢、体格等の異なる複数の歩行者の形状を記憶している。対象物判定手段９は、これらの記憶された形状と、候補領域ＰＸ３の形状とのパターンマッチングを行う。対象物判定手段９は、候補領域ＰＸ３の形状と記憶された形状との比較結果に基づいて、候補領域ＰＸ３が歩行者の画像であるか否かを判定する。本実施形態では、第一領域Ｒ１のうち所定の位置である境界線ＬＢよりも下部を撮像した領域、すなわち相対的に抽出精度の低い領域は、抽出禁止領域Ｒ１３とされる。つまり、抽出禁止領域Ｒ１３から候補領域ＰＸ３を抽出することが、所定の位置である境界線ＬＢよりも上部を撮像した抽出許可領域Ｒ１２から候補領域ＰＸ３を抽出することよりも制約されている。よって、候補領域ＰＸ３に精度の低い抽出結果が混在してしまうことを抑制し、対象物判定手段９に高精度のパターンマッチングを行わせることができる。

図１を参照して、本実施形態の画像処理装置１００の動作について説明する。図１に示す制御フローは、例えば、所定の周期で繰り返し実行される。まず、ステップＳ１では、ステレオカメラ撮像手段２により２枚の画像が同時に撮影される。ＥＣＵ３は、右側カメラ２Ｒおよび左側カメラ２Ｌに対して同時に撮像することを指令する。ＥＣＵ３は、指令に応じて同時に撮像された右画像データＤＲを右側カメラ２Ｒから取得し、左画像データＤＬを左側カメラ２Ｌから取得する。ステップＳ１が実行されると、ステップＳ２に進む。

ステップＳ２では、視差算出手段４により、視差が算出される。視差算出手段４は、例えば、図４を参照して説明したように、ステレオ視処理によって右画像データＤＲと左画像データＤＬの視差を算出する。視差算出手段４は、画像データＤＲ，ＤＬの各画素について視差の値を算出し、各画素のアドレスと当該画素の視差の値との関係を示す視差情報を距離特定手段６に出力する。ステップＳ２が実行されると、ステップＳ３に進む。

ステップＳ３では、第一の抽出手段５により、第一領域Ｒ１が抽出される。第一の抽出手段５は、例えば、図５を参照して説明したように、第一領域Ｒ１を抽出する。第一の抽出手段５は、抽出した第一領域Ｒ１についての情報、例えば第一領域Ｒ１のアドレスを示す情報を距離特定手段６に出力する。ステップＳ３が実行されると、ステップＳ４に進む。

ステップＳ４では、距離特定手段６により、歩行者の候補として検出された検出物までの距離が算出される。距離特定手段６は、例えば、図５を参照して説明したように、距離算出用の領域Ｒ１１内の各画素について算出された視差の値の中央値をステレオカメラ撮像手段２から検出物までの距離とする。距離特定手段６は、算出した距離（代表距離Ｌ０）を抽出範囲設定手段７に出力する。ステップＳ４が実行されると、ステップＳ５に進む。

ステップＳ５では、抽出範囲設定手段７により輪郭形状を検出可能な範囲が設定される。抽出範囲設定手段７は、距離特定手段６によって算出された代表距離Ｌ０の値に基づいて、ステップＳ５の範囲を設定する。抽出範囲設定手段７は、例えば、図７および図８を参照して説明したように、抽出許可領域Ｒ１２を設定する。抽出範囲設定手段７は、設定した抽出許可領域Ｒ１２に関する情報、例えば抽出許可領域Ｒ１２のアドレスに関する情報を第二の抽出手段８に出力する。ステップＳ５が実行されると、ステップＳ６に進む。

ステップＳ６では、第二の抽出手段８により、ステップＳ５で設定された範囲内の視差を用いて輪郭形状が抽出される。第二の抽出手段８は、ステップＳ５で設定された抽出許可領域Ｒ１２の各画素の視差データに基づいて、抽出許可領域Ｒ１２から候補領域ＰＸ３を抽出する。第二の抽出手段８は、例えば、図９を参照して説明したように、抽出許可領域Ｒ１２内の画素のうち、ステレオカメラ撮像手段２から撮像対象までの距離が代表距離Ｌ０に対して所定距離σの範囲内である画素を候補領域ＰＸ３の画素として分類する。第二の抽出手段８は、例えば、抽出許可領域Ｒ１２内の全ての画素について、その画素が候補領域ＰＸ３の画素であるか否かを判定する。

第二の抽出手段８は、候補領域ＰＸ３を決定すると、候補領域ＰＸ３の輪郭形状を抽出する。例えば、候補領域ＰＸ３の各行の画素のうち、連続した画素の端部にある画素が輪郭を構成する画素として判定される。同様にして、候補領域ＰＸ３の各列の画素のうち、連続した画素の端部にある画素が輪郭を構成する画素として判定される。第二の抽出手段８は、抽出した輪郭形状を対象物判定手段９に出力する。ステップＳ６が実行されると、ステップＳ７に進む。

ステップＳ７では、対象物判定手段９により、輪郭形状が歩行者であるか否かが判定される。対象物判定手段９は、第二の抽出手段８によって抽出された輪郭形状と、予め記憶しておいた歩行者のモデルとのマッチングを行う。対象物判定手段９は、例えば、抽出された輪郭形状とモデルとのスケールを合わせるように、輪郭形状を拡大あるいは縮小して、モデルとのパターンマッチングを行う。対象物判定手段９は、例えば、参考文献２の手法のHOG（Histogram of oriented gradient）の部分を２値化画像に置き換えて、SVM（Support Vector Machines）によって判定するようにしてもよい。

対象物判定手段９は、ステップＳ６で抽出された輪郭形状が歩行者の形状であるか否かを判定し、その判定結果を出力する。ステップＳ７が実行されると、本制御フローは終了する。

以上説明したように、本実施形態の画像処理装置１００によれば、第一領域Ｒ１のうち所定の位置である境界線ＬＢよりも下部を撮像した領域（抽出禁止領域Ｒ１３）から候補領域ＰＸ３を抽出することが、所定の位置よりも上部を撮像した領域（抽出許可領域Ｒ１２）から候補領域ＰＸ３を抽出することよりも制約されている。本実施形態では、抽出禁止領域Ｒ１３において候補領域ＰＸ３の抽出を制約する度合いが最大とされ、候補領域ＰＸ３の抽出が禁止される。これにより、候補領域ＰＸ３の抽出精度を低下させてしまうことが効果的に抑制される。

また、本実施形態の画像処理装置１００は、距離特定手段６によって特定された距離（代表距離Ｌ０）が大きい場合における境界線ＬＢが、当該距離が小さい場合における境界線よりも、第一領域Ｒ１におけるより上部側に設定される。これは、以下の（i）および（ii）によって実現される。
（i）代表距離Ｌ０が大きい場合、代表距離Ｌ０が小さい場合よりも図８に示す高さｈが小さな値とされること。
（ii）高さｈが小さな値となることで、境界線ＬＢが第一領域Ｒ１において相対的に上側に移動し、抽出禁止領域Ｒ１３が上側に拡大すること。

なお、本実施形態のＥＣＵ３は、更に、ドライバの運転操作を支援する支援手段を備えて構成されてもよい。支援手段は、例えば、ステップＳ７の判定結果に基づいて、ドライバを支援する。支援方法としては、例えば、情報伝達手段によって、歩行者の存在をドライバに伝達する方法、操作支援手段によって運転操作を支援する方法などが挙げられる。歩行者の存在を伝達する方法には、検出された歩行者と車両１との相対位置や相対速度に基づいて、ドライバに対して注意喚起や警告を行うことや、歩行者との接近を回避する回避操作を促すことなどが含まれる。運転操作を支援する方法には、駆動源（エンジン、モータジェネレータ等）や制動装置、操舵装置等に対するドライバの操作入力をアシストして、検出された歩行者との接近を回避することなどが含まれる。支援手段を備えるＥＣＵ３は、車両１を制御する制御装置として機能することができる。

本実施形態に係る画像処理装置１００によれば、抽出された歩行者の候補との距離に基づいて、その候補を精度よく抽出可能な画像領域（抽出許可領域Ｒ１２）に限定して候補領域ＰＸ３が抽出される。従って、歩行者の候補が車両１から遠方にいる場合、歩行者の上部、例えば頭部や上半身の画像が候補領域ＰＸ３として抽出される。歩行者が遠方にいる場合でも、歩行者の上部は、背景との視差が比較的大きいため、精度よく抽出される。こうして精度よく抽出された候補領域ＰＸ３に基づいて歩行者モデルとのマッチングが行われることで、その候補領域ＰＸ３が歩行者であるか否かが精度よく判定される。つまり、歩行者が遠方にいるときから、歩行者の存在を精度よく判定することが可能である。また、歩行者の下部についての抽出が禁止されることで、候補領域ＰＸ３に精度の低い抽出結果が混在してしまうことが抑制される。よって、実際は歩行者であるにもかかわらず候補領域ＰＸ３が歩行者でないと誤判定されてしまうことが抑制される。

車両１と歩行者との距離が短くなるに従い、抽出許可領域Ｒ１２は、第一領域Ｒ１において歩行者の下端に向けて広がる。従って、車両１と歩行者が接近するに従い、歩行者のより多くの部分を含む候補領域ＰＸ３が抽出されるようになる。これにより、パターンマッチングによって、歩行者の向きや姿勢など歩行者についての更に詳細な情報を得ることができるようになる。抽出された候補が実際に歩行者であるか否かだけでなく、その歩行者が子供であるか否か、その歩行者が車両１の前方を横断しようとしているか否かなど、歩行者を精度よく分類することが可能となる。

（画像処理方法）
第１実施形態によれば、画像処理方法が開示されている。上記の画像処理方法は、周囲の画像を撮像する撮像手順と、撮像手順において撮像された画像データに基づいて物標の候補を含む画像領域である第一領域を抽出する第一の抽出手順と、撮像手順において撮像された画像データに基づいて視差を算出する視差算出手順と、視差に基づいて、第一領域から候補の画像領域である候補領域を抽出する第二の抽出手順と、候補領域の形状と、予め定められた物標の形状との比較により候補領域の画像が物標の画像であるか否かを判定する対象物判定手順と、を備え、第一領域のうち所定の位置よりも下部を撮像した領域から候補領域を抽出することが、所定の位置よりも上部を撮像した領域から候補領域を抽出することよりも制約されているものである。

撮像手順は、例えば、ステレオカメラ撮像手段２によって実行される。第一の抽出手順は、例えば、第一の抽出手段５によって実行される。視差算出手順は、例えば、視差算出手段４によって実行される。第二の抽出手順は、例えば、第二の抽出手段８によって実行される。対象物判定手順は、例えば、対象物判定手段９によって実行される。

［第１実施形態の変形例］
第１実施形態の変形例について説明する。図１１は、第１実施形態の変形例に係る抽出許可領域の決定方法の説明図である。上記第１実施形態では、ステレオカメラ撮像手段２と物標の候補との距離ｄが大きくなるに従い、抽出許可領域Ｒ１２を決定する高さｈが連続的に減少していた。本変形例では、抽出許可領域Ｒ１２を決定する高さｈが段階的に変化する点で、上記第１実施形態と異なる。

図１１に示すように、距離ｄには、閾値ｄ１，ｄ２が定められている。第一の閾値ｄ１は、第二の閾値ｄ２よりも小さな値である。距離ｄが第一の閾値ｄ１未満である場合、抽出許可領域Ｒ１２を決定する高さｈは、第一の高さｈ１とされる。距離ｄが第一の閾値ｄ１以上で第二の閾値ｄ２未満である場合、抽出許可領域Ｒ１２を決定する高さｈは、第二の高さｈ２とされる。また、距離ｄが第二の閾値ｄ２以上である場合、抽出許可領域Ｒ１２を決定する高さｈは第三の高さｈ３とされる。ここで、第二の高さｈ２は、第一の高さｈ１よりも小さく、第三の高さｈ３は、第二の高さｈ２よりも小さい。

なお、本変形例では、抽出許可領域Ｒ１２を決定する高さｈが３段階に変化するが、これに代えて、抽出許可領域Ｒ１２を決定する高さｈが２段階に変化するようにしても、４段階以上に変化するようにしてもよい。

［第２実施形態］
図１２を参照して、第２実施形態について説明する。第２実施形態については、上記第１実施形態で説明したものと同様の機能を有する構成要素には同一の符号を付して重複する説明は省略する。図１２は、第２実施形態の候補領域の抽出方法を説明する図である。第２実施形態について、上記第１実施形態と異なる点は、歩行者ＰＥの下部について候補領域ＰＸ３の抽出が許可されている点である。上記第１実施形態では、第一領域Ｒ１のうち、所定の位置よりも上部を撮像した領域のみで候補領域ＰＸ３の抽出が許可された。第２実施形態では、これに代えて、所定の位置よりも下部を撮像した領域でも候補領域ＰＸ３を抽出することが許可される。ただし、以下に説明するように、下部を撮像した領域では、候補領域ＰＸ３を抽出する抽出条件が制約されている。

図１２に示すように、本実施形態では、第一領域Ｒ１が、上部領域Ｒ１Ｕと下部領域Ｒ１Ｌの２つの領域に分けられている。なお、図１２の第一領域Ｒ１は、画像データＤＲ，ＤＬ上の第一領域Ｒ１を実際の空間上の位置に投影したイメージである。上部領域Ｒ１Ｕは、第一領域Ｒ１のうち、所定位置よりも上下方向の上側を撮像した領域である。一方、下部領域Ｒ１Ｌは、第一領域Ｒ１のうち、所定位置よりも上下方向の下側を撮像した領域である。上部領域Ｒ１Ｕと下部領域Ｒ１Ｌとの境界線は、例えば、上記第１実施形態の境界線ＬＢと同様に決定される。

図１２に示すように、上部領域Ｒ１Ｕについての所定距離σである第一所定距離σ１は、下部領域Ｒ１Ｌについての所定距離σである第二所定距離σ２よりも大きい。すなわち、上部領域Ｒ１Ｕでは、代表距離Ｌ０との距離差が比較的大きな画素であっても、候補領域ＰＸ３を構成する画素とされる。例えば、上部領域Ｒ１Ｕ上のある画素について、その画素の撮像対象とステレオカメラ撮像手段２との距離ＬＰと代表距離Ｌ０との差が、第二所定距離σ２を超えていても、第一所定距離σ１以下であれば、その画素は候補領域ＰＸ３を構成する。

これに対して、下部領域Ｒ１Ｌでは、ある画素について、その画素の撮像対象とステレオカメラ撮像手段２との距離ＬＰと代表距離Ｌ０との差が、第二所定距離σ２を超えると、その画素は物標の候補を撮像した画素であるとは判定されない。第二の抽出手段８は、上部領域Ｒ１Ｕについては、第一所定距離σ１に基づいて候補領域ＰＸ３を抽出する。また、第二の抽出手段８は、下部領域Ｒ１Ｌについては、第二所定距離σ２に基づいて候補領域ＰＸ３を抽出する。画像処理装置１００のその他の動作については、上記第１実施形態と同様とされてもよい。

本実施形態では、このように、第一領域Ｒ１の上部と下部で所定距離σが異なる。第一領域Ｒ１のうち所定の位置よりも下部を撮像した下部領域Ｒ１Ｌについての所定の範囲（±σ２の範囲）が、所定の位置よりも上部を撮像した上部領域Ｒ１Ｕについての所定の範囲（±σ１の範囲）よりも狭いことにより、下部領域Ｒ１Ｌから候補領域ＰＸ３を抽出することが、上部領域Ｒ１Ｕから候補領域ＰＸ３を抽出することよりも制約される。よって、本実施形態によれば、歩行者ＰＥの下部を抽出する場合に、路面等の背景を歩行者ＰＥの一部として誤検出してしまうことが抑制される。

本実施形態では、更に、距離特定手段６によって特定された距離に応じて、第二所定距離σ２が変化する。ステレオカメラ撮像手段２から歩行者ＰＥの候補までの代表距離Ｌ０が大きい場合の第二所定距離σ２は、代表距離Ｌ０が小さい場合の第二所定距離σ２よりも小さい。つまり、距離特定手段６によって特定された距離（代表距離Ｌ０）が大きい場合における下部領域Ｒ１Ｌについて候補領域ＰＸ３の抽出が制約される度合いが、当該距離が小さい場合における下部領域Ｒ１Ｌについて候補領域ＰＸ３の抽出が制約される度合いよりも、高く設定される。言い換えると、歩行者ＰＥが遠方にいる場合、歩行者ＰＥが近くにいる場合よりも、下部領域Ｒ１Ｌにおいて候補領域ＰＸ３と判定する際に許容される距離あるいは視差の誤差範囲が小さくされ、候補領域ＰＸ３を抽出することが抑制される度合いが強くなる。

また、代表距離Ｌ０が大きくなると第二所定距離σ２が小さくされることにより、第一所定距離σ１と第二所定距離σ２との乖離度合いが大きくなる。つまり、代表距離Ｌ０が大きい場合、当該距離が小さい場合よりも、下部領域Ｒ１Ｌについての所定の範囲（±σ２の範囲）と、上部領域Ｒ１Ｕの所定の範囲（±σ１の範囲）との乖離度合いが大きくなる。よって、対象物の距離が遠くなるに従い抽出精度が低下しやすいステレオカメラ方式の特性に応じて、検出対象が遠いときの下部領域Ｒ１Ｌの抽出条件を厳しくすることができる。

代表距離Ｌ０の変化に伴う第二所定距離σ２の変化は、連続的な変化であっても、段階的な変化であってもよい。なお、代表距離Ｌ０が一定以上の距離である場合、第二所定距離σ２が０とされてもよい。第二所定距離σ２が０とされた場合には、上記第１実施形態とほぼ同様の候補領域ＰＸ３を得ることが可能である。

第２実施形態において、上部領域Ｒ１Ｕと下部領域Ｒ１Ｌとの境界線は、代表距離Ｌ０にかかわらず一定とされてもよい。また、第一領域Ｒ１は、上下方向に３つ以上の領域に分割されてもよい。この場合、最も上側の領域については所定距離σの値を最も大きくし、下側の領域へ向かうに従い所定距離σの値を小さくしていくことが好ましい。

第２実施形態は、更に、第１実施形態と組み合わせて実行されてもよい。例えば、抽出許可領域Ｒ１２内に第２実施形態のような上部領域Ｒ１Ｕと下部領域Ｒ１Ｌが設けられてもよい。このようにすれば、抽出禁止領域Ｒ１３において候補領域ＰＸ３の抽出が禁止されると共に、抽出許可領域Ｒ１２において、相対的に下部を撮像した領域では候補領域ＰＸ３の抽出が制約される。

［第２実施形態の第１変形例］
第２実施形態の第１変形例について説明する。図１３は、第２実施形態の第１変形例に係る候補領域の抽出方法を説明する図である。図１３に説明するように、第１変形例の第一領域Ｒ１は、上部領域Ｒ１Ｕ、中間領域Ｒ１Ｍおよび下部領域Ｒ１Ｌの３つの領域に分けられている。上部領域Ｒ１Ｕは、第一領域Ｒ１のうち上下方向の最も上側を撮像した領域である。下部領域Ｒ１Ｌは、第一領域Ｒ１のうち上下方向の最も下部を撮像した領域である。中間領域Ｒ１Ｍは、第一領域のうち上部領域Ｒ１Ｕと下部領域Ｒ１Ｌとの間の領域である。

図１３に示すように、上部領域Ｒ１Ｕの所定距離σである第一所定距離σ１、および下部領域Ｒ１Ｌの所定距離σである第二所定距離σ２は、それぞれ一定値である。これに対して、中間領域Ｒ１Ｍの所定距離σは上下方向の位置に応じて変化する。本変形例では、中間領域Ｒ１Ｍの所定距離σは、上下方向の下側へ向かうに従い値が小さくなる。また、中間領域Ｒ１Ｍにおいて、上部領域Ｒ１Ｕとの境界における所定距離σは、第一所定距離σ１である。中間領域Ｒ１Ｍにおいて、下部領域Ｒ１Ｌとの境界における所定距離σは、第二所定距離σ２である。つまり、所定距離σは、各領域Ｒ１Ｕ，Ｒ１Ｍ，Ｒ１Ｌの境界において連続している。

本変形例によれば、路面等の接地面からの上下方向の距離に応じて適宜所定距離σを変化させることができる。これにより、歩行者ＰＥと背景との視差の得やすさに応じて抽出条件を変化させ、抽出精度の低下を抑制することができる。なお、上記第１変形例と同様にして、代表距離Ｌ０に応じて第二所定距離σ２を変化させるようにしてもよい。また、代表距離Ｌ０が一定以上の距離である場合、第二所定距離σ２が０とされてもよい。また、代表距離Ｌ０に応じて、中間領域Ｒ１Ｍの位置が変化してもよい。例えば、代表距離Ｌ０が大きい場合の中間領域Ｒ１Ｍは、代表距離Ｌ０が小さい場合の中間領域Ｒ１Ｍよりも上側に位置するようにされてもよい。

なお、本変形例は、更に、上記第１実施形態と組み合わせて実行されてもよい。例えば、抽出許可領域Ｒ１２内に本変形例のような上部領域Ｒ１Ｕ、中間領域Ｒ１Ｍおよび下部領域Ｒ１Ｌが設定されてもよい。

［第２実施形態の第２変形例］
第２実施形態の第２変形例について説明する。図１４は、第２実施形態の第２変形例に係る候補領域の抽出方法を説明する図である。図１４に示すように、第２変形例では、所定距離σが、第一領域Ｒ１の上端側から下端側に向けて連続的に変化する。所定距離σは、第一領域Ｒ１のうち、相対的に上側を撮像した部分であるほど値が大きくなり、相対的に下側を撮像した部分であるほど値が小さくなる。これにより、視差に基づいて背景と歩行者ＰＥとを分離しにくい下方へ向かうほど、候補領域ＰＸ３を抽出することが制約される。

所定距離σは、例えば、上下方向の位置に応じて、図１４に示すように線形的に値が変化する。なお、所定距離σは、線形的に値が変化することに代えて、例えば、上下方向の位置に応じて、奥行き方向に湾曲する曲線に沿って値が変化してもよい。

本変形例では、所定距離σの最小値σ３が可変である。最小値σ３は、代表距離Ｌ０に応じて値が変化する。代表距離Ｌ０が大きい場合の最小値σ３の値は、代表距離Ｌ０が小さい場合の最小値σ３の値よりも小さい。つまり、車両１に対して歩行者ＰＥが遠い位置にいるほど、最小値σ３が小さくなる。一方、所定距離σの最大値σ４は、不変である。歩行者ＰＥが遠くなると最小値σ３が小さくされることにより、歩行者ＰＥが車両１から遠方にいるほど、歩行者ＰＥの足元が候補領域ＰＸ３として抽出されにくくなる。また、歩行者ＰＥが車両１から遠方にいるほど、候補領域ＰＸ３として抽出されにくい領域が歩行者ＰＥのより上側の位置まで拡大する。代表距離Ｌ０が一定以上の距離である場合、最小値σ３が０とされてもよい。

なお、本変形例は、更に、上記第１実施形態と組み合わせて実行されてもよい。例えば、抽出許可領域Ｒ１２において、下側へ向かうに従い所定距離σが低減するようにされてもよい。

［上記各実施形態の変形例］
上記第１実施形態および第２実施形態では、画像処理装置１００が車両１に搭載されていたが、これに限定されるものではない。画像処理装置１００は、車両以外の移動体に搭載されてもよく、移動体以外の構造物等に搭載されてもよい。また、画像処理装置１００は、例えば、ユニットとして単体で取り引きされてもよい。画像処理装置１００は、専用の装置で構成されても、少なくとも一部の構成要素が汎用品で構成されてもよい。例えば、ステレオカメラ撮像手段２は、２つの汎用カメラの組み合わせによって構成されてもよい。また、ＥＣＵ３に代えて、汎用のコンピュータ（例えば、ＰＣ）が用いられてもよい。ステレオカメラ撮像手段２は、２つのカメラを備えることに代えて、１つのカメラでステレオ画像を撮像するものであってもよい。

上記各実施形態および変形例では、ステレオカメラ撮像手段２によって車両１の前方が撮像されたが、撮像の方向はこれには限定されない。ステレオカメラ撮像手段２は、例えば、車両１の側方や後方などを撮像するようにしてもよい。距離特定手段６は、視差に基づいて撮像手段から物標の候補までの距離を算出することに代えて、レーダ検出器などの距離情報取得手段によって物標の候補までの距離を特定するようにしてもよい。

マッチングによる判定対象の物標は、典型的には歩行者であるが、他の物標が判定対象とされてもよい。他の物標としては、例えば、先行車や自転車など、車両の周囲の交通環境内を移動する移動物が含まれる。また、他の物標としては、例えば、電柱やポールなどの固定物が含まれてもよい。

上記の各実施形態および各変形例に開示された内容は、適宜組み合わせて実行することができる。

１ 車両
２ ステレオカメラ撮像手段（撮像手段）
３ ＥＣＵ
４ 視差算出手段
５ 第一の抽出手段
６ 距離特定手段
７ 抽出範囲設定手段
８ 第二の抽出手段
９ 対象物判定手段
１００ 画像処理装置
ＰＸ１ 画素領域
ＰＸ２ 背景の領域
ＰＸ３ 候補領域
Ｒ１ 第一領域
Ｒ１１ 距離算出用の領域
Ｒ１２ 抽出許可領域
Ｒ１３ 抽出禁止領域
Ｒ１Ｕ 上部領域
Ｒ１Ｌ 下部領域

Claims (6)

1. 周囲の画像を撮像するステレオカメラ撮像手段と、
   前記ステレオカメラ撮像手段によって撮像された画像データに基づいて物標の候補を含む画像領域である第一領域を抽出する第一の抽出手段と、
   前記ステレオカメラ撮像手段によって撮像された画像データに基づいて視差を算出する視差算出手段と、
   前記視差に基づいて、前記第一領域から前記候補の画像領域である候補領域を抽出する第二の抽出手段と、
   前記候補領域の形状と、予め定められた前記物標の形状との比較により前記候補領域の画像が前記物標の画像であるか否かを判定する対象物判定手段と
   を備え、前記第一領域のうち所定の位置よりも下部を撮像した領域から前記候補領域を抽出することが、前記所定の位置よりも上部を撮像した領域から前記候補領域を抽出することよりも制約され、
   前記所定の位置は、基準位置として設定される位置であって、
   前記第一領域のうち前記基準位置よりも下部を撮像した下部領域から前記候補領域を抽出することが、前記基準位置よりも上部を撮像した上部領域から前記候補領域を抽出することよりも制約され、
   更に、前記ステレオカメラ撮像手段から前記物標の候補までの距離を特定する距離特定手段を備え、
   前記距離特定手段によって特定された前記距離が大きい場合における前記基準位置が、当該距離が小さい場合における前記基準位置よりも、前記第一領域におけるより上部側に設定される
   ことを特徴とする画像処理装置。
2. 前記距離特定手段によって特定された前記距離が大きい場合における前記下部領域について前記候補領域の抽出が制約される度合いが、当該距離が小さい場合における前記下部領域について前記候補領域の抽出が制約される度合いよりも、高く設定される
   請求項１に記載の画像処理装置。
3. 前記第二の抽出手段は、前記第一領域のうち、撮像対象と前記ステレオカメラ撮像手段との距離が、前記距離特定手段によって特定された前記距離に対して所定の範囲内である領域を前記候補領域として抽出し、
   前記第一領域のうち前記下部領域についての前記所定の範囲が、前記上部領域についての前記所定の範囲よりも狭いことにより、前記下部領域について前記候補領域を抽出することが制約される
   請求項１または２に記載の画像処理装置。
4. 前記第二の抽出手段は、前記第一領域のうち、撮像対象と前記ステレオカメラ撮像手段との距離が、前記距離特定手段によって特定された前記距離に対して所定の範囲内である領域を前記候補領域として抽出し、
   前記第一領域のうち前記下部領域について、前記候補領域を抽出することが禁止される
   請求項１に記載の画像処理装置。
5. 前記距離特定手段によって特定された前記距離が大きい場合、当該距離が小さい場合よりも、前記第一領域のうち前記下部領域についての前記所定の範囲と、前記上部領域についての前記所定の範囲との乖離度合いが大きい
   請求項３に記載の画像処理装置。
6. 前記第一領域のうち前記所定の位置よりも下部を撮像した領域では、前記候補領域の抽出が禁止される
   請求項１から３、５のいずれか１項に記載の画像処理装置。

Images