JP4887539B2

JP4887539B2 - 物体種別判定装置

Info

Publication number: JP4887539B2
Application number: JP2008027558A
Authority: JP
Inventors: 裕次横地; 伸治長岡; 文則谷口
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2008-02-07
Filing date: 2008-02-07
Publication date: 2012-02-29
Anticipated expiration: 2028-02-07
Also published as: JP2009187357A

Description

本発明は、カメラ等の撮像手段により撮像された画像中の物体の種別を判定する装置に関する。

近年、赤外線カメラ等の撮像手段により周辺を撮像し、撮像された画像から周辺に存在する人等の物体を検出する技術が知られている（例えば、特許文献１，２を参照）。

特許文献１の人物検出装置では、画像にエッジ検出処理を行って抽出したエッジ画像を、人の頭部及び肩部の一般的な輪郭に基づいて予め設定した形状モデルに対応付けて、形状モデル上の予め設定された複数の点における、形状モデルの特徴量とエッジ画像の特徴量との相関性が高い領域を、人に相当する領域として検出する。

特許文献２の領域推定装置では、車載された赤外線カメラにより撮影された車両前方の赤外線画像から、赤外線画像の輝度分布に基づいて明部が集中している領域を抽出し、抽出した領域の重心位置、縦横比、充足率、実面積等の形状に関する特徴に基づいて、抽出した領域から歩行者等の検出対象者の頭部の領域を決定する。そして、頭部の検出位置と歩行者の一般的な身長とに基づいて、歩行者の身体に相当する領域を決定する。
特開２００１−１７５８６８号公報特開平１１−３２８３６４号公報

しかしながら、人の頭部及び肩部の位置関係は、人の姿勢によって変化する。これに対して、特許文献１の装置では、予め設定した頭部及び肩部の形状モデルを用いて人を検出するため、人の姿勢によっては検出できない場合がある。

また、特許文献２の装置でも、頭部の重心位置、縦横比、充足率、実面積等の形状に関する特徴は人の姿勢によって変化するので、人の姿勢によっては検出できないという問題がある。しかも、特許文献２の装置では、赤外線画像から明部が集中している領域を頭部の候補領域として抽出する際に、画像上での頭部サイズが未知のため、候補領域が限定されず多数抽出される。このため、頭部の領域を決定するためには、多くの頭部サイズを想定した探索が必要であり、計算量が膨大で複雑な処理が必要となる。

本発明は、かかる背景に鑑みてなされたものであり、物体の距離や姿勢によらずに、画像に撮像された物体の種別を簡易な処理で判定することができる物体種別判定装置を提供することを目的とする。

かかる目的を達成するために、本発明の物体種別判定装置は、撮像手段により撮像された画像に基づいて物体の種別を判定する物体種別判定装置において、前記撮像手段により撮像された画像から、前記物体に対応する画像領域を特定する画像領域特定手段と、前記物体と撮像手段との距離を検出する距離検出手段と、前記特定された画像領域に対して、該画像領域に対応する物体の前記距離検出手段により検出された距離に応じた度合で、該画像領域に含まれるピクセル数を減じる縮小処理を行い、該処理後の画像に所定の基準サイズの基準形状があるか否かを判断する形状判断手段と、前記形状判断手段による判断結果に基づいて、前記物体の種別を判断する種別判断手段とを備える。

本発明の物体種別判定装置では、画像領域特定手段により、撮像手段により撮像された画像から、物体に対応する画像領域が特定される。物体には、例えば、人、車両、建築物等の様々な種別のものが含まれる。一方、距離検出手段により、この物体と撮像手段との距離が検出される。

このとき、所定の種別の物体の大きさは一定範囲にあると想定される。よって、特定された画像領域のうち、対応する物体と撮像手段との距離から推定される実空間上の大きさが前記一定範囲となる画像領域は、所定の種別の物体に対応する画像領域である可能性が高い。ただし、この画像領域は、物体と撮像手段との距離によって様々な大きさとなる上、同じ種別であってもその姿勢等に応じて様々な形状を取り得る。

そこで、形状判断手段は、画像領域に対して、該画像領域に対応する物体の撮像手段との距離に応じた度合で、該画像領域に含まれるピクセル数を減じる縮小処理を行う。すなわち、所定の種別の物体に対応する画像領域の大きさは、撮像手段との距離が長いほど小さくなる。よって、距離に応じた度合で縮小処理を行うことで、この種別の物体に対応する画像領域の大きさを、所定の基準サイズに規格化することができる。そして、物体の形状の特徴部分は、その姿勢に応じて特徴部分と物体の他の部分との位置関係が変化しても、少なくともその特徴部分の一部が画像領域に含まれる可能性が高い。このとき、画像領域の特徴部分は、該画像領域に対応する物体の撮像手段との距離に応じた度合で、ピクセル数を減じる縮小処理を行うと、元の画像が有する特徴の傾向を維持した基準サイズの基準形状となる。例えば、画像領域の半円形状は、縮小処理を行うことで基準サイズの凸形状に達する。よって、形状判断手段により、画像領域に縮小処理を行った処理後の画像に基準形状があるか否かを判断し、この判断結果に基づいて、種別判断手段により物体の種別を判断することができる。しかも、基準形状があるか否かの判断に用いる処理後の画像領域の大きさは基準サイズに規格化されるので、特定された画像領域の大きさによらずに、基準サイズについて判断するのみでよく、判断に要する処理コストを低減することができる。

次に、第１発明は、上記物体種別判定装置において、前記形状判断手段は、前記縮小処理として、前記画像領域に２値化処理を行って抽出された２値化画像領域に対して、該２値化画像領域に対応する物体の前記距離検出手段により検出された距離が長いほど小さなサイズの構造要素を用いたモルフォロジー演算による収縮処理を行うことを特徴とする。

第１発明によれば、モルフォロジー演算による収縮処理により、対応する物体の撮像手段との距離が長いほど小さなサイズの構造要素で２値化画像領域が内側に削られるので、所定の種別の物体に対応する２値化画像領域が基準サイズに規格化されると共に、構造要素以下の２値化画像領域が除去される。そして、このモルフォロジー演算による収縮処理により、２値化画像領域が周辺から均等に内側に削られるので、２値化画像領域の周辺にある特徴部分が、元の画像が有する特徴の傾向を維持した基準サイズの基準形状となる。よって、この収縮処理を行った処理後の画像から、物体の種別を判断することができる。

また、第２発明は、上記物体種別判定装置において、前記形状判断手段は、前記縮小処理として、前記画像領域に対して、該画像領域に対応する物体の前記距離検出手段により検出された距離が長いほど小さな縮小率を用いたアフィン変換による縮小処理を行うことを特徴とする。

第２発明によれば、アフィン変換による縮小処理により、対応する物体の撮像手段との距離が長いほど小さな縮小率を用いて画像領域が縮小されるので、所定の種別の物体に対応する画像領域が基準サイズに規格化される。そして、このアフィン変換による縮小処理により、画像領域の全体からピクセルが均等に間引かれるので、画像領域の特徴部分が、元の画像が有する特徴の傾向を維持した基準サイズの基準形状となる。よって、この縮小処理を行った処理後の画像から、物体の種別を判断することができる。

また、第１又は第２発明の物体種別判定装置において、前記基準形状は凸形状であり、前記種別判断手段は、前記形状判断手段により該凸形状があると判断された場合に、前記物体の種別が人であると判断することが好ましい（第３発明）。

第３発明によれば、物体が人の場合、画像領域特定手段により特定された画像領域に、半円形状である場合が多い人の頭部の画像が部分的に含まれることとなる。よって、半円形状が画像領域に含まれるか否かで、人であるか否かを判断することができる。そして、画像領域の半円形状は、所定の基準サイズとなるようにピクセル数を減じる縮小処理を行うと凸形状となる。よって、種別判断手段は、形状判断手段により画像領域に凸形状があると判断された場合に、物体の種別が人であると判断することができる。

また、第１〜第３発明のうちいずれかの１つの物体種別判定装置において、前記撮像手段は車両に搭載されて、該車両の周辺を撮像するものであり、前記車両の周辺に存在する物体の種別を判定することが好ましい（第４発明）。

第４発明によれば、撮像手段により車両の周辺を撮像し、撮像した画像に基づいて、車両周辺の歩行者等の種別を判定することができる。これにより、車両周辺の歩行者等を検出して、その検出結果を、運転者への情報の提示や車両の制御に用いることができる。

［第１実施形態］
本発明の一実施形態を添付の図面を参照して説明する。まず、第１実施形態について、図１〜図７を参照して説明する。図１は、本実施形態による物体種別判定装置の機能ブロック図であり、図２は、図１の物体種別判定装置に備えたレーダ（ミリ波レーダ装置）が送信するミリ波のビームを平面視で示す図であり、図３は、図１の物体種別判定装置の収縮処理により得られる基準形状の説明図であり、図４は、モルフォロジー演算による収縮処理の説明図であり、図５は、図４のモルフォロジー演算による収縮処理で用いる構造要素のサイズと処理後画像に関する説明図であり、図６は、図１の物体種別判定装置における物体種別判定処理を示すフローチャートであり、図７は、図６の物体種別判定処理における処理画像例である。

図１を参照して、本実施形態の物体種別判定装置は、ＣＰＵ（中央演算装置）を備えた電子ユニットである画像処理ユニット１を有する。この画像処理ユニット１には、車両の前方の画像を撮像する撮像装置としての赤外線カメラ２と、ミリ波レーダ装置２０とが接続されている。また、画像処理ユニット１には、音声などによる聴覚的な注意喚起情報を出力するためのスピーカ６と、赤外線カメラ２により撮像された画像や視覚的な注意喚起情報を表示するための表示装置７とが接続されている。

赤外線カメラ２は、自車両１０の前方を撮像するために、自車両１０の前部に取り付けられている。赤外線カメラ２は、遠赤外線を検出可能なカメラであり、物体の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。赤外線カメラ２は、本発明の撮像手段に相当する。

また、ミリ波レーダ装置２０は、自車両１０の前部で、赤外線カメラ２の上側に取り付けられている。ミリ波レーダ装置２０は、ミリ波のビームを車両の前方に送信し、このミリ波の反射波（車両の前方に存在する物体で反射されたミリ波）を受信する。そして、その受信した反射波を基に、自車両１０の前方に存在する物体を検出する。

図２は、ミリ波レーダ装置２０が送信するミリ波のビームを平面視で示している。図２を参照して、本実施形態におけるミリ波レーダ装置２０は、走査型のレーダ装置であり、図示のように、車両１０の前方に送信するミリ波のビームＢＭを自車両１０の左右方向に走査する（ビームＢＭの方位角を一定角度づつ、自車両１０の左右方向に動かす）。なお、送信するミリ波のビームＢＭの強度は所定の一定強度である。

ここで、図２に示すラインＬ１，Ｌ２は、赤外線カメラ２の視野角（水平方向の視野角）の境界線を示しており、これらのラインＬ１，Ｌ２の間の領域が赤外線カメラ２の撮像領域である。そして、ビームＢＭの幅は、撮像領域よりも小さいが、その走査範囲はこの撮像領域を含むように設定されている。なお、ビームＢＭの上下方向の幅は、赤外線カメラ２の上下方向の視野角の範囲を含むように設定されている。

そして、ミリ波レーダ装置２０は、ビームＢＭを走査しながら（ビームＢＭの方位角を一定角度ずつ動かしながら）、各方位角へのビームＢＭの送信時に、上下方向に配列された図示しない複数の受信アンテナでミリ波の反射波を受信し、その受信した反射波のうちの所定の強度以上の反射波を基に、ビームＢＭの送信方向に存在する物体を検出する。この場合、ミリ波レーダ装置２０は、送信波（送信したミリ波）と受信波（受信したミリ波）との時間差を基に、ミリ波を反射した物体の車両１０からの距離を検出し、また、反射波を受信したときのビームＢＭの方位角を基に、物体の車両１０に対する方位角を検出する。なお、ミリ波レーダ装置２０による、物体の距離や方位角の検出手法の詳細は公知であるので、本明細書での詳細な説明は省略する。

ミリ波レーダ装置２０は、上記の如く検出した物体の車両１０からの距離を示すデータと、該物体の方位角を示すデータとを画像処理ユニット１に出力する。

画像処理ユニット１は、詳細の図示は省略するが、Ａ／Ｄ変換回路、ＣＰＵ、ＲＡＭ、ＲＯＭ、画像メモリ等を含む電子回路により構成され、赤外線カメラ２の出力（アナログ信号）が入力され、Ａ／Ｄ変換回路を介してデジタル信号に変換されると共に、ミリ波レーダ装置２０の検出データも入力される。そして、画像処理ユニット１は、所定の演算処理周期毎に、入力された信号を基に、歩行者等の物体を検出する処理や、その検出した物体についてスピーカ６や表示装置７を介して運転者に注意喚起（物体に対する運転者の注意の喚起）を行う処理等を実行する。これらの処理は、画像処理ユニット１のＲＯＭに予め実装されたプログラムを画像処理ユニット１により実行することにより実現される。

より詳しくは、画像処理ユニット１は、上記プログラムにより処理を実行させる機能として、画像領域特定手段１１と、距離検出手段１２と、形状判断手段１３と、種別判断手段１４とを備える。

画像領域特定手段１１は、赤外線カメラ２により撮像された画像から、自車両１０の周辺に存在する物体に対応する画像領域を特定する。具体的には、画像領域特定手段１１は、ミリ波レーダ装置２０による検知結果を用いて、赤外線カメラ２を介して取得された画像中に撮像される自車両１０の周辺の物体の画像領域を特定する。

距離検出手段１２は、ミリ波レーダ装置２０による検知結果を用いて、自車両１０の周辺の物体と自車両１０との距離を検出する。なお、本実施形態では、ミリ波レーダ装置２０が自車両１０の前部に固定されているので、物体の自車両１０に対する距離を、物体と赤外線カメラ２との距離として用いることができる。

形状判断手段１３は、画像領域特定手段１１により特定された画像領域に対して、該画像領域に対応する物体の距離検出手段１２により検出された距離に応じた度合で、該画像領域に含まれるピクセル数を減じる縮小処理を行う。具体的には、縮小処理の度合は、検出された距離に存在する所定の種別の物体（本実施形態では歩行者）と想定される画像領域（距離が長いほど小さい）の特徴部分（本実施形態では歩行者の頭部の一部である半円形状）の大きさを所定の基準サイズの基準形状（本実施形態では３×２ピクセルの凸形状）とするように定められる。そして、形状判断手段１３は、該処理後の画像に該基準サイズの基準形状があるか否かを判断する。

ここで、図３を参照して、縮小処理により得られる基準形状について説明する。図３（ａ）に、赤外線カメラ２により撮像された赤外線画像を２値化した２値化画像Ｉ₁の例を示す。２値化処理では、基準画像の画像信号の輝度値が閾値Ｉ_thより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理が行われる。図３（ａ）において、ハッチングを付した領域が黒であり、太い実線で囲まれた領域が白であることを示している。閾値Ｉ_thは、実験的に予め決定される値である。太い実線で囲まれた領域は、赤外線カメラ２から得られる画像において、輝度レベルが高く（高温で）、画面上に白色として表示される物体の領域である。この２値化画像Ｉ₁には物体として歩行者の画像Ｐが含まれており、物体に対応する画像領域として領域Ｒ₁が特定されている。そして、頭部の一部に対応する半円形状（図中、点線で囲まれた部分）が領域Ｒ₁に含まれている。

このとき、図３（ｂ）に示すように、画像領域の半円形状に対して、この半円形状を所定の基準サイズ（３×２ピクセル）とする縮小率で縮小処理を行うと、図３（ｃ）に示すような凸形状が得られる。

これに対して、図３（ｄ）に示すように、画像領域の四角形状に対して、この四角形状を画像領域の特徴部分として、同様の縮小処理を行うと、図３（ｅ）に示すように、基準サイズの基準形状（１×１ピクセルの四角形状）に達する。

本実施形態において、詳細には、形状判断手段１３は、縮小処理として、モルフォロジー演算による収縮処理を行う。モルフォロジー演算は、処理の対象となる画像と構造要素の集合演算で定義される画像処理の手法である。

ここで、モルフォロジー演算について、図４を参照して説明する。図４（ａ）に、処理の対象となる画像Ａ、図４（ｂ）に構造要素Ｂを示す。収縮処理（erosion）は、下記式（１）のミンコフスキー（Minkowski）差で定義される。

なお、ｂは集合Ｂの要素であり、ミンコフスキー差とは、集合Ｂのすべての要素ｂに対して、（ｘ−ｂ）が集合Ａの要素となるようなｘの作る集合である。

図４（ｃ）に、処理後の画像（図中、斜線で示した部分）を示す。図４（ｃ）に示すように、この収縮処理では、構造要素Ｂで画像Ａを内側に削る効果が得られる。

さらに、形状判断手段１３は、モルフォロジー演算による収縮処理において、画像領域特定手段１１により特定された画像領域に対応する物体の、距離検出手段１２により検出された距離が長いほど、小さなサイズの構造要素を用いる。なお、構造要素としては、収縮処理の処理後の画像から基準形状が得られるよう、基準形状に合致した形状の構造要素が用いられる。本実施形態では、凸形状が得られるよう、円形の構造要素が用いられる。

ここで、図５を参照して、モルフォロジー演算による収縮処理における、構造要素のサイズによる処理後の画像の相違について説明する。

図５（ａ）に、赤外線カメラ２により撮像された赤外線画像Ｉ₂の例を示す。また、図５（ｂ）に、図５（ａ）に示した画像Ｉ₂を２値化した２値化画像Ｉ₃の例を示す。この２値化画像Ｉ₃の画像領域Ｒ₃を拡大すると右のようになる。

この２値化画像Ｉ₃に対して、図５（ｃ）に示すように、サイズ５，７，９，１１の構造要素でそれぞれ縮小処理を行った処理後の画像Ｉ₄，Ｉ₅，Ｉ₆，Ｉ₇を、図５（ｄ）〜（ｇ）に示す。処理後の画像Ｉ₄，Ｉ₅，Ｉ₆，Ｉ₇では、構造要素以下の領域が除去されるので、構造要素のサイズが大きくなるほど、処理後の画像に含まれる画像領域が少なくなる。また、処理後の画像での画像領域Ｒ₄，Ｒ₅，Ｒ₆，Ｒ₇は、右に示した拡大図のように、構造要素のサイズが大きくなるほど大きく削られて細くなる。

種別判断手段１４は、形状判断手段１３による判断結果に基づいて、物体の種別を判断する。具体的には、種別判断手段１４は、形状判断手段１３により、物体に対応する画像領域の処理後の画像に基準サイズの凸形状があると判断された場合、物体の種別が歩行者であると判断する。

次に、本実施形態の物体種別判定装置による物体種別判定処理を、図６に示したフローチャートに従って説明する。図６を参照して、画像処理ユニット１は、所定の演算処理周期毎に、ＳＴＥＰ１〜９の処理を繰り返して、物体種別判定処理を実行する。

まず、ＳＴＥＰ１で、画像処理ユニット１は、赤外線カメラ２の出力信号である赤外線画像を取得する。取得された画像は、Ａ／Ｄ変換され、グレースケール画像として画像メモリに格納される。図７（ａ）に、赤外線カメラ２により撮像された赤外線画像Ｉ₈の例を示す。

次に、ＳＴＥＰ２で、画像処理ユニット１の距離検出手段１２は、ミリ波レーダ装置２０による検知結果に基づいて、物体と自車両１０との距離（自車両１０の前後方向の距離）を検出する。

詳細には、まず、距離検出手段１２は、ミリ波レーダ装置２０の出力データを読み込む。この場合、読み込まれる出力データは、ミリ波レーダ装置２０で各ビームＢＭに対応して検出された物体（以下、レーダ検出物体という）の自車両１０からの距離と、自車両１０に対する方位角との検出データである。

次いで、距離検出手段１２は、レーダ検出物体をグループ化する。具体的には、互いに隣り合うビームＢＭに対応してそれぞれ検出されたレーダ検出物体のうち、車両１０からの距離（自車両１０の前後方向の距離）がほぼ同じとなるものを、同一の物体とみなし、それを１つのグループの物体とする。これにより、自車両１０の前方の物体と、その自車両１０からの距離が検出される。

次に、ＳＴＥＰ３で、画像処理ユニット１の画像領域特定手段１１は、ミリ波レーダ装置２０による検知結果を用いて、ＳＴＥＰ１で取得した画像から、物体に対応する画像領域を特定する。

具体的には、画像領域特定手段１１は、ＳＴＥＰ３で同一のグループにまとめられたレーダ検出物体の組（以下、同一レーダ検出物体群という）の方位角と自車両１０からの距離とを基に、ミリ波レーダ装置２０のビームＢＭの送信部あるいは受信アンテナに対して固定された実空間座標系での同一レーダ検出物体群の存在範囲を設定する。この場合、ミリ波レーダ装置２０の方位角や距離の検出の分解能を考慮して、同一レーダ検出物群の全体を包含するように該同一レーダ検出物群の存在範囲を設定する。そして、この存在範囲を、ミリ波レーダ装置２０の実空間座標系と、赤外線カメラ２に係わる実空間座標系との位置関係とに基づき、画像上での同一レーダ検出物体群の存在範囲に変換する。この画像上での同一レーダ検出物体群の存在範囲が、この物体に対応する画像領域に相当する。なお、特定される物体には、道路周辺の歩行者以外に、例えば、他車両、電柱、自動販売機等の人工構造物が含まれる。図７（ａ）の例では、図中に示す領域Ｒ₈が物体に対応する画像領域として特定される。領域Ｒ₈は、歩行者に対応する画像領域であり、以下の説明では、特定された画像領域に対応する物体の種別が歩行者である場合を例に説明する。

次に、ＳＴＥＰ４で、画像処理ユニット１の形状判断手段１３は、ＳＴＥＰ３で特定された画像領域を２値化する。図７（ｂ）に、図７（ａ）の赤外線画像Ｉ₈を２値化した２値化画像Ｉ₉を示す。

次に、ＳＴＥＰ５で、形状判断手段１３は、ＳＴＥＰ４で２値化された画像領域について、画像領域に対応する物体と自車両１０との距離に応じて、後述のＳＴＥＰ６で用いる構造要素のサイズを設定する。具体的には、ＳＴＥＰ２で検出された物体と自車両１０との距離と、歩行者が一般に取り得る実空間上での大きさ（歩行者の頭部の幅：10〜30［cm］）とから、想定される画像領域の大きさを算出する。そして、この想定される歩行者の画像領域の頭部の一部である半円形状が基準サイズとなるように、構造要素のサイズを設定する。

次に、ＳＴＥＰ６で、形状判断手段１３は、ＳＴＥＰ４で２値化した画像領域に、ＳＴＥＰ５で設定したサイズの構造要素を用いて、モルフォロジー演算による収縮処理を行う。これにより、画像領域が歩行者に対応している場合に、画像領域に含まれている特徴部分が、基準サイズの凸形状となる。図７（ｃ）に、図７（ｂ）に示した２値化画像Ｉ₉に、図７（ｄ）で示したサイズ５の構造要素を用いて収縮処理を行った処理後の画像Ｉ₁₀を示す。図７（ｃ）に示すように、処理後の画像Ｉ₁₀では、構造要素以下の画像領域が除去されていると共に、画像領域が周辺から構造要素により内側に削られて細くなっている。

次に、ＳＴＥＰ７で、形状判断手段１３は、ＳＴＥＰ６の処理後の画像Ｉ１０の画像領域Ｒ₈に凸形状があるか否かを判断する。具体的には、テンプレートマッチング手法により、処理後の画像領域と、予め記憶された基準サイズの凸形状のテンプレートとの類似の度合が所定レベル以上の場合に、凸形状があると判断する。図７（ｅ）に、処理後の画像Ｉ₁₀の画像領域Ｒ_８の部分Ｒ₁₀の拡大図を示す。このように、赤外線画像Ｉ_８に撮像された歩行者の画像領域Ｒ_８の、頭部に該当する画像領域Ｒ₁₀に含まれる半円形状は、収縮処理により凸形状となっている。よって、図７（ｆ）に示す基準サイズの凸形状のテンプレートを用いて、テンプレートマッチング手法により画像領域Ｒ₁₀に凸形状があることが把握される。

ＳＴＥＰ７の判断結果がＹＥＳ（凸形状がある）の場合は、ＳＴＥＰ８に進み、画像処理ユニット１の種別判断手段１４は、画像領域に対応する物体が歩行者であると判断する。また、ＳＴＥＰ７の判断結果がＮＯ（凸形状がない）の場合は、ＳＴＥＰ９に進み、種別判断手段１４は、画像領域に対応する物体が歩行者でないと判断する。

以上が、本実施形態の物体種別判定装置の画像処理ユニット１における物体種別判定処理である。この処理の結果、自車両１０の周辺に存在する物体が歩行者であると判定された場合、例えば、画像処理ユニット１は、スピーカ６と表示装置７とによる注意喚起を自車両１０の運転者に対して行う注意喚起処理を実行する。この注意喚起処理では、例えば表示装置７に基準画像を表示すると共に、その基準画像中の歩行者の画像を強調的に表示する。さらに、歩行者が存在することをスピーカ６から運転者に音声案内する。

本実施形態によれば、歩行者等の物体の距離や姿勢の影響を受けずに、画像に撮像された物体の種別を簡易な処理で判定することができる。これにより、判定結果を用いて、運転者への情報の提示や車両の制御等を適切に行うことができる。
［第２実施形態］
次に、本発明の第２実施形態について、図８〜図９を参照して説明する。図８は、本実施形態における物体種別判定装置の物体種別判定処理を示すフローチャートであり、図９は、図８の物体種別判定処理における処理画像例である。なお、本実施形態は、第１実施形態において、形状判断手段１３が、画像領域に対してアフィン変換による縮小処理を用いるものである。以下の説明では、第１実施形態と同一の構成については、第１実施形態と同一の参照符号を用いて説明を省略する。

本実施形態の物体種別判定装置による物体種別判定処理を、図８に示したフローチャートに従って説明する。図８を参照して、画像処理ユニット１は、所定の演算処理周期毎に、ＳＴＥＰ１１〜ＳＴＥＰ１９の処理を繰り返して、物体種別判定処理を実行する。

本実施形態の物体種別判定処理では、ＳＴＥＰ１１で、赤外線カメラ２の出力信号である赤外線画像を取得する。図９（ａ）に、取得される赤外線画像Ｉ₁₁の例を示す。次に、ＳＴＥＰ１２で、画像処理ユニット１の距離検出手段１２は、第１実施形態と同様に、物体と自車両１０との距離を検出する。次に、ＳＴＥＰ１３で、画像処理ユニット１の画像領域特定手段１１は、第１実施形態と同様に、画像から物体に対応する画像領域を特定する。図９（ａ）の赤外線画像Ｉ₁₁から領域Ｒ₁₁が物体に対応する画像領域として特定される。次に、ＳＴＥＰ１４で、画像処理ユニット１の形状判断手段１３は、第１実施形態と同様に、ＳＴＥＰ１３で特定された画像領域を２値化する。図９（ｂ）に、図９（ａ）の赤外線画像Ｉ₁₁を２値化した２値化画像Ｉ₁₂を例示する。

次に、ＳＴＥＰ１５で、画像処理ユニット１の形状判断手段１３は、ＳＴＥＰ１４で２値化された画像領域について、画像領域に対応する物体と自車両１０との距離が長いほど小さな縮小率となるように、後述のＳＴＥＰ１６で用いる縮小率を設定する。具体的には、ＳＴＥＰ１２で検出された物体と自車両１０との距離と、所定の種別の物体（歩行者）が一般に取り得る実空間上での大きさ（歩行者の頭部の幅：10〜30［cm］）とから、想定される画像領域の大きさ（距離が長いほど小さくなる）を算出する。そして、この想定される画像領域の特徴部分（頭部の一部である半円形状）の大きさが基準サイズとなるように、縮小率を設定する。

次に、ＳＴＥＰ１６で、形状判断手段１３は、ＳＴＥＰ１４で２値化した画像領域に、ＳＴＥＰ１５で設定した縮小率を用いて、アフィン変換による縮小処理を行う。これにより、画像領域が歩行者に対応している場合に、画像領域に含まれている特徴部分が、基準サイズの凸形状となる。なお、アフィン変換は、４×４の行列演算で表現できる座標変換であり、変換前の画像で直線上に並ぶ点は変換後も直線上に並び、平行線は変換後も平行線であるなど、幾何学的性質が保たれる変換方式である。

図９（ｃ）に、図９（ｂ）に示した２値化画像Ｉ₁₂に、アフィン変換による縮小処理を行った処理後の画像Ｉ₁₃を示す。また、図９（ｄ）に、処理後の画像Ｉ₁₃の拡大図Ｉ₁₄を例示する。このように、処理後の画像Ｉ₁₃は、ピクセルが間引かれて粗くなる。さらに、図９（ｅ）に、処理後の画像Ｉ₁₃の画像領域（拡大図に示す画像領域Ｒ₁₄）の拡大図を示す。このように、赤外線画像Ｉ₁₁に撮像された歩行者の画像領域Ｒ₁₁の、頭部に該当する半円形状は、縮小処理により凸形状となっている。よって、ＳＴＥＰ１７で、第１実施形態と同様に、図９（ｆ）に示す基準サイズの凸形状のテンプレートを用いて、テンプレートマッチング手法により画像領域Ｒ₁₄に凸形状があることが把握される。

ＳＴＥＰ１７の判断結果がＹＥＳ（凸形状がある）の場合は、ＳＴＥＰ１８に進み、第１実施形態と同様に、画像処理ユニット１の種別判断手段１４は、画像領域に対応する物体が歩行者であると判断する。また、ＳＴＥＰ１７の判断結果がＮＯ（凸形状がない）の場合は、ＳＴＥＰ１９に進み、第１実施形態と同様に、種別判断手段１４は、画像領域に対応する物体が歩行者でないと判断する。

本実施形態によれば、第１実施形態と同様に、歩行者等の物体の距離や姿勢によらず、画像に撮像された物体の種別を簡易な処理で判定することができる。これにより、判定結果を用いて、運転者への情報の提示や車両の制御等を適切に行うことができる。

なお、第１及び第２実施形態では、レーダとしてミリ波レーダ装置２０を用いるものとしたが、例えば超音波レーダやレーザレーダ等を用いるものとしてもよい。

また、第１又は第２実施形態において、画像領域特定手段１１は、赤外線カメラ２を介して取得された画像に２値化処理等を施して、物体に対応する画像領域を特定するものとしてもよい。

また、第１又は第２実施形態において、距離検出手段として、１つの赤外線カメラ２のみを用いて、物体の自車両１０に対する距離を検出するものとしてもよい。この場合、例えば、赤外線カメラ２により異なる時刻に撮像された複数の画像における、所定の物体の大きさの変化量と、時刻と車速から算出される自車両１０の走行距離とに基づいて、物体の距離を算出することができる。
［第３実施形態］
次に、本発明の第３実施形態について、図１０〜図１１を参照して説明する。図１０は、本実施形態における物体種別判定装置の機能ブロック図であり、図１１は、図１０の物体種別判定装置における物体種別判定処理を示すフローチャートであ。なお、本実施形態は、第１実施形態において、ミリ波レーダ装置２０を備えず、１つの赤外線カメラ２の代わりに２つの赤外線カメラ２Ｒ，２Ｌを備え、距離検出手段１２は２つの赤外線カメラ２Ｒ，２Ｌによる撮像画像を用いて物体と自車両１０との距離を検出する。以下の説明では、第１実施形態と同一の構成については、第１実施形態と同一の参照符号を用いて説明を省略する。

赤外線カメラ２Ｒ，２Ｌは、赤外線カメラ２と同様に、遠赤外線を検出可能なカメラであり、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。なお、赤外線カメラ２Ｒ，２Ｌは、本発明の撮像手段に相当する。

赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部に所定の間隔で取り付けられている。そして、赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行であって、且つ、それぞれの光軸の路面からの高さが等しくなるように自車両１０の前部に固定されている。２つの赤外線カメラ２Ｒ，２Ｌはいわゆるステレオカメラを構成しており、この２つの赤外線カメラ２Ｒ，２Ｌにより撮像された画像から得られる視差を用いることで、物体の車両に対する距離が検出される。

画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌの出力（アナログ信号）が入力され、入力された信号はＡ／Ｄ変換回路を介してデジタル信号に変換される。

画像領域特定手段１１は、赤外線カメラ２Ｒ，２Ｌにより撮像された画像から、自車両１０の周辺に存在する物体に対応する画像領域を特定する。具体的には、画像領域特定手段１１は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像のうちの所定の基準画像（本実施形態では、赤外線カメラ２Ｒを介して取得された画像とする）に２値化処理等を施して、さらにラベリング処理等を施し、物体に対応する画像領域を特定する。

距離検出手段１２は、物体と赤外線カメラ２Ｒ，２Ｌとの距離を検出する。具体的には、距離検出手段１２は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像のうちの所定の基準画像（本実施形態では、赤外線カメラ２Ｒを介して取得された画像とする）上で特定された物体の画像領域に対応する画像領域を赤外線カメラ２Ｌを介して取得された画像上で探索し、２つの赤外線カメラ２Ｒ，２Ｌから得られる画像上での物体の画像領域のずれ（視差）に基づいて、物体の自車両１０に対する距離を検出する。なお、本実施形態では、赤外線カメラ２Ｒ，２Ｌが自車両１０の前部に固定されているので、物体の自車両１０に対する距離を、物体と赤外線カメラ２Ｒ，２Ｌとの距離として用いることができる。また、画像に基づいて物体の距離を検出する具体的な手法としては、例えば、本願出願人による特開２００３−２８４０５７号公報に記載したような手法を用いることができる。他の構成は、第１実施形態と同じである。

次に、本実施形態の物体種別判定装置による作動（物体種別判定処理）を図１１に従って説明する。図１１を参照して、画像処理ユニット１は、所定の演算処理周期毎に、ＳＴＥＰ２１〜ＳＴＥＰ２９の処理を繰り返して、物体種別判定処理を実行する。なお、本実施形態の物体種別判定処理のＳＴＥＰ２４〜２９の処理は、第１実施形態のＳＴＥＰ４〜９の処理と同じである。

本実施形態では、ＳＴＥＰ２１で、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌの出力信号である赤外線画像を取得する。取得された画像は、Ａ／Ｄ変換され、グレースケール画像として画像メモリに格納される。なお、赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。

次に、ＳＴＥＰ２２で、画像処理ユニット１の画像領域特定手段１１は、基準画像から物体に対応する画像領域を特定する。詳細には、まず、画像領域特定手段１１は、基準画像に対して、その画像信号を２値化する。次に、画像領域特定手段１１は、２値化処理で「白」となった領域（以下、２値化領域という）からランレングスデータを作成する。次に、画像領域特定手段１１は、作成されたランレングスデータに基づいて、対象物のラベリングをすることにより、物体を抽出する。すなわち、ランレングスデータで表されたラインのうち、画像の縦方向（ｙ方向）に重なる部分のあるラインを１つの対象物とみなしてラベル（識別子）を付すことにより、画像内の連結した領域を物体に対応する画像領域として特定する。なお、特定される物体には、道路周辺の歩行者以外に、例えば、他車両、電柱、自動販売機等の人工構造物が含まれる。

次に、ＳＴＥＰ２３で、画像処理ユニット１の距離検出手段１２は、赤外線カメラ２Ｒ，２Ｌにより撮像された右画像と左画像との視差に基づいて、物体と自車両１０との距離（自車両１０の前後方向の距離）を算出する。

詳細には、まず、距離検出手段１２は、基準画像の上で特定された画像領域の１つを選択して、基準画像から探索画像（選択した物体を囲む外接四角形の領域全体を探索画像とする）を抽出する。次に、距離検出手段１２は、参照画像（赤外線カメラ２Ｒ，２Ｌから得られた右画像及び左画像のうちの基準画像でない画像）中から探索画像に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して、探索領域内で、探索画像との相関性が最も高い領域を、対応画像を抽出する。この場合、左画像の探索領域のうち、右画像の探索画像の輝度分布に最も一致する輝度分布を有する領域が対応画像として抽出される。なお、この処理は、２値化画像ではなく、グレースケール画像を使用して行なわれる。

次に、距離検出手段１２は、探索画像の重心位置と、対応画像の重心位置とに基づいて、視差Δｄ（画素数）を算出する。そして、距離検出手段１２は、算出された視差Δｄを用いて、ｚ＝Ｂ×Ｆ／（Δｄ×ｐ）により、自車両１０と対象物との距離ｚを算出する。なお、Ｂは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、Ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離Ｆ、ｐは画素間隔である。以上説明した以外の作動は第１実施形態と同じである。

本実施形態によれば、第１実施形態と同様に、歩行者等の物体の姿勢の影響を受けずに、画像に撮像された物体の種別を簡易な処理で判定することができる。これにより、判定結果を用いて、運転者への情報の提示や車両の制御等を適切に行うことができる。

なお、本実施形態では、形状判断手段１３は、第１実施形態と同様に、縮小処理としてモルフォロジー演算による収縮処理を行うものとしたが、他の実施形態として、第２実施形態と同様に、縮小処理としてアフィン変換による縮小処理を行うものとしてもよい。

また、第１〜第３実施形態において、物体種別判定装置は車両に搭載されるものとしたが、例えば車両以外の移動物体、さらには固定の構造物等に設置するものとしてもよい。

また、第１〜第３実施形態において、物体種別判定装置は、車両の周辺監視のため、車両の周辺に存在する物体が歩行者であるか否かを判定したが、歩行者以外の人（例えば自転車運転者など）も判定可能である。さらに、例えば人以外の物体についても、例えば当該物体の特徴部分に対応する基準サイズの基準形状を用いることで、種別を判定可能である。

また、第１〜第３実施形態では、縮小処理後の画像に基準サイズの基準形状（凸形状）があるか否かを、テンプレートマッチング手法により判断したが、他の手法を用いて判断してもよい。

また、第１〜第３実施形態において、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なＣＣＤカメラ等を使用してもよい。ただし、赤外線カメラを用いることにより、歩行者や走行中の車両等の抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現可能とすることができる。

本発明の第１実施形態による物体種別判定装置の機能ブロック図。図１の物体種別判定装置に備えたミリ波レーダ装置が送信するミリ波のビームを平面視で示す図。図１の物体種別判定装置の収縮処理により得られる基準形状の説明図。モルフォロジー演算による収縮処理の説明図。図４のモルフォロジー演算による収縮処理で用いる構造要素のサイズと処理後の画像に関する説明図。図１の物体種別判定装置における物体種別判定処理を示すフローチャート。図６の物体種別判定処理における処理画像例。本発明の第２実施形態による物体種別判定装置における物体種別判定処理を示すフローチャート。図８の物体種別判定処理におけるアフィン変換を用いた縮小処理の説明図。本発明の第１実施形態による物体種別判定装置の機能ブロック図。本発明の第３実施形態による物体種別判定装置における物体種別判定処理を示すフローチャート。

符号の説明

２．２Ｒ，２Ｌ…赤外線カメラ（撮像手段）、１０…車両、１１…画像領域特定手段、１２…距離検出手段、１３…形状判断手段、１４…種別判断手段、２０…ミリ波レーダ装置。

Claims

撮像手段により撮像された画像に基づいて物体の種別を判定する物体種別判定装置において、
前記撮像手段により撮像された画像から、前記物体に対応する画像領域を特定する画像領域特定手段と、
前記物体と撮像手段との距離を検出する距離検出手段と、
前記特定された画像領域に対して、該画像領域に対応する物体の前記距離検出手段により検出された距離に応じた度合で、該画像領域に含まれるピクセル数を減じる縮小処理を行い、該処理後の画像に所定の基準サイズの基準形状があるか否かを判断する形状判断手段と、
前記形状判断手段による判断結果に基づいて、前記物体の種別を判断する種別判断手段と
を備え、
前記形状判断手段は、前記縮小処理として、前記画像領域に２値化処理を行って抽出された２値化画像領域に対して、該２値化画像領域に対応する物体の前記距離検出手段により検出された距離が長いほど小さなサイズの構造要素を用いたモルフォロジー演算による収縮処理を行うことを特徴とする物体種別判定装置。
撮像手段により撮像された画像に基づいて物体の種別を判定する物体種別判定装置において、
前記撮像手段により撮像された画像から、前記物体に対応する画像領域を特定する画像領域特定手段と、
前記物体と撮像手段との距離を検出する距離検出手段と、
前記特定された画像領域に対して、該画像領域に対応する物体の前記距離検出手段により検出された距離に応じた度合で、該画像領域に含まれるピクセル数を減じる縮小処理を行い、該処理後の画像に所定の基準サイズの基準形状があるか否かを判断する形状判断手段と、
前記形状判断手段による判断結果に基づいて、前記物体の種別を判断する種別判断手段と
を備え、
前記形状判断手段は、前記縮小処理として、前記画像領域に対して、該画像領域に対応する物体の前記距離検出手段により検出された距離が長いほど小さな縮小率を用いたアフィン変換による縮小処理を行うことを特徴とする物体種別判定装置。
請求項１又は２記載の物体種別判定装置において、
前記基準形状は凸形状であり、前記種別判断手段は、前記形状判断手段により該凸形状があると判断された場合に、前記物体の種別が人であると判断することを特徴とする物体種別判定装置。
請求項１〜３のうちのいずれか１項に記載の物体種別判定装置において、
前記撮像手段は車両に搭載されて、該車両の周辺を撮像するものであり、
前記車両の周辺に存在する物体の種別を判定することを特徴とする物体種別判定装置。