JP3708652B2

JP3708652B2 - 物体認識装置

Info

Publication number: JP3708652B2
Application number: JP01011597A
Authority: JP
Inventors: 孝治中本; 峰司中野; 透吉岡; 裕樹上村
Original assignee: Mazda Motor Corp; Visteon Japan Ltd
Current assignee: Mazda Motor Corp; Visteon Japan Ltd
Priority date: 1997-01-23
Filing date: 1997-01-23
Publication date: 2005-10-19
Anticipated expiration: 2017-01-23
Also published as: JPH10206116A

Description

【０００１】
【発明の属する技術分野】
本発明は、物体認識装置に関し、詳しくは多段ライン型ＣＣＤによる距離データに基づいて物体を認識するようにしたものに関する技術分野に属する。
【０００２】
【従来の技術】
従来より、この種の物体認識装置として、例えば特開平５―５２５６２号公報に示されているように、撮像された画像を複数のウィンドウに分割して、各ウィンドウでの距離に基づいて物体を認識するようにしたものは知られている。すなわち、このものでは、上下方向に配置された１対のイメージセンサにより先行車等の物体を撮像して、その一方のイメージセンサによる画像を表示し、その表示画面を複数のウィンドウに分割してそのウィンドウ毎に物体までの距離を測定し、この距離値を基に目標物体のウィンドウを認識して追尾用ウィンドウを設定し、この追尾用ウィンドウでの距離を測定するようになされている。
【０００３】
【発明が解決しようとする課題】
ところで、このように物体をその距離に基づいて認識する場合、一定方向に配置された多数のＣＣＤをその配列方向と直交する方向に多段に並設してなる多段ライン型ＣＣＤを設け、この多段ライン型ＣＣＤからの輝度信号に基づいて得られた２次元の距離データから特定の物体を認識して追従し続けるようにすることが考えられる。すなわち、この多段ライン型ＣＣＤは、縦横に多数のＣＣＤが配置されたカメラ用等のセンサに対し、ＣＣＤを一方向に間引いた構成のものであり、ＣＣＤの数が減った分だけ、撮像データ数が少なくなり、コストダウンを図ることができる。
【０００４】
しかし、その反面、測距データのばらつきやノイズの影響が大きく、精度の高い距離演算が難しくて正確な物体認識が困難になるという問題がある。特に、多段ライン型ＣＣＤでのＣＣＤラインが等間隔で、かつ、該多段ライン型ＣＣＤのライン列方向の一端側を近距離側を検出する近距離側ラインとする一方、他端側を遠距離側を検出する遠距離側ラインとする場合、認識物体が相対的に近づいてくる際、その物体が近距離側の領域において近距離側ラインを横切る時間は、遠距離側の領域において遠距離側ラインを横切る時間よりも短くなるので、正確な物体認識を行うためにデータ処理に時間をかけていると、遠距離側にて認識した物体を近距離側で見失ってしまうことになる。
【０００５】
本発明は斯かる諸点に鑑みてなされたものであり、その目的とするところは、多段ライン型ＣＣＤによる距離データの処理に工夫を凝らすことにより、多段ライン型ＣＣＤを用いつつ、高精度の距離演算を行って正確な物体認識を可能とすると共に、認識物体までの距離に関係なくその認識物体を確実に追従し続けることができるようにすることにある。
【０００６】
【課題を解決するための手段】
上記の目的を達成するために、この発明では、多段ライン型ＣＣＤにより得られた画像を、ライン列方向及びウィンドウ方向にそれぞれ分割して各領域について距離を測定し、この各領域毎の距離データに基づいてライン毎の代表距離をそれぞれ演算し、この代表距離が所定時間毎に連続して演算される回数がしきい値よりも大きいときに、その代表距離に基づいて物体を認識すると共に、上記しきい値を近距離側ラインほど小さく設定するようにした。
【０００７】
具体的には、請求項１の発明では、図１に示すように、ウィンドウ方向に沿って配置された多数のＣＣＤからなるＣＣＤラインをウィンドウ方向と直交するライン列方向に多段に並設してなり画像を輝度情報として捕らえる多段ライン型ＣＣＤ１１を備え、該多段ライン型ＣＣＤ１１からの輝度信号に基づいて得られた２次元の距離データから特定の物体を認識するようにした物体認識装置が対象である。
【０００８】
そして、上記多段ライン型ＣＣＤ１１のライン列方向の一端側が近距離側を検出する近距離側ラインとされる一方、他端側が遠距離側を検出する遠距離側ラインとされ、上記多段ライン型ＣＣＤ１１により得られた画像を上記ＣＣＤライン毎にかつウィンドウ方向に複数に分割して各領域について距離を測定する測距手段１６と、上記測距手段１６により測定された各領域毎の距離に基づき上記ライン毎の代表距離をそれぞれ演算するライン距離演算手段２６と、上記ライン距離演算手段２６によりライン毎の代表距離が所定時間毎に連続して演算される回数がしきい値よりも大きいときに、該代表距離に基づいて物体を認識する物体認識手段２０とを備え、上記しきい値は、上記遠距離側ラインに比べて近距離側ラインほど小さく設定されているものとする。
【０００９】
上記の構成により、先ず、測距手段１６において、多段ライン型ＣＣＤ１１の画像がライン毎にかつウィンドウ方向に複数に分割されて各領域について距離が測定される。次いで、ライン距離演算手段２６において、上記測距手段１６により測定された領域毎の距離に基づきライン毎の代表距離が演算され、物体認識手段２０において、このライン距離演算手段２６によりライン毎の代表距離が所定時間（１サンプリング時間）毎に連続して演算される回数がしきい値よりも大きいときに、その代表距離から物体が認識される。すなわち、距離データの有効性が高い場合は代表距離が演算される一方、距離データの有効性が低い場合は代表距離が演算されず、１サンプリング時間毎に連続して演算される回数が多いほど、その距離データ延いては代表距離の有効性が高いと判断することができるので、その回数がしきい値よりも大きいときにその代表距離から物体を認識する。
【００１０】
したがって、このように、各領域についての距離データに基づいてライン毎の代表距離を求めて、この代表距離の有効性が高いときに、その代表距離から物体を認識するので、測距データのばらつきやノイズ等があっても、その影響を可及的に低減することができ、高精度の距離演算が可能となって正確な物体認識を行うことができる。
【００１１】
そして、上記しきい値は、遠距離側ラインに比べて近距離側ラインほど小さく設定されているので、近距離側ラインではより短時間で物体認識を行うことができ、多段ライン型ＣＣＤでのＣＣＤラインが等間隔である場合、認識物体が相対的に近づいてくる際、遠距離側にて認識した物体を近距離側で見失うことはない。しかも、上記しきい値が、近距離側ラインほど小さく設定されていても、近距離側の距離検出精度は遠距離側よりも高いので、近距離側の物体認識を正確に行うことができる。よって、認識物体をその距離に関係なく確実に追従し続けることができる。
【００１２】
請求項２の発明では、請求項１の発明において、測距手段１６により測定された各領域毎の距離データをスムーズ化処理するスムーズ化処理手段を設け、上記スムーズ化処理手段は、スムーズ化度合いを遠距離側ラインに比べて近距離側ラインほど小さくするように構成されているものとする。
【００１３】
この発明により、測距手段１６により測定された各領域毎の距離データがスムーズ化処理手段によってスムーズ化処理されているので、突発的なノイズ等の影響を受けることなく、より一層正確に物体を認識することができる。そして、そのスムーズ化度合いは、遠距離側ラインに比べて近距離側ラインほど小さくされているので、その処理に要する時間は近距離側ラインほど短くて済み、距離データをスムーズ化処理しても、認識物体を近距離側で見失うことはない。
【００１４】
請求項３の発明では、請求項１又は２の発明において、物体認識手段は、物体の認識結果に基づいて警報等の信号を出力するように構成されているものとする。このことで、認識物体を容易に知ることができ、物体が相対的に近づいてくるような危険度が高い場合に、より一層その効果を発揮させることができる。
【００１５】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。図２は本発明の実施形態に係る物体認識装置を装備した車両Ｃ（自動車）を示し、この物体認識装置は、車両Ｃの左右斜め後側方に位置する他の車両等の物体Ｏ（図５、図１１、図１２に示す）を認識する。
【００１６】
図２において、１は車両Ｃの車体、２は車体１の前後略中央部に形成された車室、３は車体１の前端部に形成されたエンジンルーム、４は車室２の前端部に配置されたインストルメントパネル、５は車室２の後端部にあるパッケージトレイ、６はリヤウィンドガラスである。そして、図３に示すように、上記物体認識装置は、各々物体Ｏまでの距離を測定するための左右の後側方検知センサ１０，１０と、この各検知センサ１０の出力信号がそれぞれ入力されるコントローラ１５と、このコントローラ１５からの信号を受けて物体Ｏの存在をＣＲＴや液晶等により表示する表示装置３１、及び同物体Ｏの危険度を警報する警報装置３２とを備えている。そして、図２に示す如く、上記両検知センサ１０，１０は、上記パッケージトレイ５上の左右両端部にそれぞれ斜め後方を向いた状態で取付固定されている。また、コントローラ１５はエンジンルーム３の後端部に、また表示装置３１及び警報装置３２はインストルメントパネル４にそれぞれ配設されている。
【００１７】
図５に示すように、上記各検知センサ１０は、所定距離離れて上下方向に配置された上下１対のＣＣＤチップ１１，１１と、該ＣＣＤチップ１１，１１に対応して配置されたレンズ１２，１２とを備えている。各ＣＣＤチップ１１は、上下方向たるウィンドウ方向に沿って配置された多数のＣＣＤからなるＣＣＤラインをウィンドウ方向と直交するライン列方向（水平方向）に多段に並設してなる多段ライン型ＣＣＤからなり、この各ＣＣＤチップ１１によりレンズ１２を経て車両Ｃのリアウィンドガラス６越しに、上下方向に角度θ１の範囲でかつ水平左右方向に角度θ２の範囲（図１０、図１２参照）にある物体Ｏ等の画像を輝度情報として捕らえるようになっている。
【００１８】
図４に示す如く、上記各検知センサ１０はそれぞれコントローラ１５内の測距回路１６（測距手段）に接続されている。この各測距回路１６は、両ＣＣＤチップ１１，１１での物体像の視差（位相差）を演算する視差演算部１７と、この視差演算部１７からの信号により物体Ｏまでの距離を演算する距離演算部１８とを備えている。そして、各測距回路１６では、図６及び図７に示す如く、各ＣＣＤチップ１１により捕らえられた画像を、ライン方向（水平方向）にＣＣＤライン毎のｎ個のラインに分割すると共に、その各ラインをウィンドウ方向（上下方向）にｍ個のウィンドウに分割して、画像の略全体をｍ×ｎ個の領域Ｅ，Ｅ，…で構成し、両方のＣＣＤチップ１１，１１による画像での同一の領域Ｅ，Ｅ間の視差を求め、この視差から各領域Ｅ毎に物体Ｏまでの距離を演算する。
【００１９】
すなわち、両ＣＣＤチップ１１，１１により捕らえられた画像はいずれも図６に示すようになるが、これら両ＣＣＤチップ１１，１１の画像は同じライン位置（図示例ではラインｉ）では、図８に示すように、両ＣＣＤチップ１１，１１の上下方向のずれ分だけずれていて視差が生じており、この視差を利用して物体Ｏまでを測距する。この原理について図９により説明すると、図９の三角形Ｐ・Ｏ１・Ｑ及び三角形Ｏ１・Ｐ１・Ｑ１同士、並びに三角形Ｐ・Ｏ２・Ｑ及び三角形Ｏ２・Ｐ２・Ｑ２同士はそれぞれ相似形であるので、今、検知センサ１０（レンズ１２）から物体Ｏまでの距離をａ、両レンズ１２，１２の中心間の距離をＢ（定数）、レンズ１２の焦点距離をｆ（定数）、両ＣＣＤチップ１１，１１での物体像のレンズ中心からのずれ量をそれぞれｘ１，ｘ２とすると、
ａ・ｘ１／ｆ＝Ｂ−ａ・ｘ２／ｆ
となり、この式から、
ａ＝Ｂ・ｆ／（ｘ１＋ｘ２）
が得られる。つまり、両ＣＣＤチップ１１，１１での物体像の視差（位相差）によって物体Ｏまでの距離ａを測定することができる。
【００２０】
尚、図６及び図７におけるＧ（白点）は、ＣＣＤチップ１１のＣＣＤに対応するように縦横格子状に配置された測距点（測距ポイント）であり、この測距点Ｇは各領域Ｅに含まれている。また、各ＣＣＤラインでのウィンドウは、一部が隣接するウィンドウと互いにオーバーラップするように分割されており、上下方向（ウィンドウ方向）に隣接する領域Ｅ，Ｅに同じ測距点Ｇ，Ｇ，…が含まれている。また、Ｏ′は物体の像である。
【００２１】
また、図１０に示すように、上記各ＣＣＤチップ１１により捕らえられた画像をライン毎に分割して形成される複数のラインは、車両Ｃの外側で近距離を測距するライン位置が若い番号とされる一方、車幅方向の中央側で遠距離を測距するライン位置が大きい番号とされ、外側ラインから車幅方向の中央側ラインに向かって番号が順に増加するように番号付けされている。
【００２２】
図４に示す如く、上記コントローラ１５には、センサ１０に基づいて得られた上下方向及び水平方向の２次元の距離データ、つまり各測距回路１６からの信号を基に特定の物体Ｏを認識する物体認識部２０と、この物体認識部２０の出力信号により物体Ｏを新規物体かどうか選別する物体選別部２１と、この物体選別部２１により選別された物体Ｏが車両Ｃ（自車）にとって危険対象物かどうかを判断する危険判断部２２とが設けられており、物体認識部２０において、物体Ｏの認識結果に基づいて表示信号を表示装置３１に、また警報信号を警報装置３２にそれぞれ物体選別部２１を経て出力するようにしている。
【００２３】
また、コントローラ１５は、物体Ｏを認識する上で本来は物体Ｏが位置し得ない不要な範囲を除外するレンジカット部２４と、測距された各領域毎の距離データと周りの８つの隣接領域との比較（８隣接点処理）を行って有効ポイント数を付与する有効ポイント数付与手段としての８隣接点処理部２５と、ライン毎の距離を演算するライン距離演算部２６と、ガードレールを判定するためのガードレール判定部２７と、距離データを物体Ｏ毎にグルーピングするグルーピング部２８とを備えている。
【００２４】
図１１は上記レンジカット部２４で除外される上下方向のレンジカット範囲Ｚ１を、また図１２は同左右方向のレンジカット範囲Ｚ２をそれぞれ示しており、これらのレンジカット範囲Ｚ１，Ｚ２は、ラインの角度とその位置での距離とに基づいて検出される。図１２中、Ｆは車両Ｃの路面、Ｍは道路における車両走行車線を設定する路面Ｆ上の白線、Ｆ１は道路の両側に設置された路側帯、Ｈはその植込みである。
【００２５】
上記８隣接点処理部２５での８隣接点処理動作は、図１３に示すように、ある領域Ｅ（ｉ，ｊ）の距離データに対しそれに隣接する周りの８つの隣接領域Ｒ１〜Ｒ８の距離データの相関性を判断するもので、具体的に図１５に示す如く行われる。すなわち、最初のステップＳ１で、ライン数ｎ及びウィンドウ数ｍに分割された領域Ｅ（ｉ，ｊ）毎の距離データｄ（ｉ，ｊ）を読み込み、次のステップＳ２で各領域Ｅ（ｉ，ｊ）の有効ポイント数Ｐ（ｉ，ｊ）をＰ（ｉ，ｊ）＝０と初期化する。この有効ポイント数Ｐ（ｉ，ｊ）は各領域Ｅ（ｉ，ｊ）に設定されるもので、この値が大きいほど領域の距離データの有効性が高く、信頼性、信憑性があると判断される。次のステップＳ３では、全ての領域のうち左右端及び上下端の位置にある領域（格子点）への有効ポイント数を嵩上げし、周辺の領域には有効ポイント数Ｐ（ｉ，ｊ）を＋１だけ、またその中で４つの隅角部の領域には有効ポイント数Ｐ（ｉ，ｊ）を＋２だけそれぞれ増やすように設定する。この後、ステップＳ４において、隣接点処理を行うかどうかを判定し、この判定がＮＯのときには、ステップＳ１１において有効ポイント数Ｐ（ｉ，ｊ）をＰ（ｉ，ｊ）＝８に設定した後、ステップＳ１２に進む一方、判定がＹＥＳのときには、ステップＳ５に進む。
【００２６】
上記ステップＳ４で隣接点処理を行うかどうかの判定は、例えば、予め各ライン位置毎に決定される基準距離値が所定値よりも大きいか否かを判定するもので、基準距離値が所定値よりも大きいときには、隣接点処理は行わない（ステップＳ１１に進む）一方、基準距離値が所定値よりも大きくないときには、隣接点処理を行う（同ステップＳ５に進む）。
【００２７】
上記ステップＳ５では距離しきい値ｄ０を設定する。この距離しきい値ｄ０は、付与ポイント数ｐを決定するためのもので、例えば、定数に設定する。
【００２８】
ステップＳ５の後はステップＳ６に進み、隣接領域Ｒｉの距離データｄ（Ｒｉ）を読み込み、次のステップＳ７では上記領域Ｅと隣接領域Ｒ１〜Ｒ８との距離差ｄｘ＝｜ｄ（ｉ，ｊ）−ｄ（Ｒｉ）｜を演算する。この後、ステップＳ８において、上記距離差ｄｘが上記距離しきい値ｄ０よりも小さいか否かの判定を行い、この判定がＮＯのときにはステップＳ１２に進む一方、判定がＹＥＳのときには、ステップＳ９において付与すべきポイント数ｐを設定する。
【００２９】
このようなステップＳ９の後、ステップＳ１０において、それまでの有効ポイント数Ｐ（ｉ，ｊ）に上記付与ポイント数ｐを加えて新たな有効ポイント数Ｐ（ｉ，ｊ）＝Ｐ（ｉ，ｊ）＋ｐを設定し、上記ステップＳ１２に進む。このステップＳ１２では、ステップＳ６〜Ｓ１０の処理が８つの隣接領域Ｒ１〜Ｒ８の各々について終了したか否かを判定し、この判定がＮＯのときにはステップＳ６に戻って、他の残りの隣接領域について同様の処理を行う。一方、判定がＹＥＳになると、ステップＳ１３に進み、全ての領域Ｅ，Ｅ，…についての有効ポイント数Ｐ（ｉ，ｊ）の設定（ステップＳ６〜Ｓ１０の処理）が終了したか否かを判定する。この判定がＮＯのときには、ステップＳ４に戻って他の領域Ｅについて有効ポイント数Ｐ（ｉ，ｊ）の設定を繰り返す。一方、判定がＹＥＳになると、次のライン毎の距離の演算処理（図１６参照）に進む。
【００３０】
図１６は上記ライン距離演算部２６での処理動作を示し、上記８隣接点処理部２５（有効ポイント数付与手段）により付与設定された有効ポイント数Ｐ（ｉ，ｊ）に基づき上記ライン毎の距離をそれぞれ演算する。
【００３１】
先ず、ステップＴ１において、ライン数ｎ及びウィンドウ数ｍに分割された領域Ｅ毎の距離データｄ（ｉ，ｊ）を読み込むと共に、上記８隣接点処理により付与された領域Ｅ毎の有効ポイント数Ｐ（ｉ，ｊ）を読み込み、次のステップＴ２では、ライン代表有効ポイント数ＰＩ（ｉ）をＰＩ（ｉ）＝０に初期化する。このライン代表有効ポイント数ＰＩ（ｉ）は、ライン毎の距離演算の際にラインに設定されるもので、この値が大きいほどラインの距離データの有効性が高く、信頼性、信憑性があると判断される。
【００３２】
次のステップＴ３では、上記ライン代表有効ポイント数ＰＩ（ｉ）に対応するライン代表しきい値Ｐ０を設定する。このステップＴ３でのライン代表しきい値Ｐ０は、例えば一定値に設定する。
【００３３】
ステップＴ３の後はステップＴ４に進み、上記領域毎の有効ポイント数Ｐ（ｉ，ｊ）がライン代表しきい値Ｐ０よりも大きいか否かを判定する。この判定がＮＯのときには、そのままステップＴ６に進むが、判定がＹＥＳのときには、ステップＴ５において、ライン毎の代表距離ｌ（ｉ）を平均化のために更新すると共に、上記ライン代表有効ポイント数ＰＩ（ｉ）に領域毎の有効ポイント数Ｐ（ｉ，ｊ）を加えてライン代表有効ポイント数ＰＩ（ｉ）の更新を行った後にステップＴ６に進む。すなわち、ライン距離演算部２６では、８隣接点処理部２５によって付与設定された有効ポイント数Ｐ（ｉ，ｊ）がライン代表しきい値Ｐ０よりも大きい領域についてライン毎の距離演算を行うようにしている。
【００３４】
上記ライン毎の代表距離ｌ（ｉ）の更新は次の式で行う。

【００３５】
上記ステップＴ６では当該ラインの全てのウィンドウ番号（領域Ｅ）について終了したか否かを判定し、この判定がＹＥＳになるまでラインの各領域ＥについてステップＴ３〜Ｔ５を繰り返す。ステップＴ６の判定がＹＥＳになると、ステップＴ７に進み、全てのライン番号について終了したか否かを判定し、この判定がＹＥＳになるまでステップＴ２〜Ｔ６を繰り返す。ステップＴ７の判定がＹＥＳになると、次の物体認識処理（図１７参照）に進む。
【００３６】
図１７はコントローラ１５における物体認識部２０での処理動作を示し、この物体認識部２０では、上記ライン距離演算部２６により演算されたライン毎の代表距離ｌ（ｉ）に基づいて物体Ｏを認識する。すなわち、ステップＷ１において物体番号ｋを設定し、ステップＷ２では、物体検出距離Ｌ（ｋ）、物体有効ポイント数ＰＫ（ｋ）及び物体内のデータ数Ｎ（ｋ）をいずれも０にして、一次保管用データセットのリセットを行う。
【００３７】
次のステップＷ３では、有効な未登録のラインデータが登録されているか否かを判定し、この判定がＮＯのときにはステップＷ８に進む。ステップＷ３の判定がＹＥＳのときには、ステップＷ４において、ラインデータの前後位置ＸＤ（ｉ）及び横位置ＹＤ（ｉ）を設定する。この後、ステップＷ５において、既に上記物体検出距離Ｌ（ｋ）が定義されているか否かを判定し、この判定がＮＯのときには、ステップＷ６に進み、上記物体検出距離Ｌ（ｋ）をＬ（ｋ）＝ＸＤ（ｉ）に、また物体有効ポイント数ＰＫ（ｋ）をＰＫ（ｋ）＝ＰＩ（ｉ）に、さらに物体内のデータ数Ｎ（ｋ）をＮ（ｋ）＝１にそれぞれ設定して、一次保管用データセットのセットを行った後、ステップＷ８に進む。
【００３８】
これに対し、ステップＷ５の判定がＹＥＳのときには、ステップＷ７に進み、物体検出距離Ｌ（ｋ）をＬ（ｋ）＝｛ＰＫ（ｋ）×Ｌ（ｉ）＋Ｐ（ｉ）×ＸＤ（ｉ）｝／｛ＰＫ（ｋ）＋Ｐ（ｉ）｝に、また物体有効ポイント数ＰＫ（ｋ）をＰＫ（ｋ）＝ＰＫ（ｋ）＋ＰＩ（ｉ）に、さらに物体内のデータ数Ｎ（ｋ）をＮ（ｋ）＝Ｎ（ｋ）＋１にそれぞれ設定して、一次保管用データセットの更新を行った後、ステップＷ８に進む。
【００３９】
上記ステップＷ８では、全てのライン番号について終了したか否かを判定し、この判定がＹＥＳになるまでステップＷ３〜Ｗ７を繰り返す。ステップＷ８の判定がＹＥＳになると、ステップＷ９〜Ｗ１１において物体Ｏの登録の可否の判定を行う。先ず、ステップＷ９において、上記物体内のデータ数Ｎ（ｋ）が所定値以上か否かを判定する。尚、この所定値は、遠距離側ほど小さくするように可変設定することもできる。このステップＷ９の判定がＮＯのときには、距離データはノイズ等に起因するものであると見做し、ステップＷ１０において物体Ｏの登録は行わず、物体番号ｋの物体データを初期化した後、終了する。一方、ステップＷ９の判定がＹＥＳであるときには、ステップＷ１１において物体Ｏの登録を行った後に終了する。すなわち、物体認識部２０は、ライン距離演算部２６により演算されたライン毎の距離のデータ数Ｎ（ｋ）が所定値以上であるときのみに、該ライン毎の距離に対応する物体を新規物体として登録する。
【００４０】
この物体認識部２０での処理動作の後は、上記表示装置３１での物体表示のための表示処理や警報装置３２での警報のための警報処理を行う。
【００４１】
上記一連の処理動作は、所定時間（１サンプリング時間）毎に繰り返し行われ、一度認識した物体Ｏを、各ＣＣＤチップ１１により捕らえることが可能な範囲に存在する限り、上記物体選別部２１にて新規物体との選別を行いながら捕捉し続ける。
【００４２】
ここで、実際には、上記物体認識部２０において、物体認識処理動作に先立って認識前処理動作が行われるようになっている。この認識前処理動作では、上記ライン距離演算部２６によりライン毎の代表距離が１サンプリング時間毎に連続して演算される回数がしきい値よりも大きいか否かを判断し、その有効回数がしきい値よりも大きいときに、物体認識処理にてその代表距離のみに基づいて物体を認識し得るように準備するようになっている。つまり、上記８隣接点処理部２５にて付与された有効ポイント数が上記ライン代表しきい値Ｐ０よりも大きくて距離データの有効性が高い場合は代表距離が演算される一方、距離データの有効性が低い場合は代表距離が演算されないので、１サンプリング時間毎に連続して演算される回数が多いほど、その代表距離は信頼性が高くて物体認識に使用することができるものとして、その代表距離のみに基づいて物体を認識し得るようにする。
【００４３】
図１８は、上記物体認識部２０での認識前処理動作を示す。先ず、ステップＵ１で各ライン毎に、代表距離が１サンプリング時間毎に連続して演算される回数ＬＤ＿ｎｕｍ（ｉ）を読み込んだ後、ステップＵ２でその有効回数ＬＤ＿ｎｕｍ（ｉ）のしきい値ＬＤ＿Ｌｉｍｉｔを設定する。このしきい値ＬＤ＿Ｌｉｍｉｔは、図１９に示す如く、各ライン毎に設定されたしきい値ＬＤ＿ｔｈ（ｉ）とされ、例えば、図２０（ａ）に示すように、ライン位置が大きくなる（車体１外側ラインつまり近距離側ラインから内側ラインつまり遠距離側ラインに向かう）に連れてしきい値ＬＤ＿Ｌｉｍｉｔが比例して大きくなるか、或いは、図２０（ｂ）に示すように、ライン位置が大きくなるに連れてしきい値ＬＤ＿Ｌｉｍｉｔが段階的に大きくなるように設定する。
【００４４】
次のステップＵ３で有効回数ＬＤ＿ｎｕｍ（ｉ）が上記しきい値ＬＤ＿Ｌｉｍｉｔよりも大きいか否かを判定し、この判定がＹＥＳのときには、ステップＵ４に進んで物体認識に使用できるデータとしてフラグＬｉｎｅ＿Ｏｂ＿ｆ（ｉ）を１にしてステップＵ５に進む。一方、ステップＵ３の判定がＮＯのときには、そのままステップＵ５に進む。
【００４５】
上記ステップＵ５では、全てのラインについて終了したか否かを判定し、この判定がＹＥＳになるまで上記ステップＵ３，Ｕ４を繰り返す。ステップＵ５の判定がＹＥＳになると、上記物体認識処理に進むことになる。このため、上記物体認識処理では、フラグＬｉｎｅ＿Ｏｂ＿ｆ（ｉ）が１とされたラインの代表距離（図１７の物体認識処理におけるステップＷ３での有効なラインデータとされる）のみに基づいて物体Ｏを認識することになる。
【００４６】
また、各測距回路１６にて測定された各領域Ｅ毎の距離データは、スムーズ化処理手段としてのローパスフィルターによりスムーズ化処理された後、８隣接点処理部２５にて８隣接点処理が行われるようになっている。すなわち、ｄ_ｆ（ｉ，ｊ）＝ａ×ｄ_ｆ（ｉ，ｊ）＋（１−ａ）×ｄ（ｉ，ｊ）という処理動作を行った後、ｄ（ｉ，ｊ）の代りにｄ_ｆ（ｉ，ｊ）を用いて上記８隣接点処理が行われることになる。
【００４７】
上記ローパスフィルターによるスムーズ化処理におけるａの値は０〜１の定数であるが、遠距離側ラインに比べて近距離側ラインほど（ライン位置が小さくなるに連れて）小さく設定されている。つまり、このローパスフィルターは、スムーズ化度合いを遠距離側ラインに比べて近距離側ラインほど小さくするように構成されている。このとき、ライン位置が所定値よりも小さい場合は、スムーズ化処理が全く施されないようにａ＝０としてもよい。
【００４８】
したがって、上記実施形態では、左右後側方検知センサ１０，１０により画像が輝度情報として捕らえられると、先ず、コントローラ１５の各測距回路１６において、各検知センサ１０の画像がライン列及びウィンドウ方向にそれぞれ分割されて各領域Ｅについて距離ｄ（ｉ，ｊ）が測定される。次いで、８隣接点処理部２５で、上記測定された領域Ｅ毎の距離ｄ（ｉ，ｊ）（ｄ_ｆ（ｉ，ｊ））及び隣接領域Ｒ１〜Ｒ８の距離の差ｄｘに基づいて各領域Ｅ毎の距離データの有効ポイント数Ｐ（ｉ，ｊ）が付与され、ライン距離演算部２６において上記有効ポイント数Ｐ（ｉ，ｊ）に基づきライン毎の代表距離ｌ（ｉ）が演算され、物体認識部２０においてライン距離演算部２６によりライン毎の代表距離ｌ（ｉ）が連続して演算される回数がしきい値ＬＤ＿Ｌｉｍｉｔよりも大きいときに、該代表距離ｌ（ｉ）から物体Ｏが認識される。このように、各領域Ｅについての距離データの有効性が隣接領域Ｒ１〜Ｒ８との関係から有効ポイント数Ｐ（ｉ，ｊ）として判定され、この有効ポイント数Ｐ（ｉ，ｊ）に基づいてライン毎の代表距離ｌ（ｉ）を求めて、その代表距離ｌ（ｉ）の有効性が高いときに、該代表距離ｌ（ｉ）から物体Ｏを認識するので、測距データのばらつきやノイズ等があっても、その影響を可及的に低減することができ、高精度の距離演算が可能となって正確な物体認識を行うことができる。
【００４９】
また、上記しきい値ＬＤ＿Ｌｉｍｉｔは、遠距離側ラインに比べて近距離側ラインほど小さく設定されているので、近距離側ラインではより短時間で物体認識を行うことができ、ＣＣＤチップ１１でのＣＣＤラインが等間隔である場合、認識物体Ｏが相対的に近づいてくる際、遠距離側にて認識した物体Ｏを近距離側で見失うことはない。しかも、上記しきい値ＬＤ＿Ｌｉｍｉｔが、近距離側ラインほど小さく設定されていても、近距離側の距離検出精度は遠距離側よりも高いので、近距離側で物体Ｏを正確に認識することができる。よって、認識物体Ｏをその距離に関係なく確実に追従し続けることができる。
【００５０】
さらに、各領域Ｅ毎の距離データは、ローパスフィルターによりスムーズ化処理され、そのスムーズ化度合いは、遠距離側ラインに比べて近距離側ラインほど小さく設定されているので、突発的なノイズ等の影響を受けることなく、より一層正確に物体Ｏを認識することができると共に、その処理に要する時間は近距離側ラインほど短くて済み、認識物体Ｏを近距離側で見失うのを防止することができる。
【００５１】
また、物体認識部２０は、物体Ｏの認識結果に基づいて警報等の信号を出力するように構成されているので、認識物体Ｏを容易に車両Ｃの乗員に知らせることができ、物体Ｏが相対的に近づいてくるような危険度が高い場合でもその物体Ｏを追従し続けることができるので、乗員に適切な警報を与えることができる。
【００５２】
【発明の効果】
以上説明したように、請求項１の発明によると、多段ライン型ＣＣＤの画像をライン毎にかつウィンドウ方向に複数に分割して各領域について距離を測定し、この各領域毎の距離データに基づいてライン毎の代表距離をそれぞれ演算し、この代表距離が所定時間毎に連続して演算される回数がしきい値よりも大きいときに、その代表距離に基づいて物体を認識すると共に、上記しきい値を近距離側ラインほど小さく設定するようにしたことにより、測距データのばらつきやノイズ等があっても、その影響を可及的に低減して、正確な物体認識を行うことができると共に、その認識物体をその距離に関係なく確実に捕捉し続けることができる。
【００５３】
請求項２の発明によると、測距手段により測定された各領域毎の距離データをスムーズ化処理するスムーズ化処理手段を設け、このスムーズ化処理手段のスムーズ化度合いを遠距離側ラインに比べて近距離側ラインほど小さくするようにしたことにより、認識物体を近距離側で見失うことなく、より一層正確に物体を認識することができる。
【００５４】
請求項３の発明によると、物体の認識結果に基づいて警報等の信号を出力するようにしたことにより、認識物体を容易に知ることができ、物体が相対的に近づいてくるような危険度が高い場合に、より一層その効果を高めることができる。
【図面の簡単な説明】
【図１】本発明の構成図である。
【図２】本発明の実施形態に係る物体認識装置の各構成部品の車両での位置を示す斜視図である。
【図３】物体認識装置の概略構成を示すブロック図である。
【図４】物体認識装置の詳細構成を示すブロック図である。
【図５】検知センサにより物体を測距する概念を示す側面図である。
【図６】ＣＣＤチップにより捕らえた画像を示す図である。
【図７】ＣＣＤチップにより捕らえた画像の中のラインをウィンドウ方向に分割して領域を区分する概念を示す図である。
【図８】上下のＣＣＤチップにより得られた画像が同じラインでずれて視差が生じる状態を示す説明図である。
【図９】上下のＣＣＤチップにより物体までの距離を測定する原理を示す図である。
【図１０】ＣＣＤチップにより得られた画像におけるＣＣＤラインの測距方向を示す平面図である。
【図１１】上下方向のレンジカット領域を示す側面図である。
【図１２】水平方向のレンジカット領域を示す平面図である。
【図１３】領域に隣接する８隣接領域の配置を示す図である。
【図１４】８隣接点処理からライン毎の距離演算までの具体例を示す図である。
【図１５】８隣接点処理動作を示すフローチャート図である。
【図１６】ライン毎の距離演算処理動作を示すフローチャート図である。
【図１７】物体の認識処理動作を示すフローチャート図である。
【図１８】物体認識処理動作に先立って行われる認識前処理動作を示すフローチャート図である。
【図１９】しきい値の設定を示すフローチャート図である。
【図２０】しきい値の設定例を示す図である。
【符号の説明】
Ｃ車両
１０後側方検知センサ
１１ＣＣＤチップ
１５コントローラ
１６測距回路（測距手段）
２０物体認識部（物体認識手段）
２５８隣設点処理部
２６ライン距離演算部（ライン距離演算手段）
３１表示装置
３２警報装置
Ｅ，Ｅ（ｉ，ｊ）領域
Ｒ１〜Ｒ８隣設領域
ｄ（ｉ，ｊ）測定距離
ｄｘ隣接領域との距離差
Ｐ（ｉ，ｊ）有効ポイント数
ｌ（ｉ）ライン代表距離
ＬＤ＿Ｌｉｍｉｔしきい値
Ｏ物体
Ｏ′ 物体像

Claims

ウィンドウ方向に沿って配置された多数のＣＣＤからなるＣＣＤラインをウィンドウ方向と直交するライン列方向に多段に並設してなり画像を輝度情報として捕らえる多段ライン型ＣＣＤを備え、該多段ライン型ＣＣＤからの輝度信号に基づいて得られた２次元の距離データから特定の物体を認識するようにした物体認識装置であって、
上記多段ライン型ＣＣＤのライン列方向の一端側が近距離側を検出する近距離側ラインとされる一方、他端側が遠距離側を検出する遠距離側ラインとされ、
上記多段ライン型ＣＣＤにより得られた画像を上記ＣＣＤライン毎にかつウィンドウ方向に複数に分割して各領域について距離を測定する測距手段と、
上記測距手段により測定された各領域毎の距離に基づき上記ライン毎の代表距離をそれぞれ演算するライン距離演算手段と、
上記ライン距離演算手段によりライン毎の代表距離が所定時間毎に連続して演算される回数がしきい値よりも大きいときに、該代表距離に基づいて物体を認識する物体認識手段とを備え、
上記しきい値は、上記遠距離側ラインに比べて近距離側ラインほど小さく設定されていることを特徴とする物体認識装置。
請求項１記載の物体認識装置において、
測距手段により測定された各領域毎の距離データをスムーズ化処理するスムーズ化処理手段を設け、
上記スムーズ化処理手段は、スムーズ化度合いを遠距離側ラインに比べて近距離側ラインほど小さくするように構成されていることを特徴とする物体認識装置。
請求項１又は２記載の物体認識装置において、
物体認識手段は、物体の認識結果に基づいて警報等の信号を出力するように構成されていることを特徴とする物体認識装置。