JP3708655B2

JP3708655B2 - Object recognition device

Info

Publication number: JP3708655B2
Application number: JP01012397A
Authority: JP
Inventors: 孝治中本; 峰司中野; 透吉岡; 裕樹上村
Original assignee: Mazda Motor Corp; Visteon Japan Ltd
Current assignee: Mazda Motor Corp; Visteon Japan Ltd
Priority date: 1997-01-23
Filing date: 1997-01-23
Publication date: 2005-10-19
Anticipated expiration: 2017-01-23
Also published as: JPH10206119A

Description

【０００１】
【発明の属する技術分野】
本発明は、物体認識装置に関し、詳しくは所定時間毎に多段ライン型ＣＣＤによる距離データに基づいて物体を認識すると共に、新たに検出された距離データがいずれかの認識物体に属するか否かを判断ようにしたものに関する技術分野に属する。
【０００２】
【従来の技術】
従来より、この種の物体認識装置として、例えば特開平５―５２５６２号公報に示されているように、撮像された画像を複数のウィンドウに分割して、各ウィンドウでの距離に基づいて物体を認識するようにしたものは知られている。すなわち、このものでは、上下方向に配置された１対のイメージセンサにより先行車等の物体を撮像して、その一方のイメージセンサによる画像を表示し、その表示画面を複数のウィンドウに分割してそのウィンドウ毎に物体までの距離を測定し、この距離値を基に目標物体のウィンドウを認識して追尾用ウィンドウを設定し、この追尾用ウィンドウでの距離を測定するようになされている。
【０００３】
また、例えば特開平４−２５０３１１号公報に示されているように、ＣＣＤイメージセンサにより車両を検出すると共に、その車両の異なる時点での検出信号から相対移動距離を算出し、この相対移動距離が等しい場合に同一車両として識別する一方、等しくない場合に異なる車両として識別するようにすることが提案されている。
【０００４】
【発明が解決しようとする課題】
ところで、このように物体をその距離に基づいて認識する場合、一定方向に配置された多数のＣＣＤをその配列方向と直交する方向に多段に並設してなる多段ライン型ＣＣＤを設け、所定時間毎にこの多段ライン型ＣＣＤからの輝度信号に基づいて得られた２次元の距離データから特定の物体を認識すると共に、新たに検出された距離データがいずれかの認識物体に属するか否かを判断するようにすることが考えられる。すなわち、この多段ライン型ＣＣＤは、縦横に多数のＣＣＤが配置されたカメラ用等のセンサに対し、ＣＣＤを一方向に間引いた構成のものであり、ＣＣＤの数が減った分だけ、撮像データ数が少なくなり、演算速度が速くなってコストダウンを図ることができる。
【０００５】
しかし、その反面、測距データのばらつきやノイズの影響が大きく、精度の高い距離演算が難しくて正確な物体認識が困難になるという問題がある。特に、ＣＣＤの検出方向に複数の認識物体が重なった場合、複数の認識物体を識別することが困難であり、近距離側の物体のデータを遠距離側の物体に属すると判断することにより、遠距離側の物体が急激に接近したと誤判断してしまう虞れがある。
【０００６】
本発明は斯かる諸点に鑑みてなされたものであり、その目的とするところは、多段ライン型ＣＣＤによる認識物体の識別に工夫を凝らすことにより、多段ライン型ＣＣＤを用いて物体認識を行いつつ、ＣＣＤの検出方向に複数の認識物体が重なった場合でも、遠距離側の物体が急激に接近したと誤認するのを防止することにある。
【０００７】
【課題を解決するための手段】
上記の目的を達成するために、この発明では、多段ライン型ＣＣＤにより得られた画像を、上記従来例のようにライン列方向及びウィンドウ方向にそれぞれ分割して各領域について距離を測定し、この各領域毎の距離データに基づいてライン毎の代表距離を演算して物体を認識すると共に、複数の物体を認識しているときに、新たに演算されたライン毎の代表距離が該認識物体のいずれかに属するか否かを、認識物体までの距離の小さい物体から先に判断するようにした。
【０００８】
具体的には、請求項１の発明では、図１に示すように、ウィンドウ方向に沿って配置された多数のＣＣＤからなるＣＣＤラインをウィンドウ方向と直交するライン列方向に多段に並設してなり画像を輝度情報として捕らえる多段ライン型ＣＣＤ１１を備え、所定時間毎に該多段ライン型ＣＣＤ１１からの輝度信号に基づいて得られた２次元の距離データから特定の物体を認識するようにした物体認識装置が対象である。
【０００９】
そして、上記多段ライン型ＣＣＤ１１により得られた画像を上記ＣＣＤライン毎にかつウィンドウ方向に複数に分割して各領域について距離を測定する測距手段１６と、上記測距手段１６により測定された各領域毎の距離に基づき上記ライン毎の代表距離をそれぞれ演算するライン距離演算手段２６と、上記ライン距離演算手段２６により演算されたライン毎の代表距離に基づいて物体を認識する物体認識手段２０と、上記物体認識手段２０により複数の物体を認識しているときに、上記ライン距離演算手段２６により新たに演算されたライン毎の代表距離が該認識物体のいずれかに属するか否かを、認識物体までの距離の小さい物体から先に判断する物体選別手段２１とを備えたことを特徴としている。
【００１０】
上記の構成により、先ず、測距手段１６において、多段ライン型ＣＣＤ１１の画像がライン毎にかつウィンドウ方向に複数に分割されて各領域について距離が測定される。次いで、ライン距離演算手段２６において、上記測距手段１６によ測定された各領域毎の距離に基づきライン毎の代表距離が演算され、物体認識手段２０において、このライン距離演算手段２６により演算されたライン毎の代表距離から物体が認識されて同時に認識物体までの距離が演算される。そして、物体認識手段２０により複数の物体を認識しているときに、物体選別手段２１において、ライン距離演算手段２６により新たに演算されたライン毎の代表距離が該認識物体のいずれかに属するか否かが判断される。
【００１１】
この判断の際、認識物体までの距離の小さい物体から先に行うので、ＣＣＤ１１の検出方向に複数の認識物体が重なった場合、その判断の順序によっては判断結果が異なるときでも、常に近距離側の物体に属すると判断される。したがって、実際には近距離側の認識物体に属する代表距離を遠距離側の物体に属すると判断することはなく、遠距離側の物体が急激に接近したと誤認することはない。
【００１２】
請求項２の発明では、請求項１の発明において、物体選別手段２１は、新たに演算されたライン毎の代表距離と認識物体までの距離との差がしきい値よりも小さいときに、該代表距離が上記認識物体に属すると判断するように構成され、上記しきい値は、ライン毎の代表距離の検出状況に応じて可変とされているものとする。
【００１３】
この発明により、新たに演算されたライン毎の代表距離と認識物体までの距離との差がしきい値よりも小さいときには、その代表距離はその認識物体に属する可能性が高いので、認識物体に属するか否かの判断を容易かつ正確に行うことができる。しかも、上記しきい値は、新たに演算されたライン毎の代表距離の検出状況に応じて可変とされているので、どのような状況でもその代表距離がいずれかの認識物体に属するか否かの判断を柔軟にかつ確実に行うことができる。
【００１４】
請求項３の発明では、請求項１又は２の発明において、物体認識手段２０は、物体の認識結果に基づいて警報等の信号を出力するように構成されているものとする。このことで、認識物体を容易に知ることができ、遠距離側の物体が急激に接近したと誤判断して不必要な警報等を行わずに済む。
【００１５】
【発明の実施の形態】
（実施形態１）
図２は本発明の実施形態に係る物体認識装置を装備した車両Ｃ（自動車）を示し、この物体認識装置は、車両Ｃの左右斜め後側方に位置する他の車両等の物体Ｏ（図５、図１１、図１２に示す）を認識する。
【００１６】
図２において、１は車両Ｃの車体、２は車体１の前後略中央部に形成された車室、３は車体１の前端部に形成されたエンジンルーム、４は車室２の前端部に配置されたインストルメントパネル、５は車室２の後端部にあるパッケージトレイ、６はリヤウィンドガラスである。そして、図３に示すように、上記物体認識装置は、各々物体Ｏまでの距離を測定するための左右の後側方検知センサ１０，１０と、この各検知センサ１０の出力信号がそれぞれ入力されるコントローラ１５と、このコントローラ１５からの信号を受けて物体Ｏの存在をＣＲＴや液晶等により表示する表示装置３１、及び同物体Ｏの危険度を警報する警報装置３２とを備えている。そして、図２に示す如く、上記両検知センサ１０，１０は、上記パッケージトレイ５上の左右両端部にそれぞれ斜め後方を向いた状態で取付固定されている。また、コントローラ１５はエンジンルーム３の後端部に、また表示装置３１及び警報装置３２はインストルメントパネル４にそれぞれ配設されている。
【００１７】
図５に示すように、上記各検知センサ１０は、所定距離離れて上下方向に配置された上下１対のＣＣＤチップ１１，１１と、該ＣＣＤチップ１１，１１に対応して配置されたレンズ１２，１２とを備えている。各ＣＣＤチップ１１は、上下方向たるウィンドウ方向に沿って配置された多数のＣＣＤからなるＣＣＤラインをウィンドウ方向と直交するライン列方向（水平方向）に多段に並設してなる多段ライン型ＣＣＤからなり、この各ＣＣＤチップ１１によりレンズ１２を経て車両Ｃのリアウィンドガラス６越しに、上下方向に角度θ１の範囲でかつ水平左右方向に角度θ２の範囲（図１０、図１２参照）にある物体Ｏ等の画像を輝度情報として捕らえるようになっている。
【００１８】
図４に示す如く、上記各検知センサ１０はそれぞれコントローラ１５内の測距回路１６（測距手段）に接続されている。この各測距回路１６は、両ＣＣＤチップ１１，１１での物体像の視差（位相差）を演算する視差演算部１７と、この視差演算部１７からの信号により物体Ｏまでの距離を演算する距離演算部１８とを備えている。そして、各測距回路１６では、図６及び図７に示す如く、各ＣＣＤチップ１１により捕らえられた画像を、ライン方向（水平方向）にＣＣＤライン毎のｎ個のラインに分割すると共に、その各ラインをウィンドウ方向（上下方向）にｍ個のウィンドウに分割して、画像の略全体をｍ×ｎ個の領域Ｅ，Ｅ，…で構成し、両方のＣＣＤチップ１１，１１による画像での同一の領域Ｅ，Ｅ間の視差を求め、この視差から各領域Ｅ毎に物体Ｏまでの距離を演算する。
【００１９】
すなわち、両ＣＣＤチップ１１，１１により捕らえられた画像はいずれも図６に示すようになるが、これら両ＣＣＤチップ１１，１１の画像は同じライン位置（図示例ではラインｉ）では、図８に示すように、両ＣＣＤチップ１１，１１の上下方向のずれ分だけずれていて視差が生じており、この視差を利用して物体Ｏまでを測距する。この原理について図９により説明すると、図９の三角形Ｐ・Ｏ１・Ｑ及び三角形Ｏ１・Ｐ１・Ｑ１同士、並びに三角形Ｐ・Ｏ２・Ｑ及び三角形Ｏ２・Ｐ２・Ｑ２同士はそれぞれ相似形であるので、今、検知センサ１０（レンズ１２）から物体Ｏまでの距離をａ、両レンズ１２，１２の中心間の距離をＢ（定数）、レンズ１２の焦点距離をｆ（定数）、両ＣＣＤチップ１１，１１での物体像のレンズ中心からのずれ量をそれぞれｘ１，ｘ２とすると、
ａ・ｘ１／ｆ＝Ｂ−ａ・ｘ２／ｆ
となり、この式から、
ａ＝Ｂ・ｆ／（ｘ１＋ｘ２）
が得られる。つまり、両ＣＣＤチップ１１，１１での物体像の視差（位相差）によって物体Ｏまでの距離ａを測定することができる。
【００２０】
尚、図６及び図７におけるＧ（白点）は、ＣＣＤチップ１１のＣＣＤに対応するように縦横格子状に配置された測距点（測距ポイント）であり、この測距点Ｇは各領域Ｅに含まれている。また、各ＣＣＤラインでのウィンドウは、一部が隣接するウィンドウと互いにオーバーラップするように分割されており、上下方向（ウィンドウ方向）に隣接する領域Ｅ，Ｅに同じ測距点Ｇ，Ｇ，…が含まれている。また、Ｏ′は物体の像である。
【００２１】
また、図１０に示すように、上記各ＣＣＤチップ１１により捕らえられた画像をライン毎に分割して形成される複数のラインは、車両Ｃの外側で近距離を測距するライン位置が若い番号とされる一方、車幅方向の中央側で遠距離を測距するライン位置が大きい番号とされ、外側ラインから車幅方向の中央側ラインに向かって番号が順に増加するように番号付けされている。
【００２２】
図４に示す如く、上記コントローラ１５には、センサ１０に基づいて得られた上下方向及び水平方向の２次元の距離データ、つまり各測距回路１６からの信号を基に特定の物体Ｏを認識する物体認識部２０と、この物体認識部２０の出力信号により物体Ｏを新規物体かどうか選別する物体選別部２１と、この物体選別部２１により選別された物体Ｏが車両Ｃ（自車）にとって危険対象物かどうかを判断する危険判断部２２とが設けられており、物体認識部２０において、物体Ｏの認識結果に基づいて表示信号を表示装置３１に、また警報信号を警報装置３２にそれぞれ物体選別部２１を経て出力するようにしている。
【００２３】
また、コントローラ１５は、物体Ｏを認識する上で本来は物体Ｏが位置し得ない不要な範囲を除外するレンジカット部２４と、測距された各領域毎の距離データと周りの８つの隣接領域との比較（８隣接点処理）を行って有効ポイント数を付与する有効ポイント数付与手段としての８隣接点処理部２５と、ライン毎の距離を演算するライン距離演算部２６と、ガードレールを判定するためのガードレール判定部２７と、距離データを物体Ｏ毎にグルーピングするグルーピング部２８とを備えている。
【００２４】
図１１は上記レンジカット部２４で除外される上下方向のレンジカット範囲Ｚ１を、また図１２は同左右方向のレンジカット範囲Ｚ２をそれぞれ示しており、これらのレンジカット範囲Ｚ１，Ｚ２は、ラインの角度とその位置での距離とに基づいて検出される。図１２中、Ｆは車両Ｃの路面、Ｍは道路における車両走行車線を設定する路面Ｆ上の白線、Ｆ１は道路の両側に設置された路側帯、Ｈはその植込みである。
【００２５】
上記８隣接点処理部２５での８隣接点処理動作は、図１３に示すように、ある領域Ｅ（ｉ，ｊ）の距離データに対しそれに隣接する周りの８つの隣接領域Ｒ１〜Ｒ８の距離データの相関性を判断するもので、具体的に図１５に示す如く行われる。すなわち、最初のステップＳ１で、ライン数ｎ及びウィンドウ数ｍに分割された領域Ｅ（ｉ，ｊ）毎の距離データｄ（ｉ，ｊ）を読み込み、次のステップＳ２で各領域Ｅ（ｉ，ｊ）の有効ポイント数Ｐ（ｉ，ｊ）をＰ（ｉ，ｊ）＝０と初期化する。この有効ポイント数Ｐ（ｉ，ｊ）は各領域Ｅ（ｉ，ｊ）に設定されるもので、この値が大きいほど領域の距離データの有効性が高く、信頼性、信憑性があると判断される。次のステップＳ３では、全ての領域のうち左右端及び上下端の位置にある領域（格子点）への有効ポイント数を嵩上げし、周辺の領域には有効ポイント数Ｐ（ｉ，ｊ）を＋１だけ、またその中で４つの隅角部の領域には有効ポイント数Ｐ（ｉ，ｊ）を＋２だけそれぞれ増やすように設定する。この後、ステップＳ４において、隣接点処理を行うかどうかを判定し、この判定がＮＯのときには、ステップＳ１１において有効ポイント数Ｐ（ｉ，ｊ）をＰ（ｉ，ｊ）＝８に設定した後、ステップＳ１２に進む一方、判定がＹＥＳのときには、ステップＳ５に進む。
【００２６】
上記ステップＳ４で隣接点処理を行うかどうかの判定は、例えば、予め各ライン位置毎に決定される基準距離値が所定値よりも大きいか否かを判定するもので、基準距離値が所定値よりも大きいときには、隣接点処理は行わない（ステップＳ１１に進む）一方、基準距離値が所定値よりも大きくないときには、隣接点処理を行う（同ステップＳ５に進む）。
【００２７】
上記ステップＳ５では距離しきい値ｄ０を設定する。この距離しきい値ｄ０は、付与ポイント数ｐを決定するためのもので、例えば、定数に設定する。
【００２８】
ステップＳ５の後はステップＳ６に進み、隣接領域Ｒｉの距離データｄ（Ｒｉ）を読み込み、次のステップＳ７では上記領域Ｅと隣接領域Ｒ１〜Ｒ８との距離差ｄｘ＝｜ｄ（ｉ，ｊ）−ｄ（Ｒｉ）｜を演算する。この後、ステップＳ８において、上記距離差ｄｘが上記距離しきい値ｄ０よりも小さいか否かの判定を行い、この判定がＮＯのときにはステップＳ１２に進む一方、判定がＹＥＳのときには、ステップＳ９において付与すべきポイント数ｐを設定する。
【００２９】
このようなステップＳ９の後、ステップＳ１０において、それまでの有効ポイント数Ｐ（ｉ，ｊ）に上記付与ポイント数ｐを加えて新たな有効ポイント数Ｐ（ｉ，ｊ）＝Ｐ（ｉ，ｊ）＋ｐを設定し、上記ステップＳ１２に進む。このステップＳ１２では、ステップＳ６〜Ｓ１０の処理が８つの隣接領域Ｒ１〜Ｒ８の各々について終了したか否かを判定し、この判定がＮＯのときにはステップＳ６に戻って、他の残りの隣接領域について同様の処理を行う。一方、判定がＹＥＳになると、ステップＳ１３に進み、全ての領域Ｅ，Ｅ，…についての有効ポイント数Ｐ（ｉ，ｊ）の設定（ステップＳ６〜Ｓ１０の処理）が終了したか否かを判定する。この判定がＮＯのときには、ステップＳ４に戻って他の領域Ｅについて有効ポイント数Ｐ（ｉ，ｊ）の設定を繰り返す。一方、判定がＹＥＳになると、次のライン毎の距離の演算処理（図１６参照）に進む。
【００３０】
図１６は上記ライン距離演算部２６での処理動作を示し、上記８隣接点処理部２５（有効ポイント数付与手段）により付与設定された有効ポイント数Ｐ（ｉ，ｊ）に基づき上記ライン毎の距離をそれぞれ演算する。
【００３１】
先ず、ステップＴ１において、ライン数ｎ及びウィンドウ数ｍに分割された領域Ｅ毎の距離データｄ（ｉ，ｊ）を読み込むと共に、上記８隣接点処理により付与された領域Ｅ毎の有効ポイント数Ｐ（ｉ，ｊ）を読み込み、次のステップＴ２では、ライン代表有効ポイント数ＰＩ（ｉ）をＰＩ（ｉ）＝０に初期化する。このライン代表有効ポイント数ＰＩ（ｉ）は、ライン毎の距離演算の際にラインに設定されるもので、この値が大きいほどラインの距離データの有効性が高く、信頼性、信憑性があると判断される。
【００３２】
次のステップＴ３では、上記ライン代表有効ポイント数ＰＩ（ｉ）に対応するライン代表しきい値Ｐ０を設定する。このステップＴ３でのライン代表しきい値Ｐ０は、例えば一定値に設定する。
【００３３】
ステップＴ３の後はステップＴ４に進み、上記領域毎の有効ポイント数Ｐ（ｉ，ｊ）がライン代表しきい値Ｐ０よりも大きいか否かを判定する。この判定がＮＯのときには、そのままステップＴ６に進むが、判定がＹＥＳのときには、ステップＴ５において、ライン毎の代表距離ｌ（ｉ）を平均化のために更新すると共に、上記ライン代表有効ポイント数ＰＩ（ｉ）に領域毎の有効ポイント数Ｐ（ｉ，ｊ）を加えてライン代表有効ポイント数ＰＩ（ｉ）の更新を行った後にステップＴ６に進む。すなわち、ライン距離演算部２６では、８隣接点処理部２５によって付与設定された有効ポイント数Ｐ（ｉ，ｊ）がライン代表しきい値Ｐ０よりも大きい領域についてライン毎の距離演算を行うようにしている。
【００３４】
上記ライン毎の代表距離ｌ（ｉ）の更新は次の式で行う。

【００３５】
上記ステップＴ６では当該ラインの全てのウィンドウ番号（領域Ｅ）について終了したか否かを判定し、この判定がＹＥＳになるまでラインの各領域ＥについてステップＴ３〜Ｔ５を繰り返す。ステップＴ６の判定がＹＥＳになると、ステップＴ７に進み、全てのライン番号について終了したか否かを判定し、この判定がＹＥＳになるまでステップＴ２〜Ｔ６を繰り返す。ステップＴ７の判定がＹＥＳになると、次の物体認識処理（図１７参照）に進む。
【００３６】
図１７はコントローラ１５における物体認識部２０での処理動作を示し、この物体認識部２０では、上記ライン距離演算部２６により演算されたライン毎の代表距離ｌ（ｉ）に基づいて物体Ｏを認識する。すなわち、ステップＷ１において物体番号ｋを設定し、ステップＷ２では、物体検出距離（物体Ｏまでの距離）Ｌ（ｋ）、物体有効ポイント数ＰＫ（ｋ）及び物体内のデータ数Ｎ（ｋ）をいずれも０にして、一次保管用データセットのリセットを行う。
【００３７】
次のステップＷ３では、有効な未登録のラインデータが登録されているか否かを判定し、この判定がＮＯのときにはステップＷ８に進む。ステップＷ３の判定がＹＥＳのときには、ステップＷ４において、ラインデータの前後位置ＸＤ（ｉ）及び横位置ＹＤ（ｉ）を設定する。この後、ステップＷ５において、既に上記物体検出距離Ｌ（ｋ）が定義されているか否かを判定し、この判定がＮＯのときには、ステップＷ６に進み、上記物体検出距離Ｌ（ｋ）をＬ（ｋ）＝ＸＤ（ｉ）に、また物体有効ポイント数ＰＫ（ｋ）をＰＫ（ｋ）＝ＰＩ（ｉ）に、さらに物体内のデータ数Ｎ（ｋ）をＮ（ｋ）＝１にそれぞれ設定して、一次保管用データセットのセットを行った後、ステップＷ８に進む。
【００３８】
これに対し、ステップＷ５の判定がＹＥＳのときには、ステップＷ７に進み、物体検出距離Ｌ（ｋ）をＬ（ｋ）＝｛ＰＫ（ｋ）×Ｌ（ｉ）＋Ｐ（ｉ）×ＸＤ（ｉ）｝／｛ＰＫ（ｋ）＋Ｐ（ｉ）｝に、また物体有効ポイント数ＰＫ（ｋ）をＰＫ（ｋ）＝ＰＫ（ｋ）＋ＰＩ（ｉ）に、さらに物体内のデータ数Ｎ（ｋ）をＮ（ｋ）＝Ｎ（ｋ）＋１にそれぞれ設定して、一次保管用データセットの更新を行った後、ステップＷ８に進む。
【００３９】
上記ステップＷ８では、全てのライン番号について終了したか否かを判定し、この判定がＹＥＳになるまでステップＷ３〜Ｗ７を繰り返す。ステップＷ８の判定がＹＥＳになると、ステップＷ９〜Ｗ１１において物体Ｏの登録の可否の判定を行う。先ず、ステップＷ９において、上記物体内のデータ数Ｎ（ｋ）が所定値以上か否かを判定する。尚、この所定値は、遠距離側ほど小さくするように可変設定することもできる。このステップＷ９の判定がＮＯのときには、距離データはノイズ等に起因するものであると見做し、ステップＷ１０において物体Ｏの登録は行わず、物体番号ｋの物体データを初期化した後、終了する。一方、ステップＷ９の判定がＹＥＳであるときには、ステップＷ１１において物体Ｏの登録を行った後に終了する。すなわち、物体認識部２０は、ライン距離演算部２６により演算されたライン毎の距離のデータ数Ｎ（ｋ）が所定値以上であるときのみに、該ライン毎の距離に対応する物体を新規物体として登録する。
【００４０】
この物体認識部２０での処理動作の後は、上記表示装置３１での物体表示のための表示処理や警報装置３２での警報のための警報処理を行う。
【００４１】
上記一連の処理動作は、所定時間（１サンプリング時間）毎に繰り返し行われ、一度認識した物体Ｏを、各ＣＣＤチップ１１により捕らえることが可能な範囲に存在する限り、上記物体選別部２１にて新規物体との選別を行いながら捕捉し続ける。この認識物体Ｏと新規物体との選別は、上記ライン距離演算部２６により新たに演算されたライン毎の代表距離と認識物体Ｏの物体検出距離との差がしきい値よりも小さいか否かにより行い、その差がしきい値よりも小さいときに、その代表距離はその認識物体Ｏに属すると判断する。
【００４２】
図１８は、上記物体選別部２１での物体選別処理動作を示し、この処理動作は、上記物体認識部２０において複数の物体Ｏ，Ｏ，…を認識しているときに、上記ライン距離演算部２６により新たに演算されたライン毎の代表距離が該認識物体Ｏ，Ｏ，…のいずれかに属するか否かを判断するためのもので、その判断は、物体検出距離の小さい物体から先に行うようになっている。
【００４３】
すなわち、ステップＸ１で物体数Ｋの物体検出距離Ｌ（ｋ）を読み込み、ステップＸ２において、物体検出距離Ｌ（ｋ）の小さい物体の順にその物体番号ｋ（１〜Ｋ）をＳｂ（１），Ｓｂ（２），…，Ｓｂ（Ｋ）に入れる。そして、以下のステップＸ３〜Ｘ８ではＳｂ（１），Ｓｂ（２），…，Ｓｂ（Ｋ）の順に物体毎に処理を行うようになっている。
【００４４】
次のステップＸ３で新たに演算されたライン数ｎの代表距離ｌ（ｉ）を読み込んだ後、ステップＸ４でその代表距離ｌ（ｉ）が有効か無効を示すフラグＬｉｎｅ＿ｆ（ｉ）が１（有効）か否かを判定する。この判定がＹＥＳのときにはステップＸ５に進んでその代表距離ｌ（ｉ）と認識物体Ｏの物体検出距離Ｌ（Ｓｂ（ｋ））との差がしきい値Ｃよりも小さいか否かを判定する。このしきい値Ｃは、認識物体Ｏに関係なく一定値であってもよく、認識物体Ｏ毎に、例えばその物体検出距離に応じて可変としてもよい。上記ステップＸ５の判定がＹＥＳのときにはステップＸ６に進んで上記フラグＬｉｎｅ＿ｆ（ｉ）を０（無効）とし、ステップＸ７で新たな物体検出距離Ｌ（Ｓｂ（ｋ））の演算に新たな代表距離ｌ（ｉ）を反映させるようにして上記物体認識処理を行った後、ステップＸ８に進む。一方、上記ステップＸ４，Ｘ５の各判定がＮＯのときにはそのままステップＸ８に進む。
【００４５】
上記ステップＸ８では全てのライン番号について終了したか否かを判定し、この判定がＹＥＳになるまで各ラインについてステップＸ４〜Ｘ７を繰り返す。ステップＸ８の判定がＹＥＳになると、ステップＸ９に進み、全てのＳｂ（Ｋ）について終了したか否かを判定し、この判定がＹＥＳになるまでステップＸ３〜Ｘ８を繰り返す。ステップＸ９の判定がＹＥＳになると、再び上記表示処理や警報処理を行う。
【００４６】
したがって、上記実施形態１では、左右後側方検知センサ１０，１０により画像が輝度情報として捕らえられると、先ず、コントローラ１５の各測距回路１６において、各検知センサ１０の画像がライン列及びウィンドウ方向にそれぞれ分割されて各領域Ｅについて距離ｄ（ｉ，ｊ）が測定される。次いで、８隣接点処理部２５で、上記測定された領域Ｅ毎の距離ｄ（ｉ，ｊ）及び隣接領域Ｒ１〜Ｒ８の距離の差ｄｘに基づいて各領域Ｅ毎の距離データの有効ポイント数Ｐ（ｉ，ｊ）が付与され、ライン距離演算部２６において上記有効ポイント数Ｐ（ｉ，ｊ）に基づきライン毎の代表距離ｌ（ｉ）が演算され、物体認識部２０においてライン距離演算部２６により演算されたライン毎の代表距離ｌ（ｉ）から物体Ｏが認識されて物体検出距離Ｌ（ｋ）が演算される。このように、各領域Ｅについての距離データの有効性が隣接領域Ｒ１〜Ｒ８との関係から有効ポイント数Ｐ（ｉ，ｊ）として判定され、この有効ポイント数Ｐ（ｉ，ｊ）に基づいてライン毎の代表距離ｌ（ｉ）を求めて、その代表距離ｌ（ｉ）から物体Ｏを認識するので、測距データのばらつきやノイズ等があっても、その影響を可及的に低減することができ、高精度の距離演算が可能となって正確な物体認識を行うことができる。
【００４７】
そして、図１９に示すように、例えば近距離側物体Ｏａと遠距離側物体Ｏｂとを物体認識部２０により認識しているときに、次のサンプリング時に、物体選別部２１において、ライン距離演算部２６により新たに演算されたライン毎の代表距離が該認識物体Ｏａ，Ｏｂのいずれかに属するか否かが判断される。このとき、図２０に示すように、２つの認識物体Ｏａ，Ｏｂが検知センサ１０の検出方向に重なるように移動した場合、その判断を遠距離側物体Ｏｂから先に行うとすると、新たに演算されたライン毎の代表距離は殆どが近距離側物体Ｏａに属するにも拘らず、その代表距離と遠距離側物体Ｏｂの代表距離との差がしきい値Ｃよりも小さければ、遠距離側物体Ｏｂに属すると判断してしまう。この結果、その代表距離に基づいて遠距離側物体Ｏｂとして新たに物体検出距離が演算されるので、遠距離側物体Ｏｂが急激に接近したと誤認してしまうことになる。
【００４８】
しかし、この実施形態１では、新たに演算されたライン毎の代表距離が認識物体Ｏａ，Ｏｂのいずれかに属するか否かの判断の際、物体検出距離の小さい認識物体Ｏａから先に行うので、検知センサ１０の検出方向に２つの認識物体Ｏａ，Ｏｂが重なった場合でも、新たに演算されたライン毎の代表距離は、実際の通りに、近距離側物体Ｏａに属すると判断される。このため、近距離側物体Ｏａの代表距離を遠距離側物体Ｏｂに属すると判断することはない。よって、遠距離側物体Ｏｂが急激に接近したと誤認するのを防止することができる。
【００４９】
また、物体認識部２０は、物体Ｏの認識結果に基づいて警報等の信号を出力するように構成されているので、認識物体Ｏを容易に知ることができると共に、遠距離側物体Ｏｂが急激に接近したと誤判断して不必要な警報等を行わずに済む。
【００５０】
（実施形態２）
図２１は、本発明の実施形態２における物体選別部２１での処理動作を示し、新たに演算されたライン毎の代表距離が複数の認識物体Ｏ，Ｏ…のいずれかに属するか否かを、実施形態１と同様に、物体検出距離の小さい物体から判断するが、その判断のための代表距離と物体検出距離との差のしきい値を、その新たに演算されたライン毎の代表距離の検出状況に応じて可変としたものである。詳しくは、新たに演算されたライン毎の代表距離が、隣接する２つの認識物体Ｏ，Ｏの物体検出距離の間にある場合には、その２つの認識物体Ｏ，Ｏのどちらかに属するものと見做し、基本的にはその代表距離により近い物体検出距離を有する認識物体に属すると判断するようになっている。尚、図２１のフローでは、新たに演算されたライン毎の代表距離が、隣接する２つの認識物体Ｏ，Ｏの物体検出距離の間にある場合を示し、その隣接する２つの認識物体Ｏ，Ｏの物体番号をそれぞれ１，２としている。
【００５１】
すなわち、先ず、ステップＹ１で物体内のデータ数Ｎ（１），Ｎ（２）を０にリセットした後、ステップＹ２で当該ラインの登録フラグＦ（ｉ）が０か否かを判定する。この登録フラグＦ（ｉ）は、そのラインの代表距離がいずれかの物体に属すると判断したときには１とされ、いずれかの物体に属するか否かを判断していないときには０とされている。この判定がＮＯのときにはステップＹ１１に進む。ステップＹ２の判定がＹＥＳのときには、ステップＹ３に進んで新たに演算された代表距離ｌ（ｉ）と各物体検出距離Ｌ（１），Ｌ（２）との差をそれぞれｄＸ１，ｄＸ２とした後、ステップＹ４でｄＸ１がａ・ｄＸ２（ａ＞１）よりも大きいか否かを判定する。このステップＹ４の判定がＹＥＳのときには、ステップＹ５に進んで当該ラインの検出距離ｌ（ｉ）は物体番号が２の物体に属すると判定し、上記フラグＦ（ｉ）を１にセットすると共に、物体内のデータ数Ｎ（２）に１を加えた値を新たなＮ（２）としてステップＹ１１に進む。一方、ステップＹ４の判定がＮＯのときには、ステップＹ６に進んでｄＸ２がａ・ｄＸ１よりも大きいか否かを判定する。
【００５２】
上記ステップＹ６の判定がＹＥＳのときには、ステップＹ７に進んで当該ラインの代表距離ｌ（ｉ）は物体番号が１の物体に属すると判定し、上記フラグＦ（ｉ）を１にセットすると共に、物体内のデータ数Ｎ（１）に１を加えた値を新たなＮ（１）としてステップＹ１１に進む。一方、ステップＹ６の判定がＮＯのときには、ステップＹ８に進む。つまり、上記ステップＹ４，Ｙ６では、代表距離ｌ（ｉ）がどちらの物体に属するかを確実に判断するために、単純にｄＸ１とｄＸ２との大小を比較せずに、それぞれ１よりも大きい定数ａを掛けた値よりも大きいか否かで判断する。
【００５３】
上記ステップＹ４，Ｙ６において代表距離ｌ（ｉ）がどちらの物体に属するかを判断できない場合は、そのステップＹ４，Ｙ６においてどちらかの物体に属すると判断された物体内のデータ数Ｎ（１），Ｎ（２）の多い側の物体に属するとする。すなわち、ステップＹ８でＮ（１）がＮ（２）よりも大きいか否かを判定し、この判定がＹＥＳのときには、上記ステップＹ７に進む一方、ＮＯのときにはステップＹ９に進んでＮ（１）がＮ（２）よりも小さいか否かを判定する。このステップＹ９の判定がＹＥＳのときには、上記ステップＹ５に進む一方、ＮＯのときにはステップＹ１０に進む。
【００５４】
上記ステップＹ８，Ｙ９においても、代表距離ｌ（ｉ）がどちらの物体に属するかを判断できない場合、つまりＮ（１）＝Ｎ（２）の場合は、上記ステップＹ３で求めたｄＸ１とｄＸ２との大小を比較する。すなわち、ステップＹ１０でｄＸ１がｄＸ２よりも小さいか否かを判定し、この判定がＹＥＳのときには上記ステップＹ７に進む一方、ＮＯのときには上記ステップＹ５に進む。
【００５５】
ステップＹ５又はステップＹ７の後のステップＹ１１では全てのライン番号について終了したか否かを判定し、この判定がＹＥＳになるまで各ラインについてステップＹ２〜Ｙ１０を繰り返す。ステップＹ１１の判定がＹＥＳになると、代表距離が属すると判断された物体毎に、その代表距離に基づいて上記物体認識処理が行われて新たな物体検出距離が演算される。
【００５６】
尚、上記ステップＹ４，Ｙ６において代表距離ｌ（ｉ）がどちらの物体に属するかを判断できない場合（ステップＹ６の判定がＮＯの場合）は、ステップＹ８〜Ｙ１０の代りに、図２２に示すように、物体検出距離Ｌ（１），Ｌ（２）の大小を判定し、その距離の小さい方の物体（近距離側の物体）に属するとしてもよい。すなわち、Ｌ（１）＞Ｌ（２）の判定がＹＥＳのときには上記ステップＹ５に進む一方、ＮＯのときには上記ステップＹ７に進むようにする。
【００５７】
したがって、上記実施形態２では、新たに演算されたライン毎の代表距離が複数の認識物体Ｏ，Ｏ…に属するか否かを判断するための代表距離と物体検出距離との差のしきい値が、新たに演算されたライン毎の代表距離の検出状況に応じて可変とされ、新たに演算されたライン毎の代表距離が、隣接する２つの認識物体Ｏ，Ｏの物体検出距離の間にある場合に、基本的にその代表距離により近い物体検出距離を有する認識物体に属すると判断するようにされているので、どのような状況でも新たに演算された代表距離がいずれかの認識物体に属するか否かの判断を柔軟にかつ確実に行うことができる。
【００５８】
【発明の効果】
以上説明したように、請求項１の発明によると、多段ライン型ＣＣＤの画像をライン毎にかつウィンドウ方向に複数に分割して各領域について所定時間毎に距離を測定し、この各領域毎の距離データに基づいてライン毎の代表距離を演算して物体を認識すると共に、複数の物体を認識しているときに、新たに演算されたライン毎の代表距離が該認識物体のいずれかに属するか否かを、上記認識物体までの距離の小さい物体から先に判断するようにしたことにより、測距データのばらつきやノイズ等があっても、その影響を可及的に低減することができ、正確な物体認識を行うことができると共に、遠距離側の物体が急激に接近したと誤認するのを防止することができる。
【００５９】
請求項２の発明によると、新たに演算されたライン毎の代表距離と認識物体までの距離との差がしきい値よりも小さいときに、該代表距離が上記認識物体に属すると判断するようにし、上記しきい値は、新たに演算されたライン毎の代表距離の検出状況に応じて可変としたことにより、どのような状況でもその代表距離がいずれかの認識物体に属するか否かの判断を柔軟にかつ確実に行うことができる。
【００６０】
請求項３の発明によると、物体の認識結果に基づいて警報等の信号を出力するようにしたことにより、認識物体を容易に知ることができ、遠距離側の物体が急激に接近したと誤判断して不必要な警報等を行わずに済む。
【図面の簡単な説明】
【図１】本発明の構成図である。
【図２】本発明の実施形態１に係る物体認識装置の各構成部品の車両での位置を示す斜視図である。
【図３】物体認識装置の概略構成を示すブロック図である。
【図４】物体認識装置の詳細構成を示すブロック図である。
【図５】検知センサにより物体を測距する概念を示す側面図である。
【図６】ＣＣＤチップにより捕らえた画像を示す図である。
【図７】ＣＣＤチップにより捕らえた画像の中のラインをウィンドウ方向に分割して領域を区分する概念を示す図である。
【図８】上下のＣＣＤチップにより得られた画像が同じラインでずれて視差が生じる状態を示す説明図である。
【図９】上下のＣＣＤチップにより物体までの距離を測定する原理を示す図である。
【図１０】ＣＣＤチップにより得られた画像におけるＣＣＤラインの測距方向を示す平面図である。
【図１１】上下方向のレンジカット領域を示す側面図である。
【図１２】水平方向のレンジカット領域を示す平面図である。
【図１３】領域に隣接する８隣接領域の配置を示す図である。
【図１４】８隣接点処理からライン毎の距離演算までの具体例を示す図である。
【図１５】８隣接点処理動作を示すフローチャート図である。
【図１６】ライン毎の距離演算処理動作を示すフローチャート図である。
【図１７】物体の認識処理動作を示すフローチャート図である。
【図１８】物体選別処理動作を示すフローチャート図である。
【図１９】近距離側物体及び遠距離側物体の検出例を示す図である。
【図２０】近距離側物体及び遠距離側物体が検知センサの検出方向に重なった場合を示す図である。
【図２１】実施形態２を示す図１８相当図である。
【図２２】図２１の変形例を示すフローチャート図である。
【符号の説明】
Ｃ車両
１０後側方検知センサ
１１ＣＣＤチップ
１５コントローラ
１６測距回路（測距手段）
２０物体認識部（物体認識手段）
２１物体選別部（物体選別手段）
２５８隣設点処理部
２６ライン距離演算部（ライン距離演算手段）
３１表示装置
３２警報装置
Ｅ，Ｅ（ｉ，ｊ）領域
Ｒ１〜Ｒ８隣設領域
ｄ（ｉ，ｊ）測定距離
ｄｘ隣設領域との距離差
Ｐ（ｉ，ｊ）有効ポイント数
ｌ（ｉ）ライン代表距離
Ｌ（ｋ）物体検出距離
Ｏ物体
Ｏ′ 物体像[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an object recognition apparatus, and more specifically, recognizes an object based on distance data obtained by a multistage line CCD every predetermined time, and determines whether or not newly detected distance data belongs to any recognized object. It belongs to the technical field related to what is being judged.
[0002]
[Prior art]
Conventionally, as an object recognition apparatus of this type, for example, as disclosed in JP-A-5-52562, a captured image is divided into a plurality of windows, and an object is determined based on the distance in each window. What we are aware of is known. That is, in this device, an object such as a preceding vehicle is imaged by a pair of image sensors arranged in the vertical direction, an image by one of the image sensors is displayed, and the display screen is divided into a plurality of windows. The distance to the object is measured for each window, the window of the target object is recognized based on the distance value, a tracking window is set, and the distance in the tracking window is measured.
[0003]
Further, as disclosed in, for example, Japanese Patent Laid-Open No. 4-250311, a vehicle is detected by a CCD image sensor, and a relative movement distance is calculated from detection signals at different times of the vehicle. It has been proposed to identify the same vehicle if they are equal, while identifying them as different vehicles if they are not equal.
[0004]
[Problems to be solved by the invention]
By the way, in the case of recognizing an object based on the distance in this way, a multistage line type CCD in which a large number of CCDs arranged in a certain direction are arranged in parallel in a direction orthogonal to the arrangement direction is provided for a predetermined time. Each time a specific object is recognized from the two-dimensional distance data obtained on the basis of the luminance signal from the multi-stage line CCD, whether or not the newly detected distance data belongs to any recognized object. It is possible to make a judgment. That is, this multi-stage line type CCD has a configuration in which a CCD is thinned out in one direction with respect to a sensor for a camera or the like in which a large number of CCDs are arranged vertically and horizontally. The number is reduced, the calculation speed is increased, and the cost can be reduced.
[0005]
On the other hand, however, there is a problem that variation of distance measurement data and influence of noise are large, and accurate distance calculation is difficult and accurate object recognition is difficult. In particular, when a plurality of recognition objects are overlapped in the detection direction of the CCD, it is difficult to identify the plurality of recognition objects, and by determining that the data of the short-distance side object belongs to the long-distance side object, There is a risk of misjudging that an object on the far side has approached rapidly.
[0006]
The present invention has been made in view of such various points, and the object of the present invention is to perform object recognition using a multistage line CCD by devising the recognition object recognition by the multistage line CCD. Therefore, even when a plurality of recognition objects overlap in the CCD detection direction, it is possible to prevent misidentification that an object on a long distance side suddenly approaches.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, according to the present invention, an image obtained by a multistage line type CCD is divided into a line row direction and a window direction as in the conventional example, and the distance is measured for each region. Recognizing an object by calculating a representative distance for each line based on distance data for each region, and recognizing a plurality of objects, the newly calculated representative distance for each line Whether or not it belongs to any one of them is determined first from an object with a small distance to the recognized object.
[0008]
Specifically, in the first aspect of the present invention, as shown in FIG. 1, CCD lines composed of a large number of CCDs arranged along the window direction are arranged in parallel in a line row direction perpendicular to the window direction. Object recognition provided with a multi-stage line type CCD 11 that captures an image as luminance information, and recognizes a specific object from two-dimensional distance data obtained based on the luminance signal from the multi-stage line type CCD 11 every predetermined time The device is the target.
[0009]
The image obtained by the multi-stage line type CCD 11 is divided into a plurality of the CCD lines for each CCD line and in the window direction and the distance is measured for each region, and each of the distances measured by the distance measuring means 16 is measured. Line distance calculating means 26 for calculating the representative distance for each line based on the distance for each region, and object recognition means 20 for recognizing an object based on the representative distance for each line calculated by the line distance calculating means 26; When recognizing a plurality of objects by the object recognizing means 20, it is recognized whether the representative distance for each line newly calculated by the line distance calculating means 26 belongs to any of the recognized objects. It is characterized by comprising an object selecting means 21 for determining first from an object having a small distance to the object.
[0010]
With the above configuration, first, the distance measuring unit 16 divides the image of the multistage line type CCD 11 into a plurality of lines and in the window direction, and measures the distance for each region. Next, the line distance calculation means 26 calculates a representative distance for each line based on the distance for each region measured by the distance measurement means 16, and the object recognition means 20 calculates the representative distance for this line distance. The object is recognized from the representative distance for each line, and the distance to the recognized object is calculated at the same time. When the object recognition unit 20 recognizes a plurality of objects, the object selection unit 21 determines whether the representative distance for each line newly calculated by the line distance calculation unit 26 belongs to any of the recognition objects. It is determined whether or not.
[0011]
In this determination, since an object having a small distance to the recognition object is performed first, when a plurality of recognition objects overlap in the detection direction of the CCD 11, even when the determination result varies depending on the determination order, the short distance side is always obtained. It is determined that it belongs to the object. Therefore, in practice, the representative distance belonging to the recognition object on the short distance side is not determined to belong to the object on the long distance side, and it is not erroneously recognized that the object on the long distance side suddenly approaches.
[0012]
In the invention of claim 2, in the invention of claim 1, the object sorting means 21 is configured such that the difference between the newly calculated representative distance for each line and the distance to the recognition object is smaller than a threshold value. Assume that the representative distance is determined to belong to the recognized object, and the threshold value is variable according to the detection state of the representative distance for each line.
[0013]
According to the present invention, when the difference between the newly calculated representative distance for each line and the distance to the recognized object is smaller than the threshold, the representative distance is likely to belong to the recognized object. It is possible to easily and accurately determine whether it belongs. In addition, since the threshold value is variable according to the newly calculated representative distance detection status for each line, whether or not the representative distance belongs to any recognized object in any situation. Can be made flexibly and reliably.
[0014]
According to a third aspect of the invention, in the first or second aspect of the invention, the object recognition means 20 is configured to output a signal such as an alarm based on the recognition result of the object. As a result, the recognized object can be easily known, and it is not necessary to perform an unnecessary alarm or the like by erroneously determining that the object on the far side has approached rapidly.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
(Embodiment 1)
FIG. 2 shows a vehicle C (automobile) equipped with an object recognition apparatus according to an embodiment of the present invention. This object recognition apparatus is an object O (such as another vehicle) located diagonally rearward to the left and right of the vehicle C (see FIG. 5, FIG. 11 and FIG. 12).
[0016]
In FIG. 2, reference numeral 1 denotes a vehicle body of a vehicle C, 2 denotes a passenger compartment formed at a substantially central portion in the front and rear of the

vehicle body

1, 3 denotes an engine room formed at a front end portion of the

vehicle body

1, and 4 denotes a front end portion of the passenger compartment 2. The arranged instrument panel, 5 is a package tray at the rear end of the

passenger compartment

2, and 6 is a rear window glass. As shown in FIG. 3, the object recognition device receives the left and right rear

side detection sensors

10 and 10 for measuring the distance to the object O and the output signals of the detection sensors 10. A controller 15, a display device 31 that receives the signal from the controller 15 and displays the presence of the object O using a CRT, a liquid crystal, or the like, and an alarm device 32 that warns the danger of the object O. As shown in FIG. 2, the

detection sensors

10 and 10 are fixedly attached to the left and right ends of the package tray 5 in a state of facing obliquely rearward. The controller 15 is disposed at the rear end of the engine room 3, and the display device 31 and the alarm device 32 are disposed on the instrument panel 4.
[0017]
As shown in FIG. 5, each of the detection sensors 10 includes a pair of upper and

lower CCD chips

11 and 11 arranged in the vertical direction at a predetermined distance, and a lens 12 arranged corresponding to the CCD chips 11 and 11. , 12. Each CCD chip 11 is a multi-stage line type CCD in which CCD lines composed of a large number of CCDs arranged along the vertical window direction are arranged side by side in a line row direction (horizontal direction) perpendicular to the window direction. Thus, an object in the range of the angle θ1 in the vertical direction and in the range of the angle θ2 in the horizontal horizontal direction (see FIGS. 10 and 12) through the lens 12 through the lens 12 by each CCD chip 11 An image such as O is captured as luminance information.
[0018]
As shown in FIG. 4, each of the detection sensors 10 is connected to a distance measuring circuit 16 (ranging means) in the controller 15. Each distance measuring circuit 16 calculates a parallax calculation unit 17 that calculates the parallax (phase difference) of the object image in both the CCD chips 11 and 11, and calculates a distance to the object O based on a signal from the parallax calculation unit 17. A distance calculation unit 18. Each distance measuring circuit 16 divides the image captured by each CCD chip 11 into n lines for each CCD line in the line direction (horizontal direction) as shown in FIGS. Each line is divided into m windows in the window direction (vertical direction), and the entire image is configured by m × n areas E, E,... The parallax between the same areas E and E is obtained, and the distance to the object O is calculated for each area E from this parallax.
[0019]
That is, the images captured by both the CCD chips 11 and 11 are as shown in FIG. 6, but the images of both the CCD chips 11 and 11 are shown in FIG. 8 at the same line position (line i in the illustrated example). As shown in the figure, a parallax is generated due to a shift in the vertical direction of both the CCD chips 11, 11, and the distance to the object O is measured using this parallax. This principle will be described with reference to FIG. 9. Since the triangles P.O1.Q and the triangles O1.P1.Q1 and the triangles P.O2.Q and the triangles O2.P2.Q2 in FIG. Now, the distance from the detection sensor 10 (lens 12) to the object O is a, the distance between the centers of both

lenses

12 and 12 is B (constant), the focal length of the lens 12 is f (constant), and both CCD chips 11, 11, the amount of deviation of the object image from the lens center is x1 and x2, respectively.
a · x1 / f = B−a · x2 / f
From this equation,
a = B · f / (x1 + x2)
Is obtained. That is, the distance a to the object O can be measured based on the parallax (phase difference) of the object images in both the CCD chips 11 and 11.
[0020]
6 and 7, G (white dots) are distance measuring points (ranging points) arranged in a vertical and horizontal grid pattern so as to correspond to the CCD of the CCD chip 11. It is included in region E. In addition, the window in each CCD line is divided so that a part thereof overlaps with an adjacent window, and the same distance measuring points G, G, and E in the areas E and E adjacent in the vertical direction (window direction). …It is included. O ′ is an object image.
[0021]
Also, as shown in FIG. 10, a plurality of lines formed by dividing the image captured by each CCD chip 11 into lines are numbers with a young line position for measuring a short distance outside the vehicle C. On the other hand, the line position for measuring a long distance on the center side in the vehicle width direction is a large number, and the numbers are numbered so that the numbers increase in order from the outer line toward the center line in the vehicle width direction. Yes.
[0022]
As shown in FIG. 4, the controller 15 recognizes a specific object O based on two-dimensional distance data in the vertical and horizontal directions obtained based on the sensor 10, that is, a signal from each distance measuring circuit 16. The object recognizing unit 20, the object selecting unit 21 for selecting whether the object O is a new object based on the output signal of the object recognizing unit 20, and the object O selected by the object selecting unit 21 for the vehicle C (own vehicle). A risk determination unit 22 that determines whether the object is a dangerous object is provided. In the object recognition unit 20, a display signal is displayed on the display device 31 and an alarm signal is displayed on the alarm device 32 based on the recognition result of the object O. The data is output through the object sorting unit 21.
[0023]
In addition, the controller 15 recognizes the object O, excludes an unnecessary range in which the object O cannot originally be located, and the distance data for each measured area and the eight adjacent neighbors. 8 adjacent point processing unit 25 as an effective point number granting means for performing comparison with the region (8 adjacent point processing) to give the effective point number, a line distance calculating unit 26 for calculating the distance for each line, and a guardrail A guardrail determination unit 27 for determination and a grouping unit 28 that groups distance data for each object O are provided.
[0024]
FIG. 11 shows the range cut range Z1 in the up and down direction excluded by the range cut unit 24, and FIG. 12 shows the range cut range Z2 in the left and right direction. These range cut ranges Z1 and Z2 are Is detected based on the angle and the distance at that position. In FIG. 12, F is the road surface of the vehicle C, M is the white line on the road surface F that sets the vehicle lane on the road, F1 is the roadside belt installed on both sides of the road, and H is the implantation.
[0025]
As shown in FIG. 13, the 8-neighbor processing operation in the 8-neighbor processing unit 25 is the distance between eight adjacent regions R1 to R8 adjacent to the distance data of a certain region E (i, j). This is to determine the correlation of data, and is specifically performed as shown in FIG. That is, in the first step S1, distance data d (i, j) for each area E (i, j) divided into the number of lines n and the number of windows m is read, and in the next step S2, each area E (i, j, The number of valid points P (i, j) of j) is initialized as P (i, j) = 0. The effective point number P (i, j) is set in each area E (i, j). The larger the value, the higher the effectiveness of the distance data of the area, and it is determined that there is reliability and reliability. Is done. In the next step S3, the number of effective points to the regions (lattice points) at the positions of the left and right ends and the upper and lower ends of all the regions is increased, and the number of effective points P (i, j) is increased by +1 in the surrounding regions. In addition, the number of effective points P (i, j) is set to be increased by +2 respectively in the four corner areas. Thereafter, in step S4, it is determined whether or not to perform adjacent point processing. If this determination is NO, after the effective point number P (i, j) is set to P (i, j) = 8 in step S11. While the process proceeds to step S12, when the determination is YES, the process proceeds to step S5.
[0026]
The determination as to whether or not to perform adjacent point processing in step S4 is, for example, determining whether or not a reference distance value determined in advance for each line position is greater than a predetermined value, and the reference distance value is a predetermined value. If the reference distance value is not greater than the predetermined value, the adjacent point process is performed (proceed to in step S5).
[0027]
In step S5, a distance threshold value d0 is set. This distance threshold value d0 is for determining the number of granted points p, and is set to a constant, for example.
[0028]
After step S5, the process proceeds to step S6 to read the distance data d (Ri) of the adjacent area Ri, and in the next step S7, the distance difference dx = | d (i, j) between the area E and the adjacent areas R1 to R8. -D (Ri) | is calculated. Thereafter, in step S8, it is determined whether or not the distance difference dx is smaller than the distance threshold value d0. When this determination is NO, the process proceeds to step S12. When the determination is YES, the process proceeds to step S9. The number of points p to be given is set.
[0029]
After such step S9, in step S10, the number of valid points P (i, j) = P (i, j) is added to the number of valid points P (i, j) so far by adding the number p of given points. ) + P is set, and the process proceeds to step S12. In this step S12, it is determined whether or not the processing in steps S6 to S10 has been completed for each of the eight adjacent regions R1 to R8. If this determination is NO, the process returns to step S6, and other remaining adjacent regions are determined. Similar processing is performed. On the other hand, if the determination is YES, the process proceeds to step S13, and it is determined whether or not the setting of the number of valid points P (i, j) for all the areas E, E,. To do. When this determination is NO, the process returns to step S4, and the setting of the valid point number P (i, j) is repeated for the other area E. On the other hand, if the determination is YES, the process proceeds to a distance calculation process (see FIG. 16) for each next line.
[0030]
FIG. 16 shows the processing operation in the line distance calculation unit 26, and for each line based on the effective point number P (i, j) set by the 8-adjacent point processing unit 25 (effective point number giving means). Each distance is calculated.
[0031]
First, in step T1, the distance data d (i, j) for each region E divided into the number of lines n and the number of windows m is read, and the number of effective points P for each region E given by the above-described 8-neighbor point processing. (I, j) is read, and in the next step T2, the line representative effective point number PI (i) is initialized to PI (i) = 0. The line representative effective point number PI (i) is set for the line when calculating the distance for each line. The larger this value, the higher the effectiveness of the distance data of the line, and the more reliable and reliable. It is judged.
[0032]
In the next step T3, a line representative threshold value P0 corresponding to the line representative effective point number PI (i) is set. The line representative threshold value P0 in step T3 is set to a constant value, for example.
[0033]
After step T3, the process proceeds to step T4, where it is determined whether or not the effective point number P (i, j) for each region is larger than the line representative threshold value P0. If this determination is NO, the process directly proceeds to step T6. If the determination is YES, in step T5, the representative distance l (i) for each line is updated for averaging, and the number of effective line representative points PI. After updating the line representative effective point number PI (i) by adding the effective point number P (i, j) for each region to (i), the process proceeds to step T6. In other words, the line distance calculation unit 26 performs the distance calculation for each line in an area where the effective point number P (i, j) given and set by the 8 adjacent point processing unit 25 is larger than the line representative threshold value P0. ing.
[0034]
The representative distance l (i) for each line is updated by the following formula.

[0035]
In step T6, it is determined whether or not all window numbers (area E) of the line have been completed, and steps T3 to T5 are repeated for each area E of the line until this determination is YES. If the determination in step T6 is YES, the process proceeds to step T7, where it is determined whether all line numbers have been completed, and steps T2 to T6 are repeated until this determination is YES. If the determination in step T7 is YES, the process proceeds to the next object recognition process (see FIG. 17).
[0036]
FIG. 17 shows a processing operation in the object recognition unit 20 in the controller 15. The object recognition unit 20 recognizes the object O based on the representative distance l (i) for each line calculated by the line distance calculation unit 26. To do. That is, the object number k is set in step W1, and in step W2, the object detection distance (distance to the object O) L (k), the object effective point number PK (k), and the data number N (k) in the object are set. Both are set to 0 and the primary storage data set is reset.
[0037]
In the next step W3, it is determined whether or not valid unregistered line data is registered. If this determination is NO, the process proceeds to step W8. When the determination in step W3 is YES, in step W4, the front / rear position XD (i) and the lateral position YD (i) of the line data are set. Thereafter, in step W5, it is determined whether or not the object detection distance L (k) has already been defined. If this determination is NO, the process proceeds to step W6, where the object detection distance L (k) is set to L ( k) = XD (i), the number of object effective points PK (k) is set to PK (k) = PI (i), and the number of data in the object N (k) is set to N (k) = 1. After the primary storage data set is set, the process proceeds to step W8.
[0038]
On the other hand, when the determination in step W5 is YES, the process proceeds to step W7, and the object detection distance L (k) is set to L (k) = {PK (k) × L (i) + P (i) × XD (i). } / {PK (k) + P (i)}, the number of effective object points PK (k) is set to PK (k) = PK (k) + PI (i), and the number of data in the object N (k) is also set. After setting the N (k) = N (k) +1 and updating the primary storage data set, the process proceeds to Step W8.
[0039]
In step W8, it is determined whether or not all line numbers have been completed, and steps W3 to W7 are repeated until this determination is YES. If the determination in step W8 is YES, it is determined in step W9 to W11 whether the object O can be registered. First, in step W9, it is determined whether the number of data N (k) in the object is greater than or equal to a predetermined value. The predetermined value can be variably set so as to decrease as the distance increases. If the determination in step W9 is NO, it is assumed that the distance data is due to noise or the like, the object O is not registered in step W10, the object data of the object number k is initialized, and the process ends. To do. On the other hand, when the determination in step W9 is YES, the process ends after registering the object O in step W11. That is, the object recognizing unit 20 determines that the object corresponding to the distance for each line is a new object only when the distance data number N (k) for each line calculated by the line distance calculating unit 26 is equal to or greater than a predetermined value. Register as
[0040]
After the processing operation by the object recognition unit 20, display processing for displaying an object on the display device 31 and alarm processing for alarming by the alarm device 32 are performed.
[0041]
The above-described series of processing operations are repeatedly performed every predetermined time (one sampling time). As long as the object O once recognized is within a range in which each CCD chip 11 can be captured, the object selection unit 21 performs the above processing operation. Continue to capture while sorting with new objects. The selection of the recognized object O and the new object is performed by checking whether or not the difference between the representative distance for each line newly calculated by the line distance calculation unit 26 and the object detection distance of the recognized object O is smaller than a threshold value. When the difference is smaller than the threshold value, it is determined that the representative distance belongs to the recognized object O.
[0042]
FIG. 18 shows an object selection processing operation in the object selection unit 21. This processing operation is performed when the object recognition unit 20 recognizes a plurality of objects O, O,. This is for determining whether the representative distance for each line newly calculated by H.26 belongs to any one of the recognized objects O, O,... To do.
[0043]
That is, the object detection distance L (k) of the number K of objects is read in step X1, and in step X2, the object numbers k (1 to K) are set to Sb (1), Sb (2),..., Sb (K). In the following steps X3 to X8, processing is performed for each object in the order of Sb (1), Sb (2),..., Sb (K).
[0044]
After reading the representative distance l (i) of the number n of lines newly calculated in the next step X3, a flag Line_f (i) indicating whether the representative distance l (i) is valid or invalid is 1 (valid) in step X4. ) Or not. When this determination is YES, the process proceeds to step X5 to determine whether or not the difference between the representative distance l (i) and the object detection distance L (Sb (k)) of the recognized object O is smaller than the threshold value C. . This threshold value C may be a constant value regardless of the recognized object O, and may be variable for each recognized object O, for example, according to the object detection distance. When the determination in step X5 is YES, the process proceeds to step X6, the flag Line_f (i) is set to 0 (invalid), and a new representative distance l is calculated for the calculation of a new object detection distance L (Sb (k)) in step X7. After performing the object recognition process so as to reflect (i), the process proceeds to step X8. On the other hand, when the determinations at steps X4 and X5 are NO, the process proceeds to step X8.
[0045]
In step X8, it is determined whether or not all line numbers have been completed, and steps X4 to X7 are repeated for each line until this determination is YES. If the determination in step X8 is YES, the process proceeds to step X9, where it is determined whether or not all Sb (K) have been completed, and steps X3 to X8 are repeated until this determination is YES. When the determination in step X9 is YES, the display process and alarm process are performed again.
[0046]
Therefore, in the first embodiment, when an image is captured as luminance information by the left and right rear

side detection sensors

10 and 10, first, in each distance measuring circuit 16 of the controller 15, the image of each detection sensor 10 is displayed as a line row and a window. The distance d (i, j) is measured for each region E divided in each direction. Next, the number of effective points of the distance data for each region E based on the distance d (i, j) measured for each region E and the difference dx between the distances of the adjacent regions R1 to R8 in the 8 adjacent point processing unit 25. P (i, j) is given, the line distance calculation unit 26 calculates the representative distance l (i) for each line based on the number of effective points P (i, j), and the object recognition unit 20 performs the line distance calculation unit. The object O is recognized from the representative distance l (i) for each line calculated by 26, and the object detection distance L (k) is calculated. Thus, the effectiveness of the distance data for each region E is determined as the effective point number P (i, j) from the relationship with the adjacent regions R1 to R8, and based on this effective point number P (i, j). Since the representative distance l (i) for each line is obtained and the object O is recognized from the representative distance l (i), even if there are variations in distance measurement data, noise, etc., the influence is reduced as much as possible. Therefore, it is possible to calculate the distance with high accuracy and perform accurate object recognition.
[0047]
Then, as shown in FIG. 19, for example, when the object recognition unit 20 recognizes the short distance side object Oa and the long distance side object Ob, at the next sampling, the object selection unit 21 performs the line distance calculation unit. It is determined whether or not the representative distance for each line newly calculated in step 26 belongs to one of the recognized objects Oa and Ob. At this time, as shown in FIG. 20, when the two recognition objects Oa and Ob move so as to overlap in the detection direction of the detection sensor 10, if the determination is made first from the long-distance object Ob, a new calculation is performed. If the difference between the representative distance and the representative distance of the long-distance object Ob is smaller than the threshold C even though most of the representative distances for each line belong to the short-distance object Oa, the long-distance side It will be judged that it belongs to the object Ob. As a result, since the object detection distance is newly calculated as the long-distance object Ob based on the representative distance, it is mistaken that the long-distance object Ob has approached rapidly.
[0048]
However, in the first embodiment, when determining whether the newly calculated representative distance for each line belongs to one of the recognized objects Oa and Ob, the determination is performed first from the recognized object Oa having the smaller object detection distance. Even when the two recognition objects Oa and Ob overlap in the detection direction of the detection sensor 10, the newly calculated representative distance for each line is determined to belong to the short distance side object Oa as is actually the case. For this reason, the representative distance of the short distance side object Oa is not determined to belong to the long distance side object Ob. Therefore, it can prevent misidentifying that the long distance object Ob approached rapidly.
[0049]
Further, since the object recognition unit 20 is configured to output a signal such as an alarm based on the recognition result of the object O, the object recognition unit 20 can easily know the recognition object O, and the long-distance object Ob suddenly increases. It is not necessary to perform an unnecessary alarm or the like by misjudging that the vehicle has approached.
[0050]
(Embodiment 2)
FIG. 21 shows a processing operation in the object selection unit 21 according to the second embodiment of the present invention. It is determined whether or not the newly calculated representative distance for each line belongs to any of the plurality of recognized objects O, O. As in the first embodiment, a determination is made from an object having a small object detection distance, and the threshold value of the difference between the representative distance for the determination and the object detection distance is set to the newly calculated representative distance for each line. It can be made variable according to the detection situation. Specifically, when the newly calculated representative distance for each line is between the object detection distances of two adjacent recognition objects O and O, the one belonging to one of the two recognition objects O and O Therefore, basically, it is determined to belong to a recognized object having an object detection distance closer to the representative distance. 21 shows a case where the newly calculated representative distance for each line is between the object detection distances of two adjacent recognition objects O, O, and the two adjacent recognition objects O, The object numbers of O are 1 and 2, respectively.
[0051]
That is, first, after the number of data N (1) and N (2) in the object is reset to 0 in step Y1, it is determined in step Y2 whether or not the registration flag F (i) of the line is 0. The registration flag F (i) is set to 1 when it is determined that the representative distance of the line belongs to any object, and is set to 0 when it is not determined whether it belongs to any object. When this determination is NO, the process proceeds to Step Y11. When the determination in step Y2 is YES, after proceeding to step Y3, the difference between the newly calculated representative distance l (i) and each object detection distance L (1), L (2) is set to dX1, dX2, respectively. In step Y4, it is determined whether dX1 is larger than a · dX2 (a> 1). When the determination in step Y4 is YES, the process proceeds to step Y5, where it is determined that the detected distance l (i) of the line belongs to the object whose object number is 2, and the flag F (i) is set to 1, and The value obtained by adding 1 to the number of data N (2) in the object is set as new N (2), and the process proceeds to step Y11. On the other hand, when the determination in step Y4 is NO, the process proceeds to step Y6 to determine whether dX2 is larger than a · dX1.
[0052]
When the determination in step Y6 is YES, the process proceeds to step Y7, where it is determined that the representative distance l (i) of the line belongs to the object having the object number 1, the flag F (i) is set to 1, and The value obtained by adding 1 to the number of data N (1) in the object is set as new N (1), and the process proceeds to step Y11. On the other hand, when the determination in step Y6 is NO, the process proceeds to step Y8. That is, in steps Y4 and Y6, in order to reliably determine which object the representative distance l (i) belongs to, a constant larger than 1 is used without simply comparing the magnitudes of dX1 and dX2. Judgment is made based on whether the value is greater than the value multiplied by a.
[0053]
When it is not possible to determine which object the representative distance l (i) belongs to in steps Y4 and Y6, the number of data N (1) in the object determined to belong to either object in the steps Y4 and Y6 , N (2) belongs to the object on the side with more. That is, in step Y8, it is determined whether N (1) is greater than N (2). If this determination is YES, the process proceeds to step Y7. If NO, the process proceeds to step Y9, and N (1). Is smaller than N (2). When the determination at step Y9 is YES, the process proceeds to step Y5. When the determination is NO, the process proceeds to step Y10.
[0054]
In steps Y8 and Y9, if it cannot be determined which object the representative distance l (i) belongs to, that is, if N (1) = N (2), dX1 and dX2 obtained in step Y3 Compare the size of. That is, it is determined whether or not dX1 is smaller than dX2 at step Y10. When this determination is YES, the process proceeds to step Y7, and when NO, the process proceeds to step Y5.
[0055]
In step Y11 after step Y5 or step Y7, it is determined whether or not all line numbers have been completed, and steps Y2 to Y10 are repeated for each line until this determination is YES. If the determination in step Y11 is YES, for each object that is determined to have a representative distance, the object recognition process is performed based on the representative distance, and a new object detection distance is calculated.
[0056]
If it is not possible to determine which object the representative distance l (i) belongs to in steps Y4 and Y6 (when the determination in step Y6 is NO), instead of steps Y8 to Y10, as shown in FIG. Alternatively, the magnitudes of the object detection distances L (1) and L (2) may be determined and belong to the object having the smaller distance (the object on the short distance side). That is, when the determination of L (1)> L (2) is YES, the process proceeds to step Y5, whereas when NO, the process proceeds to step Y7.
[0057]
Therefore, in the second embodiment, the threshold value of the difference between the representative distance and the object detection distance for determining whether or not the newly calculated representative distance for each line belongs to the plurality of recognized objects O, O. Is variable according to the newly calculated representative distance detection state for each line, and the newly calculated representative distance for each line is between the object detection distances of two adjacent recognition objects O and O. In some cases, it is basically determined that the object belongs to a recognized object that has an object detection distance closer to the representative distance. Therefore, in any situation, the newly calculated representative distance is assigned to any recognized object. It can be determined flexibly and reliably whether it belongs or not.
[0058]
【The invention's effect】
As described above, according to the first aspect of the present invention, the image of the multi-stage line type CCD is divided into a plurality of lines for each line and in the window direction, and the distance is measured for each area at a predetermined time. Recognize an object by calculating a representative distance for each line based on distance data, and when recognizing a plurality of objects, the newly calculated representative distance for each line belongs to one of the recognized objects Whether or not there are variations in distance measurement data, noise, etc. can be reduced as much as possible by determining whether or not the object with the short distance to the recognized object first. Thus, it is possible to perform accurate object recognition and to prevent erroneous recognition that an object on a long distance side suddenly approaches.
[0059]
According to the invention of claim 2, when the difference between the newly calculated representative distance for each line and the distance to the recognized object is smaller than the threshold value, it is determined that the representative distance belongs to the recognized object. Since the threshold value is variable according to the newly calculated representative distance detection status for each line, whether the representative distance belongs to any recognized object in any situation. Judgment can be made flexibly and reliably.
[0060]
According to the invention of claim 3, by outputting a signal such as an alarm based on the recognition result of the object, it is possible to easily know the recognized object, and it is erroneously assumed that the object on the far side has approached rapidly. Judgment and unnecessary warnings can be avoided.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of the present invention.
FIG. 2 is a perspective view showing positions of components of the object recognition device according to the first embodiment of the present invention on a vehicle.
FIG. 3 is a block diagram showing a schematic configuration of an object recognition apparatus.
FIG. 4 is a block diagram illustrating a detailed configuration of the object recognition apparatus.
FIG. 5 is a side view showing a concept of ranging an object by a detection sensor.
FIG. 6 is a diagram showing an image captured by a CCD chip.
FIG. 7 is a diagram showing a concept of dividing an area by dividing a line in an image captured by a CCD chip in a window direction.
FIG. 8 is an explanatory diagram showing a state in which images obtained by upper and lower CCD chips are shifted on the same line and parallax occurs.
FIG. 9 is a diagram showing the principle of measuring the distance to an object using upper and lower CCD chips.
FIG. 10 is a plan view showing a ranging direction of a CCD line in an image obtained by a CCD chip.
FIG. 11 is a side view showing a range cut region in the vertical direction.
FIG. 12 is a plan view showing a range cut region in the horizontal direction.
FIG. 13 is a diagram illustrating an arrangement of eight adjacent regions adjacent to a region.
FIG. 14 is a diagram illustrating a specific example from 8 adjacent point processing to distance calculation for each line.
FIG. 15 is a flowchart showing an 8-adjacent point processing operation;
FIG. 16 is a flowchart showing a distance calculation processing operation for each line.
FIG. 17 is a flowchart showing an object recognition processing operation;
FIG. 18 is a flowchart showing an object selection processing operation.
FIG. 19 is a diagram illustrating an example of detection of a short-distance object and a long-distance object.
FIG. 20 is a diagram illustrating a case where a short-distance object and a long-distance object overlap in the detection direction of the detection sensor.
FIG. 21 is a view corresponding to FIG. 18 showing the second embodiment.
FIG. 22 is a flowchart showing a modification of FIG.
[Explanation of symbols]
C vehicle 10 rear side detection sensor 11 CCD chip 15 controller 16 distance measuring circuit (ranging means)
20 Object recognition unit (object recognition means)
21 Object selection unit (object selection means)
25 8 Adjacent point processing section 26 Line distance calculation section (line distance calculation means)
31 Display device 32 Alarm device E, E (i, j) Area R1 to R8 Adjacent area d (i, j) Measuring distance dx Distance difference P (i, j) Effective area number l (i) Line representative distance L (k) Object detection distance O Object O 'Object image

Claims

A multi-stage line-type CCD that captures an image as luminance information by arranging CCD lines composed of a number of CCDs arranged along the window direction in multiple stages in a line row direction perpendicular to the window direction is provided at predetermined time intervals. An object recognition device configured to recognize a specific object from two-dimensional distance data obtained based on a luminance signal from a multistage line CCD,
Ranging means for measuring the distance for each region by dividing the image obtained by the multi-stage line type CCD into a plurality for each CCD line and in the window direction;
Line distance calculating means for calculating the representative distance for each line based on the distance for each area measured by the distance measuring means;
Object recognition means for recognizing an object based on the representative distance for each line calculated by the line distance calculation means;
When recognizing a plurality of objects by the object recognition means, whether or not the representative distance for each line newly calculated by the line distance calculation means belongs to any of the recognition objects. An object recognition apparatus comprising: an object selection unit that first determines an object having a small distance.

The object recognition device according to claim 1,
The object selecting means is configured to determine that the representative distance belongs to the recognized object when the difference between the newly calculated representative distance for each line and the distance to the recognized object is smaller than a threshold value. ,
The object recognition apparatus according to claim 1, wherein the threshold value is variable according to a newly calculated representative distance detection state for each line.

The object recognition apparatus according to claim 1 or 2,
The object recognition device, wherein the object recognition means is configured to output a signal such as an alarm based on the recognition result of the object.