JP3669205B2 - Obstacle recognition device - Google Patents
Obstacle recognition device Download PDFInfo
- Publication number
- JP3669205B2 JP3669205B2 JP13544599A JP13544599A JP3669205B2 JP 3669205 B2 JP3669205 B2 JP 3669205B2 JP 13544599 A JP13544599 A JP 13544599A JP 13544599 A JP13544599 A JP 13544599A JP 3669205 B2 JP3669205 B2 JP 3669205B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- measurement
- value
- voting
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
【0001】
【発明の属する技術分野】
この発明は、種類の異なる2種類の測距手段、例えばステレオ画像処理による測距装置とレーザレンジファインダ等の測距装置との両方を用いた障害物認識装置に関し、車両等の走行方向に存在する障害物を認識する技術に関するものである。
【0002】
【従来の技術】
従来の車両用障害物検知装置としては、電子式カメラで撮像した車両前方の画像を画像処理することによって障害物を検出する装置、或いはレーザレンジファインダ、スキャンニングレーザレーダのような光を用いるか、ミリ波レーダのように電波を用いて前方の障害物を検知する装置が提案されている。
【0003】
また、種類の異なる2種類の測距装置、例えば画像処理による測距装置とそれ以外の測距装置とを組み合わせた障害物検知装置としては、例えば、特開平8−329393号公報に記載されたものがある。この装置は、1個のカメラで撮像した画像による単眼画像処理を行なう装置とレーザレーダとを組み合わせたものであり、単眼画像処理で先行車の存在する領域を求め、その存在領域方向から反射されたレーザレーダの測距数値を先行車までの車間距離とするものである。
【0004】
【発明が解決しようとする課題】
前記の各種測距装置において、電子式カメラによる画像処理では、人や立木のような反射の少ない物体でも検出することが出来、かつ分解能が高精細であるという利点があるが、霧中や夜間等のように画像のコントラストが低くなる状況では計測が困難である。また、レーザレーダ等のように光の反射を利用する装置では、夜間でも使用可能であり、分解能も高いが、濃い霧や雨天時には使用困難であり、かつ人や立木のような反射の少ない物体の検出にはあまり適していない。また、ミリ波レーダのように電波を利用する装置では、濃霧、雨中や夜間でも使用可能であるが、距離や横方向の分解能が粗いので検出した物体の識別等には不適である。このように従来の測距装置を単体で用いた障害物検知装置においては、それぞれ一長一短があり、全ての状況において十分な効果を上げることは困難であった。
【0005】
また、前記特開平8−329393号公報に記載されたように、2種類の測距装置を組み合わせた障害物検知装置も提案されているが、この装置では、画像処理で先行車の存在する領域を求め、その存在領域方向から反射されたレーザレーダの測距数値を車間距離とするので、画像処理が適用出来ない霧中や夜間では車間距離計測が不可能になる。また、雨中や暗い服の人などのようにレーザレーダの不適な環境では距離計測が困難である。つまり、前記公報に記載の装置は画像処理とレーザレーダの両方が十分機能出来る状態でなければ障害物の検知と測距が出来ないものであり、前記のように従来の測距装置を単体で用いた障害物検知装置における問題点を解消するものではなかった。
【0006】
本発明は上記のごとき従来技術の問題を解決するためになされたものであり、測距装置の種類に応じた欠点を補い、より広範囲の状況下で障害物認識の確実性を向上させた障害物認識装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記の目的を達成するため、本発明においては特許請求の範囲に記載するように構成している。すなわち、請求項1に記載の発明においては、車両に搭載され、走行方向に対して垂直で路面に平行な1次元方向または走行方向に垂直な2次元平面に対して計測処理を行なうことにより、前方に存在する物体を検知する、測定原理の異なる少なくとも2種類の測距手段と、z軸方向が自車両からの距離、x軸方向が路面に平行で走行方向を基準とした位置、y軸方向が投票値を示す表と、前記少なくとも2種類の測距手段でそれぞれ計測した結果に基づいて、物体が検知された前記表の該当するそれぞれの位置に投票する投票手段と、前記投票手段による投票結果から、表中の投票値が所定のしきい値以上の個所を探索し、その個所に物体が存在すると判断する判断手段と、を備え、それぞれの測距手段における物体が検知された計測値を加算した結果に基づいて物体の存在を判断するように構成している。
【0008】
上記のように本発明においては、測定原理の異なる少なくとも2種類の測距手段を用い、かつ、それぞれの測定結果に基づいて該当する距離と横位置の個所にそれぞれ投票し、その加算された結果を用いて物体の存在と位置(距離と方向)とを判断するように構成しているので、少なくとも何れか一方の測距手段が計測可能であれば、物体の存在と位置とを検知することが出来る。したがって2種類の測距手段の一方が計測困難な状況下でも正確な計測、判別が可能になる。また、両方の測距手段が多少計測困難な状況でも、両者の結果を合わせることにより、1種の測距手段を用いる場合よりも正確な判断が可能である。
【0009】
また、請求項2に記載の発明においては、少なくとも2種類の測距手段の1つとして、光軸が相互に平行で、かつ走行方向を向くように設置された2台の電子式カメラで撮像した画像をステレオ画像処理することにより、画像に設定した各領域毎に距離と輝度とを検出する画像処理手段を用い、他の1つとして、走行方向に対して垂直で路面に平行な1次元方向または走行方向に垂直な2次元平面に対してレーザ光で走査を行ない、走査方向または走査面の各領域ごとに距離と反射強度とを検出するレーザレーダを用いた測距手段を用いたものである。なお、上記レーザレーダを用いた測距手段とは、例えば1次元方向を走査するものとしてはスキャンニングレーザレーダ、2次元平面を走査するものとしてはレーザレンジファインダがある。
【0010】
上記のように、2種類の測距手段として、画像処理手段とレーザレーダを用いた測距手段という測距原理の全く異なる装置を用いているので、それぞれの特性に応じた状況下でそれぞれ正確な計測を行なうことが出来る。したがって両者の計測結果を加算した結果に基づいて判断することにより、より広い状況下で正確な判断を行なうことが出来る。
【0011】
また、請求項3に記載の発明においては、各測距手段の特性に応じて、その測距手段毎に周囲状況に応じた信頼性を求め、前記投票手段における投票値に、前記各測距手段毎にそれぞれの信頼性に応じた重み付けを行なうように構成している。例えば、前方の障害物の有無と位置が既知な状態で、様々な天候変化などの周囲環境の異なる状況下において、搭載した測距装置毎の計測信頼性を学習し、計測時の天候などの周囲環境に応じて、計測の信頼性の高い測距手段の測定結果には重みを大きくし、信頼性が低い測距手段の測定結果には重みを小さくして表に投票するものである。これにより、天候などの周囲環境の変化に対して影響を受けにくくなる。
【0012】
また、請求項4に記載の発明においては、測定原理の異なる少なくとも2種類の測距手段の各計測結果に基づいたそれぞれの投票結果について、予め判明している物体についての投票結果と比較対照することにより、検出された物体の種類を認識するように構成している。例えば、測距手段として、ステレオ画像処理とレーザレーダを用いた場合では、それらの両方の装置において検知された角度の幅が共に狭く、かつステレオ画像処理では値が高いがレーザレーダでは反射強度が低い場合には人物や木と判断し、レーザレーダでは広い幅で高い投票値となり、ステレオ画像処理ではその両端が高く間が低い投票値となる場合には車両と判断するなどのように、投票値の分布の形状や反射強度に基づいて判断を行なうことにより、障害物の形状や種類を認識することが出来る。これにより、1種類の測距手段では検知不可能な物体でも、2種類の測距手段を用いることによって、広い状況下で正確な認識が可能となる。
【0013】
また、請求項5に記載の発明においては、画像処理手段で求めた距離に基づいた表への投票結果において、物体を計測した位置の投票分布の幅が狭い領域については、ステレオ画像処理の計測結果に基づいた投票値の重みを他の領域または通常値よりも大きくするように構成している。すなわち、横幅の狭い物体が検知された場合は、その物体は人物など車両以外の縦長の物体である可能性が高く、かつ、路面上の縦長の物体はテクスチャ(表面の模様等)はあるが反射面を持たないのでステレオ画像処理に適した物体である確率が高いことから、ステレオ画像処理で求めた結果に大きな重みを付けて投票するものとした。
【0014】
また、請求項6に記載の発明においては、ステレオ画像処理で求めた画像のコントラスト(輝度分散)が低いときには信頼性が低いことから、画像のコントラストが低い領域では、重みを小さくするか、若しくはステレオ画像処理以外の測距手段の結果に重みを付けて表に投票するものとした。これにより、ステレオ画像処理が原因の誤計測を防ぐことができるので、霧、夜間などステレオ画像処理では計測不可能な環境下でも、他の測距手段の結果を活用することによって障害物の検知・計測が可能となる。
【0015】
また、請求項7に記載の発明においては、スキャニングレーザレーダやレーザレンジファインダなどのようなレーザ光の反射時間の測定を利用した測距手段を用いた構成において、レーザ光の反射強度が低いときにはその位置での測定値の信頼性は低いことから、その位置での計測結果を表へ投票する際に、重みを減らした値を投票するものとした。これにより、レーザレーダよる距離計測が原因の誤計測を防ぐことができる。さらに、他方の測距手段がステレオ画像処理装置などのカメラを用いた測定装置である場合は、前方物体が反射面を持たない物体である場合も計測が可能であるため、上記のようにレーザレーダよる計測結果への重みを小さくすることにより、ステレオ画像処理の計測にレーザレーダの誤計測が悪影響を及ぼすことなく前方の測定が可能となる。
【0016】
また、請求項8に記載の発明においては、測定原理の異なる少なくとも2種類の測距手段の1つとしてミリ波レーダを用いた構成において、ミリ波レーダは霧や反射物体のない暗闇など、カメラやレーザレーダでは計測が困難な悪天候、悪環境下での測定が可能なことから、他の計測装置では測定が困難な悪環境化ではミリ波レーダでの計測結果に基づいた投票値に重みを付ける。また、ミリ波レーダは、悪天候化に強い一方でレーザレーダやステレオ画像処理など他の測距手段と比べて距離および路面に平行な横方向の測定精度が粗いことが多いことから、好天候下ではミリ波レーダでの計測値に基づいた投票値の重みを小さくする。このような投票方法により、悪天候に強く、かつ、好天候下では、分解能の粗い測定に影響されることなく高精度な測定が可能となる。なお、測距手段の一つしてミリ波レーダを用いる場合としては、例えば、画像処理手段とミリ波レーダとの組み合わせ、レーザレーダを用いた測距手段とミリ波レーダとの組み合わせ、および画像処理手段とレーザレーダを用いた測距手段とミリ波レーダとの組み合わせが考えられる。
【0017】
【発明の効果】
本発明においては、測定原理の異なる少なくとも2種類の測距手段を用い、かつ、それぞれの測定結果に基づいて該当する距離と横位置の個所にそれぞれ投票し、その加算された結果を用いて物体の存在と位置とを判断するように構成しているので、少なくとも何れか一方の測距手段が計測可能であれば、物体の存在と位置とを検知することが出来る。したがって2種類の測距手段の一方が計測困難な状況下でも正確な計測、判別が可能になる。また、両方の測距手段が多少計測困難な状況でも、両者の結果を合わせることにより、1種の測距手段を用いる場合よりも正確な判断が可能である。したがって従来よりも広い状況下で障害物認識の確実性を向上させることが出来る。
【0018】
また、請求項2においては、2種類の測距手段として、画像処理手段とレーザレーダを用いた測距手段という測距原理の全く異なる装置を用いているので、それぞれの特性に応じた状況下でそれぞれ正確な計測を行なうことが出来る。したがって両者の計測結果を加算した結果に基づいて判断することにより、より広い状況下で正確な判断を行なうことが出来る。
【0019】
また、請求項3においては、計測時の状況下で信頼性の高い測距手段での計測結果に重みを付けた値を投票することにより、信頼性の高い計測結果が表への投票に大きく影響するため、車両の搭載した装置のうちいずれか一つが計測可能な環境であれば、前方の物体の正確な検知・計測が可能となる。また、誤計測値の投票値の割合が減るため、測距手段のうちで誤計測した装置がある場合でも、他の装置の計測結果が活かされ、正確な計測が行われるようになり、全体として天候など周囲環境の影響を受け難いロバストな計測が可能となる。
【0020】
また、請求項4においては、測距手段の特性に応じて投票値の分布の形状に異なる特徴が表れることから、投票パターンの形状を学習し、投票値の分布形状を用いた種類別のパターンマッチングを行なうことで、前方の物体の形状および種類の認識が可能となる。また、一方の測距手段では計測不可能な物体であっても、他方の測距手段で計測可能な物体であれば、一方では計測不可能で、他方では計測可能という一つのパターンの特徴が現われるので、一方の装置で計測が不可能な物体でも物体の認識が可能となり、さらに、その計測が不可能という情報も物体認識の有効な情報として使えるため、より幅広くかつ確実な物体認識が可能となる。
【0021】
また、請求項5においては、物体を計測した位置の投票分布の幅が狭い領域については、ステレオ画像処理の計測結果に基づいた投票値の重みを大きくすることにより、レーザレーダなどのように反射面を持たない物体への計測が不安定な測距手段と組み合わせた場合でも、反射面を持たない物体に対する計測が確実であるステレオ画像処理の計測が表への投票に大きく影響するため、より確実な距離測定が可能となる。
【0022】
また、請求項6においては、ステレオ画像処理で輝度分散が低い領域では重みを小さくしたことにより、ステレオ画像処理が原因での誤計測を防ぐことができ、ロバストな計測が可能となる。
【0023】
また、請求項7においては、レーザ光の反射時間を利用した計測装置においては、反射強度の低い部分での計測結果の信頼性が低いことから、反射強度の低い部分での計測値は重みを小さくする構成としたことにより、レーザ光の反射を利用した測距手段が原因での誤計測を防ぐことができ、ロバストな計測が可能となる。
【0024】
また、請求項8においては、測距手段の一つをミリ波レーダとした場合において、他の測距手段では計測が困難な悪天候下では、ミリ波レーダでの計測結果に基づいた投票値に重みを大きくし、他の測距手段でも計測可能な好環境下では、ミリ波レーダでの計測結果に基づいた投票値の重みを小さくする構成としたことにより、悪天候下でも計測が可能となり、好天候下では、ミリ波レーダの横分解能の粗さによる悪影響を及ぼされることなく、横方向の分解能の細かい他の測距手段の計測に基づいた高精度な測定が維持可能となる。
【0025】
【発明の実施の形態】
以下、この発明を図面に基づいて説明する。
図1は本発明の実施の形態の構成を示すブロック図であり、測距装置として2台の電子式カメラによるステレオ画像処理とレーザレーダを用いた測距装置とを用いた場合を例示する。
図1において、1および2は電子式のカメラであり、自車の前部に前方を向いて設置されており、両カメラの光軸は相互に平行で、かつ撮像面の垂直軸が同じライン上に揃うように設置されている。なお、撮像面の水平軸が同じライン上に揃うように設置してもよい。3、4はそれぞれカメラ1、2から入力した画像信号を記憶する画像メモリである。5は演算部であり、例えばCPU、RAM、ROM等からなるマイクロコンピュータで構成される。6は自車の前方に存在する障害物等の検出対象物であり、図1では先行車を例示している。また、7はレーザレーダを用いた測距装置であり、例えばスキャンニングレーザレーダまたはレーザレンジファインダであり、自車の前部に前方を向いて設置されている。スキャンニングレーザレーダはレーザレーダの照射を水平方向に走査することで、前方の物体までの距離とその照射対象の反射強度(輝度)を1次元に計測する装置であり、レーザレンジファインダは、レーザレーダの照射を縦および横に走査することで、前方の物体までの距離とその照射対象の反射強度(輝度)を2次元的に計測する装置である。また、8はスキャンニングレーザレーダやレーザレンジファインダから入力した画像信号を記憶する画像メモリであり、距離画像と輝度画像(反射強度)を記憶する。なお、カメラ1、2とスキャンニングレーザレーダやレーザレンジファインダ7を車両の後部に後方を向けて設置し、車両後方の障害物を検出するように構成することもできる。また、7としては上記のようなレーザ光を用いる装置の他に、電波を放射するミリ波レーダ等を用いることも出来る。
【0026】
以下、まずこの実施の形態に用いる種々の演算手段と方法について説明し、それからフローチャートに基づいて全体の演算の流れを説明する。
図2は、ステレオ画像を用いて三角測量の原理でカメラから検出対象までの距離を求める原理を説明する図である。図2においては、カメラA(前記カメラ1に相当)で撮像した画像を画像A、カメラB(前記カメラ2に相当)で撮像した画像を画像Bで示し、検出対象の位置を点p(x,y,z)としている。
【0027】
図2から判るように、焦点距離f、眼間距離(両カメラ間の距離)Dが既知であり、光軸が互いに平行な2台のカメラA、Bで撮像したステレオ画像において、2枚の画像間のマッチング位置ya、ybを求めることできれば、カメラから対象物pまでの距離zは下記(数1)式より求めることができる。
【0028】
z=f・D/(ya−yb)=f・D/S …(数1)
ただし、ya−yb=Sは視差であり、図2のように、光軸が平行で、所定間隔を隔てて設置された二つのカメラA、Bで一つの物体を撮像した場合に、それぞれのカメラに写った画像の位置の差、すなわち画像Aにおける位置yaと画像Bにおける位置ybとの差である。なお、この例では、眼間距離Dと距離zの単位はm、焦点距離f、視差Sおよび位置ya、ybの単位は画素である。例えばカメラA、BはCCDを用いたものであり、画素数を640×480とした場合、1画素の大きさは10μm程度である。
【0029】
上記(数1)式は、両カメラの光軸が相互に平行で、かつ撮像面の垂直軸が同じライン上に揃うように設置した場合であるが、撮像面の水平軸が同じライン上に揃うように設置した場合には、下記(数1')式に示すようになる。
z=f・D/(xa−xb)=f・D/S …(数1')
ただし、xa−xb=Sは視差
なお、以後の説明は全て撮像面の垂直軸が同じライン上に揃うように設置した場合を例として説明する。
【0030】
上記の視差Sを検出するには、一方の画像(例えば画像A)上において点pが撮像されている点(xa、ya)に対応する他方の画像(例えば画像B)上の点(xb、yb)を検出する必要がある。その方法としては、画像A上の点(xa、ya)を含む或る範囲の画像(ウィンドウ)と最も類似した範囲を画像B内から探すことで求めることができる。この類似度の算出には、画像間の差分法や正規化相関法などがある。そして距離画像(ウィンドウ毎にその内部に撮像される物体までの視差を求めた画像)は、定義した全てのウィンドウにおいて差分法や正規化相関法により、他方と類似度の高いウィンドウが存在する位置を求めることで作成できる。
【0031】
図3は、両画像の対応する位置毎の視差を求めた結果を示す図であり、詳しくは、道路前方を撮像した画像において、一方の画像(例えば画像B)をウィンドウ毎に切り、その全てのウィンドウにおいて他方の画像(例えば画像A)からそのウィンドウと最も類似度の高い画像の位置を求めることで、両画像における対応する位置を検出し、それぞれの対応する位置から各ウィンドウ毎の視差を求めた結果を表したものである。図3において、(A)は下画像(画像Aに相当)、(B)は上画像(画像Bに相当)、(C)は視差の表、(D)は視差が「15」のウィンドウ部分のみを抜き出した画像、(E)は先行車の存在しない路面の画像を示す。また、図3(B)、(C)の(1)〜(20)は各ウィンドウの水平方向(以下、横方向と記す)の位置を示す。ただし、図においては(1)〜(20)を丸付き数字で表している。また、一つのウィンドウは幅(x方向の長さ)がxw、高さ(y方向の長さ)がywである。
上記のように、各ウィンドウ毎の視差が判れば、前記(数1)式を用いることによって、該当するウィンドウに撮像されている物体までの距離を求めることが出来る。
【0032】
以下、図3(C)のようにウィンドウ毎にその内部に撮像されている物体までの視差を求めた画像を“距離画像”と呼ぶことにする。このウィンドウ毎に算出される視差は、当該ウィンドウの内部に撮像されていてエッジ(画像が明から暗または暗から明に変化する点が連続した部分で、画像の端などを示す線分に相当する)などの特徴的な部分を持つ物体までの距離に相当するから、一つの対象物が複数ウィンドウに跨って撮像されていると、隣接するウィンドウで同じ視差が求められる。例えば、道路前方を撮像した画像における距離画像の場合、先行車と、先行車が存在する真下の路面とは同距離なので、図3(D)に太線のウィンドウで示すように、先行車の下部と同じy座標上にあるウィンドウは先行車と同じ視差で算出される。例えば図3(C)の下から2行目に「15」が横方向に連続しているのが上記の部分に相当する。なお、図3(C)において、中央部分に視差「15」が集合している部分が先行車に相当し、(3)、(4)列に視差「19」が集合している部分が「左方の木」に相当し、(6)列に視差「5」が連続している部分が「中央の木」に相当する。また、図3(E)に示すように、先行車の存在しない路面を撮像した場合には、画像上のy座標とその位置に撮像される路面上の距離zは、画面の下から上に向けて徐々に遠距離となる。つまり画面の下部分には近い場所が撮像され、画面の上になるに従って遠くが撮像される。
【0033】
上記のように、距離画像は前方に高さのある物体が存在すると、その物体が撮像されているx座標位置のウィンドウでは同じ視差が検出される。一方、車両横にある白線部分のように路面などの高さを持たない位置では、同じx座標上で同じ視差が検出されるウィンドウは一つである。すなわち、前方に物体が存在する場合、同一x座標の方向でのウィンドウにおいて同じ視差の個数を数えることにより、物体を検知することができる。この方法によれば、複数の物体も一つの物体も同じ方法で検出することができ、検出対象や背景の色に左右されずに物体を検知できるようになる。また、白線や停止線などの路面表示は、同じ視差を示すウィンドウが同じ方向に現れないため、路面表示と高さをもつ障害物とを誤検出することがなくなるという利点もある。加えて、距離画像だけを利用しているため、検出対象の色や形状および背景色にかかわらず同様の処理で複数物体を検出できる。
【0034】
また、図4は、カメラ1および2で撮像したステレオ画像上に距離画像作成のために切った一つ一つの小領域の画像上の位置と、その領域内に撮像される実空間上の物体との位置関係を示した図であり、(A)は前方から見た斜視図、(B)は上方から見た平面図、(C)は側面図を示す。なお、(A)および(B)においてはカメラ1と2を一つで示している。
【0035】
図4において、画像上に定義した同じx座標上に並ぶ領域は、同じ方向を撮像したものである。例えば、画像上の中心から3番目の領域に撮像される物体(点P)は、光軸からの角度が約3×α(ただしαは領域1個分の水平方向角度)の位置に存在する物体である。そしてカメラから該物体までの距離は前記の視差から求めた距離画像によって求められる。したがって、図5に示すように、路面に平行で、左右方向(x軸方向)の角度(例えば光軸からの角度)が画像面に定義した領域と対応し、z軸方向が距離に対応する「距離×路面に平行な角度」からなる表を設け、距離画像上の領域の定義位置とその領域の距離とに対応する表の位置に投票することにより、表中の値の高い位置の有無から前方の障害物の有無を、値の高い位置の存在位置から障害物までの距離と横方向の位置およびその物体の横幅を求めることができる。なお、図5(A)は斜視図、(B)は撮像した画像と先行車に相当する距離z=L2における投票値を示す図、(C)は距離×路面に平行な角度(x軸方向の角度)からなる投票用の表を示す。すなわち、図5は、z軸方向に距離をとり、x軸を画像のx軸方向として投票した値をy軸方向に示したグラフである。このグラフは図3(C)のごとき距離画像の値をもとに、図5の対応する位置に投票することによって作成する。投票とは、例えば、x=2上にある画素で距離が3mの点のとき、グラフのx=2、z=3のところにy=1を加算する操作を意味する。
【0036】
このような操作を距離画像全体の値について行なう。前方zの位置に物体が存在する場合、その物体が撮像されるx座標の距離zの位置に複数回投票が繰り返されるため、表中のその位置の値が高くなる。例えば距離画像の値において同じx=2上に距離3mの値が例えば5個存在する場合はy=5となる。したがって同じxの位置に背の高い物体が存在すると、その個所の投票値(ヒストグラムの高さ)は大きな値となる。一方、物体が存在しないx座標上では、図3(E)に示したように、同じx座標上で同じ距離は計測されないため、表中で値が高くなる位置は存在しない。このことから、投票結果をもとに、表中の値が大きな位置の存在から物体の有無を求めることが出来る。また、その物体の存在する位置は、x軸方向の範囲は投票値が所定のしきい値以上の範囲xl〜xr(xlは存在範囲の左端、xrは右端)のx軸方向の位置により、物体までの距離は表の距離zの値により、それぞれ求めることができる。
【0037】
具体的には、例えば、前記図3に示したように先行車の存在する位置には視差15の値が多数集まるので、図5(B)(C)に示すように、視差15に相当する距離L2で左端がxl、右端がxrの範囲に投票値が集まることになる。同様に、図5(B)の「左方の木」は位置が左端から2領域目で距離がL1、「中央の木」は位置が左端から4領域目で距離がL3の個所に投票値が大きくなる。
【0038】
次に、図6は、図5と同じ環境下において、路面に平行な方向に1次元的に走査するスキャニングレーザレーダで、周囲の各角度方向の距離を計測したときの計測の状態を示した図であり、(A)は全体の斜視図、(B)は反射強度と1次元方向毎の距離を示す図、(C)は投票状態を示す斜視図、(D)は距離×路面に平行な角度(x軸方向の角度)からなる投票用の表を示す。
【0039】
スキャニングレーザレーダでは、各角度方向に存在する物体までの距離とその物体にレーザを照射したときの反射強度が計測される。車両は反射面をもつため、前方に車両が存在すると強度の強い反射光が返り、その反射強度は計測結果の信頼性にもつながる。つまり、ステレオ画像処理で求めた距離画像と同様の方法で、路面に平行な方向で各角度毎に計測した1次元データより、例えば、その方向毎に計測した距離の表の位置に反射強度に比例した値を加算する処理により、前方の障害物の有無とその物体までの距離および存在する範囲の横方向の範囲角度を計測できる。すなわち、図5(A)と図6(C)、図5(C)と図6(D)は殆ど同じであり、同様の処理で進行方向の存在する障害物の位置と距離を検知出来る。なお、画像処理ではエッジ部分の値が大きくなるので、図5(A)では先行車の端部分におけるヒストグラムが高くなるが、スキャニングレーザレーダでは物体からの反射によって距離を計測するので、図6(C)では先行車の存在する範囲でヒストグラムの高さがほぼ同じになっている。
【0040】
次に、図7は、図5と同じ環境を、計測面がカメラの撮像面と平行な計測面をもつレーザレンジファインダによって計測する状態を示した図であり、(A)は全体の斜視図、(B)は輝度画像(反射強度)、(C)は距離画像、(D)は投票状態を示す斜視図である。
【0041】
レーザレンジファインダは、図6に示したレーザレーダの走査を、横方向だけでなく縦方向にも振ることで2次元平面的に前方の距離を測定する装置である。この装置では、図7に示すように、ステレオ画像処理で求めた距離画像同様の、縦横の各角度毎の距離画像が得られる。このことから、レーザレンジファインダで計測された距離画像と反射強度とを用いて、図5と同じ方法で表に投票することにより、前方に存在する障害物の有無、位置、距離を計測することが出来る。
【0042】
図8は、図5(A)に示したステレオ画像処理で得た距離画像に基づいて行った投票結果に加え、図6(C)に示したスキャニングレーザレーダでの計測結果に基づいて行なった投票結果を加算した様子を示した図である。図8において、黒棒の部分は図5(A)に示したステレオ画像処理の投票結果、白抜き棒の部分が図6(C)に示したスキャニングレーザレーダでの投票結果の部分を示す。
【0043】
図8では、ステレオ画像処理の結果とスキャニングレーザレーダの結果が1対1程度の割合の重みで加算されるようにスケーリングして加算している。このように、両者の投票結果を加算することにより、例えば、霧や夜間などでステレオ画像処理では距離画像が得られない環境下でも、対象物がスキャニングレーザレーダで計測可能な物体であれば、表の障害物の存在位置の値が高くなるため物体の検知が可能になる。また、逆に、反射強度の低い服装の人物など、スキャニングレーザレーダでは計測しにくい物体が存在する場合でも、ステレオ画像処理で計測可能であれば表中の値が高くなるため検知・計測が可能となる。もちろん、両者とも計測可能な環境下では、物体の存在位置がより一層値が高くなり、より確実性の高い検知計測が可能となる。
【0044】
なお、図8においては、ステレオ画像処理とスキャニングレーザレーダとを組み合わせた場合を例示したが、ステレオ画像処理による投票結果とレーザレンジファインダで得た距離画像と反射強度に基づいた投票結果とを加算してもよい。
【0045】
次に、投票結果の加算の際に重み付けを行なう構成について説明する。
ステレオ画像処理による計測は、画像全体の輝度コントラストが高い環境では確実性が高いが、霧や夜間など、コントラストの低い環境下では確実性が低い。また、スキャニングレーザレーダやレーザレンジファインダでは、そのレーダの特性により、例えば、雨天や反射強度の弱い物体では計測の確実性が低いなど、測距装置によって異なる長所、短所がある。そこで、車両に搭載したステレオカメラと、レーザレーダなどの測距装置の環境に対する特徴を学習し、前記図8における加算の際に、それぞれの特徴に応じて環境に対応した重み付けを行なえば、より広範囲の状況下で障害物検知の確実性を向上させることが出来る。例えば、ステレオ画像処理による測距の確実性の高い環境下では、図8における加算の際に、ステレオ画像処理に基づいた投票値を大きくするように重み付けし、逆に、確実性の低い場面では、小さくするように重み付けする。また、レーザレーダの計測値の確実性の高いときにはレーザレーダの計測に基づく値を大きくするように重み付ける。これにより、確実性の高い値ほど距離計測に大きく反映され、逆に誤計測の可能性のある値の影響が小さくなるため、計測がより確実となる。
【0046】
次に、計測結果から検出物体の識別を行なう構成について説明する。
【0047】
前記図5、図6、図7では、それぞれ、前方に2本の木と1台の車両がある場合の計測値を表へ投票する様子を示した。それらの結果において、車両を計測した場合には、車両のボディは反射強度が比較的強いため、通常、車両に照射したレーザ光は強い反射強度を持つ。そのため、スキャニングレーザレーダやレーザレンジファインダでは、車両を撮像する角度内(距離画像上におけるxl〜xrの範囲内)全体において車両までの距離を検知できる。つまり、表への投票の際には、図6、図7にも示したように、車両の範囲内すべてにおいて同程度の高さのヒストグラムが立つ。一方、ステレオ画像処理の場合は、領域内にエッジを含む車両の両端付近(x=xlとx=xr付近)では、確実な距離が求められるが、車両内部では両端に比べると確実な距離が計測される領域の数が少ない。つまり、ステレオ画像処理の結果をもとにした表への投票では、図5のように、車両の両サイドヘの投票値が高く、その内部は両サイドに比べて低い値となる。また、一般に人物や木などような非人工物は、内部に多くのエッジがあるため、ステレオ画像処理では、それを撮像しているすべての領域において確実に距離を計測できる。そのため、木や人物を撮像した位置での表への投票値は高くなる。しかし、木や人物などは、レーザレーダでも計測は可能であるが、金属の反射面を持たないため車のボディ面からの反射光より弱いことが多い。前記図6等で説明したように、レーザレーダを用いた装置における投票では、距離の表の位置に反射強度に比例した値を加算する処理を行なうので、反射光の弱い物体に対する投票値は低くなる。したがって、スキャニングレーザレーダやレーザレンジファインダでの計測結果を用いた木や人を検知した位置の投票値は、車両の場合よりも低く、かつ、ステレオ画像処理の結果に比べても低いことが多い。
【0048】
上記の結果を纏めると、スキャニングレーザレーダやレーザレンジファインダの計測結果においては、反射強度が強く(つまり投票値が高く)、かつ投票値が広い領域で同程度の値を有し、ステレオ画像処理の計測結果においては、投票値が両端が高くて中央部分が低い値を示す物体は、車両である可能性が高いと判断出来る。
【0049】
また、スキャニングレーザレーダやレーザレンジファインダの計測結果においては、反射強度が弱く(つまり投票値が低く)、ステレオ画像処理の計測結果においては、領域全体において投票値が高い物体は人や立木である可能性が高いと判断出来る。また、人や木は一般に車両や建造物などよりも幅が狭いことが多いので、上記投票値に幅の情報も加味して判断することも出来る。
上記のように、対象物により、計測値毎の表への投票値の分布には特徴がある。このことから、この特徴を統計的に学習することにより、分布の特徴を用いた物体の認識が可能である。
【0050】
次に、物体の識別に重み付けを組み合わせた構成について説明する。
例えば、人物や木は、車両や塀や建築物などの人工物に比べて幅が狭いことが多い。このことから、検出した物体の幅を表のx軸方向の角度から求め、その幅が狭いときには、人や木の検出に優れているステレオ画像処理の計測値に重みを付けて投票を行なう。これにより、投票による検知がより確実となる。すなわち、ノイズなどによる誤計測値がある場合でも、実際に物体を検知した位置に重みを付けることで、ノイズよりも投票値を高くすることができるため、ノイズによる悪影響も抑えられる。
【0051】
次に、ステレオ画像処理における物体の誤検知を防止する構成について説明する。
図9は物体の誤検知を防止する機能を説明するための図であり、図9(A)は、処理対象画像上に設定した各ウインドウの画像を示す図であり、図9(B)に示すような星型の図形を撮像した場合に、図9(A)の(a)は無地のウインドウ(撮像された図形が無い部分)、(b)は視差と平行な方向にだけエッジを持つウインドウ、(c)はエッジをもつウインドウ、(d)はノイズを含むウインドウを示す。そして(a)〜(d)において各図形の下に示したグラフは、差分マッチングによって視差を求め、各画素毎(視差)に求めた差分値を、縦軸を差分値、横軸を視差としてグラフ化し、そのグラフから最小値を探すことによってマッチング位置(差分値最小の位置=類似度が最大の位置)を求める状態を表したものである。また、図9(B)は、画像上に定義した(a)〜(d)それぞれのウインドウの位置と、それらの定義したウインドウの走査範囲を示す図である。また、図9(C)は、それぞれのウインドウ(a)〜(d)において、視差方向に切った1ライン上の輝度分散を複数個所で求める状態をあらわした図である。また、図9(D)は、二つのカメラで撮像した対象物とその対象物が画像上に撮像されたときの位置関係を表した図である。
【0052】
なお、図9は、図示の都合上、2台のカメラの光軸が相互に平行で、かつ撮像面の水平軸が同じライン上に揃うように設置した場合(カメラを横方向に並べた構成)における視差検出を示す。したがって前記図2で説明したように、視差Sは、S=xa−xbであり、かつ、距離zは、前記(数1')式で示すようになる。なお、前記図2に示したように、二つのカメラを縦方向に並べた場合も、縦方向に視差を求めるので、視差はS=ya−ybになるが、基本的な機能は同じである。
【0053】
また、上記の差分とは、基準画像と他方の画像の各画素毎の輝度差の総和であり、差分が小さいほど類似度は大となる。通常、類似度と差分は下記(数2)式で表される。
【0054】
【数2】
【0055】
なお、上記(数2)式において、xは基準画像(画像A)の輝度、xはxの平均値、yは他方の画像(画像B)の輝度、yはyの平均値である。
【0056】
二つのカメラを撮像面の同一ラインが同一直線上に並ぶように設置した場合、互いの画像上でのマッチング位置は同一ライン上にのる。このことから、類似画像の探索は図9に示したように同じライン上において視差方向に1画素ずつずらしながら行なうことで求められる。そしてそのウインドウの視差は、この操作において最も差分値が低いと判断された画像が存在する位置と基準画像のウインドウを定義した位置との差として求められる。また、右画像を基準画像とした場合、右画像上に定義したウインドウとのマッチング位置は、図9(D)に示すように左画像上では右画像でウインドウを定義した位置よりも右側になる。つまり、画像の探索範囲は、右画像でウインドウを定義した位置から右方向に走査すればよく、視差は走査の始点からマッチング位置までのずれとなる。図9の例では、図9(A)の(c)のグラフに示したようになる。
【0057】
上記のように、図9(A)は四つのウインドウそれぞれにおいて各画素毎に求めた差分値(基準画像と差分を求めた画像との差)と視差(基準画像と差分を求めた画像との位置の差)との関係をグラフ化したものであり、差分マッチングの場合、差分値が最小の位置が類似度の最も高い位置となる。しかし、例えば図9(A)の(a)のように、ウインドウもウインドウの探索範囲も共に無地の画像であると、どの位置においても差分が同じ値となるため視差を決めることができない。実画像では、このようなウインドウでも小さなノイズがあるために、それぞれの位置で異なる値の差分が求められ、最小値の位置も求められてしまうが、このような場合、この位置は物体の視差を検出したものでないため、この視差を物体検知に利用すると誤検知の原因となる。また、図9(A)の(b)のように視差と平行なエッジしかないウインドウでは、物体の一部と考えられるエッジが撮像されているが、(a)と同様に、差分値は走査範囲内で全て同じ値なので、求められた視差は正確なものでない可能性が高い。すなわち上記(a)、(b)のような場合に求めた視差は誤計測の原因になる可能性が高いため、視差は求めるべきではないと言える。
【0058】
以下、上記のような誤検知の要因を取り除く方法を説明をする。
図9(C)は、各ウインドウにおいて視差方向に切った横1ライン上の輝度分散を複数箇所で求めた状態を示す図である。視差と平行に切られた横1ラインのウインドウの輝度分散は、(a)のような無地のウインドウにおいても、(b)のような視差と平行な方向にだけエッジを持つウインドウにおいても、共に小さな値となる。逆に、(c)のように視差の算出が可能なウインドウでは分散は大きくなる。
【0059】
また、ウインドウ内の全体の輝度分散を計算すると、(a)の無地のウインドウでは分散が小さくなるが、(b)のウインドウの分散は大きくなってしまう。しかし、図9(C)に示したように横1ラインの分散を算出すれば、(a)(b)は共に分散が小さくなるので、視差算出が不適なウインドウを正確に検出することができる。このように複数箇所の1ライン上の分散の合計または平均値に基づいて視差を求めることが適当であるか否かを、マッチングを行なう前に判断すれば、誤検知のウインドウを取り除くことができ、同時に計算量を削減することができる。
【0060】
また、視差の算出は、図9(A)に示した差分値のグラフから最小値の位置を探すことで行なうため、最小値に近い値が複数箇所で見られるものは、無地のウインドウや視差方向と平行なエッジしか持たない画像と同様に、求めた視差の確実性は低いものとなる。例えば、図9(A)の(d)のようにノイズのある画像では、前述の図9(C)の方法で求めた分散は大きくなるが、差分値のグラフは、最小値に非常に近い値が複数箇所で求められるため、その中から視差を断定することは困難である。仮に、求められた差分値最小位置を視差としても、この位置は誤対応位置である可能性が高い。したがってこのような場合には視差を求めない方がよい。そのため次のような方法を用いる。
【0061】
図9(A)に示すように、走査範囲内で求めた差分値の平均値とその中の最小差分値を求めると、全体の差分値のうち、最小値に近い値が多く現れる場合にはマッチング範囲内で求めた差分の平均値と差分の最小値との差が小さくなる、つまり、この二つの値の差が或るしきい値より小さい場合には、そのウインドウで求めた視差は誤対応の高いものであると判断することができる。したがって、上記の判断において誤対応の可能性の高いと判断した視差は、この後の処理である表への投票に用いないようにすれば、物体の検知をより確実にすることができる。なお、上記図9(A)のグラフは縦軸に差分をとっているが、差分の逆数の類似度をとった場合には、類似度の最大値と類似度の平均値との差が所定のしきい値より小さい場合に誤対応と判断する。
【0062】
上記のように、マッチング領域内画像全体が黒の画像、画像全体が白の画像、或いはエッジや画像内に撮像されるテクスチャ(模様や形状など)に特徴のない領域で求められた視差は、誤計測である可能性が非常に高い。車両のボディ面では確実性の高い距離が算出されない原因はこのような原理に基づく。
【0063】
また、ボディ面のような画像中のある一部分の領域だけでなく、霧や街灯のない夜間などの環境によっては、ステレオ画像処理による距離画像自体が正確に求められない場合もある。そのため、このような計測値を表へ投票することは何も存在しない位置への投票が行われるなどの誤計測につながる。したがって、各ウインドウにおいて視差方向に切った横1ライン上の輝度分散が各ラインにおいて小さい場合、およびマッチング範囲内で求めた差分の平均値と差分の最小値との差(類似度の最大値と類似度の平均値との差)が小さい場合には、誤対応の可能性が高いので、その位置で求めた計測値は表への投票に反映させない構成とするのが望ましい。具体的には、上記のような範囲の値は全く用いないか(重み=0)、或いは重み付けの値を大幅に小さな値とする。
【0064】
上記の画像上の輝度分散の考慮は誤計測の除去につながるため、ステレオ画像処理単体の場合でも誤計測削減のための有効な方法となる。しかし、ステレオ画像処理のみを用いる場合は、上記のようにその計測値を用いない場合は計測不可能な状況となるが、ステレオ画像処理とレーザレーダとを組み合わせた装置では、上記のような環境下では、レーザレーダなどの他の計測値の結果だけを反映させることで、確実な計測を行なうことができる。したがって、計測が不可能になることもなく、誤計測だけを削減することができる。
【0065】
また、上記の説明は、ステレオ画像処理の計測値を用いないでレーザレーダの計測値のみを用いる場合について説明したが、その逆もあり得る。すなわち、レーザレーダなどの光の反射時間を利用した測距装置では、計測対象物が光を吸収するような物体の場合には、反射光がなくなるため計測が困難になる。通常、道路上などの外界には、光を100%吸収するものはほとんどないため、多少の反射光は計測されるが、反射強度の低い計測値は、信頼性が低く、距離を誤計測する可能性が高い。そこで、スキャニング角度毎に計測距離と同時に強度を計測し、その光の強度が所定値よりも低い場合は、その位置での計測値を表への投票に反映させないようにする。具体的には、上記のような範囲の値は全く用いないか(重み=0)、或いは重み付けの値を大幅に小さな値とする。この場合にはステレオ画像処理の計測値のみがほぼ使用されることになる。これによりレーザレーダによる誤計測を防ぐことができる。
【0066】
次に、これまでの説明は、ステレオ画像処理とレーザレーダとを用いた装置について説明したが、それらの何れか一方の代わり、もしくはそれらに追加してミリ波レーダを用いる場合について説明する。
ミリ波レーダは、濃霧、雨中や暗闇など、ステレオ画像処理やレーザレーダでは測定不可能な場合でも周囲の物体までの測距が可能という特徴がある。しかし、一般に、ミリ波レーダは、レーザレーダのような細かい走査は行わないため、スキャニングレーザレーダや走査線のスキャンによりレーザレーダよりも細かい分解能の得られるステレオ画像処理を用いた計測と比べて、横方向の検知角度分解能が粗いという問題がある。そこで、他の装置では計測不可能な悪天候下では、ミリ波レーダでの計測結果に基づいた投票の重みを大きくする。一方、ステレオ画像処理やレーザレーダによる高精度な測定が可能な環境下では、ミリ波レーダの計測値に基づいた投票値の重みは小さくする構成とする。組み合わせとしては、ステレオ画像処理とミリ波レーダ、レーザレーダとミリ波レーダ、ステレオ画像処理とレーザレーダとミリ波レーダの3種が考えられる。上記の構成により、悪天候に強く、かつ、好天候下では、分解能の粗い測定に影響されることなく高精度な測定が可能となる。
【0067】
次に、これまで説明した種々の方法を用いて前方の物体の位置計測および物体の認識を行なう実施例を説明する。
図10は、2台のカメラ1、2と、レーザレンジファインダ7を自車両に搭載した構成を示す側面図である。ここでは、2台のカメラ1、2は路面に対して縦に平行に並べ、2台のカメラの撮像面のy軸が同一ライン上にのるように配置している。また、レーザレンジファインダ7は、カメラの光軸とレーザレンジファインダの走査中心軸を平行とし、カメラの撮像面〔図4(A)の撮像面〕とレーザレンジファインダの計測面〔図7(A)の計測面〕が平行になるように搭載した場合を示す。なお、図10においては、カメラを1個のみ示しているが、実際には2台(この例では縦方向に)存在する。例えば、2台のカメラの中間にレーザレンジファインダを設置するように構成すれば、両者の画像の位置のずれを少なく出来る。
【0068】
図11は、この実施例の処理の流れを示す図である。
図11において、まず、ステップS101では、2台のカメラ1、2からの画像Aと画像Bを入力する。同時に、ステップS102では、レーザレンジファインダ7から距離画像とその位置の反射強度である輝度画像を入力する。
【0069】
次に、ステップS103では、ステレオ画像を用いて距離画像を作成する(前記図3の説明参照)。この距離画像作成では、領域毎の視差を求める前に、まず画像上に定義した領域毎の輝度分散を求め、その分散がしきい値以上の部分だけ視差を算出するようにする(前記図9の説明参照)。このような前処理を行なうことで、信頼性の高いステレオ画像処理での計測値だけが後の投票に使用されるようにする。また、分散がしきい値以上の領域ではステレオ画像間のマッチング位置(視差)を求め、各領域毎の距離を求める。これには、画像間の正規化相関法や差分法などの一般的な方法を用いればよい。
【0070】
次に、ステップS104では、ステレオ画像処理で求めた距離画像とレーザレンジファインダで計測した距離画像とのそれぞれを用いて、距離×水平方向の表への投票を行なう(図5、図8の説明参照)。
ここでは、まず、ステレオ画像処理で求めた距離画像を用いた投票を行なう。これは、図5で説明したように、距離画像の各領域に着目し、表の横の位置がその領域のx軸方向の角度、縦の位置はその領域で算出された距離zとなる位置に投票値を加算するという処理を繰り返す。例えば、水平方向が3の位置に定義された領域において距離がL2と求められた領域に検出値があった場合は、表中の水平方向が3、距離zがL2の位置に投票する。ここで表に加算する投票値は、後述する環境に応じた重みを付けてもよいし、+1としてもよい。このような操作をステレオ画像処理の距離画像作成において距離が算出されている領域すべてにおいて行なう。
【0071】
また、レーザレンジファインダで計測した距離画像を用いて同じ操作を行なう。ただし、通常、ステレオ画像処理で求めたx軸方向の一つの領域の角度(図4、図5のα)とレーザレンジファインダの1回の計測毎に動く走査角度(図6、図7のθ)は異なるので、表への投票の際には、実空間上において同じ方向を計測した値が表中の同じ位置に投票されるように変換する必要がある。それには次のような計算を施せばよい。すなわち、前記図4に示したように、カメラからの距離がz、カメラの光軸からx軸方向への距離がxpの位置にある点Pが撮像される画像上の領域のx方向の位置(これをn番目の領域とする)を求める。画像上で一つの領域に撮像される範囲角をα、光軸が撮像される領域を0番目としたときに、点Pが撮像される位置を光軸からn番目の領域とすると、nは、下記(数3)式で求められる。
n=xp/(α×z) …(数3)
ただし、αは微小角なので、tanα≒αとする。
【0072】
また、レーザレンジファインダで計測した輝度画像上において点Pまでの距離および反射強度を計測した画像上の位置とステレオカメラで撮像した画像上に切った領域の位置との対応を求める。前記図7に示したように、レーザレンジファインダの水平方向の1回のサンプリング毎に動く走査角度をθ、レーザレンジファインダの中心軸の計測値を0番目とする。レーザレンジファインダの距離画像において点Pを計測した位置を中心軸からm番目とすると、nとmとの間には下記(数4)式の関係が成り立つ。ただし、θは微小角なので、tanθ≒θとする。
【0073】
n=m・(θ/α) …(数4)
上記(数4)式は、レーザレンジファインダにおいて、中心軸から水平方向にn番目の位置で計測した点は、ステレオ画像処理ではm番目の領域で計測されることを表す。レーザレンジファインダで計測した距離画像を用いた投票においては、この(数4)式による水平方向位置の変換を施した上で表への投票を加算する。加算する値は、その位置の反射強度に比例した値を加算する。なお、この際、ステレオ画像処理とレーザレンジファインダの両方が計測可能な環境下では、レーザレンジファインダとステレオ画像処理との投票値の割合が1対1となる値でよい。すなわち、この場合においては、両者の重みは共に1である。
【0074】
ここで、投票値する値の定義方法の例を説明する。例えば、ステレオ画像の距離画像の一つの領域に撮像される縦方向のなす角(図4のβ)が1度、レーザレンジファインダの一つ分のデータを得るときの縦方向の走査角度(図7のφ)がその2倍にあたる2度のときに、両者の投票の重みを同じにすることを考える。このとき、縦方向の画角10度の範囲に撮像される物体が前方に存在すると、ステレオ画像処理では表中の同じ位置に最大10回、レーザレンジファインダでは最大5回の投票が行われる。つまり、ステレオ画像処理の結果の投票値を一つの距離につき「1」、レーザレンジファインダの計測結果の投票値を一つの距離につき「2」とすれば、最大の投票値が両者で同じ値となる。このように、同じ画角内で計測される物体を対象としたときに投票される最大の値が同じになるような投票値にすれば、両者の投票値の割合が1対1となる。
【0075】
次に、ステップS105では、ステレオ画像処理とレーザレンジファインダで計測した距離画像全体の投票結果から、物体の有無とその物体の位置を求める。物体の有無は、表中からしきい値以上の投票値となる位置の有無により判断できる。また、その物体の位置は、(数3)式の逆算により求められる。例えば、表中において距離zp、水平方向nの位置にしきい値以上の値が投票されたとする。この位置に検出された物体の距離は表からzpと求められる。また、その物体の、カメラの光軸に対する水平方向の位置xp(図4参照)は、(数3)式の逆算により、xp=n×α×zp(α:表に定義した一つの領域に撮像される水平方向の画角)として求めることができる。表中にしきい値以上の点が複数個所存在すれば前方に複数の物体があることがわかり、それぞれの位置は前述と同様の方法で求められる。また、しきい値以上の値が同じ距離上にかたまりとして存在する場合は、それは一つの物体として判断することができ、そのかたまりの両端が物体端となる。
【0076】
次に、ステップS104の投票における重み付けについて説明する。なお、図11では、重み付けのステップは記載していないが、ステップS103とS102の次に、それぞれの計測値に重みを付けるステップを設け、その結果に基づいてステップS104の投票を行なえばよい。
【0077】
前記の説明では、ステレオ画像処理とレーザレンジファインダの計測値を通常は1対1の重みになるよう定義しているが、装置の特徴に基づいて天候に応じた重みを付ける。例えば、雨の日、逆光の晴れ、順光の晴れ、曇りの日などの異なる天候下において、既知の位置に存在する物体をレーザレンジファインダとステレオ画像処理の両方で計測し、その計測値の真値に対する誤差の大きさや測定値の分散の大きさなどから、真値に近く分散の小さい計測が可能な装置の方の投票値の重みを大きくし、その逆であれば重みを小さくする。これにより、逆光などステレオ画像処理で誤計測が多い場面では、正確な計測が行われているレーザレンジファインダの計測結果の重みを大きくすることによって正確な結果が得られる。逆にレーザレンジファインダの計測が不安定で誤計測のある環境では、ステレオ画像処理の計測の重みを大きくすることにより、総合して天候の状況に影響を受けにくいロバストな計測が可能となる。また、投票値の重み付けを求める基準を、天候変化だけでなく、他の環境変化を基準とすることで、同様の方法で他の場面でも影響を受けにくくすることが出来る。
【0078】
さらに、ステレオ画像処理とレーザレンジファインダの装置の特徴に基づいた投票の重みの付け方を説明する。ステレオ画像処理は、画像内が無地(エッジが存在しない)の場合には、原理的に距離を求めることができないため、距離を求める領域画像内の輝度分散の小さい場合は、誤計測の可能性が高い(前記図9の説明参照)。このことから、輝度分散がしきい値以下の位置で求められた値については重みを0にするか、または、重みを0.5〜0.1にするなど、計測値の信頼性に応じて重みを小さくする。これによって誤計測の可能性の高い値は表中に大きく反映されないようにする。また、レーザレンジファインダは、レーザレーダの届かない遠方の場合や光を吸収する物体に照射した場合は計測不可能もしくは誤計測値となる場合が多い。このことから、スキャニング方向毎にその方向への反射強度も計測し、その強度の低い位置での計測値では、重みを0にするか、もしくはステレオ画像処理と同様に、重みを0.5〜0.1にするなど信頼性に応じた重みを付ける。これにより、誤計測の値が表の投票に大きな影響を及ぼさないようにする。
【0079】
以下、重み付けの具体的な方法について説明する。なお、通常時の重みを1とする。
(1)レーザレンジファインダやスキャンニングレーザレーダは雨、霧、雪に弱いことから次のように重みを付ける。
(1a)車両のワイパの動作段階に応じてレーザレーダの重みを小さくする。例えば、ワイパ不作動では重み1、低速動作では0.8、中速動作では0.6、最速動作では0.4とする。
(1b)VICS(Vehicle Information Communication System:道路交通情報通信システム)から得た当該地点および時間での降雨(雪)量によってレーザレーダの重みを小さくする。例えば降雨量0では重み1とし、降雨(雪)量があるときは、降雨量に逆比例する値を重みとする。例えば50mmのときは1/5、100mmの場合は1/10、200mmのときは1/20等の値にする。
(1c)フォグランプのON、OFFに応じてレーザレーダの重みを変える。例えばフォグランプOFFでは重みを1とし、フォグランプONのときは重みを0.1または0とする。
(1d)天候に応じて、既知の位置でレーザレーダの測距の正解率を調べ、その正解率を重みとする。例えば、異なる降雨量に応じて正解率を調べ、降雨量の情報をVICSから求め、その降雨量のときに得られた正解率を重みとする。例えば降雨量100mmのときの正解率が20%、50mmのときの正解率が50%であれば降雨量100mmのときの重みを0.2、50mmのときの重みを0.5とする。
【0080】
(2)ステレオ画像処理は、大雨、大雪、霧、逆光に弱い(ただし雨に対してはレーザレーダよりは良い)ことから次のように重みを付ける。
(2a)VICSから得た当該地点および時間での降雨、雪、霧に応じてステレオ画像処理の重みを小さくする。例えば降雨(雪)がないときは重み1とし、雨のときは、前記レーザレーダと同様の方法で重みを小さくする。
(2b)ステレオ画像処理とレーザレーダの両方を載せた組み合わせの場合では、降雨時の重みは小さくするが、その重みはレーザレーダよりは大きく(例えばレーザレーダの重み×1.5にするなど)とする。このようにすれば、後述するミリ波レーダを加えた装置の場合に、ミリ波レーダの計測結果を有効に活用することが出来る。
(2c)夕方に西に向かう場合や明け方に東へ向かうなどの逆光になる情報を時計とナビゲーションやジャイロなどの方位計測装置などから得て、それに応じて、逆光と予想されるときは、ステレオ画像処理の重みを小さくする。
(2d)天候に応じて、既知の位置でステレオ画像処理での計測正解率を調べ、その正解率を重みとする。
(2e)前記(1)で述べたレーザレーダと同様に、異なる霧の状態で、降雨量同様に透過率毎の正解率を重みとするものや、霧、雨、雪の異なる天候でのそれぞれの正解率を調べ、VIGSより得た天候に応じて、そのときの正解率を重みとすることも出来る。
【0081】
(3)ステレオ画像処理やレーザレーダの検知の状態から次のように重みを付ける。
(3a)ステレオ画像処理における画像内の分散の値がしきい値以下の部分で計測された距離値は重みを0にする。
(3b)レーザレーダの反射強度がしきい値以下の部分で計測された距離値は重みを0にする。
(3c)画像全体の分散が低い(しきい値以下)のときは、ステレオ画像処理の計測値の重みを0.2などの小さな値にする。
(3d)スキャニングレーザレーダの同じ方向における検出値が時間的に連続して不安定な個所が多い(例えばしきい値の半分程度)場合は、雨などによるノイズの場合が多いので、レーザレーダの重みを小さくする。例えば、ノイズの数/全体のデータ数を重みとする。具体例を示すと、1回の走査で80個のデータを得るスキャニングレーザレーダでノイズと判断されるデータが40個の場合には重みを1/2=0.5とする。
上記の各重み付けは、状況の応じてそれぞれを組み合わせて適用することが出来る。なお、重み付けは上記の数値を測定値に乗算することによって行なう。例えば、重み0.5というのは測定値に0.5を乗算した値を投票することを意味する。
【0082】
次に、物体の認識を行なう例について説明する。なお、図11では、物体認識のステップは記載していないが、ステップS105の次に、物体認識のステップを設ければよい。
前記図5〜図7に示した投票結果からもわかるように、車両を検知した個所での投票値の分布と木を検知した個所での投票値の分布は、エッジの有無や反射強度の強さによってそれぞれ特徴がある。このことから、例えば、既知の位置にある異なる対象物を、レーザレンジファインダとステレオ画像処理で計測したときにおける表への投票結果の分布形状を学習し、車両、人物、木など様々な対象物を、投票結果の形状のパターンで表現し、その投票結果のパターンと認識対象画像で計測された表への投票結果とのマッチングを行なうように構成することにより、物体の認識・判別処理が行える。パターンマッチングは、投票結果の形状同士の正規化相関や判別分析など、一般的な認識装置でよい。
【0083】
さらに、この物体の認識をもとに、より計測を確実にするための投票の重み付けの方法を説明する。通常、木や人物は細長い形状をしていることから、路上に存在し、投票結果の分布の幅が狭い物体は、人物や木である確率が高い。人物や木は反射強度が低いことが多い一方で、エッジを多く含むものが多い。このことから、投票の際に、人物や木と認識された位置ではステレオ画像処理の結果に重みを大きくして投票するように構成するとよい。
【0084】
次に、ステレオ画像処理やレーザレーダを用いた測距装置で問題となりがちな悪天候下での性能向上方法について説明する。
図1および図11では、ステレオ画像処理とレーザレンジファインダまたはスキャンニングレーザレーダを用いた場合を示しているが、それらの何れかの代りもしくはそれらに追加して、雨、霧や暗闇でも測定可能なミリ波レーダを搭載することで対応が可能となる。構成としては、図1の構成にミリ波レーダを追加した構成、図1のステレオカメラ1、2の代わりにミリ波レーダを設けた構成、または図1のレーザレンジファインダ7の代わりにミリ波レーダを設けた構成が考えられる。また、図11のフローチャートにおいては、ステップS101またはS102の代わりにミリ波レーダからの情報入力のステップとするか、もしくはステップS101、S102と並列にミリ波レーダからの情報入力のステップを設ければよい。
【0085】
レーザレーダやステレオ画像処理は、反射強度や画像内の輝度分散の大きさによって、それらの装置での測距の信頼性を判断することが出来る。したがって、それらの装置の信頼性が、走査範囲全体において低い場合には、それらの装置では測定が不安定な悪環境下、悪天候下であると判断し、そのような場合は、ミリ波レーダでの測定結果に基づいた投票値に重みを付けるように構成する。これにより、悪環境下では測定不可能な装置による誤計測の悪影響を受けることなく、悪環境下でも計測が可能となる。ただし、ミリ波レーダには、悪環境下でも測定が可能な一方で、横方向の測定分解能が粗いという問題がある。したがって、ステレオ画像処理とレーザレンジファインダなどの信頼性が高い環境下では、横方向の分解能を高精度に維持するために、ミリ波レーダでの計測値に基づいた投票値の重みは小さくする。これにより、好天候下における高精度な測定を維持したまま、悪天候下での計測にも対応可能となる。
【0086】
ミリ波レーダを追加した装置における重み付けの具体例としては、次のような構成が考えられる。すなわち、ミリ波レーダは悪天候には強いが精度が悪いことから、VICSから得た天候に応じて、降雨(雪)量がしきい値以上の場合(例えば他の測距装置の重みが0.5以下になるような場合)では、ミリ波レーダの計測値の重みを1とする。また、降雨(雪)量が0の場合には、ミリ波レーダの計測値の重みを0.5程度以下の小さな値とする。これにより、好天候では、ミリ波レーダによる分解能の粗い値が結果に反映されることを回避することが出来る。
【図面の簡単な説明】
【図1】本発明の一実施例のおける全体構成を示すブロック図。
【図2】ステレオ画像を用いて三角測量の原理でカメラから検出対象までの距離を求める原理を説明する図。
【図3】両画像の対応する位置毎の視差を求めた結果を示す図。
【図4】ステレオ画像上に距離画像作成のために切った一つ一つの小領域の画像上の位置と、その領域内に撮像される実空間上の物体との位置関係を示した図であり、(A)は前方から見た斜視図、(B)は上方から見た平面図、(C)は側面図。
【図5】表への投票状況を示す図であり、(A)は斜視図、(B)は撮像した画像と先行車に相当する距離z=L2における投票値を示す図、(C)は距離×路面に平行な角度(x軸方向の角度)からなる投票用の表。
【図6】スキャニングレーザレーダによる計測状態を示した図であり、(A)は全体の斜視図、(B)は反射強度と1次元方向毎の距離を示す図、(C)は投票状態を示す斜視図、(D)は距離×路面に平行な角度(x軸方向の角度)からなる投票用の表。
【図7】レーザレンジファインダによる計測状態を示した図であり、(A)は全体の斜視図、(B)は輝度画像、(C)は距離画像、(D)は投票状態を示す斜視図。
【図8】ステレオ画像処理での投票結果に加え、スキャニングレーザレーダでの投票結果を加算した様子を示した図。
【図9】物体の誤検知を防止する機能を説明するための図であり、(A)は処理対象画像上に設定した各ウインドウの画像を示す図、(B)は画像上に定義したウインドウの位置と、それらの定義したウインドウの走査範囲を示す図、(C)はそれぞれのウインドウにおいて、視差方向に切った1ライン上の輝度分散を複数個所で求める状態をあらわした図、(D)は二つのカメラで撮像した対象物とその対象物が画像上に撮像されたときの位置関係を表した図。
【図10】2台のカメラ1、2と、レーザレンジファインダ7を自車両に搭載した構成を示す側面図。
【図11】一実施例における処理の流れを示す図。
【符号の説明】
1、2…電子式のカメラ 3、4…画像メモリ
5…演算部 6…先行車
7…スキャンニングレーザレーダまたはレーザレンジファインダ
8…画像メモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an obstacle recognizing device using two different types of distance measuring means, for example, a distance measuring device using stereo image processing and a distance measuring device such as a laser range finder, and is present in the traveling direction of a vehicle or the like. The technology relates to the recognition of obstacles.
[0002]
[Prior art]
As a conventional vehicle obstacle detection device, a device that detects an obstacle by performing image processing on an image in front of the vehicle captured by an electronic camera, or a light such as a laser range finder or a scanning laser radar is used. An apparatus for detecting obstacles ahead using radio waves, such as a millimeter wave radar, has been proposed.
[0003]
Also, as an obstacle detection device combining two different types of distance measuring devices, for example, a distance measuring device using image processing and another distance measuring device, it is described in, for example, JP-A-8-329393. There is something. This device is a combination of a device that performs monocular image processing using an image captured by a single camera and a laser radar. The monocular image processing determines an area where a preceding vehicle is present, and is reflected from the direction of the existing area. The distance measured by the laser radar is used as the inter-vehicle distance to the preceding vehicle.
[0004]
[Problems to be solved by the invention]
In the various distance measuring devices described above, image processing by an electronic camera has the advantage of being able to detect even objects with little reflection such as people and standing trees and having high resolution, but in fog, at night, etc. In such a situation where the contrast of the image is low, measurement is difficult. In addition, devices that use light reflection, such as laser radar, can be used at night and have high resolution, but are difficult to use in dense fog or rainy weather, and are less reflective objects such as people and standing trees. Not very suitable for detection. In addition, a device using radio waves such as a millimeter wave radar can be used even in dense fog, rain, or at night, but is unsuitable for identifying a detected object because the resolution in the distance and the lateral direction is rough. As described above, the obstacle detection device using the conventional distance measuring device alone has advantages and disadvantages, and it has been difficult to obtain a sufficient effect in all situations.
[0005]
Further, as described in Japanese Patent Laid-Open No. 8-329393, an obstacle detection device combining two types of distance measuring devices has also been proposed. In this device, an area where a preceding vehicle exists in image processing is proposed. Since the distance measured by the laser radar reflected from the direction of the existing area is used as the inter-vehicle distance, inter-vehicle distance measurement is impossible in fog or at night when image processing cannot be applied. Also, distance measurement is difficult in an environment where laser radar is inappropriate, such as in the rain or in dark clothes. In other words, the device described in the above publication cannot detect obstacles and measure distances unless both image processing and laser radar are sufficiently functioning. The problem with the obstacle detection device used was not solved.
[0006]
The present invention was made to solve the problems of the prior art as described above, and compensates for the disadvantages according to the type of distance measuring device, and improves the reliability of obstacle recognition in a wider range of situations. An object is to provide an object recognition device.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, the present invention is configured as described in the claims. That is, in the first aspect of the invention, the measurement process is performed on a one-dimensional direction that is mounted on a vehicle and that is perpendicular to the traveling direction and parallel to the road surface, or a two-dimensional plane perpendicular to the traveling direction. At least two types of distance measuring means having different measurement principles for detecting an object existing ahead, a distance from the host vehicle in the z-axis direction, a position in which the x-axis direction is parallel to the road surface and the running direction as a reference, the y-axis Each table corresponding to the table in which the object is detected based on a table in which the direction indicates a vote value and a result measured by each of the at least two types of distance measuring means. of Voting means for voting on a position; and a determination means for searching for a place where the vote value in the table is equal to or greater than a predetermined threshold from the result of voting by the voting means and judging that an object exists at the place. The presence of the object is determined based on the result of adding the measurement values obtained by detecting the object in each distance measuring means. It is configured as follows.
[0008]
As described above, in the present invention, at least two types of distance measuring means having different measurement principles are used, and the respective distances and lateral positions are voted on the basis of the respective measurement results, and the added results are obtained. Is used to determine the presence and position (distance and direction) of the object, so that the presence and position of the object can be detected if at least one of the distance measuring means can measure the object. I can do it. Therefore, accurate measurement and discrimination can be performed even in a situation where one of the two types of distance measuring means is difficult to measure. Further, even in a situation where both distance measuring means are somewhat difficult to measure, by combining both results, it is possible to make a more accurate determination than when one type of distance measuring means is used.
[0009]
According to a second aspect of the present invention, as one of at least two types of distance measuring means, an image is picked up by two electronic cameras installed such that the optical axes are parallel to each other and face the traveling direction. The image processing means that detects the distance and the brightness for each area set in the image by performing stereo image processing on the image, and as another one-dimensional one perpendicular to the traveling direction and parallel to the road surface Using a distance measuring means using a laser radar that scans a two-dimensional plane perpendicular to the direction or the traveling direction with a laser beam and detects the distance and the reflection intensity for each region of the scanning direction or scanning surface It is. The distance measuring means using the laser radar includes, for example, a scanning laser radar that scans a one-dimensional direction and a laser range finder that scans a two-dimensional plane.
[0010]
As described above, as the two types of distance measuring means, an apparatus having completely different distance measuring principles, ie, an image processing means and a distance measuring means using a laser radar, are used. Can be measured. Therefore, by making a determination based on the result obtained by adding the measurement results of both, an accurate determination can be made under a wider situation.
[0011]
According to a third aspect of the present invention, reliability corresponding to the surrounding situation is obtained for each distance measuring means according to the characteristics of each distance measuring means, and each distance measuring means is used as a vote value in the voting means. Each means is configured to perform weighting according to the reliability. For example, in a state where the presence and location of obstacles in front are known, and under different circumstances of the surrounding environment such as various weather changes, the measurement reliability of each ranging device installed is learned, and the weather at the time of measurement, etc. According to the surrounding environment, the weight is increased for the measurement result of the distance measuring means with high reliability of measurement, and the weight is decreased for the measurement result of the distance measuring means with low reliability, and the vote is made. This makes it less susceptible to changes in the surrounding environment such as the weather.
[0012]
Further, in the invention described in
[0013]
Further, in the invention according to claim 5, in the result of voting to the table based on the distance obtained by the image processing means, for a region where the width of the voting distribution at the position where the object is measured is narrow, measurement of stereo image processing is performed. The weight of the voting value based on the result is configured to be larger than other areas or the normal value. That is, when an object with a narrow width is detected, the object is likely to be a vertically long object other than a vehicle such as a person, and a vertically long object on the road surface has a texture (such as a surface pattern). Since there is no reflection surface and the probability of being an object suitable for stereo image processing is high, the result obtained by stereo image processing is voted with a large weight.
[0014]
In the invention described in
[0015]
In the invention according to
[0016]
Further, in the invention described in
[0017]
【The invention's effect】
In the present invention, at least two types of distance measuring means having different measurement principles are used, and based on the respective measurement results, the corresponding distance and the lateral position are each voted, and the added result is used to determine the object. The existence and position of the object can be detected as long as at least one of the distance measurement means can measure the presence and position of the object. Therefore, accurate measurement and discrimination can be performed even in a situation where one of the two types of distance measuring means is difficult to measure. Further, even in a situation where both distance measuring means are somewhat difficult to measure, by combining both results, it is possible to make a more accurate determination than when one type of distance measuring means is used. Therefore, the certainty of obstacle recognition can be improved under a wider situation than before.
[0018]
Further, in the second aspect, as the two types of distance measuring means, an apparatus having completely different distance measuring principles, ie, an image processing means and a distance measuring means using a laser radar, are used. With each, accurate measurement can be performed. Therefore, by making a determination based on the result obtained by adding the measurement results of both, an accurate determination can be made under a wider situation.
[0019]
Further, according to claim 3, by voting a value obtained by weighting the measurement result obtained by the highly reliable distance measuring means under the measurement condition, the reliable measurement result is greatly increased in voting on the table. Therefore, if any one of the devices mounted on the vehicle can be measured, an object in front can be accurately detected and measured. In addition, since the ratio of voting values of erroneous measurement values decreases, even if there is a device that mismeasured among the ranging means, the measurement results of other devices can be used to make accurate measurements, and the whole As a result, robust measurement that is not easily affected by the surrounding environment such as the weather is possible.
[0020]
Further, according to
[0021]
Further, according to the fifth aspect, an area where the width of the voting distribution at the position where the object is measured is reflected as a laser radar by increasing the weight of the voting value based on the measurement result of the stereo image processing. Even when combined with a distance measuring unit that is unstable in measuring objects that do not have a surface, the measurement of objects that do not have a reflective surface is reliable. Reliable distance measurement is possible.
[0022]
Further, in the sixth aspect, by reducing the weight in the region where the luminance dispersion is low in the stereo image processing, erroneous measurement due to the stereo image processing can be prevented, and robust measurement is possible.
[0023]
Further, in the seventh aspect of the present invention, in the measurement apparatus using the reflection time of the laser light, the reliability of the measurement result in the low reflection intensity portion is low, so that the measurement value in the low reflection intensity portion is weighted. By adopting a small configuration, it is possible to prevent erroneous measurement due to the distance measuring means using the reflection of the laser beam, and robust measurement is possible.
[0024]
Further, according to
[0025]
DETAILED DESCRIPTION OF THE INVENTION
The present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of an embodiment of the present invention, and exemplifies a case where a stereo image processing using two electronic cameras and a distance measuring device using a laser radar are used as a distance measuring device.
In FIG. 1,
[0026]
In the following, various calculation means and methods used in this embodiment will be described first, and then the overall calculation flow will be described based on a flowchart.
FIG. 2 is a diagram for explaining the principle of obtaining the distance from the camera to the detection target by the principle of triangulation using a stereo image. In FIG. 2, an image captured by the camera A (corresponding to the camera 1) is indicated by an image A, an image captured by the camera B (corresponding to the camera 2) is indicated by an image B, and the position of the detection target is indicated by a point p (x , Y, z).
[0027]
As can be seen from FIG. 2, the focal length f and the interocular distance (distance between both cameras) D are known, and two stereo images taken by two cameras A and B whose optical axes are parallel to each other are If the matching positions ya and yb between the images can be obtained, the distance z from the camera to the object p can be obtained from the following equation (Equation 1).
[0028]
z = f · D / (ya−yb) = f · D / S (Equation 1)
However, ya−yb = S is a parallax, and when an object is imaged by two cameras A and B installed at a predetermined interval with parallel optical axes as shown in FIG. This is the difference between the positions of images taken by the camera, that is, the difference between the position ya in the image A and the position yb in the image B. In this example, the unit of the interocular distance D and the distance z is m, and the unit of the focal length f, the parallax S, and the positions ya and yb is a pixel. For example, the cameras A and B use CCDs, and when the number of pixels is 640 × 480, the size of one pixel is about 10 μm.
[0029]
The above equation (1) is a case where the optical axes of both cameras are parallel to each other and the vertical axes of the imaging surfaces are aligned on the same line, but the horizontal axes of the imaging surfaces are on the same line. When installed so as to be aligned, the following (Equation 1 ′) is obtained.
z = f · D / (xa−xb) = f · D / S (Equation 1 ′)
Where xa−xb = S is parallax
In the following description, the case where the vertical axes of the imaging surfaces are all aligned on the same line will be described as an example.
[0030]
In order to detect the parallax S, the point (xb,) on the other image (eg, image B) corresponding to the point (xa, ya) where the point p is imaged on one image (eg, image A) is detected. It is necessary to detect yb). As the method, the image B can be obtained by searching a range most similar to an image (window) in a certain range including the point (xa, ya) on the image A. This similarity calculation includes a difference method between images and a normalized correlation method. And distance images (images for which parallax up to the object imaged inside each window is obtained) are positions where all defined windows have windows with high similarity to the other by the difference method or normalized correlation method Can be created by seeking.
[0031]
FIG. 3 is a diagram illustrating the result of obtaining the parallax for each corresponding position of both images. Specifically, in an image obtained by imaging the front of the road, one image (for example, image B) is cut for each window, and all of them are cut. In this window, the position of the image having the highest similarity to the window is obtained from the other image (for example, image A), so that the corresponding position in both images is detected, and the parallax for each window is determined from each corresponding position. It shows the obtained result. 3, (A) is a lower image (corresponding to image A), (B) is an upper image (corresponding to image B), (C) is a table of parallax, and (D) is a window portion where the parallax is “15”. (E) shows an image of a road surface on which no preceding vehicle exists. Also, (1) to (20) in FIGS. 3B and 3C show the positions of the windows in the horizontal direction (hereinafter referred to as the horizontal direction). However, in the figure, (1) to (20) are represented by circled numbers. One window has a width (length in the x direction) of xw and a height (length in the y direction) of yw.
As described above, if the parallax for each window is known, the distance to the object imaged in the corresponding window can be obtained by using the equation (1).
[0032]
Hereinafter, as shown in FIG. 3C, an image obtained by obtaining the parallax to the object imaged in each window is called a “distance image”. The parallax calculated for each window corresponds to a line segment that is imaged inside the window and has an edge (the point where the image changes from light to dark or from dark to light is continuous, indicating the edge of the image, etc. This corresponds to the distance to an object having a characteristic part such as (S)), and when one object is imaged across a plurality of windows, the same parallax is obtained in adjacent windows. For example, in the case of a distance image in an image captured in front of a road, the preceding vehicle and the road surface immediately below where the preceding vehicle exists are the same distance, and as shown by the thick line window in FIG. The window on the same y coordinate is calculated with the same parallax as the preceding vehicle. For example, “15” in the second row from the bottom in FIG. 3C is continuous in the horizontal direction, which corresponds to the above portion. In FIG. 3C, the part where the parallax “15” is gathered at the center corresponds to the preceding vehicle, and the part where the parallax “19” is gathered in the columns (3) and (4) is “ This corresponds to the “left tree”, and the portion (6) in which the parallax “5” continues in the row corresponds to the “center tree”. Further, as shown in FIG. 3E, when a road surface where no preceding vehicle is present is imaged, the y coordinate on the image and the distance z on the road imaged at that position are from the bottom to the top of the screen. It gradually becomes far away. That is, a near place is imaged in the lower part of the screen, and a distant area is imaged as it goes on the screen.
[0033]
As described above, when an object having a height in the front exists in the distance image, the same parallax is detected in the window at the x coordinate position where the object is imaged. On the other hand, at a position that does not have a height such as a road surface, such as a white line portion on the side of the vehicle, there is one window where the same parallax is detected on the same x coordinate. That is, when an object is present ahead, the object can be detected by counting the same number of parallaxes in a window in the same x-coordinate direction. According to this method, a plurality of objects and a single object can be detected by the same method, and the object can be detected regardless of the detection target and the background color. In addition, the road surface display such as a white line or a stop line has an advantage that a window showing the same parallax does not appear in the same direction, and thus it is not erroneously detected as a road surface display and an obstacle having a height. In addition, since only the distance image is used, a plurality of objects can be detected by the same process regardless of the color, shape, and background color of the detection target.
[0034]
FIG. 4 shows the position on the image of each small area cut for creating a distance image on the stereo image captured by the
[0035]
In FIG. 4, regions aligned on the same x coordinate defined on the image are images in the same direction. For example, an object (point P) imaged in the third region from the center on the image exists at a position where the angle from the optical axis is about 3 × α (where α is the horizontal direction angle for one region). It is an object. The distance from the camera to the object is obtained from the distance image obtained from the parallax. Therefore, as shown in FIG. 5, the angle (for example, the angle from the optical axis) in the left-right direction (x-axis direction) is parallel to the road surface, and the z-axis direction corresponds to the distance. Presence of a position with a high value in the table by voting for the table position corresponding to the defined position of the area on the distance image and the distance of the area by providing a table of “distance × angle parallel to the road surface” , The distance from the position where the value is high to the obstacle, the position in the horizontal direction, and the width of the object can be obtained. 5A is a perspective view, FIG. 5B is a diagram showing a captured image and a vote value at a distance z = L2 corresponding to the preceding vehicle, and FIG. 5C is a distance × an angle parallel to the road surface (x-axis direction). A voting table consisting of That is, FIG. 5 is a graph showing values in the y-axis direction, with the distance being taken in the z-axis direction and the x-axis being the x-axis direction of the image. This graph is created by voting to the corresponding position in FIG. 5 based on the value of the distance image as shown in FIG. Voting means, for example, an operation of adding y = 1 to x = 2 and z = 3 in the graph when the pixel is on x = 2 and the distance is 3 m.
[0036]
Such an operation is performed on the value of the entire distance image. When an object is present at the front z position, voting is repeated a plurality of times at the position of the distance z of the x coordinate at which the object is imaged, so that the value of that position in the table increases. For example, if there are five values of the distance 3m on the same x = 2 in the distance image value, for example, y = 5. Therefore, if a tall object is present at the same position x, the vote value (histogram height) at that location becomes a large value. On the other hand, on the x coordinate where no object exists, as shown in FIG. 3E, the same distance is not measured on the same x coordinate, so there is no position where the value is high in the table. Therefore, based on the voting result, the presence / absence of an object can be determined from the presence of a position having a large value in the table. Further, the position where the object exists is determined by the position in the x-axis direction of the range xl to xr (xl is the left end of the existence range and xr is the right end) where the vote value is a predetermined threshold value or more in the x-axis direction range. The distance to the object can be obtained from the value of distance z in the table.
[0037]
Specifically, for example, as shown in FIG. 3, a large number of values of the parallax 15 are collected at the position where the preceding vehicle exists, and therefore, as shown in FIGS. 5B and 5C, the value corresponds to the parallax 15. The voting values are collected in the range of the distance L2 at the left end xl and the right end xr. Similarly, the “left tree” in FIG. 5B is located at the second area from the left end and the distance is L1, and the “central tree” is the vote value at the fourth area from the left end and the distance is L3. Becomes larger.
[0038]
Next, FIG. 6 shows a measurement state when the distance in each angular direction is measured by a scanning laser radar that scans one-dimensionally in a direction parallel to the road surface in the same environment as FIG. (A) is a perspective view of the whole, (B) is a diagram showing the reflection intensity and the distance for each one-dimensional direction, (C) is a perspective view showing a voting state, and (D) is a distance × parallel to the road surface. A voting table composed of various angles (angles in the x-axis direction) is shown.
[0039]
In scanning laser radar, the distance to an object existing in each angular direction and the reflection intensity when the object is irradiated with a laser are measured. Since the vehicle has a reflective surface, if there is a vehicle ahead, the reflected light with high intensity returns, and the reflected intensity also leads to the reliability of the measurement result. In other words, in the same manner as the distance image obtained by stereo image processing, the reflection intensity is calculated from the one-dimensional data measured for each angle in the direction parallel to the road surface, for example, at the position of the distance table measured for each direction. By adding the proportional values, it is possible to measure the presence / absence of an obstacle ahead, the distance to the object, and the lateral range angle of the existing range. That is, FIGS. 5A and 6C, FIG. 5C and FIG. 6D are almost the same, and the position and distance of the obstacle in the traveling direction can be detected by the same processing. In the image processing, since the value of the edge portion is large, the histogram at the end portion of the preceding vehicle is high in FIG. 5A. However, since the scanning laser radar measures the distance by reflection from the object, FIG. In C), the height of the histogram is almost the same in the range where the preceding vehicle exists.
[0040]
Next, FIG. 7 is a diagram showing a state in which the same environment as FIG. 5 is measured by a laser range finder having a measurement surface whose measurement surface is parallel to the imaging surface of the camera, and FIG. (B) is a luminance image (reflection intensity), (C) is a distance image, and (D) is a perspective view showing a voting state.
[0041]
The laser range finder is a device that measures the distance in a two-dimensional plane by shaking the scanning of the laser radar shown in FIG. 6 not only in the horizontal direction but also in the vertical direction. In this apparatus, as shown in FIG. 7, a distance image for each angle in the vertical and horizontal directions similar to the distance image obtained by stereo image processing is obtained. From this, by using the distance image measured by the laser range finder and the reflection intensity, voting to the table in the same manner as in FIG. 5, the presence / absence, position, and distance of an obstacle existing ahead are measured. I can do it.
[0042]
FIG. 8 is based on the result of voting performed based on the distance image obtained by the stereo image processing illustrated in FIG. 5A and based on the measurement result of the scanning laser radar illustrated in FIG. It is the figure which showed a mode that the vote result was added. In FIG. 8, the black bar portion indicates the voting result of the stereo image processing shown in FIG. 5A, and the white bar portion indicates the voting result portion in the scanning laser radar shown in FIG. 6C.
[0043]
In FIG. 8, the result of stereo image processing and the result of scanning laser radar are scaled and added so as to be added with a weight of a ratio of about 1: 1. In this way, by adding the voting results of both, for example, if the object is an object that can be measured by scanning laser radar even in an environment where a distance image cannot be obtained by stereo image processing, such as in fog or at night, Since the value of the obstacle location in the table becomes high, the object can be detected. Conversely, even if there is an object that is difficult to measure with scanning laser radar, such as a person with clothes with low reflection intensity, the value in the table will be high if it can be measured with stereo image processing, so detection and measurement are possible. It becomes. Of course, in an environment where both can be measured, the position of the object is further increased, and detection and measurement with higher certainty is possible.
[0044]
In FIG. 8, the case where the stereo image processing and the scanning laser radar are combined is illustrated, but the voting result by the stereo image processing, the distance image obtained by the laser range finder, and the voting result based on the reflection intensity are added. May be.
[0045]
Next, a configuration in which weighting is performed when adding voting results will be described.
Measurement by stereo image processing has high certainty in an environment where the luminance contrast of the entire image is high, but low certainty in an environment with low contrast such as fog or night. In addition, scanning laser radars and laser range finders have advantages and disadvantages that differ depending on the distance measuring device, such as, for example, the reliability of measurement is low for rainy weather or objects with low reflection intensity, depending on the characteristics of the radar. Therefore, if the features of the stereo camera mounted on the vehicle and the environment of the distance measuring device such as the laser radar are learned, and the addition in FIG. 8 is performed, weighting corresponding to the environment is performed according to the respective features. The certainty of obstacle detection can be improved under a wide range of situations. For example, in an environment where the reliability of distance measurement by stereo image processing is high, weighting is performed so as to increase the vote value based on stereo image processing in the addition in FIG. And weight to make it smaller. Further, when the reliability of the measurement value of the laser radar is high, the weighting is performed so as to increase the value based on the measurement of the laser radar. As a result, a value with higher certainty is reflected more greatly in the distance measurement, and conversely, an influence of a value having a possibility of erroneous measurement is reduced, so that the measurement becomes more reliable.
[0046]
Next, a configuration for identifying the detected object from the measurement result will be described.
[0047]
5, 6, and 7 show a state in which the measured values when two trees and one vehicle are ahead are voted on the table. In these results, when the vehicle is measured, since the vehicle body has a relatively strong reflection intensity, the laser light applied to the vehicle usually has a strong reflection intensity. Therefore, the scanning laser radar or the laser range finder can detect the distance to the vehicle within the entire angle (within the range of xl to xr on the distance image) for imaging the vehicle. That is, at the time of voting on the table, as shown in FIGS. 6 and 7, histograms having the same height are formed in the entire range of the vehicle. On the other hand, in the case of stereo image processing, a certain distance is required near both ends of the vehicle including an edge in the region (near x = xl and x = xr), but a certain distance is required inside the vehicle compared to both ends. The number of measured areas is small. That is, in the voting on the table based on the result of the stereo image processing, as shown in FIG. 5, the voting value for both sides of the vehicle is high, and the inside is low compared to both sides. In general, a non-artificial object such as a person or a tree has many edges inside, and therefore, in stereo image processing, the distance can be reliably measured in all areas where the image is captured. Therefore, the vote value for the table at the position where the tree or person is imaged becomes high. However, trees and people can be measured with a laser radar, but since they do not have a metal reflecting surface, they are often weaker than the reflected light from the car body surface. As described above with reference to FIG. 6 and the like, in voting in an apparatus using a laser radar, a value proportional to the reflection intensity is added to the position in the distance table, so the voting value for an object with low reflected light is low. Become. Therefore, the vote value of the position where the tree or the person is detected using the measurement result by the scanning laser radar or the laser range finder is lower than that of the vehicle and is often lower than the result of the stereo image processing. .
[0048]
Summarizing the above results, the measurement results of the scanning laser radar and laser range finder have high reflection intensity (that is, high voting value) and the same value in a wide range of voting values, and stereo image processing In the measurement result, it can be determined that an object whose voting value is high at both ends and whose central portion is low is highly likely to be a vehicle.
[0049]
Moreover, in the measurement results of the scanning laser radar and the laser range finder, the reflection intensity is weak (that is, the vote value is low), and in the measurement result of the stereo image processing, an object having a high vote value in the entire region is a person or a standing tree. It can be judged that the possibility is high. In addition, since people and trees are generally narrower than vehicles and buildings, etc., it is possible to make a determination by adding width information to the vote value.
As described above, the distribution of voting values in the table for each measurement value is characteristic depending on the object. Therefore, by statistically learning this feature, it is possible to recognize an object using the distribution feature.
[0050]
Next, a configuration in which weighting is combined with object identification will be described.
For example, people and trees are often narrower than artificial objects such as vehicles, fences, and buildings. From this, the width of the detected object is obtained from the angle in the x-axis direction of the table, and when the width is narrow, the measured value of the stereo image processing excellent in detecting a person or a tree is weighted and voted. Thereby, detection by voting becomes more reliable. In other words, even when there is an erroneous measurement value due to noise or the like, the voting value can be made higher than the noise by weighting the position where the object is actually detected, so that adverse effects due to noise can be suppressed.
[0051]
Next, a configuration for preventing erroneous detection of an object in stereo image processing will be described.
FIG. 9 is a diagram for explaining a function for preventing erroneous detection of an object. FIG. 9A is a diagram showing images of windows set on a processing target image. FIG. When a star-shaped figure as shown is imaged, (a) in FIG. 9 (A) is a plain window (a portion without an imaged figure), and (b) has an edge only in a direction parallel to the parallax. (C) is a window having edges, and (d) is a window containing noise. The graphs shown under each figure in (a) to (d) are obtained by calculating the parallax by difference matching, and the difference value obtained for each pixel (parallax) is the difference value on the vertical axis and the parallax is on the horizontal axis. The graph shows a state in which a matching position (a position where the difference value is minimum = a position where the similarity is maximum) is obtained by searching for the minimum value from the graph. FIG. 9B is a diagram showing the positions of the windows (a) to (d) defined on the image and the scanning range of the defined windows. FIG. 9C is a diagram showing a state where the luminance dispersion on one line cut in the parallax direction is obtained at a plurality of locations in each of the windows (a) to (d). Further, FIG. 9D is a diagram showing a positional relationship when an object imaged by two cameras and the object imaged on the image.
[0052]
FIG. 9 shows the case where the optical axes of the two cameras are parallel to each other and the horizontal axes of the imaging surfaces are aligned on the same line for convenience of illustration (configuration in which the cameras are arranged in the horizontal direction). ) Shows the parallax detection. Therefore, as described with reference to FIG. 2, the parallax S is S = xa−xb, and the distance z is expressed by the above equation (1 ′). As shown in FIG. 2, when two cameras are arranged in the vertical direction, the parallax is obtained in the vertical direction, so that the parallax is S = ya−yb, but the basic functions are the same. .
[0053]
Moreover, said difference is the sum total of the brightness | luminance difference for every pixel of a reference | standard image and the other image, and similarity becomes large, so that a difference is small. Usually, the similarity and the difference are expressed by the following (Equation 2).
[0054]
[Expression 2]
[0055]
In the above formula (2), x is the luminance of the reference image (image A), x Is the average value of x, y is the brightness of the other image (image B), y Is the average value of y.
[0056]
When two cameras are installed so that the same line on the imaging surface is aligned on the same straight line, the matching positions on the images are on the same line. Thus, the search for similar images can be obtained by shifting one pixel at a time in the parallax direction on the same line as shown in FIG. The parallax of the window is obtained as the difference between the position where the image determined to have the lowest difference value in this operation and the position where the window of the reference image is defined. Further, when the right image is used as the reference image, the matching position with the window defined on the right image is on the right side of the left image with respect to the position defined on the right image as shown in FIG. 9D. . That is, the image search range may be scanned rightward from the position where the window is defined in the right image, and the parallax is shifted from the scanning start point to the matching position. In the example of FIG. 9, it is as shown in the graph of (c) of FIG.
[0057]
As described above, FIG. 9A shows the difference between the difference value (difference between the reference image and the image for which the difference is obtained) and the parallax (reference image and the image for which the difference is obtained) obtained for each pixel in each of the four windows. In the case of difference matching, the position with the smallest difference value is the position with the highest degree of similarity. However, as shown in FIG. 9A, for example, if the window and the search range of the window are both plain images, the difference becomes the same value at any position, so that the parallax cannot be determined. In a real image, there is a small noise even in such a window, so a difference between different values is obtained at each position, and the position of the minimum value is also obtained. In such a case, this position is the parallax of the object. Therefore, if this parallax is used for object detection, it may cause erroneous detection. Further, in a window having only an edge parallel to the parallax as shown in FIG. 9A (b), an edge considered to be a part of the object is imaged, but as in (a), the difference value is scanned. Since all values are the same within the range, the calculated parallax is likely not accurate. That is, it can be said that the parallax obtained in the cases (a) and (b) described above should not be obtained because the possibility of erroneous measurement is high.
[0058]
Hereinafter, a method for removing the cause of the erroneous detection as described above will be described.
FIG. 9C is a diagram illustrating a state in which luminance dispersion on one horizontal line cut in the parallax direction in each window is obtained at a plurality of locations. The luminance dispersion of a horizontal line window cut parallel to the parallax is the same for both a plain window as shown in (a) and a window with edges only in the direction parallel to the parallax as shown in (b). Small value. On the other hand, as shown in (c), the variance is large in the window where the parallax can be calculated.
[0059]
Further, when the luminance distribution of the entire window is calculated, the variance is small in the plain window of (a), but the variance of the window of (b) is large. However, if the variance of one horizontal line is calculated as shown in FIG. 9C, since the variances of both (a) and (b) are reduced, it is possible to accurately detect a window in which parallax calculation is inappropriate. . Thus, by determining whether it is appropriate to obtain the parallax based on the total or average of the variances on one line at a plurality of locations before matching is performed, the erroneous detection window can be removed. At the same time, the amount of calculation can be reduced.
[0060]
In addition, since the parallax is calculated by searching for the position of the minimum value from the difference value graph shown in FIG. 9A, a value close to the minimum value can be seen at a plurality of locations. As in the case of an image having only edges parallel to the direction, the certainty of the obtained parallax is low. For example, in a noisy image such as (d) in FIG. 9 (A), the variance obtained by the method of FIG. 9 (C) described above is large, but the difference value graph is very close to the minimum value. Since the values are obtained at a plurality of locations, it is difficult to determine the parallax from the values. Even if the minimum position of the obtained difference value is used as the parallax, this position is highly likely to be an erroneous correspondence position. Therefore, in such a case, it is better not to obtain parallax. Therefore, the following method is used.
[0061]
As shown in FIG. 9A, when the average value of the difference values obtained within the scanning range and the minimum difference value among them are obtained, if many values close to the minimum value among the entire difference values appear. If the difference between the average value of the differences obtained within the matching range and the minimum value of the differences is small, that is, if the difference between the two values is smaller than a certain threshold value, the parallax obtained in that window is incorrect. It can be determined that the response is high. Therefore, if the parallax determined to have a high possibility of miscorrespondence in the above determination is not used for voting on the table which is the subsequent processing, the detection of the object can be made more reliable. In the graph of FIG. 9A, the vertical axis indicates the difference. However, when the similarity of the reciprocal of the difference is taken, the difference between the maximum value of the similarity and the average value of the similarity is predetermined. If the threshold value is smaller than the threshold value, it is determined that the correspondence is incorrect.
[0062]
As described above, the parallax obtained in the entire matching region image is a black image, the entire image is a white image, or an edge or a texture (pattern, shape, etc.) captured in the image, The possibility of erroneous measurement is very high. The reason why a highly reliable distance is not calculated on the vehicle body surface is based on such a principle.
[0063]
In addition to a certain area in the image such as the body surface, the distance image itself by the stereo image processing may not be accurately obtained depending on an environment such as nighttime without fog or a streetlight. Therefore, voting such measurement values to the table leads to erroneous measurement such as voting to a position where nothing exists. Therefore, when the luminance dispersion on one horizontal line cut in the parallax direction in each window is small in each line, and the difference between the average value of the differences obtained within the matching range and the minimum value of the differences (the maximum similarity) If the difference between the similarity and the average value is small, there is a high possibility of erroneous correspondence. Therefore, it is desirable that the measured value obtained at that position is not reflected in the vote on the table. Specifically, a value in the above range is not used at all (weight = 0), or the weighting value is set to a significantly small value.
[0064]
Considering the luminance dispersion on the image leads to elimination of erroneous measurement, and therefore, it is an effective method for reducing erroneous measurement even in the case of a single stereo image processing. However, when only stereo image processing is used, measurement is impossible unless the measurement value is used as described above. However, in an apparatus that combines stereo image processing and laser radar, the environment described above is used. Below, reliable measurement can be performed by reflecting only the results of other measurement values such as laser radar. Therefore, only erroneous measurement can be reduced without making measurement impossible.
[0065]
In the above description, the case where only the measurement value of the laser radar is used without using the measurement value of the stereo image processing is described, but the reverse is also possible. That is, in a distance measuring device using light reflection time, such as a laser radar, if the object to be measured is an object that absorbs light, there is no reflected light, making measurement difficult. Normally, there is almost no light that absorbs 100% of light on the road or other environment, so some reflected light is measured, but the measured value with low reflection intensity is low in reliability and mismeasures the distance. Probability is high. Therefore, the intensity is measured simultaneously with the measurement distance for each scanning angle, and when the intensity of the light is lower than a predetermined value, the measurement value at that position is not reflected in the vote on the table. Specifically, a value in the above range is not used at all (weight = 0), or the weighting value is set to a significantly small value. In this case, only the measurement value of the stereo image processing is almost used. Thereby, erroneous measurement by the laser radar can be prevented.
[0066]
Next, in the description so far, the apparatus using the stereo image processing and the laser radar has been described. However, a case in which the millimeter wave radar is used instead of or in addition to any one of them will be described.
The millimeter-wave radar has a feature that it can measure distances to surrounding objects even when it cannot be measured by stereo image processing or laser radar, such as foggy, rainy or dark. However, in general, millimeter wave radar does not perform fine scanning like laser radar, so compared to measurement using stereo image processing that can obtain finer resolution than laser radar by scanning laser radar and scanning line scanning, There is a problem that the lateral detection angle resolution is coarse. Therefore, in bad weather that cannot be measured by other devices, the voting weight based on the measurement result by the millimeter wave radar is increased. On the other hand, in an environment where high-accuracy measurement by stereo image processing or laser radar is possible, the weight of the vote value based on the measurement value of the millimeter wave radar is set to be small. There are three possible combinations: stereo image processing and millimeter wave radar, laser radar and millimeter wave radar, stereo image processing, laser radar and millimeter wave radar. With the above-described configuration, it is possible to measure with high accuracy without being affected by the measurement with coarse resolution under strong weather and in good weather.
[0067]
Next, an embodiment will be described in which the position measurement of an object ahead and the object recognition are performed using the various methods described so far.
FIG. 10 is a side view showing a configuration in which two
[0068]
FIG. 11 is a diagram showing the flow of processing in this embodiment.
In FIG. 11, first, in step S101, the images A and B from the two
[0069]
Next, in step S103, a distance image is created using a stereo image (see the description of FIG. 3). In this distance image creation, before obtaining the parallax for each region, first, the luminance variance for each region defined on the image is obtained, and the parallax is calculated only for the portion where the variance is equal to or greater than the threshold (see FIG. 9). See description). By performing such pre-processing, only the measurement value in the highly reliable stereo image processing is used for the subsequent voting. Further, in a region where the variance is greater than or equal to a threshold value, a matching position (parallax) between stereo images is obtained, and a distance for each region is obtained. For this, a general method such as a normalized correlation method between images or a difference method may be used.
[0070]
Next, in step S104, the distance × horizontal table is voted using each of the distance image obtained by the stereo image processing and the distance image measured by the laser range finder (description of FIGS. 5 and 8). reference).
Here, first, voting is performed using a distance image obtained by stereo image processing. As described with reference to FIG. 5, focusing on each area of the distance image, the horizontal position of the table is an angle in the x-axis direction of the area, and the vertical position is a position where the distance z is calculated in the area. The process of adding the vote value to is repeated. For example, if there is a detected value in an area where the distance is determined as L2 in an area defined as a position where the horizontal direction is 3, the vote is given to a position where the horizontal direction in the table is 3 and the distance z is L2. Here, the vote value added to the table may be weighted according to the environment described later, or may be +1. Such an operation is performed in all areas where the distance is calculated in the distance image creation of the stereo image processing.
[0071]
The same operation is performed using the distance image measured by the laser range finder. However, in general, the angle of one region in the x-axis direction obtained by stereo image processing (α in FIGS. 4 and 5) and the scanning angle that moves for each measurement of the laser range finder (θ in FIGS. 6 and 7). ) Are different, it is necessary to convert so that values measured in the same direction in real space are voted at the same position in the table when voting on the table. To do so, the following calculation should be performed. That is, as shown in FIG. 4, the position in the x direction of the region on the image where the point P having the distance z from the camera and the distance xp from the optical axis of the camera to the x axis is imaged. (This is the nth region). Assuming that the range angle captured in one region on the image is α and the region where the optical axis is captured is 0th, and the position where the point P is captured is the nth region from the optical axis, n is The following equation (3) is used.
n = xp / (α × z) (Equation 3)
However, since α is a minute angle, tan α≈α.
[0072]
Further, the correspondence between the position on the image obtained by measuring the distance to the point P and the reflection intensity on the luminance image measured by the laser range finder and the position of the region cut on the image taken by the stereo camera is obtained. As shown in FIG. 7, it is assumed that the scanning angle that moves every sampling in the horizontal direction of the laser range finder is θ, and the measured value of the central axis of the laser range finder is zero. Assuming that the position where the point P is measured in the distance image of the laser range finder is m-th from the central axis, the relationship of the following formula (4) is established between n and m. However, since θ is a small angle, tan θ≈θ is set.
[0073]
n = m · (θ / α) (Equation 4)
In the laser range finder, the above equation (Equation 4) indicates that a point measured at the nth position in the horizontal direction from the central axis is measured in the mth region in stereo image processing. In the voting using the distance image measured by the laser range finder, the voting to the table is added after the conversion of the horizontal position according to the equation (4). As a value to be added, a value proportional to the reflection intensity at the position is added. At this time, in an environment where both the stereo image processing and the laser range finder can be measured, the value of the vote value between the laser range finder and the stereo image processing may be a value of 1: 1. That is, in this case, both weights are 1.
[0074]
Here, an example of a method for defining a vote value will be described. For example, an angle formed by a vertical direction (β in FIG. 4) captured in one region of a stereo image distance image is 1 degree, and a vertical scanning angle when obtaining data for one laser range finder (see FIG. Considering that the voting weights of both are the same when (φ of 7) is twice that of twice. At this time, if an object to be imaged exists in the range of the vertical angle of view of 10 degrees, voting is performed up to 10 times at the same position in the table in stereo image processing and up to 5 times in the laser range finder. That is, if the voting value of the stereo image processing result is “1” per distance and the voting value of the laser range finder measurement result is “2” per distance, the maximum voting value is the same for both. Become. In this way, if the voting values are such that the maximum values voted when objects measured within the same angle of view are the same, the ratio between the two voting values becomes 1: 1.
[0075]
Next, in step S105, the presence / absence of the object and the position of the object are obtained from the voting result of the entire distance image measured by the stereo image processing and the laser range finder. The presence / absence of an object can be determined from the presence / absence of a position having a vote value equal to or greater than a threshold value from the table. Further, the position of the object can be obtained by the reverse calculation of Equation (3). For example, it is assumed that a value equal to or greater than the threshold value is voted at a position in the table with a distance zp and a horizontal direction n. The distance of the object detected at this position is obtained as zp from the table. Further, the horizontal position xp (see FIG. 4) of the object with respect to the optical axis of the camera is calculated as xp = n × α × zp (α: one region defined in the table) by the inverse calculation of Equation (3). The angle of view in the horizontal direction to be imaged). If there are a plurality of points above the threshold in the table, it can be seen that there are a plurality of objects ahead, and the respective positions can be obtained by the same method as described above. In addition, when a value equal to or greater than the threshold exists as a lump on the same distance, it can be determined as one object, and both ends of the lump are object ends.
[0076]
Next, the weighting in voting in step S104 will be described. In FIG. 11, although the weighting step is not described, a step of weighting each measured value is provided after steps S103 and S102, and voting in step S104 may be performed based on the result.
[0077]
In the above description, the stereo image processing and the measurement value of the laser range finder are normally defined to have a one-to-one weight. However, a weight corresponding to the weather is given based on the characteristics of the apparatus. For example, in different weather conditions such as rainy days, sunny daylight, sunny daylight, and cloudy days, an object existing at a known position is measured by both laser range finder and stereo image processing. From the magnitude of error with respect to the true value, the magnitude of variance of the measured value, etc., the weight of the voting value is increased for the apparatus capable of measuring the variance close to the true value, and vice versa, the weight is reduced. Accordingly, in a scene where there are many erroneous measurements in stereo image processing such as backlight, an accurate result can be obtained by increasing the weight of the measurement result of the laser range finder in which the accurate measurement is performed. Conversely, in an environment where measurement of the laser range finder is unstable and erroneous measurement is performed, robust measurement that is not easily affected by the weather conditions can be achieved by increasing the weight of measurement in stereo image processing. In addition, by using not only the weather change but also other environmental changes as a reference for determining the weight of the vote value, it is possible to make it less susceptible to other scenes by the same method.
[0078]
Further, how to assign voting weights based on the features of the stereo image processing and laser range finder apparatus will be described. In stereo image processing, if the image is plain (no edge), the distance cannot be calculated in principle. Therefore, if the luminance dispersion in the area image for which the distance is calculated is small, there is a possibility of erroneous measurement. Is high (see the description of FIG. 9). For this reason, the value obtained at the position where the luminance variance is equal to or less than the threshold value is set to a weight of 0 or a weight of 0.5 to 0.1, depending on the reliability of the measured value. Reduce the weight. As a result, a value with a high possibility of erroneous measurement is not reflected in the table. In addition, the laser range finder often has a measurement impossible value or an erroneous measurement value when it is far away from the laser radar or when an object that absorbs light is irradiated. For this reason, the reflection intensity in that direction is also measured for each scanning direction, and the measured value at a position where the intensity is low is set to a weight of 0, or the weight is set to 0.5 to 0.5 as in the stereo image processing. Weight is set according to reliability, such as 0.1. This prevents erroneous measurement values from significantly affecting the table vote.
[0079]
Hereinafter, a specific method of weighting will be described. The normal weight is 1.
(1) Since the laser range finder and scanning laser radar are vulnerable to rain, fog, and snow, they are weighted as follows.
(1a) The weight of the laser radar is reduced according to the operation stage of the wiper of the vehicle. For example, the weight is 1 when the wiper is not operated, 0.8 is set for the low speed operation, 0.6 is set for the medium speed operation, and 0.4 is set for the maximum speed operation.
(1b) The weight of the laser radar is reduced by the amount of rainfall (snow) at the relevant point and time obtained from VICS (Vehicle Information Communication System). For example, when the rainfall amount is 0, the weight is 1, and when there is a rainfall (snow) amount, the weight is inversely proportional to the rainfall amount. For example, the value is 1/5 for 50 mm, 1/10 for 100 mm, and 1/20 for 200 mm.
(1c) The weight of the laser radar is changed according to whether the fog lamp is on or off. For example, the weight is set to 1 when the fog lamp is OFF, and the weight is set to 0.1 or 0 when the fog lamp is ON.
(1d) Check the accuracy rate of laser radar ranging at a known position according to the weather, and use the accuracy rate as a weight. For example, the correct answer rate is checked according to different rainfalls, the rainfall information is obtained from VICS, and the correct answer rate obtained at the time of the rainfall is used as a weight. For example, if the accuracy rate is 20% when the rainfall is 100 mm and the accuracy rate is 50% when the rainfall is 50 mm, the weight when the rainfall is 100 mm is 0.2, and the weight when the rainfall is 50 mm is 0.5.
[0080]
(2) Since stereo image processing is weak against heavy rain, heavy snow, fog, and backlight (however, it is better than laser radar for rain), the following weighting is applied.
(2a) The weight of stereo image processing is reduced according to the rain, snow, and fog at the point and time obtained from VICS. For example, the weight is set to 1 when there is no rain (snow), and the weight is reduced by the same method as the laser radar when it is raining.
(2b) In the case of a combination in which both stereo image processing and laser radar are mounted, the weight at the time of raining is reduced, but the weight is larger than that of laser radar (for example, the weight of laser radar × 1.5). And In this way, the measurement result of the millimeter wave radar can be used effectively in the case of an apparatus to which a millimeter wave radar described later is added.
(2c) When information that becomes backlit, such as when heading west in the evening or heading east at dawn, is obtained from a clock and a direction measuring device such as a navigation or gyroscope, Reduce the weight of image processing.
(2d) According to the weather, the measurement accuracy rate in stereo image processing is checked at a known position, and the accuracy rate is set as a weight.
(2e) Similar to the laser radar described in (1) above, in a different fog state, each of which is weighted with a correct answer rate for each transmittance as in the case of rainfall, or in different weather such as fog, rain, and snow The correct answer rate at that time can be used as a weight according to the weather obtained from VIGS.
[0081]
(3) Weights are assigned as follows based on the state of stereo image processing or laser radar detection.
(3a) The distance value measured at the portion where the variance value in the image in the stereo image processing is equal to or less than the threshold value has a weight of zero.
(3b) The distance value measured in the portion where the reflection intensity of the laser radar is equal to or less than the threshold value is set to zero.
(3c) When the variance of the entire image is low (below the threshold value), the weight of the measurement value of the stereo image processing is set to a small value such as 0.2.
(3d) When there are many places where the detected values in the same direction of the scanning laser radar are unstable continuously in time (for example, about half of the threshold value), there are many cases of noise due to rain or the like. Reduce the weight. For example, the number of noises / total number of data is used as a weight. As a specific example, when the number of data determined as noise by the scanning laser radar that obtains 80 data in one scan is 40, the weight is set to 1/2 = 0.5.
Each of the above weights can be applied in combination depending on the situation. The weighting is performed by multiplying the measured value by the above numerical value. For example, a weight of 0.5 means that a value obtained by multiplying a measured value by 0.5 is voted.
[0082]
Next, an example in which an object is recognized will be described. In FIG. 11, the object recognition step is not shown, but an object recognition step may be provided after step S105.
As can be seen from the voting results shown in FIGS. 5 to 7, the distribution of voting values at locations where a vehicle is detected and the distribution of voting values at locations where a tree is detected are the presence or absence of edges and the strength of reflection intensity. Each has its own characteristics. From this, for example, learning the distribution shape of the voting results to the table when different objects at known positions are measured by laser range finder and stereo image processing, various objects such as vehicles, people, trees, etc. Can be recognized and discriminated by configuring the voting result pattern to match the voting result pattern with the voting result of the table measured by the recognition target image. . The pattern matching may be a general recognition device such as a normalized correlation between shapes of voting results or discriminant analysis.
[0083]
Further, a voting weighting method for ensuring the measurement will be described based on the recognition of the object. Usually, since trees and people have an elongated shape, an object that exists on the road and has a narrow distribution of voting results has a high probability of being a person or a tree. While people and trees often have low reflection intensity, they often contain many edges. For this reason, at the time of voting, it is preferable to make a vote by increasing the weight of the result of stereo image processing at a position recognized as a person or a tree.
[0084]
Next, a description will be given of a method for improving performance under bad weather, which tends to be a problem in a distance measuring device using stereo image processing or laser radar.
1 and 11 show the case of using stereo image processing and a laser range finder or scanning laser radar, but it is possible to measure in rain, fog or darkness instead of or in addition to any of them. It is possible to respond by installing a simple millimeter wave radar. As a configuration, a configuration in which a millimeter wave radar is added to the configuration in FIG. 1, a configuration in which a millimeter wave radar is provided in place of the
[0085]
Laser radar and stereo image processing can determine the reliability of distance measurement by these devices based on the reflection intensity and the magnitude of luminance dispersion in the image. Therefore, if the reliability of these devices is low over the entire scanning range, they are judged to be in bad environments and in bad weather where measurement is unstable. The voting value based on the measurement result is weighted. As a result, measurement can be performed even in an adverse environment without being adversely affected by erroneous measurement by a device that cannot be measured in an adverse environment. However, the millimeter wave radar has a problem that the measurement resolution in the lateral direction is rough while it can be measured even in a bad environment. Therefore, in a highly reliable environment such as stereo image processing and a laser range finder, the weight of the vote value based on the measurement value by the millimeter wave radar is reduced in order to maintain the horizontal resolution with high accuracy. As a result, it is possible to support measurement under bad weather while maintaining high-precision measurement under good weather.
[0086]
As a specific example of weighting in a device to which a millimeter wave radar is added, the following configuration is conceivable. In other words, the millimeter wave radar is strong in bad weather but has low accuracy. Therefore, according to the weather obtained from VICS, the amount of rainfall (snow) is equal to or greater than a threshold (for example, the weight of another distance measuring device is 0. In the case of 5 or less), the measurement value weight of the millimeter wave radar is set to 1. When the amount of rainfall (snow) is 0, the weight of the measurement value of the millimeter wave radar is set to a small value of about 0.5 or less. Thereby, in favorable weather, it can be avoided that a coarse value of resolution by the millimeter wave radar is reflected in the result.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration in an embodiment of the present invention.
FIG. 2 is a diagram for explaining a principle for obtaining a distance from a camera to a detection target by using a stereo image by a principle of triangulation.
FIG. 3 is a diagram illustrating a result of obtaining a parallax for each corresponding position of both images.
FIG. 4 is a diagram showing a positional relationship between an image of each small area cut for creating a distance image on a stereo image and an object in real space imaged in the area; Yes, (A) is a perspective view seen from the front, (B) is a plan view seen from above, (C) is a side view.
5A is a perspective view, FIG. 5B is a perspective view, FIG. 5B is a diagram illustrating a voted value at a distance z = L2 corresponding to a captured image and a preceding vehicle, and FIG. A voting table consisting of distance x angle parallel to the road surface (angle in the x-axis direction).
6A and 6B are diagrams showing a measurement state by a scanning laser radar, where FIG. 6A is a perspective view of the whole, FIG. 6B is a diagram showing reflection intensity and distance in one-dimensional direction, and FIG. 6C is a voting state. The perspective view shown, (D) is a table for voting consisting of an angle parallel to the road surface x (angle in the x-axis direction).
7A and 7B are diagrams showing a measurement state by a laser range finder, where FIG. 7A is an overall perspective view, FIG. 7B is a luminance image, FIG. 7C is a distance image, and FIG. 7D is a perspective view showing a voting state. .
FIG. 8 is a diagram illustrating a state in which a voting result obtained by a scanning laser radar is added to a voting result obtained by stereo image processing.
FIGS. 9A and 9B are diagrams for explaining a function for preventing erroneous detection of an object, in which FIG. 9A is a diagram showing an image of each window set on a processing target image, and FIG. 9B is a window defined on the image; (C) is a diagram showing the positions of and the scanning ranges of those defined windows, (C) is a diagram showing the state in which the luminance dispersion on one line cut in the parallax direction is obtained at a plurality of locations in each window, (D) FIG. 3 is a diagram illustrating a positional relationship when an object captured by two cameras and the object are captured on an image.
FIG. 10 is a side view showing a configuration in which two
FIG. 11 is a diagram showing a flow of processing in one embodiment.
[Explanation of symbols]
1, 2 ...
5 ...
7. Scanning laser radar or laser range finder
8 ... Image memory
Claims (8)
z軸方向が自車両からの距離、x軸方向が路面に平行で走行方向を基準とした位置、y軸方向が投票値を示す表と、
前記少なくとも2種類の測距手段でそれぞれ計測した結果に基づいて、物体が検知された前記表の該当するそれぞれの位置に投票する投票手段と、
前記投票手段による投票結果から、表中の投票値が所定のしきい値以上の個所を探索し、その個所に物体が存在すると判断する判断手段と、
を備え、それぞれの測距手段における物体が検知された計測値を加算した結果に基づいて物体の存在を判断することを特徴とする障害物認識装置。It is mounted on a vehicle and detects an object existing ahead by performing measurement processing on a one-dimensional direction perpendicular to the traveling direction and parallel to the road surface or a two-dimensional plane perpendicular to the traveling direction. At least two different ranging means;
a table in which the z-axis direction is the distance from the host vehicle, the x-axis direction is parallel to the road surface and the position is based on the traveling direction, and the y-axis direction is the vote value;
Voting means for said at least two distance measuring means based on the result of measurement, respectively, to vote to the appropriate position of each of the table object is detected,
From the voting result by the voting means, search for a place where the voting value in the table is equal to or greater than a predetermined threshold, and judging means for judging that an object exists at the place;
An obstacle recognition apparatus comprising: determining the presence of an object based on a result obtained by adding measurement values obtained by detecting objects in the respective distance measuring means .
前記測距手段の他の1つは、走行方向に対して垂直で路面に平行な1次元方向または走行方向に垂直な2次元平面に対してレーザ光で走査を行ない、走査方向または走査面の各領域ごとに距離と反射強度とを検出するレーザレーダを用いた測距手段であり、
前記投票手段は、前記画像処理手段で距離が検出された領域の距離と位置に対応する前記表の位置に順次所定値を投票し、かつ、前記レーザレーダを用いた測距手段で距離が検出された領域の距離と位置に対応する前記表の位置に、その領域の反射強度に比例する値を順次投票するものであり、
前記判断手段は、前記画像処理手段の結果と前記レーザレーダを用いた測距手段の結果とが加算された投票の結果について、表中の投票値が所定のしきい値以上の個所を探索し、その個所に物体が存在すると判断するものである、ことを特徴とする請求項1に記載の障害物認識装置。One of the distance measuring means performs stereo image processing on an image captured by two electronic cameras installed so that the optical axes are parallel to each other and face the traveling direction, thereby setting each image set to an image. Image processing means for detecting distance and brightness for each region;
The other distance measuring means performs scanning with a laser beam on a one-dimensional direction perpendicular to the traveling direction and parallel to the road surface or a two-dimensional plane perpendicular to the traveling direction. Ranging means using a laser radar that detects the distance and reflection intensity for each region,
The voting means sequentially votes a predetermined value to the position of the table corresponding to the distance and position of the area where the distance is detected by the image processing means, and the distance is detected by the distance measuring means using the laser radar. In order to vote the value in proportion to the reflection intensity of the region to the position of the table corresponding to the distance and position of the region,
The determination means searches for a place where the vote value in the table is equal to or greater than a predetermined threshold for the vote result obtained by adding the result of the image processing means and the result of the distance measurement means using the laser radar. The obstacle recognizing apparatus according to claim 1, wherein it is determined that an object exists at the location.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13544599A JP3669205B2 (en) | 1999-05-17 | 1999-05-17 | Obstacle recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13544599A JP3669205B2 (en) | 1999-05-17 | 1999-05-17 | Obstacle recognition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000329852A JP2000329852A (en) | 2000-11-30 |
JP3669205B2 true JP3669205B2 (en) | 2005-07-06 |
Family
ID=15151897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP13544599A Expired - Fee Related JP3669205B2 (en) | 1999-05-17 | 1999-05-17 | Obstacle recognition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3669205B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018506700A (en) * | 2014-11-05 | 2018-03-08 | シエラ・ネバダ・コーポレイション | System and method for generating an improved environmental display for a mobile |
US10670726B2 (en) | 2014-02-25 | 2020-06-02 | Ricoh Company, Ltd. | Distance measuring device and parallax calculation system |
Families Citing this family (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002189075A (en) * | 2000-12-20 | 2002-07-05 | Fujitsu Ten Ltd | Method for detecting stationary on-road object |
JP3718747B2 (en) * | 2001-04-27 | 2005-11-24 | 日産自動車株式会社 | Vehicle travel control device |
JP3880837B2 (en) * | 2001-11-02 | 2007-02-14 | 富士重工業株式会社 | Outside monitoring device |
JP3736463B2 (en) * | 2002-01-23 | 2006-01-18 | 石川島播磨重工業株式会社 | Pedestrian response signal control method |
JP4032843B2 (en) * | 2002-06-25 | 2008-01-16 | 富士重工業株式会社 | Monitoring system and monitoring method, distance correction device and distance correction method in the monitoring system |
JP4150218B2 (en) * | 2002-06-25 | 2008-09-17 | 富士重工業株式会社 | Terrain recognition device and terrain recognition method |
JP4155780B2 (en) | 2002-09-19 | 2008-09-24 | 富士通テン株式会社 | Image processing method |
JP4265931B2 (en) * | 2003-05-22 | 2009-05-20 | 富士重工業株式会社 | Leading vehicle detection device |
JP4402400B2 (en) | 2003-08-28 | 2010-01-20 | オリンパス株式会社 | Object recognition device |
JP3948450B2 (en) * | 2003-10-20 | 2007-07-25 | 日産自動車株式会社 | Object detection apparatus and object detection method |
JP4255398B2 (en) * | 2004-03-31 | 2009-04-15 | ダイハツ工業株式会社 | Obstacle detection method and obstacle detection device |
JP2006090957A (en) * | 2004-09-27 | 2006-04-06 | Nissan Motor Co Ltd | Surrounding object detecting device for moving body, and surrounding object detection method for moving body |
JP4426436B2 (en) * | 2004-12-27 | 2010-03-03 | 株式会社日立製作所 | Vehicle detection device |
JP4598653B2 (en) | 2005-05-13 | 2010-12-15 | 本田技研工業株式会社 | Collision prediction device |
WO2006123615A1 (en) | 2005-05-19 | 2006-11-23 | Olympus Corporation | Distance measuring apparatus, distance measuring method and distance measuring program |
JP4918676B2 (en) * | 2006-02-16 | 2012-04-18 | 国立大学法人 熊本大学 | Calibration apparatus and calibration method |
JP2007240276A (en) * | 2006-03-07 | 2007-09-20 | Olympus Corp | Distance measuring device/imaging device, distance measuring method/imaging method, distance measuring program/imaging program, and storage medium |
JP4857840B2 (en) * | 2006-03-22 | 2012-01-18 | 日産自動車株式会社 | Object detection method and object detection apparatus |
JP4830604B2 (en) * | 2006-04-17 | 2011-12-07 | 日産自動車株式会社 | Object detection method and object detection apparatus |
JP4857909B2 (en) * | 2006-05-23 | 2012-01-18 | 日産自動車株式会社 | Object detection method and object detection apparatus |
JP2008008679A (en) * | 2006-06-27 | 2008-01-17 | Toyota Motor Corp | Object detecting apparatus, collision predicting apparatus and vehicle controlling apparatus |
JP4452951B2 (en) * | 2006-11-02 | 2010-04-21 | 富士フイルム株式会社 | Distance image generation method and apparatus |
JP5145585B2 (en) * | 2007-06-08 | 2013-02-20 | 国立大学法人 熊本大学 | Target detection device |
JP4413957B2 (en) * | 2007-08-24 | 2010-02-10 | 株式会社東芝 | Moving object detection device and autonomous moving object |
JP2009168751A (en) * | 2008-01-18 | 2009-07-30 | Toyota Motor Corp | Obstacle detection system and obstacle detection method |
WO2010070701A1 (en) * | 2008-12-15 | 2010-06-24 | トヨタ自動車株式会社 | Object measuring device and method used for the device |
JP5429986B2 (en) * | 2009-12-25 | 2014-02-26 | 株式会社Ihiエアロスペース | Mobile robot remote environment recognition apparatus and method |
JP2013140515A (en) * | 2012-01-05 | 2013-07-18 | Toyota Central R&D Labs Inc | Solid object detection device and program |
JP5993597B2 (en) * | 2012-03-29 | 2016-09-14 | 株式会社デンソーウェーブ | Target moving object detection method |
JP6180065B2 (en) * | 2013-10-30 | 2017-08-16 | 川崎重工業株式会社 | Object position detection apparatus and method |
JP6540009B2 (en) | 2013-12-27 | 2019-07-10 | 株式会社リコー | Image processing apparatus, image processing method, program, image processing system |
JP6467776B2 (en) | 2014-03-13 | 2019-02-13 | 株式会社リコー | Ranging system, information processing apparatus, information processing method, and program |
JP6453571B2 (en) * | 2014-07-24 | 2019-01-16 | 株式会社Soken | 3D object recognition device |
CN107207013B (en) | 2014-12-12 | 2020-01-21 | 索尼公司 | Automatic driving control apparatus, automatic driving control method, and program |
JP6333412B2 (en) * | 2014-12-26 | 2018-05-30 | 三菱電機株式会社 | Obstacle detection device |
JP6058072B2 (en) * | 2015-05-29 | 2017-01-11 | 三菱電機株式会社 | Object identification device |
JP6753134B2 (en) * | 2015-07-07 | 2020-09-09 | 株式会社リコー | Image processing device, imaging device, mobile device control system, image processing method, and image processing program |
US10591594B2 (en) * | 2015-09-30 | 2020-03-17 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP6623044B2 (en) * | 2015-11-25 | 2019-12-18 | 日立オートモティブシステムズ株式会社 | Stereo camera device |
JPWO2017138155A1 (en) * | 2016-02-12 | 2018-12-06 | パイオニア株式会社 | Information processing apparatus, control method, program, and storage medium |
JP6918509B2 (en) * | 2017-02-14 | 2021-08-11 | 株式会社デンソー | Information processing device |
JP7062878B2 (en) * | 2017-03-27 | 2022-05-09 | 沖電気工業株式会社 | Information processing method and information processing equipment |
CN113466822B (en) * | 2017-07-04 | 2024-06-25 | 百度在线网络技术(北京)有限公司 | Method and device for detecting obstacles |
KR102299825B1 (en) * | 2017-10-11 | 2021-09-08 | 현대모비스 주식회사 | Apparatus for detecting obstacle in vehicle and control method thereof |
JP7176406B2 (en) * | 2018-01-23 | 2022-11-22 | 株式会社リコー | image processing method, image processing device, in-vehicle device, moving object, system |
JP6723491B2 (en) | 2018-03-12 | 2020-07-15 | 三菱電機株式会社 | Fog identification device, fog identification method, and fog identification program |
DE112018007036B4 (en) | 2018-03-12 | 2022-12-08 | Mitsubishi Electric Corporation | FOG DETERMINATION DEVICE, FOG DETERMINATION PROCEDURE AND FOG DETERMINATION PROGRAM |
JP7196412B2 (en) * | 2018-04-09 | 2022-12-27 | 株式会社デンソー | Object recognition device and object recognition method |
JP2019203774A (en) * | 2018-05-23 | 2019-11-28 | 酒井重工業株式会社 | Obstacle detector for construction vehicle |
JP2022017619A (en) * | 2018-11-20 | 2022-01-26 | コニカミノルタ株式会社 | Image analysis device, image analysis system, and control program |
JP7173872B2 (en) * | 2019-01-11 | 2022-11-16 | 株式会社神戸製鋼所 | Ranging device and ranging method |
CN111830470B (en) * | 2019-04-16 | 2023-06-27 | 杭州海康威视数字技术股份有限公司 | Combined calibration method and device, target object detection method, system and device |
CN109952857B (en) * | 2019-04-22 | 2024-04-05 | 山东交通学院 | Orchard mower capable of automatically completing mowing operation and method |
US20220206103A1 (en) * | 2019-05-13 | 2022-06-30 | Nec Corporation | Location estimation system, location estimation method, program, and recording medium |
JP7312089B2 (en) * | 2019-11-12 | 2023-07-20 | 株式会社豊田中央研究所 | Measuring device |
CN111290383B (en) * | 2020-02-13 | 2023-09-19 | 山东汇贸电子口岸有限公司 | Method, device and system for controlling movement of mobile robot |
JP7363575B2 (en) | 2020-02-27 | 2023-10-18 | 株式会社デンソー | object detection device |
JP7459560B2 (en) * | 2020-02-27 | 2024-04-02 | 株式会社デンソー | object detection device |
JP2020165985A (en) * | 2020-06-16 | 2020-10-08 | パイオニア株式会社 | Information processing device, control method, program, and storage medium |
JP7505312B2 (en) | 2020-07-29 | 2024-06-25 | 株式会社リコー | Light projection device, object detection device, and moving body |
JP7519928B2 (en) | 2021-02-02 | 2024-07-22 | 三菱電機株式会社 | Vehicle tracking system and vehicle tracking method |
JP2022152835A (en) * | 2021-03-29 | 2022-10-12 | 京セラ株式会社 | Information processor, vehicle, roadside machine, and information processing method |
WO2024042607A1 (en) * | 2022-08-23 | 2024-02-29 | 日立Astemo株式会社 | External world recognition device and external world recognition method |
CN118226457A (en) * | 2024-05-27 | 2024-06-21 | 同济大学 | Pavement disease amount accurate statistical method based on single-point laser ranging radar |
-
1999
- 1999-05-17 JP JP13544599A patent/JP3669205B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10670726B2 (en) | 2014-02-25 | 2020-06-02 | Ricoh Company, Ltd. | Distance measuring device and parallax calculation system |
JP2018506700A (en) * | 2014-11-05 | 2018-03-08 | シエラ・ネバダ・コーポレイション | System and method for generating an improved environmental display for a mobile |
Also Published As
Publication number | Publication date |
---|---|
JP2000329852A (en) | 2000-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3669205B2 (en) | Obstacle recognition device | |
EP0747870B1 (en) | An object observing method and device with two or more cameras | |
JP3822515B2 (en) | Obstacle detection device and method | |
JP3596314B2 (en) | Object edge position measuring device and moving object traffic judging device | |
US7545956B2 (en) | Single camera system and method for range and lateral position measurement of a preceding vehicle | |
US6963661B1 (en) | Obstacle detection system and method therefor | |
JP3307335B2 (en) | Vehicle region detection device and vehicle region verification method | |
US8908038B2 (en) | Vehicle detection device and vehicle detection method | |
US7876926B2 (en) | Lane marker detection and fitting methods | |
JP5297078B2 (en) | Method for detecting moving object in blind spot of vehicle, and blind spot detection device | |
JP6667065B2 (en) | Position estimation device and position estimation method | |
JP5145585B2 (en) | Target detection device | |
JP3596339B2 (en) | Inter-vehicle distance measurement device | |
JP2004112144A (en) | Front car tracking system and method for tracking front car | |
US20020191837A1 (en) | System and method for detecting obstacle | |
JP3674400B2 (en) | Ambient environment recognition device | |
JP2007255979A (en) | Object detection method and object detector | |
WO2020196513A1 (en) | Object detection device | |
JP2007114831A (en) | Object detection device | |
JP3729025B2 (en) | Pedestrian detection device | |
JP3690260B2 (en) | Vehicle distance measurement method | |
EP4024330A1 (en) | Object recognition method and object recognition device | |
JP2004235711A (en) | Target tracking system and method therefor | |
JP3740531B2 (en) | Parked vehicle detection method, detection system, and parked vehicle detection device | |
JPH05113482A (en) | Rear end collision prevention device mounted on car |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041012 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050404 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090422 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090422 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100422 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110422 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120422 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130422 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130422 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |