JP3995846B2 - 物体認識装置 - Google Patents
物体認識装置 Download PDFInfo
- Publication number
- JP3995846B2 JP3995846B2 JP26962799A JP26962799A JP3995846B2 JP 3995846 B2 JP3995846 B2 JP 3995846B2 JP 26962799 A JP26962799 A JP 26962799A JP 26962799 A JP26962799 A JP 26962799A JP 3995846 B2 JP3995846 B2 JP 3995846B2
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- distance
- storage unit
- window
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
- Measurement Of Optical Distance (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、自動車などの車両に搭載されたステレオカメラを用いて、前方の物体を検出する光学式の物体認識装置に関し、より具体的には、撮像された画像における複数のウィンドウを用いて、物体を認識する物体認識装置に関する。
【０００２】
【従来の技術】
近年、車両走行の安全性を向上させるため、自車両の前方にある物体の距離や大きさを判別し、これに応じて車両を適切に制御する装置が提案されている。
【０００３】
二つの光学素子からなる光学式距離計測装置を使用し、距離検出された被写体が物体か道路領域（路面上の文字／白線を含む）かを判別する手法に関連するものとして、特開平７−２２５１２６号公報には、車両前方の物体を正しく認識することができる路上物体判定装置が記載されている。この装置は、車両の走行路面上を撮像するステレオカメラを備え、カメラで得られた画像を複数のウィンドウに分割して、ウィンドウごとに被写体までの距離を算出する。この被写体までの距離と、ウィンドウの行レンジごとに決まる基準距離とを比較して車両前方の物体を認識する。
【０００４】
【発明が解決しようとする課題】
特開平７−２２５１２６号公報のものでは、路面が自車両の前に水平に存在しているものとして、カメラで撮像した被写体が物体か道路領域かの判断を行うので、自車両がピッチングやローリングで傾いたり、坂道を走行する場合、あるいはカメラの取り付け位置や角度が規定からずれてしまった場合には、車両が路面に平行な状態にあることを前提としてカメラの取り付け位置や俯角等の規定値によって決まる推定される路面と実際の路面との間にずれが生じ、計測された距離値が路面までの距離値かどうか正確に判断することができず、誤って物体を判定することがあった。
【０００５】
そこでこの発明は自車両がピッチングやローリングで傾いたり、坂道を登坂する場合、あるいはカメラが規定からずれて取り付けられてしまった場合においても正確に前方にある物体を認識することのできる装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の課題を解決するため、請求項１の発明の物体認識装置は、車両に搭載された、走行路面を撮影するステレオカメラと、ステレオカメラから得られる画像をウィンドウに区分し、ウィンドウごとに対象物までの距離を計測する計測手段と、ステレオカメラによって撮像された路面の距離に基づいて路面の車両に対する相対的な傾きを推定する推定手段と、推定された路面の傾きに基づいてウィンドウ毎に撮像対象が障害物か路面上の文字やマークであるか判別する判別手段と、判別手段による判別結果に基づいて対象物の認識を行う認識手段と、を備える。
【０００７】
請求項１の発明によると、自車が加速、減速などで車両の前後方向の傾き、すなわちピッチングを生じたとき、カーブを走行するときなどに自車に横方向の傾きすなわちローリングを生じるとき、坂道を走行するとき、あるいはバンクのある道路を走行するときでも、路面と車両との相対的な傾きを推定し、推定された傾きに基づいて撮像対象物が障害物か路面上の文字やマークなどであるかが判別されるので、適正に対象物の認識を行うことができる。
【０００８】
また、請求項２の物体認識装置は、車両に搭載された、走行路面を撮影するステレオカメラと、ステレオカメラから得られる画像をウィンドウに区分し、ウィンドウごとに対象物までの距離を計測する計測手段と、ステレオカメラによって撮像された路面の距離に基づいて路面の車両に対する相対的な傾きを推定する推定手段と、推定された路面の傾きに基づいてカメラの取り付け誤差を補正する補正手段と、補正されたカメラの傾きに基づいてウィンドウ毎に撮像対象が障害物か路面上の文字やマークであるか判別する判別手段と、判別手段による判別結果に基づいて対象物の認識を行う認識手段と、を備える。
【０００９】
請求項2の発明によると、カメラが規定からずれて取り付けられてしまった場合や、ある程度長期にわたって規定通りに取り付けられた場合でも経年変化により規定値からずれてしまった場合に、推定路面と実際のカメラから路面までの距離のずれが観測され、そのずれ量により推定されるカメラの取り付け誤差に応じて推定距離が補正されるので、適正に対象物を認識することができる。
【００１０】
【発明の実施の形態】
次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施例における物体認識装置の全体的なブロック図である。図２は、この実施例で用いる三角計測法による距離の計測原理を説明する図である。まず図２を参照して一対の撮像装置を用いた距離の測定方法を説明する。
【００１１】
ステレオカメラにおける一対の撮像装置の一方を構成するラインセンサ２１及びレンズ２３は、他方の撮像装置を構成するラインセンサ２２及びレンズ２４と所定の間隔すなわち基線長Bだけ左右方向に間隔を置いて配置されている。ラインセンサ２１および２２は、典型的には1次元のＣＣＤであり、直線的に配列されたフォトセンサのアレイであってよい。この場合、レンズ２３、２４の前に赤外線透過性のフィルタを置き、赤外線の光源を用いて一定の周期で対象物２０を照射し、対象物２０から反射する赤外線をラインセンサ２１,２２が感知するようにするのが良い。
【００１２】
ラインセンサ２１、２２は、それぞれレンズ２３、２４の焦点距離ｆに配置されている。レンズ２３、２４のある平面から距離ａにある対象物の像が、ラインセンサ２１ではレンズ２３の光軸からX１ずれた位置に形成され、ラインセンサ２２ではレンズ２４の光軸からX2だけずれた位置に形成するとすると、レンズ２３、２４の面から対象物２０までの距離ａは、三角計測法の原理により、ａ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）で求められる。
【００１３】
この実施例では画像はデジタル化されるので、距離（Ｘ１＋Ｘ２）はデジタル的に算出される。ラインセンサ２１および２２で得られる画像の片方または両方をシフトさせながら両画像のそれぞれ対応する画素の輝度を示すデジタル値の差の絶対値の総和を求め、これを相関値とする。相関値が最小値になるときの画像のシフト量が両画像の間の位置ずれ、すなわち（Ｘ１＋Ｘ２）を示す。観念的には図２に示すようにラインセンサ２１および２２から得られる２つの画像を重なり合わせるために２つの画像を相対的に移動させねばならない距離が（Ｘ１＋Ｘ２）である。
【００１４】
ここでは、簡単のため撮像装置が１次元のラインセンサ２１，２２であるものとして説明したが、以下に述べるようにこの発明の一実施例では２次元のＣＣＤまたは２次元のフォトセンサ・アレイを撮像装置として使用する。この場合２つの撮像装置から得られる２次元の画像を相対的にシフトさせて上述したのと同様の相関計算を行い、相関値が最小となるときのシフト量を求めると、このシフト量が（Ｘ１＋Ｘ２）に相当する。
【００１５】
図１の撮像手段３は図２のレンズ２３およびラインセンサ２１からなる一方の撮像手段に対応し、撮像手段３’は、図２のレンズ２４およびラインセンサ２２からなる他方の撮像手段に対応する。この実施例では、図３の（ｂ）に示すように撮像領域を複数のウィンドウ（小領域）W１１、W１２、・・・に分割し、ウィンドウごとに距離の計測を行うので、対象物全体の2次元の画像が必要になる。このため撮像手段３、３’は、2次元のCCDアレイまたは2次元のフォトセンサ・アレイで構成される。
【００１６】
図３の（ａ）は、撮像手段３または３’により自車両の前方を走行する他車両を撮像した画像の例を示し、図３の（ｂ）は、図３の（ａ）の画像を概念的に複数のウィンドウに分割したものを示す。図３の（ｂ）は、縦方向に行および横方向に列をとり、簡単のため８行×１４列のウィンドウに分割して示す。それぞれのウィンドウには番号が付されており、たとえばW１２は、１行２列にあるウィンドウを示す。
【００１７】
撮像手段３、３’で撮像された対象物の画像はアナログ・デジタル変換機（Ａ／Ｄ変換機）４，４’でデジタルデータに変換され、画像メモリ５，５’に格納される。ウィンドウ切り出し部１３によって、ウィンドウW１１に対応する画像部分が画像メモリ５および５’からそれぞれ切り出されて相関計算部６に送られる。相関計算部６は、切り出された２つの画像を所定の単位ずつシフトさせて前述した相関計算を行い相関値が最小になるときのシフト量を求めると、このシフト量が（Ｘ１＋Ｘ２）である。相関計算部６は、こうして求めた（Ｘ１＋Ｘ２）の値を距離計算部７に送る。
【００１８】
距離計算部７は、前述したａ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）の式を用いて、ウィンドウW１１にある対象物までの距離ａ１１を求める。こうして求められた距離ａ１１は、距離記憶部８に記憶される。同様の計算処理がそれぞれのウィンドウについて順次実行され、距離ａ１１、ａ１１、・・・が距離記憶部８に記憶される。以下、あるウィンドウについて計算された対象物までの距離を、そのウィンドウの計測距離という。
【００１９】
上の相関演算で用いる画像データは、撮像素子アレイの素子のピッチによって分解能が定まるので、フォトセンサ・アレイ等比較的ピッチの大きい受光素子を用いるときは、ピッチ間の補間計算を行って画像データの密度を高める処理を行い、こうして密度を高められた画像データについて相関計算を行うのが好ましい。また、ウィンドウは互いに重なりをもつように定めることもできる。
【００２０】
推定距離記憶部３２は、ウィンドウごとに推定される路面までの距離（以下、推定距離という）を格納している。路面除去部３１は、ウィンドウごとの推定距離と上記のようにして実際に計測された対応するウィンドウごとの距離とを比較し、推定距離に近い値の計測距離をもつウィンドウ、すなわち路面までの距離にほぼ等しい計測距離を持つウィンドウ、および推定距離以上の計測距離を持つウィンドウ、すなわち路面よりも遠い計測距離をもつウィンドウについての計測距離値をウィンドウごとに路面距離記憶部５１に記憶し、距離記憶部8から削除する。こうして路面上にある標識文字や白線が距離記憶部８から路面距離記憶部５１に移され、距離記憶部８から削除される。
【００２１】
推定距離記憶部３２に格納される推定距離は後述する処理によって動的に変化するが、初期値としては、車両が傾くことなく水平な路面に平行な状態にある場合の車両から路面までの距離とすることができ、CCDカメラの取り付け位置、俯角、基線長、焦点距離およびCCDサイズと、画像におけるウィンドウ位置とにより予め算出され、ウィンドウごとに推定距離記憶部３２に記憶されている。
【００２２】
上の例では路面と判定されたウィンドウの計測距離を路面距離記憶部５１に移し、路面記憶部８から削除したが、これらのデータを削除することなく、たとえば路面と判定されたことを識別するフラグを使用し、路面と判定されたウィンドウに識別フラグをたてて距離距離記憶部８に記憶し、路面距離記憶部５１の機能を兼ねることもできる。
【００２３】
3次元変換部５２は路面距離記憶部５１に記憶されたウィンドウの位置とそのウィンドウにおける距離値を、カメラの取り付け位置を原点とし、鉛直下方向をY軸、自車両が直進する方向をZ軸、Y軸とZ軸に垂直な方向、すなわち車幅方向をX軸とする３次元位置に変換し、3次元路面憶部５３に記憶する。
【００２４】
路面ピッチ推定部９は自車の加速によって車両後部が沈み込んだり、減速によって車両前部が沈むなどの原因で車両に前後方向の傾き、すなわちピッチングを生じたときや、坂道を走行する場合の、カメラと路面の相対的な傾きを３次元路面記憶部５３に記憶された３次元位置から推定する。
【００２５】
図４は車両が減速によって前部が沈み込むピッチングを生じたときの推定路面cと実際の路面bの関係を示している。実際の路面bは、車両が水平に保たれれているとした場合の相対的な路面であり、車両にその前部が沈み込むピッチングを生じた状態では、相対的に登り勾配の路面として現れる。
【００２６】
図４（Ａ）において破線aは、推定路面cから所定の距離、たとえば１０ｃｍ、だけ上にある仮想路面で、これより下の領域に相当する距離値が算出されたウィンドウは、路面を撮像しているものとして、前述の路面除去部３１によってウィンドウ位置と距離値が路面距離記憶部５１に記憶される。3次元変換部５２がこのウィンドウ位置および距離値を3次元位置に変換し、3次元路面記憶部５３に記憶させる。
【００２７】
図４（Ｂ）は、このとき、3次元路面記憶部５３に記憶された3次元位置をZ−Y平面に投影したグラフである。路面ピッチ推定部９は、3次元路面記憶部５３に記憶されている位置のうちZ値がたとえば１５ｍ以下のものだけをサンプルとし、サンプル数がたとえば２００以上のときはZ−Y平面に投影したサンプルを最も良く表わす直線を式（１）によって決定し、この直線の傾き、Y軸切片およびサンプル数を路面ピッチ記憶部５４に記憶する。サンプル数が200に満たないときは記憶内容を更新せずに、路面ピッチ記憶部５４の記憶内容を保持する。直線の傾きは図４（Ａ）における路面の前後方向の傾きを表わし、Y軸切片ｈｐはカメラの路面からの高さを表わす。
【００２８】
【数１】
ここでYi、Ziはi番目のサンプルの3次元位置を、ｎはサンプル数をそれぞれ表わし、tanθ、ｈｐはそれぞれ直線の傾きとＹ軸切片を表わしている。
【００２９】
路面ロール推定部１０は自車が旋回することにより自車の左右部のいずれかが沈み込むことなどによる左右方向の傾き、すなわちローリングを生じたときや、バンクのある道を走行する場合の、カメラから相対的な路面の傾きを3次元路面記憶部５３に記憶された3次元位置から推定する。
【００３０】
図５（Ａ）は車両が旋回により右部が沈み込むローリングを生じたときの推定路面cと実際の路面bの関係を示している。実際の路面bは、車両が水平に保たれているとした場合の、相対的な路面であり、ローリングで車両の右部が沈み込んだ場合、右上がりの傾斜として現れる。図５（Ａ）において破線aは、推定路面cから所定の距離、たとえば１０ｃｍ、だけ上にある仮想路面で、これから下の領域に相当する距離値が算出されたウィンドウについて、前述の路面除去部３１によってウィンドウ位置と距離値が路面距離記憶部５１に記憶され、3次元変換部５２によって3次元位置に変換され3次元路面記憶部５３に記憶される。
【００３１】
図５（Ｂ）は、このとき、3次元路面記憶部５３に記憶された3次元位置をX−Y平面に投影したグラフである。路面ロール推定部１０は3次元路面記憶部５３に記憶されている位置のうちZ値がたとえば１５ｍ以下のものだけをサンプルとし、サンプル数がたとえば２００以上のときはX−Y平面に投影したサンプルを最も良く表わす直線を式（２）によって決定し、直線の傾き、Y軸切片およびサンプル数を路面ロール記憶部５５に記憶する。サンプル数が200に満たないときは記憶内容を更新せずに、路面ロール記憶部５５の記憶内容を保持する。直線の傾きは路面の左右方向の傾きを表わし、Y軸切片はカメラの路面からの高さを表わす。
【００３２】
【数２】
ここでXi、Yiはi番目のサンプルの3次元位置を、ｎはサンプル数をそれぞれ表わし、tanα、ｈｒはそれぞれ直線の傾きとＹ軸切片を表わしている。
【００３３】
路面ピッチ推定部９および路面ロール推定部１０でZ値が１５ｍ以下のもののみサンプルとしてとしているのは、遠距離ほど位置の精度が落ちることと、遠距離ほど推定路面と実際の路面とのずれが大きくなり、路面以外の物体を表わしている可能性があるので、サンプルに加えることによって推定に誤りが生じるのを防ぐ為である。また、サンプル数が２００に満たないときに傾きの推定を行わないのはサンプル数が少ないと推定値の信頼性が低い為である。
【００３４】
推定距離補正部１１は路面ピッチ記憶部５４および路面ロール記憶部５５に記憶されている路面の前後、左右の傾きとカメラの路面からの高さからより良く路面までの距離を表わすように推定距離記憶部３２の記憶内容を修正する。
【００３５】
ローリングやピッチングが生じているとき、あるいは坂道やバンクのある道を走行するときは次式によって路面が撮像されるCCD面上の位置（ｘ、ｙ）と路面までの距離（ｄ）の関係を推定することができる。
【００３６】
【数３】
【００３７】
ここでtanθは路面ピッチ記憶部に記憶されている直線の傾き、tanαは路面ロール記憶部に記憶されている直線の傾き、ｈｐは路面ピッチ記憶部に記憶されている直線のY軸切片、ｈｒは路面ロール記憶部に記憶されている直線のY軸切片、FはCCDの焦点距離である。また、d=0はウィンドウが路面を撮像しないことを表わすものとする。
【００３８】
図６に示したように、路面ピッチ記憶部５４に記憶されている直線の傾きと切片および路面ロール記憶部５５に記憶されている直線の傾きと切片は合わせて一つの平面を推定しており、この平面がCCD面に投影される位置とCCDからこの平面までの距離の関係として上式が得られる。ここで、CCD面上の座標は図７のようにとるものとする。
【００３９】
推定路面補正部１１はウィンドウごとにその位置から上式の関係を用いてdを求め、記憶している推定距離記憶部３２に記憶されている内容をｄで置換する。
【００４０】
上の例では推定路面補正部１１で推定距離記憶部３２に記憶されている内容をdで置換したが、dで置換するのではなく、推定路面距離記憶部３２に記憶されている内容とdとの加重平均をとって変動を緩和し、測定誤差をフィルタする効果を得たり、あるいは路面ピッチ記憶部５４および路面ロール記憶部５５において、記憶内容をある程度過去に算出されたものも保持するものとし、時系列情報から現在の路面の傾きと高さを推定することもできる。
【００４１】
また、路面距離記憶部３２に記憶されている内容が変化する時定数を大きくとることによってピッチングやローリングなどの短い周期の車両の挙動に対応するのではなく、カメラの取り付け誤差や経年変化による規定の取り付け角度からのずれを学習し、補正する請求項２の装置として利用することができる。これは、車両は長い時間で見れば概ね水平な路面を走行するので、路面ピッチ記憶部５４および路面ロール記憶部５５に記憶される路面の傾きと路面からカメラまでの高さから実際の取り付け角度とカメラの取り付け位置を推定することができるからである。このとき、カメラの位置と角度の規定値からのずれを推定するカメラ角度推定部６１と推定内容を記憶するカメラ角度記憶部６２を別途設けることもできる。カメラ角度推定部６１は路面ピッチ記憶部５４と路面ロール記憶部５５に記憶されたある程度長期間の記憶内容についてたとえば移動平均を取ることで平均的な路面の傾きと路面からカメラまでの高さを推定し、カメラ角度記憶部６２に記録する。
【００４２】
また、上の例ではサンプル数が２００に満たないときは路面ピッチ記憶部および路面ロール記憶部５５の記憶内容は保持されるものとしたが、保持するのではなく推定距離記憶部３２の記憶内容が初期値に近づくように変化させたり、カメラ角度推定部６１およびカメラ角度記憶部６２を設けている場合にはカメラ角度記憶部に記憶されているカメラの位置と角度から推定される路面の距離に近づくように変化させることによって推定距離記憶部３２の記憶内容が発散してしまうのを防ぐことができる。
【００４３】
推定距離補正部１１は以上のようにして路面ピッチ記憶部５４および路面ロール記憶部５５の記憶内容に応じて、推定距離記憶部３２に記憶されている推定距離を修正する。この修正処理は、ハードウェア構成によって路面ピッチ推定部９または路面ロール推定部１０から修正を要するレベルの記憶内容の変化が路面ピッチ記憶部５４または路面ロール記憶部５５において発生したことを示す信号に応答して実行されるよううにすることができる。または、ソフトウェア構成により、物体認識装置を制御する中央演算装置（CPU）がたとえば６７ミリ秒毎に修正処理ルーチンを実行して修正を行うようにすることもできる。
【００４４】
路面除去部３１は、距離記憶部８から得られるウィンドウごとの計測距離と推定距離記憶部３２から得られるウィンドウごとに修正された推定距離とを比較し、計測距離が修正された推定距離から所定のしきい値（たとえば１０ｃｍ）を引いた値に等しいかこれより大きいウィンドウを路面を撮像しているウィンドウと判断し、計測距離が修正された推定距離から上記所定しきい値を引いた値以下のウィンドウを路面以外の物体を撮像しているウィンドウと判断する。
【００４５】
こうして、路面除去部３１は、路面以外の物体を撮像しているウィンドウのデータを物体認識部３８に送る。物体認識部３８は、路面以外の物体を撮像している複数のウィンドウのデータに基づいて1つ又は複数の物体の認識を行う。物体認識処理は、CPUが物体認識ルーチンをたとえば６７ミリ秒毎に実行することによって実行される。物体の認識は、2サイクルから3サイクルの認識処理の結果を総合して行うことにより、認識の信頼性を向上させることができる。
【００４６】
物体記憶部３９は、物体認識部３８で認識された物体についての距離、位置、大きさなどの情報を記憶する。物体認識部３８は、今回認識された物体（車）の距離情報と、前回認識された同じ物体についての距離情報からこの物体と自車との相対速度を計算し、今回認識された物体のデータの一部として物体記憶部３９に記憶させる。
【００４７】
車両制御部４５は、物体記憶部３９から送られる物体についての情報を読み出し、その内容に基づいて、警報装置を駆動して前方車両に近づきすぎていることを示す警報を発したり、エンジンの電子制御装置（Electronic Control Unit：ECU）またはブレーキ制御ユニットに信号を送って強制制動処理を実行させるなどの働きをする。その際、車両制御部４５は、自車速度検出装置４６から自車速度のデータを、ヨーレート検出装置４７からヨーレートを示す信号を受け取り、自車の走行領域を判断し、物体との距離が適切な範囲になるよう自車を制御する。
【００４８】
図１に示した相関演算部６、距離計算部７、距離記憶部８、ウィンドウ切り出し部１３、路面除去部３１、推定距離記憶部３２、物体認識部３８、物体記憶部３９、画像メモリ５，５’、路面距離記憶部５１、3次元変換部５２、3次元路面記憶部５３、路面ピッチ推定部９、路面ロール推定部１０、路面ピッチ記憶部５４、路面ロール記憶部５５、カメラ角度推定部６１、カメラ角度記憶部６２および車両制御部４５は、中央演算処理装置（CPU）、制御プログラムおよび制御データを格納する読み出し専用メモリ、CPUの演算作業領域を提供し、様々なデータを一時記憶することができるランダムアクセスメモリ（RAM）で構成することができる。距離記憶部８、推定距離記憶部３２、および物体記憶部３９は、１つのRAMのそれぞれ異なる記憶領域を使用して実現することができる。また、各種の演算で必要となるデータの一時記憶領域も同じRAMの一部を使用して実現することができる。
【００４９】
また、この発明の物体認識装置をエンジンの電子制御ユニット（ECU）、ブレーキ制御ECUその他のECUとLAN接続して物体認識装置からの出力を車両の全体的な制御に利用することができる。
【００５０】
【発明の効果】
請求項１の発明によると、車両のピッチングやローリングあるいは坂道はバンクのある道を走行することによりカメラ画像上での路面が撮像される領域が変動しても正しく認識することができる。請求項２の発明によると、当該物体認識装置の生産の際、あるいは経年変化により、カメラ取り付け位置および角度が規定値からずれてしまった場合にも正しく対象物を認識することができる。
【図面の簡単な説明】
【図１】この発明の一実施例の全体的な構成を示すブロック図。
【図２】三角計測法による距離の計測原理を説明する為の図。
【図３】この発明による、（ａ）撮像された画像、（ｂ）距離および道路領域判定のための小領域（ウィンドウ）に分割された画像を示す図。
【図４】（Ａ）は、ピッチングが発生した場合の実際の路面、推定路面および路面除去範囲を示す図、（Ｂ）は、ピッチングが発生した場合の3次元路面記憶部の内容をZ−Y平面にプロットした図。
【図５】（Ａ）は、ローリングが発生した場合の実際の路面、推定路面および路面除去範囲を示す図、（Ｂ）は、ローリングが発生した場合の3次元路面記憶部の内容をＸ−Ｙ平面にプロットした図。
【図６】路面ピッチ記憶部と路面ロール記憶部の内容から推定される路面を示す図。
【図７】ＣＣＤ面上の位置と推定路面までの距離の関係を示す式におけるＣＣＤ面上の座標系を示す図。
【符号の説明】
３，３’撮像部（ステレオカメラ）
７ 距離計算部
８ 距離記憶部
３１ 路面除去部
【発明の属する技術分野】
この発明は、自動車などの車両に搭載されたステレオカメラを用いて、前方の物体を検出する光学式の物体認識装置に関し、より具体的には、撮像された画像における複数のウィンドウを用いて、物体を認識する物体認識装置に関する。
【０００２】
【従来の技術】
近年、車両走行の安全性を向上させるため、自車両の前方にある物体の距離や大きさを判別し、これに応じて車両を適切に制御する装置が提案されている。
【０００３】
二つの光学素子からなる光学式距離計測装置を使用し、距離検出された被写体が物体か道路領域（路面上の文字／白線を含む）かを判別する手法に関連するものとして、特開平７−２２５１２６号公報には、車両前方の物体を正しく認識することができる路上物体判定装置が記載されている。この装置は、車両の走行路面上を撮像するステレオカメラを備え、カメラで得られた画像を複数のウィンドウに分割して、ウィンドウごとに被写体までの距離を算出する。この被写体までの距離と、ウィンドウの行レンジごとに決まる基準距離とを比較して車両前方の物体を認識する。
【０００４】
【発明が解決しようとする課題】
特開平７−２２５１２６号公報のものでは、路面が自車両の前に水平に存在しているものとして、カメラで撮像した被写体が物体か道路領域かの判断を行うので、自車両がピッチングやローリングで傾いたり、坂道を走行する場合、あるいはカメラの取り付け位置や角度が規定からずれてしまった場合には、車両が路面に平行な状態にあることを前提としてカメラの取り付け位置や俯角等の規定値によって決まる推定される路面と実際の路面との間にずれが生じ、計測された距離値が路面までの距離値かどうか正確に判断することができず、誤って物体を判定することがあった。
【０００５】
そこでこの発明は自車両がピッチングやローリングで傾いたり、坂道を登坂する場合、あるいはカメラが規定からずれて取り付けられてしまった場合においても正確に前方にある物体を認識することのできる装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の課題を解決するため、請求項１の発明の物体認識装置は、車両に搭載された、走行路面を撮影するステレオカメラと、ステレオカメラから得られる画像をウィンドウに区分し、ウィンドウごとに対象物までの距離を計測する計測手段と、ステレオカメラによって撮像された路面の距離に基づいて路面の車両に対する相対的な傾きを推定する推定手段と、推定された路面の傾きに基づいてウィンドウ毎に撮像対象が障害物か路面上の文字やマークであるか判別する判別手段と、判別手段による判別結果に基づいて対象物の認識を行う認識手段と、を備える。
【０００７】
請求項１の発明によると、自車が加速、減速などで車両の前後方向の傾き、すなわちピッチングを生じたとき、カーブを走行するときなどに自車に横方向の傾きすなわちローリングを生じるとき、坂道を走行するとき、あるいはバンクのある道路を走行するときでも、路面と車両との相対的な傾きを推定し、推定された傾きに基づいて撮像対象物が障害物か路面上の文字やマークなどであるかが判別されるので、適正に対象物の認識を行うことができる。
【０００８】
また、請求項２の物体認識装置は、車両に搭載された、走行路面を撮影するステレオカメラと、ステレオカメラから得られる画像をウィンドウに区分し、ウィンドウごとに対象物までの距離を計測する計測手段と、ステレオカメラによって撮像された路面の距離に基づいて路面の車両に対する相対的な傾きを推定する推定手段と、推定された路面の傾きに基づいてカメラの取り付け誤差を補正する補正手段と、補正されたカメラの傾きに基づいてウィンドウ毎に撮像対象が障害物か路面上の文字やマークであるか判別する判別手段と、判別手段による判別結果に基づいて対象物の認識を行う認識手段と、を備える。
【０００９】
請求項2の発明によると、カメラが規定からずれて取り付けられてしまった場合や、ある程度長期にわたって規定通りに取り付けられた場合でも経年変化により規定値からずれてしまった場合に、推定路面と実際のカメラから路面までの距離のずれが観測され、そのずれ量により推定されるカメラの取り付け誤差に応じて推定距離が補正されるので、適正に対象物を認識することができる。
【００１０】
【発明の実施の形態】
次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施例における物体認識装置の全体的なブロック図である。図２は、この実施例で用いる三角計測法による距離の計測原理を説明する図である。まず図２を参照して一対の撮像装置を用いた距離の測定方法を説明する。
【００１１】
ステレオカメラにおける一対の撮像装置の一方を構成するラインセンサ２１及びレンズ２３は、他方の撮像装置を構成するラインセンサ２２及びレンズ２４と所定の間隔すなわち基線長Bだけ左右方向に間隔を置いて配置されている。ラインセンサ２１および２２は、典型的には1次元のＣＣＤであり、直線的に配列されたフォトセンサのアレイであってよい。この場合、レンズ２３、２４の前に赤外線透過性のフィルタを置き、赤外線の光源を用いて一定の周期で対象物２０を照射し、対象物２０から反射する赤外線をラインセンサ２１,２２が感知するようにするのが良い。
【００１２】
ラインセンサ２１、２２は、それぞれレンズ２３、２４の焦点距離ｆに配置されている。レンズ２３、２４のある平面から距離ａにある対象物の像が、ラインセンサ２１ではレンズ２３の光軸からX１ずれた位置に形成され、ラインセンサ２２ではレンズ２４の光軸からX2だけずれた位置に形成するとすると、レンズ２３、２４の面から対象物２０までの距離ａは、三角計測法の原理により、ａ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）で求められる。
【００１３】
この実施例では画像はデジタル化されるので、距離（Ｘ１＋Ｘ２）はデジタル的に算出される。ラインセンサ２１および２２で得られる画像の片方または両方をシフトさせながら両画像のそれぞれ対応する画素の輝度を示すデジタル値の差の絶対値の総和を求め、これを相関値とする。相関値が最小値になるときの画像のシフト量が両画像の間の位置ずれ、すなわち（Ｘ１＋Ｘ２）を示す。観念的には図２に示すようにラインセンサ２１および２２から得られる２つの画像を重なり合わせるために２つの画像を相対的に移動させねばならない距離が（Ｘ１＋Ｘ２）である。
【００１４】
ここでは、簡単のため撮像装置が１次元のラインセンサ２１，２２であるものとして説明したが、以下に述べるようにこの発明の一実施例では２次元のＣＣＤまたは２次元のフォトセンサ・アレイを撮像装置として使用する。この場合２つの撮像装置から得られる２次元の画像を相対的にシフトさせて上述したのと同様の相関計算を行い、相関値が最小となるときのシフト量を求めると、このシフト量が（Ｘ１＋Ｘ２）に相当する。
【００１５】
図１の撮像手段３は図２のレンズ２３およびラインセンサ２１からなる一方の撮像手段に対応し、撮像手段３’は、図２のレンズ２４およびラインセンサ２２からなる他方の撮像手段に対応する。この実施例では、図３の（ｂ）に示すように撮像領域を複数のウィンドウ（小領域）W１１、W１２、・・・に分割し、ウィンドウごとに距離の計測を行うので、対象物全体の2次元の画像が必要になる。このため撮像手段３、３’は、2次元のCCDアレイまたは2次元のフォトセンサ・アレイで構成される。
【００１６】
図３の（ａ）は、撮像手段３または３’により自車両の前方を走行する他車両を撮像した画像の例を示し、図３の（ｂ）は、図３の（ａ）の画像を概念的に複数のウィンドウに分割したものを示す。図３の（ｂ）は、縦方向に行および横方向に列をとり、簡単のため８行×１４列のウィンドウに分割して示す。それぞれのウィンドウには番号が付されており、たとえばW１２は、１行２列にあるウィンドウを示す。
【００１７】
撮像手段３、３’で撮像された対象物の画像はアナログ・デジタル変換機（Ａ／Ｄ変換機）４，４’でデジタルデータに変換され、画像メモリ５，５’に格納される。ウィンドウ切り出し部１３によって、ウィンドウW１１に対応する画像部分が画像メモリ５および５’からそれぞれ切り出されて相関計算部６に送られる。相関計算部６は、切り出された２つの画像を所定の単位ずつシフトさせて前述した相関計算を行い相関値が最小になるときのシフト量を求めると、このシフト量が（Ｘ１＋Ｘ２）である。相関計算部６は、こうして求めた（Ｘ１＋Ｘ２）の値を距離計算部７に送る。
【００１８】
距離計算部７は、前述したａ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）の式を用いて、ウィンドウW１１にある対象物までの距離ａ１１を求める。こうして求められた距離ａ１１は、距離記憶部８に記憶される。同様の計算処理がそれぞれのウィンドウについて順次実行され、距離ａ１１、ａ１１、・・・が距離記憶部８に記憶される。以下、あるウィンドウについて計算された対象物までの距離を、そのウィンドウの計測距離という。
【００１９】
上の相関演算で用いる画像データは、撮像素子アレイの素子のピッチによって分解能が定まるので、フォトセンサ・アレイ等比較的ピッチの大きい受光素子を用いるときは、ピッチ間の補間計算を行って画像データの密度を高める処理を行い、こうして密度を高められた画像データについて相関計算を行うのが好ましい。また、ウィンドウは互いに重なりをもつように定めることもできる。
【００２０】
推定距離記憶部３２は、ウィンドウごとに推定される路面までの距離（以下、推定距離という）を格納している。路面除去部３１は、ウィンドウごとの推定距離と上記のようにして実際に計測された対応するウィンドウごとの距離とを比較し、推定距離に近い値の計測距離をもつウィンドウ、すなわち路面までの距離にほぼ等しい計測距離を持つウィンドウ、および推定距離以上の計測距離を持つウィンドウ、すなわち路面よりも遠い計測距離をもつウィンドウについての計測距離値をウィンドウごとに路面距離記憶部５１に記憶し、距離記憶部8から削除する。こうして路面上にある標識文字や白線が距離記憶部８から路面距離記憶部５１に移され、距離記憶部８から削除される。
【００２１】
推定距離記憶部３２に格納される推定距離は後述する処理によって動的に変化するが、初期値としては、車両が傾くことなく水平な路面に平行な状態にある場合の車両から路面までの距離とすることができ、CCDカメラの取り付け位置、俯角、基線長、焦点距離およびCCDサイズと、画像におけるウィンドウ位置とにより予め算出され、ウィンドウごとに推定距離記憶部３２に記憶されている。
【００２２】
上の例では路面と判定されたウィンドウの計測距離を路面距離記憶部５１に移し、路面記憶部８から削除したが、これらのデータを削除することなく、たとえば路面と判定されたことを識別するフラグを使用し、路面と判定されたウィンドウに識別フラグをたてて距離距離記憶部８に記憶し、路面距離記憶部５１の機能を兼ねることもできる。
【００２３】
3次元変換部５２は路面距離記憶部５１に記憶されたウィンドウの位置とそのウィンドウにおける距離値を、カメラの取り付け位置を原点とし、鉛直下方向をY軸、自車両が直進する方向をZ軸、Y軸とZ軸に垂直な方向、すなわち車幅方向をX軸とする３次元位置に変換し、3次元路面憶部５３に記憶する。
【００２４】
路面ピッチ推定部９は自車の加速によって車両後部が沈み込んだり、減速によって車両前部が沈むなどの原因で車両に前後方向の傾き、すなわちピッチングを生じたときや、坂道を走行する場合の、カメラと路面の相対的な傾きを３次元路面記憶部５３に記憶された３次元位置から推定する。
【００２５】
図４は車両が減速によって前部が沈み込むピッチングを生じたときの推定路面cと実際の路面bの関係を示している。実際の路面bは、車両が水平に保たれれているとした場合の相対的な路面であり、車両にその前部が沈み込むピッチングを生じた状態では、相対的に登り勾配の路面として現れる。
【００２６】
図４（Ａ）において破線aは、推定路面cから所定の距離、たとえば１０ｃｍ、だけ上にある仮想路面で、これより下の領域に相当する距離値が算出されたウィンドウは、路面を撮像しているものとして、前述の路面除去部３１によってウィンドウ位置と距離値が路面距離記憶部５１に記憶される。3次元変換部５２がこのウィンドウ位置および距離値を3次元位置に変換し、3次元路面記憶部５３に記憶させる。
【００２７】
図４（Ｂ）は、このとき、3次元路面記憶部５３に記憶された3次元位置をZ−Y平面に投影したグラフである。路面ピッチ推定部９は、3次元路面記憶部５３に記憶されている位置のうちZ値がたとえば１５ｍ以下のものだけをサンプルとし、サンプル数がたとえば２００以上のときはZ−Y平面に投影したサンプルを最も良く表わす直線を式（１）によって決定し、この直線の傾き、Y軸切片およびサンプル数を路面ピッチ記憶部５４に記憶する。サンプル数が200に満たないときは記憶内容を更新せずに、路面ピッチ記憶部５４の記憶内容を保持する。直線の傾きは図４（Ａ）における路面の前後方向の傾きを表わし、Y軸切片ｈｐはカメラの路面からの高さを表わす。
【００２８】
【数１】
【００２９】
路面ロール推定部１０は自車が旋回することにより自車の左右部のいずれかが沈み込むことなどによる左右方向の傾き、すなわちローリングを生じたときや、バンクのある道を走行する場合の、カメラから相対的な路面の傾きを3次元路面記憶部５３に記憶された3次元位置から推定する。
【００３０】
図５（Ａ）は車両が旋回により右部が沈み込むローリングを生じたときの推定路面cと実際の路面bの関係を示している。実際の路面bは、車両が水平に保たれているとした場合の、相対的な路面であり、ローリングで車両の右部が沈み込んだ場合、右上がりの傾斜として現れる。図５（Ａ）において破線aは、推定路面cから所定の距離、たとえば１０ｃｍ、だけ上にある仮想路面で、これから下の領域に相当する距離値が算出されたウィンドウについて、前述の路面除去部３１によってウィンドウ位置と距離値が路面距離記憶部５１に記憶され、3次元変換部５２によって3次元位置に変換され3次元路面記憶部５３に記憶される。
【００３１】
図５（Ｂ）は、このとき、3次元路面記憶部５３に記憶された3次元位置をX−Y平面に投影したグラフである。路面ロール推定部１０は3次元路面記憶部５３に記憶されている位置のうちZ値がたとえば１５ｍ以下のものだけをサンプルとし、サンプル数がたとえば２００以上のときはX−Y平面に投影したサンプルを最も良く表わす直線を式（２）によって決定し、直線の傾き、Y軸切片およびサンプル数を路面ロール記憶部５５に記憶する。サンプル数が200に満たないときは記憶内容を更新せずに、路面ロール記憶部５５の記憶内容を保持する。直線の傾きは路面の左右方向の傾きを表わし、Y軸切片はカメラの路面からの高さを表わす。
【００３２】
【数２】
【００３３】
路面ピッチ推定部９および路面ロール推定部１０でZ値が１５ｍ以下のもののみサンプルとしてとしているのは、遠距離ほど位置の精度が落ちることと、遠距離ほど推定路面と実際の路面とのずれが大きくなり、路面以外の物体を表わしている可能性があるので、サンプルに加えることによって推定に誤りが生じるのを防ぐ為である。また、サンプル数が２００に満たないときに傾きの推定を行わないのはサンプル数が少ないと推定値の信頼性が低い為である。
【００３４】
推定距離補正部１１は路面ピッチ記憶部５４および路面ロール記憶部５５に記憶されている路面の前後、左右の傾きとカメラの路面からの高さからより良く路面までの距離を表わすように推定距離記憶部３２の記憶内容を修正する。
【００３５】
ローリングやピッチングが生じているとき、あるいは坂道やバンクのある道を走行するときは次式によって路面が撮像されるCCD面上の位置（ｘ、ｙ）と路面までの距離（ｄ）の関係を推定することができる。
【００３６】
【数３】
ここでtanθは路面ピッチ記憶部に記憶されている直線の傾き、tanαは路面ロール記憶部に記憶されている直線の傾き、ｈｐは路面ピッチ記憶部に記憶されている直線のY軸切片、ｈｒは路面ロール記憶部に記憶されている直線のY軸切片、FはCCDの焦点距離である。また、d=0はウィンドウが路面を撮像しないことを表わすものとする。
【００３８】
図６に示したように、路面ピッチ記憶部５４に記憶されている直線の傾きと切片および路面ロール記憶部５５に記憶されている直線の傾きと切片は合わせて一つの平面を推定しており、この平面がCCD面に投影される位置とCCDからこの平面までの距離の関係として上式が得られる。ここで、CCD面上の座標は図７のようにとるものとする。
【００３９】
推定路面補正部１１はウィンドウごとにその位置から上式の関係を用いてdを求め、記憶している推定距離記憶部３２に記憶されている内容をｄで置換する。
【００４０】
上の例では推定路面補正部１１で推定距離記憶部３２に記憶されている内容をdで置換したが、dで置換するのではなく、推定路面距離記憶部３２に記憶されている内容とdとの加重平均をとって変動を緩和し、測定誤差をフィルタする効果を得たり、あるいは路面ピッチ記憶部５４および路面ロール記憶部５５において、記憶内容をある程度過去に算出されたものも保持するものとし、時系列情報から現在の路面の傾きと高さを推定することもできる。
【００４１】
また、路面距離記憶部３２に記憶されている内容が変化する時定数を大きくとることによってピッチングやローリングなどの短い周期の車両の挙動に対応するのではなく、カメラの取り付け誤差や経年変化による規定の取り付け角度からのずれを学習し、補正する請求項２の装置として利用することができる。これは、車両は長い時間で見れば概ね水平な路面を走行するので、路面ピッチ記憶部５４および路面ロール記憶部５５に記憶される路面の傾きと路面からカメラまでの高さから実際の取り付け角度とカメラの取り付け位置を推定することができるからである。このとき、カメラの位置と角度の規定値からのずれを推定するカメラ角度推定部６１と推定内容を記憶するカメラ角度記憶部６２を別途設けることもできる。カメラ角度推定部６１は路面ピッチ記憶部５４と路面ロール記憶部５５に記憶されたある程度長期間の記憶内容についてたとえば移動平均を取ることで平均的な路面の傾きと路面からカメラまでの高さを推定し、カメラ角度記憶部６２に記録する。
【００４２】
また、上の例ではサンプル数が２００に満たないときは路面ピッチ記憶部および路面ロール記憶部５５の記憶内容は保持されるものとしたが、保持するのではなく推定距離記憶部３２の記憶内容が初期値に近づくように変化させたり、カメラ角度推定部６１およびカメラ角度記憶部６２を設けている場合にはカメラ角度記憶部に記憶されているカメラの位置と角度から推定される路面の距離に近づくように変化させることによって推定距離記憶部３２の記憶内容が発散してしまうのを防ぐことができる。
【００４３】
推定距離補正部１１は以上のようにして路面ピッチ記憶部５４および路面ロール記憶部５５の記憶内容に応じて、推定距離記憶部３２に記憶されている推定距離を修正する。この修正処理は、ハードウェア構成によって路面ピッチ推定部９または路面ロール推定部１０から修正を要するレベルの記憶内容の変化が路面ピッチ記憶部５４または路面ロール記憶部５５において発生したことを示す信号に応答して実行されるよううにすることができる。または、ソフトウェア構成により、物体認識装置を制御する中央演算装置（CPU）がたとえば６７ミリ秒毎に修正処理ルーチンを実行して修正を行うようにすることもできる。
【００４４】
路面除去部３１は、距離記憶部８から得られるウィンドウごとの計測距離と推定距離記憶部３２から得られるウィンドウごとに修正された推定距離とを比較し、計測距離が修正された推定距離から所定のしきい値（たとえば１０ｃｍ）を引いた値に等しいかこれより大きいウィンドウを路面を撮像しているウィンドウと判断し、計測距離が修正された推定距離から上記所定しきい値を引いた値以下のウィンドウを路面以外の物体を撮像しているウィンドウと判断する。
【００４５】
こうして、路面除去部３１は、路面以外の物体を撮像しているウィンドウのデータを物体認識部３８に送る。物体認識部３８は、路面以外の物体を撮像している複数のウィンドウのデータに基づいて1つ又は複数の物体の認識を行う。物体認識処理は、CPUが物体認識ルーチンをたとえば６７ミリ秒毎に実行することによって実行される。物体の認識は、2サイクルから3サイクルの認識処理の結果を総合して行うことにより、認識の信頼性を向上させることができる。
【００４６】
物体記憶部３９は、物体認識部３８で認識された物体についての距離、位置、大きさなどの情報を記憶する。物体認識部３８は、今回認識された物体（車）の距離情報と、前回認識された同じ物体についての距離情報からこの物体と自車との相対速度を計算し、今回認識された物体のデータの一部として物体記憶部３９に記憶させる。
【００４７】
車両制御部４５は、物体記憶部３９から送られる物体についての情報を読み出し、その内容に基づいて、警報装置を駆動して前方車両に近づきすぎていることを示す警報を発したり、エンジンの電子制御装置（Electronic Control Unit：ECU）またはブレーキ制御ユニットに信号を送って強制制動処理を実行させるなどの働きをする。その際、車両制御部４５は、自車速度検出装置４６から自車速度のデータを、ヨーレート検出装置４７からヨーレートを示す信号を受け取り、自車の走行領域を判断し、物体との距離が適切な範囲になるよう自車を制御する。
【００４８】
図１に示した相関演算部６、距離計算部７、距離記憶部８、ウィンドウ切り出し部１３、路面除去部３１、推定距離記憶部３２、物体認識部３８、物体記憶部３９、画像メモリ５，５’、路面距離記憶部５１、3次元変換部５２、3次元路面記憶部５３、路面ピッチ推定部９、路面ロール推定部１０、路面ピッチ記憶部５４、路面ロール記憶部５５、カメラ角度推定部６１、カメラ角度記憶部６２および車両制御部４５は、中央演算処理装置（CPU）、制御プログラムおよび制御データを格納する読み出し専用メモリ、CPUの演算作業領域を提供し、様々なデータを一時記憶することができるランダムアクセスメモリ（RAM）で構成することができる。距離記憶部８、推定距離記憶部３２、および物体記憶部３９は、１つのRAMのそれぞれ異なる記憶領域を使用して実現することができる。また、各種の演算で必要となるデータの一時記憶領域も同じRAMの一部を使用して実現することができる。
【００４９】
また、この発明の物体認識装置をエンジンの電子制御ユニット（ECU）、ブレーキ制御ECUその他のECUとLAN接続して物体認識装置からの出力を車両の全体的な制御に利用することができる。
【００５０】
【発明の効果】
請求項１の発明によると、車両のピッチングやローリングあるいは坂道はバンクのある道を走行することによりカメラ画像上での路面が撮像される領域が変動しても正しく認識することができる。請求項２の発明によると、当該物体認識装置の生産の際、あるいは経年変化により、カメラ取り付け位置および角度が規定値からずれてしまった場合にも正しく対象物を認識することができる。
【図面の簡単な説明】
【図１】この発明の一実施例の全体的な構成を示すブロック図。
【図２】三角計測法による距離の計測原理を説明する為の図。
【図３】この発明による、（ａ）撮像された画像、（ｂ）距離および道路領域判定のための小領域（ウィンドウ）に分割された画像を示す図。
【図４】（Ａ）は、ピッチングが発生した場合の実際の路面、推定路面および路面除去範囲を示す図、（Ｂ）は、ピッチングが発生した場合の3次元路面記憶部の内容をZ−Y平面にプロットした図。
【図５】（Ａ）は、ローリングが発生した場合の実際の路面、推定路面および路面除去範囲を示す図、（Ｂ）は、ローリングが発生した場合の3次元路面記憶部の内容をＸ−Ｙ平面にプロットした図。
【図６】路面ピッチ記憶部と路面ロール記憶部の内容から推定される路面を示す図。
【図７】ＣＣＤ面上の位置と推定路面までの距離の関係を示す式におけるＣＣＤ面上の座標系を示す図。
【符号の説明】
３，３’撮像部（ステレオカメラ）
７ 距離計算部
８ 距離記憶部
３１ 路面除去部
Claims (2)
- 車両に搭載された、走行路面を撮影するステレオカメラと、
前記ステレオカメラから得られる画像をウィンドウに区分し、ウィンドウごとに対象物までの距離を計測する計測手段と、
前記ステレオカメラによって撮像された路面の距離に基づいて路面の車両に対する相対的な傾きを推定する推定手段と
前記推定された路面の傾きに基づいてウィンドウ毎に撮像対象が障害物か路面上の文字やマークであるか判別する判別手段と、
前記判別手段による判別結果に基づいて対象物の認識を行う認識手段と、
を備える物体認識装置 - 車両に搭載された、走行路面を撮影するステレオカメラと、
前記ステレオカメラから得られる画像をウィンドウに区分し、ウィンドウごとに対象物までの距離を計測する計測手段と、
前記ステレオカメラによって撮像された路面の距離に基づいて路面の車両に対する相対的な傾きを推定する推定手段と
前記推定された路面の傾きに基づいてカメラの取り付け誤差を補正する補正手段と、
前記補正されたカメラの傾きに基づいてウィンドウ毎に撮像対象が障害物か路面上の文字やマークであるか判別する判別手段と、
前記判別手段による判別結果に基づいて対象物の認識を行う認識手段と、
を備える物体認識装置
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26962799A JP3995846B2 (ja) | 1999-09-24 | 1999-09-24 | 物体認識装置 |
| US09/640,928 US6963657B1 (en) | 1999-09-24 | 2000-08-17 | Object recognition system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26962799A JP3995846B2 (ja) | 1999-09-24 | 1999-09-24 | 物体認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001091217A JP2001091217A (ja) | 2001-04-06 |
| JP3995846B2 true JP3995846B2 (ja) | 2007-10-24 |
Family
ID=17474996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26962799A Expired - Fee Related JP3995846B2 (ja) | 1999-09-24 | 1999-09-24 | 物体認識装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6963657B1 (ja) |
| JP (1) | JP3995846B2 (ja) |
Families Citing this family (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7043084B2 (en) * | 2002-07-30 | 2006-05-09 | Mitsubishi Electric Research Laboratories, Inc. | Wheelchair detection using stereo vision |
| JP4287646B2 (ja) * | 2002-12-26 | 2009-07-01 | 株式会社ミツトヨ | 画像読取装置 |
| JP3977776B2 (ja) * | 2003-03-13 | 2007-09-19 | 株式会社東芝 | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 |
| JP2005067531A (ja) * | 2003-08-27 | 2005-03-17 | Denso Corp | 車両用空調装置 |
| US8207964B1 (en) | 2008-02-22 | 2012-06-26 | Meadow William D | Methods and apparatus for generating three-dimensional image data models |
| US7929800B2 (en) | 2007-02-06 | 2011-04-19 | Meadow William D | Methods and apparatus for generating a continuum of image data |
| JP4327062B2 (ja) * | 2004-10-25 | 2009-09-09 | 三菱電機株式会社 | ナビゲーション装置 |
| DE102005017624A1 (de) * | 2005-04-15 | 2006-10-19 | Robert Bosch Gmbh | Verfahren zum Bestimmen der Rad- und/oder Achsgeometrie von Kraftfahrzeugen |
| JP4659631B2 (ja) * | 2005-04-26 | 2011-03-30 | 富士重工業株式会社 | 車線認識装置 |
| JP4646697B2 (ja) * | 2005-05-18 | 2011-03-09 | 富士通株式会社 | 携帯装置 |
| JP5196725B2 (ja) * | 2006-02-09 | 2013-05-15 | 株式会社 ソキア・トプコン | 測量機の自動視準装置 |
| US7741961B1 (en) * | 2006-09-29 | 2010-06-22 | Canesta, Inc. | Enhanced obstacle detection and tracking for three-dimensional imaging systems used in motor vehicles |
| FR2922671B1 (fr) * | 2007-10-17 | 2010-03-12 | Valeo Vision | Procede de determination automatique de coefficient d'une pente sur le point d'etre abordee par un vehicule automobile et dispositif associe |
| CN101458078A (zh) * | 2007-12-10 | 2009-06-17 | 鸿富锦精密工业（深圳）有限公司 | 一种汽车防撞系统及方法 |
| US7984574B2 (en) * | 2008-03-11 | 2011-07-26 | Deere & Company | Construction vehicle with rear object detection |
| JP5100845B2 (ja) * | 2008-10-28 | 2012-12-19 | 株式会社パスコ | 道路計測装置及び道路計測方法 |
| DE102009033219A1 (de) | 2009-01-23 | 2010-07-29 | Daimler Ag | Verfahren zur Ermittlung eines Fahrzeug vorausliegenden Straßenprofils einer Fahrspur |
| US8699755B2 (en) * | 2009-02-20 | 2014-04-15 | Navteq B.V. | Determining travel path features based on retroreflectivity |
| TWI412730B (zh) * | 2009-06-08 | 2013-10-21 | Wistron Corp | 用於一智慧型手持裝置之測距方法及測距裝置、辨識標的物之位置的方法及電子裝置以及辨識當前位置的方法及電子裝置 |
| GB2471276A (en) * | 2009-06-22 | 2010-12-29 | Bae Systems Plc | Terrain sensing apparatus for an autonomous vehicle |
| KR101619076B1 (ko) | 2009-08-25 | 2016-05-10 | 삼성전자 주식회사 | 모바일 플랫폼의 동적 물체 검출 및 추적 방법 |
| DE102009055776A1 (de) * | 2009-11-25 | 2011-05-26 | Conti Temic Microelectronic Gmbh | Verfahren zur Schätzung des Rollwinkels in einem fahrenden Fahrzeug |
| US9342500B2 (en) | 2010-03-15 | 2016-05-17 | Michael V. Liguori | Object memory management system |
| US8509982B2 (en) | 2010-10-05 | 2013-08-13 | Google Inc. | Zone driving |
| KR101740231B1 (ko) * | 2010-11-17 | 2017-05-26 | 삼성전자주식회사 | 3차원 얼굴 위치 추정 방법 및 장치 |
| JP5824936B2 (ja) * | 2011-07-25 | 2015-12-02 | 富士通株式会社 | 携帯型電子機器、危険報知方法及びプログラム |
| JP2013097675A (ja) * | 2011-11-02 | 2013-05-20 | Honda Elesys Co Ltd | 勾配推定装置、勾配推定方法、及び勾配推定プログラム |
| JP5678873B2 (ja) * | 2011-11-30 | 2015-03-04 | 株式会社デンソー | 車両用前照灯制御装置 |
| KR101340014B1 (ko) * | 2011-12-09 | 2013-12-10 | 에스엘 주식회사 | 위치 정보 제공 장치 및 방법 |
| JP5863105B2 (ja) * | 2011-12-13 | 2016-02-16 | アルパイン株式会社 | 車両移動量推定装置および障害物検出装置 |
| JP6218209B2 (ja) * | 2012-02-10 | 2017-10-25 | 学校法人甲南学園 | 障害物検出装置 |
| US9538880B2 (en) * | 2012-05-09 | 2017-01-10 | Convotherm Elektrogeraete Gmbh | Optical quality control system |
| JP6150531B2 (ja) * | 2013-01-21 | 2017-06-21 | 三菱重工業株式会社 | 地形情報取得装置、地形情報取得システム、地形情報取得方法及びプログラム |
| DE102013220303A1 (de) * | 2013-10-08 | 2015-04-09 | Ford Global Technologies, Llc | Verfahren zum Ermitteln einer relativen Fahrbahnsteigung |
| DE102013018926B4 (de) * | 2013-11-13 | 2021-06-02 | Audi Ag | Verfahren und System zum Ermitteln eines Werts für eine Höhe |
| DE102014012831B4 (de) * | 2014-08-28 | 2018-10-04 | Wirtgen Gmbh | Selbstfahrende Baumaschine und Verfahren zum Steuern einer selbstfahrenden Baumaschine |
| US9321461B1 (en) | 2014-08-29 | 2016-04-26 | Google Inc. | Change detection using curve alignment |
| US9248834B1 (en) | 2014-10-02 | 2016-02-02 | Google Inc. | Predicting trajectories of objects based on contextual information |
| WO2017047282A1 (ja) * | 2015-09-15 | 2017-03-23 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
| JP6462544B2 (ja) * | 2015-09-17 | 2019-01-30 | 株式会社東芝 | 推定装置、方法及びプログラム |
| KR102565485B1 (ko) * | 2016-01-11 | 2023-08-14 | 한국전자통신연구원 | 도시 거리 검색 서비스 제공 서버 및 방법 |
| JP6950170B2 (ja) | 2016-11-30 | 2021-10-13 | 株式会社リコー | 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム |
| CN110050171B (zh) * | 2016-12-05 | 2022-03-01 | 新唐科技日本株式会社 | 摄像装置和该摄像装置中使用的固体摄像元件 |
| DE102018119962A1 (de) | 2018-08-16 | 2020-02-20 | Wirtgen Gmbh | Selbstfahrende Baumaschine und Verfahren zum Steuern einer selbstfahrenden Baumaschine |
| US11836933B2 (en) * | 2019-07-18 | 2023-12-05 | Toyota Motor Europe | Method for calculating information relative to a relative speed between an object and a camera |
| JPWO2021033632A1 (ja) * | 2019-08-20 | 2021-02-25 | ||
| US10837795B1 (en) | 2019-09-16 | 2020-11-17 | Tusimple, Inc. | Vehicle camera calibration system |
| JP7315216B2 (ja) | 2019-11-29 | 2023-07-26 | 公立大学法人会津大学 | 補正距離算出装置、補正距離算出用プログラムおよび補正距離算出方法 |
| JP7225079B2 (ja) | 2019-11-29 | 2023-02-20 | 日立Astemo株式会社 | 障害物認識装置 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61172080A (ja) * | 1985-01-28 | 1986-08-02 | Nissan Motor Co Ltd | 超音波測定装置 |
| EP0273976B1 (en) * | 1986-05-21 | 1993-08-11 | Kabushiki Kaisha Komatsu Seisakusho | Guiding apparatus for unmanned movable bodies |
| US5359666A (en) * | 1988-09-28 | 1994-10-25 | Honda Giken Kogyo Kabushiki Kaisha | Driving way judging device and method |
| US5026153A (en) * | 1989-03-01 | 1991-06-25 | Mitsubishi Denki K.K. | Vehicle tracking control for continuously detecting the distance and direction to a preceding vehicle irrespective of background dark/light distribution |
| DE69124726T2 (de) * | 1990-10-25 | 1997-07-03 | Mitsubishi Electric Corp | Vorrichtung zur Abstandsdetektion für ein Kraftfahrzeug |
| JP2671615B2 (ja) * | 1991-02-18 | 1997-10-29 | 三菱電機株式会社 | ガードレール検出装置 |
| JPH04313199A (ja) * | 1991-03-20 | 1992-11-05 | Mitsubishi Electric Corp | 車間距離検出装置 |
| EP0841648B1 (en) * | 1992-09-30 | 2004-06-02 | Hitachi, Ltd. | Vehicle driving support system and vehicle therewith |
| US5638116A (en) * | 1993-09-08 | 1997-06-10 | Sumitomo Electric Industries, Ltd. | Object recognition apparatus and method |
| JPH07225126A (ja) | 1994-02-14 | 1995-08-22 | Mitsubishi Motors Corp | 車両用路上物体認識装置 |
| JP3287166B2 (ja) * | 1995-02-07 | 2002-05-27 | 富士電機株式会社 | 距離測定装置 |
| JPH10143659A (ja) * | 1996-11-06 | 1998-05-29 | Komatsu Ltd | 物体検出装置 |
| US6041274A (en) * | 1997-04-21 | 2000-03-21 | Shinko Electric Co., Ltd. | Positional deviation detecting device for a mobile body and position correcting apparatus for a working machine mounted on a mobile body |
-
1999
- 1999-09-24 JP JP26962799A patent/JP3995846B2/ja not_active Expired - Fee Related
-
2000
- 2000-08-17 US US09/640,928 patent/US6963657B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001091217A (ja) | 2001-04-06 |
| US6963657B1 (en) | 2005-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3995846B2 (ja) | 物体認識装置 | |
| JP4118452B2 (ja) | 物体認識装置 | |
| US7965871B2 (en) | Moving-state determining device | |
| US6987864B2 (en) | Object detection system | |
| JP4714104B2 (ja) | 物体傾き検出装置 | |
| JP2010019589A (ja) | 車間距離検出装置、ドライブレコーダ装置 | |
| JP6816401B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
| JP5421819B2 (ja) | 車線認識装置 | |
| US7840026B2 (en) | Apparatus and method for detecting objects | |
| JP2000353300A (ja) | 物体認識装置 | |
| JP2008309519A (ja) | 画像処理を用いた物体検出装置 | |
| JP3807583B2 (ja) | 道路領域判定装置 | |
| JP5320880B2 (ja) | 距離計測装置、距離計測方法および車両 | |
| JP2010020710A (ja) | 路側固定物検出装置 | |
| JP4100823B2 (ja) | 物体判定装置 | |
| JP2004185425A (ja) | レーンマーク識別方法及び装置 | |
| JP5903901B2 (ja) | 車両位置算出装置 | |
| JP5891802B2 (ja) | 車両位置算出装置 | |
| JPH10187974A (ja) | 物流計測装置 | |
| JP7134780B2 (ja) | ステレオカメラ装置 | |
| JPH11205663A (ja) | 車両用撮像装置の露光量制御装置 | |
| JP4165966B2 (ja) | 物体認識装置 | |
| JPH07198349A (ja) | 道路形状及び自車両姿勢の計測装置 | |
| JP3923183B2 (ja) | 車両用距離測定装置 | |
| KR101210233B1 (ko) | 영상처리를 통한 거리 측정 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070718 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070731 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070801 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110810 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110810 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120810 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120810 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130810 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140810 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |