JP3931891B2 - 車載用画像処理装置 - Google Patents
車載用画像処理装置 Download PDFInfo
- Publication number
- JP3931891B2 JP3931891B2 JP2004198178A JP2004198178A JP3931891B2 JP 3931891 B2 JP3931891 B2 JP 3931891B2 JP 2004198178 A JP2004198178 A JP 2004198178A JP 2004198178 A JP2004198178 A JP 2004198178A JP 3931891 B2 JP3931891 B2 JP 3931891B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image processing
- area
- image
- processing area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000012545 processing Methods 0.000 title claims description 231
- 238000001514 detection method Methods 0.000 claims description 63
- 238000009795 derivation Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 39
- 238000004364 calculation method Methods 0.000 description 12
- 230000014509 gene expression Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Description
本発明は、カメラで撮像した画像を処理して先行車を検出する車載用画像処理装置に関する。
カメラにより撮像した画像を処理して自車前方の車両を検出するようにした車両用障害物検出装置が知られている（例えば、特許文献１参照）。
この出願の発明に関連する先行技術文献としては次のものがある。
特開平１０−０９７６９９号公報
しかしながら、上述した従来の車両用障害物検出装置では、降雨や降雪などの悪天候下では前方車両の検知性能が低下してしまうという問題がある。
（１） 請求項１の発明は、自車の前方を撮像する撮像手段と、前記撮像手段により撮像した１枚の画像の中の自車線上に自車に近い位置から遠い位置へ順に画像処理領域を設定するとともに、自車に近い位置から遠い位置へ行くにしたがって画像処理領域を狭くする領域設定手段と、前記画像の中の前記領域設定手段により設定した画像処理領域から画像の特徴を導出する特徴導出手段と、前記画像の中の前記画像処理領域内の前記特徴導出手段により導出した特徴に基づいて車両の存在を判定する車両判定手段とを備え、前記領域設定手段によって前記画像の中の自車線上に自車に近い位置から遠い位置へ順に画像処理領域が設定されるたびに、設定された前記画像処理領域において前記特徴導出手段により特徴を導出するとともに前記車両判定手段により車両の存在を判定し、車両の存在が判定されたら前記領域設定手段、前記特徴導出手段および前記車両判定手段による画像処理を終了する。
（２） 請求項２の車載用画像処理装置は、自車の車速を検出する車速検出手段と、自車の操舵角を検出する操舵角検出手段と、前記車速検出手段により検出された車速と前記操舵角検出手段により検出された操舵角に基づいて自車の進路を予測する進路予測手段とを備え、前記領域設定手段によって、前記進路予測手段で予測された自車進路に沿って画像処理領域を設定するようにしたものである。
（３） 請求項３の車載用画像処理装置は、前記領域設定手段によって、自車線上の車幅方向の中央とその左側および右側にそれぞれ、自車に近い位置から遠い位置へ順に画像処理領域を設定するとともに、自車に近い位置から遠い位置へ行くにしたがって画像処理領域を狭くするようにしたものである。
（４） 請求項４の車載用画像処理装置は、前記領域設定手段によって、自車線上の車幅方向中央における画像処理領域の設定回数を、自車線上の車幅方向左側と右側における画像処理領域の設定回数よりも多くするようにしたものである。
（５） 請求項５の車載用画像処理装置は、前記領域設定手段によって、自車から遠くなるほど、自車線上の自車に近い位置から遠い位置へ設定する画像処理領域の設定間隔を広くするようにしたものである。
（６） 請求項６の車載用画像処理装置は、自車の車速を検出する車速検出手段を備え、前記領域設定手段によって、自車速が高くなるほど、自車線上の自車に近い位置から遠い位置へ設定する画像処理領域の設定間隔を広くするようにしたものである。
（７） 請求項７の車載用画像処理装置は、前記領域設定手段によって、自車速が低くなるほど、自車線上の自車に近い位置から遠い位置へ設定する画像処理領域の面積を大きくするとともに設定地点数を少なくするようにしたものである。
（８） 請求項８の車載用画像処理装置は、前記領域設定手段によって、撮像画像の中の自車線上の自車に近い位置から遠い位置へ設定する画像処理領域を、自車から所定の距離の地点に対応する撮像画像上の位置に設定するようにしたものである。
（２） 請求項２の車載用画像処理装置は、自車の車速を検出する車速検出手段と、自車の操舵角を検出する操舵角検出手段と、前記車速検出手段により検出された車速と前記操舵角検出手段により検出された操舵角に基づいて自車の進路を予測する進路予測手段とを備え、前記領域設定手段によって、前記進路予測手段で予測された自車進路に沿って画像処理領域を設定するようにしたものである。
（３） 請求項３の車載用画像処理装置は、前記領域設定手段によって、自車線上の車幅方向の中央とその左側および右側にそれぞれ、自車に近い位置から遠い位置へ順に画像処理領域を設定するとともに、自車に近い位置から遠い位置へ行くにしたがって画像処理領域を狭くするようにしたものである。
（４） 請求項４の車載用画像処理装置は、前記領域設定手段によって、自車線上の車幅方向中央における画像処理領域の設定回数を、自車線上の車幅方向左側と右側における画像処理領域の設定回数よりも多くするようにしたものである。
（５） 請求項５の車載用画像処理装置は、前記領域設定手段によって、自車から遠くなるほど、自車線上の自車に近い位置から遠い位置へ設定する画像処理領域の設定間隔を広くするようにしたものである。
（６） 請求項６の車載用画像処理装置は、自車の車速を検出する車速検出手段を備え、前記領域設定手段によって、自車速が高くなるほど、自車線上の自車に近い位置から遠い位置へ設定する画像処理領域の設定間隔を広くするようにしたものである。
（７） 請求項７の車載用画像処理装置は、前記領域設定手段によって、自車速が低くなるほど、自車線上の自車に近い位置から遠い位置へ設定する画像処理領域の面積を大きくするとともに設定地点数を少なくするようにしたものである。
（８） 請求項８の車載用画像処理装置は、前記領域設定手段によって、撮像画像の中の自車線上の自車に近い位置から遠い位置へ設定する画像処理領域を、自車から所定の距離の地点に対応する撮像画像上の位置に設定するようにしたものである。
（１） 請求項１の発明によれば、先行車以外の物体を捕捉する確率が少なくなり、面積の小さい画像処理領域を設定して悪天候時における車両検知性能を向上させながら、画像の撮像間隔において撮像画像の中の広い範囲に多くの画像処理領域を設定して早く、確実に車両を検出できる。その上、通常、先行車追従走行制御装置や車間距離制御装置においては、自車線上の自車に最も近い先行車のみを検出すればよいから、それらのアプリケーションに適用することによってＣＰＵの演算負荷を軽減しながら、先行車を早く、確実に検出することができる。
（２） 請求項２の発明によれば、曲線路を走行中であっても先行車を早く、確実に検出できる。
（３） 請求項３の発明によれば、悪天候時の車両検知の確立を高めるために画像処理領域を小さくしても、自車の正面から横へずれた位置を走行する先行車を確実に検出することができる。
（４） 請求項４の発明によれば、自車の正面に存在する確立が高い先行車をより早く検出することができる。
（５） 請求項５および６の発明によれば、カメラ画像上の遠近感に応じたスキャンニング間隔とすることができる。
（６） 請求項７の発明によれば、ＣＰＵの演算負荷を軽減することができる。
（７） 請求項８の発明によれば、画像処理領域で検出される車両までの距離を正確に把握できる。
（２） 請求項２の発明によれば、曲線路を走行中であっても先行車を早く、確実に検出できる。
（３） 請求項３の発明によれば、悪天候時の車両検知の確立を高めるために画像処理領域を小さくしても、自車の正面から横へずれた位置を走行する先行車を確実に検出することができる。
（４） 請求項４の発明によれば、自車の正面に存在する確立が高い先行車をより早く検出することができる。
（５） 請求項５および６の発明によれば、カメラ画像上の遠近感に応じたスキャンニング間隔とすることができる。
（６） 請求項７の発明によれば、ＣＰＵの演算負荷を軽減することができる。
（７） 請求項８の発明によれば、画像処理領域で検出される車両までの距離を正確に把握できる。
《発明の第１の実施の形態》
図１は第１の実施の形態の構成を示す。スキャンニング式レーザーレーダー１は車両前方にレーザー光を照射して物体からの反射光を受光し、物体までの距離と方位を測定する。レーダー処理装置２はレーザーレーダー１による測定結果に基づいて車両前方の車両を抽出し、自車両を原点とする車両前後方向と車幅方向の二次元座標上における車両の位置と車両の大きさ（幅）とを算出する。プログレッシブスキャン式３ＣＣＤカメラ３は車両前方を高速に撮像する。画像処理装置４はカメラ３による撮像画像の内、レーダー処理装置２により算出した車両周辺を注目領域として画像処理を行い、自車のピッチング変動などによりレーダー検知物体をロストした場合にも、カメラ画像により車両を検知し続ける。
図１は第１の実施の形態の構成を示す。スキャンニング式レーザーレーダー１は車両前方にレーザー光を照射して物体からの反射光を受光し、物体までの距離と方位を測定する。レーダー処理装置２はレーザーレーダー１による測定結果に基づいて車両前方の車両を抽出し、自車両を原点とする車両前後方向と車幅方向の二次元座標上における車両の位置と車両の大きさ（幅）とを算出する。プログレッシブスキャン式３ＣＣＤカメラ３は車両前方を高速に撮像する。画像処理装置４はカメラ３による撮像画像の内、レーダー処理装置２により算出した車両周辺を注目領域として画像処理を行い、自車のピッチング変動などによりレーダー検知物体をロストした場合にも、カメラ画像により車両を検知し続ける。
外界認識装置５は、レーダー処理装置２と画像処理装置４の車両検出結果と、車速検出装置６により検出された車速、操舵角検出装置７により検出された操舵角などに基づいて自車前方の車両を検出し、自車にとって障害物か否かを判断し、必要に応じて自動ブレーキ制御装置８を制御して負圧ブレーキブースター９を駆動し、車両の制動力を発生させる。なお、以下の一実施の形態ではレーザーレーダー１が物体を検出できない走行環境下を想定し、カメラ３による撮像画像を処理して車両の検出を行う。
図２は第１の実施の形態の車両検出処理を示すフローチャートである。このフローチャートにより、第１の実施の形態の動作を説明する。外界認識装置５は所定時間（この第１の実施の形態では５０ｍsec）ごとにこの車両検出処理を実行する。
ステップ２０１においてＣＣＤカメラ３から今回のサンプリングにおける撮像画像を読み込む。続くステップ２０２では車速検出装置６から車速を、操舵角検出装置７から操舵角をそれぞれ読み込む。ステップ２０３で将来の自車進路の曲率半径Ｒow［ｍ］を次式により推定する。
Ｒow＝（１＋Ａ・Ｖsp２・ＬWB）／Ｓteer ・・・（１）
（１）式において、Ａは車両固有の値であるスタビリティーファクター（車重、ホイールベース長、重心位置、タイヤの横力で決まる定数と見なせる値）を示す。また、Ｖspは自車速［ｍ／ｓ］を、ＬWBはホイールベース長［ｍ］を、Ｓteerは操舵角［rad］（右切りが正）をそれぞれ示す。
Ｒow＝（１＋Ａ・Ｖsp２・ＬWB）／Ｓteer ・・・（１）
（１）式において、Ａは車両固有の値であるスタビリティーファクター（車重、ホイールベース長、重心位置、タイヤの横力で決まる定数と見なせる値）を示す。また、Ｖspは自車速［ｍ／ｓ］を、ＬWBはホイールベース長［ｍ］を、Ｓteerは操舵角［rad］（右切りが正）をそれぞれ示す。
ステップ２０４では車幅（左右）方向のスキャンニング位置を決定する。なお、この明細書ではカメラ３の撮像画像の一部に画像処理領域を設定して車両の検出処理を行う際に、画像処理領域の設定地点を自車前方の前後方向と車幅（左右）方向に複数箇所設定し、それらの設定地点の画像処理領域において順に車両検出処理を行うが、その動作を“スキャンニング”と呼ぶ。この第１の実施の形態では５０ｍsecごとに自車線上の中央→右側→左側→中央・・の順に車幅方向にスキャンニングするとともに、各車幅方向の位置において自車の前後方向にスキャンニングして車両の検出を行う。なお、撮像画像上の車幅方向の画像処理領域の設定位置は自車線上に限定されず、自車線から隣接車線にはみ出した位置に画像処理領域を設定してもよい。
具体的には、図３に示すように、時刻ｔ［ｓ］で自車線上の中央を手前から前方の順に画像処理領域を設定してスキャンニングした後、時刻（ｔ＋０．０５）［ｓ］で自車線上の右側を手前から前方の順に画像処理領域を設定してスキャンニングし、さらに時刻（ｔ＋０．１）［ｓ］で自車線上の左側を手前から前方の順に画像処理領域を設定してスキャンニングする。自車線上の車幅方向のスキャンニング位置をＭalfunScanで表すと、
ＭalfunScan＝ＭalfunScan＋１ ・・・（２），
if（ＭalfunScan＞２）ＭalfunScan＝０ ・・・（３）
（２）、（３）式において、if（expression）statementとは、expressionを満たす場合にstatementを実施する関数である。ＭalfunScanは車幅方向のスキャンニング位置を示すカウンターであり、初期値０（中央）、１（右側）、２（左側）の順に車幅方向にスキャンニングする。
ＭalfunScan＝ＭalfunScan＋１ ・・・（２），
if（ＭalfunScan＞２）ＭalfunScan＝０ ・・・（３）
（２）、（３）式において、if（expression）statementとは、expressionを満たす場合にstatementを実施する関数である。ＭalfunScanは車幅方向のスキャンニング位置を示すカウンターであり、初期値０（中央）、１（右側）、２（左側）の順に車幅方向にスキャンニングする。
ステップ２０５では自車前後方向のスキャンニング位置を決定する。前後方向のスキャンニングは、図３に示すように自車に近い手前から自車から遠い前方へ順に画像処理領域を設定して行う。自車前後方向のスキャンニング位置をＬoopで表すと、
Ｌoop＝Ｌoop＋１ ・・・（４），
if（Ｌoop＞５）Ｌoop＝０ ・・・（５）
（４）、（５）式において、Ｌoopは自車前後方向のスキャンニング位置を示すカウンターであり、初期値０（自車に最も近い位置）から５（自車から最も遠い位置）までの６カ所において前後方向にスキャンニングする。
Ｌoop＝Ｌoop＋１ ・・・（４），
if（Ｌoop＞５）Ｌoop＝０ ・・・（５）
（４）、（５）式において、Ｌoopは自車前後方向のスキャンニング位置を示すカウンターであり、初期値０（自車に最も近い位置）から５（自車から最も遠い位置）までの６カ所において前後方向にスキャンニングする。
ステップ２０６では、画像処理領域を設定するために自車から所定の距離に相当する地点を決める。
obj_Ｙ＝Ｋy・Ｌoop＋ＩnitDist ・・・（６），
ＬateralSlide＝Ｋx・（ＭalScanDir−１） ・・・（７），
if（Ｒow＞０）obj_Ｘ＝Ｒow−√（Ｒow２−obj_Ｙ２）＋ＬateralSlide＋ＣamInsOfs
・・・（８），
els obj_Ｘ＝Ｒow＋√（Ｒow２−obj_Ｙ２）＋ＬateralSlide＋ＣamInsOfs
・・・（９）
ここで、obj_Ｙとobj_Ｘが画像処理領域の設定地点の前後、左右の位置［ｍ］を表し、ＩnitDistは前後方向にスキャンニングする際の最も近距離側の位置［ｍ］であり、ＬateralSlideは車幅方向のスキャンニングにおける自車予測進路の正面からのスライド量［ｍ］である。ＩnitDistの値は、通常はＶsp［ｍ／ｓ］の値をそのまま用いる。すなわち、時速１００km/hではＩnitDist＝約２８ｍ／ｓである。これは、車間時間ＴＨＷ＝１ｓより遠方に限定することを意味している。電子地図情報などで自動車専用道路を走行中であると判断できる場合には、この値を通常より長めに設定してもよい。同様に、ＶＩＣＳなどの交通情報から混雑状況を把握し、現在の走行地点が混雑している場合にはＩnitDistを通常より短く設定してもよい。また、Ｋy、Ｋxとは自車の前後方向と車幅方向のスキャンニングにおける１ステップの間隔を意味する値［ｍ］である。さらに、ＣamInsOfsは自車の中心からカメラ３の取り付け位置までのオフセット量［ｍ］であって、if（expression）statement１ else statement２とは、expressionを満たす場合にstatement１を実行し、expressionを満たさない場合にstatement２を実行する関数である。
obj_Ｙ＝Ｋy・Ｌoop＋ＩnitDist ・・・（６），
ＬateralSlide＝Ｋx・（ＭalScanDir−１） ・・・（７），
if（Ｒow＞０）obj_Ｘ＝Ｒow−√（Ｒow２−obj_Ｙ２）＋ＬateralSlide＋ＣamInsOfs
・・・（８），
els obj_Ｘ＝Ｒow＋√（Ｒow２−obj_Ｙ２）＋ＬateralSlide＋ＣamInsOfs
・・・（９）
ここで、obj_Ｙとobj_Ｘが画像処理領域の設定地点の前後、左右の位置［ｍ］を表し、ＩnitDistは前後方向にスキャンニングする際の最も近距離側の位置［ｍ］であり、ＬateralSlideは車幅方向のスキャンニングにおける自車予測進路の正面からのスライド量［ｍ］である。ＩnitDistの値は、通常はＶsp［ｍ／ｓ］の値をそのまま用いる。すなわち、時速１００km/hではＩnitDist＝約２８ｍ／ｓである。これは、車間時間ＴＨＷ＝１ｓより遠方に限定することを意味している。電子地図情報などで自動車専用道路を走行中であると判断できる場合には、この値を通常より長めに設定してもよい。同様に、ＶＩＣＳなどの交通情報から混雑状況を把握し、現在の走行地点が混雑している場合にはＩnitDistを通常より短く設定してもよい。また、Ｋy、Ｋxとは自車の前後方向と車幅方向のスキャンニングにおける１ステップの間隔を意味する値［ｍ］である。さらに、ＣamInsOfsは自車の中心からカメラ３の取り付け位置までのオフセット量［ｍ］であって、if（expression）statement１ else statement２とは、expressionを満たす場合にstatement１を実行し、expressionを満たさない場合にstatement２を実行する関数である。
ステップ２０７では自車から所定の距離にある地点を撮像画像上の座標に変換し、次式により画像処理領域を設定する。
disp_obj_ＹＡ＝yo＋focusＶ・ＣＡＭ_h2／obj_Ｙ ・・・（１０），
disp_obj_ＹＢ＝yo＋focusＶ・ＣＡＭ_h／obj_Ｙ ・・・（１１），
disp_obj_ＸＬ＝xo＋focusＨ・obj_Ｘ／obj_Ｙ−focusＨ・ＰrocessＷide／obj_Ｙ
・・・（１２），
disp_obj_ＸＲ＝xo＋focusＨ・obj_Ｘ／obj_Ｙ＋focusＨ・ＰrocessＷide／obj_Ｙ
・・・（１３）
ここで、disp_obj_ＹＡは画像処理領域の上側、disp_obj_ＹＢは画像処理領域の下側、disp_obj_ＸＬは画像処理領域の左側、disp_obj_ＸＲは画像処理領域の右側の座標である。また、yo、xoは消失点の縦方向座標［pix：画素数］と横方向座標［pix］（カメラ３の取り付け位置と向きで決まるパラメーター）である。同様に、focusＶとfocusＨは鉛直方向と水平方向のカメラ３の焦点距離を画素換算した値［pix］（カメラ３の画角と受光素子の解像度で決まるパラメーターで、受光面が正方格子である場合にはfocusＶ＝focusＨとなる）である。また、ＣＡＭ_hはカメラ３の取り付け高さ［ｍ］であり、ＣＡＭ_h2はＣＡＭ_hから前方車両候補として考慮すべき物体の高さを減算した値である。ＰrocessWideは画像処理領域の幅を決めるパラメーターであり、自車幅以下の値［ｍ］であって、この一実施の形態では１．４［ｍ］とする。さらに、ＣＡＭ_h−ＣＡＭ_h2≪ＰrocessWideの関係がある。
disp_obj_ＹＡ＝yo＋focusＶ・ＣＡＭ_h2／obj_Ｙ ・・・（１０），
disp_obj_ＹＢ＝yo＋focusＶ・ＣＡＭ_h／obj_Ｙ ・・・（１１），
disp_obj_ＸＬ＝xo＋focusＨ・obj_Ｘ／obj_Ｙ−focusＨ・ＰrocessＷide／obj_Ｙ
・・・（１２），
disp_obj_ＸＲ＝xo＋focusＨ・obj_Ｘ／obj_Ｙ＋focusＨ・ＰrocessＷide／obj_Ｙ
・・・（１３）
ここで、disp_obj_ＹＡは画像処理領域の上側、disp_obj_ＹＢは画像処理領域の下側、disp_obj_ＸＬは画像処理領域の左側、disp_obj_ＸＲは画像処理領域の右側の座標である。また、yo、xoは消失点の縦方向座標［pix：画素数］と横方向座標［pix］（カメラ３の取り付け位置と向きで決まるパラメーター）である。同様に、focusＶとfocusＨは鉛直方向と水平方向のカメラ３の焦点距離を画素換算した値［pix］（カメラ３の画角と受光素子の解像度で決まるパラメーターで、受光面が正方格子である場合にはfocusＶ＝focusＨとなる）である。また、ＣＡＭ_hはカメラ３の取り付け高さ［ｍ］であり、ＣＡＭ_h2はＣＡＭ_hから前方車両候補として考慮すべき物体の高さを減算した値である。ＰrocessWideは画像処理領域の幅を決めるパラメーターであり、自車幅以下の値［ｍ］であって、この一実施の形態では１．４［ｍ］とする。さらに、ＣＡＭ_h−ＣＡＭ_h2≪ＰrocessWideの関係がある。
ステップ２０８では、ステップ２０６と２０７で設定した画像処理領域に対して特徴抽出のためのエッジ検出処理を、例えば以下の(ａ)から(ｄ)の手順で行う。(ａ)設定した画像処理領域について、Ｓobelフィルター演算（隣接する画素間での濃淡変化を微分演算により求める演算手法であって、画像上における道路と車両の境界のように濃淡変化が大きい部分だけを集めることが可能な画像処理手法）などにより、エッジ画像を求める。(ｂ)上記(ａ)で求めたエッジ画像の濃淡値の平均値と分散値からしきい値を設定し、エッジ画像を２値化する。つまり、エッジ画像について、しきい値を超える領域とそうでない領域とに分類することによって、明確なエッジ部分とエッジでない部分の２つに分類する。(ｃ)明確なエッジとして分類されたエッジの中から、地平線に相当するような水平方向に長いエッジではなく、垂直方向に長いエッジのみを集め、この集合をＶertEdgeとする。(ｄ)同様に、明確なエッジとして分類されたエッジの中から、水平方向に長いエッジのみを集め、この集合をＨoriEdgeとする。
ステップ２０９では、ステップ２０８で抽出した特徴量を前方車両として検出するか否かの判定を、例えば次の(ｅ)〜(ｇ)の手順で行う。(ｅ)ステップ２０６で求めた画像処理領域の設定地点obj_Ｙを用いて検知したい車両の大きさ（幅）の最も広い限界値obj_Ｗfと最も狭い限界値obj_Ｗnを次式により画素数に換算して求める。
obj_Ｗn＝（focusＨ・pＷn）／obj_Ｙ ・・・（１４），
obj_Ｗf＝（focusＨ・pＷf）／obj_Ｙ ・・・（１５）
ここで、pＷnとpＷfはそれぞれ、検知したい車両の横方向の大きさ（幅）［ｍ］であり、例えばpＷn＝１．０［ｍ］、pＷf＝２．５［ｍ］とする。
obj_Ｗn＝（focusＨ・pＷn）／obj_Ｙ ・・・（１４），
obj_Ｗf＝（focusＨ・pＷf）／obj_Ｙ ・・・（１５）
ここで、pＷnとpＷfはそれぞれ、検知したい車両の横方向の大きさ（幅）［ｍ］であり、例えばpＷn＝１．０［ｍ］、pＷf＝２．５［ｍ］とする。
(ｆ)鉛直エッジ群ＶertEdgeの中から上記(ｅ)で定めた範囲に入る鉛直方向エッジの対（ペア）を求め、 この画像上の座標の集合をＣarCanEdge_Left（ペアの左側に相当する鉛直方向エッジの水平座標）と、ＣarCanEdge_Right（ペアの右側に相当する鉛直方向エッジの水平座標）とする。これを数式化すると次式になる。
ＢodySpace＝ＣarCanEdge_Right［ｉ］−ＣarCanEdge_Left［ｉ］ ・・・（１６），
obj_Ｗn＜ＢodySpace＜obj_Ｗf ・・・（１７）
ここで、ｉは（１７）式を満足する鉛直エッジのインデックスであり、ｉの数だけ画像処理領域内に検出したい車両の候補が存在することを意味する。
ＢodySpace＝ＣarCanEdge_Right［ｉ］−ＣarCanEdge_Left［ｉ］ ・・・（１６），
obj_Ｗn＜ＢodySpace＜obj_Ｗf ・・・（１７）
ここで、ｉは（１７）式を満足する鉛直エッジのインデックスであり、ｉの数だけ画像処理領域内に検出したい車両の候補が存在することを意味する。
(ｇ)水平エッジ群ＨoriEdgeの中から、上記(ｆ)で求めたすべてのエッジペアに対してその中間に存在する水平エッジと鉛直エッジペアの組み合わせを見つけ、これを満足するエッジの組み合わせをそれぞれＣarEdge_L（車両として検知する領域の左側座標）、ＣarEdge_R（車両として検知する領域の右側座標）、ＣarEdge_B（車両として検知する領域の下側座標）とする。これを数式化すると次式になる。
if（ＣarCanEdge_Left［ｉ］＜ＨoriEdge_x［ｊ］＜ＣarCanEdge_Right［ｉ］｛
・・・（１８），
ＣarEdge_L［ｋ］＝ＣarCanEdge_Left［ｉ］ ・・・（１９），
ＣarEdge_R［ｋ］＝ＣarCanEdge_Right［ｉ］ ・・・（２０），
ＣarEdge_B［ｋ］＝ＨoriEdge_x［ｊ］ ・・・（２１），
ｋ＝ｋ＋１ ・・・（２２），
｝
これにより、ＣarEdge_LとＣarEdge_RとＣarEdge_Bの組み合わせから、Ｈ型のエッジパターンが検出される。このとき、最も画面の下側に存在するＣarEdge_Bのインデックス番号をｋbottomとすると、ＣarEdge_L［ｋbottom］とＣarEdge_R［ｋbottom］とＣarEdge_B［ｋbottom］の組み合わせからなる領域がＵ字型のエッジパターンになる。ここで、ＨoriEdge_xは水平エッジの水平座標であり、ｊは水平エッジのインデックスを意味し、ｋは水平エッジと鉛直エッジの組み合わせから車両として判断した画像特徴のインデックスを意味する。（１８）式から（２２）式はすべての水平エッジとすべての鉛直エッジペアに対して行われる処理である。
if（ＣarCanEdge_Left［ｉ］＜ＨoriEdge_x［ｊ］＜ＣarCanEdge_Right［ｉ］｛
・・・（１８），
ＣarEdge_L［ｋ］＝ＣarCanEdge_Left［ｉ］ ・・・（１９），
ＣarEdge_R［ｋ］＝ＣarCanEdge_Right［ｉ］ ・・・（２０），
ＣarEdge_B［ｋ］＝ＨoriEdge_x［ｊ］ ・・・（２１），
ｋ＝ｋ＋１ ・・・（２２），
｝
これにより、ＣarEdge_LとＣarEdge_RとＣarEdge_Bの組み合わせから、Ｈ型のエッジパターンが検出される。このとき、最も画面の下側に存在するＣarEdge_Bのインデックス番号をｋbottomとすると、ＣarEdge_L［ｋbottom］とＣarEdge_R［ｋbottom］とＣarEdge_B［ｋbottom］の組み合わせからなる領域がＵ字型のエッジパターンになる。ここで、ＨoriEdge_xは水平エッジの水平座標であり、ｊは水平エッジのインデックスを意味し、ｋは水平エッジと鉛直エッジの組み合わせから車両として判断した画像特徴のインデックスを意味する。（１８）式から（２２）式はすべての水平エッジとすべての鉛直エッジペアに対して行われる処理である。
ステップ２１０では、ステップ２０９で車両を検知できたか否かを確認し、車両を検知した場合にはステップ２１２へ進み、その後のスキャンニングを途中でも中止する。
ステップ２１１では、次式の条件を満足する場合には前後方向のスキャンニングを続けるため、ステップ２０５へ進む。条件を満足しない場合はステップ２１２へ進む。
if（Ｌoop＜５）goto［step２０５］ ・・・（２３）
ここで、goto［step＊＊＊］とは、＊＊＊に記載のステップ番号へ進むことを意味する関数である。
if（Ｌoop＜５）goto［step２０５］ ・・・（２３）
ここで、goto［step＊＊＊］とは、＊＊＊に記載のステップ番号へ進むことを意味する関数である。
ステップ２１２では次式により検出車両の位置を算出し、さらに車両発見終了を意味する状態遷移変数Ｍode＝ＩnitDetectからＭode＝Ｔrackingに移行してそれを後段へ出力する。
ＤetectObj_tate＝focusＶ・ＣＡＭ_h／（ＣarEdge_B［kk］−yo） ・・・（２４），
ＤetectObj_yoko＝（（（ＣarEdge_L［kk］＋ＣarEdge_R［kk］）／２）−xo）・obj_Ｙ／focusＨ ・・・（２５）
ＤetectObj_haba＝（ＣarEdge_R［kk］−ＣarEdge_L［kk］）・obj_Ｙ／focusＨ
・・・（２６）
ここで、ｋｋはステップ２０９で求めたｋの中で最も大きい領域を構成するエッジ組み合わせのインデックス番号である。最大領域を選ぶ理由は、設定領域内に複数の車両が存在する場合に、前方車両の部分的な検知をなくし、全体を検知するためである。
ＤetectObj_tate＝focusＶ・ＣＡＭ_h／（ＣarEdge_B［kk］−yo） ・・・（２４），
ＤetectObj_yoko＝（（（ＣarEdge_L［kk］＋ＣarEdge_R［kk］）／２）−xo）・obj_Ｙ／focusＨ ・・・（２５）
ＤetectObj_haba＝（ＣarEdge_R［kk］−ＣarEdge_L［kk］）・obj_Ｙ／focusＨ
・・・（２６）
ここで、ｋｋはステップ２０９で求めたｋの中で最も大きい領域を構成するエッジ組み合わせのインデックス番号である。最大領域を選ぶ理由は、設定領域内に複数の車両が存在する場合に、前方車両の部分的な検知をなくし、全体を検知するためである。
ステップ２１３では今回の撮像結果における前方車両発見処理を終了する。
図３および図４は第１の実施の形態による画像処理領域の設定の様子を示す図である。図３において、時刻ｔ［ｓ］でカメラ３の撮像画像を入力し、自車線中央を手前（Ｌoop＝０）から自車前方へ等間隔（（６）式のＫy［ｍ］）に画像処理領域の設定地点を設定し、図４に示すように手前の領域の面積を最大にして自車前方になるほど面積が小さくなるように画像処理領域を設定する。同様に、時刻（ｔ＋０．０５）［ｓ］においてカメラ３の撮像画像を入力し、自車線右側を手前から自車前方へ等間隔に、自車前方になるほど小さい面積の画像処理領域を設定する。さらに、時刻（ｔ＋０．１）［ｓ］においてカメラ３の撮像画像を入力し、自車線左側を手前から自車前方へ等間隔に、自車前方になるほど小さい面積の画像処理領域を設定する。
このように第１の実施の形態によれば、高性能な車両検知が単眼カメラで可能になる。すなわち、画像処理領域を非常に小さくして悪天候にも頑強な車両検知を可能にした。また、小さい画像処理領域であるが走行路に沿って高速に走査でき、ＣＰＵの演算負荷を抑制することができる。さらに、誤って背景を車両と誤認することなく、車両を確実に捕捉できる。
《発明の第２の実施の形態》
上述した第１の実施の形態では１枚の撮像画像に対しては自車の前後方向のみにスキャンニングし、撮像画像を更新しながら車幅方向にスキャンニングする例を示したが、演算負荷に余裕のある高速ＣＰＵを用いる場合には、１枚の撮像画像に対して自車の前後方向のスキャンニングと車幅方向のスキャンニングとを同時に行うことができる。なお、この第２の実施の形態の構成は図１に示す第１の実施の形態の構成と同様であり、説明を省略する。
上述した第１の実施の形態では１枚の撮像画像に対しては自車の前後方向のみにスキャンニングし、撮像画像を更新しながら車幅方向にスキャンニングする例を示したが、演算負荷に余裕のある高速ＣＰＵを用いる場合には、１枚の撮像画像に対して自車の前後方向のスキャンニングと車幅方向のスキャンニングとを同時に行うことができる。なお、この第２の実施の形態の構成は図１に示す第１の実施の形態の構成と同様であり、説明を省略する。
図５は第２の実施の形態の車両検出処理を示すフローチャートである。このフローチャートにより、第２の実施の形態の動作を説明する。外界認識装置５は所定時間（この第２の実施の形態では５０ｍsec）ごとにこの車両検出処理を実行する。
ステップ３０１〜３０３の処理は上述した図２に示すステップ２０１〜２０３の処理と同様であり、説明を省略する。ステップ３０４の処理は図２に示すステップ２０５の処理と同様であり（自車前後方向のスキャンニング）、説明を省略する。ステップ３０５の処理は図２に示すステップ２０４の処理と同様であり（自車の車幅方向のスキャンニング）、説明を省略する。ステップ３０６〜３０７の処理は図２に示すステップ２０６〜２０７の処理と同様であり、説明を省略する。
ステップ３０８において、ステップ３０６と３０７で設定した画像処理領域に対して特徴抽出のためのエッジ検出処理を、例えば以下の(ａ)から(ｄ’)の手順で行う。(ａ)設定した画像処理領域について、Ｓobelフィルター演算（隣接する画素間での濃淡変化を微分演算により求める演算手法であって、画像上における道路と車両の境界のように濃淡変化が大きい部分だけを集めることが可能な画像処理手法）などにより、エッジ画像を求める。(ｂ)上記(ａ)で求めたエッジ画像の濃淡値の平均値と分散値からしきい値を設定し、エッジ画像を２値化する。つまり、エッジ画像について、しきい値を超える領域とそうでない領域とに分類することによって、明確なエッジ部分とエッジでない部分の２つに分類する。
(ｃ’)明確なエッジとして分類されたエッジの中から、地平線に相当するような水平方向に長いエッジではなく、鉛直方向に長いエッジのみを集め、それらの内から次式の条件を満足するものだけに限定して集合ＶerEdgeとする。
ｖEdgeLength_S＝（focusＶ・pＨs）／obj_Ｙ ・・・（２７），
ｖEdgeLength_T＝（focusＶ・pＨt）／obj_Ｙ ・・・（２８），
ｖEdgeLength_S＜ＶerEdge_Height＜ｖEdgeLength_T ・・・（２９）
ここで、pＨsとpＨtはそれぞれ特徴量として導出したいエッジの長さ［ｍ］であり、例えばpＨs＝０．３ｍ、pＨt＝１．０ｍとする。そして、ＶerEdge_HeightとはＶerEdgeの集合におけるエッジの長さを意味する集合である。
ｖEdgeLength_S＝（focusＶ・pＨs）／obj_Ｙ ・・・（２７），
ｖEdgeLength_T＝（focusＶ・pＨt）／obj_Ｙ ・・・（２８），
ｖEdgeLength_S＜ＶerEdge_Height＜ｖEdgeLength_T ・・・（２９）
ここで、pＨsとpＨtはそれぞれ特徴量として導出したいエッジの長さ［ｍ］であり、例えばpＨs＝０．３ｍ、pＨt＝１．０ｍとする。そして、ＶerEdge_HeightとはＶerEdgeの集合におけるエッジの長さを意味する集合である。
(ｄ’)同様に、明確なエッジとして分類されたエッジの中から、水平方向に長いエッジのみを集め、それらの内から次式の条件を満足するものだけに限定して集合ＨoriEdgeとする。
ｈEdgeLength_n＝（focusＨ・pＷ1）／obj_Ｙ ・・・（３０），
ｈEdgeLength_w＝（focusＨ・pＷ2）／obj_Ｙ ・・・（３１），
ｈEdgeLength_n＜ＨoriEdge_Length＜ｈEdgeLength_w ・・・（３２）
ここで、pＷ1とpＷ2はそれぞれ特徴量として導出したいエッジの長さ［ｍ］であり、例えばpＷ1＝０．４ｍ、pＷ2＝２．５ｍとする。そして、ＨoriEdge_LengthとはＨoriEdgeの集合におけるエッジの長さを意味する集合である。
ｈEdgeLength_n＝（focusＨ・pＷ1）／obj_Ｙ ・・・（３０），
ｈEdgeLength_w＝（focusＨ・pＷ2）／obj_Ｙ ・・・（３１），
ｈEdgeLength_n＜ＨoriEdge_Length＜ｈEdgeLength_w ・・・（３２）
ここで、pＷ1とpＷ2はそれぞれ特徴量として導出したいエッジの長さ［ｍ］であり、例えばpＷ1＝０．４ｍ、pＷ2＝２．５ｍとする。そして、ＨoriEdge_LengthとはＨoriEdgeの集合におけるエッジの長さを意味する集合である。
ステップ３０９〜３１０の処理は図２に示すステップ２０９〜２１０の処理と同様であり、説明を省略する。ステップ３１１では次式の条件を満足する場合には車幅（左右）方向のスキャンニングを続けるため、ステップ３０５へ進む。
if（ＭalfunScan＜２）goto［step３０５］ ・・・（３３）
ステップ３１２の処理は図２に示すステップ２１１の処理（縦方向スキャンニングの後処理）と同様であり、説明を省略する。また、ステップ３１３〜３１４の処理は図２に示すステップ２１２〜２１３の処理と同様であり、説明を省略する。
if（ＭalfunScan＜２）goto［step３０５］ ・・・（３３）
ステップ３１２の処理は図２に示すステップ２１１の処理（縦方向スキャンニングの後処理）と同様であり、説明を省略する。また、ステップ３１３〜３１４の処理は図２に示すステップ２１２〜２１３の処理と同様であり、説明を省略する。
図６は第２の実施の形態による画像処理領域の設定の様子を示す図である。時刻ｔ［ｓ］でカメラ３の撮像画像を入力し、自車に近い側の左側から中央、右側の順に車幅方向にスキャンニングした後、所定間隔（（６）式のＫy［ｍ］）だけ自車から遠い前方へ移動し、その位置で車幅方向にスキャンニングする。この動作を繰り返し、自車の車幅方向と前後方向にスキャンニングする。なお、図４に示すように、自車前後方向の手前の領域の面積を最大にして自車前方になるほど面積が小さくなるように画像処理領域を設定する。同様に、時刻（ｔ＋０．０５）［ｓ］においてカメラ３の撮像画像を入力し、自車の車幅方向と前後方向にスキャンニングする。さらに、時刻（ｔ＋０．１）［ｓ］においてカメラ３の撮像画像を入力し、自車の車幅方向と前後方向にスキャンニングする。
このように第２の実施の形態によれば、高性能な車両検知が単眼カメラで可能になる。すなわち、高速のＣＰＵを用いて１枚の撮像画像の中を前後左右に一気にスキャンニングするため、前方車両を発見するまでの時間が短縮できること、および、特徴量として導出するエッジの長さを自車からの距離に応じて規定するため、遠近ともに適切な長さのエッジを車両の特徴として導出でき、不検出や誤検出の頻度を低減できる。
《発明の第３の実施の形態》
上述した第１および第２の実施の形態では自車の前後方向のスキャンニングは等間隔で行い、車幅方向のスキャンニングは一方向で行うものであるが、この第３の実施の形態では、前後方向のスキャンニング間隔を自車速に応じて変え、車幅方向のスキャンニングを左右両方から行う。なお、この第３の実施の形態の構成は図１に示す第１の実施の形態の構成と同様であり、説明を省略する。
上述した第１および第２の実施の形態では自車の前後方向のスキャンニングは等間隔で行い、車幅方向のスキャンニングは一方向で行うものであるが、この第３の実施の形態では、前後方向のスキャンニング間隔を自車速に応じて変え、車幅方向のスキャンニングを左右両方から行う。なお、この第３の実施の形態の構成は図１に示す第１の実施の形態の構成と同様であり、説明を省略する。
図７は第３の実施の形態の車両検出処理を示すフローチャートである。このフローチャートにより、第３の実施の形態の動作を説明する。外界認識装置５は所定時間（この第１の実施の形態では５０ｍsec）ごとにこの車両検出処理を実行する。
ステップ４０１〜４０３の処理は、図２に示すステップ２０１〜２０３の処理と同様であり、説明を省略する。ステップ４０４の処理は図２に示すステップ２０４の処理と同様であるが、（３）式の代わりに以下に示す（３’）式を用いる。
if（ＭalfunScan＞３）ＭalfunScan＝０ ・・・（３’）
ステップ４０５の処理は図２に示すステップ２０５の処理と同様であり、説明を省略する。
if（ＭalfunScan＞３）ＭalfunScan＝０ ・・・（３’）
ステップ４０５の処理は図２に示すステップ２０５の処理と同様であり、説明を省略する。
ステップ４０６の処理は図２に示すステップ２０６の処理と同様であるが、（６）、（７）式の代わりに次に示す（３４）、（３５）式を用いる。
obj_Ｙ＝func１（Ｖsp，Ｌoop）＋ＩnitDist ・・・（３４），
LateralSlide＝func２（ＭalScanDir） ・・・（３５）
ここで、func１、func２はそれぞれ図９、図１０に示すような特性を有する関数である。図９において、自車速Ｖspが高くなるほどfunc１が大きくなり、かつまた、Ｌoopが大きくなるほど、つまり自車から遠い前方になるほどfunc１が大きくなる。したがって、自車の前後方向のスキャンニング間隔は、自車速Ｖspが高くなるほど広くなり、また、自車から遠い前方になるほど広くなる。
obj_Ｙ＝func１（Ｖsp，Ｌoop）＋ＩnitDist ・・・（３４），
LateralSlide＝func２（ＭalScanDir） ・・・（３５）
ここで、func１、func２はそれぞれ図９、図１０に示すような特性を有する関数である。図９において、自車速Ｖspが高くなるほどfunc１が大きくなり、かつまた、Ｌoopが大きくなるほど、つまり自車から遠い前方になるほどfunc１が大きくなる。したがって、自車の前後方向のスキャンニング間隔は、自車速Ｖspが高くなるほど広くなり、また、自車から遠い前方になるほど広くなる。
ステップ４０７〜４０８の処理は図５に示すステップ３０７〜３０８の処理と同様であり、説明を省略する。ステップ４０９〜４１３の処理は図２に示すステップ２０９〜２１３の処理と同様であり、説明を省略する。
図８は第３の実施の形態による画像処理領域の設定の様子を示す図である。時刻ｔ［ｓ］でカメラ３の撮像画像を入力し、自車線中央を手前（Ｌoop＝０）から自車前方へ自車速に応じた間隔で画像処理領域の設定地点を設定し、図４に示すように手前の領域の面積を最大にして自車前方になるほど面積が小さくなるように画像処理領域を設定する。次に、時刻（ｔ＋０．０５）［ｓ］においてカメラ３の撮像画像を入力し、自車線右側を手前から自車前方へ自車速に応じた間隔で、自車前方になるほど小さい面積の画像処理領域を設定する。さらに、時刻（ｔ＋０．１）［ｓ］においてカメラ３の撮像画像を入力し、ふたたび自車線中央を手前から自車前方へ自車速に応じた間隔で、自車前方になるほど小さい面積の画像処理領域を設定する。続く時刻（ｔ＋０．１５）［ｓ］においてカメラ３の撮像画像を入力し、自車線左側を手前から自車前方へ自車速に応じた間隔で、自車前方になるほど小さい面積の画像処理領域を設定する。また、時刻（ｔ＋０．２）［ｓ］でカメラ３の撮像画像を入力し、ふたたび自車線中央を手前から自車前方へ自車速に応じた間隔でに、自車前方になるほど小さい面積の画像処理領域を設定する。さらに、時刻（ｔ＋０．２５）［ｓ］でカメラ３の撮像画像を入力し、自車線右側を手前から自車前方へ自車速に応じた間隔で、自車前方になるほど小さい面積の画像処理領域を設定する。
このように第３の実施の形態によれば、高性能な車両検知が単眼カメラで可能になる。すなわち、自車の前後方向のスキャンニングにおいて、自車速が高くなるほど間隔を広くするとともに、自車から遠い前方になるほど間隔を広くするようにしたので、カメラ画像上の遠近感に応じたスキャンニング間隔とすることができ、画像上のしきい値変化を均等化できる。
また、車幅方向のスキャンニングを左右両方向から行うようにし、自車線中央におけるスキャンニング回数を多くした。一般に、白線が見えにくい悪天候時には車線の中央を走行する傾向が高く、前車が自車の正面に存在するケースが多い。そのため、車線中央における自車前後方向のスキャンニングの回数を多くすることによって、車両を検知するまでの時間を短縮できる。
また、車幅方向のスキャンニングを左右両方向から行うようにし、自車線中央におけるスキャンニング回数を多くした。一般に、白線が見えにくい悪天候時には車線の中央を走行する傾向が高く、前車が自車の正面に存在するケースが多い。そのため、車線中央における自車前後方向のスキャンニングの回数を多くすることによって、車両を検知するまでの時間を短縮できる。
《発明の第４の実施の形態》
上述した第１から第３の実施の形態では自車前後方向のスキャンニングにおける画像処理領域の設定地点の数を一定（６カ所）とする例を示したが、これを可変とする第４の実施の形態を説明する。なお、この第４の実施の形態の構成は図１に示す第１の実施の形態の構成と同様であり、説明を省略する。
上述した第１から第３の実施の形態では自車前後方向のスキャンニングにおける画像処理領域の設定地点の数を一定（６カ所）とする例を示したが、これを可変とする第４の実施の形態を説明する。なお、この第４の実施の形態の構成は図１に示す第１の実施の形態の構成と同様であり、説明を省略する。
図１１は第４の実施の形態の車両検出処理を示すフローチャートである。このフローチャートにより、第４の実施の形態の動作を説明する。外界認識装置５は所定時間（この第１の実施の形態では５０ｍsec）ごとにこの車両検出処理を実行する。
ステップ５０１の処理は図２に示すステップ２０１の処理と同様であるが、この第４の実施の形態ではさらに次の処理を加える。すなわち、画像処理負荷が低い場合にのみ、車幅（左右）方向のスキャンニングにおける画像処理領域の設定地点の個数を増加するフラグＥxcepWideCntをゼロクリアする。ステップ５０２〜５０４の処理は図２に示すステップ２０２〜２０４の処理と同様であり、説明を省略する。
ステップ５０５の処理は図２に示すステップ２０５の処理と同様であるが、（５）式に変えて次の（３６）式を用いる。
if（Ｌoop＞５）Ｌoop＝max（０，（ＣonstSR−ＩnitDist）／Ｋy ・・・（３６）
ここで、max（Ａ、Ｂ）とはＡとＢを比較して大きい方の値を選択する関数である。また、ＣonstSRとは最も至近距離に画像処理領域を設定する際の距離［ｍ］である。例えばＣonstSR＝１０［ｍ］とし、自車が停止中の場合ではＶsp＝０［ｍ／ｓ］のため、ＩnitDist＝０［ｍ］となる。このため、自車前後方向のスキャンニング間隔をＫy＝５［ｍ］とすると、（３６）式はＬoop＝２となり、前後方向のスキャンニング１回あたり、Ｌoop∈［２，５］のため、画像処理領域の設定地点数は６から４に減少する。
if（Ｌoop＞５）Ｌoop＝max（０，（ＣonstSR−ＩnitDist）／Ｋy ・・・（３６）
ここで、max（Ａ、Ｂ）とはＡとＢを比較して大きい方の値を選択する関数である。また、ＣonstSRとは最も至近距離に画像処理領域を設定する際の距離［ｍ］である。例えばＣonstSR＝１０［ｍ］とし、自車が停止中の場合ではＶsp＝０［ｍ／ｓ］のため、ＩnitDist＝０［ｍ］となる。このため、自車前後方向のスキャンニング間隔をＫy＝５［ｍ］とすると、（３６）式はＬoop＝２となり、前後方向のスキャンニング１回あたり、Ｌoop∈［２，５］のため、画像処理領域の設定地点数は６から４に減少する。
ステップ５０６〜５０７の処理は図２に示すステップ２０６〜２０７の処理と同様であり、説明を省略する。ステップ５０８の処理は図５に示すステップ３０８の処理と同様であり、説明を省略する。また、ステップ５０９〜５１０の処理は図２に示すステップ２０９〜２１０の処理と同様であり、説明を省略する。
ステップ５１１では次の条件を満足する場合に車幅（左右）方向のスキャンニングにおける画像処理領域の設定地点数を増加させる。
if（obj_Ｙ＞ＣonstLR）｛ ・・・（３７）
if（ＥxcepWideCnt＝０）｛ ・・・（３８）
ＥxcepWideCnt＝１ ・・・（３９）
LateralSlide＝Ｋx・（ＭalScanDir−１）−Ｋx／２ ・・・（４０）
If(Ｒow＞０)obj_Ｘ＝Ｒow−√(Ｒow２−obj_Ｙ２)＋LaterlSlide＋ＣamInsOfs
・・・（８）
else obj_Ｘ＝Ｒow＋√（Ｒow２−obj_Ｙ２）＋LateralSlide＋ＣamInsOfs
・・・（９）
goto［step５０７］
｝
if（ＥxcepWideCnt＝１）｛ ・・・（４１）
ＥxcepWideCnt＝２ ・・・（４２）
LateralSlide＝Ｋx・（ＭalScanDir−１）＋Ｋx／２ ・・・（４３）
if（Ｒow＞０）obj_Ｘ＝Ｒow−√（Ｒow２−obj_Ｙ２）＋LateralSlide＋ＣamInsOfs
・・・（８）
els obj_Ｘ＝Ｒow＋√（Ｒow２−obj_Ｙ２）＋LateralSlide＋ＣamInsOfs
・・・（９）
goto［step５０７］
｝
｝
ここで、ＣonstLRとは画像処理領域の面積が所定値以下となる距離［ｍ］を表している。画像処理の演算負荷が低いものと判断される場合には、通常の車幅（左右）方向のスキャンニング位置から半ステップほどの間隔を空けた地点に画像処理領域を設定することを意味している。
if（obj_Ｙ＞ＣonstLR）｛ ・・・（３７）
if（ＥxcepWideCnt＝０）｛ ・・・（３８）
ＥxcepWideCnt＝１ ・・・（３９）
LateralSlide＝Ｋx・（ＭalScanDir−１）−Ｋx／２ ・・・（４０）
If(Ｒow＞０)obj_Ｘ＝Ｒow−√(Ｒow２−obj_Ｙ２)＋LaterlSlide＋ＣamInsOfs
・・・（８）
else obj_Ｘ＝Ｒow＋√（Ｒow２−obj_Ｙ２）＋LateralSlide＋ＣamInsOfs
・・・（９）
goto［step５０７］
｝
if（ＥxcepWideCnt＝１）｛ ・・・（４１）
ＥxcepWideCnt＝２ ・・・（４２）
LateralSlide＝Ｋx・（ＭalScanDir−１）＋Ｋx／２ ・・・（４３）
if（Ｒow＞０）obj_Ｘ＝Ｒow−√（Ｒow２−obj_Ｙ２）＋LateralSlide＋ＣamInsOfs
・・・（８）
els obj_Ｘ＝Ｒow＋√（Ｒow２−obj_Ｙ２）＋LateralSlide＋ＣamInsOfs
・・・（９）
goto［step５０７］
｝
｝
ここで、ＣonstLRとは画像処理領域の面積が所定値以下となる距離［ｍ］を表している。画像処理の演算負荷が低いものと判断される場合には、通常の車幅（左右）方向のスキャンニング位置から半ステップほどの間隔を空けた地点に画像処理領域を設定することを意味している。
ステップ５１２〜５１４の処理は図２に示すステップ２１１〜２１３の処理と同様であり、説明を省略する。
図１２は第４の実施の形態による画像処理領域の設定の様子を示す図である。時刻ｔ１では通常走行が行われており、自車前後方向のスキャンニングでは６カ所の地点で広い面積の画像処理領域を設定する。次に、時刻ｔ２で高速走行になると、自車前後方向のスキャンニングでは車速に応じて設定地点の間隔を広くするとともに、画像処理領域の面積を小さくする。さらに、画像処理領域の面積が小さいので、自車から遠方の車幅方向のスキャンニングでは画像処理領域の設定地点数を増加する。また、時刻ｔ３で低速走行になった場合は、画像処理領域の面積を大きくして自車前後方向の画像処理領域の設定地点数を低減する。
このように第４の実施の形態によれば、画像処理領域の面積が大きい場合は、自車前後方向のスキャンニングにおける画像処理領域の設定地点数を低減するようにした。つまり、自車速が低い場合は大きな面積の画像処理領域を設定するので、自車前後方向の長い範囲でスキャンニングしても意味がなく、したがって、画像処理領域の設定地点数を低減することによって、演算負荷を軽減することができる。
また、高速走行時などで自車前後方向における画像処理領域の面積が小さい場合は、車幅方向の画像処理領域の設定地点数を増加するようにしたので、演算負荷の増加にならない範囲で探索領域の個数増加による車両検知の応答性を向上させることができる。
また、高速走行時などで自車前後方向における画像処理領域の面積が小さい場合は、車幅方向の画像処理領域の設定地点数を増加するようにしたので、演算負荷の増加にならない範囲で探索領域の個数増加による車両検知の応答性を向上させることができる。
《発明の第５の実施の形態》
上述した第１の実施の形態では画像処理領域の設定地点までの距離に基づいて車両検出のためのしきい値を決定する例を示したが、画像処理領域で検出した特徴量の座標に基づいて車両検出のためのしきい値を決定する第５の実施の形態を説明する。なお、この第５の実施の形態の構成は図１に示す第１の実施の形態の構成と同様であり、説明を省略する。
上述した第１の実施の形態では画像処理領域の設定地点までの距離に基づいて車両検出のためのしきい値を決定する例を示したが、画像処理領域で検出した特徴量の座標に基づいて車両検出のためのしきい値を決定する第５の実施の形態を説明する。なお、この第５の実施の形態の構成は図１に示す第１の実施の形態の構成と同様であり、説明を省略する。
図１３は第５の実施の形態の車両検出処理を示すフローチャートである。このフローチャートにより、第５の実施の形態の動作を説明する。外界認識装置５は所定時間（この第１の実施の形態では５０ｍsec）ごとにこの車両検出処理を実行する。ステップ６０１〜６０７の処理は図２に示すステップ２０１〜２０７の処理と同様であり、説明を省略する。また、ステップ６０８の処理は図５に示すステップ３０８の処理と同様であり、説明を省略する。
ステップ６０９において、ステップ６０８で導出した特徴量に基づいて次の(ｈ)から(ｋ)の手順により前方車両として検出するか否かの判断を行う。(ｈ)ステップ６０６で求めた画像処理領域の設定地点obj_Ｙを次式により高精度化する。
if（ＨoriEdge_Nunb＞０）｛
obj_Ｙ＝focusＶ・ＣＡＭ_h／（ＨoriEdge_Row［max_row］−ｙo） ・・・（４４）
｝
ここで、ＨoriEdge_Rowはステップ６０８で導出した水平方向エッジにおける鉛直方向の座標の集合であり、max_rowはこの中で最も画面下側に位置する鉛直座標のインデックス番号である。これにより、Ｕ字型のエッジとなる。また、ＨoriEdge_Nunbとは水平エッジの個数であり、もし水平エッジが存在しない場合にはobj_Ｙの値は（６）式で設定されたままの値である。
if（ＨoriEdge_Nunb＞０）｛
obj_Ｙ＝focusＶ・ＣＡＭ_h／（ＨoriEdge_Row［max_row］−ｙo） ・・・（４４）
｝
ここで、ＨoriEdge_Rowはステップ６０８で導出した水平方向エッジにおける鉛直方向の座標の集合であり、max_rowはこの中で最も画面下側に位置する鉛直座標のインデックス番号である。これにより、Ｕ字型のエッジとなる。また、ＨoriEdge_Nunbとは水平エッジの個数であり、もし水平エッジが存在しない場合にはobj_Ｙの値は（６）式で設定されたままの値である。
(ｉ)上記(ｈ)で求めたobj_Ｙを用いて次式により検知したい車両の間隔obj_Ｗf（最も広い限界値）、obj_Ｗn（最も狭い限界値）を画素数に換算して求める。
obj_Ｗn＝（focusＨ・pＷn）／obj_Ｙ ・・・（１４），
obj_Ｗf＝（focusＨ・pＷf）／obj_Ｙ ・・・（１５）
(ｊ)鉛直エッジ群ＶertEdgeの中から上記(ｉ)で定めた範囲に入る鉛直エッジの対（ペア）を求め、この画像上の座標の集合をＣarCanEdge_Left（ペアの左側に相当する鉛直方向エッジの水平座標）とＣarCanEdge_Right（ペアの右側に相当する鉛直方向エッジの水平座標）とする。これを数式化すると次式になる。
ＢodySpace＝ＣarCanEdge_Right［ｉ］−ＣarCanEdge_Left［ｉ］ ・・・（１６），
obj_Ｗh＜ＢodySpace＜obj_Ｗf ・・・（１７）
obj_Ｗn＝（focusＨ・pＷn）／obj_Ｙ ・・・（１４），
obj_Ｗf＝（focusＨ・pＷf）／obj_Ｙ ・・・（１５）
(ｊ)鉛直エッジ群ＶertEdgeの中から上記(ｉ)で定めた範囲に入る鉛直エッジの対（ペア）を求め、この画像上の座標の集合をＣarCanEdge_Left（ペアの左側に相当する鉛直方向エッジの水平座標）とＣarCanEdge_Right（ペアの右側に相当する鉛直方向エッジの水平座標）とする。これを数式化すると次式になる。
ＢodySpace＝ＣarCanEdge_Right［ｉ］−ＣarCanEdge_Left［ｉ］ ・・・（１６），
obj_Ｗh＜ＢodySpace＜obj_Ｗf ・・・（１７）
(ｋ)水平エッジ群ＨoriEdgeの中から上記(ｊ)で求めたすべてのエッジペアに対して、その中間に存在する水平エッジと鉛直エッジペアの組み合わせを見つけ、これを満足するエッジの組み合わせをそれぞれＣarEdge_Ｌ（車両として検知する領域の左側座標）、ＣarEdge_Ｒ（車両として検知する領域の右側座標）、ＣarEdge_Ｂ（車両として検知する領域の下側座標）とする。これを数式化すると次式になる。
if（ＣarCanEdge_Left［ｉ］＜ＨoriEdge_x［ｊ］＜ＣarCanEdge_Right［ｉ］｛
・・・（１８），
ＣarEdge_L［ｋ］＝ＣarCanEdge_Left［ｉ］ ・・・（１９），
ＣarEdge_R［ｋ］＝ＣarCanEdge_Right［ｉ］ ・・・（２０），
ＣarEdge_B［ｋ］＝ＨoriEdge_x［ｊ］ ・・・（２１），
ｋ＝ｋ＋１ ・・・（２２），
｝
if（ＣarCanEdge_Left［ｉ］＜ＨoriEdge_x［ｊ］＜ＣarCanEdge_Right［ｉ］｛
・・・（１８），
ＣarEdge_L［ｋ］＝ＣarCanEdge_Left［ｉ］ ・・・（１９），
ＣarEdge_R［ｋ］＝ＣarCanEdge_Right［ｉ］ ・・・（２０），
ＣarEdge_B［ｋ］＝ＨoriEdge_x［ｊ］ ・・・（２１），
ｋ＝ｋ＋１ ・・・（２２），
｝
ステップ６１０〜６１３の処理は図２に示すステップ２１０〜２１３の処理と同様であり、説明を省略する。
この第５の実施の形態によれば高性能な車両検知が単眼カメラで可能となる。すなわち、車両を検出できたか否かを判断する際には、画像処理領域から導出した特徴量の座標に基づいて車両検出のためのしきい値を決定するようにしたので、背景や路上ペイントなどを誤検出する頻度を低減できる
《発明の第６の実施の形態》
上述した第５の実施の形態では画像処理領域から導出した特徴量の座標に基づいて物体検出のためのしきい値を決定する例を示したが、特徴量の長さに基づいて物体検出のためのしきい値を決定する第６の実施の形態を説明する。なお、この第６の実施の形態の構成は図１に示す第１の実施の形態の構成と同様であり、説明を省略する。
上述した第５の実施の形態では画像処理領域から導出した特徴量の座標に基づいて物体検出のためのしきい値を決定する例を示したが、特徴量の長さに基づいて物体検出のためのしきい値を決定する第６の実施の形態を説明する。なお、この第６の実施の形態の構成は図１に示す第１の実施の形態の構成と同様であり、説明を省略する。
図１４は第６の実施の形態の車両検出処理を示すフローチャートである。このフローチャートにより、第６の実施の形態の動作を説明する。外界認識装置５は所定時間（この第１の実施の形態では５０ｍsec）ごとにこの車両検出処理を実行する。ステップ７０１〜７０８の処理は図１３に示すステップ６０１〜６０８の処理と同様であり、説明を省略する。
ステップ７０９において、ステップ７０８で導出した特徴量から前方車両として検出するか否かの判断を次の(ｌ)〜(ｏ)の手順で行う。(ｌ)ステップ７０６で求めた画像処理領域の設定地点obj_Ｙを次式により算出し直す。
if（ＨoriEdge_Numb＞０）｛
obj_Ｙ＝１．７・focusＶ／ＨoriEdge_Length［max_length］ ・・・（４５）
｝
ここで、ＨoriEdge_Lengthはステップ７０８で導出した水平方向エッジにおけるエッジ長さの集合であり、max_lengthはこの中で最も長いエッジのインデックス番号である。また、数値１．７は日本の一般的な車両の車幅を表す数値である。
if（ＨoriEdge_Numb＞０）｛
obj_Ｙ＝１．７・focusＶ／ＨoriEdge_Length［max_length］ ・・・（４５）
｝
ここで、ＨoriEdge_Lengthはステップ７０８で導出した水平方向エッジにおけるエッジ長さの集合であり、max_lengthはこの中で最も長いエッジのインデックス番号である。また、数値１．７は日本の一般的な車両の車幅を表す数値である。
(ｍ)上記(ｌ)で求めたobj_Ｙを用いて次式により検知したい車両の間隔obj_Ｗf（最も広い限界値）、obj_Ｗn（最も狭い限界値）を画素数に換算して求める。
obj_Ｗn＝（focusＨ・pＷn）／obj_Ｙ ・・・（１４），
obj_Ｗf＝（focusＨ・pＷf）／obj_Ｙ ・・・（１５）
(ｎ)鉛直エッジ群ＶertEdgeの中から上記(ｍ)で定めた範囲に入る鉛直方向エッジの対（ペア）を求め、この画像上の座標の集合をＣarCanEdge_Left（ペアの左側に相当する鉛直方向エッジの水平座標）とＣarCanEdge_Right（ペアの右側に相当する鉛直方向エッジの水平座標）とする。これを数式化すると次式になる。
ＢodySpace＝ＣarCanEdge_Right［ｉ］−ＣarCanEdge_Left［ｉ］ ・・・（１６），
obj_Ｗh＜ＢodySpace＜obj_Ｗf ・・・（１７）
obj_Ｗn＝（focusＨ・pＷn）／obj_Ｙ ・・・（１４），
obj_Ｗf＝（focusＨ・pＷf）／obj_Ｙ ・・・（１５）
(ｎ)鉛直エッジ群ＶertEdgeの中から上記(ｍ)で定めた範囲に入る鉛直方向エッジの対（ペア）を求め、この画像上の座標の集合をＣarCanEdge_Left（ペアの左側に相当する鉛直方向エッジの水平座標）とＣarCanEdge_Right（ペアの右側に相当する鉛直方向エッジの水平座標）とする。これを数式化すると次式になる。
ＢodySpace＝ＣarCanEdge_Right［ｉ］−ＣarCanEdge_Left［ｉ］ ・・・（１６），
obj_Ｗh＜ＢodySpace＜obj_Ｗf ・・・（１７）
(ｏ)水平エッジ群ＨoriEdgeの中から上記(ｎ)で求めたすべてのエッジペアに対して、その中間に存在する水平エッジと鉛直エッジペアの組み合わせを見つけ、これを満足するエッジの組み合わせをそれぞれＣarEdge_Ｌ（車両として検知する領域の左側座標）、ＣarEdge_Ｒ（車両として検知する領域の右側座標）、ＣarEdge_Ｂ（車両として検知する領域の下側座標）とする。これを数式化すると次式になる。
if（ＣarCanEdge_Left［ｉ］＜ＨoriEdge_x［ｊ］＜ＣarCanEdge_Right［ｉ］｛
・・・（１８），
ＣarEdge_L［ｋ］＝ＣarCanEdge_Left［ｉ］ ・・・（１９），
ＣarEdge_R［ｋ］＝ＣarCanEdge_Right［ｉ］ ・・・（２０），
ＣarEdge_B［ｋ］＝ＨoriEdge_x［ｊ］ ・・・（２１），
ｋ＝ｋ＋１ ・・・（２２），
｝
if（ＣarCanEdge_Left［ｉ］＜ＨoriEdge_x［ｊ］＜ＣarCanEdge_Right［ｉ］｛
・・・（１８），
ＣarEdge_L［ｋ］＝ＣarCanEdge_Left［ｉ］ ・・・（１９），
ＣarEdge_R［ｋ］＝ＣarCanEdge_Right［ｉ］ ・・・（２０），
ＣarEdge_B［ｋ］＝ＨoriEdge_x［ｊ］ ・・・（２１），
ｋ＝ｋ＋１ ・・・（２２），
｝
ステップ７１０〜７１３の処理は図１３に示すステップ６１０〜６１３の処理と同様であり、説明を省略する。
この第６の実施の形態によれば高性能な車両検知が単眼カメラで可能となる。すなわち、車両を検知できたか否かを判断する際に、画像処理領域から導出した特徴量の長さに基づいて車両検知のためのしきい値を決定するようにしたので、背景や路上ペイントなどを誤検出する頻度を低減することができる。
このように一実施の形態によれば、自車の前方を撮像した画像の一部に画像処理領域を設定し、設定した画像処理領域から画像の特徴を導出するとともに、導出した特徴に基づいて車両の存在を判定する車両用画像処理装置において、撮像画像の中の自車に近い位置から遠い位置へ順に画像処理領域を設定し、自車に近い位置から遠い位置へ行くにしたがって画像処理領域を狭くするようにした。
撮像画像の中の自車に近い位置では先行車は大きく写し込まれ、自車から遠い位置になるにほど先行車は小さく写し込まれている。したがって、撮像画像の中の自車に近い位置から遠い位置へ順に画像処理領域を設定し、自車に近い位置から遠い位置へ行くにしたがって画像処理領域を狭くすることによって、先行車以外の物体を捕捉する確立が少なくなり、面積の小さい画像処理領域を設定して悪天候時における車両検知性能を向上させながら、撮像画像の中の広い範囲に多くの画像処理領域を設定して早く、確実に車両を検出できる。
撮像画像の中の自車に近い位置では先行車は大きく写し込まれ、自車から遠い位置になるにほど先行車は小さく写し込まれている。したがって、撮像画像の中の自車に近い位置から遠い位置へ順に画像処理領域を設定し、自車に近い位置から遠い位置へ行くにしたがって画像処理領域を狭くすることによって、先行車以外の物体を捕捉する確立が少なくなり、面積の小さい画像処理領域を設定して悪天候時における車両検知性能を向上させながら、撮像画像の中の広い範囲に多くの画像処理領域を設定して早く、確実に車両を検出できる。
また、一実施の形態によれば自車の進路を予測し、予測した自車進路に沿って画像処理領域を設定するようにしたので、曲線路を走行中であっても先行車を早く、確実に検出できる。
一実施の形態によれば撮像画像の中の自車に近い位置から遠い位置へ順に画像処理領域が設定されるたびに、設定された画像処理領域において画像の特徴を導出するとともに、画像の特徴に基づいて車両の存在を判定し、車両の存在が判定されたら一連の画像処理を終了するようにした。
通常、先行車追従走行制御装置や車間距離制御装置においては、自車線上の自車に最も近い先行車のみを検出すればよいから、それらのアプリケーションに適用することによってＣＰＵの演算負荷を軽減しながら、先行車を早く、確実に検出することができる。
通常、先行車追従走行制御装置や車間距離制御装置においては、自車線上の自車に最も近い先行車のみを検出すればよいから、それらのアプリケーションに適用することによってＣＰＵの演算負荷を軽減しながら、先行車を早く、確実に検出することができる。
また、一実施の形態によれば、撮像画像上の自車の車幅方向の複数の位置において、撮像画像の中の自車に近い位置から遠い位置へ順に画像処理領域を設定し、自車に近い位置から遠い位置へ行くにしたがって画像処理領域を狭くしたので、悪天候時の車両検知の確立を高めるために画像処理領域を小さくしても、自車の正面から横へずれた位置を走行する先行車を確実に検出することができる。
さらに、撮像画像上の自車の正面における画像処理領域の設定回数を、自車の左右の位置における画像処理領域の設定回数よりも多くすることによって、自車の正面に存在する確立が高い先行車をより早く検出することができる。
さらに、撮像画像上の自車の正面における画像処理領域の設定回数を、自車の左右の位置における画像処理領域の設定回数よりも多くすることによって、自車の正面に存在する確立が高い先行車をより早く検出することができる。
一実施の形態によれば小さな面積の画像処理領域を設定する場合には、自車の車幅方向に多くの画像処理領域を設定するようにしたので、演算負荷を増加させずに、車両探索領域の数を増やすことができ、早く車両を検出できる確立が高くなる。
一実施の形態によれば大きな面積の画像処理領域を設定する場合には、自車の前後方向の画像処理領域の設定数を少なくするようにした。車速が低い場合には大きな面積の画像処理領域を設定するが、車速が低い場合には自車から遠方まで画像処理領域を数多く設定しても意味がない。したがって、この場合は自車前後方向の画像処理領域の設定数を少なくすることによって、ＣＰＵの演算負荷を軽減することができる。
一実施の形態によれば自車から所定距離の地点に相当する撮像画像上の位置に画像処理領域を設定するようにしたので、画像処理領域で検出される車両までの距離を正確に把握できる。
一実施の形態によれば自車からの距離が遠くなるほど撮像画像上の画像処理領域の設定位置間隔を広くするようにしたので、自車の前後方向における画像処理領域の設定位置を撮像画像上の遠近感に応じた間隔にすることができる。また、各画像処理領域における車両検出のしきい値を均等化することができる。
一実施の形態によれば撮像画像上の画像処理領域の設定地点を自車からの距離に換算し、自車からの換算距離に基づいて画像の特徴から車両の存在を判定するためのしきい値を設定するようにしたので、撮像画像上の画像処理領域の設定地点における車両判定しきい値を正しく設定することができ、単眼カメラ単独で前方車両を検出する際の誤検出と不検出の頻度を低減することができる。
一実施の形態によれば画像処理領域から導出した特徴の位置座標に基づいて車両の存在を判定するためのしきい値を設定するようにしたので、背景や路上ペイントなどを車両と誤検出する頻度を低減できる。また、一実施の形態によれば画像処理領域から導出した特徴の長さに基づいて車両の存在を判定するためのしきい値を設定するようにしたので、背景や路上ペイントなどを車両と誤検出する頻度を低減できる。
なお、自車の車幅方向の大きさが車両２台分以下の画像処理領域とし、自車の車幅方向の大きさが前後方向の大きさよりも大きい画像処理領域を設定する。これにより、しきい値の適正化が可能となり、悪天候時でも先行車検出が頑強に実施できる。また、上空に存在する看板や陸橋などの背景を画像処理領域から排除でき、それらを車両と誤検出する頻度を低減できる。
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、カメラ３が撮像手段を、外界認識装置５が領域設定手段、特徴導出手段、車両判定手段および進路予測手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
３ ＣＣＤカメラ
４ 画像処理装置
５ 外界認識装置
６ 車速検出装置
７ 操舵角検出装置
４ 画像処理装置
５ 外界認識装置
６ 車速検出装置
７ 操舵角検出装置
Claims (8)
- 自車の前方を撮像する撮像手段と、
前記撮像手段により撮像した１枚の画像の中の自車線上に自車に近い位置から遠い位置へ順に画像処理領域を設定するとともに、自車に近い位置から遠い位置へ行くにしたがって画像処理領域を狭くする領域設定手段と、
前記画像の中の前記領域設定手段により設定した画像処理領域から画像の特徴を導出する特徴導出手段と、
前記画像の中の前記画像処理領域内の前記特徴導出手段により導出した特徴に基づいて車両の存在を判定する車両判定手段とを備え、
前記領域設定手段によって前記画像の中の自車線上に自車に近い位置から遠い位置へ順に画像処理領域が設定されるたびに、設定された前記画像処理領域において前記特徴導出手段により特徴を導出するとともに前記車両判定手段により車両の存在を判定し、車両の存在が判定されたら前記領域設定手段、前記特徴導出手段および前記車両判定手段による画像処理を終了することを特徴とする車載用画像処理装置。 - 請求項１に記載の車載用画像処理装置において、
自車の車速を検出する車速検出手段と、
自車の操舵角を検出する操舵角検出手段と、
前記車速検出手段により検出された車速と前記操舵角検出手段により検出された操舵角に基づいて自車の進路を予測する進路予測手段とを備え、
前記領域設定手段は、前記進路予測手段で予測された自車進路に沿って画像処理領域を設定することを特徴とする車載用画像処理装置。 - 請求項１または請求項２に記載の車載用画像処理装置において、
前記領域設定手段は、自車線上の車幅方向の中央とその左側および右側にそれぞれ、自車に近い位置から遠い位置へ順に画像処理領域を設定するとともに、自車に近い位置から遠い位置へ行くにしたがって画像処理領域を狭くすることを特徴とする車載用画像処理装置。 - 請求項３に記載の車載用画像処理装置において、
前記領域設定手段は、自車線上の車幅方向中央における画像処理領域の設定回数を、自車線上の車幅方向左側と右側における画像処理領域の設定回数よりも多くすることを特徴とする車載用画像処理装置。 - 請求項１〜４のいずれか１の請求項に記載の車載用画像処理装置において、
前記領域設定手段は、自車から遠くなるほど、自車線上の自車に近い位置から遠い位置へ設定する画像処理領域の設定間隔を広くすることを特徴とする車載用画像処理装置。 - 請求項１に記載の車載用画像処理装置において、
自車の車速を検出する車速検出手段を備え、
前記領域設定手段は、自車速が高くなるほど、自車線上の自車に近い位置から遠い位置へ設定する画像処理領域の設定間隔を広くすることを特徴とする車載用画像処理装置。 - 請求項６に記載の車載用画像処理装置において、
前記領域設定手段は、自車速が低くなるほど、自車線上の自車に近い位置から遠い位置へ設定する画像処理領域の面積を大きくするとともに設定地点数を少なくすることを特徴とする車載用画像処理装置。 - 請求項１〜７のいずれか１の請求項に記載の車載用画像処理装置において、
前記領域設定手段は、撮像画像の中の自車線上の自車に近い位置から遠い位置へ設定する画像処理領域を、自車から所定の距離の地点に対応する撮像画像上の位置に設定することを特徴とする車載用画像処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004198178A JP3931891B2 (ja) | 2004-07-05 | 2004-07-05 | 車載用画像処理装置 |
| EP05013854A EP1615191B1 (en) | 2004-07-05 | 2005-06-27 | Image processing system and method for front-view image sensor in a vehicle |
| US11/171,396 US7623680B2 (en) | 2004-07-05 | 2005-07-01 | Image processing system and method for front-view image sensor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004198178A JP3931891B2 (ja) | 2004-07-05 | 2004-07-05 | 車載用画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006018751A JP2006018751A (ja) | 2006-01-19 |
| JP3931891B2 true JP3931891B2 (ja) | 2007-06-20 |
Family
ID=35063134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004198178A Expired - Lifetime JP3931891B2 (ja) | 2004-07-05 | 2004-07-05 | 車載用画像処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7623680B2 (ja) |
| EP (1) | EP1615191B1 (ja) |
| JP (1) | JP3931891B2 (ja) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7561720B2 (en) * | 2004-04-30 | 2009-07-14 | Visteon Global Technologies, Inc. | Single camera system and method for range and lateral position measurement of a preceding vehicle |
| US7639841B2 (en) * | 2004-12-20 | 2009-12-29 | Siemens Corporation | System and method for on-road detection of a vehicle using knowledge fusion |
| US7561721B2 (en) * | 2005-02-02 | 2009-07-14 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| JP4762610B2 (ja) * | 2005-06-14 | 2011-08-31 | 本田技研工業株式会社 | 車両の走行安全装置 |
| US20070031008A1 (en) * | 2005-08-02 | 2007-02-08 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| US7623681B2 (en) * | 2005-12-07 | 2009-11-24 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| US8164628B2 (en) * | 2006-01-04 | 2012-04-24 | Mobileye Technologies Ltd. | Estimating distance to an object using a sequence of images recorded by a monocular camera |
| US8108119B2 (en) * | 2006-04-21 | 2012-01-31 | Sri International | Apparatus and method for object detection and tracking and roadway awareness using stereo cameras |
| JP4793094B2 (ja) * | 2006-05-17 | 2011-10-12 | 株式会社デンソー | 走行環境認識装置 |
| ATE479980T1 (de) * | 2006-08-24 | 2010-09-15 | Valeo Vision | Verfahren zur bestimmung der durchfahrt eines fahrzeugs durch eine engen durchlass |
| JP4360403B2 (ja) | 2006-12-27 | 2009-11-11 | トヨタ自動車株式会社 | 車載用障害物検知装置 |
| US20090005948A1 (en) * | 2007-06-28 | 2009-01-01 | Faroog Abdel-Kareem Ibrahim | Low speed follow operation and control strategy |
| JP2009132259A (ja) * | 2007-11-30 | 2009-06-18 | Denso It Laboratory Inc | 車両周辺監視装置 |
| CN101458814B (zh) * | 2007-12-13 | 2012-02-01 | 东软集团股份有限公司 | 一种用于从图像中分割对象感兴趣区域的方法和装置 |
| JP5183392B2 (ja) * | 2008-09-25 | 2013-04-17 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| US20100303301A1 (en) * | 2009-06-01 | 2010-12-02 | Gregory Micheal Lamoureux | Inter-Frame Motion Detection |
| JP5747482B2 (ja) * | 2010-03-26 | 2015-07-15 | 日産自動車株式会社 | 車両用環境認識装置 |
| CN102375985A (zh) * | 2010-08-10 | 2012-03-14 | 富士通株式会社 | 目标检测方法和设备 |
| JP5626578B2 (ja) * | 2010-12-02 | 2014-11-19 | アイシン・エィ・ダブリュ株式会社 | 走行支援システム、走行支援プログラム、及び走行支援方法 |
| DE102011077038A1 (de) * | 2011-06-07 | 2012-12-13 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs |
| WO2013009697A1 (en) * | 2011-07-08 | 2013-01-17 | Bendix Commercial Vehicle Systems Llc | Image-based vehicle detection and distance measuring method and apparatus |
| JP5477394B2 (ja) * | 2012-01-10 | 2014-04-23 | 株式会社デンソー | 車両周辺監視装置 |
| JP5943084B2 (ja) | 2012-08-31 | 2016-06-29 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| JP6429452B2 (ja) * | 2013-11-22 | 2018-11-28 | ルネサスエレクトロニクス株式会社 | 車載用画像処理装置及び半導体装置 |
| JP6162064B2 (ja) * | 2014-03-25 | 2017-07-12 | 本田技研工業株式会社 | 物体検知処理装置 |
| JP6394227B2 (ja) * | 2014-09-24 | 2018-09-26 | 株式会社デンソー | 物体検出装置 |
| WO2016130719A2 (en) * | 2015-02-10 | 2016-08-18 | Amnon Shashua | Sparse map for autonomous vehicle navigation |
| US9828001B2 (en) * | 2016-04-10 | 2017-11-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Confidence icons for apprising a driver of confidence in an autonomous operation of a vehicle |
| JP6678605B2 (ja) | 2017-01-11 | 2020-04-08 | 株式会社東芝 | 情報処理装置、情報処理方法、および情報処理プログラム |
| WO2018212284A1 (ja) | 2017-05-19 | 2018-11-22 | パイオニア株式会社 | 測定装置、測定方法およびプログラム |
| CN108363055B (zh) * | 2018-01-17 | 2020-01-31 | 电子科技大学 | 一种雷达前视成像区域分割方法 |
| US10678255B2 (en) | 2018-02-14 | 2020-06-09 | GM Global Technology Operations LLC | Systems, methods and apparatuses are provided for enhanced surface condition detection based on image scene and ambient light analysis |
| US10706563B2 (en) | 2018-05-15 | 2020-07-07 | Qualcomm Incorporated | State and position prediction of observed vehicles using optical tracking of wheel rotation |
| DE102018207869A1 (de) * | 2018-05-18 | 2019-11-21 | Volkswagen Aktiengesellschaft | Verfahren und System zur Bereitstellung einer Automatisierungsfunktion für ein Fahrzeug |
| CN109765554A (zh) * | 2018-11-14 | 2019-05-17 | 北京遥感设备研究所 | 一种雷达前视成像系统及方法 |
| US11816902B2 (en) * | 2020-08-26 | 2023-11-14 | Subaru Corporation | Vehicle external environment recognition apparatus |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
| JPH08329224A (ja) * | 1995-05-26 | 1996-12-13 | Nissan Motor Co Ltd | 道路白線検出装置 |
| JPH1097699A (ja) | 1996-09-19 | 1998-04-14 | Toyota Motor Corp | 車両用障害物検出装置 |
| DE19833065B4 (de) * | 1997-07-22 | 2010-04-15 | DENSO CORPORATION, Kariya-shi | Winkelverschiebungsbestimmungsvorrichtung zum Bestimmen der Winkelverschiebung der Radarzentralachse zur Verwendung in einem Erfassungssystem für sich selbstbewegende Hindernisse |
| JP3199037B2 (ja) * | 1998-10-21 | 2001-08-13 | 日本電気株式会社 | 画像処理方法 |
| JP2001167282A (ja) * | 1999-12-10 | 2001-06-22 | Toshiba Corp | 移動物体抽出装置及びその方法 |
| DE60234911D1 (de) | 2001-03-15 | 2010-02-11 | Fujitsu Ten Ltd | Signalverarbeitungsverfahren für abtastradar |
| JP3759429B2 (ja) * | 2001-05-23 | 2006-03-22 | 株式会社東芝 | 障害物検出装置及びその方法 |
| US6452535B1 (en) * | 2002-01-29 | 2002-09-17 | Ford Global Technologies, Inc. | Method and apparatus for impact crash mitigation |
| JP3786618B2 (ja) * | 2002-03-25 | 2006-06-14 | 株式会社東芝 | 画像処理装置及びその方法 |
| JP3656056B2 (ja) * | 2002-03-25 | 2005-06-02 | 株式会社東芝 | 割り込み車両検出装置及びその方法 |
| JP2003323627A (ja) * | 2002-04-30 | 2003-11-14 | Nissan Motor Co Ltd | 車両検出装置及び方法 |
| JP3904988B2 (ja) * | 2002-06-27 | 2007-04-11 | 株式会社東芝 | 画像処理装置およびその方法 |
-
2004
- 2004-07-05 JP JP2004198178A patent/JP3931891B2/ja not_active Expired - Lifetime
-
2005
- 2005-06-27 EP EP05013854A patent/EP1615191B1/en not_active Not-in-force
- 2005-07-01 US US11/171,396 patent/US7623680B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP1615191A1 (en) | 2006-01-11 |
| US7623680B2 (en) | 2009-11-24 |
| US20060002587A1 (en) | 2006-01-05 |
| EP1615191B1 (en) | 2012-11-21 |
| JP2006018751A (ja) | 2006-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3931891B2 (ja) | 車載用画像処理装置 | |
| JP3925488B2 (ja) | 車両用画像処理装置 | |
| EP2767927B1 (en) | Road surface information detection apparatus, vehicle device control system employing road surface information detection apparatus, and carrier medium of road surface information detection program | |
| JP5276637B2 (ja) | 車線推定装置 | |
| US9330320B2 (en) | Object detection apparatus, object detection method, object detection program and device control system for moveable apparatus | |
| JP5690688B2 (ja) | 外界認識方法，装置，および車両システム | |
| JP5127182B2 (ja) | 物体検出装置 | |
| US10580155B2 (en) | Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium | |
| JP3630100B2 (ja) | 車線検出装置 | |
| US8363896B2 (en) | White road line recognition device for vehicle | |
| WO2017130639A1 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
| JP4714104B2 (ja) | 物体傾き検出装置 | |
| EP2803944A2 (en) | Image Processing Apparatus, Distance Measurement Apparatus, Vehicle-Device Control System, Vehicle, and Image Processing Program | |
| US20100110193A1 (en) | Lane recognition device, vehicle, lane recognition method, and lane recognition program | |
| JP5716443B2 (ja) | 車線境界検出装置及び車線境界検出方法 | |
| JP6150164B2 (ja) | 情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラム | |
| JP2016016681A (ja) | 駐車枠認識装置 | |
| JP4901275B2 (ja) | 走行誘導障害物検出装置および車両用制御装置 | |
| JP2007179386A (ja) | 白線認識方法及び白線認識装置 | |
| WO2017145605A1 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
| KR101406316B1 (ko) | 차선 인식 장치 및 그 방법 | |
| JP5097681B2 (ja) | 地物位置認識装置 | |
| JP5888275B2 (ja) | 道路端検出システム、方法およびプログラム | |
| JP5974923B2 (ja) | 道路端検出システム、方法およびプログラム | |
| JP6993205B2 (ja) | 区画線特定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051226 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061019 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070305 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3931891 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100323 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110323 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110323 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120323 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130323 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130323 Year of fee payment: 6 |