JP5733395B2 - 車載用画像認識装置、撮像軸調整装置およびレーン認識方法 - Google Patents

車載用画像認識装置、撮像軸調整装置およびレーン認識方法 Download PDF

Info

Publication number
JP5733395B2
JP5733395B2 JP2013520407A JP2013520407A JP5733395B2 JP 5733395 B2 JP5733395 B2 JP 5733395B2 JP 2013520407 A JP2013520407 A JP 2013520407A JP 2013520407 A JP2013520407 A JP 2013520407A JP 5733395 B2 JP5733395 B2 JP 5733395B2
Authority
JP
Japan
Prior art keywords
vehicle
unit
imaging
lane
intersection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013520407A
Other languages
English (en)
Other versions
JPWO2012172713A1 (ja
Inventor
高浜　琢
琢 高浜
文紀 武田
文紀 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2013520407A priority Critical patent/JP5733395B2/ja
Publication of JPWO2012172713A1 publication Critical patent/JPWO2012172713A1/ja
Application granted granted Critical
Publication of JP5733395B2 publication Critical patent/JP5733395B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Description

本発明は、車両に搭載されるカメラによって車両が走行するレーン形状などを認識する技術に関する。
特許文献１に記載の白線認識装置では、カメラで撮像した結果から、車両が走行している走行レーンにおける左右のレーンマーカを画像認識する。そして、認識した左右のレーンマーカからその延長線の交点を求め、それを集めて平均化することでカメラ取付け角度誤差を求める。
特開２０００−２４２８９９号公報
特許文献１の白線認識技術では、車両挙動（ヨーレートや横速度など）や道路形状（曲率など）の変化はカメラの撮像角度を求める際の誤差要因となる場合が多い。よって、特許文献１の白線認識技術では、これらの誤差要因による影響を低減するためには車両挙動や道路形状の変化が起こり難い直線路を多く走行する必要がある。しかし、一般的な高速道路では、直線路のようでも実際には緩い曲率を有する場合が多いことから、長距離を走行して大量のデータを集める必要がある。
また、この場合、大量のデータを演算するため、車載用のプロセッサにとってはリアルタイム処理を行う為に演算負荷がかかるといった問題が生じる。
本発明は、上記課題に鑑みてなされたものであり、車両に備えられた撮像部の撮像角度をより少ない演算負荷で直進路か否かを判定することを目的とする。
上記課題を解決するために、本発明の一態様は、車両に備えられた撮像部で前記車両周辺を撮像し、その撮像画像から前記車両が走行する走行レーンのレーン形状を認識する。また、本発明の一態様は、前記認識したレーン形状のうち相対的に自車両に近い近傍領域のレーン形状と自車両から遠い遠方領域のレーン形状とに基づき、上記近傍領域に位置する左右のレーンマーカを直線近似した延長線の交点と、遠方領域部分に位置する左右のレーンマーカを直線近似した延長線の交点との交点の偏りが、予め設定した閾値以下と判定すると直線路と判定する。
本発明によれば、より少ない演算負荷で直線路の判定をすることが可能となる。
本発明の第１実施形態に係る車載用画像認識装置を搭載した車両の一例を示す図である。 本発明の第１実施形態に係る車載用画像認識装置の構成の一例を示す機能ブロック図である。 レーン形状認識部１０２の構成の一例を示す機能ブロック図である。 レーン形状認識部１０２における処理の概念を示す模式図である。 近傍領域と遠方領域とを区分してレーン認識処理を行う場合の概念を示す模式図である。 本発明の第１実施形態に係る車載用画像認識装置における処理の一例を示すフロー図である。 本発明の第２実施形態に係る車載用画像認識装置の構成の一例を示す機能ブロック図である。 本発明の第２実施形態に係る車載用画像認識装置における処理の一例を示すフロー図である。 本発明の第３実施形態に係る車載用画像認識装置の構成の一例を示す機能ブロック図である。 本発明の第３実施形態に係る車載用画像認識装置における処理の一例を示すフロー図である。 本発明の第３実施形態に係る車載用画像認識装置の効果を説明する図である。
以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示す。
（第１実施形態）
（車載用画像認識装置の構成）
図１は、本実施形態に係る車載用画像認識装置を搭載した車両の一例を示す図である。本実施形態に係る車載用画像認識装置は、車両に備えられ、車載カメラが撮像した画像から車両が走行するレーン認識を行うための装置である。車両１は、画像処理装置１０ａを内蔵するカメラ１０と、車速検出装置２０と、操舵角検出装置３０と、操舵角制御装置４０と、操舵角アクチュエータ５０とを備える。
カメラ１０は、車両１前方の画像を撮影する。
カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えたデジタルカメラである。より具体的には、カメラ１０は、高速に撮像するプログレッシブスキャン式の３ＣＭＯＳカメラである。
なお、カメラ１０は、例えば、車両１の室内における天井の前方中央部に車両１の前方を撮像するように設置してあり、フロントガラスを通して車両１の前方の走行路を撮像するようになっている。ただし、このような設置態様の他、自車両１の走行路を撮像するカメラであれば、他の設置態様とすることができる。例えば、バックビューカメラのように車両１の後方にカメラ１０を取り付けることや、バンパ等の車両１の前端に取り付けることもでき、またカメラ１０の視野内に消失点が映らない設置態様とすることもできる。いずれの場合においても、レーンマーカのエッジの検出および近似直線の算出を行うことにより、仮想消失点を算出することができる。
また、画像処理装置１０ａは、本実施形態に係るレーン認識処理が実行する装置である。つまり、図１の画像処理装置１０ａを内蔵するカメラ１０は、本実施形態に係る車載用画像認識装置に該当する。
画像処理装置１０ａ、車速検出装置２０、および操舵角検出装置３０から出力される情報は操舵角制御装置４０へ入力される。そして、操舵角制御装置４０は、目標とする操舵を実現するための信号を操舵角アクチュエータ５０へ出力する。
また、カメラ１０や操舵角制御装置４０は、それぞれマイクロコンピュータとその周辺部品や各種アクチュエータの駆動回路などを備え、互いに通信回路を介して情報を送受信する。以上のようなハードウェア構成によって、本実施形態に係るレーン認識処理が実現される。
画像処理装置１０ａを内蔵するカメラ１０は、機能的には、図２に示すように、撮像部１０１、レーン形状認識部１０２、車両挙動認識部１０３、撮像角度導出部１０４、情報偏り判定部１０５、撮像角度補正部１０６を備える。
撮像部１０１は、車両１の周辺を撮像する。
レーン形状認識部１０２は、撮像部１０１の撮像した撮像画像から車両１が走行する走行レーンのレーン形状を認識する。走行レーンの検出方法としては、例えば、特開２００４−２５２８２７号公報に記載されている公知の方法を採用すればよい。また、走行レーンの形状や車両１の位置や姿勢などの算出方法としては、例えば、特開２００４−３１８６１８号公報に記載されている公知の方法を採用すればよい。
また、レーン形状認識部１０２は、このようにして認識したレーン形状を用いて、遠方領域と近傍領域における左右一対のレーンマーカの延長線からその交点座標を求める。例えば、以下のような方法によって、遠方領域と近傍領域における左右一対のレーンマーカの延長線からその交点座標を求める。
すなわち、レーン形状認識部１０２は、撮像部１０１の撮影画像を解析し、車両１のヨー角Ｃ、車両１のピッチ角Ｄ、路面からの撮像部１０１の高さＨ、レーン中心からの横変位Ａおよび走行レーンの曲率Ｂを算出する演算装置を備えている。なお、レーン形状認識部１０２は、この演算装置によって算出した車両１のヨー角Ｃ、車線中心からの横変位Ａおよび走行車線の曲率Ｂを、操舵角制御装置４０に出力する。これにより、例えば車両１の自動操舵等が実現される。
図３は、レーン形状認識部１０２の構成例を示す図である。また、図４は、レーン形状認識部１０２における処理の概念を示す模式図である。
図３において、レーン形状認識部１０２は、白線候補点検出部２００と、レーン認識処理部３００と、光軸補正部４００とを含む。
白線候補点検出部２００は、撮像部１０１が撮影した画像データに基づいて、車線区分線となる白線の候補点を検出する。
白線候補点検出部２００では、図４に示すように、撮像部１０１から自車両１の走行路を撮像した画像を取得し、画像処理を行うことで白線エッジＥｄを検出する。本実施形態における画像処理では、取得した撮像画像の左右に位置する車線区分線（白線）に対し、後述する道路パラメータ（道路形状およびこの道路に対する車両姿勢）を基に画像処理枠Ｆの位置を設定する。次に、設定した画像処理枠Ｆに対して、例えばＳｏｂｅｌフィルタによる一次空間微分を施して、白線と路面との境界のエッジを強調した後、白線エッジＥｄを抽出する。
レーン認識処理部３００は、道路形状を直線近似する道路形状算出部３１０と、道路形状および道路に対する車両姿勢を推定する道路パラメータ推定部３２０とを含んでいる。
道路形状算出部３１０は、図４に示すように、白線候補点検出部２００によって抽出した白線エッジＥｄの強度が予め設定した閾値Ｅｄｔｈ以上の画素を、予め設定した画素数Ｐｔｈ以上通過し、かつ検出領域の上辺の１点と下辺の１点を結ぶ直線を、ハフ変換により抽出することにより道路形状の近似直線Ｒｆを算出する。本実施形態においては、撮影して得た道路の画像データを遠方と近傍と２つの領域に分けて、それぞれの領域で道路形状を直線近似する（図５参照）。
道路パラメータ推定部３２０は、道路形状算出部３１０によって検出した道路形状の近似直線Ｒｆから、次式（１）を用いて、道路モデル式として道路パラメータ（道路形状および道路に対する車両姿勢）を推定する。
Figure 0005733395
ここで、（１）式におけるパラメータ、Ａ，Ｂ，Ｃ，Ｄ，Ｈは、道路パラメータ推定部３２０において推定する道路パラメータおよび車両状態量となる。そして、パラメータ、Ａ，Ｂ，Ｃ，Ｄ，Ｈは、それぞれ、車両１の車線に対する横変位（Ａ）、道路曲率（Ｂ）、自車両１の車線に対するヨー角（Ｃ）、車両１のピッチ角（Ｄ）、および路面からの撮像部１０１の高さ（Ｈ）である。
また、Ｗは車線幅（実際の道路上における左右白線内側間の距離）を示す定数、ｆはカメラ透視変換定数、ｊは左右の白線を区別するパラメータであり、左白線のときｊ＝０、右白線のときｊ＝１とする。また、（ｘ，ｙ）は、左または右白線の車線内側端部上の任意の点の道路画像上の座標であり、道路画像左上を原点に取り、右方向がｘ軸正方向、下方向がｙ軸正方向とする。
光軸補正部４００は、自車両１の走行路が直線路であることを判定する直線路判定部４１０と、自車両１が走行路と平行に走行していることを判定する平行走行判定部４２０と、道路形状の近似直線Ｒｆから仮想消失点を算出する仮想消失点算出部４３０とを含んでいる。
直線路判定部４１０は、道路形状算出部３１０によって算出した遠方と近傍の道路形状の近似直線Ｒｆについて、直線式の傾きと切片の値の一致度合いを比較することで、自車両１の走行路が直線路であるか否かを判定する。
平行走行判定部４２０は、道路パラメータ推定部３２０によって推定した自車両１の走行路に対する車両姿勢から、自車両１が走行路と平行に走行していることを判定する。具体的には、平行走行判定部４２０は、道路パラメータ推定部３２０によって推定した車両状態量の１つである車線に対する自車両１の横変位Ａを用いて、現在値と過去値との差分から自車両１の車線に対する横速度（横変位Ａの微分値）を算出する。そして、算出した横速度が予め設定した閾値以下である場合に、自車両１が走行路と平行に走行していると判定する。自車両１が走行路と平行に走行しているとは、走行路が直線路の場合には、自車両１が直進走行していることを示す。
仮想消失点算出部４３０は、直線路判定部４１０と平行走行判定部４２０とによる判定が、自車両１の走行路が直線路かつ、自車両１が自車両１の走行路と平行に走行している状態となっている場合に、道路形状の左右近似直線Ｒｆの交点を仮想消失点として算出する。
図５は、近傍領域と遠方領域とを区分してレーン認識処理を行う場合の概念を示す模式図である。なお、図５においては、比較的半径の大きい曲線路を例として示している。
図５に示すように、レーン形状認識部１０２は、撮像部１０１が撮影した画像データを近傍領域（画像下部）と遠方領域（画像中央部）とに区分し、それぞれの領域において、白線候補点検出部２００およびレーン認識処理部３００が白線エッジＥｄおよび近似直線Ｒｆの検出を行う。さらに、それらの一致度合いを基に、直線路判定部４１０が、走行路が直線であるか否かを判定する。例えば、直線路判定部４１０は、近傍領域と遠方領域とにおける近似直線Ｒｆそれぞれの傾きおよび切片が予め設定した閾値以内の差である場合に、これらの近似直線Ｒｆが一致しているものと判定し、走行路が直線であると判定する。
以上のようにして求められた近傍領域における交点座標と遠方領域における交点座標を、以下においては、それぞれ、(Pn_x, Pn_y)、(Pf_x,Pf_y)、と定義する。
図２に戻り、車両挙動認識部１０３は、撮像部１０１が備えられている車両１の挙動を認識する。具体的には、車両挙動認識部１０３は、車速検出装置２０が検出する車両１の車速（走行速度）、操舵角検出装置３０が検出する操舵角度、図示しない加速度センサが検出する車両の前後および車幅方向の加速度、ヨーレートセンサが検出するヨーレート値、などによって車両１の挙動を判断する。
撮像角度導出部１０４は、レーン形状認識部１０２のレーン形状の認識から撮像部１０１の撮像角度を求める。
情報偏り判定部１０５は、レーン形状認識部１０２および車両挙動認識部１０３の少なくとも一方に対する偏りの有無を判定する。
撮像角度補正部１０６は、情報偏り判定部１０５において偏り予め設定した閾値以下と判定したときの撮像角度導出部１０４の出力した撮像角度を用いて撮像部１０１の撮像角度を補正する。
（車載用画像認識装置における処理フロー）
以下、図６に示すフローチャートを参照して、本実施形態に係る車載用画像認識装置における処理について説明する。なお、図６の車載用画像認識装置の処理は、予め設定された時間間隔（例えば５０ｍｓ（ミリ秒））ごとに繰り返し行われる。
ステップＳ１０１において、レーン形状認識部１０２は、撮像部１０１が撮像した車両１の前方の画像を読み込む。また、ステップＳ１０２において、車両挙動認識部１０３は、車速検出装置２０が検出した車両１の車速や、操舵角検出装置３０が検出した操舵角などを読み込む。
ステップＳ１０３において、レーン形状認識部１０２は、ステップＳ１０１で読み込んだ撮像部１０１の撮像画像を処理して、車両１が走行中の走行レーンを認識するとともに、走行レーンに対する車両１の位置や車両姿勢などを算出する。
また、ステップＳ１０４では、レーン形状認識部１０２は、ステップＳ１０３で認識したレーン形状を用いて、遠方領域と近傍領域における左右一対のレーンマーカの延長線からその交点座標を求める。なお、上述したように、本ステップにおいてレーン形状認識部１０２で求められる近傍領域の交点座標を(Pn_x, Pn_y)と定義し、遠方領域の交点座標を（Pf_x，Pf_y）と定義する。
ステップＳ１０５において、直線路判定部４１０は、ステップＳ１０４で求めた遠方領域と近傍領域のそれぞれの交点座標から次式により直線路か否かを判定する。次式を満たす場合にはステップＳ１０６へ移行する。それ以外の場合にはステップＳ１１０へ移行する。
abs（Pn_x-Pf_x） ≦ TH_Px (0-1)
上記式（０−１）式において、ａｂｓ（Ａ）はＡの絶対値を返す関数である。又、ＨＰ＿Ｐｘの値は、例えば１．０などの予め設定した正の値である。なお、上記式（０−１）を満たすということは、カメラ撮像画面の近傍だけの領域から検出した左右レーンマーカの延長上の交点座標と、遠方領域から検出した左右レーンマーカの延長上の交点座標が、近接していることである。つまり、この条件が成り立つことは、遠方から近傍までの同じ方向の直線であることを意味している。
ステップＳ１０６において、平行走行判定部４２０はステップＳ１０３で求めた自車線に対する自車両の横方向オフセット位置（レーンマーカまでの左右方向の距離）Ｙを入力として次式の伝達関数により擬似的に時間微分し、自車両の横方向速度Ｙdotを算出する。そして、次式（０−４）を満足する場合にはステップＳ１０７へ移行し、そうでない場合にはステップＳ１１０へ移行する。
G(Z-1)=(c-cZ―2)/(1-aZ-1+bZ-2) (0-2)
Ydot =G(Z-1)Y (0-3)
abs(Ydot) ≦ TH_Ydot (0-4)
ここで、Ｚ−１は遅れ演算子であり、係数ａ，ｂ，ｃはいずれも正数であって、これらは予め設定した周波数特性を有するようにサンプリング周期５０ｍｓで離散化されたものである。またＴＨ＿Ｙdotの値は、例えば０．０３などの予め設定した正の値であって、車速の高さに応じた大きな値にしても良い。なお、上記式（０−４）を満たすということは、自車がレーンマーカに対して横方向に移動していない。つまり、レーンマーカに沿って左右にふらつくことが無い状態で走行していることを意味している。更に、上記式（０−１）と（０−４）とを同時に満たす場合には、真っ直ぐな道路を真っ直ぐ走行していることを意味している。
ステップＳ１０７では、直線路判定部４１０は、ステップＳ１０３で求めた道路曲率Rowが次式の条件を全て充足するか否かを判断する。道路曲率Rowが次式の条件を全て充足する場合にはステップＳ１０８へ、それ以外の場合にはステップＳ１１０へ、それぞれ進む。
abs( Row ) < TH_ROW (1-1)
abs( SumTotalRow + Row ) < TH_ROW (1-2)
上記式（１−１）、（１−２）において、abs( A )はAの絶対値を返す関数である。また、SumTotalRowは道路曲率Rowの総和値である。また、TH_ROWは走行レーンを直線路であるとみなす場合の閾値である。情報偏り判定部１０５は、道路曲率Rowの絶対値およびその総和SumTotalRow + Rowの絶対値がTH_ROW未満である場合には、走行レーンは直線路であると判定する。なお、TH_ROWの値は、例えば0.0003などの予め設定した正の値である。
つまり、ステップＳ１０５７及びステップＳ１０７においてレーン形状認識部１０２で認識された走行レーンが直線路であると認められる場合に、ステップＳ１０８以降において撮像部１０１の撮像角度の補正を行う。このように撮像部１０１の撮像角度を補正するのを直線路に相当するシーンに限る理由は、直線路の場合、直線路の無限遠地点が画像処理を行う際の画像上、中心座標となるからである。つまり、一般的に、カーブ路にて推定曲率値から補正して中心座標を求める場合よりも直線路にて認識した左右一対のマーカの延長線上交点から中心座標を求めた方が高精度になるからである。
次に、ステップＳ１０８では、次式により道路曲線の総和値SumTotalRowの更新を行う。
SumTotalRow = SumTotalRow + Row (1-3)
ステップＳ１０９では、撮像角度補正部１０６は、次式により撮像部１０１の撮像角度を補正し、補正後の撮像部１０１の撮像角度として決定する。
FOE_X_est = 0.9 * FOE_X_est + 0.1 * Pn_x (1-4)
FOE_Y_est = 0.9 * FOE_Y_est + 0.1 * Pn_y (1-5)
なお、FOE_X_estとFOE_Y_estは、撮像部１０１の撮像角度に相当する車両１の正面の撮像画像上の座標であって、その初期値は工場などで初期調整（工場エーミングなどと呼ばれる取付け誤差のキャリブレーション）として実施された、固定ターゲットに対するカメラ取付け誤差（カメラ撮像角度誤差とも呼ぶ）の測定値である。上記式（１−４）、（１−５）で算出された座標は、以降のステップＳ１０３のレーン認識処理を行う際の原点座標として用いられる。ここで、エーミングとは光軸調整を指す。
ステップＳ１１０では、フィルターなどで使う過去値やタイマーなどで使うカウンター値を更新して終了する。
なお、図６の処理フローを実行する前に、SumTotalRowの値は“０”に初期化しておく。
（まとめ）
上記説明した車載用画像認識装置は、車両１周辺の走路を撮像する撮像部１０１の撮像画像から車両１が走行する走行レーンのレーン形状を認識する。また、認識したレーン形状から撮像部１０１の撮像角度を求める。そして、認識したレーン形状の認識したレーン形状に対する偏りの有無を判定し、偏りが無いと判定された時の撮像角度を用いて撮像部１０１の撮像角度を補正する。
これにより、片道だけ高速道路を走行したり、右カーブが多い道路を走行するなど、道路形状に偏りがある場合であっても、撮像部の撮像角度の誤差を、より少ない処理負荷で、正確に補正することが出来る。
なお、本実施形態では標準偏差算出部を有しないが、偏りが無い状態で、直線路を直進するという特定の状態を狙った結果を入力として、上記（１−４）（１−５）で補正しても良い。この場合、入力値は正規分布になる傾向が強くなるため、補正精度も高い状態となる。
（第１実施形態の効果）
本実施形態は、次のような効果を奏する。
（１）本実施形態の車載用画像認識装置は、車両１に備えられる車載用画像認識装置である。撮像部１０１は車両１周辺を撮像する。レーン形状認識部１０２は撮像部１０１の撮像画像から車両１が走行する走行レーンのレーン形状を認識する。撮像角度導出部１０４はレーン形状認識部１０２の認識したレーン形状から撮像部１０１の撮像角度を求める。直線路判定部４１０は、前記レーン形状認識部が認識したレーン形状のうち相対的に自車両に近い近傍領域のレーン形状と自車両から遠い遠方領域のレーン形状とに基づき、上記近傍領域に位置する左右のレーンマーカを直線近似した延長線の交点と、遠方領域部分に位置する左右のレーンマーカを直線近似した延長線の交点との交点の偏りを判定する。撮像角度補正部１０６は直線路判定部４１０において偏りが閾値以内と判定したときの撮像角度導出部１０４の求めた撮像角度を用いて撮像部１０１の撮像角度を補正する。
これにより、片道だけ高速道路を走行したり、右カーブが多い道路を走行するなど、道路形状に偏りがある場合であっても、撮像部の撮像角度を、より少ない演算負荷で推定することができる。
また、交点の偏りを利用することで、より精度良く直進路の判定をすることができる。
（２）直線路判定部４１０は、レーン形状認識部１０２が認識したレーン形状の認識したレーン形状を示す値の絶対値が予め定められた閾値よりも小さく、かつ、レーン形状を示す値の総和が閾値よりも小さい場合に偏りが閾値以内と判定する。また、情報偏り判定部１０５は、レーン形状認識部１０２で認識される道路曲率を用いて偏りを判定する。
これにより、片道だけ高速道路を走行したり、右カーブが多い道路を走行するなど、道路形状に偏りがある場合であっても、撮像部の撮像角度の推定を、より少ない演算負荷で行なうことができる。
（３）車速検出装置２０は、車両１の車速を検出する。操舵角検出装置３０は、車両１の操舵角を検出する。車両挙動認識部１０３は、車速検出装置２０が検出した車速と、操舵角検出部３０が検出した操舵角から、車両１の挙動を認識する。車両挙動認識部１０３が認識した車両１の挙動に対する偏りが閾値以内と判定すると、撮像部１０１の撮像角度を補正する。
これにより、片道だけ高速道路を走行したり、右カーブが多い道路を走行するなど、道路形状に偏りがある場合であっても、撮像部の撮像角度を、より少ない演算負荷で推定することができる。
（４）レーン形状認識部１０２は、道路曲率に関するパラメータを検出する。情報偏り判定部１０５は、道路曲率に関するパラメータの値が、予め定められた範囲以内に収束していることを判定する。情報偏り判定部１０５は、前記収束の判定をした時点から予め設定した時間内のパラメータ値を積算する。情報偏り判定部１０５は、積算した積算値が、予め定められた値以内であることを判定することで、車両の直線走行状態を判定する。そして、画像認識装置は、情報偏り判定部１０５が直線走行状態であると判定した場合には、エーミング処理を行なう。
これにより、片道だけ高速道路を走行したり、右カーブが多い道路を走行するなど、道路形状に偏りがある場合であっても、撮像部の撮像角度を、より少ない演算負荷で推定することができる。
（第２実施形態）
次に、第２実施形態について図面を参照して説明する。なお、上記第１実施形態と同様な構成について同一の符号を付して説明する。
（車載用画像認識装置の構成）
本実施形態の基本構成は、上記第１実施形態と同様である。ただし、本実施形態の車載用画像認識装置は、標準偏差算出部をさらに備える点が異なる。
図７は、本実施形態に係る車載用画像認識装置の構成の一例を示す図である。本実施形態に係る車載用画像認識装置は、撮像部１０１、レーン形状認識部１０２、車両挙動認識部１０３、撮像角度導出部１０４、情報偏り判定部１０５、撮像角度補正部１０６、標準偏差算出部１０７を備える。
標準偏差算出部１０７は、情報偏り判定部１０５において偏りが無いと判定された時の撮像角度導出部１０４が求めた撮像角度の標準偏差を算出する。
また、撮像角度補正部１０６は、標準偏差算出部１０７で算出した標準偏差に応じて撮像部１０１の撮像角度を補正する。
（車載用画像認識装置における処理フロー）
以下、図８に示すフローチャートを参照して、本実施形態に係る車載用画像認識装置における処理について説明する。なお、図８の車載用画像認識装置の処理は、予め設定された時間間隔（例えば５０ｍｓ（ミリ秒））ごとに繰り返し行われる。
ステップＳ２０１において、レーン形状認識部１０２は、撮像部１０１が撮像した車両１の前方の画像を読み込む。また、ステップＳ２０２において、車両挙動認識部１０３は、車速検出装置２０が検出した車両１の車速、操舵角検出装置３０が検出した操舵角、加速度センサにより検出される前後方向の加速度、ヨーレートセンサからのヨーレート値をそれぞれ読み込む。
ステップＳ２０３において、レーン形状認識部１０２は、ステップＳ２０１で読み込んだ撮像部１０１の撮像画像を処理して、車両１が走行中の走行レーンを認識するとともに、走行レーンに対する車両１の位置や車両姿勢などを算出する。また、ステップＳ２０４では、レーン形状認識部１０２は、ステップＳ２０３で認識したレーン形状を用いて、遠方領域と近傍領域における左右一対のレーンマーカの延長線からその交点座標を求める。なお、上述したように、本ステップにおいてレーン形状認識部１０２で求められる近傍領域の交点座標を(Pn_x, Pn_y)、遠方領域の交点座標を(Pf_x, Pf_y)と定義する。
ステップＳ２０５において、直線路判定部４１０はステップＳ２０４で求めた遠方領域と近傍領域とのそれぞれの交点座標から次式により直線路か否かを判断する。次式をすべて満たす場合にはステップＳ２０６へ移行し、それ以外の場合にはステップＳ２１３へ移行する。この処理は第１実施形態のステップＳ１０５と同様な処理である。
abs( Pn_x − Pf_x ) < TH_PX (2-1)
abs( Pn_ｙ − Pf_ｙ ) < TH_PY (2-2)
上記式において、TH_PXは撮像画面の水平方向における遠方領域と近傍領域の交点座標の違いについての閾値である。TH_PYは撮像画面の鉛直方向における遠方領域と近傍領域の交点座標の違いについての閾値である。
ステップＳ２０６において、平行走行判定部４２０はステップＳ２０３で求めた自車線に対する自車両の横方向オフセット位置（レーンマーカまでの左右方向の距離）Ｙを入力として、上記式（０−２）（０−３）の伝達関数によりに擬似的に時間微分し、自車両の横方向速度Ｙdotを算出する。そして、上記式（０−４）を満足する場合にはステップＳ２０７へ移行し、そうでない場合にはステップＳ２１３へ移行する。
ステップＳ２０７において、情報偏り判定部１０５は、次式の条件を全て充足するか否かを判断する。次式の条件を全て充足する場合にはステップＳ２０８へ、それ以外の場合にはステップＳ２１３へ、それぞれ進む。
abs( SumTotalPx + Pn_x − Pf_x ) < TH_PX (2-3)
abs( SumTotalPy + Pn_y − Pf_y ) < TH_PY (2-4)
abs( YawRate ) < TH_YR (2-5)
abs( SumTotalYR + YawRate ) < TH_YR (2-6)
abs( VspDot ) < TH_VD (2-7)
abs( SumTotalVD + VspDot ) < TH_VD (2-8)
また、YawRateは車両１の回転方向の速度を表すヨーレート値である。SumTotalYRはYawRateの総和値である。また、TH_YRは車両１が直進しているとみなす場合の閾値であって、YawRateの絶対値およびYawRateの総和値SumTotalYRがTH_YR未満である場合には、車両１は直進しているとみなす（式（２−５）、（２−６））。
また、VspDotは車両１の前後方向の加速度である。また、TH_VDは車両１が一定速度で走行をしているとみなす場合の閾値であって、VspDotの絶対値がTH_VD未満である場合には、車両１は一定速度で走行しているとみなす。また、SumTotalVDはVspDotの総和値である。
つまり、車両挙動認識部１０３およびレーン形状認識部１０２で認識したレーン形状から車両１が直線路を直進走行していると認められる場合（ステップＳ２０５とＳ２０６の条件をともに満足する場合）で、かつ、走行路に偏りが無く（上記式（２−３）と（２−４）を満足し）、かつ、走行に偏りが無い（上記式（２−５）〜（２−８）をすべて満足する）場合に、ステップＳ２０８以降において撮像部１０１の撮像角度の補正を行う。このように、撮像部１０１の撮像角度を補正するのを車両１が直線路を直進走行しているシーンで、かつ、走行路と走行に偏りが無い場合に限定している理由は、以下の通りである。
すなわち、撮像部１０１の撮像画像の取り込み等のハードウェア面での時間遅れや、画像処理などのソフトウェア面での時間遅れは必ず生じるものであるが、その場合でも、車両１の挙動による外乱の影響を受け難くして、撮像部１０１の撮像角度に相当する交点座標を高精度に算出するためであり、さらに、右カーブと左カーブの遭遇頻度の差が大きい場合でもカメラの取付け角度誤差を正しく求めることが出来る。
次に、ステップＳ２０８では、次式により、SumTotalPx、SumTotalPy、SumTotalYR、SumTotalVD、SumCountの更新、および、近傍交点の座標データの収集用メモリへの格納を行う。
SumTotalPx = SumTotalPx + Pn_x − Pf_x (2-9)
SumTotalPy = SumTotalPy + Pn_y − Pf_y (2-10)
SumTotalYR = SumTotalYR + YawRate (2-11)
SumTotalVD = SumTotalVD + VspDot (2-12)
FOE_X_DataRcd[ SumCount ] = Pn_x (2-13)
FOE_Y_DataRcd[ SumCount ] = Pn_y (2-14)
SumCount = SumCount + 1 (2-15)
上記式において、FOE_X_DataRcd[ ] は車両１の進行方向の正面の撮像画像上の水平方向座標を格納するパラメータであり、FOE_Y_DataRcd[ ] は車両１の進行方向の正面の撮像画像上の鉛直座標を格納するパラメータである。これらのパラメータは、図示しないＲＡＭメモリ等に記憶される。
なお、SumCountは収集された近傍交点の座標データの個数をカウントするカウンターであって、初期値は“０”とする。なお、SumCountの初期化は図８の処理フローを実行する前に行われる。
ステップＳ２０９では、収集された近傍交点の座標データの個数が５０個以上であるか否かを判断する。具体的には、次式の条件を満足する場合（近傍交点の座標データの個数が５０個以上である場合）にはステップＳ２１０へ、それ以外の場合にはステップＳ２１３へ、それぞれ進む。
SumCount >= 50 (2-16)
ステップＳ２１０では、撮像角度導出部１０４は、次式（２−１７）、（２−１８）により撮像部１０１の撮像角度の算出を行う。また、標準偏差算出部１０７は、次式（２−１９）、（２−２０）により撮像部１０１の撮像角度の標準偏差の算出を行う。
FOE_X_e_tmp = Σ FOE_X_DataRcd ／ SumCount (2-17)
FOE_Y_e_tmp = Σ FOE_Y_DataRcd ／ SumCount (2-18)
FOE_X_stdev = √Σ ( FOE_X_e_tmp − FOE_X_DataRcd ) 2 ／ SumCount
(2-19)
FOE_Y_stdev = √Σ ( FOE_Y_e_tmp − FOE_Y_DataRcd ) 2 ／ SumCount
(2-20)
ここで、上記式におけるΣとは、SumCountで表される近傍交点の座標データの個数分の総和を求める演算子である。
次に、ステップＳ２１１では、撮像角度導出部１０４で求められた撮像部１０１の撮像角度の候補のばらつきを判断する。具体的には、次式の条件をすべて満たせばステップＳ２１２へ、そうでなければステップＳ２１３へ、それぞれ進む。
FOE_X_stdev < TH_STDEV (2-21)
FOE_Y_stdev < TH_STDEV (2-22)
TH_STDEVは、撮像角度導出部１０４で求められた撮像部１０１の撮像角度の候補に対して許容するばらつきを示す閾値を表す。TH_STDEVは、例えば1.0pixなどの正の値をとる。すなわち、ステップＳ２１０で求めた標準偏差FOE_X_stdev、FOE_Y_stdevの各値がTH_STDEVよりも小さい場合には、撮像角度導出部１０４で求められた撮像部１０１の撮像角度の候補のばらつきが小さいと判断し、ステップＳ２１２において撮像部１０１の撮像角度の補正を行う。
このように、求めた標準偏差からバラツキが小さい場合に限定して補正を行うことで、第１実施形態よりも補正精度を高めることが出来る。更に、工場エーミング後に行う、本発明に基づく撮像角度の補正精度を具体的な値に規定することができる。
ステップＳ２１２では、撮像角度補正部１０６は、次式により補正後の撮像部１０１の撮像角度を決定する。また、これらの座標は、以降のステップＳ２０３のレーン認識処理を行う際の原点座標として用いられる。
FOE_X_est = FOE_X_e_tmp (2-23)
FOE_Y_est = FOE_Y_e_tmp (2-24)
ステップＳ２１３では、フィルターなどで使う過去値やタイマーなどで使うカウンター値を更新して終了する。
なお、図８の処理フローを実行する前に、SumCountの各値は“０”に初期化しておく。
（まとめ）
本実施形態の車載用画像認識装置は、標準偏差算出部１０７以外の構成については、第１実施形態と同様である。
本実施形態の車載用画像認識装置は、標準偏差算出部１０７が、偏りが無いと判定された時の撮像部１０１の撮像角度の標準偏差を算出する。そして、この算出した標準偏差に応じて撮像部１０１の撮像角度を補正する。
これにより、撮像部１０１の撮像角度の推定の精度を高めることができる。
（第２実施形態の効果）
本実施形態は、第１実施形態の効果に加えて、次の効果を奏する。
（１）標準偏差算出部１０７は、情報偏り判定部１０５において偏りが閾値以内と判定されたときの撮像角度導出部１０４が求めた撮像角度の標準偏差を算出する。また、撮像角度補正部１０６は、標準偏差算出部１０７で算出した標準偏差に応じて撮像部１０１の撮像角度を補正する。
これにより、撮像部１０１の撮像角度の推定の精度を高めることができる。また、情報偏り判定部１０５にて情報の偏りの有無を判定し、偏りがないと判定された情報のみを収集して標準偏差を算出しているため、少ないデータ数（例えば５０のデータ数だけ）でも正規分布となる傾向が強くなり、ばらつき度合いの正しい判定を少ない演算負荷で実現できる。
（２）本実施形態においては、車両挙動認識部１０３にて認識された車両１の挙動は、車両１の車幅方向の回転挙動に関する情報である。また、車両挙動認識部１０３は、レーン形状認識部１０２にて認識された走行レーンに対する車両１の車幅方向の位置もしくはヨー角度の時間変化から車両１の挙動を認識する。
これにより、撮像部１０１の撮像角度の推定の精度を高めることができる。
（第３実施形態）
次に、第３実施形態について図面を参照して説明する。なお、上記第１実施形態および第２実施形態と同様な構成について同一の符号を付して説明する。
（車載用画像認識装置の構成）
本実施形態の基本構成は、上記第２実施形態と同様である。ただし、本実施形態の車載用画像認識装置は、終了部をさらに備える点が異なる。
図９は、本実施形態に係る車載用画像認識装置の構成の一例を示す図である。本実施形態に係る車載用画像認識装置は、撮像部１０１、レーン形状認識部１０２、車両挙動認識部１０３、撮像角度導出部１０４、情報偏り判定部１０５、撮像角度補正部１０６、標準偏差算出部１０７、終了部１０８を備える。
終了部１０８は、標準偏差算出部１０７で算出した標準偏差が予め定められた値未満である場合には、撮像角度の補正を終了させる。
（車載用画像認識装置における処理フロー）
以下、図１０に示すフローチャートを参照して、本実施形態に係る車載用画像認識装置における処理について説明する。なお、図１０の車載用画像認識装置の処理は、予め設定された時間間隔（例えば５０ｍｓ（ミリ秒））ごとに繰り返し行われる。
ステップＳ３０１において、レーン形状認識部１０２は、撮像部１０１が撮像した車両１の前方の画像を読み込む。また、ステップＳ３０２において、車両挙動認識部１０３は、車速検出装置２０が検出した車両１の車幅方向の速度、操舵角検出装置３０が検出した操舵角、加速度センサにより検出される前後方向の加速度、ヨーレートセンサからのヨーレート値をそれぞれ読み込む。
ステップＳ３０３において、レーン形状認識部１０２は、ステップＳ３０１で読み込んだ撮像部１０１の撮像画像を処理して、車両１が走行中の走行レーンを認識するとともに、走行レーンに対する車両１の位置や車両姿勢などを算出する。
ステップＳ３０４では、終了部１０８において撮像部１０１の撮像角度の補正処理が完了しているか判断する。完了している場合にはステップＳ３０５へ進み、完了していない場合にはステップＳ３１４へ進む。具体的には、次式の条件を満足すればステップＳ３０５へ、そうでなければステップＳ３１４へ、それぞれ進む。
FlgAimComplt < 1 (3-1)
上記式（３−１）において、FlgAimComplt は撮像部１０１の撮像角度の補正処理が完了しているか否かを示すフラグであり、FlgAimComplt = “０”である場合には撮像部１０１の撮像角度の補正処理は完了していないことを意味し、FlgAimComplt = “1”である場合には撮像部１０１の撮像角度の補正処理は完了していることを意味する。また、FlgAimCompltの初期値は“０”とする。
ステップＳ３０５では、レーン形状認識部１０２は、ステップＳ３０３で認識したレーン形状を用いて、遠方領域と近傍領域における左右一対のレーンマーカの延長線からその交点座標を求める。なお、上述したように、本ステップにおいてレーン形状認識部１０２で求められる近傍領域の交点座標を(Pn_x, Pn_y)、遠方領域の交点座標を(Pf_x, Pf_y)と定義する。
ステップＳ３０６において、直線路判定部４１０は、ステップＳ３０５で求めた遠方領域と近傍領域とのそれぞれの交点座標から次式により直線路か否かを判断する。上記式（２−１）（２−２）をすべて満たす場合にはステップＳ３０７へ移行し、それ以外の場合にはステップＳ３１４へ移行する。この処理は第２実施形態のステップＳ２０５と同様な処理である。
ステップＳ３０７において、平行走行判定部４２０はステップＳ３０３で求めた自車線に対する自車両の横方向オフセット位置（レーンマーカまでの左右方向の距離）Ｙを入力として、上記式（０−２）（０−３）の伝達関数によりに擬似的に時間微分し、自車両の横方向速度Ｙdotを算出する。そして、上記式（０−４）を満足する場合にはステップＳ３０８へ移行し、そうでない場合にはステップＳ３１４へ移行する。この処理は第２実施形態のステップＳ２０６と同様な処理である。
ステップＳ３０８において、情報偏り判定部１０５は、次式の条件を全て充足するか否かを判断する。次式の条件を全て充足する場合にはステップＳ３０９へ、それ以外の場合にはステップＳ３１４へ、それぞれ進む。
abs( Row ) < TH_ROW (3-2)
abs( SumTotalRow + Row ) < TH_ROW (3-3)
abs( ysoku ) < TH_YS (3-4)
abs( SumTotalYsoku + ysoku ) < TH_YS (3-5)
abs( YawRate ) < TH_YR (3-6)
abs( SumTotalYR + YawRate ) < TH_YR (3-7)
abs( VspDot ) < TH_VD (3-8)
abs( SumTotalVD + VspDot ) < TH_VD (3-9)
上記式において、ysokuは車両１の車幅方向における速度を示すパラメータである。Ysokuの値としては、ステップＳ３０３のレーン認識処理で用いるレーン認識用カルマンフィルタの状態変数の車幅方向速度をそのまま用いてもよいし、走行レーンまでの車幅方向の位置を時間微分しても等価である。また、SumTotalYsokuはysokuの総和値である。TH_YSは車両１が直進走行しているとみなす場合の閾値であり、式（３−４）、（３−５）に示されるように、車幅方向速度ysokuの絶対値およびその総和SumTotalYsoku + ysokuの絶対値がTH_YS未満である場合には、車両１が直進走行していると判定する。
同様に、上記式（３−６）と（３−７）における車両１のヨーレート値YawRateは、ステップＳ３０３のレーン認識処理で用いるレーン認識用カルマンフィルタの状態変数のヨーレートをそのまま用いてもよいし、レーンに対するヨー角度を時間微分してもよい。
なお、式（３−４）、（３−５）以外の式の意味については、第１実施形態および第２実施形態と同様である。
次に、ステップＳ３０９では、次式によりSumTotalRow、SumTotalYsoku、SumTotalYR、SumTotalVD、SumCountの更新、および、近傍交点の座標データの収集用メモリへの格納を行う。
SumTotalRow = SumTotalRow + Row (3-10)
SumTotalYsoku = SumTotalYsoku + ysoku (3-11)
SumTotalYR = SumTotalYR + YawRate (3-12)
SumTotalVD = SumTotalVD + VspDot (3-13)
FOE_X_DataRcd[ SumCount ] = Pn_x (3-14)
FOE_Y_DataRcd[ SumCount ] = Pn_y (3-15)
SumCount = SumCount + 1 (3-16)
また、ステップＳ３１０からＳ３１２における処理は、図８のステップＳ２０９からＳ２１１における処理と同様である。
そして、ステップＳ３１３では、撮像角度補正部１０６は、次式により、撮像部１０１の撮像角度の推定処理の完了フラグFlgAimCompltを立てるとともに、撮像部１０１の撮像角度を決定する。また、これらの座標は、以降のステップＳ３０３のレーン認識処理を行う際の原点座標として用いられる。
FlgAimComplt = 1 (3-17）
FOE_X_est = FOE_X_e_tmp (3-18）
FOE_Y_est = FOE_Y_e_tmp (3-19）
ステップＳ３１４では、フィルターなどで使う過去値やタイマーなどで使うカウンター値を更新して終了する。
なお、図１０の処理フローを実行する前に、FlgAimComplt、SumTotalRowの各値は“０”に初期化しておく。
（まとめ）
本実施形態の車載用画像認識装置は、終了部１０８以外の構成については、第２実施形態と同様である。
本実施形態の車載用画像認識装置は、終了部１０８が、算出された標準偏差が予め定められた値未満である場合には、撮像角度の補正を終了させる。
これにより、一旦、撮像部１０１の撮像角度候補のばらつきが小さいと判断された場合には、撮像角度を補正するための処理を完了させることができるため、車載用画像認識装置の処理負荷を軽減することができる。
図１１は、本実施形態の車載用画像認識装置が奏する効果について示す図である。図１１に示されるグラフは、高速道路の緩いカーブが多い場面で、本実施形態に係るレーン認識処理を実行した結果である。
図１１において、丸で囲まれた範囲７０のデータは、ステップＳ３０５で算出されるPn_xの結果を示すデータである。また範囲７１のデータは、ステップＳ３０７で収集されるPn_xの結果である。
図１１の結果によれば、破線８０と破線８１で示されるそれぞれの最悪値が約10画素分、真値120.0画素に近づいている。また、標準偏差からも、ばらつきがほぼ半減（約４４％減）することも確認された。さらに、データ数が８０００から５０に減り、標準偏差の処理負荷も低減された。
（第３実施形態の効果）
本実施形態は、第１実施形態および第２実施形態の効果に加えて、次の効果を奏する。（１）終了部１０８は、標準偏差算出部１０７で算出した標準偏差が予め定められた値未満である場合には、撮像角度の補正を終了させる。
これにより、一旦、撮像部１０１の撮像角度候補のばらつきが小さいと判断された場合には、撮像角度を補正するための処理を完了させることができるため、車載用画像認識装置の処理負荷を軽減することができる。
（２）本実施形態においては、車両挙動認識部１０３にて認識された車両１の挙動は、車両１の車幅方向の並進挙動に関する情報である。また、車両挙動認識部１０３は、レーン形状認識部１０２にて認識された走行レーンに対する車両１の車幅方向の位置もしくはヨー角度の時間変化から車両１の挙動を認識する。
これにより、撮像部１０１の撮像角度の推定の精度を高めることができる。
ここで、上記説明において、車速検出装置２０は車速検出部を構成する。操舵角検出装置３０は操舵角検出部を構成する。レーン形状認識部１０２はパラメータ検出部を構成する。車両挙動認識部１０３、もしくは、車速検出装置２０と操舵角検出装置３０と操舵角制御装置４０は、パラメータ検出部を構成する。直線路判定部４１０は、交点偏り判定部、認識偏り判定部を構成する。情報偏り判定部１０５は、収束判定部、積算部、および直線走行状態判定部を構成する。撮像角度導出部１０４および撮像角度補正部１０６は、エーミング実行部を構成する。
以上、本願が優先権を主張する日本国特許出願２０１１−１３１２２２（２０１１年６月１３日出願）の全内容はここに引用例として包含される。
ここでは、限られた数の実施形態を参照しながら説明したが、権利範囲はそれらに限定されるものではなく、上記の開示に基づく各実施形態の改変は当業者にとって自明な事である。
１ 車両
１０ カメラ
１０ａ 画像処理装置
２０ 車速検出装置
３０ 操舵角検出装置
４０ 操舵角制御装置
５０ 操舵角アクチュエータ
１０１ 撮像部
１０２ レーン形状認識部
１０３ 車両挙動認識部
１０４ 撮像角度導出部
１０５ 判定部
１０６ 撮像角度補正部
１０７ 標準偏差算出部
１０８ 終了部
２００ 白線候補点検出部
３００ レーン認識処理部
３１０ 道路形状算出部
３２０ 道路パラメータ推定部
４００ 光軸補正部
４１０ 直線路判定部
４２０ 平行走行判定部
４３０ 仮想消失点算出部

Claims (9)

  1. 車両周辺を撮像する撮像部と、
    前記撮像部が撮像した撮像画像に基づき前記車両が走行する走行レーンのレーン形状を認識するレーン形状認識部と、
    前記レーン形状認識部が認識したレーン形状のうち相対的に自車両に近い近傍領域のレーン形状と自車両から遠い遠方領域のレーン形状とに基づき、上記近傍領域に位置する左右のレーンマーカを直線近似した延長線の交点と、遠方領域部分に位置する左右のレーンマーカを直線近似した延長線の交点との交点の偏りの大きさを判定する交点偏り判定部と、
    前記交点偏り判定部において前記交点の偏りの大きさが予め設定した閾値以下と判定したときに直線路と判定する直線路判定部と、
    前記レーン形状認識部が認識したレーン形状から前記撮像部の撮像角度を求める撮像角度導出部と、
    前記直線路判定部が直線路と判定したときに前記撮像角度導出部が求めた前記撮像角度の標準偏差を算出する標準偏差算出部と、
    前記直線路判定部が直線路と判定したときに、前記撮像部の撮像角度を補正する撮像角度補正部と、
    を備え、
    前記撮像角度補正部は、前記標準偏差算出部が算出した標準偏差に応じて前記撮像部の撮像角度を補正することを特徴とする車載用画像認識装置。
  2. 前記標準偏差算出部が算出した標準偏差が予め定められた値未満である場合には、前記撮像角度の補正を終了させることを特徴とする請求項１に記載の車載用画像認識装置。
  3. 車両周辺を撮像する撮像部と、
    前記撮像部が撮像した撮像画像に基づき前記車両が走行する走行レーンのレーン形状を認識するレーン形状認識部と、
    前記レーン形状認識部が認識したレーン形状のうち相対的に自車両に近い近傍領域のレーン形状と自車両から遠い遠方領域のレーン形状とに基づき、上記近傍領域に位置する左右のレーンマーカを直線近似した延長線の交点と、遠方領域部分に位置する左右のレーンマーカを直線近似した延長線の交点との交点の偏りの大きさを判定する交点偏り判定部と、
    前記交点偏り判定部において前記交点の偏りの大きさが予め設定した閾値以下と判定したときに直線路と判定する直線路判定部と、
    前記直線路判定部が直線路と判定したときに、前記撮像部の撮像角度を補正する撮像角度補正部と、
    前記レーン形状認識部で認識される道路曲率を用いて認識したレーン形状に対する偏りから走行路の形状を判定する認識偏り判定部と、
    を備え、
    前記認識偏り判定部は、前記レーン形状認識部が認識したレーン形状に対する偏りの絶対値が予め定められた閾値よりも小さく、かつ、前記偏りの総和が前記閾値よりも小さい場合に直線路と判定し、
    前記撮像角度補正部は、前記交点偏り判定部において前記交点の偏りが予め設定した閾値以下と判定し、且つ前記認識偏り判定部において直線路と判定したときに、前記撮像部の撮像角度を補正することを特徴とする車載用画像認識装置。
  4. 前記車両の車速を検出する車速検出部と、
    前記車両の操舵角を検出する操舵角検出部と、
    前記車速検出部が検出した車速と、前記操舵角検出部が検出した操舵角から、車両の挙動を認識する車両挙動認識部と、を更に有し、
    前記撮像角度補正部は、更に、前記車両挙動認識部が認識した車両の挙動に対する偏りが予め設定した設定閾値以下と判定したときに、前記撮像部の撮像角度を補正することを特徴とする請求項１から３いずれか一項に記載の車載用画像認識装置。
  5. 前記車両挙動認識部にて認識された前記車両の挙動は、前記車両の車幅方向の並進挙動に関する情報であることを特徴とする請求項４に記載の車載用画像認識装置。
  6. 前記車両挙動認識部にて認識された前記車両の挙動は、前記車両の車幅方向の回転挙動に関する情報であることを特徴とする請求項４に記載の車載用画像認識装置。
  7. 前記車両挙動認識部は、前記レーン形状認識部にて認識された前記走行レーンに対する前記車両の車幅方向の位置もしくはヨー角度の時間変化から前記車両の挙動を認識することを特徴とする請求項４に記載の車載用画像認識装置。
  8. 車両に備えられた撮像部の撮像軸を自動調整する撮像軸調整装置であって、
    道路曲率に関するパラメータを検出するパラメータ検出部と、
    前記道路曲率に関するパラメータの値が、予め定められた範囲以内に収束していることを判定する収束判定部と、
    前記収束判定部が判定した時点から所定時間内のパラメータ値を積算する積算部と、
    前記積算部が積算した積算値が、予め定められた値以内であることを判定することで、前記車両の直線走行状態を判定する直線走行状態判定部と、
    前記直線走行状態判定部が直線走行状態であると判定した場合には、エーミング処理を行なうエーミング実行部と、
    を備えることを特徴とする撮像軸調整装置。
  9. 車両に備えられた撮像部で前記車両周辺を撮像し、その撮像した撮像画像から前記車両が走行する走行レーンのレーン形状を認識し、その認識したレーン形状から前記撮像部の撮像角度を求め、
    前記認識したレーン形状のうち相対的に自車両に近い近傍領域のレーン形状と自車両から遠い遠方領域のレーン形状とに基づき、上記近傍領域に位置する左右のレーンマーカを直線近似した延長線の交点と、遠方領域部分に位置する左右のレーンマーカを直線近似した延長線の交点との交点の偏りの大きさが、予め設定した閾値以下と判定したときには走行レーンは直線路であると判定するとともに、前記直線路であると判定したときに撮像した前記撮像角度の標準偏差を算出し、そして、前記直線路であると判定したときに、前記標準偏差に応じて前記撮像部の撮像角度を補正することを特徴とするレーン認識方法。
JP2013520407A 2011-06-13 2012-03-07 車載用画像認識装置、撮像軸調整装置およびレーン認識方法 Active JP5733395B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013520407A JP5733395B2 (ja) 2011-06-13 2012-03-07 車載用画像認識装置、撮像軸調整装置およびレーン認識方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011131222 2011-06-13
JP2011131222 2011-06-13
JP2013520407A JP5733395B2 (ja) 2011-06-13 2012-03-07 車載用画像認識装置、撮像軸調整装置およびレーン認識方法
PCT/JP2012/001576 WO2012172713A1 (ja) 2011-06-13 2012-03-07 道路形状判定装置、車載用画像認識装置、撮像軸調整装置およびレーン認識方法

Publications (2)

Publication Number Publication Date
JPWO2012172713A1 JPWO2012172713A1 (ja) 2015-02-23
JP5733395B2 true JP5733395B2 (ja) 2015-06-10

Family

ID=47356734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013520407A Active JP5733395B2 (ja) 2011-06-13 2012-03-07 車載用画像認識装置、撮像軸調整装置およびレーン認識方法

Country Status (5)

Country Link
US (1) US20140118552A1 (ja)
EP (1) EP2720213A4 (ja)
JP (1) JP5733395B2 (ja)
CN (1) CN103582907B (ja)
WO (1) WO2012172713A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5747482B2 (ja) * 2010-03-26 2015-07-15 日産自動車株式会社 車両用環境認識装置
JP5739465B2 (ja) * 2013-02-14 2015-06-24 本田技研工業株式会社 車両の操舵制御装置
KR101985265B1 (ko) * 2013-04-18 2019-06-04 니시니혼 고소쿠도로 엔지니어링 시코쿠 가부시키가이샤 도로 주행면의 형상을 조사하는 장치
JP6093314B2 (ja) * 2014-02-14 2017-03-08 株式会社デンソー 境界線認識装置
JP6299373B2 (ja) * 2014-04-18 2018-03-28 富士通株式会社 撮像方向の正常性の判定方法、撮像方向の正常性の判定プログラムおよび撮像方向の正常性の判定装置
JP6189816B2 (ja) * 2014-11-19 2017-08-30 株式会社Ｓｏｋｅｎ 走行区画線認識装置
JP6389119B2 (ja) * 2014-12-25 2018-09-12 株式会社デンソー 車線境界線認識装置
JP6363518B2 (ja) * 2015-01-21 2018-07-25 株式会社デンソー 区画線認識装置
KR101673776B1 (ko) * 2015-06-05 2016-11-07 현대자동차주식회사 자동차용 헤드유닛 및 카메라 유닛의 고장 진단 방법
KR101748269B1 (ko) * 2015-11-11 2017-06-27 현대자동차주식회사 자율 주행 차량의 조향 제어 방법 및 장치
KR102433791B1 (ko) 2015-11-20 2022-08-19 주식회사 에이치엘클레무브 차선 이탈 경고 장치 및 방법
KR102503253B1 (ko) * 2015-12-14 2023-02-22 현대모비스 주식회사 주변 차량 인지 시스템 및 방법
US20170307743A1 (en) * 2016-04-22 2017-10-26 Delphi Technologies, Inc. Prioritized Sensor Data Processing Using Map Information For Automated Vehicles
DE102016207436A1 (de) * 2016-04-29 2017-11-02 Ford Global Technologies, Llc System und Verfahren zum Steuern- und/oder Regeln eines Lenksystems eines Fahrzeugs sowie Fahrzeug
JP6606472B2 (ja) * 2016-07-04 2019-11-13 株式会社Ｓｏｋｅｎ 走路形状認識装置、走路形状認識方法
JP6637399B2 (ja) * 2016-09-30 2020-01-29 株式会社デンソー 領域認識装置及び領域認識方法
EP3570262A4 (en) * 2017-01-10 2019-12-18 Mitsubishi Electric Corporation VEHICLE DETECTION DEVICE AND METHOD DETECTION METHOD
JP2018173834A (ja) * 2017-03-31 2018-11-08 本田技研工業株式会社 車両制御装置
CN106910358B (zh) * 2017-04-21 2019-09-06 百度在线网络技术（北京）有限公司 用于无人车的姿态确定方法和装置
JP6627822B2 (ja) * 2017-06-06 2020-01-08 トヨタ自動車株式会社 車線変更支援装置
CN108099905B (zh) * 2017-12-18 2020-08-18 深圳大学 车辆偏航检测方法、系统及机器视觉系统
CN108229386B (zh) * 2017-12-29 2021-12-14 百度在线网络技术（北京）有限公司 用于检测车道线的方法、装置和介质
WO2019181059A1 (ja) * 2018-03-22 2019-09-26 パナソニックＩｐマネジメント株式会社 軸重計測装置および軸重計測方法
CN108427417B (zh) * 2018-03-30 2020-11-24 北京图森智途科技有限公司 自动驾驶控制系统及方法、计算机服务器和自动驾驶车辆
CN108921079B (zh) * 2018-06-27 2022-06-10 盯盯拍（深圳）技术股份有限公司 拍摄角度调整方法、拍摄角度调整设备以及车载摄像装置
CN112352260B (zh) * 2018-06-27 2024-09-17 日本电信电话株式会社 车道估计装置、方法以及计算机可读存储介质
KR102132899B1 (ko) * 2018-10-08 2020-07-21 주식회사 만도 교차로에서의 경로 생성 장치 및 교차로에서의 차량 제어 장치 및 방법
US10800412B2 (en) * 2018-10-12 2020-10-13 GM Global Technology Operations LLC System and method for autonomous control of a path of a vehicle
DE112019005747T5 (de) * 2018-11-15 2021-08-19 Panasonic Intellectual Property Management Co., Ltd. Kamerasystem und Fahrzeug
US10728461B1 (en) * 2019-01-31 2020-07-28 StradVision, Inc. Method for correcting misalignment of camera by selectively using information generated by itself and information generated by other entities and device using the same
CN112686904A (zh) * 2020-12-14 2021-04-20 深兰人工智能(深圳)有限公司 车道划分方法、装置、电子设备和存储介质
EP4254944A4 (en) 2021-01-04 2024-01-31 NEC Corporation IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD AND RECORDING MEDIUM
CN112862899B (zh) * 2021-02-07 2023-02-28 黑芝麻智能科技(重庆)有限公司 用于图像获取设备的外参标定方法、装置和系统
JP7359922B1 (ja) 2022-09-26 2023-10-11 株式会社デンソーテン 情報処理装置、情報処理方法およびプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0624035B2 (ja) * 1988-09-28 1994-03-30 本田技研工業株式会社 走行路判別装置
US5359666A (en) * 1988-09-28 1994-10-25 Honda Giken Kogyo Kabushiki Kaisha Driving way judging device and method
JP3357749B2 (ja) * 1994-07-12 2002-12-16 本田技研工業株式会社 車両の走行路画像処理装置
JP3807651B2 (ja) * 1999-02-24 2006-08-09 三菱電機株式会社 白線認識装置
JP3521860B2 (ja) * 2000-10-02 2004-04-26 日産自動車株式会社 車両の走行路認識装置
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
JP2002259995A (ja) * 2001-03-06 2002-09-13 Nissan Motor Co Ltd 位置検出装置
JP2004252827A (ja) 2003-02-21 2004-09-09 Nissan Motor Co Ltd 車線認識装置
JP2004318618A (ja) 2003-04-17 2004-11-11 Nissan Motor Co Ltd 車線認識装置
DE602006020231D1 (de) * 2005-12-06 2011-04-07 Nissan Motor Detektionsvorrichtung und -verfahren
JP2008003959A (ja) * 2006-06-23 2008-01-10 Omron Corp 車両用通信システム
JP4820221B2 (ja) * 2006-06-29 2011-11-24 日立オートモティブシステムズ株式会社 車載カメラのキャリブレーション装置およびプログラム
JP2008241446A (ja) * 2007-03-27 2008-10-09 Clarion Co Ltd ナビゲーション装置及びその制御方法
JP4801821B2 (ja) * 2007-09-21 2011-10-26 本田技研工業株式会社 道路形状推定装置
JP5141333B2 (ja) * 2008-03-28 2013-02-13 マツダ株式会社 車両の車線逸脱警報装置
US8687896B2 (en) * 2009-06-02 2014-04-01 Nec Corporation Picture image processor, method for processing picture image and method for processing picture image
WO2010146695A1 (ja) * 2009-06-18 2010-12-23 富士通株式会社 画像処理装置および画像処理方法
JP5747482B2 (ja) * 2010-03-26 2015-07-15 日産自動車株式会社 車両用環境認識装置

Also Published As

Publication number Publication date
CN103582907A (zh) 2014-02-12
US20140118552A1 (en) 2014-05-01
EP2720213A4 (en) 2015-03-11
JPWO2012172713A1 (ja) 2015-02-23
EP2720213A1 (en) 2014-04-16
CN103582907B (zh) 2016-07-20
WO2012172713A1 (ja) 2012-12-20

Similar Documents

Publication Publication Date Title
JP5733395B2 (ja) 車載用画像認識装置、撮像軸調整装置およびレーン認識方法
EP3179445B1 (en) Outside environment recognition device for vehicles and vehicle behavior control device using same
US8670590B2 (en) Image processing device
EP2336999B1 (en) Device for detecting/judging road boundary
EP2546602B1 (en) Stereo camera apparatus
US7542835B2 (en) Vehicle image processing device
JP3780848B2 (ja) 車両の走行路認識装置
JP4832321B2 (ja) カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
EP3282389B1 (en) Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program
US20090041337A1 (en) Image processing apparatus and method
US8730325B2 (en) Traveling lane detector
US20150363653A1 (en) Road environment recognition system
US10235579B2 (en) Vanishing point correction apparatus and method
CN111164648B (zh) 移动体的位置推断装置及位置推断方法
KR102022402B1 (ko) 캘리브레이션 방법 및 장치
JP6035095B2 (ja) 車両の衝突判定装置
EP3287948B1 (en) Image processing apparatus, moving body apparatus control system, image processing method, and program
JP3925285B2 (ja) 走行路環境検出装置
JP5559650B2 (ja) 車線推定装置
JP3319383B2 (ja) 走行路認識装置
JP2021033605A (ja) 画像処理装置、および、画像処理方法
EP3288260B1 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and carrier means
JP7064400B2 (ja) 物体検知装置
JP7134780B2 (ja) ステレオカメラ装置
JP2005301892A (ja) 複数のカメラによるレーン認識装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150330

R151 Written notification of patent or utility model registration

Ref document number: 5733395

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151