JPH0981734A

JPH0981734A - 画像処理装置

Info

Publication number: JPH0981734A
Application number: JP7231419A
Authority: JP
Inventors: Tetsuji Hashimo; 哲司羽下; Koichi Sasagawa; 耕一笹川; Shinichi Kuroda; 伸一黒田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1995-09-08
Filing date: 1995-09-08
Publication date: 1997-03-28

Abstract

(57)【要約】【課題】周囲の環境の代表的な特徴が遠方まで見えに
くい場合や、その一部が他の物体によって隠されている
場合等に、間違った認識が行われ、周囲環境の認識性能
の低下を招いていた。【解決手段】パラメータによって表された自己の周囲
の環境の３次元モデルを３Ｄモデル定義部２で生成し、
座標変換部４でモデル座標系における３次元モデル上の
代表点の点列を画像入力部１から得られる画像情報の座
標系に座標変換し、座標変換して得られる点列と画像情
報とのマッチングを演算評価部５で評価し、パラメータ
更新部３から出力される３次元モデルのパラメータと自
己の位置と姿勢を表すパラメータを変化させながら、演
算評価部５の評価結果を判断処理部６で判断し、周囲の
環境を認識して出力部７より出力するように構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ディジタル画像
処理技術を用いて、走行車両が自己の周囲の環境を認識
するための装置に関するものであり、自動車の運転支援
や、工場内無人走行車の自動運転等に適用できるもので
ある。

【０００２】

【従来の技術】図４６は、例えば、安井伸彦、鈴木
祥弘、金子衛：”車両用道路形状認識装置”、特開平
４−２８３９００号公報に示された、従来の周囲の環境
を認識する画像処理装置の構成を表すブロック図であ
る。また、図４７はその動作原理を説明した図である。

【０００３】図４６を用いて、装置の構成について説明
する。図において、１７２は撮像手段、１７３は輝度変
化算出手段、１７４は世界座標系算出手段、１７５は曲
率検出手段、１７６は表示手段である。

【０００４】次に、図４７を用いて、動作について説明
する。図において、１７７は車両である自己と周囲の環
境との位置関係、１７８は原画像、１７９は輝度変化算
出手段により、原画像から得られる横エッジのうちで、
画像の底部に最も近いものを抽出した画像、１８０は得
られた画像の底部に最も近い横エッジの点列を世界座標
系に変換して得られるエッジ点列、１８１は認識された
周辺環境（道路）を表わす。

【０００５】ここで、世界座標系に変換して得られるエ
ッジ点列に曲線、あるいは区分的に直線を当てはめて、
それらを統合する処理を行うことにより、走行区分線の
位置と道路の曲率を認識する。

【０００６】

【発明が解決しようとする課題】従来の自己の周囲の環
境を認識するための画像処理装置は以上のように構成さ
れているので、例えば道路形状を認識する場合、エッジ
の見えにくい遠方まで道路白線を抽出することが困難で
あり、また先行する自動車などにより道路白線が隠され
た場合や間欠白線に対しては、誤ったエッジ点列の選択
が行われやすく、間違った道路曲率の認識が行われ、道
路形状認識の安定性の低下を招いていた。

【０００７】この発明は上記のような問題点を解決する
ためになされたもので、例えば道路形状を認識する場
合、エッジの見えにくい遠方まで道路白線を抽出するこ
とができ、また先行する自動車などにより道路白線が隠
された場合や間欠白線に対しても安定に道路白線を抽出
して、道路形状を認識することができる画像処理装置を
得ることを目的とする。

【０００８】

【課題を解決するための手段】この発明の第１の構成に
係る画像処理装置は、自己の周囲の環境をパラメータに
よって表される３次元モデルで定義し、このモデルを用
いてモデル座標系における周囲の環境の代表点の点列を
画像情報の座標系に座標変換して得られる点列と、画像
入力部から得られる画像情報とのマッチングをとること
によって周囲の環境を表すパラメータ、自己の位置と姿
勢を表すパラメータを求め、周囲の環境を認識するもの
である。

【０００９】この発明の第２の構成に係る画像処理装置
は、画像入力部において、自車両に搭載された距離画像
入力装置により３次元の距離画像情報を取得し、座標変
換部において、３Ｄモデル上の代表点の点列を３次元の
カメラ座標系に座標変換し、演算評価部において、座標
変換された点列の情報と画像入力部から得られる距離画
像情報とのマッチングを評価するものである。

【００１０】この発明の第３の構成に係る画像処理装置
は、画像入力部において、自車両に搭載された輝度画像
入力装置により２次元の輝度情報を取得し、座標変換部
において、３Ｄモデル上の代表点の点列を２次元の画像
座標系に座標変換し、演算評価部において、座標変換さ
れた点列の情報と画像入力部から得られる輝度情報との
マッチングを評価するものである。

【００１１】この発明の第４の構成に係る画像処理装置
は、３Ｄモデル定義部において、道路形状を一定幅員で
異なる曲率半径を有する複数の円弧をつなぎ合わせた３
次元モデルで定義するものである。

【００１２】この発明の第５の構成に係る画像処理装置
は、３Ｄモデル定義部において、道路形状の３次元モデ
ルとして自車両の走行領域のみでなく、隣の走行領域や
路肩、周囲の構造物までを定義するものである。

【００１３】この発明の第６の構成に係る画像処理装置
は、３Ｄモデル定義部において、道路の３次元モデルを
カメラおよび車載センサから得られる情報を用いて定義
するものである。

【００１４】この発明の第７の構成に係る画像処理装置
は、パラメータ更新部において、各パラメータの更新の
初期値を前フレームにおける各パラメータの値とするも
のである。

【００１５】この発明の第８の構成に係る画像処理装置
は、パラメータ更新部において、パラメータの更新量、
あるいは更新するパラメータの数、あるいはそれらの両
方、の異なる複数のモードをもつものである。

【００１６】この発明の第９の構成に係る画像処理装置
は、パラメータ更新部において、複数のパラメータどう
しの関係に基づいて、それらの更新量を設定するもので
ある。

【００１７】この発明の第１０の構成に係る画像処理装
置は、パラメータ更新部において、カメラおよび車載セ
ンサから得られる情報を用いて、更新するパラメータの
数あるいは更新量を設定するものである。

【００１８】この発明の第１１の構成に係る画像処理装
置は、座標変換部において、モデル座標系における３次
元モデル上の代表点の点列を選択する際に、特にマッチ
ングを重視したい部分において代表点を密にとり、それ
以外の部分において代表点を粗にとるものである。

【００１９】この発明の第１２の構成に係る画像処理装
置は、演算評価部において、２次元撮像素子座標系にお
ける２次元モデル上の点列の位置における、原画像の輝
度値の情報、あるいは原画像に対して画像演算処理を施
すことにより得られる処理画像の輝度値の情報、を用い
て２次元モデルと原画像とのマッチングの度合いを評価
するものである。

【００２０】この発明の第１３の構成に係る画像処理装
置は、演算評価部において、２次元撮像素子座標系にお
ける２次元モデル上の点列の位置の近傍の局所領域にお
ける、原画像の輝度値の情報、あるいは原画像に対して
画像演算処理を施すことにより得られる処理画像の輝度
値の情報、を用いて２次元モデルと原画像とのマッチン
グの度合いを評価するものである。

【００２１】この発明の第１４の構成に係る画像処理装
置は、演算評価部において、２次元撮像素子座標系にお
ける２次元モデル上の点列の位置の近傍の局所領域にお
ける、原画像の輝度値の情報、あるいは原画像に対して
画像演算処理を施すことにより得られる処理画像の輝度
値の情報、を用いて２次元モデルと原画像とのマッチン
グの度合いを評価する際に、代表点の位置に応じてその
局所領域の大きさ、あるいは形状、あるいはその両方を
可変とするものである。

【００２２】この発明の第１５の構成に係る画像処理装
置は、演算評価部において、２次元撮像素子座標系にお
ける２次元モデル上の点列の位置、あるいはその近傍の
局所領域における、原画像の輝度値の情報、あるいは原
画像に対して画像演算処理を施すことにより得られる処
理画像の輝度値の情報、を用いて２次元モデルと原画像
とのマッチングを評価する際に、２次元モデルの点列を
複数のグループに分類しておき、各グループ毎にマッチ
ングの度合いを評価するものである。

【００２３】この発明の第１６の構成に係る画像処理装
置は、判断処理部において、演算評価部から送られる評
価結果の各フレーム毎の最大値に着目し、その値に基づ
いてマッチングが良好であるかどうかを判断するもので
ある。

【００２４】この発明の第１７の構成に係る画像処理装
置は、判断処理部において、演算評価部から送られる評
価結果の各フレーム毎の最大値に着目し、その絶対的な
値のみでなく、直前の数フレームにおける値の変化に基
づいてマッチングが良好であるかどうかを判断するもの
である。

【００２５】この発明の第１８の構成に係る画像処理装
置は、判断処理部において、演算評価部から送られる各
グループ毎のマッチング評価結果にそれぞれ重み付けを
行い、加算した結果に基づいて、全体としてのマッチン
グが良好であるかどうかを判断するものである。

【００２６】

【発明の実施の形態】

実施の形態１．次に、この発明の実施の形態１を図につ
いて説明する。図１はこの発明による画像処理装置の実
施の形態１の構成を示すブロック図である。図１におい
て、１は画像入力部、２は道路形状３Ｄモデル定義部、
３はパラメータ更新部、４は座標変換部、５は演算評価
部、６は判断処理部、７は出力部である。

【００２７】次に、動作について説明する。図１におい
て、まず、道路形状３Ｄモデル定義部２が道路形状の３
次元形状をパラメータで表現した３次元モデルを定義す
る。ここでモデルの定義とは、モデル定義部２に登録さ
れている道路形状モデルのメニューの中から、その時点
での情報にもとづいて、実際の道路形状に最も近いと判
断される道路形状モデルを選択して出力することであ
る。その時点の情報としては、最近時刻の道路形状情報
や入力画像から従来技術と同様な方法で得た道路形状情
報が利用でき、何の情報もない場合には、デフォルトモ
デルとして最も単純な水平直線道路モデル等を出力す
る。次に画像入力部１が、道路形状の情報を画像の形で
獲得し、これにもとづいて、パラメータ更新部３が道路
形状を表わすパラメータと自己の位置と姿勢を表わすパ
ラメータの値を生成し、座標変換部４がパラメータ更新
部から得られるパラメータに基づき、モデルの座標系に
おける３次元モデル上の代表点の点列を画像情報の座標
系に座標変換する。そして、演算評価部５が座標変換部
から得られる変換された代表点の点列の情報と画像入力
部から得られる情報とのマッチングの度合いを評価し、
判断処理部６が演算評価部の評価結果を判断する。

【００２８】ここで、マッチングが十分でないと判断さ
れた場合、パラメータ更新部３が周囲の環境の形状を表
すパラメータと自己の位置と姿勢を表すパラメータを更
新して生成し、マッチングが十分とれるまでパラメータ
の更新と座標変換、マッチングの評価、判断処理を繰り
返す。もし、マッチングが十分であると判断された場合
は、出力部７に確定された各パラメータの値を出力す
る。次に画像入力部１が新しい画像を獲得し、パラメー
タ更新の動作を繰り返す。マッチングの評価とパラメー
タの更新は距離画像とモデルの代表点とのずれの量と方
向を求め、ずれの量を最小化する様にパラメータの更新
を繰り返す方法や、モデルの座標値に変動を与えて距離
画像との相関が最大となるモデル位置を求める方法等が
とられる。

【００２９】図２は画像入力部の構成を示すブロック図
である。図２において、８はカメラａ、９はＡ−Ｄ変換
器ａ、１０はカメラｂ、１１はＡ−Ｄ変換器ｂ、１２は
距離画像生成部である。

【００３０】また図３はこの発明による画像処理装置の
全体の動作を説明する図である。図において１３は車両
と道路形状との実際の位置関係、１４は画像入力部から
得られた距離画像、１５は道路形状の３次元モデルの代
表点、１６は座標変換された後の代表点、１７は距離画
像と座標変換後の代表点との位置関係を示す。

【００３１】また図４は座標変換部の動作を説明する図
である。図においてｘｙｚは道路上の自車両の位置を原
点とし、進行方向をｚ軸、鉛直下向き方向をｙ軸、右方
向をｘ軸とした世界座標系、ｘ’ｙ’ｚ’はカメラ位置
を原点とし、カメラの光軸をｚ’軸、カメラの撮像素子
の下向きをｙ’軸、右向きをｘ’軸としたカメラ座標
系、斜線部は道路面である。

【００３２】また図５、図６、図７は座標変換部の動作
を説明する図である。図５においてαはカメラのチルト
角である。また、図６においてβはカメラのパン角であ
る。また、図７においてγはカメラのローテーション角
である。

【００３３】次に、画像入力部の動作について説明す
る。図２において、まずカメラａ８、カメラｂ１０から
取り込まれたアナログ映像信号が、それぞれＡ−Ｄ変換
器ａ９、Ａ−Ｄ変換器ｂ１１においてアナログディジタ
ル変換され、距離画像生成部１２に入力される。つぎに
距離画像生成部１２において入力された２つのディジタ
ル画像の視差情報から３次元の立体情報をもつ距離画像
が生成される。

【００３４】次に、全体の動作について説明する。図３
において、車両と道路形状との位置関係１３から、画像
入力部において距離画像１４が得られる。一方、道路形
状３Ｄモデル定義部で定義された道路形状の３次元モデ
ルの代表点１５は座標変換部においてカメラ座標系に座
標変換され、座標変換後の代表点１６となる。そして、
演算評価部において距離画像と座標変換後の代表点との
マッチングを評価する。１７はこのときの距離画像と座
標変換後の代表点との位置関係を示す。

【００３５】次に、座標変換部の動作について説明す
る。図４において世界座標系からカメラ座標系への変換
は平行移動と回転移動の組み合わせで表される。世界座
標系におけるカメラ位置の座標を（ｘ０、ｙ０、ｚ０）
とし、回転行列をΠとすれば座標変換の式は式（１）で
表される。また図５におけるカメラのチルト角αに関す
る回転行列は式（２）で表される。また図６におけるカ
メラのチルト角βに関する回転行列は式（３）で表され
る。また図７におけるカメラのチルト角γに関する回転
行列は式（４）で表される。そして、回転行列Πは式
（５）で表される。

【００３６】

【数１】

【００３７】図８は画像入力部の別の構成を示すブロッ
ク図である。図８において１８はカメラ、１９はＡ−Ｄ
変換器、２０はレーダ、２１は制御回路、２２は距離画
像生成部である。

【００３８】次に、動作について説明する。図８におい
て、まずカメラ１８から取り込まれたアナログ映像信号
が、Ａ−Ｄ変換器１９においてアナログディジタル変換
され、距離画像生成部２２に入力される。一方、レーダ
２０と制御回路２１からなる距離計測センサの距離計測
結果が距離画像生成部２２に入力される。次に距離画像
生成部２２では、画像の輝度情報とレーダによる距離情
報とを融合することにより、距離画像が生成される。従
来技術においては、原画像からの道路形状認識が困難で
あったが、本発明においては、道路形状３Ｄモデルの使
用により道路形状認識が容易に行える。道路形状モデル
は過去の走行データや経験に基づいて出現確率の高いも
のをあらかじめ用意しておくことができるので、マッチ
ングの確率を高め、モデル探索の計算量を減らすことが
できる。また、走行中に出現する道路形状は典型的な小
数のモデルで表現できるので、原画像からモデルを作成
する従来の技術に比べてマッチング処理の効率を著しく
高めることができる。

【００３９】また、前走車等によるデータ欠損に対して
も、道路形状の全体像の候補をモデルとして提示するこ
とにより、データ欠損の影響を減少させ、マッチングを
安定に行うことができる。また、状況に応じて適切な初
期値モデルを提示することができるので、マッチングを
効率よく行うことができる。

【００４０】また、パラメータの更新を繰り返しループ
演算によって行っているため、異常データに対する処理
を除外し、正常なデータについてのみマッチング行うこ
とによって、短期的なエラーやデータ欠損部によるマッ
チングの不安定さを除去することができる。また、繰り
返しループ演算によるパラメータ更新は１次遅れの動特
性を持たせることができるので、１次遅れの時定数を適
切に選ぶことによって短期的な異常データに対する安定
性を与えることができる。

【００４１】実施の形態２．次に、この発明の実施の形
態２を図について説明する。図９はこの実施の形態にお
ける画像入力部の構成を示すブロック図である。図９に
おいて、２３はカメラ、２４はＡ−Ｄ変換器である。

【００４２】また図１０は画像処理装置の全体の動作を
説明する図である。図において、２５は車両と道路形状
との位置関係、２６は画像入力部から得られた輝度画
像、２７は道路形状の３次元モデルの代表点、２８は２
次元平面に座標変換された後の３次元モデルの代表点、
２９は輝度画像と座標変換後の代表点との位置関係を示
す。

【００４３】また図１１は座標変換部の動作を説明する
図である。図においてｘｙｚは道路上の自車両の位置を
原点とし、進行方向をｚ軸、鉛直下向き方向をｙ軸、右
方向をｘ軸とした世界座標系、ｘ’ｙ’ｚ’はカメラ位
置を原点とし、カメラの光軸をｚ’軸、カメラの撮像素
子の下向きをｙ’軸、右向きをｘ’軸としたカメラ座標
系、３０は道路面上の或る代表点である。

【００４４】また図１２は図１１の代表点３０をカメラ
の画面上に座標変換したものを説明する図である。図に
おいて３１はカメラの画面座標系で、右向きをｕ軸、下
向きをｖ軸とする。３２は道路面上の代表点３０をカメ
ラの画面上に座標変換した点である。

【００４５】次に、画像入力部の動作について説明す
る。図９において、まずカメラ２３から取り込まれたア
ナログ映像信号が、Ａ−Ｄ変換器２４においてアナログ
ディジタル変換され、輝度画像２６が生成される。

【００４６】次に、全体の動作について説明する。図１
０において、車両と道路形状との位置関係２５から、画
像入力部において輝度画像２６が得られる。一方、道路
形状３Ｄモデル定義部で定義された道路形状の３次元モ
デルの代表点２７は座標変換部においてカメラ撮像素子
座標系に座標変換され、座標変換後の代表点２８とな
る。そして、演算評価部において輝度画像と座標変換後
の代表点とのマッチングを評価する。このときの輝度画
像と座標変換後の代表点との位置関係は２９に示され
る。

【００４７】次に、座標変換部の動作について説明す
る。図１１において世界座標系からカメラ座標系への変
換は平行移動と回転移動の組み合わせにより、式（１）
〜（４）で表される。ただし、回転行列Πは式（５）で
表される。

【００４８】次に、座標変換部の動作について説明す
る。図１２においてカメラ撮像素子の１画素のｕ方向、
ｖ方向の長さをそれぞれｓｘ、ｓｙ、カメラの焦点距離
をｆとし、３次元のカメラ座標系で（ｘ’、ｙ’、
ｚ’）と表される点が２次元のカメラ撮像素子系で
（ｕ、ｖ）と表される場合、式（６）の関係が成立す
る。従って、カメラ座標系における点（ｘ’、ｙ’、
ｚ’）をカメラ撮像素子座標系（ｕ、ｖ）に変換する変
換式は式（７）で表される。

【００４９】

【数２】

【００５０】実施の形態３．次に、この発明の実施の形
態３を図について説明する。図１３はこの実施の形態に
おける画像処理装置の３Ｄモデル定義部により定義され
た道路形状モデルをｙ軸に平行な視線で見た図である。
図１３において、３３はカメラ位置、３４はカメラの光
軸、３５は道路端を表す円弧の中心、３６は自車両の走
行領域の右側の境界線上の代表点、３７は自車両の走行
領域の左側の境界線上の代表点である。

【００５１】また、図１４は画像処理装置の３Ｄモデル
定義部により定義された道路形状モデルをｚ軸に平行な
視線で見た図である。図１４において、３８はカメラ位
置、３９は道路面、４０は道路端を表す円弧の中心であ
る。

【００５２】また、図１５は画像処理装置の３Ｄモデル
定義部により定義された他の道路形状モデルをｙ軸に平
行な視線で見た図である。図１５において、４１はカメ
ラ位置、４２はカメラの光軸、４３は道路端を表す円弧
の中心、４４は自車両の走行領域の右側の境界線上の代
表点、４５は自車両の走行領域の左側の境界線上の代表
点である。

【００５３】また、図１６は画像処理装置の３Ｄモデル
定義部により定義されたさらに他の道路形状モデルをｙ
軸に平行な視線で見た図である。図１６において、４６
はカメラ位置、４７は道路の曲率が変化する位置までの
距離、４８は曲率が変化する位置よりも手前の部分で道
路端を表す円弧の中心、４９は曲率が変化する位置より
も手前の部分で自車両の走行領域の右側の境界線上の代
表点、５０は曲率が変化する位置よりも手前の部分で自
車両の走行領域の左側の境界線上の代表点、５１は曲率
が変化する位置よりも遠方の部分で道路端を表す円弧の
中心、５２は曲率が変化する位置よりも遠方の部分で自
車両の走行領域の右側の境界線上の代表点、５３は曲率
が変化する位置よりも遠方の部分で自車両の走行領域の
左側の境界線上の代表点である。

【００５４】また、図１７は画像処理装置の３Ｄモデル
定義部により定義されたさらに他の道路形状モデルをｙ
軸に平行な視線で見た図である。図１７において、５４
はカメラ位置、５５は道路の形状が直線部分から曲線部
分に変化する位置までの距離である。

【００５５】また、図１８は画像処理装置の３Ｄモデル
定義部により定義されたさらに他の道路形状モデルをｙ
軸に平行な視線で見た図である。図１８において、５６
はカメラ位置、５７は道路の形状が曲線部分から直線部
分に変化する位置までの距離である。

【００５６】また、図１９は画像処理装置の３Ｄモデル
定義部により定義されたさらに他の道路形状モデルをｙ
軸に平行な視線で見た図である。図１９において、５８
はカメラ位置、５９は道路の形状が左曲がりから右曲が
りに変化する位置までの距離、６０は曲率が変化する位
置よりも手前の部分で道路端を表す円弧の中心、６１は
曲率が変化する位置よりも遠方の部分で道路端を表す円
弧の中心である。

【００５７】また、図２０は画像処理装置の３Ｄモデル
定義部により定義されたさらに他の道路形状モデルをｘ
軸に平行な視線で見た図である。図２０において、６２
はカメラ位置、６３はカメラの光軸、６４は道路の勾配
が変化する点である。

【００５８】また、図２１は画像処理装置の３Ｄモデル
定義部により定義されたさらに他の道路形状モデルをｘ
軸に平行な視線で見た図である。図２１において、６５
はカメラ位置、６６はカメラの光軸、６７は道路の勾配
が変化する点である。

【００５９】また、図２２は画像処理装置の３Ｄモデル
定義部により定義されたさらに他の道路形状モデルをｘ
軸に平行な視線で見た図である。図２２において、６８
はカメラ位置、６９はカメラの光軸、７０は道路の勾配
が変化する点である。

【００６０】次に、動作について説明する。図１３、図
１４は道路形状３Ｄモデル定義部で定義された左カーブ
の道路の３次元モデルの一例である。図において道路端
を半径が一定の円弧とし、道路幅をＷ、道路右端の円弧
の曲率半径をＲ、道路左端の円弧の曲率半径をＲ−ｗと
し、ｗとＲの２つのパラメータで表現している。

【００６１】また、このような３次元モデルを用いるこ
とにより、左カーブと同時に右カーブや直線をも同じモ
デルで表現することができる。例えばＲを正の値にする
ことで左カーブを、Ｒを負の値にすることで右カーブ
を、Ｒを正の無限大あるいは負の無限大にすることで直
線を表現する事ができる。図１５は道路形状３Ｄモデル
定義部で定義された右カーブの道路の３次元モデルの一
例である。

【００６２】また、道路端を局所的に半径が一定の円弧
の組み合わせとしたモデルで表現することにより、さら
に複雑な道路形状を表現することができる。図１６は道
路形状３Ｄモデル定義部で定義された、曲率半径が途中
で変化する左カーブの道路の３次元モデルの一例であ
る。図において自車両の位置から走行路に沿って前方に
Ｌ１の距離までは道路右端の円弧の曲率半径をＲ１、道
路左端の円弧の曲率半径をＲ１−ｗとし、Ｌ１より遠方
では、道路右端の円弧の曲率半径をＲ２、道路左端の円
弧の曲率半径をＲ２−ｗとし、ｗ、Ｌ１、Ｒ１、Ｒ２の
４つのパラメータで曲率半径が途中で変化する左カーブ
を表現している。

【００６３】また、図１７は道路形状３Ｄモデル定義部
で定義された、直線から左カーブに変化するの道路の３
次元モデルの一例である。図において自車両の位置から
走行路に沿って前方にＬ１の距離までは曲率半径をＲ’
が無限大の直線路で、Ｌ１より遠方では、道路右端の円
弧の曲率半径をＲ、道路左端の円弧の曲率半径をＲ−ｗ
とし、ｗ、Ｌ１、Ｒ’、Ｒの４つのパラメータで直線か
ら左カーブに変化する道路を表現している。

【００６４】また、図１８は道路形状３Ｄモデル定義部
で定義された、左カーブから直線に変化するの道路の３
次元モデルの一例である。図において自車両の位置から
走行路に沿って前方にＬ１の距離までは道路右端の円弧
の曲率半径をＲ、道路左端の円弧の曲率半径をＲ−ｗと
し、Ｌ１より遠方では、曲率半径をＲ’が無限大の直線
路で、ｗ、Ｌ１、Ｒ’、Ｒの４つのパラメータで左カー
ブから直線に変化する道路を表現している。

【００６５】また、図１９は道路形状３Ｄモデル定義部
で定義された、Ｓ字カーブの道路の３次元モデルの一例
である。図において自車両の位置から走行路に沿って前
方にＬ１の距離までは道路右端の円弧の曲率半径をＲ
１、道路左端の円弧の曲率半径をＲ１−ｗの左カーブ、
Ｌ１より遠方では、道路右端の円弧の曲率半径をＲ２、
道路左端の円弧の曲率半径をＲ２＋ｗの右カーブとし、
ｗ、Ｌ１、Ｒ１、Ｒ２の４つのパラメータでＳ字カーブ
の道路を表現している。

【００６６】また、曲率の変化を２段階のみでなく、多
くの段階に分けることにより、更に複雑な道路形状にも
対応する事ができる。

【００６７】また、左右のカーブに加えて、道路の勾配
に関するパラメータを用意し、道路面が局所的に勾配が
一定な平面の組み合わせとしたモデルで表現することに
より、上り坂、下り坂、その他複雑な勾配をもつ道路形
状を表現することができる。図２０は道路形状３Ｄモデ
ル定義部で定義された、上り坂の道路の３次元モデルの
一例である。図において、自車両の位置から走行路に沿
って前方にＬ２の距離までは道路勾配がφ１、Ｌ２より
遠方では道路勾配がφ２の道路を表現している。

【００６８】また、図２１は道路形状３Ｄモデル定義部
で定義された、上り坂から下り坂に変化する道路の３次
元モデルの一例である。図において、自車両の位置から
走行路に沿って前方にＬ２の距離までは道路勾配がφ１
の上り坂、Ｌ２より遠方では道路勾配が−φ２の下り坂
の道路を表現している。

【００６９】また、図２２は道路形状３Ｄモデル定義部
で定義された、下り坂から上り坂に変化する道路の３次
元モデルの一例である。図において、自車両の位置から
走行路に沿って前方にＬ２の距離までは道路勾配が−φ
１の下り坂、Ｌ２より遠方では道路勾配がφ２の上り坂
の道路を表現している。

【００７０】また、勾配の変化を２段階のみでなく、多
くの段階に分けることにより、更に複雑な道路形状にも
対応する事ができる。

【００７１】実施の形態４．次に、この発明の実施の形
態４を図について説明する。図２３はこの実施の形態に
おける画像処理装置の３Ｄモデル定義部により定義され
た道路形状モデルをｙ軸に平行な視線で見た図である。
図２３において、７１は自車両の位置、７２は道路端を
表す円弧の中心、７３は自車両の右側の走行領域、７４
は自車両の走行領域、７５は自車両の右側の走行領域の
外側にある路側帯、７６は自車両の走行領域の外側にあ
る路側帯である。

【００７２】また、図２４は画像処理装置の３Ｄモデル
定義部により定義された道路形状モデルをｚ軸に平行な
視線で見た図である。図２４において、７７は自車両の
位置、７８は道路端を表す円弧の中心、７９は自車両の
右側の走行領域、８０は自車両の走行領域、８１は自車
両の右側の走行領域の外側にあるガードレール、８２は
自車両の右側の走行領域の外側にある路側帯、８３は自
車両の走行領域の外側にある路側帯、８４は自車両の走
行領域の外側にあるガードレールである。

【００７３】また、図２５は画像処理装置の３Ｄモデル
定義部により定義された道路形状モデルをｘ軸に平行な
視線で見た図である。図２５において、８５は自車両の
位置、８６はカメラの光軸、８７走行領域の外側にある
ガードレールである。

【００７４】次に、動作について説明する。図２３、図
２４、図２５は道路形状３Ｄモデル定義部で定義された
左カーブの道路の３次元モデルの一例である。図におい
て、道路端を半径が一定の円弧とし、自車両の走行路だ
けでなく、自車両の右側にある走行路、さらにそれらの
外側にある路側帯、ガードレールまでをモデルとして持
っており、道路幅をＷ、自車両の走行路の右端の円弧の
曲率半径をＲ、路側帯の幅をｗｓ、ガードレールの高さ
をｈとしている。

【００７５】また、道路の曲率が複雑な場合、あるいは
道路の勾配が複雑な場合にも、容易にモデルを拡張する
ことができる。

【００７６】また、走行路を２車線に限らず、多くの車
線がある場合にも、容易にモデルを拡張することができ
る。

【００７７】また、ガードレールや路側帯だけでなく、
照明灯や防音壁、トンネル内の天井照明灯をモデルで表
現することもできる。

【００７８】実施の形態５．次に、この発明の実施の形
態５を図について説明する。図２６はこの実施の形態に
おける画像処理装置の３Ｄモデル定義部の構成を示すブ
ロック図である。図において、８８は道路形状３Ｄモデ
ル推定部、８９はパラメータ更新部より入力されるパラ
メータ、９０は道路形状３Ｄモデル推定部より出力され
る３次元モデル、９１は地図情報、９２はＧＰＳ情報、
９３はハンドル角センサ、９４は傾きセンサ、９５は速
度センサ、９６は加速度センサである。

【００７９】次に、動作について説明する。道路形状３
Ｄモデル推定部８８は、パラメータ更新部より入力され
る、前フレームにおけるパラメータ８９、地図情報９
１、ＧＰＳ情報９２、ハンドル角センサ９３、傾きセン
サ９４、速度センサ９５、加速度センサ９６をもとにし
て、道路形状３次元モデル９０を出力する。

【００８０】また、このように多くの情報入力手段を有
することにより、道路形状のモデルの信頼性を向上する
ことができる。例えば地図情報やＧＰＳ情報が得られな
い場合でも、ハンドル角センサ、速度センサ、加速度セ
ンサから道路の曲率を推定することができる。

【００８１】実施の形態６．次に、この発明の実施の形
態６を図について説明する。図２７はこの実施の形態に
おける画像処理装置のパラメータ更新部の動作を説明す
る図である。図において、９７はパラメータ更新の初期
値、９８はパラメータ更新範囲である。

【００８２】次に、動作について説明する。簡単のため
に、更新するパラメータの数がｐ１、ｐ２の２種類の場
合を考える。このときパラメータの値の組によって表わ
される空間はｐ１軸、ｐ２軸によって張られる平面上の
点の集合となる。ここで、パラメータを更新する際の初
期値として直前のフレームにおける各パラメータ値を用
い、それらの値の組によって表されるパラメータ空間内
の点９７を中心に、ある大きさの近傍領域内９８で各パ
ラメータの値の組を変化させながらパラメータの値の組
を発生する。

【００８３】また、パラメータの数がｎ個（ｎ＞２）の
場合も同様に、ｎ次元のパラメータ空間内で、直前のフ
レームにおける各パラメータ値を初期値として、その近
傍のｎ次元空間内でパラメータを変化させる。

【００８４】図２８は画像処理装置のパラメータ更新部
の動作を説明する図である。図において、９９はパラメ
ータ更新の初期値、１００は第一の更新のモードにおけ
るパラメータ更新範囲である。

【００８５】また、図２９は画像処理装置のパラメータ
更新部の動作を説明する図である。図において、１０１
は図２８のパラメータ更新範囲１００の内部に設定した
第二の更新のモードにおけるパラメータ更新範囲であ
る。

【００８６】また、図３０は画像処理装置のパラメータ
更新部の他の更新モードの動作を説明する図である。図
において、１０２は変数ｐ３を固定し、ｐ１、ｐ２を変
化させる第一の更新のモードにおけるパラメータ更新範
囲である。

【００８７】また、図３１は画像処理装置のパラメータ
更新部の動作を説明する図である。図において、１０３
は図３０における変数ｐ１、ｐ２を固定し、ｐ３のみを
変化させる第二の更新のモードにおけるパラメータ更新
範囲である。

【００８８】次に、パラメータ更新量の異なる複数のモ
ードを持つパラメータ更新部の動作について説明する。
簡単のために、例えば更新するパラメータの数がｐ１、
ｐ２の２種類で、パラメータの更新のモードが、粗い更
新のモードと、細かい更新のモードの２種類のモードが
ある場合を考える。

【００８９】このとき、第一の更新のモードではパラメ
ータの初期値の組によって表される点９９の近傍の更新
範囲を表す空間１００内でパラメータを、第二の更新の
モードの更新量よりも大きな更新量で変化させ、仮の最
適パラメータの組を決定する。そして、第二の更新のモ
ードでは、仮の最適パラメータの組を初期値として、そ
の点の近傍の更新範囲を表す空間１０１内でパラメータ
を、第一の更新のモードの更新量よりも小さな更新量で
変化させる。

【００９０】次に、更新するパラメータの数の異なる複
数のモードを持つパラメータ更新部の動作について説明
する。簡単のために、更新するパラメータの数がｐ１、
ｐ２、ｐ３の３種類で、パラメータの更新のモードが、
ｐ３を固定してｐ１、ｐ２のみを更新するモードと、ｐ
１、ｐ２を固定してｐ３を更新する２種類のモードがあ
る場合を考える。

【００９１】このとき、第一の更新のモードではパラメ
ータｐ３を初期値に固定しておき、ｐ１、ｐ２の２種類
のパラメータのみを第一の更新の空間１０２内で変化さ
せ、仮の最適パラメータの組を決定する。そして、第二
の更新のモードでは、ｐ１、ｐ２を仮の最適パラメータ
の値に固定し、第二の探索領域１０３内でパラメータｐ
３のみを変化させる。

【００９２】また、第一の更新のモードではパラメータ
ｐ３を初期値に固定しておき、ｐ１、ｐ２の２種類のパ
ラメータのみを変化させ、仮の最適パラメータの組を決
定し、第二の更新のモードでは、仮の最適パラメータの
組を初期値として、全てのパラメータｐ１、ｐ２、ｐ３
を変化させることもできる。

【００９３】また、パラメータの更新量の異なる複数の
更新のモードと更新するパラメータ数の異なる複数の更
新のモードを組み合わせ、例えば、第一の更新のモード
ではパラメータｐ１、ｐ２、ｐ３のうちｐ３を固定し
て、ｐ１、ｐ２を大きな更新量で変化させ、第二の更新
のモードでは同じくｐ３を固定したままｐ１、ｐ２を小
さな更新量で変化させ、第三の更新のモードでは同じく
ｐ１、ｐ２、ｐ３をさらに小さな更新量で変化させるこ
ともできる。

【００９４】また、パラメータの数は２あるいは３に限
定されることなく、さらに増やすこともできる。

【００９５】次に、パラメータ更新部の他の更新のモー
ドを図について説明する。図３２は画像処理装置のパラ
メータ更新部の動作を説明する図である。図において１
０４はパラメータ更新の初期値、１０５はパラメータ更
新範囲である。

【００９６】次に、動作について説明する。簡単のため
に、更新するパラメータの数がｐ１、ｐ２の２種類の場
合を考える。このとき、例えばパラメータｐ１の値が増
加すればパラメータｐ２の値が減少し、逆にパラメータ
ｐ１の値が減少すればパラメータｐ２の値が増加する傾
向がある場合、パラメータの初期値１０４を中心に、パ
ラメータ同士の関係に基づいた更新の空間１０５内でパ
ラメータを変化させる。

【００９７】また、パラメータの数は２あるいは３に限
定されることなく、さらに増やすこともでき、パラメー
タ同士の値にさらに複雑な関連がある場合に適応するこ
とができる。この様なパラメータの更新モードを採用す
ることにより、パラメータの変化を有効な領域内のみに
ついて行ない、更新の効率を高めることができる。

【００９８】実施の形態７．次に、この発明の実施の形
態７を図について説明する。図３３はこの実施の形態に
おける画像処理装置のパラメータ更新部の構成を示すブ
ロック図である。図において、１０６はパラメータ推定
部、１０７は判断処理部より出力される制御信号、１０
８は道路形状３Ｄモデル定義部に出力されるパラメー
タ、１０９は地図情報、１１０はＧＰＳ情報、１１１は
ハンドル角センサ、１１２は傾きセンサ、１１３は速度
センサ、１１４は加速度センサである。

【００９９】次に、動作について説明する。パラメータ
推定部１０６は、判断処理部より出力される制御信号１
０７、および地図情報１０９、ＧＰＳ情報１１０、ハン
ドル角センサ１１１、傾きセンサ１１２、速度センサ１
１３、加速度センサ１１４をもとにして、パラメータ１
０８を出力する。

【０１００】また、このように多くの情報入力手段を有
することにより、パラメータ推定の信頼性を向上するこ
とができる。例えば道路形状の画像が明瞭に得られない
場合でも、傾きセンサ、ハンドル角センサ、加速度セン
サ、ＧＰＳ情報等からカメラパラメータや道路のパラメ
ータを推定することができる。

【０１０１】実施の形態８．次に、この発明の実施の形
態８を図について説明する。図３４は画像処理装置の座
標変換部の動作を説明する図である。図において、１１
５は自車両の走行路右端の境界線上の代表点、１１６は
自車両の走行路左端の境界線上の代表点である。

【０１０２】また、図３５は画像処理装置の座標変換部
の動作を説明する図である。図において、１１７は自車
両の走行路右端の境界線上の代表点、１１８は自車両の
走行路左端の境界線上の代表点である。

【０１０３】次に、動作について説明する。座標変換部
において、３次元世界座標系における３次元モデル上の
代表点の点列を２次元の撮像素子座標系に透視変換する
際の代表点の選択の方法として、例えば図３４の１１
５、１１６に示すように、３次元世界座標系において代
表点を進行方向に対して手前では密に、遠方では疎にな
るように選択し、２次元の撮像素子座標系では図３５の
１１７、１１８に示すように、撮像素子上で代表点が縦
軸方向に対して均等に配置されようにする。

【０１０４】図３６は画像処理装置の座標変換部の動作
を説明する図である。図において、１１９は自車両の走
行路右端の境界線上の代表点、１２０は自車両の走行路
左端の境界線上の代表点である。

【０１０５】次に、動作について説明する。座標変換部
において、３次元世界座標系における３次元モデル上の
代表点の点列を２次元の撮像素子座標系に透視変換する
際の代表点の選択の方法として、例えば図３６の１１
９、１２０に示すように、３次元世界座標系において代
表点を曲率の大きい部分では密に、曲率の小さい部分遠
では疎になるように選択する。この様に、代表点の密度
を情報の重要度に応じて増減することにより、少ない数
の代表点で精度の高いモデルマッチングが可能となる。

【０１０６】また、３次元モデル上の代表点の点列の選
択の方法として、例えば自車両の走行路端の境界線が間
欠白線の場合、白線上の代表点を密に、連続白線の場
合、白線上の代表点を疎になるように選択することもで
きる。

【０１０７】また、３次元モデル上の代表点の点列の選
択の方法として、例えば右カーブでは自車両の走行路右
端の境界線上の代表点を密に、自車両の走行路左端の境
界線上の代表点を疎になるように選択することもでき
る。

【０１０８】実施の形態９．次に、この発明の実施の形
態９を図について説明する。図３７は画像処理装置の演
算評価部の動作を説明する図である。図において、１２
１は２次元の撮像素子座標系における道路白線、１２２
は自車両の走行路境界線の３次元モデル上の代表点を２
次元の撮像素子座標系に座標変換した点である。

【０１０９】次に、動作について説明する。演算評価部
において、例えば、２次元の撮像素子座標系に座標変換
された各代表点の位置における原画像の輝度値の総和を
計算し、モデルと原画像のマッチングの度合いの評価値
とする。

【０１１０】また、例えば、２次元の撮像素子座標系に
座標変換された各代表点の位置における原画像の輝度値
があるしきい値より高いものの数を計数し、モデルと原
画像のマッチングの度合いの評価値とすることもでき
る。輝度値の加算や代表点の計数に先立って、原画像情
報に種々の画像演算処理を行うことによって、マッチン
グの精度や安定性を改善することができる。

【０１１１】例えば、２次元の撮像素子座標系に座標変
換された各代表点の位置における原画像の輝度値がある
しきい値より高いものについてのみ輝度値の総和を計算
し、それ以外のものについては輝度値の加算は行わない
ことによりモデルと原画像のマッチングの度合いの評価
値とすることもできる。この様にすると、道路白線が前
走車によってさえぎられるような場合にも、異常データ
の影響を避けることができ、安定にマッチングの評価が
できる。

【０１１２】また、例えば、原画像に対して平滑化処理
により、平滑化画像を生成しておき、２次元の撮像素子
座標系に座標変換された各代表点の位置における平滑化
画像の輝度値の総和を計算し、モデルと原画像のマッチ
ングの度合いの評価値とすることもできる。

【０１１３】また、例えば、原画像に対して平滑化処理
により、平滑化画像を生成しておき、２次元の撮像素子
座標系に座標変換された各代表点の位置における平滑化
画像の輝度値があるしきい値より高いものについてのみ
輝度値の総和を計算し、それ以外のものについては輝度
値の加算は行わないことによりモデルと原画像のマッチ
ングの度合いの評価値とすることもできる。

【０１１４】また、例えば、原画像に対して平滑化処理
により、平滑化画像を生成しておき、２次元の撮像素子
座標系に座標変換された各代表点の位置における平滑化
画像の輝度値があるしきい値より高いものの数を計数
し、モデルと原画像のマッチングの度合いの評価値とす
ることもできる。

【０１１５】また、例えば、原画像からエッジ抽出処理
によりエッジ強度画像を生成しておき、２次元の撮像素
子座標系に座標変換された各代表点の位置におけるエッ
ジ強度画像の輝度値の総和を計算し、モデルと原画像の
マッチングの度合いの評価値とすることもできる。

【０１１６】また、例えば、原画像からエッジ抽出処理
によりエッジ強度画像を生成しておき、２次元の撮像素
子座標系に座標変換された各代表点の位置におけるエッ
ジ強度画像の輝度値があるしきい値より高いものについ
てのみ輝度値の総和を計算し、それ以外のものについて
は輝度値の加算は行わないことによりモデルと原画像の
マッチングの度合いの評価値とすることもできる。

【０１１７】また、例えば、原画像からエッジ抽出処理
によりエッジ強度画像を生成しておき、２次元の撮像素
子座標系に座標変換された各代表点の位置におけるエッ
ジ強度画像の輝度値があるしきい値より高いものの数を
計数し、モデルと原画像のマッチングの度合いの評価値
とすることもできる。

【０１１８】また、例えば、原画像からエッジ抽出処理
によりエッジ強度画像を生成しておき、さらに、平滑化
処理により、エッジ強度の平滑化画像を生成しておき、
２次元の撮像素子座標系に座標変換された各代表点の位
置におけるエッジ強度の平滑化画像の輝度値の総和を計
算し、モデルと原画像のマッチングの度合いの評価値と
することもできる。

【０１１９】また、例えば、原画像からエッジ抽出処理
によりエッジ強度画像を生成しておき、さらに、平滑化
処理により、エッジ強度の平滑化画像を生成しておき、
２次元の撮像素子座標系に座標変換された各代表点の位
置におけるエッジ強度の平滑化画像の輝度値があるしき
い値より高いものについてのみ輝度値の総和を計算し、
それ以外のものについては輝度値の加算は行わないこと
によりモデルと原画像のマッチングの度合いの評価値と
することもできる。

【０１２０】また、例えば、原画像からエッジ抽出処理
によりエッジ強度画像を生成しておき、さらに、平滑化
処理により、エッジ強度の平滑化画像を生成しておき、
２次元の撮像素子座標系に座標変換された各代表点の位
置におけるエッジ強度の平滑化画像の輝度値があるしき
い値より高いものの数を計数し、モデルと原画像のマッ
チングの度合いの評価値とすることもできる。

【０１２１】実施の形態１０．次に、この発明の実施の
形態１０を図について説明する。図３８はこの実施の形
態における画像処理装置の演算評価部の動作を説明する
図である。図において、１２３は２次元の撮像素子座標
系における道路白線、１２４は自車両の走行路境界線の
３次元モデル上の代表点を２次元の撮像素子座標系に座
標変換した点、１２５は２次元の撮像素子座標系におけ
る代表点の近傍の領域である。

【０１２２】次に、動作について説明する。演算評価部
において、例えば、２次元の撮像素子座標系に座標変換
された、ある代表点の位置を（ｐ、ｑ）とし、点（ｐ、
ｑ）および、点（ｐ、ｑ）のｗｗ画素近傍の２点（ｐ−
ｗｗ、ｑ）、（ｐ＋ｗｗ、ｑ）における原画像の輝度値
をそれぞれＩ（ｐ、ｑ）、Ｉ（ｐ−ｗｗ、ｑ）、Ｉ（ｐ
＋ｗｗ、ｑ）とし、各代表点毎に次式で表される評価式
Ｊ（ｐ、ｑ）の総和を計算し、モデルと原画像のマッチ
ングの度合いの評価値とする。Ｊ（ｐ、ｑ）＝２×Ｉ（ｐ、ｑ）−Ｉ（ｐ−ｗｗ、ｑ）−Ｉ（ｐ＋ｗｗ、ｑ）・・・（８）また、マッチングの状態を認識するためには座標値ｐ、
ｑに変動を与え、評価値が最大となる代表点の位置と評
価値の最大値を求める。

【０１２３】図３９は画像処理装置の演算評価部の動作
を説明する図である。図において、１２６は２次元の撮
像素子座標系における道路白線、１２７は自車両の走行
路境界線の３次元モデル上の近距離のある代表点を２次
元の撮像素子座標系に座標変換した点、１２８は２次元
の撮像素子座標系における代表点１２７の近傍の領域、
１２９は自車両の走行路境界線の３次元モデル上の遠距
離の代表点を２次元の撮像素子座標系に座標変換した
点、１３０は２次元の撮像素子座標系における代表点１
２９の近傍の領域である。

【０１２４】また、図４０は画像処理装置の演算評価部
の動作を説明する図である。図において、１３１は２次
元の撮像素子座標系における道路白線、１３２は自車両
の走行路境界線の３次元モデル上の近距離のある代表点
を２次元の撮像素子座標系に座標変換した点、１３３は
２次元の撮像素子座標系における代表点１３２における
道路白線の横軸に対する傾き、１３４は２次元の撮像素
子座標系における代表点１３２の近傍の領域、１３５は
自車両の走行路境界線の３次元モデル上の遠距離の代表
点を２次元の撮像素子座標系に座標変換した点、１３６
は２次元の撮像素子座標系における代表点１３５におけ
る道路白線の横軸に対する傾き、１３７は２次元の撮像
素子座標系における代表点１３５の近傍の領域である。

【０１２５】次に、動作について説明する。図３９に示
すように、演算評価部において、例えば、２次元の撮像
素子座標系に座標変換された、ある代表点の位置を
（ｐ、ｑ）とし、点（ｐ、ｑ）および、点（ｐ、ｑ）の
近傍の点における原画像の輝度値の情報を用いてモデル
と原画像のマッチングの度合いの評価値とする際の、局
所領域の大きさｗｗの値の決め方として、点（ｐ、ｑ）
の位置に着目し、例えば点（ｐ、ｑ）が撮像素子座標系
において消失点に近い場合はｗｗを小さな値に設定し、
点（ｐ、ｑ）が撮像素子座標系において消失点から遠い
場合はｗｗを大きな値に設定する。

【０１２６】また、図４０に示すように、例えば、２次
元の撮像素子座標系に座標変換された、ある代表点の位
置を（ｐ、ｑ）とし、点（ｐ、ｑ）および、点（ｐ、
ｑ）の近傍の点における原画像の輝度値の情報を用いて
モデルと原画像のマッチングの度合いの評価値とする際
の、局所領域の形状の決め方として、点（ｐ、ｑ）の位
置における道路白線の横軸に対する傾きに着目し、例え
ば点（ｐ、ｑ）における道路白線の横軸に対する傾きを
θ１とした場合、（ｐ＋ｗｗ(ｃｏｓθ１−ｓｉｎθ
１)、ｑ＋ｗｗ(ｃｏｓθ１＋ｓｉｎθ１)）、（ｐ−ｗ
ｗ(ｃｏｓθ１＋ｓｉｎθ１)、ｑ＋ｗｗ(ｃｏｓθ１−
ｓｉｎθ１)）、（ｐ−ｗｗ(ｃｏｓθ１−ｓｉｎθ
１)、ｑ−ｗｗ(ｃｏｓθ１＋ｓｉｎθ１)）、（ｐ＋ｗ
ｗ(ｃｏｓθ１＋ｓｉｎθ１)、ｑ−ｗｗ(ｃｏｓθ１−
ｓｉｎθ１)）の４点によって囲まれる領域を局所領域
として設定する。

【０１２７】図４１は画像処理装置の演算評価部の動作
を説明する図である。図において、１３８は２次元の撮
像素子座標系における自車両の左側の道路白線、１３９
は自車両の走行路左端の境界線の３次元モデル上のある
代表点を２次元の撮像素子座標系に座標変換した点、１
４０は２次元の撮像素子座標系における代表点１３９の
近傍の領域、１４１は２次元の撮像素子座標系における
自車両の右側の道路白線、１４２は自車両の走行路右端
の境界線の３次元モデル上の代表点を２次元の撮像素子
座標系に座標変換した点、１４３は２次元の撮像素子座
標系における代表点１４２の近傍の領域である。

【０１２８】また、図４２は画像処理装置の演算評価部
の動作を説明する図である。図において、１４４は２次
元の撮像素子座標系における自車両の左側の道路白線、
１４５は自車両の走行路左端の境界線の３次元モデル上
のある代表点を２次元の撮像素子座標系に座標変換した
点、１４６は２次元の撮像素子座標系における代表点１
４５における白線の横軸に対する傾き、１４７は２次元
の撮像素子座標系における代表点１４５の近傍の領域、
１４８は２次元の撮像素子座標系における自車両の右側
の道路白線、１４９は自車両の走行路右端の境界線の３
次元モデル上の代表点を２次元の撮像素子座標系に座標
変換した点、１５０は２次元の撮像素子座標系における
代表点１４９における白線の横軸に対する傾き、１５１
は２次元の撮像素子座標系における代表点１４９の近傍
の領域である。

【０１２９】次に、動作について説明する。図４１に示
すように、演算評価部において、例えば、２次元の撮像
素子座標系に座標変換された、ある代表点を自車両の左
側の白線と、自車両の右側の白線にグループ分けしてお
き、左側の白線に関しては、代表点の位置を（ｐｌ、ｑ
ｌ）としたとき、点（ｐｌ、ｑｌ）および、点（ｐｌ、
ｑｌ）の近傍の点（ｐｌ＋ｗｗ、ｑｌ）おける原画像の
輝度値の情報Ｉ（ｐｌ、ｑｌ）、Ｉ（ｐｌ＋ｗｗ、ｑ
ｌ）を用いて、各代表点毎に次式（９）で示される評価
式Ｋｌ（ｐｌ、ｑｌ）の総和を計算し、自車両の走行路
左端の境界線に関するモデルと原画像のマッチングの度
合いの評価値とする。また、右側の白線に関しては、代
表点の位置を（ｐｒ、ｑｒ）としたとき、点（ｐｒ、ｑ
ｒ）および、点（ｐｒ、ｑｒ）の近傍の点（ｐｒ−ｗ
ｗ、ｑｒ）おける原画像の輝度値の情報Ｉ（ｐｒ、ｑ
ｒ）、Ｉ（ｐｒ＋ｗｗ、ｑｒ）を用いて、各代表点毎に
次式（１０）で示される評価式Ｋｒ（ｐｒ、ｑｒ）の総
和を計算し、自車両の走行路左端の境界線に関するモデ
ルと原画像のマッチングの度合いの評価値とする。Ｋｌ（ｐｌ、ｑｌ）＝Ｉ（ｐｌ、ｑｌ）−Ｉ（ｐｌ＋ｗｗ、ｑｌ）・・・・・・・・（９）Ｋｒ（ｐｒ、ｑｒ）＝Ｉ（ｐｒ、ｑｒ）−Ｉ（ｐｒ−ｗｗ、ｑｒ）・・・・・・・（１０）

【０１３０】また、図４２に示すように、演算評価部に
おいて、例えば、２次元の撮像素子座標系に座標変換さ
れた、ある代表点を自車両の左側の白線と、自車両の右
側の白線にグループ分けしておき、左側の白線に関して
は、代表点の位置を（ｐｌ、ｑｌ）としたとき、点（ｐ
ｌ、ｑｌ）および、点（ｐｌ、ｑｌ）の近傍の点（ｐｌ
＋ｗｗｓｉｎθ１、ｑｌ＋ｗｗｃｏｓθ１）おける原画
像の輝度値の情報Ｉ（ｐｌ、ｑｌ）、Ｉ（ｐｌ＋ｗｗｓ
ｉｎθ１、ｑｌ＋ｗｗｃｏｓθ１）を用いて、各代表点
毎に次式（１１）で示される評価式Ｋｌ’（ｐｌ、ｑ
ｌ）の総和を計算し、自車両の走行路左端の境界線に関
するモデルと原画像のマッチングの度合いの評価値とす
る。また、右側の白線に関しては、代表点の位置を（ｐ
ｒ、ｑｒ）としたとき、点（ｐｒ、ｑｒ）および、点
（ｐｒ、ｑｒ）の近傍の点（ｐｒ−ｗｗｓｉｎθ２、ｑ
ｒ−ｗｗｃｏｓθ２）おける原画像の輝度値の情報Ｉ
（ｐｒ、ｑｒ）、Ｉ（ｐｒ−ｗｗｓｉｎθ２、ｑｒ−ｗ
ｗｃｏｓθ２）を用いて、各代表点毎に次式（１２）で
示される評価式Ｋｒ’（ｐｒ、ｑｒ）の総和を計算し、
自車両の走行路左端の境界線に関するモデルと原画像の
マッチングの度合いの評価値とする。Ｋｌ’（ｐｌ、ｑｌ）＝Ｉ（ｐｌ、ｑｌ） −Ｉ（ｐｌ＋ｗｗｓｉｎθ１、ｑｌ＋ｗｗｃｏｓθ１）・・・（１１）Ｋｒ’（ｐｒ、ｑｒ）＝Ｉ（ｐｒ、ｑｒ） −Ｉ（ｐｒ−ｗｗｓｉｎθ２、ｑｒ−ｗｗｃｏｓθ２）・・・（１２）

【０１３１】また、代表点を複数のグループに分ける際
に、自車両の走行路左端の境界と右端の境界以外に、さ
らに多くのグループに分けることもできる。

【０１３２】実施の形態１１．次に、この発明の実施の
形態１１を図について説明する。図４３はこの実施の形
態における画像処理装置の判断処理部の構成を示すブロ
ック図である。図において、１５２は判断処理部、１５
３は演算評価部より出力される演算評価結果、１５４は
判断処理部より出力される制御信号、１５５は最大値検
出部、１５６は制御信号出力部である。

【０１３３】次に、動作について説明する。図４３に示
すように、最大値検出部１５５において、演算評価部よ
り次々に出力される演算評価結果１５３の中から最大値
を検出し、制御信号出力部１５６において、演算評価結
果の最大値があるしきい値よりも低くなった場合にマッ
チングが良好でないと判断し、モードの切り替え信号を
生成する。また、マッチングが良好であると判断された
場合はパラメータを確定し、次フレームの初期値とす
る。これらモード制御信号と各パラメータをまとめて制
御信号１５４とし、出力する。

【０１３４】図４４は画像処理装置の判断処理部の構成
を示すブロック図である。図において、１５７は制御信
号出力部、１５８は最大値検出部より出力される最大
値、１５９は制御信号出力部より出力される制御信号、
１６０は一時記憶部、１６１は変化量計算部、１６２は
制御信号計算部である。

【０１３５】次に、動作について説明する。図４４に示
すように、最大値検出部より次々に出力される最大値１
５８を一時記憶部１６０に記憶し、変化量計算部１６１
において直前の数フレームにおける最大値の変化量を計
算し、最大値があるしきい値よりも低くなった場合、あ
るいは最大値が常に減少している場合にマッチングが良
好でないと判断し、モードの切り替え信号を生成する。
また、マッチングが良好であると判断された場合はパラ
メータを確定し、次フレームの初期値とする。制御信号
計算部１６２は、これらモード制御信号と各パラメータ
をまとめて制御信号１５９とし、出力する。

【０１３６】図４５は画像処理装置の判断処理部の構成
を示すブロック図である。図において、１６３は最大値
検出部、１６４は演算評価部より出力される演算評価結
果１、１６５は演算評価部より出力される演算評価結果
２、１６６は演算評価部より出力される演算評価結果
ｎ、１６７は最大値検出部より出力される最大値、１６
８は局所最大値検出部１、１６９は局所最大値検出部
２、１７０は局所最大値検出部ｎ、１７１は重み付き加
算部である。

【０１３７】次に、動作について説明する。図４５に示
すように、演算評価部より出力される複数の演算評価結
果に対して、それぞれ複数の局所最大値検出部が最大値
を計算し、重み付き加算部１７１において複数の局所最
大値の重み付き加算結果を最大値検出部より出力される
最大値１６７として出力する。例えば右カーブであれば
自車両の右側の白線のグループの重み付けを大きくし、
逆に左カーブであれば自車両の左側の白線の重みを大き
くする。

【０１３８】また、例えばなんらかの手段により、道路
白線が間欠白線であるか、連続白線であるかを知ること
ができた場合、その間欠白線のグループの重みを大きく
し、連続白線のグループの重みを小さくすることもでき
る。

【０１３９】

【発明の効果】以上のように、この発明の第１の構成に
よれば、自己の周囲の環境をパラメータによって表され
る３次元モデルで定義し、このモデルを用いてモデル座
標系における周囲の環境の代表点の点列を画像情報の座
標系に座標変換して得られる点列と、画像入力部から得
られる画像情報とのマッチングをとることによって周囲
の環境を表すパラメータ、自己の位置と姿勢を表すパラ
メータを求め、周囲の環境を認識するように構成したの
で、周囲の環境の代表的な特徴が見えにくい場合や、そ
の一部が他の物体によって隠されている場合に対しても
高い周囲環境の認識性能を有する画像処理装置が得られ
る効果がある。

【０１４０】また、この発明の第２の構成によれば、自
車両に搭載された距離画像入力装置により取得した３次
元の距離画像情報と、３次元モデル上の代表点の点列を
３次元のカメラ座標系に座標変換して得られる点列の情
報とのマッチングを評価するように構成したので、高い
道路形状の認識性能を有する画像処理装置が得られる効
果がある。

【０１４１】また、この発明の第３の構成によれば、自
車両に搭載された輝度画像入力装置により取得した２次
元の輝度情報と、３次元モデル上の代表点の点列を２次
元の画像座標系に座標変換して得られる点列の情報との
マッチングを評価するように構成したので、高い道路形
状の認識性能を有する画像処理装置が得られる効果があ
る。

【０１４２】また、この発明の第４の構成によれば、道
路形状の３次元モデルとして一定幅員で異なる曲率半径
を有する複数の円弧をつなぎ合わせたものを用いるよう
に構成したので、様々な道路形状を表現することが可能
となる効果がある。

【０１４３】また、この発明の第５の構成によれば、道
路形状の３次元モデルとして自車両の走行領域のみでな
く、隣の走行領域や路肩、周囲の構造物までを定義した
ので、認識率が向上する効果がある。

【０１４４】また、この発明の第６の構成によれば、道
路の３次元モデルをカメラおよび車載センサから得られ
る情報を用いて定義するように構成したので、３次元モ
デルが検証することが可能となると同時に、更新するパ
ラメータの数とパラメータの更新量を減少することが可
能となる効果がある。

【０１４５】また、この発明の第７の構成によれば、各
パラメータの更新の初期値を前フレームにおける各パラ
メータの値とするように構成したので、パラメータの更
新量を減少させることが可能となる効果がある。

【０１４６】また、この発明の第８の構成によれば、パ
ラメータの更新量、あるいは更新するパラメータの数、
あるいはそれらの両方、の異なる複数のモードを持つよ
うに構成したので、マッチングがとれるまでのパラメー
タの総更新回数を減少させることが可能となる効果があ
る。

【０１４７】また、この発明の第９の構成によれば、複
数のパラメータどうしの関係に基づいて、それらの更新
量を設定するように構成したので、パラメータの更新量
を減少させることが可能となる効果がある。

【０１４８】また、この発明の第１０の構成によれば、
カメラおよび車載センサから得られる情報を用いて、更
新するパラメータの数あるいは更新量を設定するように
構成したので、パラメータの更新量を減少させることが
可能となる効果がある。

【０１４９】また、この発明の第１１の構成によれば、
モデル座標系における３次元モデル上の代表点の点列を
選択する際に、特にマッチングを重視したい部分におい
て代表点を密にとり、それ以外の部分において代表点を
粗にとるように構成したので、認識率を向上させること
が可能となる効果がある。

【０１５０】また、この発明の第１２の構成によれば、
２次元撮像素子座標系における２次元モデル上の点列の
位置における、原画像の輝度値の情報、あるいは原画像
に対して画像演算処理を施すことにより得られる処理画
像の輝度値の情報、を用いて２次元モデルと原画像との
マッチングの度合いを評価するように構成したので、認
識率を向上させることが可能となる効果がある。

【０１５１】また、この発明の第１３の構成によれば、
２次元撮像素子座標系における２次元モデル上の点列の
位置の近傍の局所領域における、原画像の輝度値の情
報、あるいは原画像に対して画像演算処理を施すことに
より得られる処理画像の輝度値の情報、を用いて２次元
モデルと原画像とのマッチングの度合いを評価するよう
に構成したので、認識率を向上させることが可能となる
効果がある。

【０１５２】また、この発明の第１４の構成によれば、
２次元撮像素子座標系における２次元モデル上の点列の
位置の近傍の局所領域における、原画像の輝度値の情
報、あるいは原画像に対して画像演算処理を施すことに
より得られる処理画像の輝度値の情報、を用いて２次元
モデルと原画像とのマッチングの度合いを評価する際
に、代表点の位置に応じてその局所領域の大きさ、ある
いは形状、あるいはその両方を可変とするように構成し
たので、認識率を向上させることが可能となる効果があ
る。

【０１５３】また、この発明の第１５の構成によれば、
２次元撮像素子座標系における２次元モデル上の点列の
位置、あるいはその近傍の局所領域における、原画像の
輝度値の情報、あるいは原画像に対して画像演算処理を
施すことにより得られる処理画像の輝度値の情報、を用
いて２次元モデルと原画像とのマッチングを評価する際
に、２次元モデルの点列を複数のグループに分類してお
き、各グループ毎にマッチングの度合いを評価するよう
に構成したので、認識率を向上させることが可能となる
効果がある。

【０１５４】また、この発明の第１６の構成によれば、
マッチングの度合いの評価結果の各フレーム毎の最大値
に着目し、その値に基づいてマッチングが良好であるか
どうかを判断するように構成したので、認識率を向上さ
せることが可能となる効果がある。

【０１５５】また、この発明の第１７の構成によれば、
マッチングの度合いの評価結果の各フレーム毎の最大値
に着目し、その絶対的な値のみでなく、直前の数フレー
ムにおける値の変化に基づいてマッチングが良好である
かどうかを判断するように構成したので、認識率を向上
させることが可能となる効果がある。

【０１５６】また、この発明の第１８の構成によれば、
各グループ毎のマッチングの度合いの評価結果にそれぞ
れ重み付けを行い、加算した結果に基づいて、全体とし
てのマッチングが良好であるかどうかを判断するように
構成したので、認識率を向上させることが可能となる効
果がある。

【図面の簡単な説明】

【図１】この発明の実施の形態１の全体の構成を示す
ブロック図である。

【図２】この発明の実施の形態１の画像入力部の構成
を示すブロック図である。

【図３】この発明の実施の形態１の動作を説明する図
である。

【図４】この発明の実施の形態１の座標変換部の動作
を説明する図である。

【図５】この発明の実施の形態１の座標変換部の動作
を説明する図である。

【図６】この発明の実施の形態１の座標変換部の動作
を説明する図である。

【図７】この発明の実施の形態１の座標変換部の動作
を説明する図である。

【図８】この発明の実施の形態１の画像入力部の別の
構成を示すブロック図である。

【図９】この発明の実施の形態２の画像入力部の構成
を示すブロック図である。

【図１０】この発明の実施の形態２の動作を説明する
図である。

【図１１】この発明の実施の形態２の座標変換部の動
作を説明する図である。

【図１２】この発明の実施の形態２の座標変換部の動
作を説明する図である。

【図１３】この発明の実施の形態３の３Ｄモデル定義
部の動作を説明する図である。

【図１４】この発明の実施の形態３の３Ｄモデル定義
部の動作を説明する図である。

【図１５】この発明の実施の形態３の３Ｄモデル定義
部の動作を説明する図である。

【図１６】この発明の実施の形態３の３Ｄモデル定義
部の動作を説明する図である。

【図１７】この発明の実施の形態３の３Ｄモデル定義
部の動作を説明する図である。

【図１８】この発明の実施の形態３の３Ｄモデル定義
部の動作を説明する図である。

【図１９】この発明の実施の形態３の３Ｄモデル定義
部の動作を説明する図である。

【図２０】この発明の実施の形態３の３Ｄモデル定義
部の動作を説明する図である。

【図２１】この発明の実施の形態３の３Ｄモデル定義
部の動作を説明する図である。

【図２２】この発明の実施の形態３の３Ｄモデル定義
部の動作を説明する図である。

【図２３】この発明の実施の形態４の３Ｄモデル定義
部の動作を説明する図である。

【図２４】この発明の実施の形態４の３Ｄモデル定義
部の動作を説明する図である。

【図２５】この発明の実施の形態４の３Ｄモデル定義
部の動作を説明する図である。

【図２６】この発明の実施の形態５の３Ｄモデル定義
部の構成を示すブロック図である。

【図２７】この発明の実施の形態６のパラメータ更新
部の動作を説明する図である。

【図２８】この発明の実施の形態６のパラメータ更新
部の動作を説明する図である。

【図２９】この発明の実施の形態６のパラメータ更新
部の動作を説明する図である。

【図３０】この発明の実施の形態６のパラメータ更新
部の動作を説明する図である。

【図３１】この発明の実施の形態６のパラメータ更新
部の動作を説明する図である。

【図３２】この発明の実施の形態６のパラメータ更新
部の動作を説明する図である。

【図３３】この発明の実施の形態７のパラメータ更新
部の構成を示すブロック図である。

【図３４】この発明の実施の形態８の座標変換部の動
作を説明する図である。

【図３５】この発明の実施の形態８の座標変換部の動
作を説明する図である。

【図３６】この発明の実施の形態８の座標変換部の動
作を説明する図である。

【図３７】この発明の実施の形態９の演算評価部の動
作を説明する図である。

【図３８】この発明の実施の形態１０の演算評価部の
動作を説明する図である。

【図３９】この発明の実施の形態１０の演算評価部の
動作を説明する図である。

【図４０】この発明の実施の形態１０の演算評価部の
動作を説明する図である。

【図４１】この発明の実施の形態１０の演算評価部の
動作を説明する図である。

【図４２】この発明の実施の形態１０の演算評価部の
動作を説明する図である。

【図４３】この発明の実施の形態１１の判断処理部の
構成を示すブロック図である。

【図４４】この発明の実施の形態１１の判断処理部の
構成を示すブロック図である。

【図４５】この発明の実施の形態１１の判断処理部の
構成を示すブロック図である。

【図４６】従来の環境認識装置の構成を示すブロック
図である。

【図４７】従来の環境認識装置の動作を説明する図で
ある。

【符号の説明】

１道路形状画像入力部、２道路形状３Ｄモデル定義
部、３パラメータ更新部、４座標変換部、５演算
評価部、６，１５２判断処理部、７出力部、８カ
メラａ、９Ａ−Ｄ変換器ａ、１０カメラｂ、１１
Ａ−Ｄ変換器ｂ、１２距離画像生成部、１３，２５
車両と道路形状との位置関係、１４画像入力部から得
られた距離画像、１５道路形状の３次元モデルの代表
点、１６座標変換された後の代表点、１７距離画像と
座標変換後の代表点との位置関係、１８，２３カメ
ラ、１９，２４Ａ−Ｄ変換器、２０レーダ、２１
制御回路、２２距離画像生成部、２６画像入力部か
ら得られた輝度画像、２７道路形状の３次元モデルの代
表点、２８２次元平面に座標変換された後の３次元モ
デルの代表点、２９輝度画像と座標変換後の代表点と
の位置関係、３０道路面上のある代表点、３１カメラ
の撮像素子座標系、３２道路面上のある代表点をカメ
ラの撮像素子平面上に座標変換した点、３３，３８，４
１，４６，５４，５６，５８，６２，６５，６８カメ
ラ位置、３４，４２，６３，６６，６９，８６カメラ
の光軸、３５，４０，４３，７２，７８道路端を表す
円弧の中心、３６，４４自車両の走行領域の右側の境
界線上の代表点、３７，４５自車両の走行領域の左側
の境界線上の代表点、３９道路面、４７道路の曲率
が変化する位置までの距離、４８，６０曲率が変化す
る位置よりも手前の部分で道路端を表す円弧の中心、４
９曲率が変化する位置よりも手前の部分で自車両の走
行領域の右側の境界線上の代表点、５０曲率が変化す
る位置よりも手前の部分で自車両の走行領域の左側の境
界線上の代表点、５１，６１曲率が変化する位置より
も遠方の部分で道路端を表す円弧の中心、５２曲率が
変化する位置よりも遠方の部分で自車両の走行領域の右
側の境界線上の代表点、５３曲率が変化する位置よりも
遠方の部分で自車両の走行領域の左側の境界線上の代表
点、５５道路の形状が直線部分から曲線部分に変化す
る位置までの距離、５７道路の形状が曲線部分から直
線部分に変化する位置までの距離、５９道路の形状が
左曲がりから右曲がりに変化する位置までの距離、６
４，６７，７０道路の勾配が変化する点、７１，７７，
８５自車両の位置、７３，７９自車両の右側の走行
領域、７４，８０自車両の走行領域、７５，８２自
車両の右側の走行領域の外側にある路側帯、７６，８３
自車両の走行領域の外側にある路側帯、８１自車
両の右側の走行領域の外側にあるガードレール、８４
自車両の走行領域の外側にあるガードレール、８７走
行領域の外側にあるガードレール、８８道路形状３Ｄ
モデル推定部、８９パラメータ更新部より出力される
パラメータ、９０道路形状３Ｄモデル推定部より出力
される３次元モデル、９１，１０９地図情報、９２，
１１０ＧＰＳ情報、９３，１１１ハンドル角セン
サ、９４，１１２傾きセンサ、９５，１１３速度セ
ンサ、９６，１１４加速度センサ、９７，，９９，１
０４パラメータ更新の初期値、９８，１０５パラメ
ータ更新範囲、１００第一の更新のモードにおけるパ
ラメータ更新範囲、１０１第二の更新のモードにおけ
るパラメータ更新範囲、１０２第一の更新のモードにお
けるパラメータ更新範囲、１０３第二の更新のモード
におけるパラメータ更新範囲、１０６パラメータ推定
部、１０７判断処理部より出力される制御信号、１０
８道路形状３Ｄモデル推定部に出力されるパラメー
タ、１１５，１１７，１１９自車両の走行路右端の境
界線上の代表点、１１６，１１８，１２０自車両の走
行路左端の境界線上の代表点、１２１，１２３，１２
６，１３１撮像素子座標系における道路白線、１２
２，１２４，１２７，１２９，１３２，１３５自車両
の走行路境界線上の代表点を撮像素子座標系に座標変換
した点、１２５，１２８，１３０，１３４，１３７，１
４０，１４３，１４７，１５１撮像素子座標系におけ
る代表点の近傍の領域、１３３，１３６，１４６，１５
０撮像素子座標系における代表点における道路白線の
横軸に対する傾き、１３８，１４４撮像素子座標系に
おける自車両の左側の道路白線、１３９，１４５自車
両の走行路左端境界線上の代表点を撮像素子座標系に座
標変換した点、１４１，１４８撮像素子座標系におけ
る自車両の右側の道路白線、１４２，１４９自車両の
走行路右端境界線上の代表点を撮像素子座標系に座標変
換した点、１５３演算評価部より出力される演算評価
結果、１５４判断処理部より出力される制御信号、１５
５，１６３最大値検出部、１５６，１５７制御信号
出力部、１５８，１６７最大値検出部より出力される
最大値、１５９制御信号出力部より出力される制御信
号、１６０一時記憶部、１６１変化量計算部、１６
２制御信号計算部、１６４演算評価部より出力され
る演算評価結果１、１６５演算評価部より出力される
演算評価結果２、１６６演算評価部より出力される演算
評価結果ｎ、１６８局所最大値検出部１、１６９局
所最大値検出部２、１７０局所最大値検出部ｎ、１７
１重み付き加算部、１７２撮像手段、１７３輝度
変化算出手段、１７４世界座標系算出手段、１７５
曲率検出手段、１７６表示手段、１７７車両である
自己と周囲の環境との位置関係、１７８原画像、１７
９原画像から得られる横エッジ、１８０横エッジの
点列を世界座標系に変換して得られるエッジ点列、１８
１認識された周辺環境。

Claims

【特許請求の範囲】

【請求項１】走行車両に、自己の周囲の環境の情報を
画像の形で得る画像入力部と、周囲の環境の３次元形状
をパラメータで表現する３次元モデルを生成する３Ｄモ
デル定義部と、周囲の環境の形状を表すパラメータと自
己の位置と姿勢を表すパラメータを生成するパラメータ
更新部と、パラメータ更新部から得られるパラメータに
基づき、モデル座標系における３次元モデル上の代表点
の点列を画像情報の座標系に座標変換する座標変換部
と、座標変換部から得られる変換された代表点の点列の
情報と画像入力部から得られる情報とのマッチングを評
価する演算評価部と、演算評価部の評価結果を判断する
とともに前記パラメータ更新部に更新用情報を提供する
判断処理部を設け、周囲の環境を認識することを特徴と
する画像処理装置。
【請求項２】画像入力部において、自車両に搭載され
た距離画像入力装置により３次元の距離画像情報を取得
し、座標変換部において、３次元モデル上の代表点の点
列を３次元のカメラ座標系に座標変換し、演算評価部に
おいて、座標変換された点列の情報と画像入力部から得
られる距離画像情報とのマッチングを評価し、道路形状
を認識することを特徴とする請求項１記載の画像処理装
置。
【請求項３】画像入力部において、自車両に搭載され
た輝度画像入力装置により２次元の輝度情報を取得し、
座標変換部において、３次元モデル上の代表点の点列を
２次元の画像座標系に座標変換し、演算評価部におい
て、座標変換された点列の情報と画像入力部から得られ
る輝度情報とのマッチングを評価し、道路形状を認識す
ることを特徴とする請求項１記載の画像処理装置。
【請求項４】３Ｄモデル定義部において、道路形状を
一定幅員で異なる曲率半径を有する複数の円弧をつなぎ
合わせた３次元モデルで定義することを特徴とする請求
項１記載の画像処理装置。
【請求項５】３Ｄモデル定義部において、道路形状の
３次元モデルとして自車両の走行領域のみでなく、隣の
走行領域や路肩、周囲の構造物までを定義することを特
徴とする請求項１記載の画像処理装置。
【請求項６】３Ｄモデル定義部において、道路の３次
元モデルをカメラおよび車載センサから得られる情報を
用いて定義することを特徴とする請求項１記載の画像処
理装置。
【請求項７】パラメータ更新部において、各パラメー
タの更新の初期値を前フレームにおける各パラメータの
値とすることを特徴とする請求項１記載の画像処理装
置。
【請求項８】パラメータ更新部において、パラメータ
の更新量、あるいは更新するパラメータの数、あるいは
それらの両方、の異なる複数のモードをもつことを特徴
とする請求項１記載の画像処理装置。
【請求項９】パラメータ更新部において、複数のパラ
メータどうしの関係に基づいて、それらの更新量を設定
することを特徴とする請求項１記載の画像処理装置。
【請求項１０】パラメータ更新部において、カメラお
よび車載センサから得られる情報を用いて、更新するパ
ラメータの数あるいは更新量を設定することを特徴とす
る請求項１記載の画像処理装置。
【請求項１１】座標変換部において、モデル座標系に
おける３次元モデル上の代表点の点列を選択する際に、
特にマッチングを重視したい部分において代表点を密に
とり、それ以外の部分において代表点を粗にとることを
特徴とする請求項１記載の画像処理装置。
【請求項１２】演算評価部において、２次元撮像素子
座標系における２次元モデル上の点列の位置における、
原画像の輝度値の情報、あるいは原画像に対して画像演
算処理を施すことにより得られる処理画像の輝度値の情
報、を用いて２次元モデルと原画像とのマッチングの度
合いを評価することを特徴とする請求項３記載の画像処
理装置。
【請求項１３】演算評価部において、２次元撮像素子
座標系における２次元モデル上の点列の位置の近傍の局
所領域における、原画像の輝度値の情報、あるいは原画
像に対して画像演算処理を施すことにより得られる処理
画像の輝度値の情報、を用いて２次元モデルと原画像と
のマッチングの度合いを評価することを特徴とする請求
項３記載の画像処理装置
【請求項１４】代表点の位置に応じてその局所領域の
大きさ、あるいは形状、あるいはその両方を可変とする
ことを特徴とする請求項１３記載の画像処理装置。
【請求項１５】２次元モデルの点列を複数のグループ
に分類しておき、各グループ毎にマッチングの度合いを
評価することを特徴とする請求項１２または１３記載の
画像処理装置。
【請求項１６】判断処理部において、演算評価部から
送られる評価結果の各フレーム毎の最大値に着目し、そ
の値に基づいてマッチングが良好であるかどうかを判断
することを特徴とする請求項１記載の画像処理装置。
【請求項１７】判断処理部において、演算評価部から
送られる評価結果の各フレーム毎の最大値に着目し、そ
の絶対的な値のみでなく、直前の数フレームにおける値
の変化に基づいてマッチングが良好であるかどうかを判
断することを特徴とする請求項１記載の画像処理装置。
【請求項１８】判断処理部において、演算評価部から
送られる各グループ毎のマッチング評価結果にそれぞれ
重み付けを行い、加算した結果に基づいて、全体として
のマッチングが良好であるかどうかを判断することを特
徴とする請求項１５記載の画像処理装置。