JPH07162846A

JPH07162846A - 対象物の追従認識装置

Info

Publication number: JPH07162846A
Application number: JP5306725A
Authority: JP
Inventors: Hiroshi Shimoura; 弘下浦; Kenji Tenmoku; 健二天目
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 1993-12-07
Filing date: 1993-12-07
Publication date: 1995-06-23
Anticipated expiration: 2014-08-25
Also published as: JP2940366B2

Abstract

(57)【要約】【目的】車両に搭載された車載カメラ１１で車両の周囲
を撮像し、撮像された画像に基づいて道路の周辺の物体
を効率よく追従認識することができる追従認識装置を提
供する。【構成】車両の周辺に存在する各認識対象物に対応して
特定点という概念を導入し、その特定点の情報をメモリ
１７に登録しておき、車両の走行等に基づく特定点の空
間的な位置の変化を予測し、この近傍の誤差範囲の内
に、後の画面で、同一の特定点が存在するかどうかを判
定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車両に搭載された車載
カメラで車両の周囲を撮像し、撮像された画像に基づい
て道路の周辺の物体を追従認識するための装置に関する
ものである。

【０００２】

【従来の技術】車載カメラによって車両の前方や後方を
撮像し、撮像された画像中の物体を認識するための技術
が種々提案されている。例えば、車両の前方を車載カメ
ラで撮像し、撮像された画像を画像処理して前方の他車
両を認識することができれば、他車両が異常接近したと
きには、ステアリングやブレーキを自動的に動作させる
ことによって、自動的に事故を回避できる。また、道路
標識を認識することができれば、この認識された道路標
識に対応する情報を、ナビゲーション装置におけるいわ
ゆる経路誘導のために用いることができる。

【０００３】車載カメラによって撮像される物体を画像
認識する場合、画面中における物体の位置が刻々と変化
する。このように画面中で移動していく物体を画像認識
する場合に、画面中における物体の挙動を推定し、この
推定結果を利用して、撮像された画面から物体を含む画
像部分を切り出し、この切り出された画像に関して画像
認識処理を行う必要がある。

【０００４】ところで、前記のように画面中における物
体の挙動を推定するには、車両の速度等を知ることは勿
論、さらに道路（道路車両座標系）に対する車載カメラ
の姿勢を表す車載カメラの姿勢パラメータを正確に求め
ておかなければならない。車載カメラの姿勢パラメータ
についての発明者の現在の研究では、後に実施例で説明
するように、姿勢パラメータの算出に当たり、道路の中
央分離線や路側帯の境界線等の道路平行線を２本求め、
前記車載カメラによって撮像される画面内において道路
平行線が交わって消失する点である道路消失点を求める
ことができれば、前記２本の道路平行線及び道路消失点
に基づいて車載カメラの姿勢パラメータを算出できるこ
とが分かっている（特願平５−２２３３５７号で特許出
願済）。

【０００５】

【発明が解決しようとする課題】しかし、車載カメラの
視野には、車両、歩行者、道路標識等種々の物体が入っ
たり出たりするので、画像認識処理を行うには、その前
提としてある処理周期で車載カメラの視野に入った物体
が、次の処理周期で車載カメラの視野にある物体と同一
のものであるかどうかを確実に把握できるようにしてお
かなければならない。

【０００６】このためには、物体の位置や位置の変化、
位置検出の誤差、物体が静止しているか移動しているか
の区別、物体のパターン等を考慮して、物体を追従して
いくことができる追従認識処理を実現する必要がある。
しかもこの追従認識処理は、車両の走行中に、車載カメ
ラで撮像しながら行う処理であるため、迅速性が要求さ
れる。

【０００７】そこで、本発明の目的は、上述の技術的課
題を解決し、車両に搭載された車載カメラで車両の周囲
を撮像し、撮像された画像に基づいて道路の周辺の物体
を効率よく追従認識することができる対称物の追従認識
装置を提供することである。

【０００８】

【課題を解決するための手段及び作用】(1) 前記の目的
を達成するための請求項１記載の対称物の追従認識装置
は、車載カメラによって車両の前方又は後方を撮像し
て、処理周期ごとにディジタル画像信号に変換する画像
処理手段と、画像処理手段から得られる変換画像に基づ
いて、画面内の１つ又は複数の認識対象物の輪郭を抽出
し、各認識対象物に対応して、その位置が決まれば認識
対象物の位置がほぼ決定されるという１つ又は複数の特
定点の画面上の座標を決定し、特定点の周辺の画像の特
徴とともにメモリに登録する登録手段と、画面上の座標
が決定され登録手段により登録された特定点の座標を、
車両が走行している道路に対する車載カメラの姿勢パラ
メータを用いて、特定点の空間的な位置に変換する空間
座標変換手段と、空間座標変換手段により変換された特
定点の空間的な位置と、各種センサからの信号に基づい
て車両の位置を検出する位置検出処理装置の出力データ
に含まれる車両の走行距離データと方位データとから、
後の処理周期における特定点の空間的な位置を求め、こ
の位置に対応する特定点の画面上の座標を推定する推定
手段と、画像処理手段から、後の処理周期における変換
画像が得られた場合に、推定手段により推定された画面
上の座標の周辺の誤差範囲内で、同一の特定点が存在す
るかどうかを、特定点の周辺の画像の特徴に基づき判定
する判定手段とを備え、判定手段により同一の特定点が
存在すると判定された場合は、その特定点の空間的な位
置を求めることにより認識対象物を追従し、判定手段に
より同一の特定点が、当該認識対象物について存在しな
いと判定された場合は、当該認識対象物に対応する登録
を抹消するものである（請求項１）。

【０００９】前記の対称物の追従認識装置によれば、変
換画像に基づいて、各認識対象物に対応して１つ又は複
数の特定点の情報をメモリに登録しておき、前記登録さ
れた特定点の座標を、当該処理周期における車両が走行
している道路に対する車載カメラの姿勢パラメータを用
いて、特定点の空間的な位置に変換する。そして、この
特定点の空間的な位置と、位置検出処理装置の出力デー
タに含まれる車両の走行距離データと方位データとか
ら、後の処理周期における特定点の空間的な位置を予測
し、この位置に対応する特定点の画面上の座標を推定
し、後の処理周期における変換画像が得られた場合に、
前記推定された画面上の座標の周辺の誤差範囲内で、同
一の特定点が存在するかどうかを、特定点の周辺の画像
の特徴に基づき判定する。画面上の座標の周辺の誤差範
囲内という限られた場所で特定点を探索すればよいの
で、処理時間が少なくて済む。

【００１０】同一の特定点が存在すると判定された場合
は、その特定点の空間的な位置を求めることにより認識
対象物を追従し、存在しないと判定された場合は、当該
認識対象物に対応する登録を抹消することにより、認識
対象物の追従を効率よく行える。 (2) 各認識対象物に対応して１つ又は複数の特定点の情
報をメモリに登録しておく際に、各認識対象物を見分け
るためのパターン情報も登録しておけば、さらに確実に
追従をすることができる（請求項４）。 (3) また、後の処理周期における特定点の空間的な位置
を予測する場合に、認識対象物が移動している場合のあ
ることを考慮して特定点の空間的な位置と、その前の処
理周期で決定された特定点の空間的な位置とから特定点
の空間位置変化を求め、この変化に基づいて特定点に係
る認識対象物が静止しているか、一定速度で移動してい
るかを判定してもよい（請求項５）。 (4) なお、前記変化が求められない場合（例えば最初の
処理である場合）は、認識対象物は静止しているとみな
して処理をして、同一の特定点が存在しなかったと判定
された場合には、判定手段は、前記誤差範囲を超えたよ
り広い範囲内で、同一の特定点が存在するかどうかを、
登録された特定点の周辺の画像の特徴に基づき判定して
もよい（請求項７）。

【００１１】

【実施例】以下では、本発明の一実施例に係る画像認識
システムについて詳細に説明する。 (1) 画像認識処理システムの概要以下で説明する画像認識処理システムは、車両に搭載さ
れた車載カラーカメラで車両の周囲を撮像し、撮像され
た画像に基づいて道路の周辺の物体を追従認識するため
の装置である。認識される物体は、例えば、歩行者、信
号機、道路標識、道路の表面に描かれた道路表示及び走
行中の道路と立体交差している高架道路等の道路施設並
びに他車両等である。

【００１２】画像認識処理システムは、次の−の４
つの処理を実行することによって、車載カラーカメラで
撮像された画像から物体を認識する。なお、、及び
の各処理に関しては、必ずしも車載カラーカメラが用
いられる必要はない。直線候補点抽出処理道路消失点算出処理車載カメラの姿勢パラメータ算出処理物体追従認識処理直線候補点抽出処理とは、車載カラーカメラによって撮
像された画像中の車両の進行方向に沿った直線部分
（「道路平行線」という）を構成する点を抽出する処理
である。直線部分には、道路の両側部、道路上の白線や
黄線、中央分離帯、路側帯、前方の車両の輪郭線、道路
標識の輪郭線等がある。

【００１３】道路消失点算出処理とは、自車両が走行し
ている道路の左右のエッジが交わり画面上で消失する点
を演算する処理である。具体的には、直線候補点抽出処
理によって抽出された直線候補点に基づいて算出され
る。車載カメラの姿勢パラメータ算出処理とは、道路に
対する車載カメラの姿勢等を求めるための処理である。
この処理には、道路消失点算出処理によって得られた道
路消失点及び道路平行線が利用される。

【００１４】物体追従認識処理とは、車載カメラで撮像
された画像中の物体を画像認識し追従するための処理で
ある。物体追従認識処理では、その位置が決まれば物体
の位置がほぼ決定されるという１つ又は複数の特定点を
決めて物体ごとに登録しておき、その物体を追従する際
に、特定点の変化する位置を前記の車載カメラの姿勢パ
ラメータ等に基づいて推定し、その推定位置の中で、登
録された特定点と同じ特定点があるかどうかを画像デー
タに基づいて探し出す処理が行われる。この場合、物体
は移動していたり、静止していたりするが、それぞれに
ついて、特定点の位置が前記の車載カメラの姿勢パラメ
ータ等に基づいて推定される。

【００１５】このような画像認識処理システムによれ
ば、自車両の周囲の物体を認識することができる。その
ため、認識結果を車両のステアリングやブレーキの自動
制御に利用することにより、車両の自動運転への途がひ
らかれ、車両の安全な運行に寄与できる。また、道路標
識や信号機を認識すれば、目的地までの経路誘導をする
ときに、役立てることができる。

【００１６】以下では、まず、画像認識処理システムの
構成について説明する。そして、前記−の直線候補
点抽出処理、道路消失点算出処理、車載カメラの姿勢パ
ラメータ算出処理及び物体追従認識処理について順に説
明する。 (2) 画像認識処理システムの構成図１は、画像認識処理システムの電気的構成を示すブロ
ック図である。この画像認識処理システムは、車両の周
辺の物体を画像認識するための画像認識処理装置１を備
えている。この画像認識処理装置１には、車両の現在位
置及び車両の進行方位を検出して道路地図とともに表示
装置に表示するための位置検出処理装置２が接続されて
いる。

【００１７】画像認識処理装置１は、車両の例えば前方
部や車室内に取り付けられた車載カラーカメラ１１を備
えている。この車載カラーカメラ１１は、車両の前方を
撮像するものである。車載カラーカメラ１１のほかに、
又は車載カラーカメラ１１に代えて、車両の後方や車両
の側方を撮像できる別の車載カメラが備えられていても
よい。

【００１８】車載カラーカメラ１１は、撮像した画面の
各点をカラー表現したアナログ電気信号を出力する。こ
のアナログ信号は、画像処理回路１３において、アナロ
グ／ディジタル変換等の処理を受けて、画像データに変
換される。この画像データは、マイクロコンピュータ等
を含む画像認識処理部１５に入力される。画像認識処理
部１５には、ＲＡＭ（ランダム・アクセス・メモリ）等
を有する記憶部１７が接続されている。また、画像認識
処理部１５には、位置検出処理装置２から支援情報が与
えらる。

【００１９】位置検出処理装置２は、車両の走行距離を
検出するための距離センサ（例えば車輪速センサ）２１
及び車両の進行方位を検出するための方位センサ（例え
ばジャイロ）２２を備えている。これらのセンサ２１及
び２２の出力は、センサ処理回路２３において処理され
ることにより、走行距離データ及び現在方位データに変
換される。これらのデータが、マイクロコンピュータ等
を内部に含む位置検出処理部２５に入力され、位置検出
処理部２５は、センサ処理回路２３から入力されるデー
タに基づいて、車両の現在位置データ等を算出する。

【００２０】位置検出処理部２５には、道路地図を記憶
した道路地図メモリ２７と、ＲＡＭ等を有する記憶部２
８と、ＣＲＴ（陰極線管）や液晶表示パネルからなる表
示器２９とが接続されている。道路地図メモリ２７は、
例えば、ＣＤ−ＲＯＭで構成されている。位置検出部２
５は、算出された現在位置データに基づいて道路地図メ
モリ２７を検索し、現在位置の周辺の道路地図を読み出
す。この道路地図は、表示器２９に表示され、車両の現
在位置を表すマークも道路地図上に重ねて表示される。

【００２１】位置検出処理部２５は、画像認識処理装置
１の画像認識処理部１５に、道路地図データ、現在方位
データ、現在位置データ及び走行距離データを、支援情
報として与える。これらのデータの他に、単位時間当た
り又は単位走行距離当たりの進行方位の変化量を表す方
位変化データを画像認識処理部１５に与えることもあ
る。 (3) 直線候補点抽出処理次に、直線候補点抽出処理について説明する。

【００２２】図２は、車載カラーカメラ１１によって撮
像された画像例を示す図である。ただし手前の車両の運
転席は、想像しやすいように後に書き入れたものであ
る。車両の前方に向けられた車載カラーカメラ１１によ
って撮像される画像中の道路の路側付近には、路側白線
４３が設けられている。また、道路の側部には、路側帯
４４が設けられている。画面中において、走行中の道路
が消失する箇所が、道路消失点ＮＰである。４６，４
７，４８は、前方又は側方を走行する他車両である。

【００２３】直線候補点抽出処理では、車載カラーカメ
ラ１１で撮像された画像を、水平走査方向ＤＨに沿って
画面の上端から下端まで走査する。この走査は、車載カ
ラーカメラ１１から画像認識処理部１５を通って記憶部
１７に記憶された画像データを順に読み出すようにして
実行される。そして、水平走査方向ＤＨに沿って画面を
構成する各画素を走査したときに、色度若しくは輝度又
はその両方が安定している安定状態と、色度若しくは輝
度又はその両方が大きく変化する不安定状態との間で遷
移したことに基づいて直線候補点を検出する。安定状態
及び不安定状態は、それぞれ、次のようにして検出され
る。

【００２４】例えば、車載カラーカメラが、赤（Ｒ）、
緑（Ｇ）及び青（Ｂ）に対応した３原色信号を出力する
ものであるとする。この３原色信号は色調を表す信号で
ある。色調とは、色度と輝度とを合わせて表現した量で
ある。この場合、記憶部１７には、ＲＧＢの３原色画像
データが記憶されることになる。水平走査方向ＤＨに沿
った走査線上の任意の点におけるＲ、Ｇ、Ｂの各画像デ
ータをそれぞれｒ(t)，ｇ(t) ，ｂ(t) とする。ｔは、
処理周期を表し、水平走査方向ＤＨに沿った走査線上の
１つの点に対応する。

【００２５】この場合に、不安定状態は、例えば下記
(1) 式で定義される判定値Ｐ(t) に対して、下記(2) 式
が成立することに基づいて検出される。ｍ１は定数、ｊ
₁，ｊ ₂及びｊ₃は重み付けのための定数である。例え
ば、Ｒデータは明るさの変化に対する変動が大きいので
定数ｊ₁は比較的大きな値とされ、Ｂデータは明るさの
変化に対する変動が小さいので定数ｊ₃は比較的小さな
値とされる。

【００２６】Ｐ(t) ＝ｊ₁｜ｒ(t) −ｒ(t-1) ｜＋ｊ₂｜ｇ(t) −ｇ(t-1) ｜＋ｊ₃｜ｂ(t) −ｂ(t-1) ｜ (1) Ｐ(t) ＞ｍ１ (2) 水平走査方向ＤＨに沿って隣接する２つの処理対象点の
色調の変化の絶対値の線形和が、所定の定数ｍ１よりも
大きい場合に、色調が大きな変化を示していることが検
出される。隣接する処理対象点は、必ずしも隣接する２
つの画素とは限らず、ある所定数の画素間隔で処理対象
点を設定してもよい。

【００２７】一方、色調の安定状態は、前記(1) 式の判
定値Ｐ(t) に対して、下記(3) 式が一定個数（例えば１
０個）以上の連続する処理対象点に関して成立すること
に基づいて検出される。ｎ１は定数である（ただし、ｎ
１＜ｍ１）。Ｐ(t) ＜ｎ１ (3) すなわち、水平走査方向ＤＨに隣接する２つの処理対象
点の色調の変化の絶対値の線形和が、所定の定数ｎ１よ
りも小さい状態が、一定個数の処理対象点に関して続い
ている場合に、色調が安定していることが検出される。

【００２８】このようにして、車載カラーカメラ１１で
撮像された画像が水平走査方向に沿って走査され、走査
線上における色調の変化の程度が調べられる。そして、
色調が安定している安定状態と、色調が不安定な不安定
状態とが切り換わる処理対象点が、直線候補点として検
出される。図３は、上のようにして得られた直線候補点
Ｐ₁₁，Ｐ₁₂，・・・・；Ｐ₂₁，Ｐ₂₂，・・・・を結ぶことによっ
て得られる直線部分を図示した図である。すなわち、道
路の両側部、路側白線４３、及び他車両４６，４７，４
８の輪郭が、直線部分Ｌ１，Ｌ２，・・・・として図示され
ている。

【００２９】なお、この図はあくまでも道路消失点の説
明のための仮想的な図であって、実際に直線部分の表示
された画像を求めるわけではない。 (4) 道路消失点算出処理道路消失点算出処理は、前記直線候補点抽出処理によっ
て得られた直線候補点を用いて、図３に示される道路消
失点ＮＰを求める処理である。図３から明らかなよう
に、道路消失点を求める処理は、直線候補点Ｐ₁₁，
Ｐ₁₂，・・・・；Ｐ₂₁，Ｐ ₂₂，・・・・を連結する直線の交点を
求める処理にほかならない。

【００３０】この道路消失点算出処理では、直線候補点
の座標列に対して、Ｈough変換処理を２回繰り返して施
すことによって道路消失点の初期値を求める。そしてそ
れ以後は、時間のかかるＨough変換処理をすることな
く、簡単な方法で道路消失点を定期的に更新していく。
まず、Ｈough変換について概説する。図４(a) 及び図４
(b) はＨough変換を説明するための図である。図４(a)
に示すように、複数の点（ｘ_i，ｙ_i）（ただし、ｉ＝
１，２，３，・・・・）が直線ｘ＝ａｙ＋ｂの上に存在して
いれば、任意のｉに対して、ｘ_i＝ａｙ_i＋ｂが成立す
る。この式を（ａ，ｂ）を変数とみなしてａｂ座標平面
で考えると、この座標平面での直線の式は、ｂ＝−ｙ_i
ａ＋ｘ_iとなる。全てのｉについてのａｂ平面上におけ
るグラフ化は、図４(b) に示されている。すなわち、複
数のｉに対応した複数の直線群は、ある一点（ａ₀，ｂ
₀）を通る。これは、複数の点（ｘ_i，ｙ_i）がいずれ
も１つの直線上に存在していることの当然の帰結であ
る。

【００３１】そこで、ａｂ座標平面を十分に細かな格子
升目に区画し、（ｘ_i，ｙ_i）に対応する直線がある格
子升目を通過するものであるときに、その格子升目の計
数を１だけ増やす。この操作を全ての（ｘ_i，ｙ_i）関
して行う操作がＨough変換である。前記の場合、
（ａ₀，ｂ₀）の点の格子升目の計数値が最大となるは
ずである。そこでａｂ座標平面上で計数値が最大の格子
升目を求めれば、（ａ₀，ｂ₀）が求まる。したがっ
て、複数の点（ｘ_i，ｙ_i）を通る直線の方程式は、ｘ
＝ａ ₀ｙ＋ｂ₀として定めることができる。このよう
に、Ｈough変換は、画像処理の分野において、複数の点
（ｘ_i，ｙ_i）を通る直線を求める際に用いられる。

【００３２】図５はＨough変換を２回繰り返して道路消
失点を求めるための処理を説明するための図である。図
５(a) には車載カラーカメラ１１によって撮像された画
面に対応した座標平面であるｘｙ座標平面が示されてお
り、図５(b) には１回目のＨough変換における変換座標
（第１の変換座標）平面であるａｂ座標平面が示されて
おり、図５(c) には２回目のＨough変換における変換座
標（第２の変換座標）平面であるｍｎ座標平面が示され
ている。

【００３３】図５(a) に示すように、直線候補点Ｐ₁₁，
Ｐ₁₂，・・・・；Ｐ₂₁，Ｐ₂₂，；Ｐ₃₁，Ｐ₃₂，・・・・がそれぞ
れ属する直線Ｌ１，Ｌ２，Ｌ３は、道路消失点（ｘ₀，
ｙ₀）で交わると考えられる。座標（ｘ₀，ｙ₀）を通
る直線の方程式は、下記(4)式のとおりである。なお、
Ｃは定数である。ｘ＝Ｃ（ｙ−ｙ₀）＋ｘ₀＝Ｃｙ＋（ｘ₀−Ｃｙ₀） (4) そこで、ａ＝Ｃ、ｂ＝ｘ₀−Ｃｙ₀とおくと、変換式ｘ
＝ａｙ＋ｂが得られ、ａ，ｂの関係は下記(5) 式で表さ
れる。

【００３４】ｂ＝−ａｙ₀＋ｘ₀ (5) 直線候補点Ｐ₁₁，Ｐ₁₂，・・・・；Ｐ₂₁，Ｐ₂₂，；Ｐ₃₁，Ｐ
₃₂，・・・・の座標に対してＨough変換を施した場合、ａｂ
座標平面では、複数の直線Ｌ１，Ｌ２，Ｌ３に対応し
て、計数値が極大値をとる格子升目が複数個得られるは
ずである。しかし、直線Ｌ１，Ｌ２，Ｌ３は一点
（ｘ₀，ｙ₀）で交わるのであるから、極大値をとる格
子升目Ｄ₁，Ｄ₂，Ｄ₃は、前記(5) 式の直線上になけ
ればならない（図５(b) 参照）。

【００３５】そこで、極大値をとる格子升目Ｄ₁，
Ｄ₂，Ｄ₃の座標に対して、下記(6) 式の変換式を用い
て、２回目のＨough変換をｍｎ座標平面上に行う。ｂ＝ｍａ＋ｎ (6) ａｂ座標平面において計数値が極大となる格子升目
Ｄ₁，Ｄ₂，Ｄ₃は(5) 式の直線上にあるから、ｍｎ座
標平面では、ｍ＝−ｙ₀、ｎ＝ｘ₀に対応した格子升目
の計数値が最大となる。これにより、ｘｙ座標平面にお
ける道路消失点ｎＰの座標（ｘ₀，ｙ₀）を求めること
ができる。

【００３６】このようにして求められた道路消失点と道
路平行線とは、Ｈough変換処理を２回行って求めたもの
であるが、Ｈough変換処理をするには処理時間が多くか
かるので、車両走行中、毎回Ｈough変換処理をして求め
る訳にはいかない。そこで、２回目以後では、多少精度
が低下しても、簡単に素早く道路消失点と道路平行線と
を求める方法を採用する。

【００３７】図６(a),(b) は、この簡易な道路消失点算
出方法を説明する原理図であり、車載カラーカメラ１１
によって撮像された画像に基づいて直線候補点を抽出
し、この画面に、前回の周期で求められた道路平行線を
仮想的に当てはめ（図６(a) 参照）、それらの道路平行
線の近傍にある直線候補点をそれぞれ数点特定する。そ
れから、これらの特定された数点ａ₁，ｂ₁，ｃ₁；ａ
₁，ｂ₁，ｃ₁を通る新しい道路平行線Ｌ₁，Ｌ₂を算
出して（図６(b) 参照）、今回の周期での道路平行線と
し、それらの道路平行線の幾何学的交点を求めて本周期
での道路消失点とする。以下同様の手順を繰り返し行
い、道路平行線及び道路消失点を更新していく。

【００３８】このように、前述したようなＨough変換処
理を繰り返すのではなく、前回で処理結果を参照しなか
ら簡単な計算をして、道路消失点を求めることができる
ので、処理周期ごとに迅速確実に、道路消失点を求め更
新していくことができる。 (5) 車載カメラの姿勢パラメータ算出処理この処理では、道路に対する車載カメラ１１の姿勢を表
す姿勢パラメータを求める。姿勢パラメータには、鉛直
軸まわりの回転角であるヨー角、車両の進行方向まわり
の回転角であるロール角、水平面に沿うとともに進行方
向と直交している方向のまわりの回転角であるピッチ
角、及び道路に平行な所定の基準線からの車載カメラの
横ずれ距離（道路に対する横方向の相対位置）が含まれ
る。

【００３９】車載カメラ１１は、所定の姿勢で正確に車
両に取り付けるが、取付け誤差の発生は回避できない。
そこで、車載カメラの姿勢パラメータ算出処理では、車
載カメラ１１の車両に対する取付け姿勢も併せて算出さ
れる。まず、座標系について説明する。道路車両座標系
ＸＹＺと、車載カメラ座標系Ｘ′Ｙ′Ｚ′とを定義す
る。道路車両座標系ＸＹＺの原点に車両があるものと
し、車両の進行方向に沿った方向にＹ軸をとり（車両の
進行方向を＋Ｙとする）、Ｙ軸方向に対して右方向にＸ
軸をとる。また、道路に対する鉛直方向にＺ軸をとる。
道路車両座標系ＸＹＺは、車両の進行方向に沿った方向
がＹ軸となる点で車両に固定されているといえるが、Ｚ
軸が車両のピッチやロールによらずに鉛直方向にとられ
るので、道路に固定されているともいえる。その意味で
は折衷的な座標系である。車載カメラ座標系と道路車両
座標系とは原点を共有している。車載カメラ１１の撮像
面は、ＸＺ平面にほぼ平行で原点から距離Ｆ（Ｆは車載
カメラ１１のレンズの焦点距離）のところにあるものと
する。

【００４０】Ｘ，Ｙ，Ｚ軸のまわりの回転角をそれぞれ
ピッチ角θ、ロール角φ、ヨー角ψとし、いずれも右ね
じの方向を正方向とする。このとき、車載カメラの取付
け誤差又は車両の旋回に伴う車載カメラの座標系の変換
式は、下記(7) 式で与えられる。ただし、車載カメラ１
１のレンズの主軸方向にＹ′軸をとり、撮像面と平行に
Ｘ′軸及びＺ′軸をとるものとする。

【００４１】

【数１】

【００４２】各回転角が微小であれば、前記(7) 式は、
下記(8) 式の近似式に変形できる。

【００４３】

【数２】

【００４４】点Ｐ（Ｘ，Ｙ，Ｚ）が撮像面上の点ｐ′
（ｘ′，ｙ′）に投影されるとき、次式が成立する。た
だし、座標（ｘ′，ｙ′）は撮像面上における２次元座
標である。ｘ′軸は車載カメラ座標系のＸ′軸方向にと
られ、ｙ′軸は車載カメラ座標系のＺ′軸方向にとられ
ている。ｘ′＝Ｆ・Ｘ′／Ｙ′ (9) ｙ′＝Ｆ・Ｚ′／Ｙ′ (10) したがって、前記(7) 式並びに前記(9) 式及び(10)式よ
り、下記(11)式及び(12)式が得られる。

【００４５】ｘ′＝Ｆ（Ｒ₁₁Ｘ＋Ｒ₁₂Ｙ＋Ｒ₁₃Ｚ）／（Ｒ₂₁Ｘ＋Ｒ₂₂Ｙ＋Ｒ₂₃Ｚ） (11) ｙ′＝Ｆ（Ｒ₃₁Ｘ＋Ｒ₃₂Ｙ＋Ｒ₃₃Ｚ）／（Ｒ₂₁Ｘ＋Ｒ₂₂Ｙ＋Ｒ₂₃Ｚ） (12) 特に前記(8) 式の近似が成り立つときは、下記(13)式及
び(14)式が得られる。

【００４６】ｘ′＝Ｆ（Ｘ＋ψＹ−φＺ）／（−ψＸ＋Ｙ＋θＺ） (13) ｙ′＝Ｆ（φＸ−θＹ＋Ｚ）／（−ψＸ＋Ｙ＋θＺ） (14) 一方、車載カメラの姿勢パラメータは、ピッチ角θ、ロ
ール角φ及びヨー角ψに関して、それぞれ次のように分
割される。ピッチ角θ：（道路に対する車両のピッチ角θ₀）＋
（車両に対する車載カメラ１１の取付けピッチ角θ₁）ロール角φ：（道路に対する車両のロール角φ₀）＋
（車両に対する車載カメラ１１の取付けロール角φ₁）ヨー角 ψ：車両に対する車載カメラ１１の取付けヨー
角ψ₁ なお、ヨー角ψに道路に対する車両のヨー角ψ₀が含ま
れていないのは、前述のように道路車両座標系のＹ軸を
車両の進行方向にとったからである。

【００４７】いま、車両が道路に対してψ₀の角度をな
す方向に走行しているものとし、道路は十分遠くまで直
線であるものとする。また、道路バンクの傾きは無視で
きるとする。そして、道路消失点の撮像面への写像点の
座標が（ｘ₀，ｙ₀）であるとする。この写像点の座標
は、前記の道路消失点算出処理によって求められた道路
消失点にほかならない。

【００４８】この写像点の座標ｘ₀，ｙ₀と、車載カメ
ラの姿勢パラメータであるピッチ角θ、ロール角φ及び
ヨー角ψとの関係を求めるには、前記(11)式、(12)式
に、Ｙ ₀＝∞を代入すればよい。ｘ₀＝Ｒ₁₂Ｆ／Ｒ₂₂ ｙ₀＝Ｒ₃₂Ｆ／Ｒ₂₂ ここで、車両が道路に対してψ₀の角度をなす方向に走
行しているので、ψ→ψ₀＋ψ₁とおく。道路に対する
車両のロール角φ₀、ピッチ角θ₀、車載カメラ１１の
取付け角φ₁，θ₁が微小であるとすれば、Ｒ₁₂≒ sin（ψ₀＋ψ₁）Ｒ₂₂≒１Ｒ₃₂≒（φ₀＋φ₁） sin（ψ₀＋ψ₁） −（θ₀＋θ₁）cos （ψ₀＋ψ₁）という近似が成り立つ。したがって、下記(15)式及び(1
6)式が得られる。

【００４９】ｘ₀≒ sin（ψ₀＋ψ₁）Ｆ (15) ｙ₀≒｛( φ₀＋φ₁)sin (ψ₀＋ψ₁) −( θ₀＋θ₁) cos(ψ₀＋ψ₁) ｝Ｆ (16) さらに、ψ₀，ψ₁が微小であるとすれば、下記の(17)
(18)式を得る。ｘ₀＝（ψ₀＋ψ₁）Ｆ＝ψＦ (17) ｙ₀＝−（θ₀＋θ₁）Ｆ＝−θＦ (18) これらの(17)(18)式は、道路消失点の撮像面上の座標
（ｘ₀，ｙ₀）を求めれば、道路に対する車載カメラの
姿勢パラメータであるピッチ角θ（＝θ₀＋θ₁）及び
ヨー角ψ（＝ψ₀＋ψ₁）を求めることができることを
示している。

【００５０】一方、姿勢パラメータには、ピッチ角θ、
ヨー角ψ以外に、ロール角φと道路に平行な所定の基準
線からの車載カメラの横ずれ距離Ａとがあるので、これ
らのロール角φと横ずれ距離Ａとを求めなければならな
い。これには、撮像面上の道路平行線の位置、形状を利
用する。道路平行線の高さＺは、道路から車載カメラ１
１までの高さがｈである場合、−ｈとなる。また、道路
に平行な基準線に対する車載カメラ１１の道路の法線方
向へのずれをＡとすると、車両が道路とψ₀ずれた方向
に走行していれば、下記(19)式が成り立つ。ここで、Ｙ
軸を車両の進行方向に沿った方向にとり、Ｙ軸方向に対
して直角方向にＸ軸をとっていることは、前に述べたと
おりである。

【００５１】Ｘ＝Ａ/cosψ₀＋Ｙ tanψ₀≒Ａ＋Ｙψ₀ (19) したがって、前記(11)式及び(12)式は、下記(20)式及び
(21)式にそれぞれ書き換えられる。

【００５２】

【数３】

【００５３】ただし、前記(11)式及び(12)式のψは、ψ
₁とおいた。これより、Ｙを消去すると、撮像面上の道
路平行線を表わす式である下記(22)式を得る。

【００５４】

【数４】

【００５５】もし、道路平行線が２本得られ、これらの
間隔Ｂが既知であれば、前記(22)式と同様な下記(23)及
び(24)式並びに(25)式が得られる。ただし、係数ａ，ｂ
及びＡに付した添字「１」，「２」は、それが付与され
た係数が２本の道路平行線のそれぞれに対応するもので
あることを表す。

【００５６】

【数５】

【００５７】前記(23)式及び(24)式のうち、ａ₁, ａ₂
に関する式を利用して解くと、下記(26)式、(27)式及び
(28)式が得られ、それぞれＡ₁, Ａ₂及びφが求まる。

【００５８】

【数６】

【００５９】なお、前記(23)(24)式において、θ，φ，
ψ₀，ψ₁は微小であるとしたので、これらの２次の成
分（θ²，θφ等）を無視すれば、ａ₁＝（Ａ₁＋φｈ）／（φＡ₁−ｈ）ａ₂＝（Ａ₂＋φｈ）／（φＡ₂−ｈ）が得られる。これらの式を解いて、Ａ₁，Ａ₂を求める
ことができる。

【００６０】Ａ₁＝−（ａ₁＋φ）ｈ／（１−φａ₁）Ａ₂＝−（ａ₂＋φ）ｈ／（１−φａ₂）これらの式は、ロール角φが分かっていれば、横ずれ距
離Ａ₁，Ａ₂を近似的に求めることができることを示し
ている。特に、車両が真っ直ぐに走行していてロール角
φ₀を無視すると、下記の(29)(30)式が得られる。

【００６１】Ａ₁＝−（ａ₁＋φ₁）ｈ／（１−φ₁ａ₁） (29) Ａ₂＝−（ａ₂＋φ₁）ｈ／（１−φ₁ａ₂） (30) さてここで、実際の直線道路で車両を走らせてみて、道
路消失点（ｘ₀，ｙ₀）のデータを求めてみる。そして
これらのデータを前記(17)，(18)式に代入すれば、車両
に対する車載カメラのヨー角ψやピッチ角θを求めるこ
とができる。

【００６２】ここで、道路に対する車両のロール角φ₀
やピッチ角θ₀は、それ自体は検出することができない
が、平均値「０」でばらつくノイズとして把握できる。
つまり、十分に長い時間にわたるロール角φ及びピッチ
角θの各平均値をとれば、この平均値のなかには道路に
対する車両のロール角φ₀やピッチ角θ₀は０になると
考えてもよい。さらに、道路に対する車両のヨー角ψ₀
については、車両が道路と平行に走行するならば、これ
も平均値「０」でばらつくノイズとしてもよいが、正確
に求めようとすれば、位置検出処理装置２から与えられ
る道路地図データ及び車両の現在方位データから求めて
もよい。すなわち、車両が走行中の道路の方向が道路地
図データから判り、車両の実際の進行方向が現在方位デ
ータから判る。そのため、道路の方位に対する実際の進
行方向の差を、道路に対する車両のヨー角ψ₀とすれば
よい。

【００６３】したがって、道路消失点（ｘ₀，ｙ₀）の
データを多数とって平均化すると、θ₀は前記のように
零、ψ₀は前記のように零又は一定値であると考えられ
るので、車両に対する車載カメラ１１の取付けヨー角ψ
₁や、取付けピッチ角θ₁を求めることができる。ま
た、ヨー角ψ₀やピッチ角θ₀の平均値からのずれであ
る標準偏差も求めることができる。

【００６４】さらに、走行中の撮像面上の道路平行線の
係数ａ又はｂを求める。もし、道路平行線の間隔Ｂが分
かっていれば、Ａ₁に関する２次方程式である前記(26)
式を解いてＡ₁を求めることができる。また(27)式から
Ａ₂を求めることができ、(28)式からロール角φを求め
ることができる。なお、間隔Ｂには、例えば道路の幅や
道路の白線の間隔を用いることができる。これらの間隔
は、道路地図データに記入しておけば道路地図データか
ら取得できる。

【００６５】前述したように、データを多数とって平均
化するので、φ₀の平均値も前記のように零であると考
えられる。したがって、車両走行する車載カメラ１１の
取付けロール角φ₁を求めることができる。また、ロー
ル角φ₀の平均値からのずれである標準偏差も求めるこ
とができる。以上のようにして、取付けヨー角ψ₁、ピ
ッチ角θ₁及びロール角φ₁と、ヨー角ψ₀、ピッチ角
θ₀及びロール角φ₀の信頼性を示す指標である標準偏
差とを求めることができ、一度求めた取付け角の値は、
以後の走行においても使用することができる。このよう
に、車両を走らせて取付けヨー角ψ₁、ピッチ角θ₁及
びロール角φ₁並びにヨー角ψ₀、ピッチ角θ₀及びロ
ール角φ₀の標準偏差を求める処理を「初期処理」とい
う。

【００６６】図７−図１１は、初期処理が終わった後に
行われる車載カメラの姿勢パラメータ算出処理のために
画像認識処理部１５において実行される処理を説明する
ためのフローチャートである。この処理は、初期処理が
終わった車両の走行中に例えば一定距離ずつ走行するご
とに行われるものであって、処理実行回数を表わすパラ
メータを以下、処理周期ｔ（ｔ＝１，２，３，…）と表
現する。

【００６７】図７は、車載カメラのヨー角の算出処理を
説明するためのフローチャートである。システムを立ち
上げた後ステップＳ１では、車載カメラ１１で撮像され
た１枚の画像の画像データを記憶部１７に格納する。ス
テップＳ２では位置検出処理装置２からの支援データを
取り込む。そして、ステップＳ３では、車両が交差点等
でカーブ走行しているかどうか判定する。カーブ走行の
判定は、位置検出処理装置２から取り込まれる車両の進
行方位の変化率が一定値（例えば０．１°／処理周期）
を越えたかどうかで判断する。車両がカーブを走行して
いるときは、遠心力のために道路に対する車両のロール
角φ₀が異常に大きくなるおそれがあるので、姿勢パラ
メータの算出は不可能であるものとしてステップＳ２２
に進む。

【００６８】なお、車両の速度が一定範囲内（例えば、
１００km/h以内）であるかどうか、車両の加減速度が一
定値（例えば０．１ｇ）未満であるかどうかを、姿勢パ
ラメータの算出の条件として用いてもよい。車両の速度
が一定範囲内にない場合には、車体に振動が生じたりし
て、道路に対する車両の姿勢パラメータが大きく振れる
る可能性があり、車両の減速度が一定値以上の場合に
は、道路に対する車両のピッチ角θ₀が異常に大きくな
る可能性があるからである。

【００６９】カーブ走行していないと判定された場合
は、既に述べた道路消失点の簡易算出方法を適用して、
左右２本の道路平行線が求まるかどうかを判断し（ステ
ップＳ４−Ｓ６）、左右２本の道路平行線が求まれば、
それらの直線の交点から、道路消失点（ｘ₀，ｙ₀）を
求める（ステップＳ９）。そして、前記(17)(18)式を用
いて、車載カメラの道路に対するヨー角ψを求める（ス
テップＳ１０）。このとき車載カメラの車体に対するヨ
ー角ψ₁は、前述したように初期処理で求められている
ので、ヨー角ψを求めれば車両の道路に対するヨー角ψ
₀を知ることができる。このヨー角ψ₀は、処理周期ｔ
において撮像画面から観測されたヨー角であるという意
味で、以後観測値ψ_0t′ということにする。

【００７０】ステップＳ１１では、１つ前の処理周期に
おけるヨー角の採用値ψ_0t-1が求められているかどうか
判定する。ここで、「採用値」の意味について説明する
と、車載カメラの姿勢パラメータとして採用するヨー角
ψ₀は、できるだけ誤差が少ないほうがよいという当然
の要求がある。しかし、観測値をそのまま採用すると、
観測値は基本的に画面から得られる情報なので、渋滞し
ていて直ぐ前に車両が存在する場合や、道路平行線が鎖
線である場合には、道路平行線も道路消失点も得られな
い場合がある。そこで、ヨー角ψ₀の過去の履歴を考慮
した値を漸化式（例えば下記(31)式）によって求めてこ
れを「推定値」とし、これらの観測値と推定値とのいず
れか信頼できるほう、又はいずれもそれなりに信頼でき
れば両者の重み付き平均を採用するようにする。この採
用された値がここでいう「採用値」なのである。

【００７１】ステップＳ１１で、１つ前の処理周期にお
けるヨー角の採用値ψ_0t-1が求められていなければ、こ
のときは、観測値ψ_0t′を採用値ψ_0tとする（ステップ
Ｓ１２）。ステップＳ１１で１つ前の処理周期における
ヨー角の採用値ψ_0t-1が求められていれば、現処理周期
のヨー角の採用値ψ_0tを求める（ステップＳ１３）。こ
の方法を詳しく説明すると、次のようになる。

【００７２】まず、走行している道路が真っ直ぐで道路
方位が変化しない場合（この判断は例えば道路地図デー
タに基づいてすることができる）は、処理周期ｔ−１か
らｔまでの間の道路に対する車両のヨー角の変化量は、
位置検出処理装置２から得られる処理周期ｔ−１からｔ
までの間の車両の方位の変化量Δψ_0tと一致する。すな
わち１つ前の処理周期の採用値ψ_0t-1を使えば、次の漸
化式により、現処理周期の推定値ψ_0t″を得ることがで
きる。

【００７３】 ψ_0t″＝ψ_0t-1＋Δψ_0t (31) もし、１処理周期前の採用値ψ_0t-1が求まっていなけれ
ば、採用値が求まっている処理周期（ｔ−ａとする）の
採用値ψ_0t-aと処理周期ｔ−ａからｔまでの間の車両の
方位の変化量Δψ_0tとを用いて、式 ψ_0t″＝ψ_0t-a＋Δψ_0t （ａ＝２，３，４，…） (32) によって現処理周期の推定値ψ_0t″を得る。

【００７４】もし道路の方位が変われば、上の式は成り
立たないので、その代わりに前処理周期で得られた採用
値と観測値との差を用いて修正した次のいずれかの漸化
式を用いることとする。 ψ_0t″＝ψ_0t-1＋Δψ_0t−（ψ_0t-1′−ψ_0t-1） (33) ψ_0t″＝ψ_0t-a＋Δψ_0t−（ψ_0t-a′−ψ_0t-a） (34) この式の意味は、過去における採用値と観測値との差を
加味することによって、前回外れた推測分を今回補正す
るものである。前回推測が外れたのは、道路の方位が変
化したのが原因と考えられるからである。

【００７５】なお、上式を用いず、道路地図メモリ２７
に記憶されている道路地図データから得られる道路方位
の変化分Δψ_Mtを考慮して、 ψ_0t″＝ψ_0t-1＋Δψ_0t−Δψ_Mt (35) ψ_0t″＝ψ_0t-a＋Δψ_0t−Δψ_Mt (36) を用いることもできる。ここで、Δψ_MtのＭは道路地図
データの意味である。

【００７６】ステップＳ１４では、以上のようにして求
められた推定値ψ_0t″と観測値ψ_0t′とを比較する。そ
してステップＳ１５で、この差が一定の範囲内にあるか
どうかをチェックする。この「一定範囲」の選び方は、
例えば処理周期当たり０．３°である。一定の範囲内に
あれば、推定値ψ_0t″、観測値ψ_0t′のいずれもそれな
りの信頼性があると見て、両者の重み付き平均をとっ
て、処理周期ｔにおける採用値ψ _0tとする（ステップＳ
１６）。

【００７７】 αψ_0t′＋（１−α）ψ_0t″→ψ_0t (37) ここで重みαは、例えば経験的に決められた定数であ
る。一定の範囲内になければ、過去の時点でのステップ
Ｓ１５での判断を調べ、一定の範囲内にないという判断
が一定数回Ｐ、すなわち一定距離以上続いていれば、ス
テップＳ１８からＳ１９に行き、観測値ψ_0t′を、処理
周期ｔにおける採用値ψ_0tとする。この理由は、範囲内
にないという判断が一定回数以上続けば、採用値が累積
誤差のため真の値から大きく外れ、信頼できなくなって
いると判断できるからである。

【００７８】一定の範囲にないという判断がまだＰ回続
いていなければ、まだ前に得られた採用値ψ_0tに信頼性
があるとして推定値ψ_0t″を、処理周期ｔにおける採用
値ψ _0tとする（ステップＳ２０）。以上を要約すると、
システムを起動してから、最初の処理周期ｔ＝１では、
観測値ψ_0t′をこの処理周期のヨー角ψ_0tとする。以後
の処理周期では、観測値ψ _0t′と漸化式により求められ
た推定値ψ_0t″との差が一定の範囲内にあるかどうかチ
ェックし、一定の範囲内にあれば観測値ψ_0t′と推定値
ψ_0t″との重み付き平均をとってそれをヨー角ψ_0tと
し、一定の範囲内になければ、一定の範囲内にない状態
が一定回数の処理周期以上連続していれば、観測値
ψ_0t′をヨー角ψ_0tとし、一定の範囲内にない状態がま
だ一定回数の処理周期連続していなければ、推定値
ψ_0t″をヨー角ψ_0tとする。

【００７９】そして、以上のようにして得られたヨー角
ψ_0tを用いて道路消失点のｘ座標を下記(38)式により修
正する（ステップＳ２１）。ｘ₀＝（ψ_0t＋ψ₁）Ｆ (38) なお、前述の消失点の簡易算出処理において、左右２本
の道路平行線が求まらなければ、ヨー角の観測値ψ_0t′
を求めることができない。そこで、左右２本の道路平行
線が求まっていない場合は、前処理周期のヨー角の採用
値ψ_0t-1が求まっているかどうか判定し（ステップＳ
７）、求まっていれば、下記(39)式の漸化式により、現
処理周期の採用値ψ_0tを得る（ステップＳ８）。

【００８０】 ψ_0t＝ψ_0t-1＋Δψ_0t (39) もし道路の方位が変われば、上の式は成り立たないの
で、その代わりに前処理周期で得られた採用値と観測値
との差を用いて修正した次のいずれかの漸化式(40)(41)
を用いることは、前述のとおりである。 ψ_0t＝ψ_0t-1＋Δψ_0t−（ψ_0t-1′−ψ_0t-1） (40) ψ_0t＝ψ_0t-a＋Δψ_0t−（ψ_0t-a′−ψ_0t-a） (41) ステップＳ７で、前処理周期のヨー角の採用値ψ_0t-1が
求まっていなければ、ステップＳ２２に進む。ステップ
Ｓ２２では、ヨー角ψ_0tの算出はせずに処理を終了す
る。

【００８１】次に、車載カメラのピッチ角の算出処理を
フローチャート（図９）を用いて説明する。この処理で
は、システムを立ち上げた後、カーブ走行していないと
判定された場合に、車載カメラ１１で撮像された画像の
画像データに基づいて、消失点の簡易算出処理を行っ
て、左右の道路平行線の候補点を探し出し、それぞれの
傾きをチェックして左右２本の道路平行線が求まるかど
うかを判断する（ステップＳ３２）。左右２本の道路平
行線が求まれば、それらの直線の様子から、道路消失点
（ｘ₀，ｙ₀）を求め、下記(42)式ｙ₀＝−（θ₀＋θ₁）Ｆ＝−θＦ (42) を用いて、車載カメラの道路に対するピッチ角θを求め
る（ステップＳ３３）。このとき車載カメラの車体に対
するピッチ角θ₁は、前述したように初期処理で求めら
れているので、ピッチ角θを求めれば車両の道路に対す
るピッチ角θ₀を知ることができる。このピッチ角θ₀
は、処理周期ｔにおいて撮像画面から観測されたピッチ
角であるという意味で、以後θ_0tと書く。

【００８２】もし、左右いずれか１本の道路平行線しか
求まらなければ（ステップＳ３４）、道路消失点
（ｘ₀，ｙ₀）を求めることはできないので、図７−図
１１の処理で求めた車両のヨー角の採用値ψ_0tを用い
て、道路消失点のｘ座標を逆に算出する（ステップＳ３
５）。そして、このｘ座標値ｘ₀と１本の道路平行線と
から、道路消失点のｙ座標を推定し、ピッチ角θ_0tを求
める（ステップＳ３６）。

【００８３】この算出方法を詳述すると、図７−図１１
の処理で求めた車両のヨー角の採用値ψ_0tを用いて、次
式ｘ_0t＝（ψ_0t＋ψ₁）Ｆ (43) からｘ_0tを求め、このｘ_0tをｘ座標とするｙ軸に平行な
直線と、前記１本の道路平行線との交点を道路消失点
（ｘ_0t，ｙ_0t）とする。そして、このｙ座標値ｙ_0tを式ｙ_0t＝−（θ_0t＋θ₁）Ｆ (44) に当てはめてピッチ角θ_0tを求めるのである。

【００８４】そして、ステップＳ３３又はステップＳ３
６で求められたピッチ角θ_0tが、初期処理で求められた
ピッチ角θ₀の平均値（＝０）からの標準偏差以内に収
まっているかどうかを調べる（ステップＳ３７）。収ま
っていれば、求めたピッチ角θ_0tをピッチ角の採用値と
する（ステップＳ３８）。収まっていなければ、求めた
ピッチ角θ_0tの信頼性なしと判断して、ピッチ角の採用
値を０とする（ステップＳ３９）。０とする理由を説明
すると、前述したとおり車両がピッチするときは加減速
するときであるが、加減速時でも、加速のみ減速のみと
いうことは考えられず、ピッチ角の平均値はいつも０で
あると見ることができるからである。

【００８５】なお、左右いずれの道路平行線も求まらな
い場合、すなわちステップＳ３４で“ＮＯ”と判断され
た場合には、ピッチ角の採用値を０とする。次に、車載
カメラの横ずれ距離の算出処理を説明する。図１０は、
車載カメラの横ずれ距離の算出処理を説明するためのフ
ローチャートである。この処理では、システムを立ち上
げた後、カーブ走行していないと判定された場合に、車
載カメラ１１で撮像された画像の画像データに基づい
て、簡易な道路消失点算出処理を行って、左右の道路平
行線の候補点を探し出し、それぞれの傾きをチェックし
て左右２本の道路平行線が求まるかどうかを判断する
（ステップＳ４２）。もし、２本の道路平行線が求まれ
ば、道路平行線の傾きａ_1t, ａ_2tと車載カメラの取付け
ロール角φ₁を使って、前記(29)(30)式に相当する式Ａ_1t＝−（ａ_1t＋φ₁）ｈ／（１−φ₁ａ_1t） (45) Ａ_2t＝−（ａ_2t＋φ₁）ｈ／（１−φ₁ａ_2t） (46) によって、道路に平行な所定の基準線からの車載カメラ
の横ずれ距離Ａを得ることができる（ステップＳ４
３）。ただし、車両が真っ直ぐに走行しているのでロー
ル角φ₀は無視した。

【００８６】さらに前の処理周期で２本の道路平行線の
横ずれ距離Ａ_t-1が求まっているかどうかを判断する
（ステップＳ４４）。求まっていれば、前の処理周期の
横ずれ距離Ａ_t-1を使って次の漸化式Ａ_1t＝Ａ_1,t-1＋Ｌψ_0t (47) Ａ_2t＝Ａ_2,t-1＋Ｌψ_0t (48) により今処理周期の横ずれ距離Ａ_tを求める（ステップ
Ｓ４５）。ここでＬは１処理周期に車両が走行した距離
であり、位置検出処理装置２からの支援データに基づい
て決められる。ψ_0tは、道路に対する車両のヨー角の採
用値である。

【００８７】そしてステップＳ４３で道路平行線から求
められた横ずれ距離Ａ_1t，Ａ_2tと比較し（ステップＳ４
６）、一定範囲内にあるかどうかを判断する（ステップ
Ｓ４７）。一定範囲内にあればステップＳ４３で道路平
行線から求められた横ずれ距離Ａ_1t，Ａ_2tを採用し（ス
テップＳ４９）、一定範囲内になければステップＳ４５
で漸化式から求められた横ずれ距離Ａ_1t，Ａ_2tを採用す
る（ステップＳ４８）。

【００８８】もし、ステップＳ５０で１本のみ道路平行
線の算出が可能であれば、その１本の道路平行線につい
て、道路平行線の傾きａ_1tと車載カメラの取付けロール
角φ ₁を使って、Ａ_1t＝−（ａ_1t＋φ₁）ｈ／（１−φ₁ａ_1t） (49) により、横ずれ距離Ａを求める（ステップＳ５１）。そ
して前の処理周期で１本の道路平行線の横ずれ距離Ａ
_t-1が求まっているかどうかを判断する（ステップＳ５
２）。求まっていれば、前の処理周期の横ずれ距離Ａ
_t-1を使って次の漸化式Ａ_1t＝Ａ_1,t-1＋Ｌψ_0t (50) により今処理周期の横ずれ距離Ａ_tを求める（ステップ
Ｓ５３）。

【００８９】そしてステップＳ５１で道路平行線から求
められた横ずれ距離Ａ_1t，Ａ_2tと比較し（ステップＳ５
４）、一定範囲内にあるかどうかを判断する（ステップ
Ｓ５５）。一定範囲内にあればステップＳ４３で道路平
行線から求められた横ずれ距離Ａ_1tを採用し（ステップ
Ｓ５７）、一定範囲内になければステップＳ５３で漸化
式から求められた横ずれ距離Ａ_1tを採用する（ステップ
Ｓ５６）。

【００９０】なお、フローチャートに示していないが、
他の１本の道路平行線については、横ずれ距離Ａは直接
求めることができないので、前の処理周期で横ずれ距離
Ａが求まっているかどうかを判断し、求まっていれば、
前の処理周期の横ずれ距離Ａ _t-1を使って次の漸化式Ａ_t＝Ａ_t-1＋Ｌψ_0t (51) により今処理周期の横ずれ距離Ａ_tを求める。前の処理
周期で横ずれ距離Ａが求まっていなければ、その「他の
１本の道路平行線」については、横ずれ距離Ａを求める
ことをあきらめて、処理を終了する。

【００９１】もし、ステップＳ５０で、道路平行線が全
く得られなかったら、図１１のステップＳ６１に進み、
前の処理周期で１本の道路平行線の横ずれ距離Ａ_1,t-1
が求まっているかどうか判定し、道路平行線が求まって
いれば前記漸化式を用いて横ずれ距離Ａを算出し、求ま
っていない場合は横ずれ距離Ａを算出しない（ステップ
Ｓ６１−Ｓ６３）。

【００９２】また、他の１本の道路平行線についても、
横ずれ距離Ａ_2,t-1が求まっているかどうか判定し、道
路平行線が求まっていれば前記漸化式を用いて横ずれ距
離Ａを算出し、求まっていない場合は、横ずれ距離Ａを
算出しない（ステップＳ６４−Ｓ６６）。以上のような
処理をすることによって、車載カメラ１１の姿勢パラメ
ータθ，φ及びψ、並びに横ずれ距離Ａが求まる。これ
らの姿勢パラメータは、次に説明する物体追従認識処理
において活用される。 (6) 物体追従認識処理物体追従認識処理は、車載カメラ１１によって撮像され
た画像中の道路標識、道路上の表示、歩行者、他車両等
の一定種類の物体（この処理では、以下「認識対象物」
という）を追従認識するための処理である。この画像認
識に当たっては、車載カメラの姿勢パラメータや位置検
出処理装置２から与えられる支援情報が用いられる。

【００９３】以下では、まず道路標識や道路上の表示等
の静止認識対象物の追従認識について説明し、その後に
他車両のような移動認識対象物の追従認識について説明
する。なお、認識対象物を追従するときは、認識対象物
について特定された１又は複数の点（以下「特定点」と
いう）に注目することにする。 (6-1) 静止認識対象物の追従認識カメラ姿勢パラメータ算出処理の説明において用いた前
記(13)式及び(14)式を変形して、撮像面の点（ｘ′，
ｙ′）、カメラ姿勢パラメータψ，φ，θ及び変数Ｚが
既知であるものとしてＸ，Ｙについて解くと次の(61)式
が得られる。

【００９４】

【数７】

【００９５】したがって、処理周期ｔにおいて、特定点
の座標（ｘ_t′，ｙ_t′）が得られ、カメラ姿勢パラメ
ータと車両からみた特定点の高さ方向の位置Ｚ（一定
値。特定点が接地点であればその高さはカメラの高さだ
け低いもの−ｈとなる）が既知であれば、道路から見た
特定点の位置（Ｘ_t，Ｙ_t）を、前記(61)式によって求
めることができる。

【００９６】ところで、各変数やパラメータは時間の関
数であり、時間経過とともに変化する。処理周期ｔから
処理周期ｔ＋１の間の車両の走行距離データをＬ_t+1、
方位変化データ（位置検出処理装置２から方位変化デー
タが与えられる場合には、それをそのまま用いることが
できる。）をΔψ_t+1とすると、処理周期ｔ＋１の特定
点の位置（Ｘ_t+1，Ｙ_t+1）は、次式で与えられる。

【００９７】

【数８】

【００９８】この(62)式の右辺のベクトルのＬ_t+1 sinΔψ_t+1， −Ｌ_t+1 cosΔψ_t+1 という項は、車両が移動したために、認識対象物とカメ
ラとの距離がどれだけ近づいたのかを表し、右辺の２×
２行列は、カメラのヨー角の変化に基づくカメラの視野
の回転を表している。

【００９９】前記(62)式の（Ｘ_t+1，Ｙ_t+1）及びカメ
ラ姿勢パラメータψ_t+1，φ_t+1，θ_t+1を、前記(13)
(14)式に代入することによって、処理周期ｔ＋１におけ
る特定点の画面上での位置（ｘ_t+1′，ｙ_t+1′）を推
定することができる。ｘ_t+1′＝Ｆ（Ｘ_t+1＋ψ_t+1Ｙ_t+1−φ_t+1Ｚ）／（−ψ_t+1Ｘ_t+1＋Ｙ_t+1＋θ_t+1Ｚ） (63) ｙ_t+1′＝Ｆ（φ_t+1Ｘ_t+1−θ_t+1Ｙ_t+1＋Ｚ）／（−ψ_t+1Ｘ_t+1＋Ｙ_t+1＋θ_t+1Ｚ） (64) つまり、処理周期ｔにおける特定点の位置が判れば、処
理周期ｔ＋１においてその特定点が画面上のどの位置に
移動するかを、カメラ姿勢パラメータなどに基づいて推
定できる。そのため、時々刻々と撮像される画面からあ
る認識対象物を追従する場合に、推定された位置の周辺
の領域の画像を切り出してその中で特定点を探索し、特
定点があればこの特定点に係る認識対象物の認識処理を
行えばよいので、認識処理時間を節約することができ
る。

【０１００】推定された位置の周辺の画像切出し範囲
は、推定された画面上の位置である推定値と、実際に認
識された特定点の位置である実際値との誤差を考慮して
定められる。具体的に説明するとまず、処理周期ｔにお
ける推定値を（^Eｘ_t′，^Eｙ _t′）とし、実際値を（
^Mｘ_t′，^Mｙ_t′）と表す。さらに、平均操作をａｖ
ｅと表し、分散操作をｖａｒと表し、標準偏差をｓｔｄ
と表し、平方根操作をｓｑｒｔと表すと、下記の式が得
られる。

【０１０１】ｖａｒ(x) ＝ａｖｅ（ｘ−ａｖｅ(x) ）² ｓｔｄ(x) ＝ｓｑｒｔ（ｖａｒ(x) ）ｘ＝^Eｘ_t′−^Mｘ_t′ ｖａｒ(y) ＝ａｖｅ（ｙ−ａｖｅ(y) ）² ｓｔｄ(y) ＝ｓｑｒｔ（ｖａｒ(y) ）ｙ＝^Eｙ_t′−^Mｙ_t′ したがって、画面上の位置のｘ軸及びｙ軸方向の各誤差
は、例えば、ｋを定数としてｋ・ｓｔｄ(x) 、ｋ・ｓｔ
ｄ(y) として求めることができる。そこで、この範囲
（以下「誤差範囲σ」という）を画像切出し範囲とすれ
ば、特定点を含む画像を切り出すことができる。

【０１０２】なお、定数ｋを、車両の走行速度、方位変
化、姿勢パラメータの信頼度等に基づいて可変設定する
ようにしておけば、誤差範囲σをより適切に設定でき
る。具体的には、車両の走行速度が一定値（例えば１０
０km/h）以下の場合は定数ｋは一定、以上の場合には定
数ｋを車両の走行速度にほぼ比例するように設定しても
よい。また、車両の進行方位の単位時間当たり又は単位
走行距離当たりの変化量が一定値（例えば０．１°）以
上のときに、この方位変化量にほぼ比例するように前記
定数ｋの値を設定してもよい。また、誤差範囲σは認識
すべき認識対象物の種類ごとに変化させてもよく、認識
対象物の種類によらずに共通の誤差範囲σを用いてもよ
い。

【０１０３】なお、(61)式が誤差を含むものであるとし
て、カルマンフィルタ等を用いて、走行距離、方位変化
の誤差、姿勢パラメータの推定誤差、画面上の位置
（ｘ′，ｙ′）の推定値と実際値との差等から、フィタ
リングにより、特定点の位置（Ｘ，Ｙ，Ｚ）を時々刻々
推定したりすることもできる。図１２は、前方の静止認
識対象物である道路標識の処理周期ｔにおける特定点Ｐ
_t（ｘ_t，ｙ_t）及びその次の処理周期ｔ＋１における
推定位置の近傍の誤差範囲σ₁を図示したもので、実際
に次の処理周期ｔ＋１になれば、特定点Ｐ
_t+1（ｘ_t+1′，ｙ_t+1′）は、図１３に示すように誤
差範囲σ₁の中に見出すことができることを示してい
る。

【０１０４】このようにして、例えば、道路標識や信号
機のような静止認識対象物を時々刻々と追従して認識す
る場合に、前記の方法で探索範囲を限ることによって、
認識対象物の追従処理の迅速化を図ることができる。 (6-2) 移動認識対象物の追従認識移動認識対象物を追従して認識する場合には、前記(62)
式の変換式を用いることができない。そこで前記(62)式
に代えて、移動認識対象物の位置の時間的な変化を考慮
した下記(65)式を用いる。

【０１０５】

【数９】

【０１０６】(65)式を前記(62)式と比較すると、右辺の
ベクトルにそれぞれ（Ｘ_t−Ｘ_t-1）−Ｌ_t sinΔψ_t， (66) （Ｙ_t−Ｙ_t-1）＋Ｌ_t cosΔψ_t (67) という項が加わっている。（Ｘ_t−Ｘ_t-1）及び（Ｙ_t
−Ｙ_t-1）は、前回の処理周期から今回の処理周期まで
の車両から見た認識対象物の見かけの移動距離、Ｌ_t sinΔψ_t， −Ｌ_t cosΔψ_t は、前回の処理周期から今回の処理周期までの車両の移
動距離となるから、これらの差である前記(66)(67)式
は、前回の処理周期から今回の処理周期までの認識対象
物の正味の移動距離となる。

【０１０７】ところで、(65)式は、次回の処理周期での
認識対象物の位置を求めるのに、前回の処理周期から今
回の処理周期までの認識対象物の移動距離を、今回の処
理周期から次回の処理周期までの認識対象物の移動距離
と等しいと考え、この移動距離を考慮した式となってい
る。したがって、前回の処理周期から今回の処理周期ま
での認識対象物の位置の時間的な変化が分かれば、(65)
式を使ってその認識対象物を追従認識することができ
る。なお、前回の処理周期から今回の処理周期までの認
識対象物の移動距離が、今回の処理周期から次回の処理
周期までの認識対象物の移動距離と等しいと考えている
のは、移動認識対象物の速度が急変しないことを前提と
しているが、移動認識対象物が車両であればこの前提は
十分に成り立っている。

【０１０８】図１２は、前方の移動認識物である車両の
処理周期ｔにおける特定点Ｏ_t（ｘ _t，ｙ_t）及びその
次の処理周期ｔ＋１における誤差範囲σ₂を図示したも
ので、実際に次の処理周期ｔ＋１になれば、特定点Ｏ
_t+1は、図１３に示すように誤差範囲σ₂の中に見出す
ことができることを示している。 (6-3) 認識処理部の処理次に、認識対象物の追従認識のために認識処理部１５が
実行する処理を説明する。

【０１０９】認識処理部１５は、追従認識処理のため
に、記憶部１７に、認識対象物を登録するための認識対
象物登録テーブル（表１参照）、及び特定点登録テーブ
ル（表２参照）を持っている。

【０１１０】

【表１】

【０１１１】表１の認識対象物登録テーブルは、車載カ
メラ１１によって車両の前方又は後方を撮像して、処理
周期ごとに画像信号に変換し、この変換画像に基づいて
認識される、画面内の１つ又は複数の認識対象物を登録
しておくためのテーブルであって、認識対象物番号、登
録の有無、パターン情報、動静情報、特定点の数、特定
点へのポインタの各項目を備えている。

【０１１２】「認識対象物番号」は、シーケンシャルな
番号１，２，３，…が付与されていて、各番号と、各認
識対象物とが対応する。「パターン情報」は、認識対象
物の種類（乗用車、バス、道路標識、歩行者等）、大き
さ（横幅、全長、高さ等）、認識対象物内部の色調（例
えば認識対象物内に含まれるすべての画素、又は輪郭画
像の重心等の幾何学的な関係から決められる代表的な画
素のＲＧＢの３原色画像データｒ，ｇ，ｂ、又はそれら
の平均値。前記(1) 式の値でもよい）を記録するもの
で、認識対象物の特徴を示すものである。この特徴は、
認識対象物のパターン認識によって得られる。パターン
認識は、例えば標準となるテンプレートをいくつも用意
し、認識対称物の特定点の位置情報等から、実際の認識
対象物の大きさに縮尺調整し、画面上の２次元位置に仮
想設定して認識対象物の輪郭にテンプレートを重ね合わ
せ、両者の一致度を定量的に測定して最も一致するもの
を選ぶことによって得られる（参照；長尾真著「パター
ン情報処理」第４．３節，コロナ社昭和５８年３月１０
日初版発行）。カラーのデータを用いる場合には、濃度
だけでなく、色度のデータも利用できるので、認識確率
を高めることができる。

【０１１３】「動静情報」は、認識対象物が静止してい
るか、動いているか、不明かを区別する３通りの情報で
ある。「特定点の数」は、認識対象物について設定され
た特定点の数をいう。ここで、特定点の選び方を説明す
ると、例えば図１４に示すような前方画像が得られたと
き、この画像を処理して図１５に示すような認識対象物
の大きさに合わせた輪郭を抽出し、その輪郭上のいずれ
かの点、例えば輪郭の角の点を特定点に設定する。前記
輪郭としては、認識対象物と外界との境界、認識対象物
内部の境界（例えばガラスとボディーとの境界）、認識
対象物の影の輪郭等を選ぶことができる。具体的には、
図１４の画像を走査して、走査線１本１本ごとに色調
（例えばＲＧＢ平均値）の変化する点を見付け、それら
の点同士をつなぐことにより輪郭を抽出し、輪郭の角の
点を設定するとよい。

【０１１４】なお、特定点は前記のように輪郭の角に限
定されるものではなく、認識対象物の輪郭内部の中心
（例えば車両であればランプやナンバープレートの中
心、道路標識であれば標識の中心）に設定したりするこ
とも可能である。しかし認識対象物が前方の他車両であ
る場合に、タイヤの輪郭の下二隅の点を設定すれば、そ
の高さが既知の値（−ｈ）となるという利点がある。

【０１１５】「特定点へのポインタ」は、特定点登録テ
ーブルへのポインタをいう。

【０１１６】

【表２】

【０１１７】表２の特定点登録テーブルは、認識対象物
について設定された特定点の詳細情報を記憶しているテ
ーブルであって、特定点ごとに、特定点の存在の有無、
特定点の空間位置（Ｘ，Ｙ，Ｚ）、空間位置変化、特定
点の周辺画像の特徴の各項目を備えている。「特定点の
空間位置（Ｘ，Ｙ，Ｚ）」は、前記(61)式によって求め
られる特定点の道路車両座標系ＸＹＺにおける空間位置
座標（Ｘ，Ｙ，Ｚ）をいう。

【０１１８】「空間位置変化」とは、前の処理周期の画
面と比較した道路から見た特定点の空間位置の変化をい
い、前記空間位置座標（Ｘ，Ｙ，Ｚ）の変化（ΔＸ，Δ
Ｙ，ΔＺ）から車両の移動距離を差し引いて求められ
る。空間位置変化が不明のときは、不明を表すため、例
えばオールビットを１として登録する。「特定点の周辺
画像の特徴」とは、前の処理周期の画面の特定点と本処
理周期の画面の特定点との同一性を確認するための情報
である。図１６(a) は、他車両の左後輪の端の特定点Ｑ
₁及び一定の範囲Ｄ₁、並びに左バックライトの中の特
定点Ｑ₂及び一定の範囲Ｄ₂を示す図であり、同図(b)
は、一定の範囲Ｄ₁及びこの中の特定点Ｑ₁を切り出し
た図であり、同図(c) は、一定の範囲Ｄ₂及びこの中の
特定点Ｑ₂を切り出した図である。同図(b) と(c) を比
較すると、特定点の周辺画像の特徴が、色調等の点で明
らかに異なっているので、これらの特定点Ｑ₁，Ｑ₂が
同一でないことが分かる。

【０１１９】そこで、特定点の同一性を確認するための
情報として、特定点から一定の範囲Ｄ内に含まれるすべ
ての画素、又は輪郭画像の重心等の幾何学的な関係から
決められる代表的な画素のＲＧＢの３原色画像データ
ｒ，ｇ，ｂを採用する。しかし、これに限られるもので
はなく、それらの画素の３原色画像データｒ，ｇ，ｂの
面積分値∫_DｒｄＳ，∫_DｇｄＳ，∫_DｂｄＳ（∫ｄＳ
は面積分を表わす）で表してもよい。また、それらの線
形和ＰＰ＝ｊ₁｜∫_DｒｄＳ｜＋ｊ₂｜∫_DｇｄＳ｜＋ｊ₃｜∫_DｂｄＳ｜で表してもよい。特定点が輪郭の上に乗っているとき
は、輪郭を構成する画素の３原色画像データｒ，ｇ，ｂ
で表してもよいし、それらの画素の３原色画像データ
ｒ，ｇ，ｂの線積分値で表してもよいし、それらの線形
和で表してもよい。特定点として輪郭の内部の点を選ん
だときは、特定点から一定の範囲内に含まれ、かつ輪郭
の（外部でなく）内部の画素の３原色画像データｒ，
ｇ，ｂで表してもよいし、それらの画素の３原色画像デ
ータｒ，ｇ，ｂの面積分値で表してもよいし、それらの
線形和で表してもよい。これらの情報が一致するか、違
っていても許容範囲内であれば、前の処理周期の画面の
特定点と本処理周期の画面の特定点とは同じ特定点であ
ると判断することができる。

【０１２０】次に、図１７−図２１のフローチャートを
参照して、認識対象物の追従認識処理の手順を説明す
る。この処理は、初期処理が終わった後の車両の走行中
に、一定距離又は一定時間走行するごとに行われるもの
である。まず、車載カメラ１１で撮像された画像データ
を取得し（図１７、ステップＳ７１）、すでに「(5) 車
載カメラの姿勢パラメータ算出処理」で述べたように車
載カメラの姿勢パラメータを算出する（ステップＳ７
２）。

【０１２１】そして、表１の認識対象物登録テーブル
と、表２の特定点登録テーブルとを参照する。まず、認
識対象物登録テーブルに認識対象物が最低１つ登録され
ているかどうかを調べ（ステップＳ７３）、登録されて
いるならば、ステップＳ８１以下に進む。初めて取得す
る画面であれば、何も登録されていないので、そのとき
はステップＳ７５に進み、画像データに基づいて画面内
のすべての画像の輪郭を抽出し、画像パターンをそれぞ
れ認識する。この場合、どのような目的で車両を誘導す
るのかにより、認識対象となる認識対象物を限定しても
よい。例えば、車両の安全な運行を目的とするときは移
動認識対象物のみを認識対象としてもよいし、また、位
置検出処理装置２の表示部２９に経路誘導情報を表示し
て目的地までの経路誘導を行うときは、道路標識や信号
機のような静止認識対象物のみを認識対象としてもよ
い。

【０１２２】もし、自動車、道路標識、歩行者等をそれ
ぞれ認識できたならば、各認識対象物にシーケンス番号
を割当て、登録有無の欄にそれぞれ「登録あり」の符号
を認識対象物登録テーブルに書き込む。さらにそれらの
パターン情報を書き込み（ステップＳ７６）、動静情報
を「不明」として登録する（ステップＳ７７）。また抽
出された画像の輪郭に基づいて特定点を設定してその数
を登録する（ステップＳ７８）。

【０１２３】次に、特定点の空間位置座標（Ｘ，Ｙ，
Ｚ）と、「特定点の周辺画像の特徴」を登録し（ステッ
プＳ７９）、前の処理周期と比較した特定点の空間位置
変化を不明として登録し（ステップＳ８０）、スタート
に戻る。空間位置変化を不明とするのは、前の処理周期
では画像データが得られていないので、空間位置変化を
求めることはできないからである。

【０１２４】次の処理周期において、認識対象物が登録
されているならば、ステップＳ７４からステップＳ８１
に進み、認識対象物登録テーブルの動静情報をチェック
する。まず、動静情報が「静止」である認識対象物を参
照する。図１８は、動静情報が「静止」である認識対象
物を処理するフローチャートであり、この処理によれ
ば、動静情報が「静止」である認識対象物を参照し（ス
テップＳ９１）、もしあれば登録フラグをオフとする
（ステップＳ９３）。この登録フラグは、認識対象物の
中の特定点を追従できているかどうかを表わすフラグで
ある。すなわち、前の処理画面と今回の処理画面との間
で、認識対象物の中の１点でも特定点が追従できていれ
ば、その認識対象物については、登録フラグはオンにさ
れる。

【０１２５】そして参照された認識対象物について、特
定点登録テーブルを使って特定点を参照する（ステップ
Ｓ９４）。特定点があれば、１つの特定点について、前
記(61)式に従って、本周期の特定点の位置（Ｘ，Ｙ，
Ｚ）を推定し、これに基づいて、本周期における画面上
での特定点の位置（ｘ′，ｙ′）を前記(63)式及び(64)
式に従って推定する（ステップＳ９６）。そして、新し
い画像データから認識対象物を認識し、パターン情報を
調べ、特定点を調べ周辺画像の特徴を調べる（ステップ
Ｓ９７）。この場合、特定点を調べるのに、登録が確認
されている認識対称物の輪郭情報とその内部をマスクし
た画像データのみを使用することにより、処理時間の短
縮を図ることができる。そして車両の走行速度、進行方
向の変化、及び姿勢パラメータの信頼度を参照し、前述
したように推定位置の誤差範囲σの大きさを求め、この
誤差範囲σの中に前記特定点があるかどうかを、周辺画
像の特徴の異動をチェックしながら探索する（ステップ
Ｓ９８）。この探索に際しては、探索範囲を誤差範囲σ
の中に限ることとしたので、特定点の探索時間を短くす
ることができるという利点がある。ここで周辺画像の特
徴のチェック基準を述べると、特定点が認識対象物の画
像の輪郭線上に設定されている場合は、輪郭線の方向が
ほぼ一致し、かつ、輪郭線の両側の画像の特徴がほぼ一
致することである。特定点が認識対象物の画像の輪郭線
の一方の側に設定されている場合は、輪郭線の一方の側
の画像の特徴がほぼ一致することである。

【０１２６】もし周辺画像の特徴の等しい特定点、又は
周辺画像の特徴が許容範囲内に入っている特定点が存在
すれば（ステップＳ９９）、登録フラグをオンにし（ス
テップＳ１００）、その特定点の空間位置座標（Ｘ，
Ｙ，Ｚ）、空間位置変化、周辺画像の特徴を特定点登録
テーブルの上で新しい値に更新する（ステップＳ１０
１）。そして、当該特定点の空間位置変化が一定範囲内
に納まっているかどうかを調べる（ステップＳ１０
２）。この一定範囲は、認識対象物が動いているか静止
しているかを判定するためのもので、例えばＸ，Ｙ，Ｚ
空間の原点を中心とする球又は回転楕円体とすることが
できる。球又は回転楕円体の半径は、実際に車両を走行
させて、種々の認識対象物についてこの処理を行って最
も妥当な値を求めればよい。納まっていない場合は、当
該認識対象物の動静情報を「移動」に変更する（ステッ
プＳ１０３）。

【０１２７】なお、ステップＳ９９で、誤差範囲σの中
に特定点が存在しない場合、特定点の空間位置座標等を
特定点登録テーブルの上で更新しないで、ステップＳ９
４に戻っているが、これに代えて、探索された特定点の
位置（ｘ′，ｙ′）が画面内に存在する限り、この位置
（ｘ′，ｙ′）を使って空間位置座標等を求めることに
より、特定点登録テーブルの内容を更新してもよい。

【０１２８】また、ステップＳ９９で、誤差範囲σの中
に特定点が存在しない場合、特定点の空間位置座標等を
特定点登録テーブルの上で更新しないで、ステップＳ９
４に戻っているが、これに代えて、前記(63)式及び(64)
式に従って推定された特定点の位置（ｘ′，ｙ′）が画
面内に存在する限り、この位置（ｘ′，ｙ′）を特定点
の位置とみなし、この位置を使って空間位置座標等を求
めることにより、特定点登録テーブルの内容を更新して
もよい。

【０１２９】また、ステップＳ９８で、誤差範囲σの中
の特定点を探索するときに、誤差範囲σ自体が、他の認
識対象物の後ろにマスクされてしまったときは、誤差範
囲σの中の探索をしても特定点き見つからないので、誤
差範囲σの中を探索するまでもなく、前記(63)式及び(6
4)式に従って推定された特定点の位置（ｘ′，ｙ′）を
特定点の位置とみなして追従を続行することが望まし
い。なお、マスクされたかどうかの事実は、特定点登録
テーブルの空間位置座標（Ｘ，Ｙ，Ｚ）を使って判定す
ることができる。

【０１３０】当該認識対象物の特定点のすべてについて
以上の処理をすると、ステップＳ１０４に進み、登録フ
ラグがオンになっているかどうかを調べ（ステップＳ１
０４）、オンになっていれば、当該認識対象物のパター
ン情報を調べて、認識対象物の種類や色調が認識対象物
登録テーブルのパターン情報と一致するかどうか判定す
る（ステップＳ１０５）。一致するか、許容範囲内に収
まっていれば、当該認識対象物の追従に成功したとし
て、ステップＳ９１に戻り、静止している他の認識対象
物について同様の処理を繰り返す。

【０１３１】登録フラグがオンになっていない場合は、
新しい画像では、当該認識対象物の特定点が推定位置の
誤差範囲σの中にまったく存在しなかったということで
あるので、当該認識対象物を見失ったと判断しその登録
を抹消する（ステップＳ１０６）。また、当該認識対象
物のパターン情報の相違が許容範囲内に収まっていない
場合も、当該認識対象物を見失ったと判断しその登録を
抹消する（ステップＳ１０６）。

【０１３２】すべての静止認識対象物について処理が終
われば、図１９の、動静情報が「移動」である認識対象
物を処理するフローに進む。この処理によれば、動静情
報が「移動」である各認識対象物を参照し（ステップＳ
１１１）、もし移動認識対象物があれば登録フラグ、移
動フラグをオフとする（ステップＳ１１３）。この移動
フラグは、認識対象物が移動しているか静止しているか
を表わすフラグである。

【０１３３】認識対象物について、特定点登録テーブル
を参照して特定点を取り出す（ステップＳ１１４）。特
定点があれば、前記(65)式により、移動する特定点の２
次元位置を推定し（ステップＳ１１６）、新しい画像デ
ータから認識対象物を認識し、パターン情報、特定点、
周辺画像の特徴を調べ（ステップＳ１１７）、特定点が
推定点の周りの誤差範囲σの中にあるかどうか探索する
（ステップＳ１１８）。この探索に際しては、探索範囲
を誤差範囲σの中に限ることとしたので、探索時間を短
くすることができるという利点がある。誤差範囲σの中
に周辺画像の特徴が同じであるが、相違していても許容
範囲内に収まっている特定点が存在すれば（ステップＳ
１１９）、登録フラグをオンにし（ステップＳ１２
０）、その特定点の空間位置座標（Ｘ，Ｙ，Ｚ）、空間
位置変化、周辺画像の特徴を特定点登録テーブルの上で
新しいデータに更新する（ステップＳ１２１）。そし
て、当該特定点の空間位置変化が一定範囲内、例えば
Ｘ，Ｙ，Ｚ空間の原点を中心とする球内に納まっている
かどうかを調べ（ステップＳ１２２）、納まっていない
場合は、移動フラグをオンにする（ステップＳ１２
３）。

【０１３４】当該認識対象物の特定点のすべてについ
て、以上の処理をすると、ステップＳ１２４に進み、登
録フラグがオンになっているかどうかを調べ（ステップ
Ｓ１２４）、オンになっていれば、当該認識対象物のパ
ターン情報を調べて、認識対象物登録テーブルのパター
ン情報と比較する（ステップＳ１２５）。同じである
か、類似していれば、移動フラグがオンになっているか
どうかを調べる（ステップＳ１２６）。移動フラグがオ
ンになっていなければ、当該認識対象物は動いていなか
ったと判断できるので、動静情報を「静止」に変更する
が、移動フラグがオンになっていれば、当該認識対象物
は依然として動いていると判断できるので、動静情報を
変更せず、いずれの場合も当該認識対象物の追従に成功
したとして、ステップＳ１１１に戻り、移動している他
の認識対象物について同様の処理を繰り返す。

【０１３５】ステップＳ１２４で登録フラグがオンにな
っていない場合は、新しい画像では、当該認識対象物の
特定点が推定位置の誤差範囲σの中にまったく存在しな
かったということであるので、当該認識対象物を見失っ
たと判断しその登録を抹消する（ステップＳ１２８）。
また、当該認識対象物のパターン情報が違っていても、
当該認識対象物を見失ったと判断しその登録を抹消する
（ステップＳ１２８）。

【０１３６】すべての移動する認識対象物について処理
が終われば、図２０の、動静情報が「不明」である認識
対象物を処理するフローチャートに移る。この処理によ
れば、動静情報が「不明」である各認識対象物を参照し
（ステップＳ１３１）、もしあれば不明の認識対象物が
あれば、移動フラグをオフとする（ステップＳ１３
３）。そして、一時記憶データ（特定点の空間位置等を
一時記憶するデータ）をクリアし（ステップＳ１３
４）、認識対象物について、特定点登録テーブルを参照
して特定点の有無を調べる（ステップＳ１３５）。特定
点があれば、その特定点が静止していると仮定して、前
記(61)式により、静止する特定点の２次元位置を推定す
る（ステップＳ１３７）。特定点が静止していると仮定
するのは、この処理が動静情報が「不明」である認識対
象物を対象としているので、とりあえずは特定点が静止
しているとして前記(61)式により推定位置を求め、静止
する認識対象物の追従を試みようとしたからである。そ
して、新しい画像データから認識対象物を認識し、パタ
ーン情報、特定点、特定点の周辺画像の特徴を調べ（ス
テップＳ１３８）、調べた特定点が誤差範囲σの中にあ
るかどうか探索する（ステップＳ１３９）。

【０１３７】誤差範囲σの中に周辺画像の特徴が同一で
あるか、よく似ている特定点が存在すれば（ステップＳ
１４０）、静止する特定点を特定することに成功したと
いうことになり、その特定点の空間位置座標（Ｘ，Ｙ，
Ｚ）、空間位置変化、周辺画像の特徴を記憶部１７の中
にある所定のバッファ領域に一時記憶する（ステップＳ
１４１）。そして、当該特定点の空間位置変化が一定範
囲内に納まっているかどうかを調べ（ステップＳ１４
２）、納まっていない場合は、移動フラグをオンにする
（ステップＳ１４３）。

【０１３８】当該認識対象物の特定点のすべてについ
て、以上の処理をすると、ステップＳ１４４に進み、当
該認識対象物のパターン情報を調べて、認識対象物登録
テーブルのパターン情報と比較する（ステップＳ１４
５）。同じか、又は類似していれば、一時記憶された特
定点の前記空間位置座標（Ｘ，Ｙ，Ｚ）、空間位置変
化、周辺画像の特徴を特定点登録テーブルに登録する
（ステップＳ１４５）。そして、移動フラグがオンにな
っているかどうかを調べ（ステップＳ１４６）、オンに
なっていなければ当該認識対象物の動静情報を「静止」
にし（ステップＳ１４７）、オンになっていれば当該認
識対象物の動静情報を「移動」にする（ステップＳ１４
８）。

【０１３９】さらに、ステップＳ１４０で誤差範囲σの
中に新しい画像の特定点が存在しないか、又はステップ
Ｓ１４４でパターン情報が一致しない場合は、当該認識
対象物の登録を抹消するのではなく、当該認識対象物の
情報をワークエリアに記憶させ（ステップＳ１４９）、
図２１のフローチャートに進む。図２１の処理では、ワ
ークエリアに記憶された認識対象物に対して、もう一度
認識処理（一種の敗者復活処理）を行う。

【０１４０】この処理を行う意味を説明すると、次のよ
うになる。この処理の処理対象は、図１７のステップＳ
７７で動静情報が「不明」とされ、かつ図２０のステッ
プＳ１３７の静止する認識対象物の追従にも失敗してい
る認識対象物である。つまり、本処理の対象である認識
対象物は、移動するものであり、かつ、認識対象物の運
動特性が未知のものである。よって、移動認識対象物の
位置の時間的な変化を考慮した前記(65)式を用いること
ができない。そこで、図２１の処理では、誤差範囲σを
推定してその中で特定点を探索するのをあきらめ、探索
の範囲を画面全体に広げることとした。これにより、認
識対象物が予期しない位置にあってもかなりの精度でそ
の認識対象物をとらえることが期待できる。

【０１４１】まず、ワークエリアに記憶された認識対象
物のデータを参照する（ステップＳ１５１）。次に画面
内の認識対象物の認識を行って、特定点を画面から探索
する（ステップＳ１５３）。そして周辺画像の特徴をチ
ェックしながら、ワークエリアに記憶された認識対象物
の特定点が、画面の中にすべて存在するかどうか判定す
る（ステップＳ１５４）。認識対象物の特定点がすべて
存在するのであれば（ステップＳ１５４）、当該認識対
象物のパターン情報の一致不一致を判断する（ステップ
Ｓ１５５）。パターン情報が一致していれば、認識対象
物の追従に成功したとして、特定点の空間位置座標
（Ｘ，Ｙ，Ｚ）、空間位置変化、周辺画像の特徴を特定
点登録テーブルに登録し（ステップＳ１５７）、当該認
識対象物の動静情報を「移動」にする（ステップＳ１５
８）。移動にする理由は、もし静止しているとしたら、
図１８や図２０の処理で認識対象物の追従に成功してい
るはずだから、移動の場合しか考えられないからであ
る。なお、認識対象物の特定点が１点でも欠けたとき、
又は当該認識対象物のパターン情報が一致しないとき
は、ステップＳ１５６においてその認識対象物の登録を
抹消する。特定点が１点でも欠けたときは、登録を抹消
するのは、認識ミスを起こす可能性が高いためである。

【０１４２】ワークエリアに記憶された認識対象物のす
べてについて、前述の処理をして終了すれば、画像デー
タの中に未だ認識されていない認識対象物があるかどう
かを探索し（ステップＳ１５９）、新たな認識対象物が
あれば（ステップＳ１６０）図１７のステップＳ７６に
進み、そのパターン情報を書き込み（ステップＳ７
６）、動静情報を「不明」として登録し（ステップＳ７
７）、特定点を設定してその数を登録し（ステップＳ７
８）、特定点の空間位置座標（Ｘ，Ｙ，Ｚ）と、「特定
点の周辺画像の特徴」を特定点登録テーブルに登録し
（ステップＳ７９）、前の処理周期と比較した特定点の
空間位置変化を不明として登録する。

【０１４３】新たな認識対象物がなければ（ステップＳ
１６０）、図１７の「リターン」へ進む。

【０１４４】

【発明の効果】以上のように請求項１記載の発明によれ
ば、車両の周辺に存在する各認識対象物に対応して特定
点という概念を導入し、その特定点の情報をメモリに登
録しておき、車両の走行等に基づく特定点の空間的な位
置の変化を予測し、この近傍の誤差範囲の内から、後の
画面で、同一の特定点が存在するかどうかを判定するこ
ととした。

【０１４５】したがって、認識対象物を追従することが
できる。また、画面上の誤差範囲内という限られた場所
で特定点を探索すればよいので処理時間も少なくて済
む。請求項５記載の発明によれば、後の処理周期におけ
る特定点の空間的な位置を予測する場合に、認識対象物
の挙動を推定した上で特定点の空間的な位置の変化を予
測するので、認識対象物が移動している場合であっても
認識対象物を効率よく追従することができる。

【０１４６】請求項７記載の発明によれば、認識対象物
の挙動が分からない場合には、認識対象物は静止してい
るとみなして処理をして、特定点を探索できなかったと
きには、前記誤差範囲を超えたより広い範囲内で、同一
の特定点が存在するかどうかを判定するので、処理時間
の増大を防ぐことができる。

【図面の簡単な説明】

【図１】本発明の一実施例が適用された画像認識処理シ
ステムの構成を示すブロック図である。

【図２】車載カメラによって撮像された画像例を示す図
である。

【図３】図２の画像から直線候補点を結ぶことによって
得られる直線部分を抽出した図である。

【図４】Ｈough変換を説明するための図である。

【図５】Ｈough変換処理を２回繰り返して道路消失点を
求めるための処理を説明するための図である。

【図６】道路消失点の簡易算出方法を説明するための図
である。

【図７】車載カメラのヨー角算出処理を説明するための
フローチャートである。

【図８】車載カメラのヨー角算出処理を説明するための
フローチャート（図７の続き）である。

【図９】車載カメラのピッチ角算出処理を説明するため
のフローチャートである。

【図１０】車載カメラの横ずれ距離算出処理を説明する
ためのフローチャートである。

【図１１】車載カメラの横ずれ距離算出処理を説明する
ためのフローチャート（図１０の続き）である。

【図１２】前方の認識対象物に定義された特定点及びそ
の推定位置の近傍の誤差範囲σを示す図である。

【図１３】実際に次の処理周期で特定点が誤差範囲σの
中に見出されたことを示す図である。

【図１４】車載カメラによって撮像される前方画像例を
示す図である。

【図１５】図１４の画像を処理して認識対象物の輪郭を
抽出し、その輪郭の角又は内部に特定点に設定した状態
を示す図である。

【図１６】図１６(a) は、他車両の左後輪の端の特定点
Ｑ₁及び一定の範囲Ｄ₁、並びに左バックライトの中の
特定点Ｑ₂及び一定の範囲Ｄ₂を示す図であり、同図
(b)は、一定の範囲Ｄ₁及びこの中の特定点Ｑ₁を切り
出した図であり、同図(c) は、一定の範囲Ｄ₂及びこの
中の特定点Ｑ₂を切り出した図である。

【図１７】認識対象物の追従認識処理の手順を説明する
フローチャートである。

【図１８】認識対象物の追従認識処理の手順を説明する
フローチャート（図１７の続き）である。

【図１９】認識対象物の追従認識処理の手順を説明する
フローチャート（図１８の続き）である。

【図２０】認識対象物の追従認識処理の手順を説明する
フローチャート（図１９の続き）である。

【図２１】認識対象物の追従認識処理の手順を説明する
フローチャート（図２０の続き）である。

【符号の説明】

１画像認識処理装置２位置検出処理装置１１車載カラーカメラ１３画像処理回路１５認識処理部１７記憶部２１距離センサ２２方位センサ２５位置検出処理部２７道路地図メモリ２８記憶部２９表示部

【手続補正書】

【提出日】平成６年５月２４日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】０１０３

【補正方法】変更

【補正内容】

【０１０３】なお、(61)式，(62)式, (63)式，(64)式が
誤差を含むものであるとして、カルマンフィルタ等を用
いて、走行距離、方位変化の誤差、姿勢パラメータの推
定誤差、画面上の位置（ｘ′，ｙ′）の推定値と実際値
との差等から、フィタリングにより、特定点の位置
（Ｘ，Ｙ，Ｚ）を時々刻々推定したりすることもでき
る。図１２は、前方の静止認識対象物である道路標識の
処理周期ｔにおける特定点Ｐ_t（ｘ_t，ｙ_t）及びその
次の処理周期ｔ＋１における推定位置の近傍の誤差範囲
σ₁を図示したもので、実際に次の処理周期ｔ＋１にな
れば、特定点Ｐ_t+1（ｘ_t+1′，ｙ_t+1′）は、図１３
に示すように誤差範囲σ₁の中に見出すことができるこ
とを示している。

Claims

【特許請求の範囲】

【請求項１】車両に搭載された車載カメラで車両の周囲
を撮像し、撮像された画像に基づいて車両が走行する道
路周辺の物体を追従認識するための装置であって、車載カメラによって車両の前方又は後方を撮像して、処
理周期ごとにディジタル画像信号に変換する画像処理手
段と、画像処理手段から得られる変換画像に基づいて、画面内
の１つ又は複数の認識対象物の輪郭を抽出し、各認識対
象物に対応して、その位置が決まれば認識対象物の位置
がほぼ決定されるという１つ又は複数の特定点の画面上
の座標を決定し、特定点の周辺の画像の特徴とともにメ
モリに登録する登録手段と、画面上の座標が決定され登録手段により登録された特定
点の座標を、車両が走行している道路に対する車載カメ
ラの姿勢パラメータを用いて、特定点の空間的な位置に
変換する空間座標変換手段と、空間座標変換手段により変換された特定点の空間的な位
置と、各種センサからの信号に基づいて車両の位置を検
出する位置検出処理装置の出力データに含まれる車両の
走行距離データと方位データとから、後の処理周期にお
ける特定点の空間的な位置を予測し、この位置に対応す
る特定点の画面上の座標を推定する推定手段と、画像処理手段から、後の処理周期における変換画像が得
られた場合に、推定手段により推定された画面上の座標
の周辺の誤差範囲内で、同一の特定点が存在するかどう
かを、特定点の周辺の画像の特徴に基づき判定する判定
手段とを備え、判定手段により同一の特定点が存在すると判定された場
合は、その特定点の空間的な位置を求めることにより認
識対象物を追従し、判定手段により同一の特定点が、当
該認識対象物について存在しないと判定された場合は、
当該認識対象物に対応する登録を抹消することを特徴と
する対称物の追従認識装置。
【請求項２】認識対象物に複数の特定点が存在する場合
に、前記判定手段により誤差範囲内にいずれか１つの特
定点が存在すると判定された場合は、その認識対象物を
追従し、誤差範囲内にいずれの特定点も存在しないと判
定された場合は、その認識対象物に対応する登録を抹消
することを特徴とする請求項１記載の対称物の追従認識
装置。
【請求項３】認識対象物に複数の特定点が存在する場合
に、前記判定手段により誤差範囲内にすべての特定点が
存在すると判定された場合のみ、その認識対象物を追従
し、誤差範囲内にいずれかの特定点が存在しないと判定
された場合は、その認識対象物に対応する登録を抹消す
ることを特徴とする請求項１記載の対称物の追従認識装
置。
【請求項４】前記登録手段に、各認識対象物を見分ける
ためのパターン情報も登録しておき、判定手段により同一の特定点が存在すると判定された場
合は、さらに登録手段に登録されたパターン情報との一
致をも判定して、一致しないと判定された場合は、当該
認識対象物に対応する登録を抹消することを特徴とする
請求項１記載の対称物の追従認識装置。
【請求項５】前記の推定手段は、空間座標変換手段によ
り変換された特定点の空間的な位置と、その前の処理周
期で決定された特定点の空間的な位置とから特定点の空
間位置変化を求め、この変化が一定範囲内にあれば、特
定点に係る認識対象物は静止していると判定し、この変
化が一定範囲外にあれば、特定点に係る認識対象物は移
動していると判定し、特定点に係る認識対象物が移動していると判定された場
合には、後の処理周期における特定点の空間的な位置を
求めるときには、この特定点の位置変化を考慮して特定
点の空間的な位置を求めるものである請求項１記載の対
称物の追従認識装置。
【請求項６】前記推定手段は、認識対象物に複数の特定
点が存在する場合に、いずれか１つの特定点について前
記位置変化が一定範囲外にあれば、特定点に係る認識対
象物は移動していると判定し、すべての特定点について
前記位置変化が一定範囲内にあれば、識対象物は静止し
ていると判定する請求項５記載の対称物の追従認識装
置。
【請求項７】前記推定手段は、前の処理周期で特定点の
空間的な位置が求められていない場合には、認識対象物
は静止しているとみなして特定点の空間的な位置を求
め、判定手段により、前記誤差範囲内で、同一の特定点が存
在しなかったと判定された場合には、判定手段は、前記
誤差範囲を超えたより広い範囲内で、同一の特定点が存
在するかどうかを、登録された特定点の周辺の画像の特
徴に基づき判定するものである請求項１記載の対称物の
追従認識装置。
【請求項８】判定手段により同一の特定点が、前記広い
範囲内で当該認識対象物について存在しないと判定され
た場合は、当該認識対象物に対応する登録を抹消するこ
とを特徴とする請求項７記載の対称物の追従認識装置。