JPH0777431A

JPH0777431A - カメラ姿勢パラメータ算出方法

Info

Publication number: JPH0777431A
Application number: JP5223357A
Authority: JP
Inventors: Hiroshi Shimoura; 弘下浦; Kenji Tenmoku; 健二天目
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 1993-09-08
Filing date: 1993-09-08
Publication date: 1995-03-20
Anticipated expiration: 2011-07-10
Also published as: JP2514779B2

Abstract

(57)【要約】【目的】車載カメラの道路に対する姿勢を表す姿勢パメ
ラータを求めること。【構成】認識処理部１５は、車載カメラ１１によって撮
像された画面中の所定種類の物体を認識する。車両の走
行に伴って画面中の物体は変位するから、この変位を推
定することが必要である。この推定のために、車載カメ
ラ１１の道路に対する姿勢パラメータが求められる。姿
勢パラメータの算出に当たっては、ナビゲーション処理
装置２およびアンチロックブレーキ装置３からの支援情
報が用いられる。【効果】ナビゲーション処理装置２などからの支援情報
を用いることによって、姿勢パラメータを効率的に、か
つ、精度良く求めることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車載カメラの道路に対
する姿勢を表すパラメータを算出するための方法に関す
る。

【０００２】

【従来の技術】車載カメラによって車両の前方や後方を
撮像し、撮像された画像中の物体を認識するための技術
が種々提案されている。たとえば、車両の前方を車載カ
メラで撮像し、撮像された画像を画像処理して前方の他
車両を認識することができれば、この認識結果は事故を
回避するための自動運転に用いることができる。すなわ
ち、他車両が異常接近したときには、ステアリングやブ
レーキを自動的に動作させることによって、自動的に事
故を回避できる。また、道路標識を認識することができ
れば、この認識された道路標識に対応する情報を、ナビ
ゲーション装置におけるいわゆる経路誘導機能のために
用いることができる。

【０００３】車載カメラによって撮像される物体を画像
認識する場合、画面中における物体の位置が刻々と変化
する。このように画面中で移動していく物体を時々刻々
と画像認識する場合に、その認識効率を高めるために
は、道路（静止座標系）に対する車載カメラの姿勢を表
すカメラ姿勢パラメータを正確に確定する必要がある。
すなわち、カメラ姿勢パラメータを正確に定めることに
よって、画面中における物体の挙動が推定できる。この
推定結果を利用すれば、撮像された画面から物体を含む
画像部分を切り出し、この切り出された画像に関して画
像認識処理を行うことができる。なお、カメラ姿勢パラ
メータには、道路（静止座標系）に対する車載カメラの
姿勢と、特定の道路平行線に対する車載カメラの相対位
置とが含まれる。

【０００４】

【発明が解決しようとする課題】ところで、従来から、
車両による走行を支援する目的でナビゲーション処理装
置を車両に搭載したり、ブレーキ操作を最適化するため
にアンチロックブレーキ装置を車両に搭載したりするこ
とが行われている。ナビゲーション処理装置は、走行距
離および進行方位に基づいて車両の現在位置を検出し、
それを道路地図とともに表示装置に表示することを基本
機能とする装置である。また、アンチロックブレーキ装
置は、車両の加速度（減速度を含む）を検出するｇセン
サや、車輪の回転速度を検出する車輪速センサを備え、
これらの検出結果に基づいて車輪がロック状態に至らな
いようにブレーキ圧力を制御することによって、最適な
ブレーキングを行えるようにした装置である。

【０００５】これらのナビゲーション処理装置やアンチ
ロックブレーキ装置が保有しているデータには、カメラ
姿勢パラメータの算出に少なからず影響を及ぼすものが
ある。それにもかかわらず、従来技術では、ナビゲーシ
ョン処理装置やアンチロックブレーキ装置によって取り
扱われるデータが有効に利用されていない。そのため、
カメラ姿勢パラメータの算出精度や算出効率が必ずしも
良くなかった。

【０００６】そこで、本発明の目的は、上述の技術的課
題を解決し、位置検出処理装置などからの情報を利用す
ることによって、姿勢パラメータの算出精度や算出効率
を向上することができるカメラ姿勢パラメータ算出方法
を提供することである。

【０００７】

【課題を解決するための手段および作用】上記の目的を
達成するための請求項１記載のカメラ姿勢パラメータ算
出方法は、車載カメラの道路に対する相対的な姿勢を表
す姿勢パラメータを算出するための方法であって、車両
の位置を検出するために必要な情報を保有しているとと
もにその情報に基づいて車両の位置を検出する位置検出
処理装置から所定の情報を取得し、上記車載カメラによ
って撮像された画像から所定の情報を抽出し、上記位置
検出処理装置から取得された情報と、上記車載カメラに
よって撮像された画像から抽出された情報とに基づい
て、車両が走行している道路（静止座標系）に対する上
記車載カメラの姿勢に対応した姿勢パラメータを算出す
ることを特徴とする。

【０００８】このように、位置検出処理装置が保有する
情報を利用して姿勢パラメータが算出されるので、姿勢
パラメータの算出精度や算出効率を高めることができ
る。なお、上記姿勢パラメータには、道路（静止座標
系）に対する車載カメラのヨー角、ロール角およびピッ
チ角、ならびに特定の道路平行線に対する車載カメラの
横方向の相対位置が含まれることが好ましい（請求項
２）また、上記姿勢パラメータの算出に当たり、上記車
載カメラによって撮像される画面内において道路が消失
する点である道路消失点、および道路に平行な線である
道路平行線が求められ、求められた上記道路消失点およ
び上記道路平行線に基づいて姿勢パラメータが算出され
ることが好ましい（請求項３）。このようにを道路消失
点および道路平行線が求まれば、姿勢パラメータを良好
に算出することができる。

【０００９】なお、上記位置検出処理装置が、車両の進
行方位に関する情報と、車両が走行中の道路の方位に関
する情報とを保有している場合には、車両の進行方向と
道路平行線とのなす角が、車両の進行方位と道路の方位
との差に基づいて求められ、この方位差が上記姿勢パラ
メータの算出のために用いられることが好ましい（請求
項４）。このようにして、位置検出処理装置が保有して
いる方位に関する情報は、姿勢パラメータの算出のため
に直接的に利用できる。

【００１０】また、一定距離走行前後の車両の進行方位
の変化と、上記一定距離走行前後における道路の方位の
変化との差が、所定値以下であれば、車両の進行方向と
道路平行線線とのなす角は零であるものとすることがで
きる（請求項５）。さらに、車両の進行方位の変化が、
一定距離以上連続して一定値以下であるとき、車両の進
行方向と道路平行線とのなす角は零であるものとするこ
とができる（請求項６）。

【００１１】なお、車両の進行方向と道路平行線とのな
す角が零のときにのみ、上記姿勢パラメータを算出する
ことが好ましい（請求項７）。車両が道路と平行に走行
していない場合には、姿勢パラメータの算出精度が劣化
するおそれがあるからである。また、上記位置検出処理
装置が、車両の進行方位に関する情報を保有している場
合には、車両の進行方位の変化の割合が一定値以上のと
きには、上記姿勢パラメータの算出を禁止することが好
ましい（請求項８）。カーブを走行中の場合のように車
両の進行方位の変化の割合が大きいときには、車両のロ
ール角が異常に大きくなるおそれがあり、姿勢パラメー
タの算出精度が劣化するおそれがあるからである。

【００１２】さらに、上記位置検出処理装置が、車両の
走行速度に関する情報を保有している場合には、車両の
走行速度が一定範囲内のときにのみ、上記姿勢パラメー
タを算出することが好ましい（請求項９）。車両の振動
が生じるような走行速度では、姿勢パラメータの算出精
度が劣化するおそれがあるからである。また、上記位置
検出処理装置が、車両の加速度に関する情報を保有して
いる場合には、車両の加速度が一定値以上のときには、
上記姿勢パラメータの算出を禁止することが好ましい
（請求項１０）。加速度が大きいときには、車両のピッ
チ角が異常に大きくなるおそれがあり、姿勢パラメータ
の算出精度が悪くなるおそれがあるからである。

【００１３】また、一定走行距離ごとまたは一定時間間
隔ごとに、上記姿勢パラメータを算出し、その平均値を
車両に対する車載カメラの取付け姿勢に対応したパラメ
ータとしてもよい（請求項１１）。請求項１２記載のカ
メラ姿勢パラメータ算出方法は、上記位置検出処理装置
からの情報の他に、ブレーキを制御するために必要な情
報を保有しているとともにその情報に基づいてブレーキ
を制御するブレーキ制御装置からも所定の情報を取得
し、取得された情報に基づいて、上記姿勢パラメータが
算出されることを特徴とする。

【００１４】この方法では、ブレーキ制御装置が保有し
ている情報をも利用してカメラ姿勢パラメータの算出が
行われる。ブレーキ制御装置の典型例は、アンチロック
ブレーキ装置である。たとえば、上記ブレーキ制御装置
が、車両の加速度に関する情報を保有するものである場
合には、車両の加速度が一定値以上のときには、上記姿
勢パラメータの算出を禁止することが好ましい（請求項
１３）。車両のピッチ角が異常に大きくなって姿勢パラ
メータの算出精度が悪くなるおそれがあるからである。

【００１５】また、上記ブレーキ制御装置が、ブレーキ
が操作されたかどうかに関する情報を保有するものであ
る場合には、ブレーキが操作されたときに、上記姿勢パ
ラメータの算出を禁止することが好ましい（請求項１
４）。車両のピッチ角が異常に大きくなり、姿勢パラメ
ータの算出精度が劣化するおそれがあるからである。

【００１６】

【実施例】以下では、本発明の一実施例が適用された車
両用画像認識システムについて詳細に説明する。１．車両用画像認識処理システムの概要以下で説明する車両用画像認識処理システムは、車両に
搭載されたカラーカメラで車両の周囲を撮像し、撮像さ
れた画像に基づいて道路の周辺の物体を認識するための
装置である。認識される物体は、たとえば、信号機、道
路標識、道路の表面に描かれた道路表示および走行中の
道路と立体交差している高架道路等の道路施設ならびに
他車両などである。

【００１７】車両用画像認識処理システムは、次の〜
の４つの処理を実行することによって、車載カラーカ
メラで撮像された画像から、道路に関連した施設などの
物体を認識する。なお、、およびの各処理に関し
ては、必ずしもカラーカメラが用いられる必要はない。直線部抽出処理道路消失点算出処理カメラ姿勢パラメータ算出処理物体認識処理直線部抽出処理とは、車載カラーカメラによって撮像さ
れた画像中の車両の進行方向に沿った直線部分を抽出す
る処理である。直線部分には、道路の両側部、道路上の
白線や黄線、中央分離帯、路側帯、前方の車両の輪郭線
などがある。

【００１８】道路消失点算出処理とは、自車両が走行し
ている道路が画面上で消失する点を演算する処理であ
る。具体的には、直線部抽出処理によって抽出された直
線の交わる点が道路消失点として算出される。カメラ姿
勢パラメータ算出処理とは、道路に対する車載カメラの
姿勢などを求めるための処理である。この処理には、道
路消失点算出処理によって得られた道路消失点が利用さ
れる。

【００１９】物体認識処理とは、車載カメラで撮像され
た画像中の物体を画像認識するための処理である。物体
認識処理では、特定の物体を認識する際に、その物体が
含まれている画像領域を画面から切り出す処理が行われ
る。この場合、画面中における物体の位置は車両の走行
に伴って変化していく。そこで、物体の画面上における
変位が、上記のカメラ姿勢パラメータなどに基づいて推
定され、これに基づいて画像の切り出しが行われる。

【００２０】このような車載用画像認識処理システムに
よれば、自車両の周囲の物体を認識することができる。
そのため、認識結果を車両のステアリングやブレーキの
自動制御に利用することにより、車両の自動運転への途
がひらかれ、車両の安全な運行に寄与できる。以下で
は、先ず、車載用画像認識処理システムの構成について
説明する。そして、上記〜の直線部抽出処理、道路
消失点算出処理、カメラ姿勢パラメータ算出処理および
物体認識処理について順に詳述する。２．車両用画像認識処理システムの構成図１は、車両用画像認識処理システムの電気的構成を示
すブロック図である。この車両用画像認識処理システム
は、車両の周辺の物体を画像認識するための画像認識処
理装置１を備えている。この画像認識処理装置１には、
車両の現在位置および車両の進行方位を検出して道路地
図とともに表示装置に表示するためのナビゲーション処
理装置２と、急制動操作時などにおいて車輪がロック状
態となることを回避するためのアンチロックブレーキ装
置３とが接続されている。画像認識処理装置１における
処理には、ナビゲーション処理装置２およびアンチロッ
クブレーキ装置３の各内部情報が支援情報として用いら
れる。

【００２１】画像認識処理装置１は、車両のたとえば前
方部や車室内に取り付けられた車載カラーカメラ１１を
備えている。この車載カラーカメラ１１は、車両の前方
を撮像することができるものである。車載カラーカメラ
１１のほかに、または車載カラーカメラ１１に代えて、
車両の後方や車両の側方を撮像できる別の車載カメラが
備えられていてもよい。

【００２２】車載カラーカメラ１１は、撮像した画面の
各点をカラー表現したアナログ電気信号を出力する。こ
のアナログ信号は、画像処理回路１３において、アナロ
グ／ディジタル変換等の処理を受けて、画像データに変
換される。この画像データは、マイクロコンピュータな
どを含む認識処理部１５に入力される。認識処理部１５
には、ＲＡＭ（ランダム・アクセス・メモリ）などを含
む記憶部１７が接続されている。また、認識処練部１５
には、ナビゲーション処理装置２およびアンチロックブ
レーキ装置３からの支援情報が与えられている。

【００２３】ナビゲーション処理装置２は、車両の走行
距離を検出するための距離センサ２１および車両の進行
方位を検出するための方位センサ２２を備えている。こ
れらのセンサ２１および２２の出力は、センサ処理回路
２３において処理されることにより、走行距離データお
よび現在方位データに変換される。これらのデータが、
マイクロコンピュータなどを内部に含む位置検出処理部
２５に入力される。位置検出処理部２５は、センサ処理
回路２３から入力されるデータに基づいて、車両の現在
位置データを算出する。

【００２４】位置検出処理部２５には、道路地図を記憶
した道路地図メモリ２７と、ＲＡＭなどを含む記憶部２
８と、ＣＲＴ（陰極線管）や液晶表示パネルからなる表
示部２９とが接続されている。道路地図メモリ２７は、
たとえば、ＣＤ−ＲＯＭで構成されている。位置検出部
２５は、算出された現在位置データに基づいて道路地図
メモリ２７を検索し、現在位置の周辺の道路地図を読み
出す。この道路地図は、表示部２９に表示される。この
とき、車両の現在位置を表すマークが道路地図上に重ね
て表示される。

【００２５】位置検出処理部２５は、画像認識処理装置
１の認識処理部１５に、道路地図データ、現在方位デー
タ、現在位置データおよび走行距離データを、支援情報
とし与える。これらのデータの他に、単位時間当たりま
たは単位走行距離当たりの進行方位の変化量を表す方位
変化データが支援情報として認識処理部１５に与えられ
てもよい。

【００２６】アンチロックブレーキ装置３は、車輪の回
転速度を検出する車輪速センサ３１と車体の加速度（減
速度を含む）を検出するためのｇセンサ３２とを備えて
いる。これらのセンサ３１，３２の出力は、センサ処理
回路３３で処理されることにより、車輪速データおよび
ｇセンサデータに変換される。これらのデータは、マイ
クロコンピュータを内部に含む制動処理部３５に入力さ
れる。制動処理部３５には、ＲＡＭなどからなる記憶部
３７が接続されている。なお、距離センサ２１と車輪速
センサ３１とは共用化が可能であり、いずれか１つのセ
ンサのみを設け、その１つのセンサの出力をナビゲーシ
ョン処理装置２およびアンチロックブレーキ装置３にお
いて共通に用いてもよい。

【００２７】制動処理部３５は、ブレーキペダルが操作
されると、車輪速データおよびｇセンサデータに基づい
て、ブレーキデータを作成する。そして、このブレーキ
データに基づいて図外の電磁ソレノイドなどを制御す
る。これによって、各車輪のブレーキ圧力が制御され、
車輪がロックすることが防止される。制動処理部３５
は、ｇセンサデータおよびブレーキデータを画像認識処
理装置１の認識処理部１５に、支援情報として与える。３．直線部抽出処理次に、直線部抽出処理について説明する。

【００２８】図２は、車載カラーカメラ１１によって撮
像された画像例を示す図である。車両の前方に向けられ
た車載カラーカメラ１１によって撮像される画像中に
は、走行中の道路４１が入っている。道路４１には、中
央白線４２が形成されており、路側付近には、路側白線
４３が形成されている。また、道路４１の側部には、路
側帯４４が設けられている。画面中において、走行中の
道路４１が消失する箇所が、道路消失点ＮＰである。な
お、４６，４７，４８は、前方を走行中の他車両であ
る。

【００２９】図３は、画像中の直線部分を抽出した図で
ある。すなわち、道路４１の両側部、中央白線４２、路
側白線４３、路側帯４４の側部、および他車両４６，４
７，４８の輪郭が、直線部分として抽出されている。こ
の図３から明らかなように、道路消失点ＮＰは、車両の
進行方向５０（図２参照）に沿った直線Ｌ１，Ｌ２，・・
・・の交点として求めることができる。

【００３０】直線部抽出処理では、車載カラーカメラ１
１で撮像された画像は、水平走査方向ＤＨに沿って走査
される。この走査が、画面の上端から下端まで行われ
る。水平方向ＤＨに沿った各走査線上において、直線Ｌ
１，Ｌ２，・・・・上の点が直線候補点Ｐ₁₁，Ｐ₁₂，・・・・；
Ｐ₂₁，Ｐ₂₂，・・・・として検出される。この直線候補点の
検出処理は、車載カラーカメラ１１から認識処理部１５
を通って記憶部１７に記憶された画像データを順に読み
出すようにして実行される。

【００３１】直線候補点は、水平走査方向ＤＨに沿って
画面を構成する各画素を走査したときに、色度もしくは
輝度またはその両方が安定している安定状態と、色度も
しくは輝度またはその両方が大きく変化する不安定状態
との間で遷移したことに基づいて検出される。安定状態
および不安定状態は、それぞれ、次のようにして検出さ
れる。

【００３２】たとえば、車載カラーカメラが、赤
（Ｒ）、緑（Ｇ）および青（Ｂ）に対応した３原色信号
を出力するものであるとする。この３原色信号は色調を
表す信号である。色調とは、色度と輝度とを合わせて表
現した量である。この場合、記憶部１７には、ＲＧＢの
３原色画像データが記憶されることになる。水平走査方
向ＤＨに沿った走査線上の任意の点におけるＲ、Ｇ、Ｂ
の各画像データをｒ(t) 、ｇ(t) 、ｂ(t) とする。ｔ
は、処理シーケンスを表し、水平走査方向ＤＨに沿った
走査線上の１つの点に対応する。

【００３３】この場合に、不安定状態は、下記第(1) 式
で定義される判定値Ｐ(t) に対して、下記第(2) 式が成
立することに基づいて検出される。ｍ１は定数である。
また、ｊ₁，ｊ₂およびｊ₃は重み付けのための定数で
ある。たとえば、Ｒデータは明るさの変化に対する変動
が大きいので定数ｊ₁は比較的大きな値とされ、Ｂデー
タは明るさの変化に対する変動が小さいので定数ｊ₃は
比較的小さな値とされる。

【００３４】Ｐ(t) ＝ｊ₁｜ｒ(t) −ｒ(t-1) ｜＋ｊ₂｜ｇ(t) −ｇ(t-1) ｜＋ｊ₃｜ｂ(t) −ｂ(t-1) ｜・・・・ (1) Ｐ(t) ＞ｍ１・・・・ (2) すなわち、水平走査方向ＤＨに沿って隣接する２つの処
理対象点の色調の変化の絶対値の線形和が、所定の定数
ｍ１よりも大きい場合に、色調が大きな変化を示してい
ることが検出される。隣接する処理対象点は、必ずしも
隣接する２つの画素とは限らず、或る所定数の画素間隔
で処理対象点を設定してもよい。

【００３５】なお、上記の判定値Ｐ(t) の代わりに、下
記第(3) 式で定義される判定値Ｐ₁(t) を用い、この判
定値Ｐ₁(t) が下記第(4) 式を満たすときに不安定状態
であるものと判定してもよい。なお、ｍ２は定数であ
る。また、ｋ₁，ｋ₂およびｋ ₃は重み付けのための定
数である。Ｐ₁(t) ＝ｋ₁｛ｒ(t) −ｒ(t-1) ｝² ＋ｋ₂｛ｇ(t) −ｇ(t-1) ｝²＋ｋ₃｛ｂ(t) −ｂ(t-1) ｝² ・・・・ (3) Ｐ₁(t) ＞ｍ２・・・・ (4) この場合には、水平走査方向ＤＨに沿って隣接する２つ
の処理対象点の色調の変化の自乗の線形和が、所定の定
数ｍ２よりも大きい場合に、不安定状態であることが検
出される。

【００３６】一方、色調の安定状態は、上記第(1) 式の
判定値Ｐ(t) に対して、下記第(5)式が、一定個数（た
とえば１０個）以上の連続する処理対象点に関して成立
することに基づいて検出される。ｎ１は定数である（た
だし、ｎ１＜ｍ１）。Ｐ(t) ＜ｎ１・・・・ (5) すなわち、水平走査方向ＤＨに隣接する２つの処理対象
点の色調の変化の絶対値の線形和が、所定の定数ｎ１よ
りも小さい状態が、一定個数の処理対象点に関して続い
ている場合に、色調が安定していることが検出される。

【００３７】なお、上記第(3) 式の判定値Ｐ₁(t)を用
い、この判定値Ｐ₁(t)が、下記第(6)式を、一定個数
（たとえば１０個）以上の連続する処理対象点に関して
満たすときに、安定状態であるものと判定してもよい。
なお、ｎ２は定数である（ただし、ｎ２＜ｍ２）。Ｐ₁(t)＜ｎ２・・・・ (6) この場合には、水平走査方向ＤＨに沿って隣接する２つ
の処理対象点の色調の変化の自乗の変形和が所定の定数
ｎ２よりも小さい状態が、一定個数の処理対象点に関し
て続いている場合に、安定状態であることが検出され
る。

【００３８】安定状態の検出には、上記の手法の他に
も、指数平滑を用いた手法を適用することができる。た
とえば、上記第(1) 式の判定値Ｐ(t) を用いて下記第
(7) 式の新たな判定値Ｑ(t) を求め、この判定値Ｑ(t)
が下記第(8) 式を満たすことに基づいて安定状態を検出
してもよい。この場合には、一定個数の連続する処理対
象点に対する判定結果を継続して監視する必要がない。
また、この指数平滑を用いた手法では、画像中のノイズ
の影響を排除して、安定状態の検出を良好に行えるとい
う利点がある。なお、下記第(7) 式のαおよび下記第
(8) 式のｎ３は、いずれも定数である。

【００３９】Ｑ(t) ＝α・Ｐ(t) ＋（１−α）・Ｑ(t-1) ・・・・ (7) Ｑ(t) ＜ｎ３・・・・ (8) 同様に、上記第(3) 式の判定値Ｐ₁(t)を用いて下記第
(9) 式の新たな判定値Ｑ ₁(t)を求め、この判定値Ｑ₁(t)
が下記第(10)式を満たすことに基づいて安定状態を検出
することもできる。ｎ４は定数である。

【００４０】Ｑ₁(t)＝α・Ｐ₁(t)＋（１−α）・Ｑ₁(t-1) ・・・・ (9) Ｑ₁(t)＜ｎ４・・・・ (10) なお、ＲＧＢディジタル信号を用いる場合だけでなく、
ＨＣＶ（Hue(彩度),Contrast（明度),Value(輝度））デ
ィジタル信号や、ＹＵＶディジタル信号（１つの輝度情
報および２つの色情報からなる信号）を用いる場合につ
いても、上記と同様にして安定状態および不安定状態を
それぞれ検出することができる。また、輝度および色度
のうちのいずれか一方のみを用いて安定状態および不安
定状態を検出してもよい。なお、彩度および明度は色度
に相当する。

【００４１】ＲＧＢディジタル信号と、ＨＣＶディジタ
ル信号またはＹＵＶディジタル信号とは、互いに変換可
能である。たとえば、ＲＧＢディジタル信号とＹＵＶデ
ィジタル信号とは、下記第(11)式乃至第(16)式によって
相互に変換することができる（「インタフェース」1991
年12月号参照）。Ｙ＝ 0.2990・Ｒ＋0.5870・Ｇ＋0.1140・Ｂ・・・・ (11) Ｕ＝−0.1684・Ｒ−0.3316・Ｇ＋0.5000・Ｂ・・・・ (12) Ｖ＝ 0.5000・Ｒ−0.4187・Ｇ−0.0813・Ｂ・・・・ (13) Ｒ＝Ｙ＋1.4020・Ｖ・・・・ (14) Ｇ＝Ｙ−0.3441・Ｕ−0.7139・Ｖ・・・・ (15) Ｂ＝Ｙ＋1.7718・Ｕ−0.0012・Ｖ・・・・ (16) 図４は直線候補点の検出処理を説明するための図であ
る。図４(a) は車載カラーカメラ１１によって撮像され
た画像例を示し、図４(b) は或る走査線ＳＨＬ上におけ
るＲ、Ｇ、Ｂディジタルデータの変化を示す。Ｒ、Ｇ、
Ｂの各データの変化は、それぞれ曲線ＬＲ、ＬＧ、ＬＢ
で示されている。この図４から、道路５１に形成された
白線５２，５３，５４および中央分離帯５５の付近で
は、色調が激しく変化することが理解される。また、白
線などが形成されていない道路表面に対応した画像部分
に対しては、色調が安定していることが理解される。

【００４２】図５は、直線候補点を検出するために認識
処理部１５によって実行される処理を説明するためのフ
ローチャートである。ステップＳ１では、車載カラーカ
メラ１１で撮像される１枚のカラー画像のデータが記憶
部１７に格納される。そして、画像の上端から水平方向
に画素を走査しながら、処理対象の画素に対する処理が
行われる（ステップＳ２）。或る１本の走査線上の全て
の処理対象の画素に対する処理が終了したときには（ス
テップＳ３）、走査する対象を垂直方向に移動して処理
が実行される（ステップＳ４）。垂直方向への処理も終
了すれば（ステップＳ５）、１枚のカラー画像に対する
直線候補点の検出処理を終了する。

【００４３】水平走査方向に沿った走査線上の全ての処
理対象の画素に対する処理が終了する以前には、ステッ
プＳ３からステップＳ６に処理が移る。ステップＳ６で
は、或る１つの処理対象の画素に対して安定状態か不安
定状態かを検出するために必要なデータが記憶部１７か
ら読み出される。そして、ステップＳ７では、不安定状
態であるかどうかが判定される。すなわち、上記第(2)
式または上記第(4) 式が満たされているかどうかが判定
される。不安定状態であると判定されたときには、ステ
ップＳ８において、それ以前には、安定状態であるとの
判定がなされていたかどうかが判断される。もしそうで
あれは、その時点の処理対象の画素は、安定状態から不
安定状態への変化点の画素である。したがって、ステッ
プＳ１１において、その処理対象の画素の座標（画面上
における座標）が、直線候補点の座標として記憶部１７
に格納される。ステップＳ７において不安定状態と判定
される以前にも不安定状態と判定されていた場合には、
不安定状態が継続しているだけであるから、直線候補点
が検出されていないものとして、ステップＳ２に戻る。

【００４４】ステップＳ７において不安定状態でないと
判定されたときには、ステップＳ９に進む。ステップＳ
９では、それ以前に処理された一定個数（Ｎ）の処理対
象画素に関して、色調の変化が小さいかどうかが調べら
れる。すなわち、上記第(5)式または第(6) 式を満たす
処理対象点が一定個数（Ｎ）以上連続しているかどうか
が判断される。上記第(5) 式または第(6) 式を満たす処
理対象点が一定個数（Ｎ）以上連続していれば、ステッ
プＳ１０において、さらに、（Ｎ＋１）個前の処理対象
点において、不安定状態が検出されたかどうかが判断さ
れる。不安定状態が検出されていれば、その不安定状態
が検出された処理対象点が、直線候補点として検出さ
れ、その座標が記憶部１７に格納される（ステップＳ１
１）。

【００４５】一方、ステップＳ９において一定個数
（Ｎ）分の処理対象点に関して色調の変化が小さい状態
が継続しているわけではないと判断されたときは、ステ
ップＳ２に戻る。また、ステップＳ１０において、（Ｎ
＋１）個前の処理対象点において不安定状態が検出され
ていないときにも、ステップＳ２に戻る。このようにし
て、車載カラーカメラ１１で撮像された画像が水平走査
方向に沿って走査され、走査線上における色調の変化の
程度が調べられる。そして、色調が安定している安定状
態と、色調が不安定な不安定状態とが切り換わる処理対
象点が、直線候補点として検出される。

【００４６】直線を検出するためには、たとえば単に輝
度の強弱の変化点のみを捕らえて直線候補点とすること
も考えられる。しかし、この場合には、道路上の白線の
ように、コントラストの明瞭な直線のみしか検出できな
いおそれがある。これに対して、色度もしくは輝度また
はその両方の安定状態と不安定状態との切り換わりに基
づいて直線候補点を検出するようにした上記の構成で
は、路側帯や中央分離帯および車両の輪郭に対応した処
理対象点をも、直線候補点として抽出することができ
る。したがって、画像中に含まれる多数の直線を抽出す
ることができるので、次に説明する道路消失点算出処理
を良好に行うことができる。

【００４７】なお、画像中に含まれるノイズの影響を排
除するために、不安定状態の検出に当たり、色調などの
変化が大きな状態が一定個数の処理対象点に関して継続
していることを条件としてもよい。また、１本の走査線
上のデータだけでなく、近傍の走査線上のデータも利用
して直線候補点の検出を行ってもよい。たとえば、或る
処理対象点が直線候補点であると考えられる場合に、垂
直方向に隣接する点が直線候補点であることを条件とし
て、その処理対象点を直線候補点と決定するようにして
もよい。このようにすれば、画像中に含まれるノイズの
影響を排除して、直線候補点を良好に検出できる。４．道路消失点算出処理道路消失点算出処理は、直線部抽出処理によって得られ
た直線候補点を用いて、図２に示す道路消失点ＮＰを求
める処理である。図３から明らかなように、道路消失点
を求める処理は、直線候補点Ｐ₁₁，Ｐ₁₂，・・・・；Ｐ₂₁，
Ｐ₂₂，・・・・を連結する直線の交点を求める処理にほかな
らない。

【００４８】道路消失点算出処理は、直線候補点の座標
列に対して、Ｈough変換処理を２回繰り返して施すこと
によって行われる。そこで、まず、Ｈough変換について
概説する。図６(a) および図６(b) はＨough変換を説明
するための図である。図６(a) に示すように、複数の点
（ｘ_i，ｙ_i）（ただし、ｉ＝１，２，３，・・・・）が直
線ｘ＝ａｙ＋ｂの上に存在していれば、任意のｉに対し
て、ｘ_i＝ａｙ_i＋ｂが成立する。この式を（ａ，ｂ）
を変数とみなしてａｂ座標平面で考えると、この座標平
面での直線の式は、ｂ＝−ｙ_iａ＋ｘ_iとなる。全ての
ｉについてのａｂ平面上におけるグラフ化は、図６(b)
に示されている。すなわち、複数のｉに対応した複数の
直線群は、或る一点（ａ₀，ｂ₀）を通る。これは、複
数の点（ｘ_i，ｙ_i）がいずれも１つの直線上に存在し
ていることの当然の帰結である。

【００４９】そこで、ａｂ座標平面を充分に細かな格子
升目に区画し、（ｘ_i，ｙ_i）に対応する直線が或る格
子升目を通過するものであるときに、その格子升目の計
数を１だけ増やす。この操作を全ての（ｘ_i，ｙ_i）関
して行う操作がＨough変換である。上記の場合、
（ａ₀，ｂ₀）の点の格子升目の計数値が最大となるは
ずである。そこで、ａｂ座標平面上で計数値が最大の格
子升目を求めれば、（ａ₀，ｂ₀）が求まる。したがっ
て、複数の点（ｘ_i，ｙ_i）を通る直線の方程式は、ｘ
＝ａ₀ｙ＋ｂ₀と定めることができる。このように、Ｈ
ough変換は、画像処理の分野において、複数の点
（ｘ_i，ｙ_i）を通る直線を求める際に用いられる。

【００５０】図７はＨough変換を２回繰り返して道路消
失点を求めるための処理を説明するための図である。図
７(a) には車載カメラ１１によって撮像された画面に対
応した座標平面であるｘｙ座標平面が示されており、図
７(b) には１回目のＨough変換における変換座標（第１
の変換座標）平面であるａｂ座標平面が示されており、
図７(c) には２回目のＨough変換における変換座標（第
２の変換座標）平面であるｍｎ座標平面が示されてい
る。

【００５１】図７(a) に示すように、直線候補点Ｐ₁₁，
Ｐ₁₂，・・・・；Ｐ₂₁，Ｐ₂₂，；Ｐ₃₁，Ｐ₃₂，・・・・がそれぞ
れ属する直線Ｌ１，Ｌ２，Ｌ３は、道路消失点（ｘ₀，
ｙ₀）で交わる。座標（ｘ₀，ｙ₀）を通る直線の方程
式は、下記第(17)式のとおりである。なお、Ｃは定数で
ある。ｘ＝Ｃ（ｙ−ｙ₀）＋ｘ₀＝Ｃｙ＋（ｘ₀−Ｃｙ₀）・・・・ (17) そこで、ａ＝Ｃ、ｂ＝ｘ₀−Ｃｙ₀とおくと、変換式ｘ
＝ａｙ＋ｂが得られ、ａ，ｂの関係は下記第(18)式で表
される。

【００５２】ｂ＝−ａｙ₀＋ｘ₀ ・・・・ (18) 直線候補点Ｐ₁₁，Ｐ₁₂，・・・・；Ｐ₂₁，Ｐ₂₂，；Ｐ₃₁，Ｐ
₃₂，・・・・の座標に対してＨough変換を施した場合、ａｂ
座標平面では、複数の直線Ｌ１，Ｌ２，Ｌ３に対応し
て、計数値が極大値をとる格子升目が複数個得られるは
ずである。しかし、直線Ｌ１，Ｌ２，Ｌ３は一点
（ｘ₀，ｙ₀）で交わるのであるから、極大値をとる格
子升目Ｄ₁，Ｄ₂，Ｄ₃は、上記第(18)式の直線上にな
ければならない（図７(b) 参照）。

【００５３】そこで、極大値をとる格子升目Ｄ₁，
Ｄ₂，Ｄ₃の座標に対して、下記第(19)式の変換式を用
いて、２回目のＨough変換をｍｎ座標平面上に行う。ｂ＝ｍａ＋ｎ・・・・ (19) ａｂ座標平面において計数値が極大となる格子升目
Ｄ₁，Ｄ₂，Ｄ₃は第(18)式の直線上にあるから、ｍｎ
座標平面では、ｍ＝−ｙ₀、ｎ＝ｘ₀に対応した格子升
目の計数値が最大となる。これにより、ｘｙ座標平面に
おける道路消失点ｎＰの座標（ｘ₀，ｙ₀）を求めるこ
とができる。

【００５４】図８、図９、図１０および図１４は道路消
失点を算出するために認識処理部１５（図１参照）にお
いて実行される処理を説明するためのフローチャートで
ある。先ず、ナビゲーション処理装置２から与えられる
支援情報が参照される（ステップＳ２１）。この情報を
基に、車両の前方の道路が直線道路であるかどうか（ス
テップＳ２２）、走行道路の属性（幹線道路かどうかな
ど）が所定の基準を満たしているかどうか（ステップＳ
２３）、および車両が道路とほぼ平行に走行しているか
どうか（ステップＳ２４）が調べられる。いずれかの条
件が満たされていないときには、道路消失点の算出を禁
止して、処理を終了する。これらの全ての条件が満たさ
れていなければ道路消失点を算出できない可能性が高い
ので、無駄な処理を省く目的である。たとえば、カーブ
走行中であれば、車載カメラ１１によって撮像される画
面の中には道路消失点がない可能性が高く、しかも、直
線を抽出できないからＨough変換による道路消失点の算
出は困難である。また、走行中の道路が幹線道路以外の
細い道路であれば、あまり長い直線区間が続かないこと
が多いので、道路消失点が見つからない可能性が高い。
さらに、車線変更中のように車両が道路と平行に走行し
ていないときには、撮像された画面中に道路消失点が存
在していないおそれがある。

【００５５】なお、走行中の道路が直線道路かどうかの
判断や、その道路が所定の属性の道路であるかどうかの
判断は、ナビゲーション処理装置２から与えられる道路
地図データに基づいて行われる。ナビゲーション処理装
置２の位置検出処理部２５は、車両が走行している道路
に関するデータを道路地図メモリ２７から読み出して、
認識処理部１５に与える。また、車両が道路と平行に走
行しているかどうかの判断は、走行中の道路の方位（道
路地図データとしてナビゲーション処理装置２から与え
られる。）と、車両の進行方位に対応した現在方位デー
タとを照合することによって行われる。

【００５６】上述のステップＳ２２，Ｓ２３およびＳ２
４の各条件が満たされているときには、ステップＳ２５
に進む。ステップＳ２５では、１回目のＨough変換処理
のために、記憶部１７から直線候補点の座標（ｘ，ｙ）
が読み出される。変換式は、ｘ＝ａｙ＋ｂである。ま
た、画面上ではｘ，ｙは、それぞれ１≦ｘ≦２５６、１
≦ｙ≦２５６の範囲内の値をとるものとする。なお、ａ
ｂ座標平面においては、ａ軸方向に沿う長さΔａが
「０．０１」でｂ軸方向に沿う長さΔｂが「１」の格子
升目が設定される。

【００５７】ステップＳ２６では、直線の傾きに対応し
た係数ａの値が下記第(20)式の範囲内のいずれかの値に
設定される。この第(20)式の範囲は、車両が道路にほぼ
沿って走行している場合には、道路消失点に至る画面中
の全直線の傾きをカバーできる範囲である。ｋ１≦ａ≦ｋ２（たとえば、ｋ１＝−２、ｋ２＝２）・・・・ (20) 続いて、ステップＳ２７では、下記第(21)式に従って、
係数ｂの値が求められる。

【００５８】ｂ＝−ａｙ＋ｘ・・・・ (21) ステップＳ２８では、求められたｂが下記第(22)式の範
囲内の値かどうかが調べられる。この範囲は、上記車両
が道路と平行に走行している場合に画面中に現れる直線
であって道路消失点に至るものをカバーするのに必要充
分な範囲である。

【００５９】ｋ３≦ｂ≦ｋ４（たとえば、ｋ３＝−511 、ｋ４＝768 ）・・・・ (22) ｂの値が上記の範囲内でなければ（ステップＳ２９）、
ステップＳ２６に戻り、ａの値を変化させて（０．０１
ずつ変化させる。）同様な処理が行われる。ｂの値が上
記の範囲内であれば、該当する格子升目の計数値がカウ
ントアップされる（ステップＳ３０）。ステップＳ３１
では、上記のａ，ｂの範囲内の格子升目の計数値のうち
の最大値ｐが記憶部１７に記憶される。

【００６０】このような処理が、上記第(20)式のａの範
囲に関して行われる（ステップＳ３２）。そして、上記
第(20)式の全範囲のａについての処理が終了すると、次
の直線候補点の座標（ｘ，ｙ）が記憶部１７から読み出
されて同様な処理が行われる（ステップＳ３３）。この
ようにして、全ての直線候補点に関してステップＳ２５
〜Ｓ３３の処理が行われることにより、１回目のＨough
変換処理が達成される。

【００６１】１回目のＨough変換処理が終了すると、格
子升目の計数値が１つずつ順に参照される（図９のステ
ップＳ３４）。ステップＳ３５では、参照された計数値
が一定値ｋ５・ｐ（ｋ５は定数であり、たとえば０．５
とされる。このとき、ｋ・ｐは最大計数値ｐの２分の１
となる。）以上かどうかが調べられる。計数値が一定値
ｋ５・ｐ未満であれば、ステップＳ３４に戻って、次の
格子升目の計数値に対して同様な処理が実行される。ま
た、計数値がｋ５・ｐ以上のときは、さらに、一定値ｋ
６（たとえば、３とされる。）以上かどうかが調べられ
る（ステップＳ３６）。これは、最大計数値ｐが小さい
場合を考慮したものである。計数値が一定値ｋ６に満た
なければ、ステップＳ３４に戻る。

【００６２】次に、格子升目の計数値が充分に大きいと
判断された点の座標が、記憶部１７に登録されている格
子升目代表値と比較される（ステップＳ３７）。格子升
目代表値とは、格子升目の計数値が充分に大きな点であ
って所定距離範囲内（たとえば、格子升目５０個分）に
ある点のグループを代表する点の座標である。つまり、
格子升目の計数値が大きな点は、近くに有るもの同士が
同一群に属するようにグループ分けされる。格子升目代
表値は、グループ中の１つの格子升目の点の座標であ
る。たとえば、そのグループ内に最後に登録された点の
座標が、格子升目代表値とされる。各グループには群番
号が付与される。

【００６３】近くに格子升目代表値がない場合には（ス
テップＳ３８）、処理対象となっている格子升目の点の
座標が格子升目代表値として登録され、この格子升目代
表値に群番号が付与される（ステップＳ３９）。近くに
格子升目代表値があれば、この処理は省かれる。次に、
処理対象の格子升目の点に対して、格子升目代表値に対
応した群番号が付与される（ステップＳ４０）。このよ
うにして格子升目の計数値の大きな点に対しては、いず
れかの群番号が付与され、これによって格子升目の分類
が達成される。

【００６４】上記のような処理が、上記第(20)式および
第(22)式のａ，ｂの範囲内の全格子升目に関して実行さ
れる（ステップＳ４１）。そして、ステップＳ４２で
は、格子升目代表値が登録されたグループが、２つ以上
あるかどうかが判断される。２つ以上のグループがなけ
れば、道路消失点の算出を禁止して、処理を終了する
（ステップＳ４２）。この場合には、１つの直線しか見
つからない場合であるので、道路消失点を算出すること
ができないからである。２つ以上のグループが登録され
ているときには、図１０のステップＳ４３からの２回目
のＨough変換処理が実行される。

【００６５】２回目のＨough変換処理では、群番号が付
与された点のみ、すなわち格子升目の計数値が大きな点
のみが用いられる。なお、上記の処理では格子升目が一
定値以上の点に対して群番号を付与しているが、その代
わりに、周囲の所定範囲内（たとえば格子升目５個分の
範囲内）の格子升目の計数値の合計値を求め、この合計
値が一定値以上となる点にのみ群番号を付与し、この群
番号が付与された点のみを２回目のＨough変換処理に用
いてもよい。また、各群内において格子升目の計数値が
最大である点のみを２回目のＨough変換処理に用いた
り、各群内において周囲の所定範囲内の格子升目の計数
値の合計が最大である点のみを２回目のＨough変換処理
のために用いたりして、２回目のＨough変換処理を軽減
してもよい。

【００６６】さらに、格子升目の計数値が一定値以上と
なる点、または周辺の所定範囲内の格子升目の計数値の
合計値が一定値以上となる点が一定数（たとえば５個）
以上存在しない群については、その群に属する点を２回
目のＨough変換処理では使用しないようにしてもよい。
こうすれば、たとえば図３の直線Ｌ５〜Ｌ１０のように
車両の輪郭線などに対応した直線候補点に相当する点を
排除して、道路平行線に対応した点のみを２回目のＨou
gh変換処理のために用いることができる。そのため、道
路消失点の算出精度を高めることができる。

【００６７】図１０を参照して、２回目のＨough変換処
理について説明する。ステップＳ４３では、記憶部１７
に記憶されているａｂ座標平面上の点の座標（ａ，ｂ）
が順に参照される。そして、群番号が付与されている点
に関してのみ（ステップＳ４４）、Ｈough変換処理が行
われる。この場合の変換式は、ｂ＝ｍａ＋ｎである。な
お、ｍｎ座標平面においては、ｍ軸方向に沿う長さΔｍ
が「１」でｎ軸方向に沿う長さΔｎが「１」の格子升目
が設定される。

【００６８】ステップＳ４５では、ｍの値が下記第(23)
式の範囲内のいずれかの値に設定される。この第(23)式
の範囲は、車両が道路にほぼ沿って走行している場合に
おいて、道路消失点に至る画面中の全直線をカバーでき
る範囲である。ｋ７≦ｍ≦ｋ８（たとえば、ｋ７＝−２５６、ｋ８＝−１）・・・・ (23) 続いて、ステップＳ４６では、下記第(24)式に従って、
ｎの値が求められる。

【００６９】ｎ＝−ｍａ＋ｂ・・・・ (24) ステップＳ４７では、求められたｎが下記第(25)式の範
囲内の値かどうかが調べられる。この範囲は、上記車両
が道路と平行に走行している場合に画面中に現れる直線
であって道路消失点に至るものをカバーするのに必要充
分な範囲である。

【００７０】ｋ９≦ｎ≦ｋ10（たとえば、ｋ９＝１、ｋ10＝２５６）・・・・ (25) ｎの値が上記の範囲内でなければ（ステップＳ４８）、
ステップＳ４５に戻り、ｍの値を変化させて同様な処理
が行われる。ｎの値が上記の範囲内であれば、該当する
格子升目の計数値がカウントアップされる（ステップＳ
４９）。ステップＳ５０では、上記のｍ，ｎの範囲内の
格子升目の計数値のうちの最大値ｑが記憶部１７に記憶
される。

【００７１】このような処理が、上記第(23)式のｍの範
囲に関して行われる（ステップＳ５１）。そして、上記
第(23)式の全範囲のｍについての処理が終了すると、次
の格子升目の点の座標（ａ，ｂ）が記憶部１７から読み
出されて同様な処理が行われる（ステップＳ５２）。こ
のようにして、全ての格子升目の点に関する処理が行わ
れることにより、２回目のＨough変換処理が達成され
る。

【００７２】２回目のＨough変換処理が終了すると、ｍ
ｎ座標平面の格子升目の計数値が１つずつ順に参照され
る（ステップＳ５３）。ステップＳ５４では、参照され
た計数値が一定値ｋ11・ｑ（ｋ11は定数であり、たとえ
ば０．５とされる。このときｋ11・ｑは最大計数値ｑの
２分の１となる。）以上かどうかが調べられる（ステッ
プＳ５４）。計数値が一定値ｋ11・ｑ未満であれば、ス
テップＳ５３に戻って、次の格子升目の計数値に対して
同様な処理が実行される。また、計数値がｋ11・ｑ以上
のときは、その点の周辺の所定範囲内にある格子升目の
計数値の合計値が算出される（ステップＳ５５）。たと
えば、ｍ軸方向およびｎ軸方向に関して±５個分の格子
升目の合計値が算出される。

【００７３】ステップＳ５６では、上記の合計値の最大
値ｒと、この最大値ｒに対応した点の座標（ｍ₀，
ｎ₀）とが記憶部１７に記憶される。このような処理
が、上記第(23)式および第(25)式のｍ，ｎの範囲内の全
格子升目に関して実行される（ステップＳ５７）。その
結果、上記の座標（ｍ₀，ｎ₀）は、上記のｍ，ｎの範
囲内で、周辺の所定範囲内の格子升目の計数値の合計が
最も大きい点の座標となる。

【００７４】ステップＳ５８では、上記合計値の最大値
ｒが一定値ｋ12（たとえば、５０）以上かどうかが判断
される。最大値ｒが一定値ｋ12に満たなければ、確信度
が低いものとして、道路消失点の算出を禁止して、処理
を終了する。最大値ｒが一定値ｋ12以上であるときに
は、（ｎ₀，−ｍ₀）が道路消失点として決定される。
なお、周辺の所定範囲内の格子升目の計数値が最大とな
る点を求める代わりに、格子升目の計数値が最大となる
点を求めて、この点の座標に基づいて道路消失点を求め
てもよい。この場合に、格子升目の計数値の最大値が一
定値に満たない場合には、道路消失点の算出を禁止する
ようにすればよい。

【００７５】ステップＳ６０からの処理は、道路に平行
な直線である道路平行線を求めるための処理である。先
ず、ステップＳ６０では、記憶部１７の記憶内容が検索
され、ａｂ座標平面における格子升目の点のなかの特定
の群番号のものが参照される。ステップＳ６１では、ｂ
−（ａｍ₀＋ｎ₀）の絶対値が誤差として算出される。
ｂ＝ａｍ₀＋ｎ₀が成立すれば、そのときの（ａ，ｂ）
は、道路消失点（ｘ₀，ｙ₀）を通る直線の切片および
傾きを与える。そのため、ｂ−（ａｍ₀＋ｎ₀）の絶対
値が最小値をとる（ａ，ｂ）を見出すことによって、道
路平行線が求められる。つまり、同一群に属する点のう
ち、その座標を係数として使用したｘｙ座標平面におけ
る直線が道路消失点の最も近くを通る点の座標が、道路
平行線の係数として求められる。

【００７６】ステップＳ６２では、ステップＳ６１で誤
差として求められたｂ−（ａｍ₀＋ｎ₀）の絶対値が一
定誤差ｋ13（たとえば、５）以内であるかどうかが判断
される。一定誤差ｋ1 以内なら、その誤差が、当該群番
号が付与された点であって既に処理が終了しているもの
の座標に対応した誤差のうちで、最小かどうかが判定さ
れる（ステップＳ６３）。最小値であれば（ステップＳ
６４）、その格子升目の点の座標に関して得られた誤差
が、当該群番号が付与されたグループにおける最小誤差
とされる（ステップＳ６５）。

【００７７】ステップＳ６６では、或る群番号が付与さ
れた全ての格子升目の点に対する処理が終了したかどう
が調べられる。同一群番号が付与された全ての点の処理
が終了すると、さらに、全群番号に関して処理が終了し
たかどうかが調べられる（ステップＳ６７）。全群番号
に関して上記の処理が終了すると、各群の最小誤差の格
子升目が参照される（ステップＳ６８）。そして、最小
誤差が記憶部１７に記憶されている格子升目グループに
関しては、その最小誤差に対応した格子升目の座標
（ａ，ｂ）が道路平行線の係数（傾きおよび切片）とさ
れる（ステップＳ６９）。そして、係数ａが正の場合に
は、その道路平行線が車両の左側の道路平行線とされ
（ステップＳ７０）、係数ａが負のときにはその道路平
行線が車両の右側の道路平行線とされる。

【００７８】図３の場合には、道路平行線Ｌ１，Ｌ２，
Ｌ３，Ｌ４に関して係数ａおよびｂが求まる。この場
合、各道路平行線Ｌ１，Ｌ２，Ｌ３，Ｌ４の方程式は、
下記第(26)式〜第(29)式のとおりであり、道路消失点Ｎ
Ｐの座標は（１２０，１７０）である。Ｌ１：ｘ＝ 1.333ｙ−106.7 ・・・・ (26) Ｌ２：ｘ＝ 0.863ｙ−26.8 ・・・・ (27) Ｌ３：ｘ＝− 0.992ｙ＋288.7 ・・・・ (28) Ｌ４：ｘ＝− 1.844ｙ＋433.5 ・・・・ (29) なお、各群番号ごとに得られた係数ａがいずれも正の値
であるか、またはいずれも負の値である場合には、求め
られた道路消失点およびを道路平行線を無効にすること
が好ましい。このような場合には、車両の左側または右
側のいずれかの側に位置する道路平行線のみが検出され
ているため、道路消失点の算出精度が低いおそれがある
からである。

【００７９】本件発明者は、次の〜の４とおりの場
合について、上記の道路消失点算出処理を試験的に実行
した。図３の直線Ｌ２，Ｌ３上の直線候補点の座標データ
を使用。図３の直線L2,L3,L5〜L10 上の直線候補点の座標デ
ータを使用。図３の直線L1〜L3, L5〜L10 上の直線候補点の座標
データを使用。

【００８０】図３の直線Ｌ１〜Ｌ１０上の直線候補
点の座標データを使用。これらのいずれの場合にも、道路消失点の座標は正しく
求めることができた。とくに、，，の場合には前
方の他車両の輪郭線に対応した直線候補点が含まれてい
る場合であるが、このような場合にも、道路消失点の座
標が正しく求まることが確認された。また、道路平行線
についても、ほぼ誤差なく求めることができた。ただ
し、の場合には、直線Ｌ４に関しては、道路平行線と
して求めることができなかった。これは、直線候補点の
サンプルデータが少ないためであると考えられる。した
がって、サンプルデータを増やすことにより、直線Ｌ４
に関しても道路平行線を求めることができると考えられ
る。

【００８１】このようにして求められた道路消失点と道
路平行線とは、次に説明するカメラ姿勢パラメータ算出
処理において用いられる。５．カメラ姿勢パラメータ算出処理この処理では、道路に対する車載カメラ１１の姿勢を表
す姿勢パラメータが求められる。姿勢パラメータには、
鉛直軸まわりの回転角であるヨー角、車両の進行方向ま
わりの回転角であるロール角、水平面に沿うとともに進
行方向と直交している方向のまわりの回転角であるピッ
チ角、および道路に平行な所定の基準線からのカメラの
横ずれ（道路に対する横方向の相対位置）が含まれる。

【００８２】車載カメラ１１は、所定の姿勢で正確に車
両に取り付けるが、取付け誤差の発生は回避できない。
そこで、カメラ姿勢パラメータ算出処理では、車載カメ
ラ１１の車両に対する取付け姿勢も併せて算出される。
先ず、座標系について説明する。道路座標系ＸＹＺと、
カメラ座標系Ｘ′Ｙ′Ｚ′とが定義される。車両の移動
によらずに道路座標系の原点に車両があるものとし、車
両の進行方向にＹ軸がとられている。また、進行方向に
対して右方向にＸ軸がとられ、鉛直方向にＺ軸がとられ
ている。カメラ座標系と道路座標系とは原点を共有して
いる。車載カメラ１１の撮像面は、ＸＺ平面に平行で原
点から距離Ｆ（Ｆはカメラ１１のレンズの焦点距離）の
ところにあるものとする。

【００８３】Ｘ，Ｙ，Ｚ軸のまわりの回転角をそれぞれ
ピッチ角θ、ロール角φ、ヨー角ψとし、いずれも右ね
じの方向を正方向とする。このとき、カメラの取付け誤
差または車両の回転に伴うカメラの座標系の変換式は、
下記第(30)式で与えられる。ただし、車載カメラ１１の
レンズの主軸方向にＹ′軸をとり、撮像面と平行にＸ軸
およびＺ′軸をとるものとする。

【００８４】

【数１】

【００８５】各回転角が微小であれば、上記第(30)式
は、下記第(31)式の近似式に変形できる。

【００８６】

【数２】

【００８７】点Ｐ（Ｘ，Ｙ，Ｚ）が撮像面上の点ｐ′
（ｘ′，ｙ′）に投影されるとき、次式が成立する。た
だし、座標（ｘ′，ｙ′）は撮像面上における２次元座
標である。ｘ′軸はカメラ座標系のＸ′軸方向にとら
れ、ｙ′軸はカメラ座標系のＺ′軸方向にとられてい
る。ｘ′＝Ｆ・Ｘ′／Ｙ′ ・・・・ (32) ｙ′＝Ｆ・Ｚ′／Ｙ′ ・・・・ (33) カメラの姿勢パラメータは、ピッチ角θ、ロール角φお
よびヨー角ψに関して、それぞれ次のように分割され
る。

【００８８】ピッチ角θ：（道路に対する車両のピッチ
角θ₀）＋（車両に対する車載カメラ１１の取付けピッ
チ角θ₁）ロール角φ：（道路に対する車両のロール角φ₀）＋
（車両に対する車載カメラ１１の取付けロール角φ₁）ヨー角 ψ：（道路に対する車両のヨー角ψ₀）＋（車
両に対する車載カメラ１１の取付けヨー角ψ₁）道路に対する車両のヨー角ψ₀については、ナビゲーシ
ョン処理装置２から与えられる道路地図データおよび現
在方位データから求めることができる。つまり、車両が
走行中の道路の方向が道路地図データから判り、車両の
実際の進行方向が現在方位データから判る。そのため、
道路の方位に対する実際の進行方向の差を、道路に対す
る車両のヨー角ψ₀とすればよい。

【００８９】道路に対する車両のロール角φ₀やピッチ
角θ₀は、それ自体は検出することができないが、平均
値「０」でばらつくノイズとして把握できる。つまり、
充分に長い時間に渡るロール角φおよびピッチ角θの各
平均値をとれば、この平均値のなかには道路に対する車
両のロール角φ₀やピッチ角θ₀は含まれていないと考
えて差し支えない。

【００９０】車両が道路に対してψ₀の角度をなす方向
に走行しているものとし、道路は充分遠くまで直線でか
つ車両の平面（ＸＹ平面）内にあるものとする。また、
道路バンクや車両の左右の傾きは無視できるとする。そ
して、道路座標系ＸＹＺにおける道路消失点の座標を
（Ｘ₀，Ｙ₀，Ｚ₀）（ただし、Ｙ₀＝∞である。）と
し、この道路消失点の撮像面への写像点の座標が
（ｘ₀，ｙ₀）であるとする。この写像点の座標は、上
記の道路消失点算出処理によって求められた道路消失点
に他ならない。

【００９１】ψ₀以外の姿勢パラメータが微小であると
すれば、ψ→ψ₀＋ψ₁であり、θ、φおよびψ₁は微
小であるから、上記第(30)式ならびに上記第(32)式およ
び第(33)式より、下記第(34)式および第(35)式が得られ
る。ｘ₀＝Ｒ₁₂Ｆ≒sin(ψ₀＋ψ₁)Ｆ＝(sinψ₀＋ψ₁cosψ₀)Ｆ・・・・ (34) ｙ₀＝Ｒ₃₂Ｆ≒｛φsin(ψ₀＋ψ₁)−θcos(ψ₀＋ψ₁)｝Ｆ・・・・ (35) さらに、ψ₀が微小であれば、下記第(36)式および第(3
7)式を得る。

【００９２】ｘ₀＝（ψ₀＋ψ₁）Ｆ・・・・ (36) ｙ₀＝−θＦ・・・・ (37) 特に、車両が道路に平行に走行しているときには、ψ₀
＝０であるので、下記第(38)式および第(39)式が得られ
る。ｘ₀＝Ｒ₁₂Ｆ≒ψＦ＝ψ₁Ｆ・・・・ (38) ｙ₀＝Ｒ₃₂Ｆ≒−θＦ・・・・ (39) 一方、上記各パラメータが微小であるとすると、上記第
(31)式ならびに上記第（32) 式および第(33)式より、下
記第(41)式および第(42)式が得られる。

【００９３】ｘ′＝Ｆ（Ｘ＋ψ₁Ｙ−φＺ）／（−ψ₁Ｘ＋Ｙ＋θＺ）・・・・ (41) ｙ′＝Ｆ（φＸ−θＹ＋Ｚ）／（−ψ₁Ｘ＋Ｙ＋θＺ）・・・・ (42) 道路平行線の高さＺは、道路から車載カメラ１１までの
高さがｈである場合、−ｈとなる。また、道路に平行な
基準線に対する車載カメラ１１のＸ方向へのずれをＡと
すると、車両が道路とψ₀の方向に走行しているため、
下記第(43)式が成り立つ。

【００９４】Ｘ＝Ａ/cosψ₀＋Ｙ tanψ₀≒Ａ＋Ｙψ₀ ・・・・ (43) したがって、上記第(41)式および第(42)式は、下記第(4
4)式および第(45)式にそれぞれ書き換えられる。

【００９５】

【数３】

【００９６】これより、Ｙを消去すると、下記第(46)式
を得る。

【００９７】

【数４】

【００９８】もし、道路平行線が２本得られ、これらの
間隔Ｂが既知であれば、第(46)式と同様な下記第(47)お
よび第(48)式ならびに第(49)式が得られる。ただし、係
数ａ，ｂおよびＡに付した添字「１」，「２」は、それ
が付与された係数が２本の道路平行線のそれぞれに対応
するものであることを表す。

【００９９】

【数５】

【０１００】このようにして、道路消失点（ｘ₀，
ｙ₀）およびを道路平行線の係数ａまたはｂと、道路平
行線の間隔Ｂとが得られれば、上記第(36)式および第(3
7)式または上記第(38)式および第(39)式からψ₁および
θが求まり、上記第(47)式、第(48)式および第(49)式か
らφならびにＡ₁およびＡ₂が求まる。上記第(47)式お
よび第(48)式のうち、ａ₁, ａ₂に関する式を利用して
解くと、下記第(50)式、第(51)式および第(52)式より、
それぞれＡ₁, Ａ₂およびφが求まる。

【０１０１】

【数６】

【０１０２】なお、間隔Ｂには、たとえば道路の幅や道
路の白線の間隔を用いることができる。これらの間隔
は、道路地図データから取得できる。たとえば、高速道
路の道路幅が決まっているから、ナビゲーション処理装
置２において高速道路を走行中であることが検出された
ときにのみ、上記のカメラ姿勢パラメータ算出処理を行
ってもよい。

【０１０３】また、上記の処理を車両が一定距離を走行
する度に行うこととし、求められた姿勢パラメータのう
ちθおよびφについて平均化処理を行ってもよい。この
場合、θ₀およびφ₀の平均値は上記のように零である
と考えられるので、車両に対する車載カメラ１１の取付
けピッチ角θ₁および取付けロール角φ₁を求めること
ができる。したがって、上記の処理は、車両に対する車
載カメラ１１の取付け姿勢を算出するための初期設定処
理として実行することもできる。したがって、θ₀、φ
₀が無視できる程度に小さければ、通常の周期処理で
は、初期設定処理の結果のみで代用することも可能であ
る。

【０１０４】φ₀が上記無視できる程度に小さい値であ
れば、周期処理において、上記第(46)式においてφを初
期設定処理で求めたφ₁とおけば、道路平行線の道路間
隔Ｂが未知であっても、横方向のずれＡを求めることが
できる。図１２は、上述のカメラ姿勢パラメータ算出処
理のために認識処理部１５において実行される処理を説
明するためのフローチャートである。ステップＳ８１で
は、車載カメラ１１で撮像された１枚の画像の画像デー
タが記憶部１７に格納される。ステップＳ８２ではナビ
ゲーション処理装置２からの支援データが取り込まれ、
ステップＳ８３ではアンチロックブレーキ装置３からの
支援データが取り込まれる。そして、ステップＳ８４で
は、ナビゲーション処理装置２から与えられたデータに
基づいて、道路に対する車両のヨー角ψ₀が算出され
る。

【０１０５】ステップＳ８５では、道路消失点の算出が
可能かどうかが判断される。算出不能の場合には処理を
終了し、算出が可能であれば上述の道路消失点算出処理
を実行して道路消失点（ｘ₀，ｙ₀）を算出する（ステ
ップＳ８６）。さらにステップＳ８７では、道路平行線
の係数ａ，ｂが算出される。道路消失点の算出が可能か
どうかの判断は、たとえば道路に対する車両のヨー角ψ
₀が所定値以下であるかどうかに基づいてなされる。そ
の他にも、道路消失点算出処理に関連する説明で明らか
にしたように、走行道路が直線道路であるかどうか、走
行道路の属性が一定の基準を満足しているかどうかなど
の条件も判断される。

【０１０６】道路消失点および道路平行線の係数が算出
されると、次に、姿勢パラメータの算出が可能かどうか
が判断される（ステップＳ８８）。この際の判断基準は
次の〜のとおりである。車両の進行方向と道路平行線とのなす角が零である
とみなすことができる場合には、姿勢パラメータの算出
が可能であるものとする。このような条件を課すのは、
道路に対する車両のヨー角ψ₀が大きいと、その誤差が
大きい可能性があるからである。この場合、たとえば、
一定距離走行前後の車両の進行方位の変化と、上記一定
方位方向前後における道路の方位（道路地図データから
得られる。）の差との誤差が一定値以内（たとえば、
０．１°以内）であるときに、車両が道路に平行に走行
しているものとして、進行方向と道路平行線とのなす角
が零であることと判定してもよい。また、車両の進行方
位が一定距離以上連続して一定値以下（たとえば０．１
°以下）の変化しか示さなかった場合に、走行道路が直
線で、かつ、車両が道路に平行に走行しているものとし
て、進行方向と道路平行線とのなす角が零であると判定
してもよい。

【０１０７】車両の速度が一定範囲内（たとえば、
１００km/h以内）である場合に、姿勢パラメータの算出
が可能であるものとする。車両の速度は、現在位置デー
タまたは走行距離データから推定することができる。車
両の速度が上記一定範囲内にない場合には、車体に振動
が生じたりして、道路に対する車両の姿勢パラメータが
大きくなる可能性があり、姿勢パラメータの算出が不良
になるおそれがある。

【０１０８】車両の加速度（減速度を含む）が一定
値（たとえば０．１ｇ）未満である場合に、姿勢パラメ
ータの算出が可能であるものとする。加速度は、現在位
置データまたは走行距離データから推定することもでき
るし、ｇセンサデータやブレーキデータから求めること
もできる。また、ブレーキデータからブレーキが操作さ
れたことが検知されたときには、姿勢パラメータの算出
を行わないこととしてもよい。車両の減速度が上記一定
値以上の場合には、道路に対する車両のピッチ角θ₀が
異常に大きくなる可能性があり、姿勢パラメータの算出
が不良になるおそれがある。

【０１０９】一定距離走行前後の車両の進行方位の
変化が一定値（たとえば０．１°）未満のときに、姿勢
パラメータの算出が可能であるものとする。一定距離走
行前後の進行方位の変化が上記一定値以上の場合には、
車両がカーブを走行していると考えられ、この場合には
遠心力のために道路に対する車両のロール角φ₀が異常
に大きくなるおそれがある。

【０１１０】姿勢パラメータの算出が可能であると判断
されると、ステップＳ８９において、上記第(36)式また
は第(38)式に従い、車載カメラ１１の車両に対する取付
けヨー角ψ₁が求められる。さらに、上記第(37)式によ
ってピッチ角θが求められ（ステップＳ９０）、上記第
(46)式または第(52)式によってロール角φが求められる
（ステップＳ９１）。そして、上記第(46)式または第(5
0)式および第(51)式により横ずれＡが算出される（ステ
ップＳ９２）。

【０１１１】ステップＳ９３では、それまでに求められ
た取付けヨー角ψ₁、ピッチ角θおよびロール角φの平
均値がとられる。この場合、図１２に示された姿勢パラ
メータ算出処理を一定走行距離（たとえば１００km）ご
とに行うようにしていれば、一定走行距離ごとに求めら
れたパラメータの平均値がとられる。また、一定時間間
隔（たとえば２時間）で姿勢パラメータ算出処理を行う
ようにしている場合には、一定時間ごとに求められたパ
ラメータの平均値が求められる。この平均値を求める処
理によって、もっともらしい取付けヨー角ψ₁、ピッチ
角θおよびロール角φが求まる。

【０１１２】さらに、ピッチ角θの平均値が車両に対す
る車載カメラ１１の取付けピッチ角θ₁とされ（ステッ
プＳ９４）、ロール角φの平均値が車両に対する車載カ
メラ１１の取付けロール角φ₁とされる（ステップＳ９
５）。これらの処理が妥当なのは、道路に対する車両の
ピッチ角θ₀およびロール角φ₀は、充分に長い期間に
わたる時間平均をとることによって零にすることができ
るという事実に照らせば明らかであろう。

【０１１３】このような処理によって、車載カメラ１１
の姿勢パラメータθ，φおよびψが求まる。これらの姿
勢パラメータは、次に説明する物体認識処理において活
用される。６．物体認識処理物体認識処理は、車載カメラ１１によって撮像された画
像中の一定種類の物体を認識するための処理である。す
なわち、道路標識、道路上の表示、他車両などが画像認
識される。この画像認識に当たっては、カメラ姿勢パラ
メータやナビゲーション処理装置２およびアンチロック
ブレーキ装置３から与えられる支援情報が用いられる。

【０１１４】以下では、先ず道路標識や道路上の表示な
どのような静止物体の追従認識について説明し、その後
に他車両などのような移動物体の追従認識について述べ
る。 6-1. 静止物体の追従認識カメラ姿勢パラメータ算出処理の説明において用いた上
記第(41)式および(42)式において、Ｘ，Ｙを変数とし、
撮像面の点（ｘ′，ｙ′）、カメラ姿勢パラメータおよ
び変数Ｚが既知であるものとして解くと、次式が得られ
る。

【０１１５】

【数７】

【０１１６】ところで、各変数やパラメータは時間ｔの
変数であり、時間経過とともに変化する。時刻ｔにおい
て、或る物体の撮像面上における位置が（ｘ_t′，
ｙ_t′）で得られ、カメラ姿勢パラメータと車両からみ
た物体の高さ方向の位置Ｚ（一定値）が既知であれば、
車両から見た物体の位置（Ｘ_t，Ｙ_t）は、上記第(53)
式において時刻ｔを陽に表現した下記第(54)式により与
えられる。

【０１１７】

【数８】

【０１１８】さらに、車両が走行して時刻ｔ＋１になっ
たとする。時刻ｔから時刻ｔ＋１の間の車両の走行距離
データをＬ_t+1、現在方位データから求まる方位変化デ
ータ（ナビゲーション処理装置２から方位変化データが
与えられる場合には、それをそのまま用いることもでき
る。）をΔψ_1t+1とすると、時刻ｔ＋１の物体の位置Λ
_t+1（Ｘ_t+1，Ｙ_t+1）は、時刻を陽に表現して次式で
与えられる。

【０１１９】

【数９】

【０１２０】この第(55)式を、上記第(41)式および第(4
2)式において時刻を陽に表現した下記第(56)式および第
(57)式に代入することによって、時刻ｔ＋１における物
体の画面上での位置（ｘ_t+1′，ｙ_t+1′）を推定する
ことができる。

【０１２１】

【数１０】

【０１２２】つまり、時刻ｔにおける物体の位置が判れ
ば、時刻ｔ＋１においてその物体が画面上のどの位置に
移動するかが、カメラ姿勢パラメータなどに基づいて推
定される。そのため、時々刻々と撮像される画面から或
る物体を認識する場合に、推定された位置の周辺の領域
の画像を切り出して認識処理を行えばよいので、認識処
理効率を高めることができる。

【０１２３】推定された位置の周辺の画像切出し範囲
は、推定された画面上の位置である推定値と、実際に認
識された物体の位置である実績値との誤差を監視するこ
とによって確定される。具体的に説明する。まず、時刻
ｔにおける推定値を（^Eｘ_t′，^Eｙ_t′）とし、実績
値を（^Mｘ_t′，^Mｙ_t′）と表す。さらに、平均操作
をａｖｅと表し、分散操作をｖａｒと表し、平方根操作
をｓｑｒｔと表すと、下記第(58)式〜第(63)式が得られ
る。

【０１２４】ｖａｒ(x) ＝ａｖｅ（ｘ−ａｖｅ(x) ）² ・・・・ (58) ｓｔｄ(x) ＝ｓｑｒｔ（ｖａｒ(x) ）・・・・ (59) ｘ＝^Eｘ_t′−^Mｘ_t′ ・・・・ (60) ｖａｒ(y) ＝ａｖｅ（ｙ−ａｖｅ(y) ）² ・・・・ (61) ｓｔｄ(y) ＝ｓｑｒｔ（ｖａｒ(y) ）・・・・ (62) ｙ＝^Eｙ_t′−^Mｙ_t′ ・・・・ (63) したがって、画面上の位置のｘ軸およびｙ軸方向の各誤
差は、たとえば、ｋ・ｓｔｄ(x) 、ｋ・ｓｔｄ(y) とし
て求めることができる（ｋは定数である。）。そこで、
この誤差範囲を含む画像の範囲を画像切出し範囲とすれ
ば、認識対象の物体を含む画像を切り出すことができ
る。

【０１２５】なお、定数ｋを、車両の走行速度、方位変
化、姿勢パラメータの信頼度等に基づいて可変設定する
ようにしておけば、誤差範囲をより適切に設定できる。
具体的には、走行速度が一定値（たとえば１００km/h）
以上の場合に、定数ｋを車両の走行速度にほぼ比例する
ように設定してもよい。また、車両の進行方位の単位時
間当たりまたは単位走行距離当たりの変化量が一定値
（たとえば０．１°）以上のときに、この方位変化量に
ほぼ比例するように上記定数ｋの値を設定してもよい。

【０１２６】また、誤差範囲は認識すべき物体の種類ご
とに変化させてもよく、物体の種類によらずに共通の誤
差範囲を用いてもよい。物体が認識されたときには、新
たに得られた画面上の位置（ｘ_t+1′，ｙ_t+1′）に基
づき、上記第(54)式（ただし、ｔをｔ＋１に置き換えた
式）に従って、空間上における物体の実際の位置（Ｘ
_t+1，Ｙ_t+1，Ｚ_t+1）を求める。これを用いて、次の
時刻における物体の位置が推定され、新たな画像切出し
範囲が求められる。

【０１２７】なお、第(54)式および第(55)式が誤差を含
むものであるとして、カルマンフィルタ等を用いて、走
行距離、方位変化の誤差、姿勢パラメータの推定誤差、
画面上の位置（ｘ′，ｙ′）の推定値と実績値との差等
から、フィタリングにより、物体の位置（Ｘ，Ｙ，Ｚ）
を時々刻々推定したりすることもできる。このようにし
て、たとえば、道路標識や信号機を時々刻々と追従して
認識する場合に、認識対象の物体の高さがほぼ一定であ
るものとして標識、信号機の中心部を追従対象とした
り、またはその接地面の高さがカメラの高さだけ低いも
のと考えて追従対象とすれば、上記の方法で探索範囲を
限ることによって、物体を容易に追従して認識すること
ができる。 6-2. 移動物体の追従認識移動物体を追従して認識する場合には、上記第(55)式の
変換式を用いることができない。なぜなら、移動物体の
運動特性が未知だからである。そこで、移動物体の位置
の時間的な変化を考慮した下記第(64)式が上記第(55)式
に代えて用いられる。

【０１２８】

【数１１】

【０１２９】上式から明らかなように、最初に物体を認
識した次の処理周期では、Λ_t-1が定義されていない。
したがって、このときには誤差範囲を充分に大きくして
おく必要がある。認識対象の移動物体が前方の他車両で
ある場合に、たとえばこの他車両の後部のみを追従して
ゆくときには、その左右の最下部を追従対象とすれば、
その高さがほぼ特定できる。

【０１３０】なお、どのような道路を走行しているかに
より、認識対象となる物体を変えて、目的に沿った認識
を行うことができる。たとえば、高速道路を走行してい
る場合には、車両の安全な運行を目的として自動車のみ
を認識対象とし、その他の幹線道路を走行している場合
には、道路標識や信号機のみを認識対象とするなどの方
法が考えられる。前方の他車両の認識結果は、衝突防止
のために警報を発したり、ブレーキを自動制御したりす
るために用いることができる。また、たとえば、ナビゲ
ーション処理装置２の表示部２９に経路誘導情報を表示
して目的地までの経路誘導を行う場合などには、道路標
識を認識することによって、交通規制に違反するような
経路誘導が行われることを事前に防止できる。さらに
は、信号機を認識することによって、走行中の道路が一
般道路であるのか高速道路であるのかの判別を行ったり
することもできる。 6-3. 物体の認識画面上のデータから物体を認識する方法について概説す
る。画像データに基づいて物体を認識する方法は従来か
ら種々考案されている。たとえば、白黒カメラによるデ
ータ（輝度データのみ）の場合、濃度が大きく変化する
エッジ点を検出し、複数のエッジ点を接続することによ
って物体の輪郭が抽出される。この輪郭の形状をチェッ
クしたり、予め登録されている対象物体の標準的なパタ
ーンとのパターンマッチングを行ったりすることによっ
て、画面上の物体が認識される。カラーのデータを用い
る場合には、濃度だけでなく、色度のデータも利用でき
るので、認識確率を高めることができる。

【０１３１】画像データから抽出される認識対象ごとの
特徴例を以下に示す。たとえば、画像認識処理装置１の
記憶部１７には、これらの特徴についての標準的な値が
記憶されている。認識処理部１５は、画像データから下
記の特徴を抽出し、抽出された特徴と記憶部１７に記憶
されている標準的な特徴とを照合することによって、物
体の認識を行う。

【０１３２】(1) 道路標識円円の半径円周の色度円内のデータ (2) 信号機長方形縦、横の大きさ３個の円円の半径灯色 (3) 自動車前部、後部の形状横部の形状車高、車幅、車長 6-4. 認識処理部の処理次に、図１３および図１４のフローチャートを参照し
て、物体の認識のために認識処理部１５が実行する処理
を説明する。この処理は、一定の周期で実行される。

【０１３３】先ず、ステップＳ１０１において、車載カ
メラ１１が撮像した１枚の画像が記憶部１７に取り込ま
れる。そして、ステップＳ１０２では、カメラの姿勢パ
ラメータの信頼度が算出される。この信頼度は、姿勢パ
ラメータが用いられた経緯に基づいて算出される。たと
えば、当該周期における姿勢パラメータの算出を行うこ
とができず、以前に求めた姿勢パラメータの平均値を当
該周期における姿勢パメラータとして代用するような場
合には、信頼度は低くなる。また、車両の加速度（減速
度を含む。）が一定値（たとえば０．１ｇ）以上のとき
には、姿勢パラメータの信頼度は低くなる。加速度は、
現在位置データ、走行距離データ、ブレーキデータまた
はｇセンサデータから求まる。さらに、ブレーキデータ
によってブレーキが操作されたことが検知されたときに
も、信頼度は低くなる。

【０１３４】姿勢パラメータの信頼度が算出されると、
次に、車両が走行している道路の属性（高速道路、一般
道路など）が参照される（ステップＳ１０３）。道路の
属性は、道路地図データ中に含まれている。そして、走
行中の道路の属性に基づいて、認識対象の物体の種類が
決定される（ステップＳ１０４）。すなわち、たとえば
高速道路を走行中であれば前方の他車両が認識対象物体
とされ、一般道路走行中であれば信号機や道路標識が認
識対象物体とされる。

【０１３５】次いで、前の周期のときの道路の属性が変
化したかどうかが調べられる（ステップＳ１０５）。そ
して、属性が前周期と変化していなければ、認識物体が
記憶部１７に１つでも登録されているかどうかが判断さ
れる（ステップＳ１０６）。道路属性が前周期と異なる
場合には、ステップＳ１３０において、それ以前に記憶
部１７に登録されていた全ての認識物体がクリアされ
る。

【０１３６】ステップＳ１０６において認識物体が１つ
も登録されていないと判断されたとき、およびステップ
Ｓ１３０において過去に登録されていた全認識物体がク
リアされたときには、ステップＳ１３１に進み、画面の
全領域を認識対象領域とした初期認識が行われる。そし
て、認識された物体の位置（Ｘ，Ｙ，Ｚ）が算出され
（ステップＳ１３２）、その物体が位置（Ｘ，Ｙ，Ｚ）
とともに記憶部１７に登録されて（ステップＳ１３
３）、当該周期の処理を終了する。

【０１３７】ステップＳ１０７では、認識対象物体の種
類に関する処理が順に行われる。すなわち、記憶部１７
には、認識対象物体がその種類ごとに分類して記憶され
ており、各種類ごとの情報が参照される。認識対象物体
の種類のうちで、未処理の種類があれば（ステップＳ１
０８）、その種類の認識対象物体のうちで前周期に認識
された物体があるかどうかが調べられる（ステップＳ１
０９）。無ければステップＳ１０７に戻る。前周期に認
識された物体があれば、その物体の種類が自動車である
かどうかが調べられる（ステップＳ１１０）。そうであ
れば、前々周期においてもその物体（自動車）が認識さ
れているかどうかが調べられる（ステップＳ１１１）。
そして、その物体が前々周期において認識されていなけ
れば、ステップＳ１１２において、画像切出し領域を決
めるときの誤差範囲が充分に大きな一定値に設定され
る。これは、上述の移動物体の追従認識に関して説明し
たとおり、本周期における移動物体の画面上の位置を正
確に推定するためには、前周期と前々周期との移動物体
の位置が必要であるからである。したがって、前々周期
において移動物体が認識されていないときには、充分に
大きな誤差範囲を設定することによって、その移動物体
が確実に含まれている画像領域を切り出すことができ
る。

【０１３８】ステップＳ１１３では、前周期の物体の位
置（Ｘ，Ｙ，Ｚ）が参照され、さらにステップＳ１１４
では、前周期と本周期との間の走行距離Ｌ、および方位
変化データΔψ₀が、ナビゲーション処理装置２から与
えられる支援情報に基づいて求められる。次いで、図１
４のステップＳ１１５に処理が移る。ステップＳ１１５
では、上記第(55)式に従って、本周期の物体の位置
（Ｘ，Ｙ，Ｚ）が算出される。これに基づいて、本周期
における画面上での物体の位置（ｘ′，ｙ′）が上記第
(56)式および第(57)式に従って推定される（ステップＳ
１１６）。

【０１３９】ステップＳ１１７では、走行速度、進行方
向の変化、および姿勢パラメータの信頼度が参照され
る。そして、これらに基づいて推定位置の誤差範囲の大
きさが修正される（ステップＳ１１８）。すなわち、誤
差範囲を定めるための上記の定数ｋの値が更新される。
ステップＳ１１９では、上記の誤差範囲に基づいて定め
られた画像切出し範囲の画像が本周期の画面から切り出
され、この切り出された画像に基づいて物体認識処理が
行われる。この処理によって処理対象の物体が正常に認
識できなければ（ステップＳ１２０）、その物体の登録
を抹消して（ステップＳ１２１）、図１３のステップＳ
１０７に戻る。一方、処理対象の物体が正常に認識され
たときには、物体の画面上の正確な位置（ｘ′，ｙ′）
が求められ（ステップＳ１２２）、さらにそれに基づい
て上記第(54)式に従って物体の空間上の正確な位置
（Ｘ，Ｙ，Ｚ）が求められる（ステップＳ１２３）。そ
の後は、それまでに得られた推定値と実績値とから誤差
範囲を定めた後に（ステップＳ１２４）、図１３のステ
ップＳ１０７に戻る。

【０１４０】このようにして、或る処理周期で認識され
た物体の次処理周期の画面上における位置が推定され、
その推定位置および誤差範囲に基づいて画像の切出し範
囲が求められる。そして、この切り出された画像部分に
関してのみ、物体認識処理が行われる。そのため、各周
期において全ての画像領域に関して物体認識処理を行う
必要がない。これにより、物体認識処理が極めて効率的
に、かつ、高速に行える。このことは、車載カメラ１１
の撮像面内で変位する物体を時々刻々と認識する際に極
めて有益である。７．むすび以上のようにこの車載画像認識処理システムによれば、
直線検出処理においては白線以外の道路平行線をも算出
できるから、これに基づく道路消失点の算出が確実に行
える。そして、算出された道路消失点を基にカメラ姿勢
パラメータが求められ、このカメラ姿勢パラメータに基
づいて画面内で刻々と移動していく物体を良好に認識す
ることができる。各処理には、必要に応じてナビゲーシ
ョン処理装置２やアンチロックブレーキ装置３からの支
援情報が用いられている。

【０１４１】このような構成により、車両の前方の物体
が確実に認識できるようになるから、認識結果を用いて
車両の自動運転を行ったり、ナビゲーション処理装置２
における経路誘導のための支援情報を作成したりするこ
とができる。なお、上記の例では、主として車両の前方
の物体の認識について説明したが、車両の後方を撮像す
るカメラを設けて、後方の物体の認識を行うようにして
もよい。

【０１４２】また、上記の例では、画像認識処理装置
１、ナビゲーション処理装置２およびアンチロックブレ
ーキ装置３が個別に構成されているが、いずれか２つま
たは全部の装置を統合した構成としもよい。その他、本
発明の要旨を変更しない範囲で、種々の設計変更を施す
ことができる。

【０１４３】

【発明の効果】以上のように本発明によれば、位置検出
処理装置やブレーキ制御装置が保有する情報を利用して
姿勢パラメータが算出されるので、姿勢パラメータの算
出精度や算出効率を高めることができる。特に、位置検
出処理装置やブレーキ制御装置が保有する情報のなか
で、姿勢パラメータの算出精度に影響を与えるものに基
づいて姿勢パラメータを算出するかどうかを決めるよう
にすれば、姿勢パラメータを高い精度で算出することが
できる。しかも、精度の悪い姿勢パラメータが無駄に算
出されることを防止できる。

【０１４４】このようにして高精度でかつ効率的に算出
された姿勢パラメータを用いれば、車載カメラによって
撮像された画像中の物体の認識を効率的に行うことがで
きる。

【図面の簡単な説明】

【図１】本発明の一実施例が適用された画像認識処理シ
ステムの構成を示すブロック図である。

【図２】車載カメラによって撮像された画像例を示す図
である。

【図３】図２の画像から直線部分を抽出した例を示す図
である。

【図４】直線部抽出処理を説明するための図である。
(a) は車載カメラによって撮像された画像例を示し、
(b) は或る走査線上における３原色画像データの変動を
示す。

【図５】直線部抽出処理を説明するためのフローチャー
トである。

【図６】Ｈough変換を説明するための図である。

【図７】Ｈough変換処理を２回繰り返して道路消失点を
求めるための処理を説明するための図である。

【図８】道路消失点算出処理を説明するためのフローチ
ャートである。

【図９】道路消失点算出処理を説明するためのフローチ
ャートである。

【図１０】道路消失点算出処理を説明するためのフロー
チャートである。

【図１１】道路消失点算出処理を説明するためのフロー
チャートである。

【図１２】カメラ姿勢パラメータ算出処理を説明するた
めのフローチャートである。

【図１３】物体認識処理を説明するためのフローチャー
トである。

【図１４】物体認識処理を説明するためのフローチャー
トである。

【符号の説明】

１画像認識処理装置２ナビゲーション処理装置３アンチロックブレーキ装置１１車載カラーカメラ１５認識処理部１７記憶部２１距離センサ２２方位センサ２５位置検出処理部２７道路地図メモリ２８記憶部２９表示部３１車輪速センサ３２ｇセンサ３５制動処理部３７記憶部

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成６年５月２４日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００９３

【補正方法】変更

【補正内容】

【００９３】ｘ′＝Ｆ（Ｘ＋ψ₁Ｙ−φＺ）／（−ψ₁Ｘ＋Ｙ＋θＺ）・・・・ (41) ｙ′＝Ｆ（φＸ−θＹ＋Ｚ）／（−ψ₁Ｘ＋Ｙ＋θＺ）・・・・ (42) 道路平行線の高さＺは、道路から車載カメラ１１までの
高さがｈである場合、−ｈとなる。また、道路に平行な
基準線に対する車載カメラ１１の道路の法線方向へのず
れをＡとすると、車両が道路とψ₀の方向に走行してい
るため、下記第(43)式が成り立つ。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】０１１８

【補正方法】変更

【補正内容】

【０１１８】さらに、車両が走行して時刻ｔ＋１になっ
たとする。時刻ｔから時刻ｔ＋１の間の車両の走行距離
データをＬ_t+1、現在方位データから求まる方位変化デ
ータ（ナビゲーション処理装置２から方位変化データが
与えられる場合には、それをそのまま用いることもでき
る。）をΔψ _0t+1 とすると、時刻ｔ＋１の物体の位置Λ
_t+1（Ｘ_t+1，Ｙ_t+1）は、時刻を陽に表現して次式で
与えられる。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】０１２７

【補正方法】変更

【補正内容】

【０１２７】なお、第(54)式，第(55)式，第(56)式およ
び第(57)式が誤差を含むものであるとして、カルマンフ
ィルタ等を用いて、走行距離、方位変化の誤差、姿勢パ
ラメータの推定誤差、画面上の位置（ｘ′，ｙ′）の推
定値と実績値との差等から、フィタリングにより、物体
の位置（Ｘ，Ｙ，Ｚ）を時々刻々推定したりすることも
できる。このようにして、たとえば、道路標識や信号機
を時々刻々と追従して認識する場合に、認識対象の物体
の高さがほぼ一定であるものとして標識、信号機の中心
部を追従対象としたり、またはその接地面の高さがカメ
ラの高さだけ低いものと考えて追従対象とすれば、上記
の方法で探索範囲を限ることによって、物体を容易に追
従して認識することができる。 6-2. 移動物体の追従認識移動物体を追従して認識する場合には、上記第(55)式の
変換式を用いることができない。なぜなら、移動物体の
運動特性が未知だからである。そこで、移動物体の位置
の時間的な変化を考慮した下記第(64)式が上記第(55)式
に代えて用いられる。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】０１２８

【補正方法】変更

【補正内容】

【０１２８】

【数１１】

Claims

【特許請求の範囲】

【請求項１】車載カメラの道路に対する相対的な姿勢を
表す姿勢パラメータを算出するための方法であって、車両の位置を検出するために必要な情報を保有している
とともにその情報に基づいて車両の位置を検出する位置
検出処理装置から所定の情報を取得し、上記車載カメラによって撮像された画像から所定の情報
を抽出し、上記位置検出処理装置から取得された情報と、上記車載
カメラによって撮像された画像から抽出された情報とに
基づいて、車両が走行している道路（静止座標系）に対
する上記車載カメラの姿勢に対応した姿勢パラメータを
算出することを特徴とするカメラ姿勢パラメータ算出方
法。
【請求項２】上記姿勢パラメータには、道路（静止座標
系）に対する車載カメラのヨー角、ロール角およびピッ
チ角、ならびに道路に対する車載カメラの横方向の相対
位置が含まれることを特徴とする請求項１記載のカメラ
姿勢パラメータ算出方法。
【請求項３】上記姿勢パラメータの算出に当たり、上記
車載カメラによって撮像される画面内において道路が消
失する点である道路消失点、および道路に平行な線であ
る道路平行線が求められ、求められた上記道路消失点お
よび上記道路平行線に基づいて姿勢パラメータが算出さ
れることを特徴とする請求項１または２記載のカメラ姿
勢パラメータ算出方法。
【請求項４】上記位置検出処理装置は、車両の進行方位
に関する情報と、車両が走行中の道路の方位に関する情
報とを保有しており、車両の進行方向と道路平行線とのなす角が、車両の進行
方位と道路の方位との差に基づいて求められ、この方位
差が上記姿勢パラメータの算出のために用いられること
を特徴とする請求項１乃至３のいずれかに記載のカメラ
姿勢パラメータ算出方法。
【請求項５】一定距離走行前後の車両の進行方位の変化
と、上記一定距離走行前後における道路の方位の変化と
の差が、所定値以下であれば、車両の進行方向と道路平
行線線とのなす角は零であるものとすることを特徴とす
る請求項４記載のカメラ姿勢パラメータ算出方法。
【請求項６】車両の進行方位の変化が、一定距離以上連
続して一定値以下であるとき、車両の進行方向と道路平
行線とのなす角は零であるものとすることを特徴とする
請求項４記載のカメラ姿勢パラメータ算出方法。
【請求項７】車両の進行方向と道路平行線とのなす角が
零のときにのみ、上記姿勢パラメータを算出することを
特徴とする請求項４乃至６のいずれかに記載のカメラ姿
勢パラメータ算出方法。
【請求項８】上記位置検出処理装置は、車両の進行方位
に関する情報を保有しており、車両の進行方位の変化の割合が一定値以上のときには、
上記姿勢パラメータの算出を禁止することを特徴とする
請求項１乃至７のいずれかに記載のカメラ姿勢パラメー
タ算出方法。
【請求項９】上記位置検出処理装置は、車両の走行速度
に関する情報を保有しており、車両の走行速度が一定範囲内のときにのみ、上記姿勢パ
ラメータを算出することを特徴とする請求項１乃至８の
いずれかに記載のカメラ姿勢パラメータ算出方法。
【請求項１０】上記位置検出処理装置は、車両の加速度
に関する情報を保有しており、車両の加速度が一定値以上のときには、上記姿勢パラメ
ータの算出を禁止することを特徴とする請求項１乃至９
のいずれかに記載のカメラ姿勢パラメータ算出方法。
【請求項１１】一定走行距離ごとまたは一定時間間隔ご
とに、上記姿勢パラメータを算出し、その平均値を車両
に対する車載カメラの取付け姿勢に対応したパラメータ
とすることを特徴とする請求項１乃至１０のいずれかに
記載のカメラ姿勢パラメータ算出方法。
【請求項１２】上記位置検出処理装置からの情報の他
に、ブレーキを制御するために必要な情報を保有してい
るとともにその情報に基づいてブレーキを制御するブレ
ーキ制御装置からも所定の情報を取得し、取得された情
報に基づいて、上記姿勢パラメータが算出されることを
特徴とする請求項１乃至１１のいずれかに記載のカメラ
姿勢パラメータ算出方法。
【請求項１３】上記ブレーキ制御装置は、車両の加速度
に関する情報を保有するものであり、車両の加速度が一定値以上のときには、上記姿勢パラメ
ータの算出を禁止することを特徴とする請求項１２記載
のカメラ姿勢パラメータ算出方法。
【請求項１４】上記ブレーキ制御装置は、ブレーキが操
作されたかどうかに関する情報を保有するものであり、ブレーキが操作されたときには、上記姿勢パラメータの
算出を禁止することを特徴とする請求項１２または１３
記載のカメラ姿勢パラメータ算出方法。