JPH0778255A - 画像の直線部抽出方法 - Google Patents
画像の直線部抽出方法Info
- Publication number
- JPH0778255A JPH0778255A JP5223355A JP22335593A JPH0778255A JP H0778255 A JPH0778255 A JP H0778255A JP 5223355 A JP5223355 A JP 5223355A JP 22335593 A JP22335593 A JP 22335593A JP H0778255 A JPH0778255 A JP H0778255A
- Authority
- JP
- Japan
- Prior art keywords
- road
- vehicle
- straight line
- point
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
- Navigation (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【目的】車載カメラによって撮像された画面内の直線部
分を抽出すること。 【構成】認識処理部15は、車載カラーカメラ11によ
って撮像された画面内の所定種類の物体を認識する。こ
の認識に当たり、画面内において道路が消失する点であ
る道路消失点が求められる。道路消失点は、画面内の直
線部分の交点として求められる。したがって、まず、直
線部を抽出する処理が必要となる。画面上の点を所定方
向に沿って順に処理したときに、色調などの変化が小さ
い安定状態と色調などの変化が大きい不安定状態との間
で切り換わる点が、直線候補点として抽出される。 【効果】白線のみならず、中央分離帯や路側帯に対応し
た直線部分をも抽出することができる。そのため、多数
の直線を抽出できるから、道路消失点の算出精度を向上
できる。
分を抽出すること。 【構成】認識処理部15は、車載カラーカメラ11によ
って撮像された画面内の所定種類の物体を認識する。こ
の認識に当たり、画面内において道路が消失する点であ
る道路消失点が求められる。道路消失点は、画面内の直
線部分の交点として求められる。したがって、まず、直
線部を抽出する処理が必要となる。画面上の点を所定方
向に沿って順に処理したときに、色調などの変化が小さ
い安定状態と色調などの変化が大きい不安定状態との間
で切り換わる点が、直線候補点として抽出される。 【効果】白線のみならず、中央分離帯や路側帯に対応し
た直線部分をも抽出することができる。そのため、多数
の直線を抽出できるから、道路消失点の算出精度を向上
できる。
Description
【0001】
【産業上の利用分野】本発明は、車載カメラで車両の周
囲を撮像して得られた画像情報に基づき、撮像された画
面内における直線部分を抽出するための方法に関する。
囲を撮像して得られた画像情報に基づき、撮像された画
面内における直線部分を抽出するための方法に関する。
【0002】
【従来の技術】車載カメラによって車両の前方や後方を
撮像し、撮像された画像中の物体を認識するための技術
が種々提案されている。たとえば、車両の前方を車載カ
メラで撮像し、撮像された画像を画像処理して前方の他
車両を認識することができれば、この認識結果は事故を
回避するための自動運転に用いることができる。すなわ
ち、他車両が異常接近したときには、ステアリングやブ
レーキを自動的に動作させることによって、自動的に事
故を回避できる。また、道路標識を認識することができ
れば、この認識された道路標識に対応する情報を、ナビ
ゲーション装置におけるいわゆる経路誘導機能のために
用いることができる。
撮像し、撮像された画像中の物体を認識するための技術
が種々提案されている。たとえば、車両の前方を車載カ
メラで撮像し、撮像された画像を画像処理して前方の他
車両を認識することができれば、この認識結果は事故を
回避するための自動運転に用いることができる。すなわ
ち、他車両が異常接近したときには、ステアリングやブ
レーキを自動的に動作させることによって、自動的に事
故を回避できる。また、道路標識を認識することができ
れば、この認識された道路標識に対応する情報を、ナビ
ゲーション装置におけるいわゆる経路誘導機能のために
用いることができる。
【0003】車載カメラによって撮像される物体を画像
認識する場合、画面中における物体の位置が刻々と変化
する。このように画面中で移動していく物体を時々刻々
と画像認識する場合に、その認識効率を高めるために
は、道路に対する車載カメラの姿勢を表すカメラ姿勢パ
ラメータを正確に確定する必要がある。すなわち、カメ
ラ姿勢パラメータを正確に定めることによって、画面中
における物体の挙動が推定できる。この推定結果を利用
すれば、撮像された画面から物体を含む画像部分を切り
出し、この切り出された画像に関して画像認識処理を行
うことができる。
認識する場合、画面中における物体の位置が刻々と変化
する。このように画面中で移動していく物体を時々刻々
と画像認識する場合に、その認識効率を高めるために
は、道路に対する車載カメラの姿勢を表すカメラ姿勢パ
ラメータを正確に確定する必要がある。すなわち、カメ
ラ姿勢パラメータを正確に定めることによって、画面中
における物体の挙動が推定できる。この推定結果を利用
すれば、撮像された画面から物体を含む画像部分を切り
出し、この切り出された画像に関して画像認識処理を行
うことができる。
【0004】ところで、カメラ姿勢パラメータを算出す
る場合には、車両が走行中の道路が画面上において消失
する点である道路消失点の座標が必要となる。この道路
消失点は道路の無限遠点に相当するため、カメラ姿勢パ
ラメータの算出の際の基準として用いられる。道路消失
点は、道路に描かれた中央白線のような道路平行線の交
点として検出することができる。つまり、画面上の2本
以上の直線を抽出し、この直線の交点を求めれば、この
交点を道路消失点とすることができる。画面上の直線を
抽出する際には、たとえば、白線のエッジ部では輝度が
大きく変化することが利用される。すなわち、白線のエ
ッジ部が直線候補点として検出され、この直線候補点を
結ぶ直線が道路平行線として抽出される。このようにし
て白線を検出する技術は、「白線追跡による自車位置検
出(画像電子学会誌、第21巻、第2号、1992)」や
「三次元画像処理による道路形状と障害物の認識(自動
車技術、Vol.46、No.4、1992)」に開示されている。
る場合には、車両が走行中の道路が画面上において消失
する点である道路消失点の座標が必要となる。この道路
消失点は道路の無限遠点に相当するため、カメラ姿勢パ
ラメータの算出の際の基準として用いられる。道路消失
点は、道路に描かれた中央白線のような道路平行線の交
点として検出することができる。つまり、画面上の2本
以上の直線を抽出し、この直線の交点を求めれば、この
交点を道路消失点とすることができる。画面上の直線を
抽出する際には、たとえば、白線のエッジ部では輝度が
大きく変化することが利用される。すなわち、白線のエ
ッジ部が直線候補点として検出され、この直線候補点を
結ぶ直線が道路平行線として抽出される。このようにし
て白線を検出する技術は、「白線追跡による自車位置検
出(画像電子学会誌、第21巻、第2号、1992)」や
「三次元画像処理による道路形状と障害物の認識(自動
車技術、Vol.46、No.4、1992)」に開示されている。
【0005】
【発明が解決しようとする課題】ところが、道路の表面
に白線が必ずしも形成されているとは限らない。また、
白線が存在していても、車両の前方に他車両が存在して
いれば、道路中央線などは車両の影に隠れてしまう。し
たがって、このような場合には、道路上の白線を検出で
きないから、カメラの姿勢パラメータの算出に必要な道
路消失点を求めることができず、ひいては撮像された画
面内の物体の認識を効率良く行うことができない。
に白線が必ずしも形成されているとは限らない。また、
白線が存在していても、車両の前方に他車両が存在して
いれば、道路中央線などは車両の影に隠れてしまう。し
たがって、このような場合には、道路上の白線を検出で
きないから、カメラの姿勢パラメータの算出に必要な道
路消失点を求めることができず、ひいては撮像された画
面内の物体の認識を効率良く行うことができない。
【0006】そこで、本発明の目的は、上述の技術的課
題を解決し、車載カメラによって撮像された画面から、
白線のみならず、道路に付随している路側帯や中央分離
帯などをも直線部分として抽出することができる画像の
直線部抽出方法を提供することである。
題を解決し、車載カメラによって撮像された画面から、
白線のみならず、道路に付随している路側帯や中央分離
帯などをも直線部分として抽出することができる画像の
直線部抽出方法を提供することである。
【0007】
【課題を解決するための手段】上記の目的を達成するた
めの請求項1記載の画像の直線部抽出方法は、車両の前
方または後方を撮像して画面内の各点をカラー表現した
信号を出力する車載カラーカメラによって撮像された画
面中の直線部分を抽出するための方法であって、上記車
載カラーカメラによって撮像された画面上において所定
方向に沿う所定の処理対象点を順に処理したときに、色
度もしくは輝度またはその両方の変化が小さい安定状態
と、色度もしくは輝度またはその両方の変化が大きい不
安定状態との間で切り換わる点を、直線部分に属する直
線候補点とすることを特徴とする。
めの請求項1記載の画像の直線部抽出方法は、車両の前
方または後方を撮像して画面内の各点をカラー表現した
信号を出力する車載カラーカメラによって撮像された画
面中の直線部分を抽出するための方法であって、上記車
載カラーカメラによって撮像された画面上において所定
方向に沿う所定の処理対象点を順に処理したときに、色
度もしくは輝度またはその両方の変化が小さい安定状態
と、色度もしくは輝度またはその両方の変化が大きい不
安定状態との間で切り換わる点を、直線部分に属する直
線候補点とすることを特徴とする。
【0008】上記車載カラーカメラによって撮像された
画面上の各点は色度および輝度を表す3つの要素でカラ
ー表現される場合には、上記車載カラーカメラによって
撮像された画面上において所定方向に沿う所定の処理対
象点を順に処理したときの上記3つの要素の各変化量の
線形和または自乗和に基づいて、上記安定状態および上
記不安定状態を判定することが好ましい(請求項2)。
画面上の各点は色度および輝度を表す3つの要素でカラ
ー表現される場合には、上記車載カラーカメラによって
撮像された画面上において所定方向に沿う所定の処理対
象点を順に処理したときの上記3つの要素の各変化量の
線形和または自乗和に基づいて、上記安定状態および上
記不安定状態を判定することが好ましい(請求項2)。
【0009】なお、上記画面上の各点を表す3つの要素
は、光の3原色に相当するものであってもよく(請求項
3)、彩度、明度および輝度をそれぞれ表すものであっ
てもよい(請求項4)。
は、光の3原色に相当するものであってもよく(請求項
3)、彩度、明度および輝度をそれぞれ表すものであっ
てもよい(請求項4)。
【0010】
【作用】本発明によれば、車載カラーカメラによって撮
像された画面上において所定方向に沿う所定の処理対象
点が順に処理され、色度もしくは輝度またはその両方の
変化の状態が調べられる。そして、色度もしくは輝度ま
たはその両方の変化が小さい安定状態と、変化が大きい
不安定状態との間で切り換わる点が、直線部分に属する
直線候補点とされる。
像された画面上において所定方向に沿う所定の処理対象
点が順に処理され、色度もしくは輝度またはその両方の
変化の状態が調べられる。そして、色度もしくは輝度ま
たはその両方の変化が小さい安定状態と、変化が大きい
不安定状態との間で切り換わる点が、直線部分に属する
直線候補点とされる。
【0011】このようにすれば、道路の表面の白線だけ
でなく、中央分離帯や路側帯なども直線として抽出でき
る。
でなく、中央分離帯や路側帯なども直線として抽出でき
る。
【0012】
【実施例】以下では、本発明の一実施例が適用された車
両用画像認識システムについて詳細に説明する。 1.車両用画像認識処理システムの概要 以下で説明する車両用画像認識処理システムは、車両に
搭載されたカラーカメラで車両の周囲を撮像し、撮像さ
れた画像に基づいて道路の周辺の物体を認識するための
装置である。認識される物体は、たとえば、信号機、道
路標識、道路の表面に描かれた道路表示および走行中の
道路と立体交差している高架道路等の道路施設ならびに
他車両などである。
両用画像認識システムについて詳細に説明する。 1.車両用画像認識処理システムの概要 以下で説明する車両用画像認識処理システムは、車両に
搭載されたカラーカメラで車両の周囲を撮像し、撮像さ
れた画像に基づいて道路の周辺の物体を認識するための
装置である。認識される物体は、たとえば、信号機、道
路標識、道路の表面に描かれた道路表示および走行中の
道路と立体交差している高架道路等の道路施設ならびに
他車両などである。
【0013】車両用画像認識処理システムは、次の〜
の4つの処理を実行することによって、車載カラーカ
メラで撮像された画像から、道路に関連した施設などの
物体を認識する。なお、、およびの各処理に関し
ては、必ずしもカラーカメラが用いられる必要はない。 直線部抽出処理 道路消失点算出処理 カメラ姿勢パラメータ算出処理 物体認識処理 直線部抽出処理とは、車載カラーカメラによって撮像さ
れた画像中の車両の進行方向に沿った直線部分を抽出す
る処理である。直線部分には、道路の両側部、道路上の
白線や黄線、中央分離帯、路側帯、前方の車両の輪郭線
などがある。
の4つの処理を実行することによって、車載カラーカ
メラで撮像された画像から、道路に関連した施設などの
物体を認識する。なお、、およびの各処理に関し
ては、必ずしもカラーカメラが用いられる必要はない。 直線部抽出処理 道路消失点算出処理 カメラ姿勢パラメータ算出処理 物体認識処理 直線部抽出処理とは、車載カラーカメラによって撮像さ
れた画像中の車両の進行方向に沿った直線部分を抽出す
る処理である。直線部分には、道路の両側部、道路上の
白線や黄線、中央分離帯、路側帯、前方の車両の輪郭線
などがある。
【0014】道路消失点算出処理とは、自車両が走行し
ている道路が画面上で消失する点を演算する処理であ
る。具体的には、直線部抽出処理によって抽出された直
線の交わる点が道路消失点として算出される。カメラ姿
勢パラメータ算出処理とは、道路に対する車載カメラの
姿勢などを求めるための処理である。この処理には、道
路消失点算出処理によって得られた道路消失点が利用さ
れる。
ている道路が画面上で消失する点を演算する処理であ
る。具体的には、直線部抽出処理によって抽出された直
線の交わる点が道路消失点として算出される。カメラ姿
勢パラメータ算出処理とは、道路に対する車載カメラの
姿勢などを求めるための処理である。この処理には、道
路消失点算出処理によって得られた道路消失点が利用さ
れる。
【0015】物体認識処理とは、車載カメラで撮像され
た画像中の物体を画像認識するための処理である。物体
認識処理では、特定の物体を認識する際に、その物体が
含まれている画像領域を画面から切り出す処理が行われ
る。この場合、画面中における物体の位置は車両の走行
に伴って変化していく。そこで、物体の画面上における
変位が、上記のカメラ姿勢パラメータなどに基づいて推
定され、これに基づいて画像の切り出しが行われる。
た画像中の物体を画像認識するための処理である。物体
認識処理では、特定の物体を認識する際に、その物体が
含まれている画像領域を画面から切り出す処理が行われ
る。この場合、画面中における物体の位置は車両の走行
に伴って変化していく。そこで、物体の画面上における
変位が、上記のカメラ姿勢パラメータなどに基づいて推
定され、これに基づいて画像の切り出しが行われる。
【0016】このような車載用画像認識処理システムに
よれば、自車両の周囲の物体を認識することができる。
そのため、認識結果を車両のステアリングやブレーキの
自動制御に利用することにより、車両の自動運転への途
がひらかれ、車両の安全な運行に寄与できる。以下で
は、先ず、車載用画像認識処理システムの構成について
説明する。そして、上記〜の直線部抽出処理、道路
消失点算出処理、カメラ姿勢パラメータ算出処理および
物体認識処理について順に詳述する。 2.車両用画像認識処理システムの構成 図1は、車両用画像認識処理システムの電気的構成を示
すブロック図である。この車両用画像認識処理システム
は、車両の周辺の物体を画像認識するための画像認識処
理装置1を備えている。この画像認識処理装置1には、
車両の現在位置および車両の進行方位を検出して道路地
図とともに表示装置に表示するためのナビゲーション処
理装置2と、急制動操作時などにおいて車輪がロック状
態となることを回避するためのアンチロックブレーキ装
置3とが接続されている。画像認識処理装置1における
処理には、ナビゲーション処理装置2およびアンチロッ
クブレーキ装置3の各内部情報が支援情報として用いら
れる。
よれば、自車両の周囲の物体を認識することができる。
そのため、認識結果を車両のステアリングやブレーキの
自動制御に利用することにより、車両の自動運転への途
がひらかれ、車両の安全な運行に寄与できる。以下で
は、先ず、車載用画像認識処理システムの構成について
説明する。そして、上記〜の直線部抽出処理、道路
消失点算出処理、カメラ姿勢パラメータ算出処理および
物体認識処理について順に詳述する。 2.車両用画像認識処理システムの構成 図1は、車両用画像認識処理システムの電気的構成を示
すブロック図である。この車両用画像認識処理システム
は、車両の周辺の物体を画像認識するための画像認識処
理装置1を備えている。この画像認識処理装置1には、
車両の現在位置および車両の進行方位を検出して道路地
図とともに表示装置に表示するためのナビゲーション処
理装置2と、急制動操作時などにおいて車輪がロック状
態となることを回避するためのアンチロックブレーキ装
置3とが接続されている。画像認識処理装置1における
処理には、ナビゲーション処理装置2およびアンチロッ
クブレーキ装置3の各内部情報が支援情報として用いら
れる。
【0017】画像認識処理装置1は、車両のたとえば前
方部や車室内に取り付けられた車載カラーカメラ11を
備えている。この車載カラーカメラ11は、車両の前方
を撮像することができるものである。車載カラーカメラ
11のほかに、または車載カラーカメラ11に代えて、
車両の後方や車両の側方を撮像できる別の車載カメラが
備えられていてもよい。
方部や車室内に取り付けられた車載カラーカメラ11を
備えている。この車載カラーカメラ11は、車両の前方
を撮像することができるものである。車載カラーカメラ
11のほかに、または車載カラーカメラ11に代えて、
車両の後方や車両の側方を撮像できる別の車載カメラが
備えられていてもよい。
【0018】車載カラーカメラ11は、撮像した画面の
各点をカラー表現したアナログ電気信号を出力する。こ
のアナログ信号は、画像処理回路13において、アナロ
グ/ディジタル変換等の処理を受けて、画像データに変
換される。この画像データは、マイクロコンピュータな
どを含む認識処理部15に入力される。認識処理部15
には、RAM(ランダム・アクセス・メモリ)などを含
む記憶部17が接続されている。また、認識処練部15
には、ナビゲーション処理装置2およびアンチロックブ
レーキ装置3からの支援情報が与えられている。
各点をカラー表現したアナログ電気信号を出力する。こ
のアナログ信号は、画像処理回路13において、アナロ
グ/ディジタル変換等の処理を受けて、画像データに変
換される。この画像データは、マイクロコンピュータな
どを含む認識処理部15に入力される。認識処理部15
には、RAM(ランダム・アクセス・メモリ)などを含
む記憶部17が接続されている。また、認識処練部15
には、ナビゲーション処理装置2およびアンチロックブ
レーキ装置3からの支援情報が与えられている。
【0019】ナビゲーション処理装置2は、車両の走行
距離を検出するための距離センサ21および車両の進行
方位を検出するための方位センサ22を備えている。こ
れらのセンサ21および22の出力は、センサ処理回路
23において処理されることにより、走行距離データお
よび現在方位データに変換される。これらのデータが、
マイクロコンピュータなどを内部に含む位置検出処理部
25に入力される。位置検出処理部25は、センサ処理
回路23から入力されるデータに基づいて、車両の現在
位置データを算出する。
距離を検出するための距離センサ21および車両の進行
方位を検出するための方位センサ22を備えている。こ
れらのセンサ21および22の出力は、センサ処理回路
23において処理されることにより、走行距離データお
よび現在方位データに変換される。これらのデータが、
マイクロコンピュータなどを内部に含む位置検出処理部
25に入力される。位置検出処理部25は、センサ処理
回路23から入力されるデータに基づいて、車両の現在
位置データを算出する。
【0020】位置検出処理部25には、道路地図を記憶
した道路地図メモリ27と、RAMなどを含む記憶部2
8と、CRT(陰極線管)や液晶表示パネルからなる表
示部29とが接続されている。道路地図メモリ27は、
たとえば、CD−ROMで構成されている。位置検出部
25は、算出された現在位置データに基づいて道路地図
メモリ27を検索し、現在位置の周辺の道路地図を読み
出す。この道路地図は、表示部29に表示される。この
とき、車両の現在位置を表すマークが道路地図上に重ね
て表示される。
した道路地図メモリ27と、RAMなどを含む記憶部2
8と、CRT(陰極線管)や液晶表示パネルからなる表
示部29とが接続されている。道路地図メモリ27は、
たとえば、CD−ROMで構成されている。位置検出部
25は、算出された現在位置データに基づいて道路地図
メモリ27を検索し、現在位置の周辺の道路地図を読み
出す。この道路地図は、表示部29に表示される。この
とき、車両の現在位置を表すマークが道路地図上に重ね
て表示される。
【0021】位置検出処理部25は、画像認識処理装置
1の認識処理部15に、道路地図データ、現在方位デー
タ、現在位置データおよび走行距離データを、支援情報
とし与える。これらのデータの他に、単位時間当たりま
たは単位走行距離当たりの進行方位の変化量を表す方位
変化データが支援情報として認識処理部15に与えられ
てもよい。
1の認識処理部15に、道路地図データ、現在方位デー
タ、現在位置データおよび走行距離データを、支援情報
とし与える。これらのデータの他に、単位時間当たりま
たは単位走行距離当たりの進行方位の変化量を表す方位
変化データが支援情報として認識処理部15に与えられ
てもよい。
【0022】アンチロックブレーキ装置3は、車輪の回
転速度を検出する車輪速センサ31と車体の加速度(減
速度を含む)を検出するためのgセンサ32とを備えて
いる。これらのセンサ31,32の出力は、センサ処理
回路33で処理されることにより、車輪速データおよび
gセンサデータに変換される。これらのデータは、マイ
クロコンピュータを内部に含む制動処理部35に入力さ
れる。制動処理部35には、RAMなどからなる記憶部
37が接続されている。なお、距離センサ21と車輪速
センサ31とは共用化が可能であり、いずれか1つのセ
ンサのみを設け、その1つのセンサの出力をナビゲーシ
ョン処理装置2およびアンチロックブレーキ装置3にお
いて共通に用いてもよい。
転速度を検出する車輪速センサ31と車体の加速度(減
速度を含む)を検出するためのgセンサ32とを備えて
いる。これらのセンサ31,32の出力は、センサ処理
回路33で処理されることにより、車輪速データおよび
gセンサデータに変換される。これらのデータは、マイ
クロコンピュータを内部に含む制動処理部35に入力さ
れる。制動処理部35には、RAMなどからなる記憶部
37が接続されている。なお、距離センサ21と車輪速
センサ31とは共用化が可能であり、いずれか1つのセ
ンサのみを設け、その1つのセンサの出力をナビゲーシ
ョン処理装置2およびアンチロックブレーキ装置3にお
いて共通に用いてもよい。
【0023】制動処理部35は、ブレーキペダルが操作
されると、車輪速データおよびgセンサデータに基づい
て、ブレーキデータを作成する。そして、このブレーキ
データに基づいて図外の電磁ソレノイドなどを制御す
る。これによって、各車輪のブレーキ圧力が制御され、
車輪がロックすることが防止される。制動処理部35
は、gセンサデータおよびブレーキデータを画像認識処
理装置1の認識処理部15に、支援情報として与える。 3.直線部抽出処理 次に、直線部抽出処理について説明する。
されると、車輪速データおよびgセンサデータに基づい
て、ブレーキデータを作成する。そして、このブレーキ
データに基づいて図外の電磁ソレノイドなどを制御す
る。これによって、各車輪のブレーキ圧力が制御され、
車輪がロックすることが防止される。制動処理部35
は、gセンサデータおよびブレーキデータを画像認識処
理装置1の認識処理部15に、支援情報として与える。 3.直線部抽出処理 次に、直線部抽出処理について説明する。
【0024】図2は、車載カラーカメラ11によって撮
像された画像例を示す図である。車両の前方に向けられ
た車載カラーカメラ11によって撮像される画像中に
は、走行中の道路41が入っている。道路41には、中
央白線42が形成されており、路側付近には、路側白線
43が形成されている。また、道路41の側部には、路
側帯44が設けられている。画面中において、走行中の
道路41が消失する箇所が、道路消失点NPである。な
お、46,47,48は、前方を走行中の他車両であ
る。
像された画像例を示す図である。車両の前方に向けられ
た車載カラーカメラ11によって撮像される画像中に
は、走行中の道路41が入っている。道路41には、中
央白線42が形成されており、路側付近には、路側白線
43が形成されている。また、道路41の側部には、路
側帯44が設けられている。画面中において、走行中の
道路41が消失する箇所が、道路消失点NPである。な
お、46,47,48は、前方を走行中の他車両であ
る。
【0025】図3は、画像中の直線部分を抽出した図で
ある。すなわち、道路41の両側部、中央白線42、路
側白線43、路側帯44の側部、および他車両46,4
7,48の輪郭が、直線部分として抽出されている。こ
の図3から明らかなように、道路消失点NPは、車両の
進行方向50(図2参照)に沿った直線L1,L2,・・
・・の交点として求めることができる。
ある。すなわち、道路41の両側部、中央白線42、路
側白線43、路側帯44の側部、および他車両46,4
7,48の輪郭が、直線部分として抽出されている。こ
の図3から明らかなように、道路消失点NPは、車両の
進行方向50(図2参照)に沿った直線L1,L2,・・
・・の交点として求めることができる。
【0026】直線部抽出処理では、車載カラーカメラ1
1で撮像された画像は、水平走査方向DHに沿って走査
される。この走査が、画面の上端から下端まで行われ
る。水平方向DHに沿った各走査線上において、直線L
1,L2,・・・・上の点が直線候補点P11,P12,・・・・;
P21,P22,・・・・として検出される。この直線候補点の
検出処理は、車載カラーカメラ11から認識処理部15
を通って記憶部17に記憶された画像データを順に読み
出すようにして実行される。
1で撮像された画像は、水平走査方向DHに沿って走査
される。この走査が、画面の上端から下端まで行われ
る。水平方向DHに沿った各走査線上において、直線L
1,L2,・・・・上の点が直線候補点P11,P12,・・・・;
P21,P22,・・・・として検出される。この直線候補点の
検出処理は、車載カラーカメラ11から認識処理部15
を通って記憶部17に記憶された画像データを順に読み
出すようにして実行される。
【0027】直線候補点は、水平走査方向DHに沿って
画面を構成する各画素を走査したときに、色度もしくは
輝度またはその両方が安定している安定状態と、色度も
しくは輝度またはその両方が大きく変化する不安定状態
との間で遷移したことに基づいて検出される。安定状態
および不安定状態は、それぞれ、次のようにして検出さ
れる。
画面を構成する各画素を走査したときに、色度もしくは
輝度またはその両方が安定している安定状態と、色度も
しくは輝度またはその両方が大きく変化する不安定状態
との間で遷移したことに基づいて検出される。安定状態
および不安定状態は、それぞれ、次のようにして検出さ
れる。
【0028】たとえば、車載カラーカメラが、赤
(R)、緑(G)および青(B)に対応した3原色信号
を出力するものであるとする。この3原色信号は色調を
表す信号である。色調とは、色度と輝度とを合わせて表
現した量である。この場合、記憶部17には、RGBの
3原色画像データが記憶されることになる。水平走査方
向DHに沿った走査線上の任意の点におけるR、G、B
の各画像データをr(t) 、g(t) 、b(t) とする。t
は、処理シーケンスを表し、水平走査方向DHに沿った
走査線上の1つの点に対応する。
(R)、緑(G)および青(B)に対応した3原色信号
を出力するものであるとする。この3原色信号は色調を
表す信号である。色調とは、色度と輝度とを合わせて表
現した量である。この場合、記憶部17には、RGBの
3原色画像データが記憶されることになる。水平走査方
向DHに沿った走査線上の任意の点におけるR、G、B
の各画像データをr(t) 、g(t) 、b(t) とする。t
は、処理シーケンスを表し、水平走査方向DHに沿った
走査線上の1つの点に対応する。
【0029】この場合に、不安定状態は、下記第(1) 式
で定義される判定値P(t) に対して、下記第(2) 式が成
立することに基づいて検出される。m1は定数である。
また、j1 ,j2 およびj3 は重み付けのための定数で
ある。たとえば、Rデータは明るさの変化に対する変動
が大きいので定数j1 は比較的大きな値とされ、Bデー
タは明るさの変化に対する変動が小さいので定数j3 は
比較的小さな値とされる。
で定義される判定値P(t) に対して、下記第(2) 式が成
立することに基づいて検出される。m1は定数である。
また、j1 ,j2 およびj3 は重み付けのための定数で
ある。たとえば、Rデータは明るさの変化に対する変動
が大きいので定数j1 は比較的大きな値とされ、Bデー
タは明るさの変化に対する変動が小さいので定数j3 は
比較的小さな値とされる。
【0030】 P(t) =j1 |r(t) −r(t-1) | +j2 |g(t) −g(t-1) |+j3 |b(t) −b(t-1) | ・・・・ (1) P(t) >m1 ・・・・ (2) すなわち、水平走査方向DHに沿って隣接する2つの処
理対象点の色調の変化の絶対値の線形和が、所定の定数
m1よりも大きい場合に、色調が大きな変化を示してい
ることが検出される。隣接する処理対象点は、必ずしも
隣接する2つの画素とは限らず、或る所定数の画素間隔
で処理対象点を設定してもよい。
理対象点の色調の変化の絶対値の線形和が、所定の定数
m1よりも大きい場合に、色調が大きな変化を示してい
ることが検出される。隣接する処理対象点は、必ずしも
隣接する2つの画素とは限らず、或る所定数の画素間隔
で処理対象点を設定してもよい。
【0031】なお、上記の判定値P(t) の代わりに、下
記第(3) 式で定義される判定値P1(t) を用い、この判
定値P1 (t) が下記第(4) 式を満たすときに不安定状態
であるものと判定してもよい。なお、m2は定数であ
る。また、k1 ,k2 およびk 3 は重み付けのための定
数である。 P1 (t) =k1 {r(t) −r(t-1) }2 +k2 {g(t) −g(t-1) }2 +k3 {b(t) −b(t-1) }2 ・・・・ (3) P1 (t) >m2 ・・・・ (4) この場合には、水平走査方向DHに沿って隣接する2つ
の処理対象点の色調の変化の自乗の線形和が、所定の定
数m2よりも大きい場合に、不安定状態であることが検
出される。
記第(3) 式で定義される判定値P1(t) を用い、この判
定値P1 (t) が下記第(4) 式を満たすときに不安定状態
であるものと判定してもよい。なお、m2は定数であ
る。また、k1 ,k2 およびk 3 は重み付けのための定
数である。 P1 (t) =k1 {r(t) −r(t-1) }2 +k2 {g(t) −g(t-1) }2 +k3 {b(t) −b(t-1) }2 ・・・・ (3) P1 (t) >m2 ・・・・ (4) この場合には、水平走査方向DHに沿って隣接する2つ
の処理対象点の色調の変化の自乗の線形和が、所定の定
数m2よりも大きい場合に、不安定状態であることが検
出される。
【0032】一方、色調の安定状態は、上記第(1) 式の
判定値P(t) に対して、下記第(5)式が、一定個数(た
とえば10個)以上の連続する処理対象点に関して成立
することに基づいて検出される。n1は定数である(た
だし、n1<m1)。 P(t) <n1 ・・・・ (5) すなわち、水平走査方向DHに隣接する2つの処理対象
点の色調の変化の絶対値の線形和が、所定の定数n1よ
りも小さい状態が、一定個数の処理対象点に関して続い
ている場合に、色調が安定していることが検出される。
判定値P(t) に対して、下記第(5)式が、一定個数(た
とえば10個)以上の連続する処理対象点に関して成立
することに基づいて検出される。n1は定数である(た
だし、n1<m1)。 P(t) <n1 ・・・・ (5) すなわち、水平走査方向DHに隣接する2つの処理対象
点の色調の変化の絶対値の線形和が、所定の定数n1よ
りも小さい状態が、一定個数の処理対象点に関して続い
ている場合に、色調が安定していることが検出される。
【0033】なお、上記第(3) 式の判定値P1(t)を用
い、この判定値P1(t)が、下記第(6)式を、一定個数
(たとえば10個)以上の連続する処理対象点に関して
満たすときに、安定状態であるものと判定してもよい。
なお、n2は定数である(ただし、n2<m2)。 P1(t)<n2 ・・・・ (6) この場合には、水平走査方向DHに沿って隣接する2つ
の処理対象点の色調の変化の自乗の変形和が所定の定数
n2よりも小さい状態が、一定個数の処理対象点に関し
て続いている場合に、安定状態であることが検出され
る。
い、この判定値P1(t)が、下記第(6)式を、一定個数
(たとえば10個)以上の連続する処理対象点に関して
満たすときに、安定状態であるものと判定してもよい。
なお、n2は定数である(ただし、n2<m2)。 P1(t)<n2 ・・・・ (6) この場合には、水平走査方向DHに沿って隣接する2つ
の処理対象点の色調の変化の自乗の変形和が所定の定数
n2よりも小さい状態が、一定個数の処理対象点に関し
て続いている場合に、安定状態であることが検出され
る。
【0034】安定状態の検出には、上記の手法の他に
も、指数平滑を用いた手法を適用することができる。た
とえば、上記第(1) 式の判定値P(t) を用いて下記第
(7) 式の新たな判定値Q(t) を求め、この判定値Q(t)
が下記第(8) 式を満たすことに基づいて安定状態を検出
してもよい。この場合には、一定個数の連続する処理対
象点に対する判定結果を継続して監視する必要がない。
また、この指数平滑を用いた手法では、画像中のノイズ
の影響を排除して、安定状態の検出を良好に行えるとい
う利点がある。なお、下記第(7) 式のαおよび下記第
(8) 式のn3は、いずれも定数である。
も、指数平滑を用いた手法を適用することができる。た
とえば、上記第(1) 式の判定値P(t) を用いて下記第
(7) 式の新たな判定値Q(t) を求め、この判定値Q(t)
が下記第(8) 式を満たすことに基づいて安定状態を検出
してもよい。この場合には、一定個数の連続する処理対
象点に対する判定結果を継続して監視する必要がない。
また、この指数平滑を用いた手法では、画像中のノイズ
の影響を排除して、安定状態の検出を良好に行えるとい
う利点がある。なお、下記第(7) 式のαおよび下記第
(8) 式のn3は、いずれも定数である。
【0035】 Q(t) =α・P(t) +(1−α)・Q(t-1) ・・・・ (7) Q(t) <n3 ・・・・ (8) 同様に、上記第(3) 式の判定値P1(t)を用いて下記第
(9) 式の新たな判定値Q 1(t)を求め、この判定値Q1(t)
が下記第(10)式を満たすことに基づいて安定状態を検出
することもできる。n4は定数である。
(9) 式の新たな判定値Q 1(t)を求め、この判定値Q1(t)
が下記第(10)式を満たすことに基づいて安定状態を検出
することもできる。n4は定数である。
【0036】 Q1(t)=α・P1(t)+(1−α)・Q1(t-1) ・・・・ (9) Q1(t)<n4 ・・・・ (10) なお、RGBディジタル信号を用いる場合だけでなく、
HCV(Hue(彩度),Contrast(明度),Value(輝度))デ
ィジタル信号や、YUVディジタル信号(1つの輝度情
報および2つの色情報からなる信号)を用いる場合につ
いても、上記と同様にして安定状態および不安定状態を
それぞれ検出することができる。また、輝度および色度
のうちのいずれか一方のみを用いて安定状態および不安
定状態を検出してもよい。なお、彩度および明度は色度
に相当する。
HCV(Hue(彩度),Contrast(明度),Value(輝度))デ
ィジタル信号や、YUVディジタル信号(1つの輝度情
報および2つの色情報からなる信号)を用いる場合につ
いても、上記と同様にして安定状態および不安定状態を
それぞれ検出することができる。また、輝度および色度
のうちのいずれか一方のみを用いて安定状態および不安
定状態を検出してもよい。なお、彩度および明度は色度
に相当する。
【0037】RGBディジタル信号と、HCVディジタ
ル信号またはYUVディジタル信号とは、互いに変換可
能である。たとえば、RGBディジタル信号とYUVデ
ィジタル信号とは、下記第(11)式乃至第(16)式によって
相互に変換することができる(「インタフェース」1991
年12月号参照)。 Y= 0.2990・R+0.5870・G+0.1140・B ・・・・ (11) U=−0.1684・R−0.3316・G+0.5000・B ・・・・ (12) V= 0.5000・R−0.4187・G−0.0813・B ・・・・ (13) R=Y +1.4020・V ・・・・ (14) G=Y−0.3441・U−0.7139・V ・・・・ (15) B=Y+1.7718・U−0.0012・V ・・・・ (16) 図4は直線候補点の検出処理を説明するための図であ
る。図4(a) は車載カラーカメラ11によって撮像され
た画像例を示し、図4(b) は或る走査線SHL上におけ
るR、G、Bディジタルデータの変化を示す。R、G、
Bの各データの変化は、それぞれ曲線LR、LG、LB
で示されている。この図4から、道路51に形成された
白線52,53,54および中央分離帯55の付近で
は、色調が激しく変化することが理解される。また、白
線などが形成されていない道路表面に対応した画像部分
に対しては、色調が安定していることが理解される。
ル信号またはYUVディジタル信号とは、互いに変換可
能である。たとえば、RGBディジタル信号とYUVデ
ィジタル信号とは、下記第(11)式乃至第(16)式によって
相互に変換することができる(「インタフェース」1991
年12月号参照)。 Y= 0.2990・R+0.5870・G+0.1140・B ・・・・ (11) U=−0.1684・R−0.3316・G+0.5000・B ・・・・ (12) V= 0.5000・R−0.4187・G−0.0813・B ・・・・ (13) R=Y +1.4020・V ・・・・ (14) G=Y−0.3441・U−0.7139・V ・・・・ (15) B=Y+1.7718・U−0.0012・V ・・・・ (16) 図4は直線候補点の検出処理を説明するための図であ
る。図4(a) は車載カラーカメラ11によって撮像され
た画像例を示し、図4(b) は或る走査線SHL上におけ
るR、G、Bディジタルデータの変化を示す。R、G、
Bの各データの変化は、それぞれ曲線LR、LG、LB
で示されている。この図4から、道路51に形成された
白線52,53,54および中央分離帯55の付近で
は、色調が激しく変化することが理解される。また、白
線などが形成されていない道路表面に対応した画像部分
に対しては、色調が安定していることが理解される。
【0038】図5は、直線候補点を検出するために認識
処理部15によって実行される処理を説明するためのフ
ローチャートである。ステップS1では、車載カラーカ
メラ11で撮像される1枚のカラー画像のデータが記憶
部17に格納される。そして、画像の上端から水平方向
に画素を走査しながら、処理対象の画素に対する処理が
行われる(ステップS2)。或る1本の走査線上の全て
の処理対象の画素に対する処理が終了したときには(ス
テップS3)、走査する対象を垂直方向に移動して処理
が実行される(ステップS4)。垂直方向への処理も終
了すれば(ステップS5)、1枚のカラー画像に対する
直線候補点の検出処理を終了する。
処理部15によって実行される処理を説明するためのフ
ローチャートである。ステップS1では、車載カラーカ
メラ11で撮像される1枚のカラー画像のデータが記憶
部17に格納される。そして、画像の上端から水平方向
に画素を走査しながら、処理対象の画素に対する処理が
行われる(ステップS2)。或る1本の走査線上の全て
の処理対象の画素に対する処理が終了したときには(ス
テップS3)、走査する対象を垂直方向に移動して処理
が実行される(ステップS4)。垂直方向への処理も終
了すれば(ステップS5)、1枚のカラー画像に対する
直線候補点の検出処理を終了する。
【0039】水平走査方向に沿った走査線上の全ての処
理対象の画素に対する処理が終了する以前には、ステッ
プS3からステップS6に処理が移る。ステップS6で
は、或る1つの処理対象の画素に対して安定状態か不安
定状態かを検出するために必要なデータが記憶部17か
ら読み出される。そして、ステップS7では、不安定状
態であるかどうかが判定される。すなわち、上記第(2)
式または上記第(4) 式が満たされているかどうかが判定
される。不安定状態であると判定されたときには、ステ
ップS8において、それ以前には、安定状態であるとの
判定がなされていたかどうかが判断される。もしそうで
あれは、その時点の処理対象の画素は、安定状態から不
安定状態への変化点の画素である。したがって、ステッ
プS11において、その処理対象の画素の座標(画面上
における座標)が、直線候補点の座標として記憶部17
に格納される。ステップS7において不安定状態と判定
される以前にも不安定状態と判定されていた場合には、
不安定状態が継続しているだけであるから、直線候補点
が検出されていないものとして、ステップS2に戻る。
理対象の画素に対する処理が終了する以前には、ステッ
プS3からステップS6に処理が移る。ステップS6で
は、或る1つの処理対象の画素に対して安定状態か不安
定状態かを検出するために必要なデータが記憶部17か
ら読み出される。そして、ステップS7では、不安定状
態であるかどうかが判定される。すなわち、上記第(2)
式または上記第(4) 式が満たされているかどうかが判定
される。不安定状態であると判定されたときには、ステ
ップS8において、それ以前には、安定状態であるとの
判定がなされていたかどうかが判断される。もしそうで
あれは、その時点の処理対象の画素は、安定状態から不
安定状態への変化点の画素である。したがって、ステッ
プS11において、その処理対象の画素の座標(画面上
における座標)が、直線候補点の座標として記憶部17
に格納される。ステップS7において不安定状態と判定
される以前にも不安定状態と判定されていた場合には、
不安定状態が継続しているだけであるから、直線候補点
が検出されていないものとして、ステップS2に戻る。
【0040】ステップS7において不安定状態でないと
判定されたときには、ステップS9に進む。ステップS
9では、それ以前に処理された一定個数(N)の処理対
象画素に関して、色調の変化が小さいかどうかが調べら
れる。すなわち、上記第(5)式または第(6) 式を満たす
処理対象点が一定個数(N)以上連続しているかどうか
が判断される。上記第(5) 式または第(6) 式を満たす処
理対象点が一定個数(N)以上連続していれば、ステッ
プS10において、さらに、(N+1)個前の処理対象
点において、不安定状態が検出されたかどうかが判断さ
れる。不安定状態が検出されていれば、その不安定状態
が検出された処理対象点が、直線候補点として検出さ
れ、その座標が記憶部17に格納される(ステップS1
1)。
判定されたときには、ステップS9に進む。ステップS
9では、それ以前に処理された一定個数(N)の処理対
象画素に関して、色調の変化が小さいかどうかが調べら
れる。すなわち、上記第(5)式または第(6) 式を満たす
処理対象点が一定個数(N)以上連続しているかどうか
が判断される。上記第(5) 式または第(6) 式を満たす処
理対象点が一定個数(N)以上連続していれば、ステッ
プS10において、さらに、(N+1)個前の処理対象
点において、不安定状態が検出されたかどうかが判断さ
れる。不安定状態が検出されていれば、その不安定状態
が検出された処理対象点が、直線候補点として検出さ
れ、その座標が記憶部17に格納される(ステップS1
1)。
【0041】一方、ステップS9において一定個数
(N)分の処理対象点に関して色調の変化が小さい状態
が継続しているわけではないと判断されたときは、ステ
ップS2に戻る。また、ステップS10において、(N
+1)個前の処理対象点において不安定状態が検出され
ていないときにも、ステップS2に戻る。このようにし
て、車載カラーカメラ11で撮像された画像が水平走査
方向に沿って走査され、走査線上における色調の変化の
程度が調べられる。そして、色調が安定している安定状
態と、色調が不安定な不安定状態とが切り換わる処理対
象点が、直線候補点として検出される。
(N)分の処理対象点に関して色調の変化が小さい状態
が継続しているわけではないと判断されたときは、ステ
ップS2に戻る。また、ステップS10において、(N
+1)個前の処理対象点において不安定状態が検出され
ていないときにも、ステップS2に戻る。このようにし
て、車載カラーカメラ11で撮像された画像が水平走査
方向に沿って走査され、走査線上における色調の変化の
程度が調べられる。そして、色調が安定している安定状
態と、色調が不安定な不安定状態とが切り換わる処理対
象点が、直線候補点として検出される。
【0042】直線を検出するためには、たとえば単に輝
度の強弱の変化点のみを捕らえて直線候補点とすること
も考えられる。しかし、この場合には、道路上の白線の
ように、コントラストの明瞭な直線のみしか検出できな
いおそれがある。これに対して、色度もしくは輝度また
はその両方の安定状態と不安定状態との切り換わりに基
づいて直線候補点を検出するようにした上記の構成で
は、路側帯や中央分離帯および車両の輪郭に対応した処
理対象点をも、直線候補点として抽出することができ
る。したがって、画像中に含まれる多数の直線を抽出す
ることができるので、次に説明する道路消失点算出処理
を良好に行うことができる。
度の強弱の変化点のみを捕らえて直線候補点とすること
も考えられる。しかし、この場合には、道路上の白線の
ように、コントラストの明瞭な直線のみしか検出できな
いおそれがある。これに対して、色度もしくは輝度また
はその両方の安定状態と不安定状態との切り換わりに基
づいて直線候補点を検出するようにした上記の構成で
は、路側帯や中央分離帯および車両の輪郭に対応した処
理対象点をも、直線候補点として抽出することができ
る。したがって、画像中に含まれる多数の直線を抽出す
ることができるので、次に説明する道路消失点算出処理
を良好に行うことができる。
【0043】なお、画像中に含まれるノイズの影響を排
除するために、不安定状態の検出に当たり、色調などの
変化が大きな状態が一定個数の処理対象点に関して継続
していることを条件としてもよい。また、1本の走査線
上のデータだけでなく、近傍の走査線上のデータも利用
して直線候補点の検出を行ってもよい。たとえば、或る
処理対象点が直線候補点であると考えられる場合に、垂
直方向に隣接する点が直線候補点であることを条件とし
て、その処理対象点を直線候補点と決定するようにして
もよい。このようにすれば、画像中に含まれるノイズの
影響を排除して、直線候補点を良好に検出できる。 4.道路消失点算出処理 道路消失点算出処理は、直線部抽出処理によって得られ
た直線候補点を用いて、図2に示す道路消失点NPを求
める処理である。図3から明らかなように、道路消失点
を求める処理は、直線候補点P11,P12,・・・・;P21,
P22,・・・・を連結する直線の交点を求める処理にほかな
らない。
除するために、不安定状態の検出に当たり、色調などの
変化が大きな状態が一定個数の処理対象点に関して継続
していることを条件としてもよい。また、1本の走査線
上のデータだけでなく、近傍の走査線上のデータも利用
して直線候補点の検出を行ってもよい。たとえば、或る
処理対象点が直線候補点であると考えられる場合に、垂
直方向に隣接する点が直線候補点であることを条件とし
て、その処理対象点を直線候補点と決定するようにして
もよい。このようにすれば、画像中に含まれるノイズの
影響を排除して、直線候補点を良好に検出できる。 4.道路消失点算出処理 道路消失点算出処理は、直線部抽出処理によって得られ
た直線候補点を用いて、図2に示す道路消失点NPを求
める処理である。図3から明らかなように、道路消失点
を求める処理は、直線候補点P11,P12,・・・・;P21,
P22,・・・・を連結する直線の交点を求める処理にほかな
らない。
【0044】道路消失点算出処理は、直線候補点の座標
列に対して、Hough変換処理を2回繰り返して施すこと
によって行われる。そこで、まず、Hough変換について
概説する。図6(a) および図6(b) はHough変換を説明
するための図である。図6(a) に示すように、複数の点
(xi ,yi )(ただし、i=1,2,3,・・・・)が直
線x=ay+bの上に存在していれば、任意のiに対し
て、xi =ayi +bが成立する。この式を(a,b)
を変数とみなしてab座標平面で考えると、この座標平
面での直線の式は、b=−yi a+xi となる。全ての
iについてのab平面上におけるグラフ化は、図6(b)
に示されている。すなわち、複数のiに対応した複数の
直線群は、或る一点(a0 ,b0 )を通る。これは、複
数の点(xi,yi )がいずれも1つの直線上に存在し
ていることの当然の帰結である。
列に対して、Hough変換処理を2回繰り返して施すこと
によって行われる。そこで、まず、Hough変換について
概説する。図6(a) および図6(b) はHough変換を説明
するための図である。図6(a) に示すように、複数の点
(xi ,yi )(ただし、i=1,2,3,・・・・)が直
線x=ay+bの上に存在していれば、任意のiに対し
て、xi =ayi +bが成立する。この式を(a,b)
を変数とみなしてab座標平面で考えると、この座標平
面での直線の式は、b=−yi a+xi となる。全ての
iについてのab平面上におけるグラフ化は、図6(b)
に示されている。すなわち、複数のiに対応した複数の
直線群は、或る一点(a0 ,b0 )を通る。これは、複
数の点(xi,yi )がいずれも1つの直線上に存在し
ていることの当然の帰結である。
【0045】そこで、ab座標平面を充分に細かな格子
升目に区画し、(xi ,yi )に対応する直線が或る格
子升目を通過するものであるときに、その格子升目の計
数を1だけ増やす。この操作を全ての(xi ,yi )関
して行う操作がHough変換である。上記の場合、
(a0 ,b0 )の点の格子升目の計数値が最大となるは
ずである。そこで、ab座標平面上で計数値が最大の格
子升目を求めれば、(a0 ,b0)が求まる。したがっ
て、複数の点(xi ,yi )を通る直線の方程式は、x
=a0 y+b0 と定めることができる。このように、H
ough変換は、画像処理の分野において、複数の点
(xi ,yi )を通る直線を求める際に用いられる。
升目に区画し、(xi ,yi )に対応する直線が或る格
子升目を通過するものであるときに、その格子升目の計
数を1だけ増やす。この操作を全ての(xi ,yi )関
して行う操作がHough変換である。上記の場合、
(a0 ,b0 )の点の格子升目の計数値が最大となるは
ずである。そこで、ab座標平面上で計数値が最大の格
子升目を求めれば、(a0 ,b0)が求まる。したがっ
て、複数の点(xi ,yi )を通る直線の方程式は、x
=a0 y+b0 と定めることができる。このように、H
ough変換は、画像処理の分野において、複数の点
(xi ,yi )を通る直線を求める際に用いられる。
【0046】図7はHough変換を2回繰り返して道路消
失点を求めるための処理を説明するための図である。図
7(a) には車載カメラ11によって撮像された画面に対
応した座標平面であるxy座標平面が示されており、図
7(b) には1回目のHough変換における変換座標(第1
の変換座標)平面であるab座標平面が示されており、
図7(c) には2回目のHough変換における変換座標(第
2の変換座標)平面であるmn座標平面が示されてい
る。
失点を求めるための処理を説明するための図である。図
7(a) には車載カメラ11によって撮像された画面に対
応した座標平面であるxy座標平面が示されており、図
7(b) には1回目のHough変換における変換座標(第1
の変換座標)平面であるab座標平面が示されており、
図7(c) には2回目のHough変換における変換座標(第
2の変換座標)平面であるmn座標平面が示されてい
る。
【0047】図7(a) に示すように、直線候補点P11,
P12,・・・・;P21,P22,;P31,P32,・・・・がそれぞ
れ属する直線L1,L2,L3は、道路消失点(x0 ,
y0)で交わる。座標(x0 ,y0 )を通る直線の方程
式は、下記第(17)式のとおりである。なお、Cは定数で
ある。 x=C(y−y0 )+x0 =Cy+(x0 −Cy0 ) ・・・・ (17) そこで、a=C、b=x0 −Cy0 とおくと、変換式x
=ay+bが得られ、a,bの関係は下記第(18)式で表
される。
P12,・・・・;P21,P22,;P31,P32,・・・・がそれぞ
れ属する直線L1,L2,L3は、道路消失点(x0 ,
y0)で交わる。座標(x0 ,y0 )を通る直線の方程
式は、下記第(17)式のとおりである。なお、Cは定数で
ある。 x=C(y−y0 )+x0 =Cy+(x0 −Cy0 ) ・・・・ (17) そこで、a=C、b=x0 −Cy0 とおくと、変換式x
=ay+bが得られ、a,bの関係は下記第(18)式で表
される。
【0048】 b=−ay0 +x0 ・・・・ (18) 直線候補点P11,P12,・・・・;P21,P22,;P31,P
32,・・・・の座標に対してHough変換を施した場合、ab
座標平面では、複数の直線L1,L2,L3に対応し
て、計数値が極大値をとる格子升目が複数個得られるは
ずである。しかし、直線L1,L2,L3は一点
(x0 ,y0 )で交わるのであるから、極大値をとる格
子升目D1 ,D2 ,D3 は、上記第(18)式の直線上にな
ければならない(図7(b) 参照)。
32,・・・・の座標に対してHough変換を施した場合、ab
座標平面では、複数の直線L1,L2,L3に対応し
て、計数値が極大値をとる格子升目が複数個得られるは
ずである。しかし、直線L1,L2,L3は一点
(x0 ,y0 )で交わるのであるから、極大値をとる格
子升目D1 ,D2 ,D3 は、上記第(18)式の直線上にな
ければならない(図7(b) 参照)。
【0049】そこで、極大値をとる格子升目D1 ,
D2 ,D3 の座標に対して、下記第(19)式の変換式を用
いて、2回目のHough変換をmn座標平面上に行う。 b=ma+n ・・・・ (19) ab座標平面において計数値が極大となる格子升目
D1 ,D2 ,D3 は第(18)式の直線上にあるから、mn
座標平面では、m=−y0 、n=x0 に対応した格子升
目の計数値が最大となる。これにより、xy座標平面に
おける道路消失点nPの座標(x0 ,y0 )を求めるこ
とができる。
D2 ,D3 の座標に対して、下記第(19)式の変換式を用
いて、2回目のHough変換をmn座標平面上に行う。 b=ma+n ・・・・ (19) ab座標平面において計数値が極大となる格子升目
D1 ,D2 ,D3 は第(18)式の直線上にあるから、mn
座標平面では、m=−y0 、n=x0 に対応した格子升
目の計数値が最大となる。これにより、xy座標平面に
おける道路消失点nPの座標(x0 ,y0 )を求めるこ
とができる。
【0050】図8、図9、図10および図14は道路消
失点を算出するために認識処理部15(図1参照)にお
いて実行される処理を説明するためのフローチャートで
ある。先ず、ナビゲーション処理装置2から与えられる
支援情報が参照される(ステップS21)。この情報を
基に、車両の前方の道路が直線道路であるかどうか(ス
テップS22)、走行道路の属性(幹線道路かどうかな
ど)が所定の基準を満たしているかどうか(ステップS
23)、および車両が道路とほぼ平行に走行しているか
どうか(ステップS24)が調べられる。いずれかの条
件が満たされていないときには、道路消失点の算出を禁
止して、処理を終了する。これらの全ての条件が満たさ
れていなければ道路消失点を算出できない可能性が高い
ので、無駄な処理を省く目的である。たとえば、カーブ
走行中であれば、車載カメラ11によって撮像される画
面の中には道路消失点がない可能性が高く、しかも、直
線を抽出できないからHough変換による道路消失点の算
出は困難である。また、走行中の道路が幹線道路以外の
細い道路であれば、あまり長い直線区間が続かないこと
が多いので、道路消失点が見つからない可能性が高い。
さらに、車線変更中のように車両が道路と平行に走行し
ていないときには、撮像された画面中に道路消失点が存
在していないおそれがある。
失点を算出するために認識処理部15(図1参照)にお
いて実行される処理を説明するためのフローチャートで
ある。先ず、ナビゲーション処理装置2から与えられる
支援情報が参照される(ステップS21)。この情報を
基に、車両の前方の道路が直線道路であるかどうか(ス
テップS22)、走行道路の属性(幹線道路かどうかな
ど)が所定の基準を満たしているかどうか(ステップS
23)、および車両が道路とほぼ平行に走行しているか
どうか(ステップS24)が調べられる。いずれかの条
件が満たされていないときには、道路消失点の算出を禁
止して、処理を終了する。これらの全ての条件が満たさ
れていなければ道路消失点を算出できない可能性が高い
ので、無駄な処理を省く目的である。たとえば、カーブ
走行中であれば、車載カメラ11によって撮像される画
面の中には道路消失点がない可能性が高く、しかも、直
線を抽出できないからHough変換による道路消失点の算
出は困難である。また、走行中の道路が幹線道路以外の
細い道路であれば、あまり長い直線区間が続かないこと
が多いので、道路消失点が見つからない可能性が高い。
さらに、車線変更中のように車両が道路と平行に走行し
ていないときには、撮像された画面中に道路消失点が存
在していないおそれがある。
【0051】なお、走行中の道路が直線道路かどうかの
判断や、その道路が所定の属性の道路であるかどうかの
判断は、ナビゲーション処理装置2から与えられる道路
地図データに基づいて行われる。ナビゲーション処理装
置2の位置検出処理部25は、車両が走行している道路
に関するデータを道路地図メモリ27から読み出して、
認識処理部15に与える。また、車両が道路と平行に走
行しているかどうかの判断は、走行中の道路の方位(道
路地図データとしてナビゲーション処理装置2から与え
られる。)と、車両の進行方位に対応した現在方位デー
タとを照合することによって行われる。
判断や、その道路が所定の属性の道路であるかどうかの
判断は、ナビゲーション処理装置2から与えられる道路
地図データに基づいて行われる。ナビゲーション処理装
置2の位置検出処理部25は、車両が走行している道路
に関するデータを道路地図メモリ27から読み出して、
認識処理部15に与える。また、車両が道路と平行に走
行しているかどうかの判断は、走行中の道路の方位(道
路地図データとしてナビゲーション処理装置2から与え
られる。)と、車両の進行方位に対応した現在方位デー
タとを照合することによって行われる。
【0052】上述のステップS22,S23およびS2
4の各条件が満たされているときには、ステップS25
に進む。ステップS25では、1回目のHough変換処理
のために、記憶部17から直線候補点の座標(x,y)
が読み出される。変換式は、x=ay+bである。ま
た、画面上ではx,yは、それぞれ1≦x≦256、1
≦y≦256の範囲内の値をとるものとする。なお、a
b座標平面においては、a軸方向に沿う長さΔaが
「0.01」でb軸方向に沿う長さΔbが「1」の格子
升目が設定される。
4の各条件が満たされているときには、ステップS25
に進む。ステップS25では、1回目のHough変換処理
のために、記憶部17から直線候補点の座標(x,y)
が読み出される。変換式は、x=ay+bである。ま
た、画面上ではx,yは、それぞれ1≦x≦256、1
≦y≦256の範囲内の値をとるものとする。なお、a
b座標平面においては、a軸方向に沿う長さΔaが
「0.01」でb軸方向に沿う長さΔbが「1」の格子
升目が設定される。
【0053】ステップS26では、直線の傾きに対応し
た係数aの値が下記第(20)式の範囲内のいずれかの値に
設定される。この第(20)式の範囲は、車両が道路にほぼ
沿って走行している場合には、道路消失点に至る画面中
の全直線の傾きをカバーできる範囲である。 k1≦a≦k2(たとえば、k1=−2、k2=2) ・・・・ (20) 続いて、ステップS27では、下記第(21)式に従って、
係数bの値が求められる。
た係数aの値が下記第(20)式の範囲内のいずれかの値に
設定される。この第(20)式の範囲は、車両が道路にほぼ
沿って走行している場合には、道路消失点に至る画面中
の全直線の傾きをカバーできる範囲である。 k1≦a≦k2(たとえば、k1=−2、k2=2) ・・・・ (20) 続いて、ステップS27では、下記第(21)式に従って、
係数bの値が求められる。
【0054】 b=−ay+x ・・・・ (21) ステップS28では、求められたbが下記第(22)式の範
囲内の値かどうかが調べられる。この範囲は、上記車両
が道路と平行に走行している場合に画面中に現れる直線
であって道路消失点に至るものをカバーするのに必要充
分な範囲である。
囲内の値かどうかが調べられる。この範囲は、上記車両
が道路と平行に走行している場合に画面中に現れる直線
であって道路消失点に至るものをカバーするのに必要充
分な範囲である。
【0055】 k3≦b≦k4(たとえば、k3=−511 、k4=768 ) ・・・・ (22) bの値が上記の範囲内でなければ(ステップS29)、
ステップS26に戻り、aの値を変化させて(0.01
ずつ変化させる。)同様な処理が行われる。bの値が上
記の範囲内であれば、該当する格子升目の計数値がカウ
ントアップされる(ステップS30)。ステップS31
では、上記のa,bの範囲内の格子升目の計数値のうち
の最大値pが記憶部17に記憶される。
ステップS26に戻り、aの値を変化させて(0.01
ずつ変化させる。)同様な処理が行われる。bの値が上
記の範囲内であれば、該当する格子升目の計数値がカウ
ントアップされる(ステップS30)。ステップS31
では、上記のa,bの範囲内の格子升目の計数値のうち
の最大値pが記憶部17に記憶される。
【0056】このような処理が、上記第(20)式のaの範
囲に関して行われる(ステップS32)。そして、上記
第(20)式の全範囲のaについての処理が終了すると、次
の直線候補点の座標(x,y)が記憶部17から読み出
されて同様な処理が行われる(ステップS33)。この
ようにして、全ての直線候補点に関してステップS25
〜S33の処理が行われることにより、1回目のHough
変換処理が達成される。
囲に関して行われる(ステップS32)。そして、上記
第(20)式の全範囲のaについての処理が終了すると、次
の直線候補点の座標(x,y)が記憶部17から読み出
されて同様な処理が行われる(ステップS33)。この
ようにして、全ての直線候補点に関してステップS25
〜S33の処理が行われることにより、1回目のHough
変換処理が達成される。
【0057】1回目のHough変換処理が終了すると、格
子升目の計数値が1つずつ順に参照される(図9のステ
ップS34)。ステップS35では、参照された計数値
が一定値k5・p(k5は定数であり、たとえば0.5
とされる。このとき、k・pは最大計数値pの2分の1
となる。)以上かどうかが調べられる。計数値が一定値
k5・p未満であれば、ステップS34に戻って、次の
格子升目の計数値に対して同様な処理が実行される。ま
た、計数値がk5・p以上のときは、さらに、一定値k
6(たとえば、3とされる。)以上かどうかが調べられ
る(ステップS36)。これは、最大計数値pが小さい
場合を考慮したものである。計数値が一定値k6に満た
なければ、ステップS34に戻る。
子升目の計数値が1つずつ順に参照される(図9のステ
ップS34)。ステップS35では、参照された計数値
が一定値k5・p(k5は定数であり、たとえば0.5
とされる。このとき、k・pは最大計数値pの2分の1
となる。)以上かどうかが調べられる。計数値が一定値
k5・p未満であれば、ステップS34に戻って、次の
格子升目の計数値に対して同様な処理が実行される。ま
た、計数値がk5・p以上のときは、さらに、一定値k
6(たとえば、3とされる。)以上かどうかが調べられ
る(ステップS36)。これは、最大計数値pが小さい
場合を考慮したものである。計数値が一定値k6に満た
なければ、ステップS34に戻る。
【0058】次に、格子升目の計数値が充分に大きいと
判断された点の座標が、記憶部17に登録されている格
子升目代表値と比較される(ステップS37)。格子升
目代表値とは、格子升目の計数値が充分に大きな点であ
って所定距離範囲内(たとえば、格子升目50個分)に
ある点のグループを代表する点の座標である。つまり、
格子升目の計数値が大きな点は、近くに有るもの同士が
同一群に属するようにグループ分けされる。格子升目代
表値は、グループ中の1つの格子升目の点の座標であ
る。たとえば、そのグループ内に最後に登録された点の
座標が、格子升目代表値とされる。各グループには群番
号が付与される。
判断された点の座標が、記憶部17に登録されている格
子升目代表値と比較される(ステップS37)。格子升
目代表値とは、格子升目の計数値が充分に大きな点であ
って所定距離範囲内(たとえば、格子升目50個分)に
ある点のグループを代表する点の座標である。つまり、
格子升目の計数値が大きな点は、近くに有るもの同士が
同一群に属するようにグループ分けされる。格子升目代
表値は、グループ中の1つの格子升目の点の座標であ
る。たとえば、そのグループ内に最後に登録された点の
座標が、格子升目代表値とされる。各グループには群番
号が付与される。
【0059】近くに格子升目代表値がない場合には(ス
テップS38)、処理対象となっている格子升目の点の
座標が格子升目代表値として登録され、この格子升目代
表値に群番号が付与される(ステップS39)。近くに
格子升目代表値があれば、この処理は省かれる。次に、
処理対象の格子升目の点に対して、格子升目代表値に対
応した群番号が付与される(ステップS40)。このよ
うにして格子升目の計数値の大きな点に対しては、いず
れかの群番号が付与され、これによって格子升目の分類
が達成される。
テップS38)、処理対象となっている格子升目の点の
座標が格子升目代表値として登録され、この格子升目代
表値に群番号が付与される(ステップS39)。近くに
格子升目代表値があれば、この処理は省かれる。次に、
処理対象の格子升目の点に対して、格子升目代表値に対
応した群番号が付与される(ステップS40)。このよ
うにして格子升目の計数値の大きな点に対しては、いず
れかの群番号が付与され、これによって格子升目の分類
が達成される。
【0060】上記のような処理が、上記第(20)式および
第(22)式のa,bの範囲内の全格子升目に関して実行さ
れる(ステップS41)。そして、ステップS42で
は、格子升目代表値が登録されたグループが、2つ以上
あるかどうかが判断される。2つ以上のグループがなけ
れば、道路消失点の算出を禁止して、処理を終了する
(ステップS42)。この場合には、1つの直線しか見
つからない場合であるので、道路消失点を算出すること
ができないからである。2つ以上のグループが登録され
ているときには、図10のステップS43からの2回目
のHough変換処理が実行される。
第(22)式のa,bの範囲内の全格子升目に関して実行さ
れる(ステップS41)。そして、ステップS42で
は、格子升目代表値が登録されたグループが、2つ以上
あるかどうかが判断される。2つ以上のグループがなけ
れば、道路消失点の算出を禁止して、処理を終了する
(ステップS42)。この場合には、1つの直線しか見
つからない場合であるので、道路消失点を算出すること
ができないからである。2つ以上のグループが登録され
ているときには、図10のステップS43からの2回目
のHough変換処理が実行される。
【0061】2回目のHough変換処理では、群番号が付
与された点のみ、すなわち格子升目の計数値が大きな点
のみが用いられる。なお、上記の処理では格子升目が一
定値以上の点に対して群番号を付与しているが、その代
わりに、周囲の所定範囲内(たとえば格子升目5個分の
範囲内)の格子升目の計数値の合計値を求め、この合計
値が一定値以上となる点にのみ群番号を付与し、この群
番号が付与された点のみを2回目のHough変換処理に用
いてもよい。また、各群内において格子升目の計数値が
最大である点のみを2回目のHough変換処理に用いた
り、各群内において周囲の所定範囲内の格子升目の計数
値の合計が最大である点のみを2回目のHough変換処理
のために用いたりして、2回目のHough変換処理を軽減
してもよい。
与された点のみ、すなわち格子升目の計数値が大きな点
のみが用いられる。なお、上記の処理では格子升目が一
定値以上の点に対して群番号を付与しているが、その代
わりに、周囲の所定範囲内(たとえば格子升目5個分の
範囲内)の格子升目の計数値の合計値を求め、この合計
値が一定値以上となる点にのみ群番号を付与し、この群
番号が付与された点のみを2回目のHough変換処理に用
いてもよい。また、各群内において格子升目の計数値が
最大である点のみを2回目のHough変換処理に用いた
り、各群内において周囲の所定範囲内の格子升目の計数
値の合計が最大である点のみを2回目のHough変換処理
のために用いたりして、2回目のHough変換処理を軽減
してもよい。
【0062】さらに、格子升目の計数値が一定値以上と
なる点、または周辺の所定範囲内の格子升目の計数値の
合計値が一定値以上となる点が一定数(たとえば5個)
以上存在しない群については、その群に属する点を2回
目のHough変換処理では使用しないようにしてもよい。
こうすれば、たとえば図3の直線L5〜L10のように
車両の輪郭線などに対応した直線候補点に相当する点を
排除して、道路平行線に対応した点のみを2回目のHou
gh変換処理のために用いることができる。そのため、道
路消失点の算出精度を高めることができる。
なる点、または周辺の所定範囲内の格子升目の計数値の
合計値が一定値以上となる点が一定数(たとえば5個)
以上存在しない群については、その群に属する点を2回
目のHough変換処理では使用しないようにしてもよい。
こうすれば、たとえば図3の直線L5〜L10のように
車両の輪郭線などに対応した直線候補点に相当する点を
排除して、道路平行線に対応した点のみを2回目のHou
gh変換処理のために用いることができる。そのため、道
路消失点の算出精度を高めることができる。
【0063】図10を参照して、2回目のHough変換処
理について説明する。ステップS43では、記憶部17
に記憶されているab座標平面上の点の座標(a,b)
が順に参照される。そして、群番号が付与されている点
に関してのみ(ステップS44)、Hough変換処理が行
われる。この場合の変換式は、b=ma+nである。な
お、mn座標平面においては、m軸方向に沿う長さΔm
が「1」でn軸方向に沿う長さΔnが「1」の格子升目
が設定される。
理について説明する。ステップS43では、記憶部17
に記憶されているab座標平面上の点の座標(a,b)
が順に参照される。そして、群番号が付与されている点
に関してのみ(ステップS44)、Hough変換処理が行
われる。この場合の変換式は、b=ma+nである。な
お、mn座標平面においては、m軸方向に沿う長さΔm
が「1」でn軸方向に沿う長さΔnが「1」の格子升目
が設定される。
【0064】ステップS45では、mの値が下記第(23)
式の範囲内のいずれかの値に設定される。この第(23)式
の範囲は、車両が道路にほぼ沿って走行している場合に
おいて、道路消失点に至る画面中の全直線をカバーでき
る範囲である。 k7≦m≦k8(たとえば、k7=−256、k8=−1)・・・・ (23) 続いて、ステップS46では、下記第(24)式に従って、
nの値が求められる。
式の範囲内のいずれかの値に設定される。この第(23)式
の範囲は、車両が道路にほぼ沿って走行している場合に
おいて、道路消失点に至る画面中の全直線をカバーでき
る範囲である。 k7≦m≦k8(たとえば、k7=−256、k8=−1)・・・・ (23) 続いて、ステップS46では、下記第(24)式に従って、
nの値が求められる。
【0065】 n=−ma+b ・・・・ (24) ステップS47では、求められたnが下記第(25)式の範
囲内の値かどうかが調べられる。この範囲は、上記車両
が道路と平行に走行している場合に画面中に現れる直線
であって道路消失点に至るものをカバーするのに必要充
分な範囲である。
囲内の値かどうかが調べられる。この範囲は、上記車両
が道路と平行に走行している場合に画面中に現れる直線
であって道路消失点に至るものをカバーするのに必要充
分な範囲である。
【0066】 k9≦n≦k10(たとえば、k9=1、k10=256) ・・・・ (25) nの値が上記の範囲内でなければ(ステップS48)、
ステップS45に戻り、mの値を変化させて同様な処理
が行われる。nの値が上記の範囲内であれば、該当する
格子升目の計数値がカウントアップされる(ステップS
49)。ステップS50では、上記のm,nの範囲内の
格子升目の計数値のうちの最大値qが記憶部17に記憶
される。
ステップS45に戻り、mの値を変化させて同様な処理
が行われる。nの値が上記の範囲内であれば、該当する
格子升目の計数値がカウントアップされる(ステップS
49)。ステップS50では、上記のm,nの範囲内の
格子升目の計数値のうちの最大値qが記憶部17に記憶
される。
【0067】このような処理が、上記第(23)式のmの範
囲に関して行われる(ステップS51)。そして、上記
第(23)式の全範囲のmについての処理が終了すると、次
の格子升目の点の座標(a,b)が記憶部17から読み
出されて同様な処理が行われる(ステップS52)。こ
のようにして、全ての格子升目の点に関する処理が行わ
れることにより、2回目のHough変換処理が達成され
る。
囲に関して行われる(ステップS51)。そして、上記
第(23)式の全範囲のmについての処理が終了すると、次
の格子升目の点の座標(a,b)が記憶部17から読み
出されて同様な処理が行われる(ステップS52)。こ
のようにして、全ての格子升目の点に関する処理が行わ
れることにより、2回目のHough変換処理が達成され
る。
【0068】2回目のHough変換処理が終了すると、m
n座標平面の格子升目の計数値が1つずつ順に参照され
る(ステップS53)。ステップS54では、参照され
た計数値が一定値k11・q(k11は定数であり、たとえ
ば0.5とされる。このときk11・qは最大計数値qの
2分の1となる。)以上かどうかが調べられる(ステッ
プS54)。計数値が一定値k11・q未満であれば、ス
テップS53に戻って、次の格子升目の計数値に対して
同様な処理が実行される。また、計数値がk11・q以上
のときは、その点の周辺の所定範囲内にある格子升目の
計数値の合計値が算出される(ステップS55)。たと
えば、m軸方向およびn軸方向に関して±5個分の格子
升目の合計値が算出される。
n座標平面の格子升目の計数値が1つずつ順に参照され
る(ステップS53)。ステップS54では、参照され
た計数値が一定値k11・q(k11は定数であり、たとえ
ば0.5とされる。このときk11・qは最大計数値qの
2分の1となる。)以上かどうかが調べられる(ステッ
プS54)。計数値が一定値k11・q未満であれば、ス
テップS53に戻って、次の格子升目の計数値に対して
同様な処理が実行される。また、計数値がk11・q以上
のときは、その点の周辺の所定範囲内にある格子升目の
計数値の合計値が算出される(ステップS55)。たと
えば、m軸方向およびn軸方向に関して±5個分の格子
升目の合計値が算出される。
【0069】ステップS56では、上記の合計値の最大
値rと、この最大値rに対応した点の座標(m0 ,
n0 )とが記憶部17に記憶される。このような処理
が、上記第(23)式および第(25)式のm,nの範囲内の全
格子升目に関して実行される(ステップS57)。その
結果、上記の座標(m0 ,n0)は、上記のm,nの範
囲内で、周辺の所定範囲内の格子升目の計数値の合計が
最も大きい点の座標となる。
値rと、この最大値rに対応した点の座標(m0 ,
n0 )とが記憶部17に記憶される。このような処理
が、上記第(23)式および第(25)式のm,nの範囲内の全
格子升目に関して実行される(ステップS57)。その
結果、上記の座標(m0 ,n0)は、上記のm,nの範
囲内で、周辺の所定範囲内の格子升目の計数値の合計が
最も大きい点の座標となる。
【0070】ステップS58では、上記合計値の最大値
rが一定値k12(たとえば、50)以上かどうかが判断
される。最大値rが一定値k12に満たなければ、確信度
が低いものとして、道路消失点の算出を禁止して、処理
を終了する。最大値rが一定値k12以上であるときに
は、(n0 ,−m0 )が道路消失点として決定される。
なお、周辺の所定範囲内の格子升目の計数値が最大とな
る点を求める代わりに、格子升目の計数値が最大となる
点を求めて、この点の座標に基づいて道路消失点を求め
てもよい。この場合に、格子升目の計数値の最大値が一
定値に満たない場合には、道路消失点の算出を禁止する
ようにすればよい。
rが一定値k12(たとえば、50)以上かどうかが判断
される。最大値rが一定値k12に満たなければ、確信度
が低いものとして、道路消失点の算出を禁止して、処理
を終了する。最大値rが一定値k12以上であるときに
は、(n0 ,−m0 )が道路消失点として決定される。
なお、周辺の所定範囲内の格子升目の計数値が最大とな
る点を求める代わりに、格子升目の計数値が最大となる
点を求めて、この点の座標に基づいて道路消失点を求め
てもよい。この場合に、格子升目の計数値の最大値が一
定値に満たない場合には、道路消失点の算出を禁止する
ようにすればよい。
【0071】ステップS60からの処理は、道路に平行
な直線である道路平行線を求めるための処理である。先
ず、ステップS60では、記憶部17の記憶内容が検索
され、ab座標平面における格子升目の点のなかの特定
の群番号のものが参照される。ステップS61では、b
−(am0 +n0 )の絶対値が誤差として算出される。
b=am0 +n0 が成立すれば、そのときの(a,b)
は、道路消失点(x0,y0 )を通る直線の切片および
傾きを与える。そのため、b−(am0 +n0)の絶対
値が最小値をとる(a,b)を見出すことによって、道
路平行線が求められる。つまり、同一群に属する点のう
ち、その座標を係数として使用したxy座標平面におけ
る直線が道路消失点の最も近くを通る点の座標が、道路
平行線の係数として求められる。
な直線である道路平行線を求めるための処理である。先
ず、ステップS60では、記憶部17の記憶内容が検索
され、ab座標平面における格子升目の点のなかの特定
の群番号のものが参照される。ステップS61では、b
−(am0 +n0 )の絶対値が誤差として算出される。
b=am0 +n0 が成立すれば、そのときの(a,b)
は、道路消失点(x0,y0 )を通る直線の切片および
傾きを与える。そのため、b−(am0 +n0)の絶対
値が最小値をとる(a,b)を見出すことによって、道
路平行線が求められる。つまり、同一群に属する点のう
ち、その座標を係数として使用したxy座標平面におけ
る直線が道路消失点の最も近くを通る点の座標が、道路
平行線の係数として求められる。
【0072】ステップS62では、ステップS61で誤
差として求められたb−(am0 +n0 )の絶対値が一
定誤差k13(たとえば、5)以内であるかどうかが判断
される。一定誤差k1 以内なら、その誤差が、当該群番
号が付与された点であって既に処理が終了しているもの
の座標に対応した誤差のうちで、最小かどうかが判定さ
れる(ステップS63)。最小値であれば(ステップS
64)、その格子升目の点の座標に関して得られた誤差
が、当該群番号が付与されたグループにおける最小誤差
とされる(ステップS65)。
差として求められたb−(am0 +n0 )の絶対値が一
定誤差k13(たとえば、5)以内であるかどうかが判断
される。一定誤差k1 以内なら、その誤差が、当該群番
号が付与された点であって既に処理が終了しているもの
の座標に対応した誤差のうちで、最小かどうかが判定さ
れる(ステップS63)。最小値であれば(ステップS
64)、その格子升目の点の座標に関して得られた誤差
が、当該群番号が付与されたグループにおける最小誤差
とされる(ステップS65)。
【0073】ステップS66では、或る群番号が付与さ
れた全ての格子升目の点に対する処理が終了したかどう
が調べられる。同一群番号が付与された全ての点の処理
が終了すると、さらに、全群番号に関して処理が終了し
たかどうかが調べられる(ステップS67)。全群番号
に関して上記の処理が終了すると、各群の最小誤差の格
子升目が参照される(ステップS68)。そして、最小
誤差が記憶部17に記憶されている格子升目グループに
関しては、その最小誤差に対応した格子升目の座標
(a,b)が道路平行線の係数(傾きおよび切片)とさ
れる(ステップS69)。そして、係数aが正の場合に
は、その道路平行線が車両の左側の道路平行線とされ
(ステップS70)、係数aが負のときにはその道路平
行線が車両の右側の道路平行線とされる。
れた全ての格子升目の点に対する処理が終了したかどう
が調べられる。同一群番号が付与された全ての点の処理
が終了すると、さらに、全群番号に関して処理が終了し
たかどうかが調べられる(ステップS67)。全群番号
に関して上記の処理が終了すると、各群の最小誤差の格
子升目が参照される(ステップS68)。そして、最小
誤差が記憶部17に記憶されている格子升目グループに
関しては、その最小誤差に対応した格子升目の座標
(a,b)が道路平行線の係数(傾きおよび切片)とさ
れる(ステップS69)。そして、係数aが正の場合に
は、その道路平行線が車両の左側の道路平行線とされ
(ステップS70)、係数aが負のときにはその道路平
行線が車両の右側の道路平行線とされる。
【0074】図3の場合には、道路平行線L1,L2,
L3,L4に関して係数aおよびbが求まる。この場
合、各道路平行線L1,L2,L3,L4の方程式は、
下記第(26)式〜第(29)式のとおりであり、道路消失点N
Pの座標は(120,170)である。 L1:x= 1.333y−106.7 ・・・・ (26) L2:x= 0.863y−26.8 ・・・・ (27) L3:x=− 0.992y+288.7 ・・・・ (28) L4:x=− 1.844y+433.5 ・・・・ (29) なお、各群番号ごとに得られた係数aがいずれも正の値
であるか、またはいずれも負の値である場合には、求め
られた道路消失点およびを道路平行線を無効にすること
が好ましい。このような場合には、車両の左側または右
側のいずれかの側に位置する道路平行線のみが検出され
ているため、道路消失点の算出精度が低いおそれがある
からである。
L3,L4に関して係数aおよびbが求まる。この場
合、各道路平行線L1,L2,L3,L4の方程式は、
下記第(26)式〜第(29)式のとおりであり、道路消失点N
Pの座標は(120,170)である。 L1:x= 1.333y−106.7 ・・・・ (26) L2:x= 0.863y−26.8 ・・・・ (27) L3:x=− 0.992y+288.7 ・・・・ (28) L4:x=− 1.844y+433.5 ・・・・ (29) なお、各群番号ごとに得られた係数aがいずれも正の値
であるか、またはいずれも負の値である場合には、求め
られた道路消失点およびを道路平行線を無効にすること
が好ましい。このような場合には、車両の左側または右
側のいずれかの側に位置する道路平行線のみが検出され
ているため、道路消失点の算出精度が低いおそれがある
からである。
【0075】本件発明者は、次の〜の4とおりの場
合について、上記の道路消失点算出処理を試験的に実行
した。 図3の直線L2,L3上の直線候補点の座標データ
を使用。 図3の直線L2,L3,L5〜L10 上の直線候補点の座標デ
ータを使用。 図3の直線L1〜L3, L5〜L10 上の直線候補点の座標
データを使用。
合について、上記の道路消失点算出処理を試験的に実行
した。 図3の直線L2,L3上の直線候補点の座標データ
を使用。 図3の直線L2,L3,L5〜L10 上の直線候補点の座標デ
ータを使用。 図3の直線L1〜L3, L5〜L10 上の直線候補点の座標
データを使用。
【0076】 図3の直線L1〜L10上の直線候補
点の座標データを使用。 これらのいずれの場合にも、道路消失点の座標は正しく
求めることができた。とくに、,,の場合には前
方の他車両の輪郭線に対応した直線候補点が含まれてい
る場合であるが、このような場合にも、道路消失点の座
標が正しく求まることが確認された。また、道路平行線
についても、ほぼ誤差なく求めることができた。ただ
し、の場合には、直線L4に関しては、道路平行線と
して求めることができなかった。これは、直線候補点の
サンプルデータが少ないためであると考えられる。した
がって、サンプルデータを増やすことにより、直線L4
に関しても道路平行線を求めることができると考えられ
る。
点の座標データを使用。 これらのいずれの場合にも、道路消失点の座標は正しく
求めることができた。とくに、,,の場合には前
方の他車両の輪郭線に対応した直線候補点が含まれてい
る場合であるが、このような場合にも、道路消失点の座
標が正しく求まることが確認された。また、道路平行線
についても、ほぼ誤差なく求めることができた。ただ
し、の場合には、直線L4に関しては、道路平行線と
して求めることができなかった。これは、直線候補点の
サンプルデータが少ないためであると考えられる。した
がって、サンプルデータを増やすことにより、直線L4
に関しても道路平行線を求めることができると考えられ
る。
【0077】このようにして求められた道路消失点と道
路平行線とは、次に説明するカメラ姿勢パラメータ算出
処理において用いられる。 5.カメラ姿勢パラメータ算出処理 この処理では、道路に対する車載カメラ11の姿勢を表
す姿勢パラメータが求められる。姿勢パラメータには、
鉛直軸まわりの回転角であるヨー角、車両の進行方向ま
わりの回転角であるロール角、水平面に沿うとともに進
行方向と直交している方向のまわりの回転角であるピッ
チ角、および道路に平行な所定の基準線からのカメラの
横ずれ(道路に対する横方向の相対位置)が含まれる。
路平行線とは、次に説明するカメラ姿勢パラメータ算出
処理において用いられる。 5.カメラ姿勢パラメータ算出処理 この処理では、道路に対する車載カメラ11の姿勢を表
す姿勢パラメータが求められる。姿勢パラメータには、
鉛直軸まわりの回転角であるヨー角、車両の進行方向ま
わりの回転角であるロール角、水平面に沿うとともに進
行方向と直交している方向のまわりの回転角であるピッ
チ角、および道路に平行な所定の基準線からのカメラの
横ずれ(道路に対する横方向の相対位置)が含まれる。
【0078】車載カメラ11は、所定の姿勢で正確に車
両に取り付けるが、取付け誤差の発生は回避できない。
そこで、カメラ姿勢パラメータ算出処理では、車載カメ
ラ11の車両に対する取付け姿勢も併せて算出される。
先ず、座標系について説明する。道路座標系XYZと、
カメラ座標系X′Y′Z′とが定義される。車両の移動
によらずに道路座標系の原点に車両があるものとし、車
両の進行方向にY軸がとられている。また、進行方向に
対して右方向にX軸がとられ、鉛直方向にZ軸がとられ
ている。カメラ座標系と道路座標系とは原点を共有して
いる。車載カメラ11の撮像面は、XZ平面に平行で原
点から距離F(Fはカメラ11のレンズの焦点距離)の
ところにあるものとする。
両に取り付けるが、取付け誤差の発生は回避できない。
そこで、カメラ姿勢パラメータ算出処理では、車載カメ
ラ11の車両に対する取付け姿勢も併せて算出される。
先ず、座標系について説明する。道路座標系XYZと、
カメラ座標系X′Y′Z′とが定義される。車両の移動
によらずに道路座標系の原点に車両があるものとし、車
両の進行方向にY軸がとられている。また、進行方向に
対して右方向にX軸がとられ、鉛直方向にZ軸がとられ
ている。カメラ座標系と道路座標系とは原点を共有して
いる。車載カメラ11の撮像面は、XZ平面に平行で原
点から距離F(Fはカメラ11のレンズの焦点距離)の
ところにあるものとする。
【0079】X,Y,Z軸のまわりの回転角をそれぞれ
ピッチ角θ、ロール角φ、ヨー角ψとし、いずれも右ね
じの方向を正方向とする。このとき、カメラの取付け誤
差または車両の回転に伴うカメラの座標系の変換式は、
下記第(30)式で与えられる。ただし、車載カメラ11の
レンズの主軸方向にY′軸をとり、撮像面と平行にX軸
およびZ′軸をとるものとする。
ピッチ角θ、ロール角φ、ヨー角ψとし、いずれも右ね
じの方向を正方向とする。このとき、カメラの取付け誤
差または車両の回転に伴うカメラの座標系の変換式は、
下記第(30)式で与えられる。ただし、車載カメラ11の
レンズの主軸方向にY′軸をとり、撮像面と平行にX軸
およびZ′軸をとるものとする。
【0080】
【数1】
【0081】各回転角が微小であれば、上記第(30)式
は、下記第(31)式の近似式に変形できる。
は、下記第(31)式の近似式に変形できる。
【0082】
【数2】
【0083】点P(X,Y,Z)が撮像面上の点p′
(x′,y′)に投影されるとき、次式が成立する。た
だし、座標(x′,y′)は撮像面上における2次元座
標である。x′軸はカメラ座標系のX′軸方向にとら
れ、y′軸はカメラ座標系のZ′軸方向にとられてい
る。 x′=F・X′/Y′ ・・・・ (32) y′=F・Z′/Y′ ・・・・ (33) カメラの姿勢パラメータは、ピッチ角θ、ロール角φお
よびヨー角ψに関して、それぞれ次のように分割され
る。
(x′,y′)に投影されるとき、次式が成立する。た
だし、座標(x′,y′)は撮像面上における2次元座
標である。x′軸はカメラ座標系のX′軸方向にとら
れ、y′軸はカメラ座標系のZ′軸方向にとられてい
る。 x′=F・X′/Y′ ・・・・ (32) y′=F・Z′/Y′ ・・・・ (33) カメラの姿勢パラメータは、ピッチ角θ、ロール角φお
よびヨー角ψに関して、それぞれ次のように分割され
る。
【0084】ピッチ角θ:(道路に対する車両のピッチ
角θ0 )+(車両に対する車載カメラ11の取付けピッ
チ角θ1 ) ロール角φ:(道路に対する車両のロール角φ0 )+
(車両に対する車載カメラ11の取付けロール角φ1 ) ヨー角 ψ:(道路に対する車両のヨー角ψ0 )+(車
両に対する車載カメラ11の取付けヨー角ψ1 ) 道路に対する車両のヨー角ψ0 については、ナビゲーシ
ョン処理装置2から与えられる道路地図データおよび現
在方位データから求めることができる。つまり、車両が
走行中の道路の方向が道路地図データから判り、車両の
実際の進行方向が現在方位データから判る。そのため、
道路の方位に対する実際の進行方向の差を、道路に対す
る車両のヨー角ψ0 とすればよい。
角θ0 )+(車両に対する車載カメラ11の取付けピッ
チ角θ1 ) ロール角φ:(道路に対する車両のロール角φ0 )+
(車両に対する車載カメラ11の取付けロール角φ1 ) ヨー角 ψ:(道路に対する車両のヨー角ψ0 )+(車
両に対する車載カメラ11の取付けヨー角ψ1 ) 道路に対する車両のヨー角ψ0 については、ナビゲーシ
ョン処理装置2から与えられる道路地図データおよび現
在方位データから求めることができる。つまり、車両が
走行中の道路の方向が道路地図データから判り、車両の
実際の進行方向が現在方位データから判る。そのため、
道路の方位に対する実際の進行方向の差を、道路に対す
る車両のヨー角ψ0 とすればよい。
【0085】道路に対する車両のロール角φ0 やピッチ
角θ0 は、それ自体は検出することができないが、平均
値「0」でばらつくノイズとして把握できる。つまり、
充分に長い時間に渡るロール角φおよびピッチ角θの各
平均値をとれば、この平均値のなかには道路に対する車
両のロール角φ0 やピッチ角θ0 は含まれていないと考
えて差し支えない。
角θ0 は、それ自体は検出することができないが、平均
値「0」でばらつくノイズとして把握できる。つまり、
充分に長い時間に渡るロール角φおよびピッチ角θの各
平均値をとれば、この平均値のなかには道路に対する車
両のロール角φ0 やピッチ角θ0 は含まれていないと考
えて差し支えない。
【0086】車両が道路に対してψ0 の角度をなす方向
に走行しているものとし、道路は充分遠くまで直線でか
つ車両の平面(XY平面)内にあるものとする。また、
道路バンクや車両の左右の傾きは無視できるとする。そ
して、道路座標系XYZにおける道路消失点の座標を
(X0 ,Y0 ,Z0 )(ただし、Y0 =∞である。)と
し、この道路消失点の撮像面への写像点の座標が
(x0 ,y0 )であるとする。この写像点の座標は、上
記の道路消失点算出処理によって求められた道路消失点
に他ならない。
に走行しているものとし、道路は充分遠くまで直線でか
つ車両の平面(XY平面)内にあるものとする。また、
道路バンクや車両の左右の傾きは無視できるとする。そ
して、道路座標系XYZにおける道路消失点の座標を
(X0 ,Y0 ,Z0 )(ただし、Y0 =∞である。)と
し、この道路消失点の撮像面への写像点の座標が
(x0 ,y0 )であるとする。この写像点の座標は、上
記の道路消失点算出処理によって求められた道路消失点
に他ならない。
【0087】ψ0 以外の姿勢パラメータが微小であると
すれば、ψ→ψ0 +ψ1 であり、θ、φおよびψ1 は微
小であるから、上記第(30)式ならびに上記第(32)式およ
び第(33)式より、下記第(34)式および第(35)式が得られ
る。 x0 =R12F≒sin(ψ0 +ψ1)F=(sinψ0 +ψ1cosψ0)F ・・・・ (34) y0 =R32F≒{φsin(ψ0 +ψ1)−θcos(ψ0 +ψ1)}F ・・・・ (35) さらに、ψ0 が微小であれば、下記第(36)式および第(3
7)式を得る。
すれば、ψ→ψ0 +ψ1 であり、θ、φおよびψ1 は微
小であるから、上記第(30)式ならびに上記第(32)式およ
び第(33)式より、下記第(34)式および第(35)式が得られ
る。 x0 =R12F≒sin(ψ0 +ψ1)F=(sinψ0 +ψ1cosψ0)F ・・・・ (34) y0 =R32F≒{φsin(ψ0 +ψ1)−θcos(ψ0 +ψ1)}F ・・・・ (35) さらに、ψ0 が微小であれば、下記第(36)式および第(3
7)式を得る。
【0088】 x0 =(ψ0 +ψ1 )F ・・・・ (36) y0 =−θF ・・・・ (37) 特に、車両が道路に平行に走行しているときには、ψ0
=0であるので、下記第(38)式および第(39)式が得られ
る。 x0 =R12F≒ψF=ψ1 F ・・・・ (38) y0 =R32F≒−θF ・・・・ (39) 一方、上記各パラメータが微小であるとすると、上記第
(31)式ならびに上記第(32) 式および第(33)式より、下
記第(41)式および第(42)式が得られる。
=0であるので、下記第(38)式および第(39)式が得られ
る。 x0 =R12F≒ψF=ψ1 F ・・・・ (38) y0 =R32F≒−θF ・・・・ (39) 一方、上記各パラメータが微小であるとすると、上記第
(31)式ならびに上記第(32) 式および第(33)式より、下
記第(41)式および第(42)式が得られる。
【0089】 x′=F(X+ψ1 Y−φZ)/(−ψ1 X+Y+θZ) ・・・・ (41) y′=F(φX−θY+Z)/(−ψ1 X+Y+θZ) ・・・・ (42) 道路平行線の高さZは、道路から車載カメラ11までの
高さがhである場合、−hとなる。また、道路に平行な
基準線に対する車載カメラ11のX方向へのずれをAと
すると、車両が道路とψ0 の方向に走行しているため、
下記第(43)式が成り立つ。
高さがhである場合、−hとなる。また、道路に平行な
基準線に対する車載カメラ11のX方向へのずれをAと
すると、車両が道路とψ0 の方向に走行しているため、
下記第(43)式が成り立つ。
【0090】 X=A/cosψ0 +Y tanψ0 ≒A+Yψ0 ・・・・ (43) したがって、上記第(41)式および第(42)式は、下記第(4
4)式および第(45)式にそれぞれ書き換えられる。
4)式および第(45)式にそれぞれ書き換えられる。
【0091】
【数3】
【0092】これより、Yを消去すると、下記第(46)式
を得る。
を得る。
【0093】
【数4】
【0094】もし、道路平行線が2本得られ、これらの
間隔Bが既知であれば、第(46)式と同様な下記第(47)お
よび第(48)式ならびに第(49)式が得られる。ただし、係
数a,bおよびAに付した添字「1」,「2」は、それ
が付与された係数が2本の道路平行線のそれぞれに対応
するものであることを表す。
間隔Bが既知であれば、第(46)式と同様な下記第(47)お
よび第(48)式ならびに第(49)式が得られる。ただし、係
数a,bおよびAに付した添字「1」,「2」は、それ
が付与された係数が2本の道路平行線のそれぞれに対応
するものであることを表す。
【0095】
【数5】
【0096】このようにして、道路消失点(x0 ,
y0 )およびを道路平行線の係数aまたはbと、道路平
行線の間隔Bとが得られれば、上記第(36)式および第(3
7)式または上記第(38)式および第(39)式からψ1 および
θが求まり、上記第(47)式、第(48)式および第(49)式か
らφならびにA1 およびA2 が求まる。上記第(47)式お
よび第(48)式のうち、a1 , a2 に関する式を利用して
解くと、下記第(50)式、第(51)式および第(52)式より、
それぞれA1 , A2 およびφが求まる。
y0 )およびを道路平行線の係数aまたはbと、道路平
行線の間隔Bとが得られれば、上記第(36)式および第(3
7)式または上記第(38)式および第(39)式からψ1 および
θが求まり、上記第(47)式、第(48)式および第(49)式か
らφならびにA1 およびA2 が求まる。上記第(47)式お
よび第(48)式のうち、a1 , a2 に関する式を利用して
解くと、下記第(50)式、第(51)式および第(52)式より、
それぞれA1 , A2 およびφが求まる。
【0097】
【数6】
【0098】なお、間隔Bには、たとえば道路の幅や道
路の白線の間隔を用いることができる。これらの間隔
は、道路地図データから取得できる。たとえば、高速道
路の道路幅が決まっているから、ナビゲーション処理装
置2において高速道路を走行中であることが検出された
ときにのみ、上記のカメラ姿勢パラメータ算出処理を行
ってもよい。
路の白線の間隔を用いることができる。これらの間隔
は、道路地図データから取得できる。たとえば、高速道
路の道路幅が決まっているから、ナビゲーション処理装
置2において高速道路を走行中であることが検出された
ときにのみ、上記のカメラ姿勢パラメータ算出処理を行
ってもよい。
【0099】また、上記の処理を車両が一定距離を走行
する度に行うこととし、求められた姿勢パラメータのう
ちθおよびφについて平均化処理を行ってもよい。この
場合、θ0 およびφ0 の平均値は上記のように零である
と考えられるので、車両に対する車載カメラ11の取付
けピッチ角θ1 および取付けロール角φ1 を求めること
ができる。したがって、上記の処理は、車両に対する車
載カメラ11の取付け姿勢を算出するための初期設定処
理として実行することもできる。したがって、θ0 、φ
0 が無視できる程度に小さければ、通常の周期処理で
は、初期設定処理の結果のみで代用することも可能であ
る。
する度に行うこととし、求められた姿勢パラメータのう
ちθおよびφについて平均化処理を行ってもよい。この
場合、θ0 およびφ0 の平均値は上記のように零である
と考えられるので、車両に対する車載カメラ11の取付
けピッチ角θ1 および取付けロール角φ1 を求めること
ができる。したがって、上記の処理は、車両に対する車
載カメラ11の取付け姿勢を算出するための初期設定処
理として実行することもできる。したがって、θ0 、φ
0 が無視できる程度に小さければ、通常の周期処理で
は、初期設定処理の結果のみで代用することも可能であ
る。
【0100】φ0 が上記無視できる程度に小さい値であ
れば、周期処理において、上記第(46)式においてφを初
期設定処理で求めたφ1 とおけば、道路平行線の道路間
隔Bが未知であっても、横方向のずれAを求めることが
できる。図12は、上述のカメラ姿勢パラメータ算出処
理のために認識処理部15において実行される処理を説
明するためのフローチャートである。ステップS81で
は、車載カメラ11で撮像された1枚の画像の画像デー
タが記憶部17に格納される。ステップS82ではナビ
ゲーション処理装置2からの支援データが取り込まれ、
ステップS83ではアンチロックブレーキ装置3からの
支援データが取り込まれる。そして、ステップS84で
は、ナビゲーション処理装置2から与えられたデータに
基づいて、道路に対する車両のヨー角ψ0 が算出され
る。
れば、周期処理において、上記第(46)式においてφを初
期設定処理で求めたφ1 とおけば、道路平行線の道路間
隔Bが未知であっても、横方向のずれAを求めることが
できる。図12は、上述のカメラ姿勢パラメータ算出処
理のために認識処理部15において実行される処理を説
明するためのフローチャートである。ステップS81で
は、車載カメラ11で撮像された1枚の画像の画像デー
タが記憶部17に格納される。ステップS82ではナビ
ゲーション処理装置2からの支援データが取り込まれ、
ステップS83ではアンチロックブレーキ装置3からの
支援データが取り込まれる。そして、ステップS84で
は、ナビゲーション処理装置2から与えられたデータに
基づいて、道路に対する車両のヨー角ψ0 が算出され
る。
【0101】ステップS85では、道路消失点の算出が
可能かどうかが判断される。算出不能の場合には処理を
終了し、算出が可能であれば上述の道路消失点算出処理
を実行して道路消失点(x0 ,y0 )を算出する(ステ
ップS86)。さらにステップS87では、道路平行線
の係数a,bが算出される。道路消失点の算出が可能か
どうかの判断は、たとえば道路に対する車両のヨー角ψ
0 が所定値以下であるかどうかに基づいてなされる。そ
の他にも、道路消失点算出処理に関連する説明で明らか
にしたように、走行道路が直線道路であるかどうか、走
行道路の属性が一定の基準を満足しているかどうかなど
の条件も判断される。
可能かどうかが判断される。算出不能の場合には処理を
終了し、算出が可能であれば上述の道路消失点算出処理
を実行して道路消失点(x0 ,y0 )を算出する(ステ
ップS86)。さらにステップS87では、道路平行線
の係数a,bが算出される。道路消失点の算出が可能か
どうかの判断は、たとえば道路に対する車両のヨー角ψ
0 が所定値以下であるかどうかに基づいてなされる。そ
の他にも、道路消失点算出処理に関連する説明で明らか
にしたように、走行道路が直線道路であるかどうか、走
行道路の属性が一定の基準を満足しているかどうかなど
の条件も判断される。
【0102】道路消失点および道路平行線の係数が算出
されると、次に、姿勢パラメータの算出が可能かどうか
が判断される(ステップS88)。この際の判断基準は
次の〜のとおりである。 車両の進行方向と道路平行線とのなす角が零である
とみなすことができる場合には、姿勢パラメータの算出
が可能であるものとする。このような条件を課すのは、
道路に対する車両のヨー角ψ0 が大きいと、その誤差が
大きい可能性があるからである。この場合、たとえば、
一定距離走行前後の車両の進行方位の変化と、上記一定
方位方向前後における道路の方位(道路地図データから
得られる。)の差との誤差が一定値以内(たとえば、
0.1°以内)であるときに、車両が道路に平行に走行
しているものとして、進行方向と道路平行線とのなす角
が零であることと判定してもよい。また、車両の進行方
位が一定距離以上連続して一定値以下(たとえば0.1
°以下)の変化しか示さなかった場合に、走行道路が直
線で、かつ、車両が道路に平行に走行しているものとし
て、進行方向と道路平行線とのなす角が零であると判定
してもよい。
されると、次に、姿勢パラメータの算出が可能かどうか
が判断される(ステップS88)。この際の判断基準は
次の〜のとおりである。 車両の進行方向と道路平行線とのなす角が零である
とみなすことができる場合には、姿勢パラメータの算出
が可能であるものとする。このような条件を課すのは、
道路に対する車両のヨー角ψ0 が大きいと、その誤差が
大きい可能性があるからである。この場合、たとえば、
一定距離走行前後の車両の進行方位の変化と、上記一定
方位方向前後における道路の方位(道路地図データから
得られる。)の差との誤差が一定値以内(たとえば、
0.1°以内)であるときに、車両が道路に平行に走行
しているものとして、進行方向と道路平行線とのなす角
が零であることと判定してもよい。また、車両の進行方
位が一定距離以上連続して一定値以下(たとえば0.1
°以下)の変化しか示さなかった場合に、走行道路が直
線で、かつ、車両が道路に平行に走行しているものとし
て、進行方向と道路平行線とのなす角が零であると判定
してもよい。
【0103】 車両の速度が一定範囲内(たとえば、
100km/h以内)である場合に、姿勢パラメータの算出
が可能であるものとする。車両の速度は、現在位置デー
タまたは走行距離データから推定することができる。車
両の速度が上記一定範囲内にない場合には、車体に振動
が生じたりして、道路に対する車両の姿勢パラメータが
大きくなる可能性があり、姿勢パラメータの算出が不良
になるおそれがある。
100km/h以内)である場合に、姿勢パラメータの算出
が可能であるものとする。車両の速度は、現在位置デー
タまたは走行距離データから推定することができる。車
両の速度が上記一定範囲内にない場合には、車体に振動
が生じたりして、道路に対する車両の姿勢パラメータが
大きくなる可能性があり、姿勢パラメータの算出が不良
になるおそれがある。
【0104】 車両の加速度(減速度を含む)が一定
値(たとえば0.1g)未満である場合に、姿勢パラメ
ータの算出が可能であるものとする。加速度は、現在位
置データまたは走行距離データから推定することもでき
るし、gセンサデータやブレーキデータから求めること
もできる。また、ブレーキデータからブレーキが操作さ
れたことが検知されたときには、姿勢パラメータの算出
を行わないこととしてもよい。車両の減速度が上記一定
値以上の場合には、道路に対する車両のピッチ角θ0 が
異常に大きくなる可能性があり、姿勢パラメータの算出
が不良になるおそれがある。
値(たとえば0.1g)未満である場合に、姿勢パラメ
ータの算出が可能であるものとする。加速度は、現在位
置データまたは走行距離データから推定することもでき
るし、gセンサデータやブレーキデータから求めること
もできる。また、ブレーキデータからブレーキが操作さ
れたことが検知されたときには、姿勢パラメータの算出
を行わないこととしてもよい。車両の減速度が上記一定
値以上の場合には、道路に対する車両のピッチ角θ0 が
異常に大きくなる可能性があり、姿勢パラメータの算出
が不良になるおそれがある。
【0105】 一定距離走行前後の車両の進行方位の
変化が一定値(たとえば0.1°)未満のときに、姿勢
パラメータの算出が可能であるものとする。一定距離走
行前後の進行方位の変化が上記一定値以上の場合には、
車両がカーブを走行していると考えられ、この場合には
遠心力のために道路に対する車両のロール角φ0 が異常
に大きくなるおそれがある。
変化が一定値(たとえば0.1°)未満のときに、姿勢
パラメータの算出が可能であるものとする。一定距離走
行前後の進行方位の変化が上記一定値以上の場合には、
車両がカーブを走行していると考えられ、この場合には
遠心力のために道路に対する車両のロール角φ0 が異常
に大きくなるおそれがある。
【0106】姿勢パラメータの算出が可能であると判断
されると、ステップS89において、上記第(36)式また
は第(38)式に従い、車載カメラ11の車両に対する取付
けヨー角ψ1 が求められる。さらに、上記第(37)式によ
ってピッチ角θが求められ(ステップS90)、上記第
(46)式または第(52)式によってロール角φが求められる
(ステップS91)。そして、上記第(46)式または第(5
0)式および第(51)式により横ずれAが算出される(ステ
ップS92)。
されると、ステップS89において、上記第(36)式また
は第(38)式に従い、車載カメラ11の車両に対する取付
けヨー角ψ1 が求められる。さらに、上記第(37)式によ
ってピッチ角θが求められ(ステップS90)、上記第
(46)式または第(52)式によってロール角φが求められる
(ステップS91)。そして、上記第(46)式または第(5
0)式および第(51)式により横ずれAが算出される(ステ
ップS92)。
【0107】ステップS93では、それまでに求められ
た取付けヨー角ψ1 、ピッチ角θおよびロール角φの平
均値がとられる。この場合、図12に示された姿勢パラ
メータ算出処理を一定走行距離(たとえば100km)ご
とに行うようにしていれば、一定走行距離ごとに求めら
れたパラメータの平均値がとられる。また、一定時間間
隔(たとえば2時間)で姿勢パラメータ算出処理を行う
ようにしている場合には、一定時間ごとに求められたパ
ラメータの平均値が求められる。この平均値を求める処
理によって、もっともらしい取付けヨー角ψ1 、ピッチ
角θおよびロール角φが求まる。
た取付けヨー角ψ1 、ピッチ角θおよびロール角φの平
均値がとられる。この場合、図12に示された姿勢パラ
メータ算出処理を一定走行距離(たとえば100km)ご
とに行うようにしていれば、一定走行距離ごとに求めら
れたパラメータの平均値がとられる。また、一定時間間
隔(たとえば2時間)で姿勢パラメータ算出処理を行う
ようにしている場合には、一定時間ごとに求められたパ
ラメータの平均値が求められる。この平均値を求める処
理によって、もっともらしい取付けヨー角ψ1 、ピッチ
角θおよびロール角φが求まる。
【0108】さらに、ピッチ角θの平均値が車両に対す
る車載カメラ11の取付けピッチ角θ1 とされ(ステッ
プS94)、ロール角φの平均値が車両に対する車載カ
メラ11の取付けロール角φ1 とされる(ステップS9
5)。これらの処理が妥当なのは、道路に対する車両の
ピッチ角θ0 およびロール角φ0 は、充分に長い期間に
わたる時間平均をとることによって零にすることができ
るという事実に照らせば明らかであろう。
る車載カメラ11の取付けピッチ角θ1 とされ(ステッ
プS94)、ロール角φの平均値が車両に対する車載カ
メラ11の取付けロール角φ1 とされる(ステップS9
5)。これらの処理が妥当なのは、道路に対する車両の
ピッチ角θ0 およびロール角φ0 は、充分に長い期間に
わたる時間平均をとることによって零にすることができ
るという事実に照らせば明らかであろう。
【0109】このような処理によって、車載カメラ11
の姿勢パラメータθ,φおよびψが求まる。これらの姿
勢パラメータは、次に説明する物体認識処理において活
用される。 6.物体認識処理 物体認識処理は、車載カメラ11によって撮像された画
像中の一定種類の物体を認識するための処理である。す
なわち、道路標識、道路上の表示、他車両などが画像認
識される。この画像認識に当たっては、カメラ姿勢パラ
メータやナビゲーション処理装置2およびアンチロック
ブレーキ装置3から与えられる支援情報が用いられる。
の姿勢パラメータθ,φおよびψが求まる。これらの姿
勢パラメータは、次に説明する物体認識処理において活
用される。 6.物体認識処理 物体認識処理は、車載カメラ11によって撮像された画
像中の一定種類の物体を認識するための処理である。す
なわち、道路標識、道路上の表示、他車両などが画像認
識される。この画像認識に当たっては、カメラ姿勢パラ
メータやナビゲーション処理装置2およびアンチロック
ブレーキ装置3から与えられる支援情報が用いられる。
【0110】以下では、先ず道路標識や道路上の表示な
どのような静止物体の追従認識について説明し、その後
に他車両などのような移動物体の追従認識について述べ
る。 6-1. 静止物体の追従認識 カメラ姿勢パラメータ算出処理の説明において用いた上
記第(41)式および(42)式において、X,Yを変数とし、
撮像面の点(x′,y′)、カメラ姿勢パラメータおよ
び変数Zが既知であるものとして解くと、次式が得られ
る。
どのような静止物体の追従認識について説明し、その後
に他車両などのような移動物体の追従認識について述べ
る。 6-1. 静止物体の追従認識 カメラ姿勢パラメータ算出処理の説明において用いた上
記第(41)式および(42)式において、X,Yを変数とし、
撮像面の点(x′,y′)、カメラ姿勢パラメータおよ
び変数Zが既知であるものとして解くと、次式が得られ
る。
【0111】
【数7】
【0112】ところで、各変数やパラメータは時間tの
変数であり、時間経過とともに変化する。時刻tにおい
て、或る物体の撮像面上における位置が(xt ′,
yt ′)で得られ、カメラ姿勢パラメータと車両からみ
た物体の高さ方向の位置Z(一定値)が既知であれば、
車両から見た物体の位置(Xt ,Yt )は、上記第(53)
式において時刻tを陽に表現した下記第(54)式により与
えられる。
変数であり、時間経過とともに変化する。時刻tにおい
て、或る物体の撮像面上における位置が(xt ′,
yt ′)で得られ、カメラ姿勢パラメータと車両からみ
た物体の高さ方向の位置Z(一定値)が既知であれば、
車両から見た物体の位置(Xt ,Yt )は、上記第(53)
式において時刻tを陽に表現した下記第(54)式により与
えられる。
【0113】
【数8】
【0114】さらに、車両が走行して時刻t+1になっ
たとする。時刻tから時刻t+1の間の車両の走行距離
データをLt+1 、現在方位データから求まる方位変化デ
ータ(ナビゲーション処理装置2から方位変化データが
与えられる場合には、それをそのまま用いることもでき
る。)をΔψ1t+1とすると、時刻t+1の物体の位置Λ
t+1 (Xt+1 ,Yt+1 )は、時刻を陽に表現して次式で
与えられる。
たとする。時刻tから時刻t+1の間の車両の走行距離
データをLt+1 、現在方位データから求まる方位変化デ
ータ(ナビゲーション処理装置2から方位変化データが
与えられる場合には、それをそのまま用いることもでき
る。)をΔψ1t+1とすると、時刻t+1の物体の位置Λ
t+1 (Xt+1 ,Yt+1 )は、時刻を陽に表現して次式で
与えられる。
【0115】
【数9】
【0116】この第(55)式を、上記第(41)式および第(4
2)式において時刻を陽に表現した下記第(56)式および第
(57)式に代入することによって、時刻t+1における物
体の画面上での位置(xt+1 ′,yt+1 ′)を推定する
ことができる。
2)式において時刻を陽に表現した下記第(56)式および第
(57)式に代入することによって、時刻t+1における物
体の画面上での位置(xt+1 ′,yt+1 ′)を推定する
ことができる。
【0117】
【数10】
【0118】つまり、時刻tにおける物体の位置が判れ
ば、時刻t+1においてその物体が画面上のどの位置に
移動するかが、カメラ姿勢パラメータなどに基づいて推
定される。そのため、時々刻々と撮像される画面から或
る物体を認識する場合に、推定された位置の周辺の領域
の画像を切り出して認識処理を行えばよいので、認識処
理効率を高めることができる。
ば、時刻t+1においてその物体が画面上のどの位置に
移動するかが、カメラ姿勢パラメータなどに基づいて推
定される。そのため、時々刻々と撮像される画面から或
る物体を認識する場合に、推定された位置の周辺の領域
の画像を切り出して認識処理を行えばよいので、認識処
理効率を高めることができる。
【0119】推定された位置の周辺の画像切出し範囲
は、推定された画面上の位置である推定値と、実際に認
識された物体の位置である実績値との誤差を監視するこ
とによって確定される。具体的に説明する。まず、時刻
tにおける推定値を( Ext ′, Eyt ′)とし、実績
値を( Mxt ′, Myt ′)と表す。さらに、平均操作
をaveと表し、分散操作をvarと表し、平方根操作
をsqrtと表すと、下記第(58)式〜第(63)式が得られ
る。
は、推定された画面上の位置である推定値と、実際に認
識された物体の位置である実績値との誤差を監視するこ
とによって確定される。具体的に説明する。まず、時刻
tにおける推定値を( Ext ′, Eyt ′)とし、実績
値を( Mxt ′, Myt ′)と表す。さらに、平均操作
をaveと表し、分散操作をvarと表し、平方根操作
をsqrtと表すと、下記第(58)式〜第(63)式が得られ
る。
【0120】 var(x) =ave(x−ave(x) )2 ・・・・ (58) std(x) =sqrt(var(x) ) ・・・・ (59) x= Ext ′− Mxt ′ ・・・・ (60) var(y) =ave(y−ave(y) )2 ・・・・ (61) std(y) =sqrt(var(y) ) ・・・・ (62) y= Eyt ′− Myt ′ ・・・・ (63) したがって、画面上の位置のx軸およびy軸方向の各誤
差は、たとえば、k・std(x) 、k・std(y) とし
て求めることができる(kは定数である。)。そこで、
この誤差範囲を含む画像の範囲を画像切出し範囲とすれ
ば、認識対象の物体を含む画像を切り出すことができ
る。
差は、たとえば、k・std(x) 、k・std(y) とし
て求めることができる(kは定数である。)。そこで、
この誤差範囲を含む画像の範囲を画像切出し範囲とすれ
ば、認識対象の物体を含む画像を切り出すことができ
る。
【0121】なお、定数kを、車両の走行速度、方位変
化、姿勢パラメータの信頼度等に基づいて可変設定する
ようにしておけば、誤差範囲をより適切に設定できる。
具体的には、走行速度が一定値(たとえば100km/h)
以上の場合に、定数kを車両の走行速度にほぼ比例する
ように設定してもよい。また、車両の進行方位の単位時
間当たりまたは単位走行距離当たりの変化量が一定値
(たとえば0.1°)以上のときに、この方位変化量に
ほぼ比例するように上記定数kの値を設定してもよい。
化、姿勢パラメータの信頼度等に基づいて可変設定する
ようにしておけば、誤差範囲をより適切に設定できる。
具体的には、走行速度が一定値(たとえば100km/h)
以上の場合に、定数kを車両の走行速度にほぼ比例する
ように設定してもよい。また、車両の進行方位の単位時
間当たりまたは単位走行距離当たりの変化量が一定値
(たとえば0.1°)以上のときに、この方位変化量に
ほぼ比例するように上記定数kの値を設定してもよい。
【0122】また、誤差範囲は認識すべき物体の種類ご
とに変化させてもよく、物体の種類によらずに共通の誤
差範囲を用いてもよい。物体が認識されたときには、新
たに得られた画面上の位置(xt+1 ′,yt+1′)に基
づき、上記第(54)式(ただし、tをt+1に置き換えた
式)に従って、空間上における物体の実際の位置(X
t+1 ,Yt+1 ,Zt+1 )を求める。これを用いて、次の
時刻における物体の位置が推定され、新たな画像切出し
範囲が求められる。
とに変化させてもよく、物体の種類によらずに共通の誤
差範囲を用いてもよい。物体が認識されたときには、新
たに得られた画面上の位置(xt+1 ′,yt+1′)に基
づき、上記第(54)式(ただし、tをt+1に置き換えた
式)に従って、空間上における物体の実際の位置(X
t+1 ,Yt+1 ,Zt+1 )を求める。これを用いて、次の
時刻における物体の位置が推定され、新たな画像切出し
範囲が求められる。
【0123】なお、第(54)式および第(55)式が誤差を含
むものであるとして、カルマンフィルタ等を用いて、走
行距離、方位変化の誤差、姿勢パラメータの推定誤差、
画面上の位置(x′,y′)の推定値と実績値との差等
から、フィタリングにより、物体の位置(X,Y,Z)
を時々刻々推定したりすることもできる。このようにし
て、たとえば、道路標識や信号機を時々刻々と追従して
認識する場合に、認識対象の物体の高さがほぼ一定であ
るものとして標識、信号機の中心部を追従対象とした
り、またはその接地面の高さがカメラの高さだけ低いも
のと考えて追従対象とすれば、上記の方法で探索範囲を
限ることによって、物体を容易に追従して認識すること
ができる。 6-2. 移動物体の追従認識 移動物体を追従して認識する場合には、上記第(55)式の
変換式を用いることができない。なぜなら、移動物体の
運動特性が未知だからである。そこで、移動物体の位置
の時間的な変化を考慮した下記第(64)式が上記第(55)式
に代えて用いられる。
むものであるとして、カルマンフィルタ等を用いて、走
行距離、方位変化の誤差、姿勢パラメータの推定誤差、
画面上の位置(x′,y′)の推定値と実績値との差等
から、フィタリングにより、物体の位置(X,Y,Z)
を時々刻々推定したりすることもできる。このようにし
て、たとえば、道路標識や信号機を時々刻々と追従して
認識する場合に、認識対象の物体の高さがほぼ一定であ
るものとして標識、信号機の中心部を追従対象とした
り、またはその接地面の高さがカメラの高さだけ低いも
のと考えて追従対象とすれば、上記の方法で探索範囲を
限ることによって、物体を容易に追従して認識すること
ができる。 6-2. 移動物体の追従認識 移動物体を追従して認識する場合には、上記第(55)式の
変換式を用いることができない。なぜなら、移動物体の
運動特性が未知だからである。そこで、移動物体の位置
の時間的な変化を考慮した下記第(64)式が上記第(55)式
に代えて用いられる。
【0124】
【数11】
【0125】上式から明らかなように、最初に物体を認
識した次の処理周期では、Λt-1 が定義されていない。
したがって、このときには誤差範囲を充分に大きくして
おく必要がある。認識対象の移動物体が前方の他車両で
ある場合に、たとえばこの他車両の後部のみを追従して
ゆくときには、その左右の最下部を追従対象とすれば、
その高さがほぼ特定できる。
識した次の処理周期では、Λt-1 が定義されていない。
したがって、このときには誤差範囲を充分に大きくして
おく必要がある。認識対象の移動物体が前方の他車両で
ある場合に、たとえばこの他車両の後部のみを追従して
ゆくときには、その左右の最下部を追従対象とすれば、
その高さがほぼ特定できる。
【0126】なお、どのような道路を走行しているかに
より、認識対象となる物体を変えて、目的に沿った認識
を行うことができる。たとえば、高速道路を走行してい
る場合には、車両の安全な運行を目的として自動車のみ
を認識対象とし、その他の幹線道路を走行している場合
には、道路標識や信号機のみを認識対象とするなどの方
法が考えられる。前方の他車両の認識結果は、衝突防止
のために警報を発したり、ブレーキを自動制御したりす
るために用いることができる。また、たとえば、ナビゲ
ーション処理装置2の表示部29に経路誘導情報を表示
して目的地までの経路誘導を行う場合などには、道路標
識を認識することによって、交通規制に違反するような
経路誘導が行われることを事前に防止できる。さらに
は、信号機を認識することによって、走行中の道路が一
般道路であるのか高速道路であるのかの判別を行ったり
することもできる。 6-3. 物体の認識 画面上のデータから物体を認識する方法について概説す
る。画像データに基づいて物体を認識する方法は従来か
ら種々考案されている。たとえば、白黒カメラによるデ
ータ(輝度データのみ)の場合、濃度が大きく変化する
エッジ点を検出し、複数のエッジ点を接続することによ
って物体の輪郭が抽出される。この輪郭の形状をチェッ
クしたり、予め登録されている対象物体の標準的なパタ
ーンとのパターンマッチングを行ったりすることによっ
て、画面上の物体が認識される。カラーのデータを用い
る場合には、濃度だけでなく、色度のデータも利用でき
るので、認識確率を高めることができる。
より、認識対象となる物体を変えて、目的に沿った認識
を行うことができる。たとえば、高速道路を走行してい
る場合には、車両の安全な運行を目的として自動車のみ
を認識対象とし、その他の幹線道路を走行している場合
には、道路標識や信号機のみを認識対象とするなどの方
法が考えられる。前方の他車両の認識結果は、衝突防止
のために警報を発したり、ブレーキを自動制御したりす
るために用いることができる。また、たとえば、ナビゲ
ーション処理装置2の表示部29に経路誘導情報を表示
して目的地までの経路誘導を行う場合などには、道路標
識を認識することによって、交通規制に違反するような
経路誘導が行われることを事前に防止できる。さらに
は、信号機を認識することによって、走行中の道路が一
般道路であるのか高速道路であるのかの判別を行ったり
することもできる。 6-3. 物体の認識 画面上のデータから物体を認識する方法について概説す
る。画像データに基づいて物体を認識する方法は従来か
ら種々考案されている。たとえば、白黒カメラによるデ
ータ(輝度データのみ)の場合、濃度が大きく変化する
エッジ点を検出し、複数のエッジ点を接続することによ
って物体の輪郭が抽出される。この輪郭の形状をチェッ
クしたり、予め登録されている対象物体の標準的なパタ
ーンとのパターンマッチングを行ったりすることによっ
て、画面上の物体が認識される。カラーのデータを用い
る場合には、濃度だけでなく、色度のデータも利用でき
るので、認識確率を高めることができる。
【0127】画像データから抽出される認識対象ごとの
特徴例を以下に示す。たとえば、画像認識処理装置1の
記憶部17には、これらの特徴についての標準的な値が
記憶されている。認識処理部15は、画像データから下
記の特徴を抽出し、抽出された特徴と記憶部17に記憶
されている標準的な特徴とを照合することによって、物
体の認識を行う。
特徴例を以下に示す。たとえば、画像認識処理装置1の
記憶部17には、これらの特徴についての標準的な値が
記憶されている。認識処理部15は、画像データから下
記の特徴を抽出し、抽出された特徴と記憶部17に記憶
されている標準的な特徴とを照合することによって、物
体の認識を行う。
【0128】(1) 道路標識 円 円の半径 円周の色度 円内のデータ (2) 信号機 長方形 縦、横の大きさ 3個の円 円の半径 灯色 (3) 自動車 前部、後部の形状 横部の形状 車高、車幅、車長 6-4. 認識処理部の処理 次に、図13および図14のフローチャートを参照し
て、物体の認識のために認識処理部15が実行する処理
を説明する。この処理は、一定の周期で実行される。
て、物体の認識のために認識処理部15が実行する処理
を説明する。この処理は、一定の周期で実行される。
【0129】先ず、ステップS101において、車載カ
メラ11が撮像した1枚の画像が記憶部17に取り込ま
れる。そして、ステップS102では、カメラの姿勢パ
ラメータの信頼度が算出される。この信頼度は、姿勢パ
ラメータが用いられた経緯に基づいて算出される。たと
えば、当該周期における姿勢パラメータの算出を行うこ
とができず、以前に求めた姿勢パラメータの平均値を当
該周期における姿勢パメラータとして代用するような場
合には、信頼度は低くなる。また、車両の加速度(減速
度を含む。)が一定値(たとえば0.1g)以上のとき
には、姿勢パラメータの信頼度は低くなる。加速度は、
現在位置データ、走行距離データ、ブレーキデータまた
はgセンサデータから求まる。さらに、ブレーキデータ
によってブレーキが操作されたことが検知されたときに
も、信頼度は低くなる。
メラ11が撮像した1枚の画像が記憶部17に取り込ま
れる。そして、ステップS102では、カメラの姿勢パ
ラメータの信頼度が算出される。この信頼度は、姿勢パ
ラメータが用いられた経緯に基づいて算出される。たと
えば、当該周期における姿勢パラメータの算出を行うこ
とができず、以前に求めた姿勢パラメータの平均値を当
該周期における姿勢パメラータとして代用するような場
合には、信頼度は低くなる。また、車両の加速度(減速
度を含む。)が一定値(たとえば0.1g)以上のとき
には、姿勢パラメータの信頼度は低くなる。加速度は、
現在位置データ、走行距離データ、ブレーキデータまた
はgセンサデータから求まる。さらに、ブレーキデータ
によってブレーキが操作されたことが検知されたときに
も、信頼度は低くなる。
【0130】姿勢パラメータの信頼度が算出されると、
次に、車両が走行している道路の属性(高速道路、一般
道路など)が参照される(ステップS103)。道路の
属性は、道路地図データ中に含まれている。そして、走
行中の道路の属性に基づいて、認識対象の物体の種類が
決定される(ステップS104)。すなわち、たとえば
高速道路を走行中であれば前方の他車両が認識対象物体
とされ、一般道路走行中であれば信号機や道路標識が認
識対象物体とされる。
次に、車両が走行している道路の属性(高速道路、一般
道路など)が参照される(ステップS103)。道路の
属性は、道路地図データ中に含まれている。そして、走
行中の道路の属性に基づいて、認識対象の物体の種類が
決定される(ステップS104)。すなわち、たとえば
高速道路を走行中であれば前方の他車両が認識対象物体
とされ、一般道路走行中であれば信号機や道路標識が認
識対象物体とされる。
【0131】次いで、前の周期のときの道路の属性が変
化したかどうかが調べられる(ステップS105)。そ
して、属性が前周期と変化していなければ、認識物体が
記憶部17に1つでも登録されているかどうかが判断さ
れる(ステップS106)。道路属性が前周期と異なる
場合には、ステップS130において、それ以前に記憶
部17に登録されていた全ての認識物体がクリアされ
る。
化したかどうかが調べられる(ステップS105)。そ
して、属性が前周期と変化していなければ、認識物体が
記憶部17に1つでも登録されているかどうかが判断さ
れる(ステップS106)。道路属性が前周期と異なる
場合には、ステップS130において、それ以前に記憶
部17に登録されていた全ての認識物体がクリアされ
る。
【0132】ステップS106において認識物体が1つ
も登録されていないと判断されたとき、およびステップ
S130において過去に登録されていた全認識物体がク
リアされたときには、ステップS131に進み、画面の
全領域を認識対象領域とした初期認識が行われる。そし
て、認識された物体の位置(X,Y,Z)が算出され
(ステップS132)、その物体が位置(X,Y,Z)
とともに記憶部17に登録されて(ステップS13
3)、当該周期の処理を終了する。
も登録されていないと判断されたとき、およびステップ
S130において過去に登録されていた全認識物体がク
リアされたときには、ステップS131に進み、画面の
全領域を認識対象領域とした初期認識が行われる。そし
て、認識された物体の位置(X,Y,Z)が算出され
(ステップS132)、その物体が位置(X,Y,Z)
とともに記憶部17に登録されて(ステップS13
3)、当該周期の処理を終了する。
【0133】ステップS107では、認識対象物体の種
類に関する処理が順に行われる。すなわち、記憶部17
には、認識対象物体がその種類ごとに分類して記憶され
ており、各種類ごとの情報が参照される。認識対象物体
の種類のうちで、未処理の種類があれば(ステップS1
08)、その種類の認識対象物体のうちで前周期に認識
された物体があるかどうかが調べられる(ステップS1
09)。無ければステップS107に戻る。前周期に認
識された物体があれば、その物体の種類が自動車である
かどうかが調べられる(ステップS110)。そうであ
れば、前々周期においてもその物体(自動車)が認識さ
れているかどうかが調べられる(ステップS111)。
そして、その物体が前々周期において認識されていなけ
れば、ステップS112において、画像切出し領域を決
めるときの誤差範囲が充分に大きな一定値に設定され
る。これは、上述の移動物体の追従認識に関して説明し
たとおり、本周期における移動物体の画面上の位置を正
確に推定するためには、前周期と前々周期との移動物体
の位置が必要であるからである。したがって、前々周期
において移動物体が認識されていないときには、充分に
大きな誤差範囲を設定することによって、その移動物体
が確実に含まれている画像領域を切り出すことができ
る。
類に関する処理が順に行われる。すなわち、記憶部17
には、認識対象物体がその種類ごとに分類して記憶され
ており、各種類ごとの情報が参照される。認識対象物体
の種類のうちで、未処理の種類があれば(ステップS1
08)、その種類の認識対象物体のうちで前周期に認識
された物体があるかどうかが調べられる(ステップS1
09)。無ければステップS107に戻る。前周期に認
識された物体があれば、その物体の種類が自動車である
かどうかが調べられる(ステップS110)。そうであ
れば、前々周期においてもその物体(自動車)が認識さ
れているかどうかが調べられる(ステップS111)。
そして、その物体が前々周期において認識されていなけ
れば、ステップS112において、画像切出し領域を決
めるときの誤差範囲が充分に大きな一定値に設定され
る。これは、上述の移動物体の追従認識に関して説明し
たとおり、本周期における移動物体の画面上の位置を正
確に推定するためには、前周期と前々周期との移動物体
の位置が必要であるからである。したがって、前々周期
において移動物体が認識されていないときには、充分に
大きな誤差範囲を設定することによって、その移動物体
が確実に含まれている画像領域を切り出すことができ
る。
【0134】ステップS113では、前周期の物体の位
置(X,Y,Z)が参照され、さらにステップS114
では、前周期と本周期との間の走行距離L、および方位
変化データΔψ0 が、ナビゲーション処理装置2から与
えられる支援情報に基づいて求められる。次いで、図1
4のステップS115に処理が移る。ステップS115
では、上記第(55)式に従って、本周期の物体の位置
(X,Y,Z)が算出される。これに基づいて、本周期
における画面上での物体の位置(x′,y′)が上記第
(56)式および第(57)式に従って推定される(ステップS
116)。
置(X,Y,Z)が参照され、さらにステップS114
では、前周期と本周期との間の走行距離L、および方位
変化データΔψ0 が、ナビゲーション処理装置2から与
えられる支援情報に基づいて求められる。次いで、図1
4のステップS115に処理が移る。ステップS115
では、上記第(55)式に従って、本周期の物体の位置
(X,Y,Z)が算出される。これに基づいて、本周期
における画面上での物体の位置(x′,y′)が上記第
(56)式および第(57)式に従って推定される(ステップS
116)。
【0135】ステップS117では、走行速度、進行方
向の変化、および姿勢パラメータの信頼度が参照され
る。そして、これらに基づいて推定位置の誤差範囲の大
きさが修正される(ステップS118)。すなわち、誤
差範囲を定めるための上記の定数kの値が更新される。
ステップS119では、上記の誤差範囲に基づいて定め
られた画像切出し範囲の画像が本周期の画面から切り出
され、この切り出された画像に基づいて物体認識処理が
行われる。この処理によって処理対象の物体が正常に認
識できなければ(ステップS120)、その物体の登録
を抹消して(ステップS121)、図13のステップS
107に戻る。一方、処理対象の物体が正常に認識され
たときには、物体の画面上の正確な位置(x′,y′)
が求められ(ステップS122)、さらにそれに基づい
て上記第(54)式に従って物体の空間上の正確な位置
(X,Y,Z)が求められる(ステップS123)。そ
の後は、それまでに得られた推定値と実績値とから誤差
範囲を定めた後に(ステップS124)、図13のステ
ップS107に戻る。
向の変化、および姿勢パラメータの信頼度が参照され
る。そして、これらに基づいて推定位置の誤差範囲の大
きさが修正される(ステップS118)。すなわち、誤
差範囲を定めるための上記の定数kの値が更新される。
ステップS119では、上記の誤差範囲に基づいて定め
られた画像切出し範囲の画像が本周期の画面から切り出
され、この切り出された画像に基づいて物体認識処理が
行われる。この処理によって処理対象の物体が正常に認
識できなければ(ステップS120)、その物体の登録
を抹消して(ステップS121)、図13のステップS
107に戻る。一方、処理対象の物体が正常に認識され
たときには、物体の画面上の正確な位置(x′,y′)
が求められ(ステップS122)、さらにそれに基づい
て上記第(54)式に従って物体の空間上の正確な位置
(X,Y,Z)が求められる(ステップS123)。そ
の後は、それまでに得られた推定値と実績値とから誤差
範囲を定めた後に(ステップS124)、図13のステ
ップS107に戻る。
【0136】このようにして、或る処理周期で認識され
た物体の次処理周期の画面上における位置が推定され、
その推定位置および誤差範囲に基づいて画像の切出し範
囲が求められる。そして、この切り出された画像部分に
関してのみ、物体認識処理が行われる。そのため、各周
期において全ての画像領域に関して物体認識処理を行う
必要がない。これにより、物体認識処理が極めて効率的
に、かつ、高速に行える。このことは、車載カメラ11
の撮像面内で変位する物体を時々刻々と認識する際に極
めて有益である。 7.むすび 以上のようにこの車載画像認識処理システムによれば、
直線検出処理においては白線以外の道路平行線をも算出
できるから、これに基づく道路消失点の算出が確実に行
える。そして、算出された道路消失点を基にカメラ姿勢
パラメータが求められ、このカメラ姿勢パラメータに基
づいて画面内で刻々と移動していく物体を良好に認識す
ることができる。各処理には、必要に応じてナビゲーシ
ョン処理装置2やアンチロックブレーキ装置3からの支
援情報が用いられている。
た物体の次処理周期の画面上における位置が推定され、
その推定位置および誤差範囲に基づいて画像の切出し範
囲が求められる。そして、この切り出された画像部分に
関してのみ、物体認識処理が行われる。そのため、各周
期において全ての画像領域に関して物体認識処理を行う
必要がない。これにより、物体認識処理が極めて効率的
に、かつ、高速に行える。このことは、車載カメラ11
の撮像面内で変位する物体を時々刻々と認識する際に極
めて有益である。 7.むすび 以上のようにこの車載画像認識処理システムによれば、
直線検出処理においては白線以外の道路平行線をも算出
できるから、これに基づく道路消失点の算出が確実に行
える。そして、算出された道路消失点を基にカメラ姿勢
パラメータが求められ、このカメラ姿勢パラメータに基
づいて画面内で刻々と移動していく物体を良好に認識す
ることができる。各処理には、必要に応じてナビゲーシ
ョン処理装置2やアンチロックブレーキ装置3からの支
援情報が用いられている。
【0137】このような構成により、車両の前方の物体
が確実に認識できるようになるから、認識結果を用いて
車両の自動運転を行ったり、ナビゲーション処理装置2
における経路誘導のための支援情報を作成したりするこ
とができる。なお、上記の例では、主として車両の前方
の物体の認識について説明したが、車両の後方を撮像す
るカメラを設けて、後方の物体の認識を行うようにして
もよい。
が確実に認識できるようになるから、認識結果を用いて
車両の自動運転を行ったり、ナビゲーション処理装置2
における経路誘導のための支援情報を作成したりするこ
とができる。なお、上記の例では、主として車両の前方
の物体の認識について説明したが、車両の後方を撮像す
るカメラを設けて、後方の物体の認識を行うようにして
もよい。
【0138】また、上記の例では、画像認識処理装置
1、ナビゲーション処理装置2およびアンチロックブレ
ーキ装置3が個別に構成されているが、いずれか2つま
たは全部の装置を統合した構成としもよい。その他、本
発明の要旨を変更しない範囲で、種々の設計変更を施す
ことができる。
1、ナビゲーション処理装置2およびアンチロックブレ
ーキ装置3が個別に構成されているが、いずれか2つま
たは全部の装置を統合した構成としもよい。その他、本
発明の要旨を変更しない範囲で、種々の設計変更を施す
ことができる。
【0139】
【発明の効果】以上のように本発明の画像の直線部抽出
方法によれば、道路の表面の白線だけでなく、道路の両
側部、中央分離帯および路側帯なども直線部として抽出
することができる。そのため、たとえば道路消失点を算
出する際に多数の道路平行線を用いることができるか
ら、道路消失点を精度良く算出することができる。この
ようにして算出された道路消失点を利用すれば、車載カ
メラによって撮像された画像中の物体の認識を効率的に
行うことができる。
方法によれば、道路の表面の白線だけでなく、道路の両
側部、中央分離帯および路側帯なども直線部として抽出
することができる。そのため、たとえば道路消失点を算
出する際に多数の道路平行線を用いることができるか
ら、道路消失点を精度良く算出することができる。この
ようにして算出された道路消失点を利用すれば、車載カ
メラによって撮像された画像中の物体の認識を効率的に
行うことができる。
【図1】本発明の一実施例が適用された画像認識処理シ
ステムの構成を示すブロック図である。
ステムの構成を示すブロック図である。
【図2】車載カメラによって撮像された画像例を示す図
である。
である。
【図3】図2の画像から直線部分を抽出した例を示す図
である。
である。
【図4】直線部抽出処理を説明するための図である。
(a) は車載カメラによって撮像された画像例を示し、
(b) は或る走査線上における3原色画像データの変動を
示す。
(a) は車載カメラによって撮像された画像例を示し、
(b) は或る走査線上における3原色画像データの変動を
示す。
【図5】直線部抽出処理を説明するためのフローチャー
トである。
トである。
【図6】Hough変換を説明するための図である。
【図7】Hough変換処理を2回繰り返して道路消失点を
求めるための処理を説明するための図である。
求めるための処理を説明するための図である。
【図8】道路消失点算出処理を説明するためのフローチ
ャートである。
ャートである。
【図9】道路消失点算出処理を説明するためのフローチ
ャートである。
ャートである。
【図10】道路消失点算出処理を説明するためのフロー
チャートである。
チャートである。
【図11】道路消失点算出処理を説明するためのフロー
チャートである。
チャートである。
【図12】カメラ姿勢パラメータ算出処理を説明するた
めのフローチャートである。
めのフローチャートである。
【図13】物体認識処理を説明するためのフローチャー
トである。
トである。
【図14】物体認識処理を説明するためのフローチャー
トである。
トである。
1 画像認識処理装置 2 ナビゲーション処理装置 3 アンチロックブレーキ装置 11 車載カラーカメラ 15 認識処理部 17 記憶部 21 距離センサ 22 方位センサ 25 位置検出処理部 27 道路地図メモリ 28 記憶部 29 表示部 31 車輪速センサ 32 gセンサ 35 制動処理部 37 記憶部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G08G 1/16 A 7531−3H
Claims (4)
- 【請求項1】車両の前方または後方を撮像して画面内の
各点をカラー表現した信号を出力する車載カラーカメラ
によって撮像された画面中の直線部分を抽出するための
方法であって、 上記車載カラーカメラによって撮像された画面上におい
て所定方向に沿う所定の処理対象点を順に処理したとき
に、色度もしくは輝度またはその両方の変化が小さい安
定状態と、色度もしくは輝度またはその両方の変化が大
きい不安定状態との間で切り換わる点を、直線部分に属
する直線候補点とすることを特徴とする画像の直線部抽
出方法。 - 【請求項2】上記車載カラーカメラによって撮像された
画面上の各点は色度および輝度を表す3つの要素でカラ
ー表現され、 上記車載カラーカメラによって撮像された画面上におい
て所定方向に沿う所定の処理対象点を順に処理したとき
の上記3つの要素の各変化量の線形和または自乗和に基
づいて、上記安定状態および上記不安定状態を判定する
ことを特徴とする請求項1記載の画像の直線部抽出方
法。 - 【請求項3】上記画面上の各点を表す3つの要素は、光
の3原色に相当するものであることを特徴とする請求項
2記載の画像の直線部抽出方法。 - 【請求項4】上記画面上の各点を表す3つの要素は、彩
度、明度および輝度をそれぞれ表すものであることを特
徴とする請求項2記載の画像の直線部抽出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5223355A JPH0778255A (ja) | 1993-09-08 | 1993-09-08 | 画像の直線部抽出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5223355A JPH0778255A (ja) | 1993-09-08 | 1993-09-08 | 画像の直線部抽出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0778255A true JPH0778255A (ja) | 1995-03-20 |
Family
ID=16796863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5223355A Pending JPH0778255A (ja) | 1993-09-08 | 1993-09-08 | 画像の直線部抽出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0778255A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004205527A (ja) * | 2004-04-09 | 2004-07-22 | Matsushita Electric Ind Co Ltd | ナビゲーション装置 |
JP2009250778A (ja) * | 2008-04-07 | 2009-10-29 | Alpine Electronics Inc | カルマンフィルタ処理における繰り返し演算制御方法及び装置 |
JP2014505249A (ja) * | 2011-01-11 | 2014-02-27 | クゥアルコム・インコーポレイテッド | Pndのためのカメラベースの慣性センサアライメント |
KR101525626B1 (ko) * | 2009-01-05 | 2015-06-04 | 삼성전자주식회사 | 아웃 포커싱 장치 및 방법 |
WO2015189375A3 (en) * | 2014-06-13 | 2016-02-11 | Tomtom International B.V. | Methods and systems for generating route data |
-
1993
- 1993-09-08 JP JP5223355A patent/JPH0778255A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004205527A (ja) * | 2004-04-09 | 2004-07-22 | Matsushita Electric Ind Co Ltd | ナビゲーション装置 |
JP2009250778A (ja) * | 2008-04-07 | 2009-10-29 | Alpine Electronics Inc | カルマンフィルタ処理における繰り返し演算制御方法及び装置 |
KR101525626B1 (ko) * | 2009-01-05 | 2015-06-04 | 삼성전자주식회사 | 아웃 포커싱 장치 및 방법 |
JP2014505249A (ja) * | 2011-01-11 | 2014-02-27 | クゥアルコム・インコーポレイテッド | Pndのためのカメラベースの慣性センサアライメント |
US9160980B2 (en) | 2011-01-11 | 2015-10-13 | Qualcomm Incorporated | Camera-based inertial sensor alignment for PND |
WO2015189375A3 (en) * | 2014-06-13 | 2016-02-11 | Tomtom International B.V. | Methods and systems for generating route data |
CN106574841A (zh) * | 2014-06-13 | 2017-04-19 | 通腾科技股份有限公司 | 用于产生路线数据的方法及系统 |
US10768006B2 (en) | 2014-06-13 | 2020-09-08 | Tomtom Global Content B.V. | Methods and systems for generating route data |
US11740099B2 (en) | 2014-06-13 | 2023-08-29 | Tomtom Global Content B.V. | Methods and systems for generating route data |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2514779B2 (ja) | カメラ姿勢パラメ―タ算出方法 | |
US6285393B1 (en) | Object recognition apparatus and method | |
US11270131B2 (en) | Map points-of-change detection device | |
US7106886B2 (en) | Road white line recognition apparatus and method | |
US6661449B1 (en) | Object recognizing apparatus for vehicle and the method thereof | |
JP3352655B2 (ja) | 車線認識装置 | |
EP0827127B1 (en) | Local positioning apparatus, and method therefor | |
CN103523013B (zh) | 车道偏离警报装置 | |
US20050169501A1 (en) | Method and apparatus for determining driving lane of vehicle, and computer product | |
US20110243455A1 (en) | Scene matching reference data generation system and position measurement system | |
KR20060087449A (ko) | 차량 위치 인식 장치 및 차량 위치 인식 방법 | |
US10846546B2 (en) | Traffic signal recognition device | |
JP2870372B2 (ja) | 物体認識装置 | |
JP3358247B2 (ja) | 道路消失点の算出方法 | |
JPH0778255A (ja) | 画像の直線部抽出方法 | |
JP3612821B2 (ja) | 車載用距離測定装置 | |
JP2940366B2 (ja) | 対象物の追従認識装置 | |
JP3235831B2 (ja) | ステレオ式車外監視装置 | |
JP3304905B2 (ja) | 対象物の追従認識装置 | |
JPH06162398A (ja) | 車線検出装置と車線逸脱警報装置と衝突警報装置 | |
JP3114544B2 (ja) | 走行路計測法 | |
JP2544898B2 (ja) | 車載カメラの姿勢パラメ―タ算出装置 | |
JPH0979847A (ja) | 車載用距離測定装置 | |
JP3462467B2 (ja) | 車外監視装置 | |
JP2001256484A (ja) | 道路領域抽出装置および方法 |