JP3402054B2 - 道路白線認識装置 - Google Patents
道路白線認識装置Info
- Publication number
- JP3402054B2 JP3402054B2 JP04770496A JP4770496A JP3402054B2 JP 3402054 B2 JP3402054 B2 JP 3402054B2 JP 04770496 A JP04770496 A JP 04770496A JP 4770496 A JP4770496 A JP 4770496A JP 3402054 B2 JP3402054 B2 JP 3402054B2
- Authority
- JP
- Japan
- Prior art keywords
- white line
- vehicle
- image
- road
- line recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000008859 change Effects 0.000 claims description 52
- 230000010365 information processing Effects 0.000 claims description 28
- 206010034719 Personality change Diseases 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 5
- 230000010354 integration Effects 0.000 description 4
- 238000003702 image correction Methods 0.000 description 3
- 241000981595 Zoysia japonica Species 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Description
【０００１】
【発明の属する技術分野】本発明は、自動車が走行して
いる道路において白線で代表される形状の把握を行なう
ための道路白線認識装置に関し、特に、処理時間のかか
りやすい画像処理を用いて道路白線の認識を行ないなが
らも画像処理時間に応じた認識遅れを補正しうる、道路
白線認識装置に関する。
いる道路において白線で代表される形状の把握を行なう
ための道路白線認識装置に関し、特に、処理時間のかか
りやすい画像処理を用いて道路白線の認識を行ないなが
らも画像処理時間に応じた認識遅れを補正しうる、道路
白線認識装置に関する。
【０００２】
【従来の技術】近年、自動車にテレビカメラを設置し
て、走行中の道路の形状把握や、道路に対する車両姿勢
の把握を行なって、自動車の自動走行制御に用いたり、
ドライバへの各種警告のために用いたりする技術が開発
されている。例えば車両に設置したカメラからの画像情
報のうち、明度の高い部分を白線候補点として、この中
から前回の画面情報で得た白線位置（白線認識情報）に
最も近い点を白線であると認識して、この道路白線に基
づいて操舵を行なうようにした、道路白線認識に関する
技術が、特開平３−１３７７９８号公報等に開示されて
いる。
て、走行中の道路の形状把握や、道路に対する車両姿勢
の把握を行なって、自動車の自動走行制御に用いたり、
ドライバへの各種警告のために用いたりする技術が開発
されている。例えば車両に設置したカメラからの画像情
報のうち、明度の高い部分を白線候補点として、この中
から前回の画面情報で得た白線位置（白線認識情報）に
最も近い点を白線であると認識して、この道路白線に基
づいて操舵を行なうようにした、道路白線認識に関する
技術が、特開平３−１３７７９８号公報等に開示されて
いる。
【０００３】また、特開平７−８５２４９号公報には、
画像情報に基づいて白線探索エリア内で横方向に明度変
化を探索して、明度変化が極めて少ない部分を道路部分
であると判断し、且つ、明度変化が極めて少ない道路部
分に隣接して明度変化が大きい部分について白線である
と認識する技術が開示されている。このような道路白線
認識装置は、例えば図１０に示すように、カメラ（撮像
手段）１１と、カメラ１１からの画像情報の処理を行な
うＥＣＵ（電子制御ユニット）１５Ａとをそなえ、白線
データ１９Ａを得るが、この場合、例えば図１１に示す
ように、まず、カメラ１１で画像（実画像）を取得して
（ステップＣ１０）、ＥＣＵ１５Ａでこの画像を処理す
る（ステップＣ２０）が、このとき、ＥＣＵ１５Ａで
は、図１２に示すように、画像（原画像）１２１を平面
視の２次元画像１２２に変換して（ステップＣ３０）、
原画像１２１の道路白線１２１Ａ，１２１Ｂを平面視画
像１２２の道路白線１２２Ａ，１２２Ｂに変換した上で
白線認識を行なう。
画像情報に基づいて白線探索エリア内で横方向に明度変
化を探索して、明度変化が極めて少ない部分を道路部分
であると判断し、且つ、明度変化が極めて少ない道路部
分に隣接して明度変化が大きい部分について白線である
と認識する技術が開示されている。このような道路白線
認識装置は、例えば図１０に示すように、カメラ（撮像
手段）１１と、カメラ１１からの画像情報の処理を行な
うＥＣＵ（電子制御ユニット）１５Ａとをそなえ、白線
データ１９Ａを得るが、この場合、例えば図１１に示す
ように、まず、カメラ１１で画像（実画像）を取得して
（ステップＣ１０）、ＥＣＵ１５Ａでこの画像を処理す
る（ステップＣ２０）が、このとき、ＥＣＵ１５Ａで
は、図１２に示すように、画像（原画像）１２１を平面
視の２次元画像１２２に変換して（ステップＣ３０）、
原画像１２１の道路白線１２１Ａ，１２１Ｂを平面視画
像１２２の道路白線１２２Ａ，１２２Ｂに変換した上で
白線認識を行なう。
【０００４】ところで、車両は走行中に車輪が道路の凹
凸等に乗り上げると車体の姿勢を変化させるので、車載
のカメラの方向もこれに応じて上下や左右に変化するこ
とになる。したがって、車載のカメラによる画像も上下
や左右に変化することになり、走行中の車両では、この
ような道路の凹凸の影響を考慮して道路形状（道路白
線）を認識しなければならない。
凸等に乗り上げると車体の姿勢を変化させるので、車載
のカメラの方向もこれに応じて上下や左右に変化するこ
とになる。したがって、車載のカメラによる画像も上下
や左右に変化することになり、走行中の車両では、この
ような道路の凹凸の影響を考慮して道路形状（道路白
線）を認識しなければならない。
【０００５】そこで、特開平６−１２４３９８号公報に
開示されているように、走行中に車体のピッチや移動量
を検出して、車体のピッチに基づいて車輪が道路の凹凸
等に乗り上げたか否かを判定し、車輪が道路の凹凸等に
乗り上げた場合には、この時にとらえた車載のカメラに
基づいては道路形状の認識は行なわないで、凹凸等に乗
り上げる前の画像情報に、その後の車両の移動量を加算
するようにして道路形状の認識を行なう技術が開示され
ている。
開示されているように、走行中に車体のピッチや移動量
を検出して、車体のピッチに基づいて車輪が道路の凹凸
等に乗り上げたか否かを判定し、車輪が道路の凹凸等に
乗り上げた場合には、この時にとらえた車載のカメラに
基づいては道路形状の認識は行なわないで、凹凸等に乗
り上げる前の画像情報に、その後の車両の移動量を加算
するようにして道路形状の認識を行なう技術が開示され
ている。
【０００６】
【発明が解決しようとする課題】ところで、上述のよう
に道路白線（道路形状）を認識するための画像処理に関
しては、処理速度が遅く、道路白線の認識に基づいて何
らかの制御を行なおうとしても、適切な制御とならない
場合がある。そこで、より高速な画像処理が望まれてい
るが、高速な画像処理を行なうには高価で高速な電子制
御ユニット（ＥＣＵ）を用いなくてはならず、大きなコ
スト負担となってしまう課題がある。
に道路白線（道路形状）を認識するための画像処理に関
しては、処理速度が遅く、道路白線の認識に基づいて何
らかの制御を行なおうとしても、適切な制御とならない
場合がある。そこで、より高速な画像処理が望まれてい
るが、高速な画像処理を行なうには高価で高速な電子制
御ユニット（ＥＣＵ）を用いなくてはならず、大きなコ
スト負担となってしまう課題がある。
【０００７】本発明は、上述の課題に鑑み創案されたも
ので、低コストで適切な制御を行なえるように道路白線
の認識を精度良く行なえるようにした、道路白線認識方
法を提供することを目的とする。
ので、低コストで適切な制御を行なえるように道路白線
の認識を精度良く行なえるようにした、道路白線認識方
法を提供することを目的とする。
【０００８】
【課題を解決するための手段】このため、請求項１記載
の本発明の道路白線認識装置は、車両に搭載され該車両
の走行方向の道路を撮影し撮影した画像を出力する撮像
手段と、該撮像手段で撮像された画像情報に対して原画
像を平面視画像に変換する処理を含む画像処理を行なっ
て該道路上の白線を認識する画像情報処理手段とをそな
えるとともに、該車両の車速を検出する車速検出手段
と、該車両のヨーレイトを検出するヨーレイト検出手段
と、該車速検出手段で検出された車速と該ヨーレイト検
出手段で検出されたヨーレイトとに基づいて、該車両の
移動量及び姿勢変化量を算出する算出手段と、該撮像手
段で撮像された時点から該画像処理による該道路白線認
識が完了した時点に至る画像処理時間に該算出手段によ
り算出される、該画像処理時間内での上記の車両の移動
量及び姿勢変化量に基づいて、該画像情報処理手段で認
識された道路白線認識情報に対して補正を行なう補正手
段とをそなえていることを特徴としている。
の本発明の道路白線認識装置は、車両に搭載され該車両
の走行方向の道路を撮影し撮影した画像を出力する撮像
手段と、該撮像手段で撮像された画像情報に対して原画
像を平面視画像に変換する処理を含む画像処理を行なっ
て該道路上の白線を認識する画像情報処理手段とをそな
えるとともに、該車両の車速を検出する車速検出手段
と、該車両のヨーレイトを検出するヨーレイト検出手段
と、該車速検出手段で検出された車速と該ヨーレイト検
出手段で検出されたヨーレイトとに基づいて、該車両の
移動量及び姿勢変化量を算出する算出手段と、該撮像手
段で撮像された時点から該画像処理による該道路白線認
識が完了した時点に至る画像処理時間に該算出手段によ
り算出される、該画像処理時間内での上記の車両の移動
量及び姿勢変化量に基づいて、該画像情報処理手段で認
識された道路白線認識情報に対して補正を行なう補正手
段とをそなえていることを特徴としている。
【０００９】請求項２記載の本発明の道路白線認識装置
は、請求項１記載の装置において、該画像情報処理手段
は、第１の周期で該撮像手段により撮像された画像情報
に画像処理を行なって該道路上の白線を認識し、該算出
手段は、該車速検出手段で検出された車速と該ヨーレイ
ト検出手段で検出されたヨーレイトとに基づいて、第１
の周期よりも短い第２の周期で該車両の移動量及び姿勢
変化量を算出し、該補正手段は、該道路白線認識の完了
時点での上記の画像処理時間に応じた車両の移動量及び
姿勢変化量に基づいた道路白線認識の補正後から、次の
周期の該道路白線認識の完了時点までの間は、該補正時
点から現時点に至る上記の車両の移動量及び姿勢変化量
に基づいて該道路白線認識情報を更に補正することを特
徴としている。
は、請求項１記載の装置において、該画像情報処理手段
は、第１の周期で該撮像手段により撮像された画像情報
に画像処理を行なって該道路上の白線を認識し、該算出
手段は、該車速検出手段で検出された車速と該ヨーレイ
ト検出手段で検出されたヨーレイトとに基づいて、第１
の周期よりも短い第２の周期で該車両の移動量及び姿勢
変化量を算出し、該補正手段は、該道路白線認識の完了
時点での上記の画像処理時間に応じた車両の移動量及び
姿勢変化量に基づいた道路白線認識の補正後から、次の
周期の該道路白線認識の完了時点までの間は、該補正時
点から現時点に至る上記の車両の移動量及び姿勢変化量
に基づいて該道路白線認識情報を更に補正することを特
徴としている。
【００１０】請求項３記載の本発明の道路白線認識装置
は、請求項１又は２記載の装置において、上記の車両の
姿勢変化量が予め設定された判定値よりも大きいか否か
を判定する判定手段をそなえ、該補正手段が、該判定手
段により該姿勢変化量が該判定値よりも大きいと判定さ
れた場合に上記の補正を行なうことを特徴としている。
は、請求項１又は２記載の装置において、上記の車両の
姿勢変化量が予め設定された判定値よりも大きいか否か
を判定する判定手段をそなえ、該補正手段が、該判定手
段により該姿勢変化量が該判定値よりも大きいと判定さ
れた場合に上記の補正を行なうことを特徴としている。
【００１１】
【発明の実施の形態】以下、図面により、本発明の実施
の形態について説明すると、図１〜図９は本発明の一実
施形態としての道路白線認識装置を示すものである。な
お、本装置は自動車にそなえられる。はじめに、本装置
による道路白線認識の利用目的について説明しておく
と、道路白線の認識は、車両が走行レーンから逸脱しな
いように走行レーンに沿って走行するようにドライバに
案内や警告を発したり、さらには、車両を走行レーンに
沿わせて、自動操舵できるようにする自動操縦制御のた
め必要である。
の形態について説明すると、図１〜図９は本発明の一実
施形態としての道路白線認識装置を示すものである。な
お、本装置は自動車にそなえられる。はじめに、本装置
による道路白線認識の利用目的について説明しておく
と、道路白線の認識は、車両が走行レーンから逸脱しな
いように走行レーンに沿って走行するようにドライバに
案内や警告を発したり、さらには、車両を走行レーンに
沿わせて、自動操舵できるようにする自動操縦制御のた
め必要である。
【００１２】例えば、図２は、自動操舵装置を示す模式
図であるが、車両１には、操舵車輪２を転舵させるため
の操舵アクチュエータ７と、この車両前方の道路状態を
撮像する撮像手段としてのカメラ１１と、このカメラ１
１からの画像情報を処理する画像情報処理手段１５と、
操舵アクチュエータ７に対して制御信号を設定する制御
手段としてのコントローラ５とがそなえられている。
図であるが、車両１には、操舵車輪２を転舵させるため
の操舵アクチュエータ７と、この車両前方の道路状態を
撮像する撮像手段としてのカメラ１１と、このカメラ１
１からの画像情報を処理する画像情報処理手段１５と、
操舵アクチュエータ７に対して制御信号を設定する制御
手段としてのコントローラ５とがそなえられている。
【００１３】そして、カメラ１１で撮像された画像に基
づいて、ドライバが操舵ハンドル６を操作しなくても操
舵車輪２を自動的に転舵させうるようになっており、コ
ントローラ５では、画像情報処理手段１５からの情報に
基づいて、操舵輪２を制御するための制御量として目標
操舵角が設定され、この目標操舵角の設定量に応じて操
舵アクチュエータ７が作動するようになっているのであ
る。
づいて、ドライバが操舵ハンドル６を操作しなくても操
舵車輪２を自動的に転舵させうるようになっており、コ
ントローラ５では、画像情報処理手段１５からの情報に
基づいて、操舵輪２を制御するための制御量として目標
操舵角が設定され、この目標操舵角の設定量に応じて操
舵アクチュエータ７が作動するようになっているのであ
る。
【００１４】本装置は、このような利用性があるが、ド
ライバへの案内や自動操舵といった道路白線認識に基づ
いた制御（白線認識対応制御）は、本来、画像情報を得
た時点から制御する時点までに時間差があってはならな
い。しかしながら、現実的には、車載の画像処理装置で
は画像処理速度に限度があるため、画像処理されて出力
される道路白線認識情報は、画像処理時間Ｔだけ前のも
のとなってしまう。そこで、本装置では、画像処理時間
Ｔ間の車両の動きを算出して、この算出結果により画像
処理された道路白線認識情報を補正するようになってい
るのである。
ライバへの案内や自動操舵といった道路白線認識に基づ
いた制御（白線認識対応制御）は、本来、画像情報を得
た時点から制御する時点までに時間差があってはならな
い。しかしながら、現実的には、車載の画像処理装置で
は画像処理速度に限度があるため、画像処理されて出力
される道路白線認識情報は、画像処理時間Ｔだけ前のも
のとなってしまう。そこで、本装置では、画像処理時間
Ｔ間の車両の動きを算出して、この算出結果により画像
処理された道路白線認識情報を補正するようになってい
るのである。
【００１５】図１は、このような本装置の構成を模式的
に示すブロック図であるが、図示するように、本装置
は、撮像手段としてのカメラ１１と、車両の車速Ｖを検
出する車速検出手段としての車速センサ１２と、車両に
生じるヨーレイトψ′を検出するヨーレイト検出手段と
してのヨーレイトセンサ１３と、ＥＣＵ（電子制御ユニ
ット）１４とをそなえている。
に示すブロック図であるが、図示するように、本装置
は、撮像手段としてのカメラ１１と、車両の車速Ｖを検
出する車速検出手段としての車速センサ１２と、車両に
生じるヨーレイトψ′を検出するヨーレイト検出手段と
してのヨーレイトセンサ１３と、ＥＣＵ（電子制御ユニ
ット）１４とをそなえている。
【００１６】カメラ１１は、自動車（以下、車両とい
う）に搭載され、車両の走行方向の道路を撮影してこの
撮影した画像をＥＣＵ１４に出力する。ＥＣＵ１４に
は、カメラ１１で撮像された画像情報に画像処理を行な
う機能（画像情報処理手段）１５と、車速センサ１２で
検出された車速Ｖとヨーレイトセンサ１３で検出された
ヨーレイトψ′とに基づいて、車両の移動量及び姿勢変
化量（単に、姿勢変化とも省略する）を算出する機能
（算出手段）１６と、算出した車両の姿勢変化量を予め
設定された判定値と比較して判定する機能（判定手段）
１７と、画像情報処理手段１５で認識された道路白線位
置（道路白線認識情報）に対して補正を行なう機能（補
正手段）１８とがそなえられている。
う）に搭載され、車両の走行方向の道路を撮影してこの
撮影した画像をＥＣＵ１４に出力する。ＥＣＵ１４に
は、カメラ１１で撮像された画像情報に画像処理を行な
う機能（画像情報処理手段）１５と、車速センサ１２で
検出された車速Ｖとヨーレイトセンサ１３で検出された
ヨーレイトψ′とに基づいて、車両の移動量及び姿勢変
化量（単に、姿勢変化とも省略する）を算出する機能
（算出手段）１６と、算出した車両の姿勢変化量を予め
設定された判定値と比較して判定する機能（判定手段）
１７と、画像情報処理手段１５で認識された道路白線位
置（道路白線認識情報）に対して補正を行なう機能（補
正手段）１８とがそなえられている。
【００１７】そして、後述する画像情報処理手段１５に
よる処理周期Ｔ１に応じた周期Ｔ１で、道路白線認識情
報にかかる画像情報が出力されるようになっており、前
述の白線認識対応制御は、このように出力される道路白
線認識情報に応じて、周期Ｔ１で制御を行なうようにな
っている。画像情報処理手段１５は、カメラ１１で撮像
された画像情報に画像処理を行なうが、この処理では、
カメラ１１では図３に示すような遠近画像（原画像）２
１が撮像されるのに対して、これを、図４に示すような
平面視の２次元画像２２に変換する。したがって、画像
上の道路白線は、原画像２１の２１Ａ，２１Ｂが、平面
視画像２２の２２Ａ，２２Ｂに変換された上で、認識さ
れる。この画像情報処理手段１５による画像処理には一
定の処理時間Ｔがかかるので、画像情報処理手段１５で
はこの処理時間Ｔに応じた周期Ｔ１（≒Ｔ）で、周期的
に画像処理を行なう。
よる処理周期Ｔ１に応じた周期Ｔ１で、道路白線認識情
報にかかる画像情報が出力されるようになっており、前
述の白線認識対応制御は、このように出力される道路白
線認識情報に応じて、周期Ｔ１で制御を行なうようにな
っている。画像情報処理手段１５は、カメラ１１で撮像
された画像情報に画像処理を行なうが、この処理では、
カメラ１１では図３に示すような遠近画像（原画像）２
１が撮像されるのに対して、これを、図４に示すような
平面視の２次元画像２２に変換する。したがって、画像
上の道路白線は、原画像２１の２１Ａ，２１Ｂが、平面
視画像２２の２２Ａ，２２Ｂに変換された上で、認識さ
れる。この画像情報処理手段１５による画像処理には一
定の処理時間Ｔがかかるので、画像情報処理手段１５で
はこの処理時間Ｔに応じた周期Ｔ１（≒Ｔ）で、周期的
に画像処理を行なう。
【００１８】算出手段１６では、検出された車速Ｖとヨ
ーレイトψ′とに基づいて、車両の移動量としての車両
の前後移動量Ｘ，車両の左右移動量Ｙと、車両の姿勢変
化量としてのヨー角変化量Ψとを算出する。このような
算出手段１６による車両の移動量Ｘ，Ｙや姿勢変化量Ψ
の算出目的は、道路白線認識情報を補正手段１８により
補正するためである。
ーレイトψ′とに基づいて、車両の移動量としての車両
の前後移動量Ｘ，車両の左右移動量Ｙと、車両の姿勢変
化量としてのヨー角変化量Ψとを算出する。このような
算出手段１６による車両の移動量Ｘ，Ｙや姿勢変化量Ψ
の算出目的は、道路白線認識情報を補正手段１８により
補正するためである。
【００１９】つまり、前述のように、画像情報処理手段
１５による処理時間Ｔが長くかかってしまうため、この
間に車両が移動や姿勢変化を生じると、画像情報処理手
段１５から出力される道路白線認識情報は画像情報取得
時点のものとは異なってしまう。このため、画像情報取
得時点から道路白線認識情報の出力時点までの間におけ
る車両の移動量Ｘ，Ｙや姿勢変化量Ψを算出して、補正
手段１８によって、出力される道路白線認識情報をこの
車両の移動量Ｘ，Ｙや姿勢変化量Ψで補正することでよ
り正しい道路白線認識情報を出力しようとするものであ
る。
１５による処理時間Ｔが長くかかってしまうため、この
間に車両が移動や姿勢変化を生じると、画像情報処理手
段１５から出力される道路白線認識情報は画像情報取得
時点のものとは異なってしまう。このため、画像情報取
得時点から道路白線認識情報の出力時点までの間におけ
る車両の移動量Ｘ，Ｙや姿勢変化量Ψを算出して、補正
手段１８によって、出力される道路白線認識情報をこの
車両の移動量Ｘ，Ｙや姿勢変化量Ψで補正することでよ
り正しい道路白線認識情報を出力しようとするものであ
る。
【００２０】移動量Ｘ，Ｙや姿勢変化量Ψの算出につい
て説明すると、前後移動量Ｘ，左右移動量Ｙ，ヨー角変
化量Ψは、それぞれ微小時間Δｔ当たりの前後移動量Δ
ｘ，左右移動量Δｙ，ヨー角ψを時間積分することで求
まり、前後移動量Δｘは車速Ｖと時間Δｔとの積、左右
移動量Δｙは前後移動量Δｘと微小時間Δｔ当たりのヨ
ー角変化量Δψとの積として算出でき、ヨー角ψは、微
小時間Δｔ当たりのヨーレイトΔψ′と時間Δｔとの積
として算出でき、それぞれそれぞれ次式（１）〜（３）
により算出できる。 Ｘ＝∫Δｘｄｔ＝∫（Ｖ・Δｔ）ｄｔ ・・・・・・（１） Ｙ＝∫Δｙｄｔ＝∫（Δｘ・Δψ）ｄｔ ・・・・・・（２） Ψ＝∫ψｄｔ＝∫（Δψ′・Δｔ）ｄｔ ・・・・・・（３） この算出手段１６による前後移動量Ｘ，左右移動量Ｙ，
ヨー角変化量Ψの算出は、カメラ１１で画像情報の撮像
が行なわれた時点（この時点は、画像情報処理手段１５
にこの画像情報が入力される時点と考えても支障がない
ので、以下、この時点を画像情報入力時点とする）か
ら、画像情報処理手段１５で画像処理が完了してこの処
理情報が出力される時点までのものであり、算出手段１
６では、周期Ｔ１で行なわれる画像情報入力の時点で算
出を開始して、以後、画像処理周期よりも短い所定の周
期Ｔ２で車速Ｖ，ヨーレイトψ′の検出情報を周期的に
取り込みながら算出を行ない、画像処理情報出力の時点
で算出を終了する。
て説明すると、前後移動量Ｘ，左右移動量Ｙ，ヨー角変
化量Ψは、それぞれ微小時間Δｔ当たりの前後移動量Δ
ｘ，左右移動量Δｙ，ヨー角ψを時間積分することで求
まり、前後移動量Δｘは車速Ｖと時間Δｔとの積、左右
移動量Δｙは前後移動量Δｘと微小時間Δｔ当たりのヨ
ー角変化量Δψとの積として算出でき、ヨー角ψは、微
小時間Δｔ当たりのヨーレイトΔψ′と時間Δｔとの積
として算出でき、それぞれそれぞれ次式（１）〜（３）
により算出できる。 Ｘ＝∫Δｘｄｔ＝∫（Ｖ・Δｔ）ｄｔ ・・・・・・（１） Ｙ＝∫Δｙｄｔ＝∫（Δｘ・Δψ）ｄｔ ・・・・・・（２） Ψ＝∫ψｄｔ＝∫（Δψ′・Δｔ）ｄｔ ・・・・・・（３） この算出手段１６による前後移動量Ｘ，左右移動量Ｙ，
ヨー角変化量Ψの算出は、カメラ１１で画像情報の撮像
が行なわれた時点（この時点は、画像情報処理手段１５
にこの画像情報が入力される時点と考えても支障がない
ので、以下、この時点を画像情報入力時点とする）か
ら、画像情報処理手段１５で画像処理が完了してこの処
理情報が出力される時点までのものであり、算出手段１
６では、周期Ｔ１で行なわれる画像情報入力の時点で算
出を開始して、以後、画像処理周期よりも短い所定の周
期Ｔ２で車速Ｖ，ヨーレイトψ′の検出情報を周期的に
取り込みながら算出を行ない、画像処理情報出力の時点
で算出を終了する。
【００２１】図６は、前後移動量Ｘ，左右移動量Ｙ，ヨ
ー角変化量Ψの算出例を示すタイムチャートである。こ
こでは、画像処理周期Ｔ１が、車速Ｖ，ヨーレイトψ′
の検出情報の取り込み周期（演算周期）Ｔ２のｍ倍（Ｔ
１＝ｍ・Ｔ２）、即ち、１回の画像処理周期内に、車速
Ｖ，ヨーレイトψ′の検出情報がｍ回取り込まれるよう
に設定された場合について、ある画像処理周期〔ｎ回目
及び（ｎ＋１）回目の画像処理周期〕での、前後移動量
Ｘ，左右移動量Ｙ，ヨー角変化量Ψの算出例を説明す
る。
ー角変化量Ψの算出例を示すタイムチャートである。こ
こでは、画像処理周期Ｔ１が、車速Ｖ，ヨーレイトψ′
の検出情報の取り込み周期（演算周期）Ｔ２のｍ倍（Ｔ
１＝ｍ・Ｔ２）、即ち、１回の画像処理周期内に、車速
Ｖ，ヨーレイトψ′の検出情報がｍ回取り込まれるよう
に設定された場合について、ある画像処理周期〔ｎ回目
及び（ｎ＋１）回目の画像処理周期〕での、前後移動量
Ｘ，左右移動量Ｙ，ヨー角変化量Ψの算出例を説明す
る。
【００２２】ｎ回目の画像処理周期では、まず、時点
（ｔn-1 ）でカメラ画像の取得を行な、この時点（ｔ
n-1 ）から時間Ｔ１が経過した時点（ｔn ）で、画像処
理による平面視画像が得られる。この間、周期Ｔ２で車
速Ｖ，ヨーレイトψ′を取り込みながら、それぞれ時間
Ｔ２当たりの前後移動量Δｘni，左右移動量Δｙni，ヨ
ー角ψniを算出し、これらをそれぞれ次式（４）〜
（６）により積算していき、時点（ｔn-1 ）から時点
（ｔn ）までの前後移動量Ｘ，左右移動量Ｙ，ヨー角変
化量Ψを算出する。なお、式（４）〜（６）は、式
（１）〜（３）と対応する。 Ｘn ＝ΣΔｘnk, ただし、ｋ＝１〜ｍ ・・・・・・（４） Ｙn ＝ΣΔｙnk, ただし、ｋ＝１〜ｍ ・・・・・・（５） Ψn ＝Σψnk, ただし、ｋ＝１〜ｍ ・・・・・・（６） こうして、算出された前後移動量Ｘn ，左右移動量
Ｙn ，ヨー角変化量Ψn は、ｎ回目の画像処理周期で処
理された画像情報の補正に用いられる。
（ｔn-1 ）でカメラ画像の取得を行な、この時点（ｔ
n-1 ）から時間Ｔ１が経過した時点（ｔn ）で、画像処
理による平面視画像が得られる。この間、周期Ｔ２で車
速Ｖ，ヨーレイトψ′を取り込みながら、それぞれ時間
Ｔ２当たりの前後移動量Δｘni，左右移動量Δｙni，ヨ
ー角ψniを算出し、これらをそれぞれ次式（４）〜
（６）により積算していき、時点（ｔn-1 ）から時点
（ｔn ）までの前後移動量Ｘ，左右移動量Ｙ，ヨー角変
化量Ψを算出する。なお、式（４）〜（６）は、式
（１）〜（３）と対応する。 Ｘn ＝ΣΔｘnk, ただし、ｋ＝１〜ｍ ・・・・・・（４） Ｙn ＝ΣΔｙnk, ただし、ｋ＝１〜ｍ ・・・・・・（５） Ψn ＝Σψnk, ただし、ｋ＝１〜ｍ ・・・・・・（６） こうして、算出された前後移動量Ｘn ，左右移動量
Ｙn ，ヨー角変化量Ψn は、ｎ回目の画像処理周期で処
理された画像情報の補正に用いられる。
【００２３】なお、図６中には、ｎ回目の画像処理周期
での前後移動量Ｘ，左右移動量Ｙ，ヨー角変化量Ψの算
出の過程を式（４Ａ）〜（６Ａ）で示している。 Ｘn ＝ΣΔｘnk, ただし、ｋ＝１〜ｉ ・・・・・・（４Ａ） Ｙn ＝ΣΔｙnk, ただし、ｋ＝１〜ｉ ・・・・・・（５Ａ） Ψn ＝Σψnk, ただし、ｋ＝１〜ｉ ・・・・・・（６Ａ） さらに、（ｎ−１）回目の画像処理周期についての算出
結果は、式（４Ｂ）〜（６Ｂ）のようになり、算出され
た前後移動量Ｘn-1 ，左右移動量Ｙn-1 ，ヨー角変化量
Ψn-1 は、ｎ−１回目の画像処理周期で処理された画像
情報の補正に用いられる。 Ｘn-1 ＝ΣΔｘ(n-1)k, ただし、ｋ＝１〜ｍ ・・・・・・（４Ｂ） Ｙn-1 ＝ΣΔｙ(n-1)k, ただし、ｋ＝１〜ｍ ・・・・・・（５Ｂ） Ψn-1 ＝Σψ(n-1)k, ただし、ｋ＝１〜ｍ ・・・・・・（６Ｂ） そして、（ｎ＋１）回目の画像処理周期についての算出
過程は、式（４Ｃ）〜（６Ｃ）のようになり、算出され
た前後移動量Ｘn+1 ，左右移動量Ｙn+1 ，ヨー角変化量
Ψn+1 は、ｎ＋１回目の画像処理周期で処理された画像
情報の補正に用いられる。 Ｘn+1 ＝ΣΔｘ(n+1)k, ただし、ｋ＝１〜ｍ ・・・・・・（４Ｃ） Ｙn+1 ＝ΣΔｙ(n+1)k, ただし、ｋ＝１〜ｍ ・・・・・・（５Ｃ） Ψn+1 ＝Σψ(n+1)k, ただし、ｋ＝１〜ｍ ・・・・・・（６Ｃ） 判定手段１７は、道路白線認識にかかる画像処理情報の
補正が必要か否かを判定するものである。画像情報処理
手段１５による画像情報の処理の間に車両の移動や姿勢
変化が少なければ、補正の必要はないとの考えに基づい
ている。特に、画像処理中における車両の移動について
は、車両をレーンに沿って（即ち、道路白線に沿って）
走行させる上であまり問題とならないが、車両に一定以
上の姿勢変化が発生した場合には、大きな問題となる。
そこで、判定手段１７では、算出手段１６で算出された
姿勢変化量Ψを判定値Ψ0 と比較して、姿勢変化量Ψが
判定値Ψ0 以上になったときにだけ、算出手段１６によ
る算出結果に基づいて、画像処理情報の補正が必要であ
ると判定する。
での前後移動量Ｘ，左右移動量Ｙ，ヨー角変化量Ψの算
出の過程を式（４Ａ）〜（６Ａ）で示している。 Ｘn ＝ΣΔｘnk, ただし、ｋ＝１〜ｉ ・・・・・・（４Ａ） Ｙn ＝ΣΔｙnk, ただし、ｋ＝１〜ｉ ・・・・・・（５Ａ） Ψn ＝Σψnk, ただし、ｋ＝１〜ｉ ・・・・・・（６Ａ） さらに、（ｎ−１）回目の画像処理周期についての算出
結果は、式（４Ｂ）〜（６Ｂ）のようになり、算出され
た前後移動量Ｘn-1 ，左右移動量Ｙn-1 ，ヨー角変化量
Ψn-1 は、ｎ−１回目の画像処理周期で処理された画像
情報の補正に用いられる。 Ｘn-1 ＝ΣΔｘ(n-1)k, ただし、ｋ＝１〜ｍ ・・・・・・（４Ｂ） Ｙn-1 ＝ΣΔｙ(n-1)k, ただし、ｋ＝１〜ｍ ・・・・・・（５Ｂ） Ψn-1 ＝Σψ(n-1)k, ただし、ｋ＝１〜ｍ ・・・・・・（６Ｂ） そして、（ｎ＋１）回目の画像処理周期についての算出
過程は、式（４Ｃ）〜（６Ｃ）のようになり、算出され
た前後移動量Ｘn+1 ，左右移動量Ｙn+1 ，ヨー角変化量
Ψn+1 は、ｎ＋１回目の画像処理周期で処理された画像
情報の補正に用いられる。 Ｘn+1 ＝ΣΔｘ(n+1)k, ただし、ｋ＝１〜ｍ ・・・・・・（４Ｃ） Ｙn+1 ＝ΣΔｙ(n+1)k, ただし、ｋ＝１〜ｍ ・・・・・・（５Ｃ） Ψn+1 ＝Σψ(n+1)k, ただし、ｋ＝１〜ｍ ・・・・・・（６Ｃ） 判定手段１７は、道路白線認識にかかる画像処理情報の
補正が必要か否かを判定するものである。画像情報処理
手段１５による画像情報の処理の間に車両の移動や姿勢
変化が少なければ、補正の必要はないとの考えに基づい
ている。特に、画像処理中における車両の移動について
は、車両をレーンに沿って（即ち、道路白線に沿って）
走行させる上であまり問題とならないが、車両に一定以
上の姿勢変化が発生した場合には、大きな問題となる。
そこで、判定手段１７では、算出手段１６で算出された
姿勢変化量Ψを判定値Ψ0 と比較して、姿勢変化量Ψが
判定値Ψ0 以上になったときにだけ、算出手段１６によ
る算出結果に基づいて、画像処理情報の補正が必要であ
ると判定する。
【００２４】補正手段１８では、判定手段１７で画像処
理情報の補正が必要であると判定すると、算出手段１６
で算出された前後移動量Ｘ，左右移動量Ｙ，ヨー角変化
量Ψに基づいて、得られた画像情報が、車両の現在の位
置及び姿勢に対応するように補正を行なう。例えば、画
像情報処理手段１５では、図４に示すような平面視の２
次元画像２２に変換されるが、この画像情報の処理中
に、算出手段１６による算出結果から、車両が図４中に
符号３０で示す位置及び姿勢から符号３１で示す位置及
び姿勢へと変化した場合、補正手段１８では、図５に示
すように、画像情報を現時点での車両の位置及び姿勢
（符号３１参照）を中心としたものに補正するのであ
る。
理情報の補正が必要であると判定すると、算出手段１６
で算出された前後移動量Ｘ，左右移動量Ｙ，ヨー角変化
量Ψに基づいて、得られた画像情報が、車両の現在の位
置及び姿勢に対応するように補正を行なう。例えば、画
像情報処理手段１５では、図４に示すような平面視の２
次元画像２２に変換されるが、この画像情報の処理中
に、算出手段１６による算出結果から、車両が図４中に
符号３０で示す位置及び姿勢から符号３１で示す位置及
び姿勢へと変化した場合、補正手段１８では、図５に示
すように、画像情報を現時点での車両の位置及び姿勢
（符号３１参照）を中心としたものに補正するのであ
る。
【００２５】したがって、補正手段１８で補正された画
像（補正した平面視の２次元画像）２３では、道路白線
の位置が、図４に２２Ａ，２２Ｂで示す位置から、図５
に２３Ａ，２３Ｂで示す位置へと補正される。もちろ
ん、判定手段１７で画像処理情報の補正が必要であると
判定されなければ、このような補正は行なわない。この
ように補正手段１８で適宜補正されて道路白線認識情報
にかかる画像情報が出力されるが、この出力の周期は、
前述のように画像情報処理手段１５による画像処理周期
Ｔ１と等しくなっている。
像（補正した平面視の２次元画像）２３では、道路白線
の位置が、図４に２２Ａ，２２Ｂで示す位置から、図５
に２３Ａ，２３Ｂで示す位置へと補正される。もちろ
ん、判定手段１７で画像処理情報の補正が必要であると
判定されなければ、このような補正は行なわない。この
ように補正手段１８で適宜補正されて道路白線認識情報
にかかる画像情報が出力されるが、この出力の周期は、
前述のように画像情報処理手段１５による画像処理周期
Ｔ１と等しくなっている。
【００２６】本発明の一実施形態としての道路白線認識
装置は、上述のように構成されているので、例えば図
７，図８のフローチャートに示すように道路白線認識の
処理が行なわれる。つまり、図７はそのメインルーチン
であり、ステップＡ１０〜ステップＡ５０が周期Ｔ１で
繰り返される。つまり、まず、カメラにより図３に示す
ような画像を取得し（ステップＡ１０）、ついで、画像
情報処理手段１５で、図４に示すような平面視の２次元
画像への変換処理を行い（ステップＡ２０）、白線デー
タを得る（ステップＡ３０）。そして、この白線データ
に補正を施して（ステップＡ４０）、今回の周期の道路
白線認識の処理を終える。
装置は、上述のように構成されているので、例えば図
７，図８のフローチャートに示すように道路白線認識の
処理が行なわれる。つまり、図７はそのメインルーチン
であり、ステップＡ１０〜ステップＡ５０が周期Ｔ１で
繰り返される。つまり、まず、カメラにより図３に示す
ような画像を取得し（ステップＡ１０）、ついで、画像
情報処理手段１５で、図４に示すような平面視の２次元
画像への変換処理を行い（ステップＡ２０）、白線デー
タを得る（ステップＡ３０）。そして、この白線データ
に補正を施して（ステップＡ４０）、今回の周期の道路
白線認識の処理を終える。
【００２７】また、図８はその白線データ補正のための
ルーチンであり、このルーチンは、画像情報処理が開始
されるとこれに応じて開始され、画像情報処理よりも短
い周期Ｔ２で、ステップＢ１０〜ステップＢ７０の各処
理が繰り返し実施される。つまり、まず、車速Ｖ，ヨー
レイトψ′のセンサデータを取り込んで（ステップＢ１
０）、これに基づいて、図６に示すように、移動量、即
ち、前後移動量Ｘ，左右移動量Ｙを積算し（ステップＢ
２０）、姿勢変化（姿勢変化量）、即ち、ヨー角変化量
Ψを積算する（ステップＢ３０）。
ルーチンであり、このルーチンは、画像情報処理が開始
されるとこれに応じて開始され、画像情報処理よりも短
い周期Ｔ２で、ステップＢ１０〜ステップＢ７０の各処
理が繰り返し実施される。つまり、まず、車速Ｖ，ヨー
レイトψ′のセンサデータを取り込んで（ステップＢ１
０）、これに基づいて、図６に示すように、移動量、即
ち、前後移動量Ｘ，左右移動量Ｙを積算し（ステップＢ
２０）、姿勢変化（姿勢変化量）、即ち、ヨー角変化量
Ψを積算する（ステップＢ３０）。
【００２８】このような処理（ステップＢ１０〜ステッ
プＢ３０）は、ステップＢ４０の判断処理を経て、リタ
ーンするので、画像情報処理手段１５による画像処理が
終了するまでステップＢ１０〜ステップＢ３０が周期Ｔ
２で繰り返される。そして、画像処理が終了したら、こ
の間に得られる姿勢変化量、即ち、ヨー角変化量Ψを判
定値Ψ0 と比較して（ステップＢ５０）、ヨー角変化量
Ψが判定値Ψ0 以上なら、画像補正情報として前後移動
量Ｘ，左右移動量Ｙ，ヨー角変化量Ψの積算結果を出力
する（ステップＢ６０）。そして、前後移動量Ｘ，左右
移動量Ｙ，ヨー角変化量Ψの各積算値をクリアして（ス
テップＢ７０）、今回の周期の補正情報の算出を終了す
る。
プＢ３０）は、ステップＢ４０の判断処理を経て、リタ
ーンするので、画像情報処理手段１５による画像処理が
終了するまでステップＢ１０〜ステップＢ３０が周期Ｔ
２で繰り返される。そして、画像処理が終了したら、こ
の間に得られる姿勢変化量、即ち、ヨー角変化量Ψを判
定値Ψ0 と比較して（ステップＢ５０）、ヨー角変化量
Ψが判定値Ψ0 以上なら、画像補正情報として前後移動
量Ｘ，左右移動量Ｙ，ヨー角変化量Ψの積算結果を出力
する（ステップＢ６０）。そして、前後移動量Ｘ，左右
移動量Ｙ，ヨー角変化量Ψの各積算値をクリアして（ス
テップＢ７０）、今回の周期の補正情報の算出を終了す
る。
【００２９】一方、ヨー角変化量Ψが判定値Ψ0 以上で
なければ、画像補正情報の出力は行なわずに、前後移動
量Ｘ，左右移動量Ｙ，ヨー角変化量Ψの各積算値をクリ
アして（ステップＢ７０）、今回の周期の補正情報の算
出を終了する。このようにして、本装置では、画像処理
に要する時間Ｔの間に車両が一定以上の姿勢変化を行な
った場合には、この画像処理時間Ｔ内の車両の動きを算
出して、この算出結果により画像処理された道路白線認
識情報を補正するので、画像情報に基づきながら道路白
線に対する実際の車両位置や姿勢を適切に把握すること
ができ、道路白線認識に基づいた各種制御（白線認識対
応制御）を的確に行なうことができる。
なければ、画像補正情報の出力は行なわずに、前後移動
量Ｘ，左右移動量Ｙ，ヨー角変化量Ψの各積算値をクリ
アして（ステップＢ７０）、今回の周期の補正情報の算
出を終了する。このようにして、本装置では、画像処理
に要する時間Ｔの間に車両が一定以上の姿勢変化を行な
った場合には、この画像処理時間Ｔ内の車両の動きを算
出して、この算出結果により画像処理された道路白線認
識情報を補正するので、画像情報に基づきながら道路白
線に対する実際の車両位置や姿勢を適切に把握すること
ができ、道路白線認識に基づいた各種制御（白線認識対
応制御）を的確に行なうことができる。
【００３０】次に、本実施形態の変形例について説明す
る。この変形例では、画像情報処理手段１５による処理
周期Ｔ１よりも短い算出手段１６による算出周期Ｔ２
で、補正手段１８による補正が行なわれ、道路白線認識
情報（画像情報）が出力されるようになっており、白線
認識対応制御は、このように出力される道路白線認識情
報に応じて、やはり周期Ｔ２で制御を行なうようになっ
ている。
る。この変形例では、画像情報処理手段１５による処理
周期Ｔ１よりも短い算出手段１６による算出周期Ｔ２
で、補正手段１８による補正が行なわれ、道路白線認識
情報（画像情報）が出力されるようになっており、白線
認識対応制御は、このように出力される道路白線認識情
報に応じて、やはり周期Ｔ２で制御を行なうようになっ
ている。
【００３１】したがって、この場合の補正手段１８によ
る補正量は、図９に示すように算出される。図９は、本
実施形態にかかる図６と対応するもので、前後移動量
Ｘ，左右移動量Ｙ，ヨー角変化量Ψの算出例を示すタイ
ムチャートである。画像処理完了時の時点（ｔn-1 ），
時点（ｔn ），時点（ｔn+1 ）については、図６の実施
形態と同様であるが、画像処理完了後の時点（ｔn-1 ）
と時点（ｔn ）との間や時点（ｔn ）と時点（ｔn+1 ）
との間では、次式（７）〜（９）のように前後移動量
Ｘ，左右移動量Ｙ，ヨー角変化量Ψを算出する。
る補正量は、図９に示すように算出される。図９は、本
実施形態にかかる図６と対応するもので、前後移動量
Ｘ，左右移動量Ｙ，ヨー角変化量Ψの算出例を示すタイ
ムチャートである。画像処理完了時の時点（ｔn-1 ），
時点（ｔn ），時点（ｔn+1 ）については、図６の実施
形態と同様であるが、画像処理完了後の時点（ｔn-1 ）
と時点（ｔn ）との間や時点（ｔn ）と時点（ｔn+1 ）
との間では、次式（７）〜（９）のように前後移動量
Ｘ，左右移動量Ｙ，ヨー角変化量Ψを算出する。
【００３２】なお、式（７）〜（９）は（４）〜（６）
と対応する。 Ｘn ＝ΣΔｘ(n-1)k1 ＋ΣΔｘnk2 ただし、ｋ１＝１〜ｍ，ｋ２＝１〜ｉ ・・・・・・（７） Ｙn ＝ΣΔｙ(n-1)k1 ＋ΣΔｙnk2 ただし、ｋ１＝１〜ｍ，ｋ２＝１〜ｉ ・・・・・・（８） Ψn ＝Σψ(n-1)k1 ＋Σψnk2 ただし、ｋ１＝１〜ｍ，ｋ２＝１〜ｉ ・・・・・・（９） こうして、画像情報処理手段１５による処理周期Ｔ１よ
りも短い、車体の移動量（即ち、前後移動量Ｘn ，左右
移動量Ｙn ）や車体の姿勢変化量（即ち、ヨー角変化量
Ψn ）の算出周期Ｔ２で、補正した道路白線認識情報
（画像情報）が出力され、白線認識対応制御を行なうこ
とで、画像処理周期が長くても、よりきめの細かい制御
が可能になる利点がある。
と対応する。 Ｘn ＝ΣΔｘ(n-1)k1 ＋ΣΔｘnk2 ただし、ｋ１＝１〜ｍ，ｋ２＝１〜ｉ ・・・・・・（７） Ｙn ＝ΣΔｙ(n-1)k1 ＋ΣΔｙnk2 ただし、ｋ１＝１〜ｍ，ｋ２＝１〜ｉ ・・・・・・（８） Ψn ＝Σψ(n-1)k1 ＋Σψnk2 ただし、ｋ１＝１〜ｍ，ｋ２＝１〜ｉ ・・・・・・（９） こうして、画像情報処理手段１５による処理周期Ｔ１よ
りも短い、車体の移動量（即ち、前後移動量Ｘn ，左右
移動量Ｙn ）や車体の姿勢変化量（即ち、ヨー角変化量
Ψn ）の算出周期Ｔ２で、補正した道路白線認識情報
（画像情報）が出力され、白線認識対応制御を行なうこ
とで、画像処理周期が長くても、よりきめの細かい制御
が可能になる利点がある。
【００３３】この場合には、道路白線認識における補正
の手順についても、図７，図８に示すような実施形態の
ものとは異なる。つまり、周期Ｔ１で行なわれる道路白
線認識ルーチンのフローチャート（図７）におけるステ
ップＡ４０の「白線データ補正」のステップを削除し、
周期Ｔ１でステップＡ１０〜Ａ３０を繰り返するように
する。したがって、この道路白線認識の処理では、周期
Ｔ１で補正しない白線データの出力（ステップＡ３０）
のみを行なう。
の手順についても、図７，図８に示すような実施形態の
ものとは異なる。つまり、周期Ｔ１で行なわれる道路白
線認識ルーチンのフローチャート（図７）におけるステ
ップＡ４０の「白線データ補正」のステップを削除し、
周期Ｔ１でステップＡ１０〜Ａ３０を繰り返するように
する。したがって、この道路白線認識の処理では、周期
Ｔ１で補正しない白線データの出力（ステップＡ３０）
のみを行なう。
【００３４】そして、周期Ｔ２で行なわれる道路白線認
識の補正のフローチャート（図８）においては、ステッ
プＢ４０の「画像処理終了判定」のステップを削除し、
ステップＢ６０とＢ７０との間に「画像処理終了判定」
のステップ（これを、ステップＢ６５とする）を追加す
る。また、図８のステップＢ６０では画像補正情報を出
力しているが、この変形例のステップＢ６０では、この
周期のステップＢ２０，Ｂ３０で得られた前後移動量
Ｘ，左右移動量Ｙ，ヨー角変化量Ψの積算結果に基づい
て、道路白線認識ルーチン（図７に対応するルーチン）
のステップＡ３０で得られた画像情報を補正して、これ
を補正済画像情報として出力するのである。即ち、周期
Ｔ１よりも短い周期Ｔ２毎に補正済画像情報を出力する
のである。
識の補正のフローチャート（図８）においては、ステッ
プＢ４０の「画像処理終了判定」のステップを削除し、
ステップＢ６０とＢ７０との間に「画像処理終了判定」
のステップ（これを、ステップＢ６５とする）を追加す
る。また、図８のステップＢ６０では画像補正情報を出
力しているが、この変形例のステップＢ６０では、この
周期のステップＢ２０，Ｂ３０で得られた前後移動量
Ｘ，左右移動量Ｙ，ヨー角変化量Ψの積算結果に基づい
て、道路白線認識ルーチン（図７に対応するルーチン）
のステップＡ３０で得られた画像情報を補正して、これ
を補正済画像情報として出力するのである。即ち、周期
Ｔ１よりも短い周期Ｔ２毎に補正済画像情報を出力する
のである。
【００３５】したがって、このようなルーチン構成で
は、図８のステップＢ３０の次にステップＢ５０に進む
ので、ステップＢ５０では、この周期のステップＢ３０
で得られる姿勢変化量、即ち、ヨー角変化量Ψを判定値
Ψ0 と比較することになり、この判定も周期Ｔ２で行な
われるようになる。また、ここで、ヨー角変化量Ψが判
定値Ψ0 以上なら、ステップＢ６０に進み、この周期の
ステップＢ２０，Ｂ３０で得られた前後移動量Ｘ，左右
移動量Ｙ，ヨー角変化量Ψの積算結果に基づいて画像情
報を補正して、これを補正済画像情報として出力するの
である。したがって、この補正済画像情報の出力も周期
Ｔ１よりも短い周期Ｔ２毎に行なわれるようになる。
は、図８のステップＢ３０の次にステップＢ５０に進む
ので、ステップＢ５０では、この周期のステップＢ３０
で得られる姿勢変化量、即ち、ヨー角変化量Ψを判定値
Ψ0 と比較することになり、この判定も周期Ｔ２で行な
われるようになる。また、ここで、ヨー角変化量Ψが判
定値Ψ0 以上なら、ステップＢ６０に進み、この周期の
ステップＢ２０，Ｂ３０で得られた前後移動量Ｘ，左右
移動量Ｙ，ヨー角変化量Ψの積算結果に基づいて画像情
報を補正して、これを補正済画像情報として出力するの
である。したがって、この補正済画像情報の出力も周期
Ｔ１よりも短い周期Ｔ２毎に行なわれるようになる。
【００３６】そして、ステップＢ５０で「ＮＯ」ならば
直接、ステップＢ５０で「ＹＥＳ」ならばステップＢ６
０を経て、ステップＢ６５の画像処理終了判定ステップ
に進み、ここで、画像処理が終了したと判定されれば、
ステップＢ７０に進んで、前後移動量Ｘ，左右移動量
Ｙ，ヨー角変化量Ψの各積算値をクリアする。画像処理
が終了しなければ、このステップＢ６５からリターンす
るのである。
直接、ステップＢ５０で「ＹＥＳ」ならばステップＢ６
０を経て、ステップＢ６５の画像処理終了判定ステップ
に進み、ここで、画像処理が終了したと判定されれば、
ステップＢ７０に進んで、前後移動量Ｘ，左右移動量
Ｙ，ヨー角変化量Ψの各積算値をクリアする。画像処理
が終了しなければ、このステップＢ６５からリターンす
るのである。
【００３７】これにより、積算値のクリアは、画像処理
終了毎（従って、周期Ｔ１毎）に行なわれることになる
のである。なお、上述の実施形態では、画像処理に要す
る時間Ｔの間に車両が一定以上の姿勢変化を行なった場
合だけに限定して、補正を行なっているので、補正頻度
を低く抑えることができるが、このような条件を除い
て、常に補正を行なうようにしてもよい。
終了毎（従って、周期Ｔ１毎）に行なわれることになる
のである。なお、上述の実施形態では、画像処理に要す
る時間Ｔの間に車両が一定以上の姿勢変化を行なった場
合だけに限定して、補正を行なっているので、補正頻度
を低く抑えることができるが、このような条件を除い
て、常に補正を行なうようにしてもよい。
【００３８】
【発明の効果】以上詳述したように、請求項１記載の本
発明の道路白線認識装置によれば、撮像された画像情報
に対して原画像を平面視画像に変換する処理を含む画像
処理を行なっている間に車両が姿勢変化を行なった場合
にも、この画像処理時間内の車両の動きを算出して、こ
の算出結果により画像処理された道路白線認識情報を補
正するので、画像情報に基づきながら道路白線に対する
実際の車両位置や姿勢を適切に把握することができ、自
車両に対する道路白線の認識を精度良く行なえ、道路白
線認識に基づいた各種制御を的確に行なうことができる
ようになる。
発明の道路白線認識装置によれば、撮像された画像情報
に対して原画像を平面視画像に変換する処理を含む画像
処理を行なっている間に車両が姿勢変化を行なった場合
にも、この画像処理時間内の車両の動きを算出して、こ
の算出結果により画像処理された道路白線認識情報を補
正するので、画像情報に基づきながら道路白線に対する
実際の車両位置や姿勢を適切に把握することができ、自
車両に対する道路白線の認識を精度良く行なえ、道路白
線認識に基づいた各種制御を的確に行なうことができる
ようになる。
【００３９】また、請求項２記載の本発明の道路白線認
識装置によれば、上記効果に加えて、画像処理周期が長
くても、よりきめの細かい制御が可能になる。請求項３
記載の本発明の道路白線認識装置によれば、さらに、補
正頻度を低く抑えることができるので、不要な補正処理
が回避され、情報出力の速度を速めることができる。
識装置によれば、上記効果に加えて、画像処理周期が長
くても、よりきめの細かい制御が可能になる。請求項３
記載の本発明の道路白線認識装置によれば、さらに、補
正頻度を低く抑えることができるので、不要な補正処理
が回避され、情報出力の速度を速めることができる。
【図１】本発明の一実施形態としての道路白線認識装置
の構成を模式的に示すブロック図である。
の構成を模式的に示すブロック図である。
【図２】本道路白線認識装置の利用例を示す車両の模式
図である。
図である。
【図３】本実施形態の撮像手段で撮像された画像情報の
例を示す図である。
例を示す図である。
【図４】本実施形態の画像情報処理手段で処理された画
像情報の例を示す図である。
像情報の例を示す図である。
【図５】本実施形態の補正手段で補正された画像情報の
例を示す図である。
例を示す図である。
【図６】本実施形態の補正手段による補正内容を説明す
るタイムチャートである。
るタイムチャートである。
【図７】本実施形態による道路白線認識の手順を説明す
るフローチャートである。
るフローチャートである。
【図８】本実施形態による道路白線認識における補正の
手順を説明するフローチャートである。
手順を説明するフローチャートである。
【図９】本実施形態の変形例の補正手段による補正内容
を説明するタイムチャートである。
を説明するタイムチャートである。
【図１０】従来の道路白線認識装置の構成を模式的に示
すブロック図である。
すブロック図である。
【図１１】従来の道路白線認識の手順を説明するフロー
チャートである。
チャートである。
【図１２】従来の道路白線認識装置による画像処理を説
明する図である。
明する図である。
１ 車両
２ 操舵車輪
５ 制御手段としてのコントローラ
６ 操舵ハンドル
７ 操舵アクチュエータ
１１ 撮像手段としてのカメラ
１２ 車速検出手段としての車速センサ
１３ ヨーレイト検出手段としてのヨーレイトセンサ
１４ ＥＣＵ（電子制御ユニット）
１５ 画像情報処理手段
１６ 算出手段
１７ 判定手段
１８ 補正手段
フロントページの続き
(72)発明者 菅原 正
東京都港区芝五丁目33番８号 三菱自動
車工業株式会社内
(72)発明者 井上 紀夫
東京都港区芝五丁目33番８号 三菱自動
車工業株式会社内
(56)参考文献 特開 平３−265007（ＪＰ，Ａ)
特開 平３−276211（ＪＰ，Ａ)
特開 平９−161060（ＪＰ，Ａ)
特公 平６−10838（ＪＰ，Ｂ２)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G01B 11/00 - 11/30
G06T 7/00
G01C 21/00 - 21/36
H04N 7/18
G05D 1/02
G08G 1/16
Claims (3)
- 【請求項１】 車両に搭載され該車両の走行方向の道路
を撮影し撮影した画像を出力する撮像手段と、 該撮像手段で撮像された画像情報に対して原画像を平面
視画像に変換する処理を含む画像処理を行なって該道路
上の白線を認識する画像情報処理手段とをそなえるとと
もに、 該車両の車速を検出する車速検出手段と、 該車両のヨーレイトを検出するヨーレイト検出手段と、 該車速検出手段で検出された車速と該ヨーレイト検出手
段で検出されたヨーレイトとに基づいて、該車両の移動
量及び姿勢変化量を算出する算出手段と、 該撮像手段で撮像された時点から該画像処理による該道
路白線認識が完了した時点に至る画像処理時間に該算出
手段により算出される、該画像処理時間内での上記の車
両の移動量及び姿勢変化量に基づいて、該画像情報処理
手段で認識された道路白線認識情報に対して補正を行な
う補正手段とをそなえている特徴とする、道路白線認識
装置。 - 【請求項２】 該画像情報処理手段は、第１の周期で該
撮像手段により撮像された画像情報に画像処理を行なっ
て該道路上の白線を認識し、 該算出手段は、該車速検出手段で検出された車速と該ヨ
ーレイト検出手段で検出されたヨーレイトとに基づい
て、第１の周期よりも短い第２の周期で該車両の移動量
及び姿勢変化量を算出し、 該補正手段は、該道路白線認識の完了時点での上記の画
像処理時間に応じた車両の移動量及び姿勢変化量に基づ
いた道路白線認識の補正後から、次の周期の該道路白線
認識の完了時点までの間は、該補正時点から現時点に至
る上記の車両の移動量及び姿勢変化量に基づいて該道路
白線認識情報を更に補正することを特徴とする、請求項
１記載の道路白線認識装置。 - 【請求項３】 上記の車両の姿勢変化量が予め設定され
た判定値よりも大きいか否かを判定する判定手段をそな
え、 該補正手段が、該判定手段により該姿勢変化量が該判定
値よりも大きいと判定された場合に上記の補正を行なう
ことを特徴とする、請求項１または２記載の道路白線認
識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04770496A JP3402054B2 (ja) | 1996-03-05 | 1996-03-05 | 道路白線認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04770496A JP3402054B2 (ja) | 1996-03-05 | 1996-03-05 | 道路白線認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09243326A JPH09243326A (ja) | 1997-09-19 |
| JP3402054B2 true JP3402054B2 (ja) | 2003-04-28 |
Family
ID=12782696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04770496A Expired - Fee Related JP3402054B2 (ja) | 1996-03-05 | 1996-03-05 | 道路白線認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3402054B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3941252B2 (ja) * | 1998-08-07 | 2007-07-04 | マツダ株式会社 | 車両の位置検出装置 |
| JP3920769B2 (ja) * | 2000-08-17 | 2007-05-30 | 株式会社日立製作所 | 車両用計測制御装置 |
| JP2007309670A (ja) * | 2006-05-16 | 2007-11-29 | Toyota Motor Corp | 車両位置検出装置 |
| JP4648915B2 (ja) * | 2007-03-16 | 2011-03-09 | ビジュアツール株式会社 | 立体形状計測装置および立体形状計測方法 |
| JP2011028495A (ja) * | 2009-07-24 | 2011-02-10 | Technical Research & Development Institute Ministry Of Defence | 無人走行車両の遠隔操縦装置 |
| JP6094266B2 (ja) * | 2013-02-28 | 2017-03-15 | アイシン精機株式会社 | 駐車支援装置、駐車支援方法およびプログラム |
| JP6324423B2 (ja) * | 2016-02-29 | 2018-05-16 | 三菱電機株式会社 | 車両位置検出装置 |
| JP6852299B2 (ja) * | 2016-08-09 | 2021-03-31 | 株式会社デンソー | 運転支援システム |
| JP7330911B2 (ja) * | 2020-02-05 | 2023-08-22 | マツダ株式会社 | 車両用制御装置 |
-
1996
- 1996-03-05 JP JP04770496A patent/JP3402054B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09243326A (ja) | 1997-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7447578B2 (en) | Steering control apparatus and method for automotive vehicle | |
| JP3690283B2 (ja) | 車線追従制御装置 | |
| JP5055933B2 (ja) | 走行支援装置 | |
| US7266454B2 (en) | Obstacle detection apparatus and method for automotive vehicle | |
| EP3290301B1 (en) | Parking assist device | |
| US20100332050A1 (en) | Vehicle travel support device, vehicle, and vehicle travel support program | |
| JP3600378B2 (ja) | 車両の外界認識装置 | |
| JPH11212641A (ja) | 無人自動車の画像処理装置及び方法 | |
| JP2010501387A (ja) | 自動車のアクティブシャシのバネ力特性を制御する装置及び方法 | |
| JPH04209100A (ja) | 走行制御装置 | |
| CN112334378B (zh) | 转向控制装置、转向控制方法以及转向控制系统 | |
| JP2005332107A (ja) | 車両用走行区分線認識装置 | |
| JP2007003287A (ja) | Ｇｐｓロストの予測方法、ｇｐｓロストの予測装置及び車両用走行制御装置 | |
| US20220363250A1 (en) | Vehicular driving assistance system with lateral motion control | |
| JP3402054B2 (ja) | 道路白線認識装置 | |
| JPWO2006121221A1 (ja) | 車線追従制御装置および車線追従制御方法 | |
| JP3235527B2 (ja) | 車線逸脱防止装置 | |
| JP2001030936A (ja) | 車両操作制御装置 | |
| JPH0981757A (ja) | 車両位置検出装置 | |
| JPH04300781A (ja) | 移動車の走行制御装置 | |
| KR100540743B1 (ko) | 주행편차 보정에 의한 차량의 조향각/속도조절 데이터생성장치 및 방법 | |
| JP3296208B2 (ja) | カーブ曲率推定装置 | |
| JP2001171544A (ja) | 車載カメラの光軸ずれ検出装置 | |
| JP3320894B2 (ja) | 自動車の走行路推定装置 | |
| JP2002163641A (ja) | 車両用画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20020716 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030128 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080229 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090228 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090228 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100228 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140228 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |