JPH11213155A - レーンマーク認識装置、車両走行制御装置および記録媒体 - Google Patents

レーンマーク認識装置、車両走行制御装置および記録媒体

Info

Publication number
JPH11213155A
JPH11213155A JP10014233A JP1423398A JPH11213155A JP H11213155 A JPH11213155 A JP H11213155A JP 10014233 A JP10014233 A JP 10014233A JP 1423398 A JP1423398 A JP 1423398A JP H11213155 A JPH11213155 A JP H11213155A
Authority
JP
Japan
Prior art keywords
lane mark
string
captured image
recognition device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10014233A
Other languages
English (en)
Other versions
JP3373773B2 (ja
Inventor
Tatsuya Oike
達也 大池
Katsuhiko Hibino
克彦 日比野
Katsuyuki Imanishi
勝之 今西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Original Assignee
Denso Corp
Nippon Soken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Nippon Soken Inc filed Critical Denso Corp
Priority to JP01423398A priority Critical patent/JP3373773B2/ja
Priority to DE19903187A priority patent/DE19903187B4/de
Priority to US09/237,686 priority patent/US6449383B1/en
Publication of JPH11213155A publication Critical patent/JPH11213155A/ja
Application granted granted Critical
Publication of JP3373773B2 publication Critical patent/JP3373773B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

(57)【要約】 【課題】 外部環境の変動に対して不安定となる原因の
「2値化処理」及び「点から線への拡張処理」を必要と
しないレーンマーク認識装置を提供する。 【解決手段】 ストリングモデルは、6つのストリング
構成要素A〜Fと、隣接するストリング構成要素同士を
結ぶ連結線とで構成されている。連結線には「ばね」の
特性が付与されている。したがって、各ストリング構成
要素A〜Fは、画素単位の輝度値に比例した引力の影響
によって移動すると共にばね力によってストリングモデ
ルの全体形状を保持しようとする力を受ける。したがっ
て、ストリング構成要素A〜Fは、全体形状を保持しな
がら、画素輝度値が大きい位置、即ち撮像画面中の明る
い部分に寄り付くこととなる。道路上でのレーンマーク
は白線であることが多く、道路上において相対的に明る
い領域であるため、レーンマークが存在する部分にスト
リング構成要素A〜Fが寄り付くこととなる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えば道路上など
のレーンマークを認識するレーンマーク認識装置、その
認識したレーンマークに沿って車両を走行させる車両走
行制御装置およびレーンマーク認識装置をコンピュータ
システムにて実現するための記録媒体に関する。
【0002】
【従来の技術及び発明が解決しようとする課題】従来よ
り、例えば車両の自動操縦などを実現するためには車両
の走行路を認識する必要があり、その走行路認識のた
め、車両前方を撮影した画像中より道路上に白色や黄色
などで描かれたレーンマーク(区画線)を認識する技術
が開発されている。そのレーンマーク認識技術として
は、原画像を2値化してレーンマークを認識する手法
(特開平5−289743号)や、原画像に対してエッ
ジング処理を施した後で2値化してレーンマークを認識
する手法(特開平7−239996号)や、ハフ変換を
用いた手法(特開平6−215292号)などが提案さ
れている。
【0003】しかしながら、これら従来のレーンマーク
認識手法には次に示す2つの問題点が内在する。まず第
1点は、2値化処理に伴う問題である。つまり、上述し
た特開平5−289743号や特開平7−239996
号に開示されているような原画像あるいはエッジング処
理後の画像を2値化して認識する手法では、特にコント
ラストの悪い画像の場合に、2値化処理によって有効な
レーンマークあるいはレーンマークのエッジのデータを
消去してしまう可能性があり、外部環境に対して不安定
である。そして、一度消去してしまったデータの復元は
困難であり、レーンマーク認識は困難となる。また、特
開平6−215292号に開示されているようなハフ変
換を用いる手法でも、前処理としてやはり2値化処理が
必要とされるため外部環境に対して不安定である。加え
てハフ変換は一般的に計算量が非常に大きいため、処理
時間や処理実現のためのハード規模の点などで問題があ
る。さらに、実用的なハフ変換では一般的に直線の検出
しかできない。もちろん、曲線検出可能なハフ変換もあ
るが、計算量の点から実用的・一般的でない。したがっ
て、レーンマーク認識に適用する場合には、レーンマー
クの曲線部分に対応する何らかの探索手法が必要となっ
てくる。
【0004】第2点としては、点から線への拡張処理に
伴う問題である。つまり、最終的にレーンマークの認識
を行うためには、2値化処理によって抽出されたレーン
マーク候補エッジ点を追跡して線へと拡張する必要があ
る。しかし、認識したいレーンマーク付近に別のエッジ
点が存在する場合には、容易に追跡間違いが発生してし
まう。例えばレーンマークとして道路上の白線を認識し
たい場合に、その道路上に白色の走行車両が存在する
と、その走行車両によって上述した「別のエッジ点」が
生じることが考えられ、追跡間違いの基となる。このよ
うに一度追跡間違いが生じた場合には、復旧は難しく、
適切なレーンマーク認識ができなくなってしまう。
【0005】このように、従来手法にあっては、「2値
化処理」及び「点から線への拡張処理」の2点に起因し
て、外部環境の変動に対して不安定であると言う問題が
あった。そこで本発明は、外部環境の変動に対して不安
定となる原因の「2値化処理」及び「点から線への拡張
処理」を必要としないレーンマーク認識装置、車両走行
制御装置およびレーンマーク認識装置をコンピュータシ
ステムにて実現するための記録媒体を提供することを目
的とする。
【0006】
【課題を解決するための手段及び発明の効果】本発明へ
の理解がより明確になるために、特許請求の範囲に記載
した課題解決手段を具体的に説明する前に、上述した目
的、すなわち外部環境の変動に対して不安定となる原因
の「2値化処理」及び「点から線への拡張処理」を必要
としないレーンマークの認識に係る技術思想をどのよう
な思考過程を経て創作したかについて説明する。
【0007】(1)まず、従来のレーンマーク認識手法
から削除すべき処理である「2値化処理」及び「点から
線への拡張処理」の2つの処理の役割について考えてみ
る。2値化処理は、レーンマーク候補点の抽出を行うた
めの処理であり、点から線への拡張処理は、レーンマー
ク候補点を追跡することによってレーンマーク形状を再
現するための処理である。したがって、これら2つの処
理を削除するためには、それら2つの処理の役割を包括
した認識処理が必要となる。しかし、従来はそのような
レーンマーク認識手法はなく、新規概念を導入する必要
がある。
【0008】(2)その新規概念導入に際して次の点に
着目した。つまり、従来のレーンマーク認識手法では、
「2値化処理」によって得たレーンマーク候補点を「点
から線への拡張処理」によって追跡することで認識を実
現している。それに対して、人間は、道路にレーンマー
クがプリントされているという前提の基に、線を線とし
て認識している。したがって、人間の認識処理をシミュ
レートして「線を線として認識する」手法を採用すれ
ば、「2値化処理」及び「点から線への拡張処理」を必
要とせず、同様の役割を包括するようにすることが可能
である。
【0009】(3)但し、このような線を線として認識
するためには、モデルをベースとした新規な認識処理の
手法が必要となってくる。モデルの単純なものとして
は、例えばテンプレートモデルが挙げられる。予めレー
ンマークの形状をテンプレートとして用意しておき、テ
ンプレートと撮像画像中のレーンマークの一致度合いを
調べる手法である。この手法においては、既存のテンプ
レート技術が利用可能であるが、複雑なレーンマーク形
状には対応しにくい。そして、複雑な形状にまで対応さ
せるようにするためには、膨大な数のテンプレートを準
備しておき、それらとの一致度合いを調べる必要があ
り、記憶すべきデータ量及び処理負荷が増大してしまう
ため、現実的ではない。本発明において実現したい認識
処理手法で必要なのは、その位置及び形状を自由に変え
ながら自律的にレーンマークを探索するようなストリン
グモデルである。
【0010】(4)そこで、自律的にレーンマークを探
索するストリングモデルにはどのような特性が必要であ
るのかを考察してみる。 (4a)まず、一般的な道路上でのレーンマークを想定
してみると、レーンマークは道路上において相対的に明
るい領域である。したがって、入力画面中において明る
い部分に寄り付く特性があればよい。ここで、ストリン
グモデルとして、複数のストリング構成要素と、隣接す
るストリング構成要素同士を結ぶ連結線とで構成したス
トリングモデルを想定した場合、明るい部分に寄り付く
特性はストリング構成要素に持たせればよい。つまり、
入力画面中の各画素について輝度に応じた引力を設定
し、ストリング構成要素はその引力に応じて位置を変え
るように設定するのである。こうすれば、輝度に応じた
引力が大きい位置、即ちレーンマークが存在する部分に
ストリング構成要素が寄り付くこととなる。
【0011】但し、線として認識することを基本とする
ため、上述したストリング構成要素はあくまでもストリ
ングモデルを構成する要素であることを考えると、隣接
するストリング構成要素の位置の影響を受けるようにす
ることが好ましい。つまり、単に明るい部分に寄り付く
だけの特性であると、全体として見た場合レーンマーク
ではない他の明るい部分に寄り付いてしまうことも考え
られるからである。したがって、上述した隣接するスト
リング構成要素同士を結ぶ連結線について、ストリング
モデル全体の形状を保持しようとする物理的特性を付与
することが必要である。具体的には、連結線に対して、
ばねに代表されるような弾性力によってその形状を保持
しようとする弾性体の物理的特性を持たせる。このよう
にすれば、上述したストリング構成要素に作用する画素
からの引力と弾性体からの弾性力の釣り合いによってス
トリングモデルの位置が決定される。このようにしてお
けば、認識したいレーンマーク付近にレーンマークの画
像的特徴に類似した特徴を有する画素点が存在する場合
であっても、追跡間違いが発生しにくい。つまり、従来
の場合には、例えばレーンマークとして道路上の白線を
認識する状況で道路上に白色の走行車両が存在すると、
その走行車両によって「レーンマークの画像的特徴に類
似した特徴を有する画素点」が生じることが考えられ、
追跡間違いの基となる。しかし、ストリング構成要素に
作用する2つの力、すなわち画素からの引力と弾性体か
らの弾性力の釣り合いによってストリングモデルの位置
を決定するようにすればそのような不都合を防止でき
る。つまり、隣接するストリング構成要素が適切な位置
にあった場合には、1つのストリング構成要素が不適切
な位置に移動しようとしても、弾性作用を持つ連結線か
らの弾性力によって自動的に適切な位置へ戻そうとする
ため、最終的には適切な位置に移動することとなる。
【0012】以上のようにストリングモデルを設定すれ
ば、全体として自律的にレーンマークを探索することが
可能となる。なお、上述のように輝度に応じて引力を設
定したのは、撮像画像中においてレーンマークが相対的
に明るいという前提である。しかし、例えば逆にレーン
マークが他の部分に比べて相対的に暗い場合も想定し得
る。一般の道路上においてはほとんど存在しないが、例
えば工場内において無人搬送車両を自動操縦にて走行さ
せるような場合には、白色など相対的に明るい色の床
に、黒色などの相対的に暗い色のレーンマークをプリン
トすることも考えられる。このような場合には、輝度が
小さいほど引力を大きくすればよい。
【0013】また、輝度に限らず、撮像画像中におい
て、レーンマークを他の部分と区別できるような画像的
特徴量に基づけば同様に実現可能である。例えば、上述
の無人搬送車両を走行させる場合で言えば、床の色とレ
ーンマークの色が輝度としては同じぐらいであるため、
輝度による区別が付きにくいような状況も考えられる。
この場合、例えば床が青っぽい色であり、レーンマーク
が赤っぽい色というように色によって区別可能な場合に
は、色度に応じて引力を設定すれば同様に実現できる。
なお、この場合の撮像画像はカラー画像であることを前
提としており、レーンマークの色度に近いほど引力が大
きくなるように予め設定しておくこととなる。
【0014】上述した特性が基本であるが、さらに適切
なレーンマーク認識を実現するためには、次の(4
b),(4c)に示す点も考慮するとよい。 (4b)例えば道路上でレーンマークを認識する状況を
想定してみると、その認識のための装置は車両に搭載さ
れることとなり、画像を撮影するカメラなどは道路上か
ら2m程度までの間に配置されることとなる。すると、
同じ曲率でカーブしている道路上のレーンマークを認識
している場合であっても、撮像画像の下側、つまり認識
装置の近傍においてはレーンマークの曲率が相対的に小
さく、撮像画像の上側、つまり認識装置から遠方になる
ほどレーンマークの曲率が相対的に大きくなる。
【0015】したがって、ストリングモデルの特性とし
て、上述した撮像画像中の水平方向へのみ移動するスト
リング構成要素に関して、撮像画像中の下側に行くほど
移動しにくくし、逆に上側に行くほど移動し易くするこ
とで、例えて言うならば「釣り竿のようなしなり特性」
を持つことが好ましい。このような特性を実現可能なス
トリングモデルとして次のようなものが考えられる。つ
まり、連結線の弾性率が一定であるとすれば、撮像画像
中の下側に行くほどストリング構成要素の間隔を大きく
設定すれば、上述した所望の特性を得ることができる。
もちろん、ストリング構成要素の間隔は同じにしてお
き、撮像画像中の下側に行くほど連結線である弾性体の
弾性率を大きくしても、同様の特性を得ることができ
る。
【0016】(4c)また、上記(4b)と同様に、レ
ーンマーク認識のための装置が車両に搭載され、画像を
撮影するカメラが道路上から2m程度までの間に配置さ
れている状況を想定すると、同じ幅員の道路であって
も、撮像画像の下側、つまり認識装置の近傍においては
相対的に道路幅が広くなり、撮像画像の上側、つまり認
識装置から遠方になるほど相対的に道路幅が狭くなる。
したがって、ストリングモデルの特性として、ストリン
グ構成要素が周囲の画素の特徴量(例えば輝度や色度)
に基づく引力の影響を受ける範囲を、それに対応させる
ことが好ましい。つまり、撮像画像中の下側に行くほど
引力の影響を受ける画素の範囲を広くし、逆に上側に行
くほど引力の影響を受ける画素の範囲を狭くするのであ
る。
【0017】以上(1)〜(4)において、外部環境の
変動に対する不安定要因である「2値化処理」及び「点
から線への拡張処理」を必要としないレーンマーク認識
装置に係る技術思想をどのような思考過程を経て創作し
たかについて説明した。この技術思想を発明として記載
したのが特許請求の範囲であり、それぞれ以下に述べる
ような構成および効果を有する。
【0018】本発明のレーンマーク認識装置によれば、
認識手段が、撮像手段によって撮像した車両前方の走行
路の画像に基づいて走行路上のレーンマークを認識する
のであるが、その際、認識手段は、以下に示す3つの特
性を持つストリングモデルを用い、そのストリングモデ
ルが収束した位置をレーンマークの位置として認識す
る。すなわち、第1の特性は、ストリングモデルが、複
数のストリング構成要素と、隣接するストリング構成要
素同士を結ぶ連結線とで構成されていることであり、第
2の特性は、ストリング構成要素が、撮像画像中におけ
るレーンマークの画像的特徴量に応じた引力の影響によ
って移動することであり、第3の特性は、連結線が、ス
トリングモデル全体の形状を保持しようとする弾性体の
物理的特性を持つことである。
【0019】本発明のレーンマーク認識装置が発揮する
効果への理解を容易にするため、具体的な状況を想定し
て説明する。例えば、一般的な道路上でのレーンマーク
を想定してみると、レーンマークは白線であることが多
く、道路上において相対的に明るい領域である。したが
って、レーンマークの画像的特徴量として画素単位の輝
度を設定しておき、例えばその輝度値に比例した引力の
影響によってストリング構成要素が移動する特性をスト
リングモデルに持たせておけば、ストリング構成要素は
輝度値に比例した引力の大きい位置、即ち撮像画面中の
明るい部分に寄り付くこととなる。つまり、レーンマー
クが存在する部分にストリング構成要素が寄り付くこと
となる。
【0020】また、ストリング構成要素はあくまでもス
トリングモデルを構成する要素であり、連結線で連結さ
れた隣接するストリング構成要素の位置の影響を受け
る。つまり、ストリングモデル全体の形状を保持しよう
とする物理的特性が連結線に付与されているので、スト
リング構成要素に作用する画素輝度に応じた引力と連結
線からの弾性力の釣り合いによってストリングモデルの
全体位置が決定される。このようにしておけば、認識し
たいレーンマーク付近にレーンマークの画像的特徴に類
似した特徴を有する画素点が存在する場合であっても、
追跡間違いが発生しにくい。なぜなら、明るい部分に寄
り付く特性のストリング構成要素を、他からの影響を受
けずに自由にさせておくと、全体として見た場合レーン
マークではない他の明るい部分に寄り付いてしまうこと
も考えられるが、本発明のように、ストリング構成要素
に作用する2つの力、すなわち画素からの引力と連結線
からの弾性力の釣り合いによってストリングモデルの位
置を決定するようにすればそのような不都合を防止でき
るからである。つまり、隣接するストリング構成要素が
適切な位置にあった場合には、1つのストリング構成要
素が不適切な位置に移動しようとしても、弾性作用を持
つ連結線からの弾性力によって自動的に適切な位置へ戻
そうとするため、最終的には適切な位置に移動すること
となる。
【0021】以上のような特性を持つストリングモデル
を用いて、そのストリングモデルが収束した位置に基づ
けば、自律的にレーンマークを探索することが可能とな
る。そして、従来技術において問題となっていた、外部
環境の変動に対する不安定要因である「2値化処理」及
び「点から線への拡張処理」は、本発明のレーンマーク
認識装置においては必要としない。したがって、外部環
境の変動に対して安定的である。
【0022】なお、上述のように輝度に比例して引力を
設定したのは、撮像画像中においてレーンマークが相対
的に明るいという前提である。しかし、例えば逆にレー
ンマークが他の部分に比べて相対的に暗い場合も想定し
得る。一般の道路上においてはほとんど存在しないが、
例えば工場内において無人搬送車両を自動操縦にて走行
させるような場合には、白色など相対的に明るい色の床
に、黒色などの相対的に暗い色のレーンマークをプリン
トすることも考えられる。このような場合には、輝度が
小さいほど引力を大きくすればよい。
【0023】また、輝度に限らず、撮像画像中におい
て、レーンマークを他の部分と区別できるような画像的
特徴量に基づけば同様に実現可能である。例えば、上述
の無人搬送車両を自動操縦で走行させる場合で言えば、
床の色とレーンマークの色が輝度としては同じぐらいで
あるため、輝度による区別が付きにくいような状況も考
えられる。例えば床が青っぽい色であり、レーンマーク
が赤っぽい色というように色によって区別可能な場合に
は、色度に応じて引力を設定すれば同様に実現できる。
なお、この場合の撮像手段によって撮像した撮像画像は
カラー画像であることを前提としており、レーンマーク
の色度に近いほど(つまり上述の例では赤に近いほど)
引力が大きくなるように予め設定しておくこととなる。
【0024】したがって、レーンマークの画像的特徴量
としては、画素単位の輝度であってもよいし、あるいは
画素単位の色度であってもよいし、その他の画像的特徴
量であってもよい。本発明のレーンマーク認識装置にお
ける認識手段が用いるストリングモデルに対して付与す
る特性については、上述した3点が基本であるが、さら
に適切なレーンマーク認識を実現するためには、以下に
示す点をさらに工夫してもよい。
【0025】工夫の第1点目の前提となる状況を説明す
る。例えば道路上でレーンマークを認識する状況を想定
してみると、撮像手段は車両に搭載されることとなり、
道路上から2m程度までの間に配置されることとなる。
すると、同じ曲率でカーブしている道路上のレーンマー
クを認識している場合であっても、撮像画像の下側、つ
まり認識装置の近傍においてはレーンマークの曲率が相
対的に小さく、撮像画像の上側、つまり撮像手段から遠
方になるほどレーンマークの曲率が相対的に大きくな
る。
【0026】したがって、ストリングモデルの特性を、
ストリング構成要素を撮像画像中の左右方向のみ移動可
能とし、且つ撮像画像中の下側ほどストリングモデル全
体の形状を保持しようとする力が強くなるように設定す
るのである。つまり、撮像画像中の下側ほどストリング
構成要素が移動しにくくし、逆に上側ほど移動し易くす
ることで、例えて言うならば「釣り竿のようなしなり特
性」を持つこととなる。これにより、上述した撮像手段
からの遠近に基づくレーンマークの曲率の変化に対応で
き、より適切なレーンマーク認識が実現できる。
【0027】なお、このような特性を実現可能なストリ
ングモデルとしては具体的には次のようなものが考えら
れる。例えば、連結線が持つ弾性体の物理的特性は全て
のストリング構成要素間において同じとし、一方、スト
リング構成要素間の距離は撮像画像中の下側に近いほど
長くするのである。このようにすれば、ストリング構成
要素間の距離が長いほど初期状態における連結線からの
弾性力が大きくなり、結果として、撮像画像中の下側ほ
どストリングモデル全体の形状を保持しようとする力が
強くなる。
【0028】また、ストリング構成要素間の距離は全て
のストリング構成要素間において同じ距離とし、一方、
連結線が持つ弾性体の物理的特性は撮像画像中の下側ほ
ど弾性率が大きくなるようにしてもよい。この場合も、
同様に撮像画像中の下側ほどストリングモデル全体の形
状を保持しようとする力が強くなるように設定すること
ができる。
【0029】次に、工夫の第2点目の前提となる状況を
説明する。上記同様、撮像手段が道路上から2m程度ま
での間に配置されている状況を想定すると、同じ幅員の
道路であっても、撮像画像の下側、つまり撮像手段の近
くにおいては相対的に道路幅が広くなり、撮像画像の上
側、つまり撮像手段から遠方になるほど相対的に道路幅
が狭くなる。
【0030】したがって、ストリングモデルの特性とし
て、ストリング構成要素がレーンマークの画像的特徴量
に応じた引力の影響を受ける範囲を、撮像画像中の下側
ほど広くなるように設定するのである。このようにすれ
ば、撮像画像中における道路幅に応じて適切な範囲から
引力を受け、レーンマークの認識の向上に寄与すること
となる。
【0031】ところで、本発明のレーンマーク認識装置
においては、ストリングモデルの収束した位置をレーン
マークの位置として認識するのであるが、この際、認識
手段は、所定条件が成立した場合にストリングモデルが
収束したと判断するようにすることが考えられる。その
所定条件に関していくつかの例を説明する。
【0032】例えば、レーンマークの画像的特徴量に基
づく所定の評価式を満足した場合に所定条件が成立した
と判断することが考えられる。画像的特徴量の一例であ
る輝度で説明すれば、ストリング構成要素の移動先とな
った画素の輝度がその撮像画像中においてレーンマーク
であると推定される程度の値となっているかどうかなど
を観点にして判断する。もちろん、色度についても同様
である。
【0033】あるいは、ストリング構成要素に作用する
引力に基づく所定の評価式を満足した場合に所定条件が
成立したと判断してもよい。この場合には、変位後のス
トリング構成要素に作用する画素からの引力が0近傍に
あるかどうかなどを観点にして判断する。この場合に
は、いわゆるエネルギ最小化の手法を利用すればよい。
【0034】また、ストリング構成要素に作用する力に
基づいて変位量を演算し、ストリングモデルの位置を変
更させる処理を所定回数実行した場合に所定条件が成立
したと判断してもよい。上述した評価式を用いた判断は
確実性の点では有利である。但し、処理負荷は相対的に
大きくなるので、単に処理回数に基づいて判断すれば処
理負荷は小さくて済む。
【0035】また、上述したレーンマーク認識装置を用
い、そのレーンマーク認識装置によって認識したレーン
マークに沿って車両を走行させる車両走行制御装置とし
て構成することもできる。そして、上述したように、外
部環境の変動に対する不安定要因である「2値化処理」
及び「点から線への拡張処理」を必要としないレーンマ
ーク認識装置を用いているため、その認識したレーンマ
ークに沿って車両を走行させる場合には、外部環境の変
動に対して安定的且つ適切な車両走行制御が実現でき
る。
【0036】上述の説明でも述べているが、本発明の前
提となっているレーンマークは、例えば道路上のいわゆ
る白線などの区画線に限定されず、例えば工場内におい
て無人搬送車両を自動操縦にて走行させるような場合に
は、床上にプリントした走行ガイド線のようなものも含
まれる。
【0037】なお、このようなレーンマーク認識装置に
おける認識手段をコンピュータシステムにて実現する機
能は、例えば、コンピュータシステム側で起動するプロ
グラムとして備えられる。このようなプログラムの場
合、例えば、フロッピーディスク、光磁気ディスク、C
D−ROM、DVD、ハードディスク等の記録媒体に記
録し、必要に応じてコンピュータシステムにロードして
起動することにより用いることができる。この他、RO
MやバックアップRAMを記録媒体として前記プログラ
ムを記録しておき、このROMあるいはバックアップR
AMをコンピュータシステムに組み込んで用いても良
い。
【0038】
【発明の実施の形態】図1は、上述した発明が適用され
た実施の形態としてのレーンマーク認識装置2の概略構
成を表すブロック図である。本実施形態のレーンマーク
認識装置2は、車両に搭載され、車両前方の走行路を示
すために道路上に設けられているレーンマークを認識す
るための装置であり、例えば、このように認識したレー
ンマークに沿って自動走行制御などを実行する場合など
に利用される。
【0039】本レーンマーク認識装置2は、撮像手段と
してのCCDカメラ10と、認識手段としての認識処理
部20とから構成されている。CCDカメラ10は、図
2に示すように、例えば車両内部の運転席近傍の天井な
どに取り付けられており、車両前方の風景を撮像する。
なお、この場合、例えば当該車両が道路上を走行してい
るのであれば、車両から所定距離だけ前方の道路もその
撮像した風景内に含まれるように撮像範囲が設定されて
いる。
【0040】一方、認識処理部20は、図1に示すよう
に、CCDカメラ10から出力されるアナログの画像信
号をディジタルの画像データに変換するアナログ・ディ
ジタル変換器(ADC)21と、そのADC21から画
像データに対して所定の前処理を実行する前処理ASI
C22と、その前処理ASIC22から出力される画像
データを記憶しておく画像メモリ23と、その画像メモ
リ23に記憶されている画像データに基づいて、画像デ
ータ中のレーンマークを認識する処理などを実行するC
PU24と、CPU24の実行するプログラムなどを記
憶しているROM25と、CPU24の作業領域として
機能するRAM26と、CPU24から転送された例え
ばレーンマークの認識結果にかかるデータなどを外部へ
出力するための通信IC27などを備えている。
【0041】なお、前処理ASIC22において実行す
る前処理としては、例えばエッジを強調するフィルタ処
理などが挙げられる。上述したように、CPU24は、
画像メモリ23に記憶されている画像データに基づいて
画像データ中のレーンマークを認識する処理を実行する
のであるが、この認識処理に際してはストリングモデル
を用い、画像中においてそのストリングモデルが収束し
た位置をレーンマークの位置として認識する。本実施形
態において用いるストリングモデルについて図3を参照
して説明する。
【0042】まず、ストリングモデルの基本特性を図3
(a)を参照して説明する。ストリングモデルは、複数
のストリング構成要素と、隣接するストリング構成要素
同士を結ぶ連結線とで構成されている。本実施形態で
は、6つのストリング構成要素とそれらの間の5つの連
結線で構成されている。
【0043】そして、各ストリング構成要素は、撮像画
像中におけるレーンマークの画像的特徴量に応じた引力
の影響によって移動する。本実施形態では、レーンマー
クの画像的特徴量として画素単位の輝度を採用してお
り、その輝度値に比例した引力の影響によってストリン
グ構成要素が移動する特性を備えている。図3(a)に
おいては輝度値が大きいほど画素を示す白丸(○)が大
きくなるように描いてある。したがって、ストリング構
成要素は、画素の輝度値に比例した引力の大きい位置、
即ち撮像画面中の明るい部分に寄り付くこととなる。例
えば、一般的な道路上でのレーンマークは白線であるこ
とが多く、道路上において相対的に明るい領域である。
したがって、撮像画面中の明るい部分に寄り付くことと
なれば、レーンマークが存在する部分にストリング構成
要素が寄り付くこととなる。
【0044】また、ストリング構成要素はあくまでもス
トリングモデルを構成する要素であり、連結線で連結さ
れた隣接するストリング構成要素の位置の影響を受け
る。本実施形態においては、連結線が、変形度合いに応
じた反発力を発生する弾性体の物理的特性を持つことに
よって、ストリングモデル全体の形状を保持しようとす
る特性を備えている。なお、弾性体としての一例である
「ばね」を例にとって以下の説明を進めることとする。
【0045】図3(a)に示すように、画素の引力によ
ってその画素に近づく方向へ移動すると、その移動によ
って、隣接するストリング構成要素との間の連結線が伸
張される。「ばね」は自然長から伸張されるとその伸張
された長さに応じた復元力が発生するため、結果とし
て、ストリング構成要素が画素から受ける引力に対する
反発力として作用することとなる。このようにストリン
グモデル全体の形状を保持しようとする物理的特性が連
結線に付与されているので、ストリング構成要素に作用
する画素単位の輝度に応じた引力と連結線からの「ばね
力」の釣り合いによってストリングモデルの全体位置が
決定される。
【0046】このようにしておけば、認識したいレーン
マーク付近に別のエッジ点が存在する場合であっても、
追跡間違いが発生しにくい。なぜなら、明るい部分に寄
り付く特性のストリング構成要素を、他からの影響を受
けずに自由にさせておくと、全体として見た場合レーン
マークではない他の明るい部分に寄り付いてしまうこと
も考えられるが、ストリング構成要素に作用する2つの
力、すなわち画素からの引力と連結線からの弾性力の釣
り合いによってストリングモデルの位置を決定するよう
にすれば、そのような不都合を防止できるからである。
つまり、隣接するストリング構成要素が適切な位置にあ
った場合には、1つのストリング構成要素が不適切な位
置に移動しようとしても、弾性作用を持つ連結線からの
ばね力によって自動的に適切な位置へ戻そうとするた
め、最終的には適切な位置に移動することとなる。
【0047】以上のような基本特性を持つストリングモ
デルを用いて、そのストリングモデルが収束した位置に
基づけば、自律的にレーンマークを探索することが可能
となるのであるが、さらに適切なレーンマーク認識を実
現するため、本実施形態のストリングモデルは、以下に
示す2点をさらに工夫してある。
【0048】工夫の第1点目の前提となる状況を説明す
る。本実施形態の場合には、上述したようにCCDカメ
ラ10が車両内部の天井に配置されている。したがっ
て、道路上から2m程度の高さまでの間に配置されるこ
ととなる。すると、図5(a)に例示するように、同じ
曲率でカーブしている道路上のレーンマークを認識して
いる場合であっても、撮像画像の下側、つまりCCDカ
メラ10の近傍(車両近傍とも言える)においてはレー
ンマークの曲率が相対的に小さく、撮像画像の上側、つ
まりCCDカメラ10から遠方になるほどレーンマーク
の曲率が相対的に大きくなる。
【0049】したがって、ストリングモデルの特性を、
ストリング構成要素を撮像画像中の左右方向のみ移動可
能とし、且つ撮像画像中の下側ほどストリングモデル全
体の形状を保持しようとする力が強くなるように設定し
ている。つまり、撮像画像中の下側ほどストリング構成
要素が移動しにくくし、逆に上側ほど移動し易くするこ
とで、例えて言うならば「釣り竿のようなしなり特性」
を持たせた。これにより、上述したCCDカメラ10か
らの遠近に基づくレーンマークの曲率の変化に対応で
き、より適切なレーンマーク認識が実現できる。
【0050】本実施形態では、このような特性を持たせ
るために、連結線が持つ弾性体の物理的特性は全てのス
トリング構成要素間において同じとし、一方、ストリン
グ構成要素間の距離は撮像画像中の下側に近いほど長く
した。図3(b)を参照して説明する。図3(b)にお
いては、6つのストリング構成要素を、撮像画像の上側
に近い順番にA,B,C,D,E,Fと表している。こ
の場合には、ストリング構成要素A−B間が最も短く、
ストリング構成要素E−F間が最も長くなっている。そ
して、連結線としての「ばね」は、同じ長さ、同じばね
定数にされているため、ストリング構成要素間の距離が
長くなるほど、初期状態における連結線からのばね力が
大きくなり、結果として、撮像画像中の下側ほどストリ
ングモデル全体の形状を保持しようとする力が強くな
る。
【0051】なお、撮像画像中の下側ほどストリングモ
デル全体の形状を保持しようとする力が強くなるように
設定する場合の別の実施形態としては、次のようなもの
も考えられる。つまり、ストリング構成要素間の距離は
全てのストリング構成要素間において同じ距離とし、一
方、連結線が持つ弾性体の物理的特性は撮像画像中の下
側ほどばね定数が大きくなるようにするのである。
【0052】次に、工夫の第2点目の前提となる状況を
説明する。上記第1点目の場合と同様、CCDカメラ1
0が道路上から2m程度の高さまでの間に配置されるこ
ととなると、図5(a)に例示するように、同じ幅員の
道路であっても、撮像画像の下側、つまりCCDカメラ
10の近傍(車両近傍とも言える)においては道路幅が
大きくなり、撮像画像の上側、つまりCCDカメラ10
から遠方になるほど道路幅が狭くなる。
【0053】したがって、ストリングモデルの特性とし
て、ストリング構成要素が画素単位の輝度に応じた引力
の影響を受ける範囲を、撮像画像中の下側ほど広くなる
ように設定している。図3(c)を参照して説明すれ
ば、撮像画像の上側に最も近いストリング構成要素A
は、画素輝度に応じた引力を受ける影響範囲が最も狭
く、撮像画像の下側に最も近いストリング構成要素F
は、影響範囲が最も広くなっている。このようにすれ
ば、撮像画像中における道路幅に応じて適切な範囲から
引力を受け、レーンマークの認識の向上に寄与すること
となる。
【0054】このようなストリングモデルを用いてレー
ンマークを認識する。したがって、次に、ROM25に
記憶されてプログラムに基づいてCPU24が実行され
るレーンマーク認識処理について、図4のフローチャー
トに基づいて説明する。なお、図示しないイグニッショ
ンスイッチがオン操作され、且つレーンマーク認識を実
行させる条件が成立していることが図示しない他の制御
装置によって判断された場合に、CPU24に電源が供
給され、図4に示した処理が所定の制御周期T毎に行わ
れる。
【0055】処理が開始されると、まず、画像メモリ2
3(図1参照)から1画面分の画像データを入力し、R
AM26の所定の作業領域に展開する(S110)。次
に、図3を参照して説明したストリングモデルのストリ
ング構成要素A〜Fの初期位置を設定する(S12
0)。上述したように、ストリング構成要素A〜Fは撮
像画像中の左右方向のみ移動可能であり、撮像画像中の
上側から下側へ向かってA→B→C→D→E→Fの順番
に配置される。これらの前提は変わらないが、最終的に
はストリングモデルをレーンマークに収束させるため、
レーンマークが存在する位置を考慮して初期位置を設定
しておく方が好ましい。車両に取り付けたCCDカメラ
10にて撮像した画面中においてレーンマークが存在す
る領域は自ずと決まるからである。つまり、図5(a)
に例示するように、左側通行の車両から見た場合、道路
の左端のレーンマークは撮像画像の左下付近から画像中
央付近に延びることとなる。道路が直線であればそのま
まであり、左右にカーブしていれば、その画像中央付近
から左右にカーブすることとなる。したがって、道路左
端のレーンマークを認識するためのストリングモデルに
ついては、図5(a)に示すように、撮像画像の左端付
近でやや下端寄りに位置させておくことが好ましいと言
える。端寄りに配置するのは、撮像画像撮像画像の上端
付近にはレーンマークは存在しないことがほとんどであ
るからである。なお、ストリングモデル全体として撮像
画像の上下方向に直線的に配置してもよいが、上述した
撮像画像中でのレーンマークの位置に応じて、例えばス
トリング構成要素A側は画像中央寄り、ストリング構成
要素F側は画像左端寄りとして画像中にて斜めに配置し
てもよい。このストリングモデルの全体配置に応じてス
トリング構成要素A〜Fの初期位置も設定する。
【0056】なお、本実施形態においては、日本国内の
ように、道路上の左側の走行路を走行する車両を前提と
しているため、ストリングモデルの初期位置を画像全体
から見れば左寄りに配置しているが、右側の走行路を走
行する車両を前提とするのであれば、当然ながらストリ
ングモデルの初期位置を画像全体から見れば右寄りに配
置すればよい。また、例えば工場内において無人搬送車
両を自動操縦にて走行させるような場合には、レーンマ
ーク上を走行することが考えられる。つまり、画像の中
央付近にレーンマークが存在することとなるので、この
場合には、当然ながらストリングモデルの初期位置を画
像全体の中央付近に設定すればよい。
【0057】図4のフローチャートの説明に戻り、次
に、ストリング構成要素に作用する力を計算する(S1
30)。この計算は、引力Fと位置エネルギーEの2つ
の力を計算するのであるが、それぞれ以下のような式に
て計算する。 F=Σ(画素輝度値/距離(方向性有)) E=Σ(画素輝度値/距離(方向性無)) これら引力Fも位置エネルギーEもストリング構成要素
A〜F毎に計算するのであるが、図3(c)にて説明し
たように、ストリング構成要素A〜F毎に引力Fの作用
範囲が異なる。つまり、ストリング構成要素Aでは狭
く、ストリング構成要素Fでは広い。したがって、各ス
トリング構成要素A〜Fに応じた作用範囲に存在する各
画素について、輝度値に比例し、ストリング構成要素A
〜Fからの距離に反比例する引力を計算し、それらの総
和を求める。図5を参照してその具体的な計算を示す。
【0058】図5(a)に示すようなストリングモデル
の内、ストリング構成要素C,D,E部分について拡大
したものを図5(b)に示し、ストリング構成要素Dを
例に取って説明する。この場合、ストリング構成要素D
を中心として左右4つずつの画素が作用範囲であり、距
離については右方向をプラス、左方向をマイナスに設定
してある。なお、図5(b)中では、1マスが1画素で
あり、マス内に輝度値を示した。その輝度値は、ストリ
ング構成要素Dを中心して右方向へ順番に124,1
3,23,31であり、ストリング構成要素Dを中心し
て左方向へ順番に35,21,11,13である。この
場合の引力Fは、次のようになる。 F=Σ(画素輝度値/距離(方向性有))=[13/(-4)]+
[11/(-3)]+[21/(-2)]+[35/(-1)]+[124/1]+[13/2]+[23/
3]+[31/4] また、この場合の位置エネルギーEは、距離の方向性が
無いため、距離の絶対値を用いて次のようになる。 E=Σ(画素輝度値/距離(方向性無))=[13/4]+[11
/3]+[21/2]+[35/1]+[124/1]+[13/2]+[23/3]+[31/4] 次に、S130にて計算された各ストリング構成要素A
〜Fについての引力Fと位置エネルギーEを用いて、や
はり各ストリング構成要素A〜Fについて、変位dXを
計算する(S140)。この計算は以下のような式を用
いる。
【0059】dX=F/(K・(k・E)) なお、式中、Kはばね定数であり、kは変位抑制係数で
ある。なお、本実施形態のストリングモデルでは各スト
リング構成要素A〜F間の連結線には同じばね定数のば
ねを用いているため、全てのストリング構成要素A〜F
についての変位計算に同じばね定数Kを用いることがで
きる。
【0060】また、変位抑制係数kは、引力Fによって
ストリング構成要素が移動する際、位置エネルギーEの
大きさに応じて移動しすぎたり(オーバーシュート)、
振動したり(ハンチング)するのを抑制するための係数
である。次に、S140にて計算された各ストリング構
成要素A〜Fの変位dXに基づいて、各ストリング構成
要素A〜Fを移動させ、ストリングモデル全体の位置の
変更を行う(S150)。
【0061】次に、所定の評価式を満たすかどうかを判
断し(S160)、評価式を満たしていない場合には
(S160:NO)、S130へ戻って再度引力F及び
位置エネルギーEを計算し、S140にて変位dXを計
算し、S150にてストリングモデルの位置を変更する
処理を実行する。そして、評価式を満たしていれば(S
160:YES)、S170へ移行する。
【0062】このS160での判断は、ストリングモデ
ルの移動が収束したかどうかを判断するためのものであ
り、評価式としては種々考えられる。例えば、ストリン
グ構成要素A〜Fに作用する引力Fに基づく所定の評価
式を満足した場合に所定条件が成立したと判断してもよ
い。この場合には、変位後のストリング構成要素A〜F
に作用する画素からの引力Fが0近傍にあるかどうかな
どを観点にして判断する。この場合には、いわゆるエネ
ルギ最小化の手法を利用すればよい。
【0063】また、レーンマークの画像的特徴量に基づ
く所定の評価式を採用してもよい。本実施形態では、引
力Fなどの計算に画像的特徴量の一例である輝度を用い
ているので、ストリング構成要素の移動先となった画素
の輝度がその撮像画像中においてレーンマークであると
推定される程度の値となっているかどうかなどを観点に
して判断してもよい。例えば、図5(b)の具体例で説
明すれば、レーンマーク上の画素の輝度値は124であ
るが、それ以外の部分は最大でも35である。したがっ
て、例えば輝度値が100を超えたらほぼレーンマーク
上にあることが推定されるので、そのような閾値に基づ
く評価式であってもよい。
【0064】なお、S160の判断において、「評価式
を満たすかどうか」ではなく、ストリング構成要素A〜
Fに作用する力(引力F及び位置エネルギーE)に基づ
いて変位dXを演算し、ストリングモデルの位置を変更
させる処理(S130〜S150)を所定回数実行した
かどうかを判断するようにしてもよい。上述した評価式
を用いた判断は確実性の点では有利である。但し、処理
負荷は相対的に大きくなるので、単に処理回数に基づい
て判断すれば処理負荷は小さくて済む。
【0065】S160にて肯定判断された場合には、新
しい画像を取り込むかどうかを判断し(S170)、取
り込む場合には(S170:YES)、S110へ戻
り、一方、取り込まない場合には(S170:NO)、
本処理ルーチンを終了する。以上説明したように、本実
施形態のレーンマーク認識装置2によれば、上述した特
性を備えたストリングモデルを用い、撮像画像中におい
てそのストリングモデルが収束した位置をレーンマーク
の位置として認識するため、従来技術において問題とな
っていた、外部環境の変動に対する不安定要因である
「2値化処理」及び「点から線への拡張処理」を必要と
しない。したがって、外部環境の変動に対して安定的で
ある。
【0066】また、本実施形態のストリングモデルは、
ストリング構成要素を撮像画像中の左右方向のみ移動可
能とし、且つ撮像画像中の下側ほどストリングモデル全
体の形状を保持しようとする力が強くなるように設定し
てあるため、撮像画像中の下側ほどストリング構成要素
が移動しにくくし、逆に上側ほど移動し易くすること
で、例えて言うならば「釣り竿のようなしなり特性」を
持つ。これにより、上述したCCDカメラ10からの遠
近に基づくレーンマークの曲率の変化に対応でき、より
適切なレーンマーク認識が実現できる。
【0067】また、ストリング構成要素が画素単位の輝
度に応じた引力の影響を受ける範囲を、撮像画像中の下
側ほど広くなるように設定してあるため、撮像画像中に
おいて下側ほど広く上側ほど狭いという性質を持つ道路
幅に応じて適切な範囲から引力を受け、レーンマークの
認識の向上に寄与することとなる。
【0068】なお、上述したように、外部環境の変動に
対する不安定要因である「2値化処理」及び「点から線
への拡張処理」を必要としないレーンマーク認識装置2
であるため、本実施形態のレーンマーク認識装置2によ
って認識したレーンマークに沿って車両を走行させる車
両走行制御装置を想定した場合には、外部環境の変動に
対して安定的且つ適切な車両走行制御が実現できる。
【0069】[その他]上記実施形態では、道路上を走
行する車両を前提としたレーンマーク認識装置2として
説明したが、例えば工場内において無人搬送車両を自動
操縦にて走行させるような場合にも適用できる。この場
合のレーンマークは、例えば工場内の床上にプリントし
た走行ガイド線のようなものである。そして、この場合
には、床が暗い色でレーンマークが明るい色とは限らな
い。つまり、上記実施形態において画素輝度に比例して
引力Fを設定したのは、撮像画像中においてレーンマー
クが相対的に明るいという前提であった。しかし、上述
の工場内において無人搬送車両を自動操縦にて走行させ
るような場合などを想定すると、逆にレーンマークが他
の部分に比べて相対的に暗い場合も想定し得る。例え
ば、白色など相対的に明るい色の床に、黒色などの相対
的に暗い色のレーンマークをプリントすることも考えら
れる。このような場合には、輝度値に反比例した引力F
を計算すれば対応できる。
【0070】また、輝度に限らず、撮像画像中におい
て、レーンマークを他の部分と区別できるような画像的
特徴量に基づけば同様に実現可能である。例えば、上述
の無人搬送車両を自動操縦で走行させる場合で言えば、
床の色とレーンマークの色が輝度としては同じぐらいで
あるため、輝度による区別が付きにくいような状況も考
えられる。例えば床が青っぽい色であり、レーンマーク
が赤っぽい色というように色によって区別可能な場合に
は、色度に応じて引力を設定すれば同様に実現できる。
なお、この場合の撮像画像はカラー画像であることを前
提としており、レーンマークの色度に近いほど(つまり
上述の例では赤に近いほど)引力が大きくなるように予
め設定しておくこととなる。
【0071】したがって、レーンマークの画像的特徴量
としては、画素単位の輝度であってもよいし、あるいは
画素単位の色度であってもよいし、その他の画像的特徴
量であってもよい。また、上記実施形態では、図5に示
すように、左端のレーンマークを認識するために1つの
ストリングモデルだけを用いていたが、例えば右側のレ
ーンマークも認識するためにさらにストリングモデルを
追加してもよい。
【0072】また、上記実施形態ではCPU24(図1
参照)が図4のフローチャートに示したS130での引
力Fや位置エネルギーEの計算を実行しているが、例え
ばこの計算を実行するASICを備え、そのASICに
代替実行されてもよい。
【図面の簡単な説明】
【図1】 実施の形態としてのレーンマーク認識装置の
概略構成を表すブロック図である。
【図2】 実施の形態としてのレーンマーク認識装置に
おけるCCDカメラの配置などを示す概略説明図であ
る。
【図3】 実施の形態としてのレーンマーク認識装置が
レーンマーク認識に用いるストリングモデルの概略説明
図である。
【図4】 実施の形態におけるレーンマーク認識装置が
行うレーンマーク認識処理のフローチャートである。
【図5】 実施の形態におけるレーンマーク認識の説明
図である。
【符号の説明】
2…レーンマーク認識装置 10…CCDカメラ 20…認識処理部 21…アナログ・ディジタル変換器(ADC) 22…前処理ASIC 23…画像メモリ 24…CPU 25…ROM 26…RAM 27…通信IC A〜F…ストリング構成要素
───────────────────────────────────────────────────── フロントページの続き (72)発明者 今西 勝之 愛知県西尾市下羽角町岩谷14番地 株式会 社日本自動車部品総合研究所内

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】走行路上を走行して移動する車両に搭載さ
    れ、車両前方の走行路を撮像する撮像手段と、 その撮像手段によって撮像した画像に基づいて前記走行
    路上のレーンマークを認識する認識手段と、 を備えるレーンマーク認識装置であって、 前記認識手段が、以下に示す特性を持つストリングモデ
    ルを用い、そのストリングモデルが収束した位置を前記
    レーンマークの位置として認識することを特徴とするレ
    ーンマーク認識装置。 (1)前記ストリングモデルは、複数のストリング構成
    要素と、隣接する前記ストリング構成要素同士を結ぶ連
    結線とで構成されている。 (2)前記ストリング構成要素は、前記撮像画像中にお
    けるレーンマークの画像的特徴量に応じた引力の影響に
    よって移動する。 (3)前記連結線は、変形度合いに応じた反発力を発生
    する弾性体の物理的特性を持つことによって、ストリン
    グモデル全体の形状を保持しようとする。
  2. 【請求項2】前記レーンマークの画像的特徴量は画素単
    位の輝度であることを特徴とする請求項1記載のレーン
    マーク認識装置。
  3. 【請求項3】前記レーンマークの画像的特徴量は画素単
    位の色度であることを特徴とする請求項1記載のレーン
    マーク認識装置。
  4. 【請求項4】前記ストリング構成要素は前記撮像画像中
    の左右方向のみ移動可能とされ、且つ前記ストリングモ
    デル全体の形状を保持しようとする力が前記撮像画像中
    の下側ほど強くなるように設定された前記ストリングモ
    デルを用いることを特徴とする請求項1〜3のいずれか
    記載のレーンマーク認識装置。
  5. 【請求項5】前記連結線が持つ弾性体の物理的特性は全
    てのストリング構成要素間において同じであり、一方、
    前記ストリング構成要素間の距離は前記撮像画像中の下
    側ほど長くされることによって、前記撮像画像中の下側
    ほど前記ストリングモデル全体の形状を保持しようとす
    る力が強くなるように設定されていることを特徴とする
    請求項4記載のレーンマーク認識装置。
  6. 【請求項6】前記ストリング構成要素間の距離は全ての
    ストリング構成要素間において同じ距離であり、一方、
    前記連結線は前記撮像画像中の下側ほど弾性率が大きく
    されることによって、前記撮像画像中の下側ほど前記ス
    トリングモデル全体の形状を保持しようとする力が強く
    なるように設定されていることを特徴とする請求項4記
    載のレーンマーク認識装置。
  7. 【請求項7】前記ストリング構成要素が前記レーンマー
    クの画像的特徴量に応じた引力の影響を受ける範囲は、
    前記撮像画像中の下側ほど広くなるように設定された前
    記ストリングモデルを用いることを特徴とする請求項1
    〜6のいずれか記載のレーンマーク認識装置。
  8. 【請求項8】前記認識手段は、所定条件が成立した場合
    にストリングモデルが収束したと判断することを特徴と
    する請求項1〜7のいずれか記載のレーンマーク認識装
    置。
  9. 【請求項9】前記レーンマークの画像的特徴量に基づく
    所定の評価式を満足した場合に前記所定条件が成立した
    と判断することを特徴とする請求項8記載のレーンマー
    ク認識装置。
  10. 【請求項10】前記ストリング構成要素に作用する引力
    に基づく所定の評価式を満足した場合に前記所定条件が
    成立したと判断することを特徴とする請求項8記載のレ
    ーンマーク認識装置。
  11. 【請求項11】前記ストリング構成要素に作用する力に
    基づいて変位量を演算し、前記ストリングモデルの位置
    を変更させる処理を所定回数実行した場合に前記所定条
    件が成立したと判断することを特徴とする請求項8記載
    のレーンマーク認識装置。
  12. 【請求項12】請求項1〜11のいずれか記載のレーン
    マーク認識装置と、 そのレーンマーク認識装置によって認識したレーンマー
    クに沿って前記車両を走行させる車両走行制御装置。
  13. 【請求項13】請求項1〜11のいずれか記載のレーン
    マーク認識装置における認識手段としてコンピュータシ
    ステムを機能させるためのプログラムを記録したコンピ
    ュータ読取可能な記録媒体。
JP01423398A 1998-01-27 1998-01-27 レーンマーク認識装置、車両走行制御装置および記録媒体 Expired - Fee Related JP3373773B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP01423398A JP3373773B2 (ja) 1998-01-27 1998-01-27 レーンマーク認識装置、車両走行制御装置および記録媒体
DE19903187A DE19903187B4 (de) 1998-01-27 1999-01-27 Fahrspurmarkierungserkennungssystem und Fahrzeugreisekontrollsystem zur Verwendung desselben
US09/237,686 US6449383B1 (en) 1998-01-27 1999-01-27 Lane mark recognition system and vehicle traveling control system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01423398A JP3373773B2 (ja) 1998-01-27 1998-01-27 レーンマーク認識装置、車両走行制御装置および記録媒体

Publications (2)

Publication Number Publication Date
JPH11213155A true JPH11213155A (ja) 1999-08-06
JP3373773B2 JP3373773B2 (ja) 2003-02-04

Family

ID=11855368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01423398A Expired - Fee Related JP3373773B2 (ja) 1998-01-27 1998-01-27 レーンマーク認識装置、車両走行制御装置および記録媒体

Country Status (3)

Country Link
US (1) US6449383B1 (ja)
JP (1) JP3373773B2 (ja)
DE (1) DE19903187B4 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003093857A3 (en) * 2002-05-03 2004-01-08 Donnelly Corp Object detection system for vehicle
EP1686537A2 (en) 2005-01-28 2006-08-02 Aisin Aw Co., Ltd. Image recognition apparatus and image recognition method
WO2007000911A1 (ja) * 2005-06-27 2007-01-04 Honda Motor Co., Ltd. 車両及び車線認識装置
US7724921B2 (en) 2002-09-27 2010-05-25 Mitsubishi Denki Kabushiki Kaisha Vehicle-onboard driving lane recognizing apparatus

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3352655B2 (ja) * 1999-09-22 2002-12-03 富士重工業株式会社 車線認識装置
JP3780848B2 (ja) * 2000-12-27 2006-05-31 日産自動車株式会社 車両の走行路認識装置
DE50304478D1 (de) * 2002-04-30 2006-09-14 Bosch Gmbh Robert Verfahren und vorrichtung zur fahrerinformation bzw. zur reaktion bei verlassen der fahrspur
GB2394702A (en) * 2002-10-30 2004-05-05 Trw Ltd Video enhanced stability control in road vehicles
DE10253510A1 (de) * 2002-11-16 2004-05-27 Robert Bosch Gmbh Vorrichtung und Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug
US7510038B2 (en) * 2003-06-11 2009-03-31 Delphi Technologies, Inc. Steering system with lane keeping integration
JP3936683B2 (ja) * 2003-08-04 2007-06-27 株式会社デンソー 道路位置検出装置及びプログラム
JP3864945B2 (ja) * 2003-09-24 2007-01-10 アイシン精機株式会社 路面走行レーン検出装置
JP3956926B2 (ja) * 2003-09-24 2007-08-08 アイシン精機株式会社 路面走行レーン検出装置
US20050119549A1 (en) * 2003-12-01 2005-06-02 Anastassios Markas Embedded metal-programmable image processing array for digital still camera and camrecorder products
JP4162618B2 (ja) * 2004-03-12 2008-10-08 株式会社豊田中央研究所 車線境界判定装置
JP4390631B2 (ja) * 2004-06-02 2009-12-24 トヨタ自動車株式会社 境界線検出装置
JP4703136B2 (ja) * 2004-06-02 2011-06-15 トヨタ自動車株式会社 線図形化処理装置
DE102004040143A1 (de) * 2004-08-19 2006-02-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerinformation
US8120716B2 (en) * 2005-06-16 2012-02-21 Audiovox Corporation Vehicle entertainment system including monitor for rear view enhancement
US7388475B2 (en) * 2006-01-19 2008-06-17 Gm Global Technology Operations, Inc. Lane departure warning and avoidance system with warning modification criteria
JP4462333B2 (ja) * 2007-11-13 2010-05-12 株式会社デンソー 走行支援装置
JP4937933B2 (ja) * 2008-01-18 2012-05-23 富士重工業株式会社 車外監視装置
JP5083658B2 (ja) * 2008-03-26 2012-11-28 本田技研工業株式会社 車両用車線認識装置、車両、及び車両用車線認識プログラム
JP5188452B2 (ja) * 2009-05-22 2013-04-24 富士重工業株式会社 道路形状認識装置
JP5113881B2 (ja) * 2010-06-03 2013-01-09 株式会社デンソー 車両周辺監視装置
JP6102213B2 (ja) * 2012-11-22 2017-03-29 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN103646241B (zh) * 2013-12-30 2017-01-18 中国科学院自动化研究所 一种基于嵌入式系统的实时出租车识别方法
CN104361350B (zh) * 2014-10-28 2017-12-12 奇瑞汽车股份有限公司 一种交通标识识别系统
JP6233345B2 (ja) * 2015-04-17 2017-11-22 トヨタ自動車株式会社 路面勾配検出装置
JP6698117B2 (ja) * 2018-04-02 2020-05-27 本田技研工業株式会社 車両制御装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63182554A (ja) * 1987-01-23 1988-07-27 Fuji Photo Film Co Ltd 表面検査装置
US4909073A (en) * 1988-10-28 1990-03-20 Kabushiki Kaisha Komatsu Seisakusho Apparatus for measuring a resistance against slippage on road surface
JP2962799B2 (ja) 1990-09-28 1999-10-12 マツダ株式会社 移動車の走行路端検出装置
JP2833248B2 (ja) * 1991-03-28 1998-12-09 トヨタ自動車株式会社 ライン検出装置
JPH0546242A (ja) 1991-08-09 1993-02-26 Toshiba Corp 白線検出装置
US5351044A (en) * 1992-08-12 1994-09-27 Rockwell International Corporation Vehicle lane position detection system
JP3146427B2 (ja) * 1993-01-19 2001-03-19 アイシン精機株式会社 車両前方の物体検出方法
JPH07239996A (ja) * 1994-02-28 1995-09-12 Toyota Motor Corp 走路認識装置
DE69635980T2 (de) * 1995-01-17 2007-01-25 Sarnoff Corp. Verfahren und vorrichtung zur detektierung von objektbewegung in einer bilderfolge
US5642093A (en) * 1995-01-27 1997-06-24 Fuji Jukogyo Kabushiki Kaisha Warning system for vehicle
US5826677A (en) * 1995-04-18 1998-10-27 Koyo Seiko Co., Ltd. Vehicle steering device
EP0740163B1 (en) * 1995-04-25 2005-12-14 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus for detecting a local position of an automobile on a road
WO1996034363A1 (fr) * 1995-04-26 1996-10-31 Hitachi, Ltd. Processeur d'images pour vehicule
JP3574235B2 (ja) * 1995-08-31 2004-10-06 本田技研工業株式会社 車両の操舵力補正装置
JPH0973545A (ja) 1995-09-07 1997-03-18 Fujitsu Ten Ltd 白線認識装置
US6053270A (en) * 1995-11-02 2000-04-25 Honda Giken Kogyo Kabushiki Kaisha Steering angle correcting system in vehicle
US5708427A (en) * 1996-04-18 1998-01-13 Bush; E. William Vehicle in-lane positional indication/control by phase detection of RF signals induced in completely-passive resonant-loop circuits buried along a road lane

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003093857A3 (en) * 2002-05-03 2004-01-08 Donnelly Corp Object detection system for vehicle
US7724921B2 (en) 2002-09-27 2010-05-25 Mitsubishi Denki Kabushiki Kaisha Vehicle-onboard driving lane recognizing apparatus
EP1686537A2 (en) 2005-01-28 2006-08-02 Aisin Aw Co., Ltd. Image recognition apparatus and image recognition method
US7668341B2 (en) 2005-01-28 2010-02-23 Aisin Aw Co., Ltd. Image recognition apparatus and image recognition method
WO2007000911A1 (ja) * 2005-06-27 2007-01-04 Honda Motor Co., Ltd. 車両及び車線認識装置
US8144926B2 (en) 2005-06-27 2012-03-27 Honda Motor Co., Ltd Vehicle and lane recognition device

Also Published As

Publication number Publication date
JP3373773B2 (ja) 2003-02-04
DE19903187A1 (de) 1999-07-29
US6449383B1 (en) 2002-09-10
DE19903187B4 (de) 2007-01-25

Similar Documents

Publication Publication Date Title
JPH11213155A (ja) レーンマーク認識装置、車両走行制御装置および記録媒体
JP3931891B2 (ja) 車載用画像処理装置
EP1193661B1 (en) Lane recognition apparatus for vehicle
US7756299B2 (en) Face region estimating device, face region estimating method, and face region estimating program
JP4157620B2 (ja) 移動物体検出装置及びその方法
EP1887522B1 (en) Vehicle and road sign recognition device
WO2010140578A1 (ja) 画像処理装置、画像処理方法、及び画像処理用プログラム
CN110956069B (zh) 一种行人3d位置的检测方法及装置、车载终端
JP2006031365A (ja) 車線認識画像処理装置
US20150367781A1 (en) Lane boundary estimation device and lane boundary estimation method
US6925206B2 (en) White line detection apparatus and white line detection method
CN111489285A (zh) 利用循环gan将真实图像变换成虚拟图像的方法及装置
CN112036210A (zh) 一种检测障碍物的方法、装置、存储介质和移动机器人
JP2007179386A (ja) 白線認識方法及び白線認識装置
CN111508272B (zh) 提供基于照相机的鲁棒物体距离预测的方法及装置
CN110832495A (zh) 波浪识别方法、装置、计算机可读存储介质和无人飞行器
WO2018138782A1 (ja) 情報処理装置、特徴点抽出プログラムおよび特徴点抽出方法
JP3700625B2 (ja) 道路白線認識装置
JP7068017B2 (ja) 車両の走行路認識装置及び走行制御装置
JP2829934B2 (ja) 移動車の環境認識装置
JP2002175534A (ja) 道路の白線検出方法
US11069049B2 (en) Division line detection device and division line detection method
US11801604B2 (en) Robot of estimating direction based on vanishing point of low luminance image and method estimating thereof
KR102242744B1 (ko) 이동 로봇과 이동 로봇의 엘리베이터 인식 방법
US10853947B2 (en) Device, method, and program for detecting boundary lines included in captured images

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20021112

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091122

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101122

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees