JPH11175702A - 車両用ライン検出装置及び路上ライン検出方法並びにプログラムを記録した媒体 - Google Patents

車両用ライン検出装置及び路上ライン検出方法並びにプログラムを記録した媒体

Info

Publication number
JPH11175702A
JPH11175702A JP9345319A JP34531997A JPH11175702A JP H11175702 A JPH11175702 A JP H11175702A JP 9345319 A JP9345319 A JP 9345319A JP 34531997 A JP34531997 A JP 34531997A JP H11175702 A JPH11175702 A JP H11175702A
Authority
JP
Japan
Prior art keywords
image
road
line
luminance
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9345319A
Other languages
English (en)
Other versions
JP3341664B2 (ja
Inventor
Koji Taguchi
康治 田口
Michimasa Ito
道昌 井東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP34531997A priority Critical patent/JP3341664B2/ja
Publication of JPH11175702A publication Critical patent/JPH11175702A/ja
Application granted granted Critical
Publication of JP3341664B2 publication Critical patent/JP3341664B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 車両用ライン検出装置において、走行環境あ
るいは撮影環境によらず取得した道路画像から白線等の
ラインを検出する。 【解決手段】 光学系1により露出量の異なる2つの画
像を単一のCCDセンサ24の異なる領域に投影し、画
像処理装置28に供給する。画像処理装置28では、露
出量の異なる2つの画像のいずれかを用いて白線を検出
する。例えば、車両がトンネルに進入する場合には、ト
ンネル内部の画像に対しては露出量の多い画像を採用
し、トンネル外部では露出量の少ない画像を用いて白線
を検出する。露出量の異なる2つの画像を用いること
で、CCDセンサ24のダイナミックレンジが実質的に
拡大し、種々の走行環境に対応できる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は車両用ライン検出装
置及び路上ライン検出方法並びにプログラムを記録した
媒体に関し、特に道路画像を処理して画像内のラインを
検出するものに関する。
【0002】
【従来の技術】従来より、道路画像を撮影し、得られた
道路画像から画像内のラインを検出することにより車両
の道路(ライン)に対する相対変位を検出する技術が開
発されている。
【0003】例えば、特開平7−141592号公報に
は、得られた道路画像とアスファルト面から切り出した
テンプレートとの相関演算を行うことにより路上の白線
を検出する技術が開示されている。
【0004】
【発明が解決しようとする課題】このようなテンプレー
トを用いた演算(テンプレートマッチング法)により、
多くの場合道路上のラインを検出することが可能となる
が、撮影環境、あるいは走行環境によっては道路画像か
らラインを検出することが困難となる場合もある。
【0005】例えば、車両がトンネルに進入する際は、
トンネル内の明るさとトンネル外の明るさが著しく異な
るため、有限のダイナミックレンジを有するカメラ(例
えばCCDカメラ等)では、明瞭な道路画像が得られな
い場合がある。
【0006】また、道路画像内のライン(例えば白線)
は、常に一定の傾き(例えば45°)を有しているとは
限らず、例えば車線変更時等には画像内におけるライン
の傾きが大きく変化することになり、画像内において一
定の傾きを有すると仮定してテンプレートマッチング法
を用いたのでは、ラインを検出することが困難となる問
題がある。
【0007】さらに、雨天により道路上に水たまりが存
在する場合、太陽光等がこの水たまりで鏡面反射して道
路上のラインと同程度の明るさとなる場合もあり、この
ような場合には真のラインと水たまり部分を判別でき
ず、ラインを誤認識する可能性もある。
【0008】本発明は、上記問題点に鑑みなされたもの
であり、その目的は、種々の撮影環境下あるいは走行環
境下においても、道路上のラインを確実に検出すること
ができる車両用ライン検出装置及び路上ライン検出方法
並びにプログラムを記録した媒体を提供することにあ
る。
【0009】
【課題を解決するための手段】上記目的を達成するため
に、第1の発明は、2次元CCDセンサと、前記2次元
CCDセンサの第1領域に第1露出量で道路画像を投影
するとともに、前記2次元CCDセンサの第2領域に第
2露出量で前記道路画像を投影する光学系と、前記2次
元CCDセンサの第1領域から出力された第1画像及び
前記2次元CCDセンサの第2領域から出力された第2
画像に基づいて前記道路画像内のラインを検出する検出
手段とを有し、前記第1領域と前記第2領域、及び前記
第1露出量と前記第2露出量は互いに異なることを特徴
とする。
【0010】また、第2の発明は、第1の発明におい
て、前記ライン検出手段は、前記第1画像内及び前記第
2画像内の対応する位置にライン検出用のサーチウィン
ドウを設定する設定手段と、互いに対応するサーチウィ
ンドウの中で、いずれかのサーチウィンドウ内の処理結
果を選択する選択手段とを有することを特徴とする。
【0011】また、第3の発明は、道路画像と予め用意
された輝度テンプレートとの積和演算を実行することに
より道路画像内のラインを検出する車両用ライン検出装
置であって、道路を撮影する撮影手段と、ライン部分に
対応する高輝度領域と道路部分に対応する低輝度領域の
境界の所定範囲に、高輝度部分の第1の重み付けと低輝
度部分の第2の重み付けに比べて十分その絶対値が小さ
い第3の重み付けを有する輝度テンプレートを記憶する
記憶手段と、前記撮影手段で得られた道路画像と前記記
憶手段に記憶された輝度テンプレートとの積和演算を行
う演算手段とを有することを特徴とする。
【0012】また、第4の発明は、第3の発明におい
て、前記第3の重み付けの値は、複数存在することを特
徴とする。
【0013】また、第5の発明は、道路の水平偏光画像
を撮影する第1撮影手段と、前記道路の垂直偏光画像を
撮影する第2撮影手段と、前記垂直偏光画像と前記水平
偏光画像の差分を演算して差分画像を得る演算手段と、
道路画像の画像と前記差分画像に基づいて前記道路画像
内のラインを検出する検出手段とを有することを特徴と
する。
【0014】また、第6の発明は、第5の発明におい
て、前記道路の画像は、前記水平偏光画像または前記垂
直偏光画像または前記水平偏光画像と前記垂直画像の混
合画像のいずれかであり、前記検出手段は、前記道路の
画像と前記差分画像との差分演算により前記ラインを検
出することを特徴とする。
【0015】また、第7の発明は、第6の発明におい
て、前記検出手段は、入射角に応じた係数で前記差分画
像を補正して前記ラインを検出することを特徴とする。
【0016】また、第8の発明は、路上のラインを検出
する方法であって、単一CCDの異なる領域に露出量の
異なる同一道路画像を投影するステップと、前記露出量
の異なる同一道路画像の対応する領域のいずれかを用い
てラインを検出するステップとを有することを特徴とす
る。
【0017】また、第9の発明は、道路画像と予め用意
された輝度テンプレートとの積和演算を実行することに
より道路画像内のラインを検出する路上ライン検出方法
であって、ライン部分に対応する高輝度部分と道路部分
に対応する低輝度部分の境界の所定範囲に、高輝度部分
の重み付けと低輝度部分の重み付けに比べて十分その絶
対値が小さい重み付けを有する輝度テンプレートを用い
て前記積和演算を実行するステップを有することを特徴
とする。
【0018】また、第10の発明は、路上のラインを検
出する方法であって、同一道路の水平偏光画像と垂直偏
光画像を取得するステップと、前記垂直偏光画像と前記
水平偏光画像との差分を演算するステップと、前記同一
道路の画像と前記差分に基づいてラインを検出するステ
ップとを有することを特徴とする。
【0019】また、第11の発明は、路上のラインを検
出するためのプログラムを記録した媒体であって、該プ
ログラムはコンピュータに対して、単一CCDの異なる
領域に異なる露出量で投影された同一道路画像の対応す
る領域からそれぞれラインを検出させ、検出されたライ
ンのいずれか一方を選択させることを特徴とする。
【0020】また、第12の発明は、路上のラインを検
出するためのプログラムを記録した媒体であって、該プ
ログラムはコンピュータに対して、入力した道路画像
と、ライン部分に対応する高輝度部分と道路部分に対応
する低輝度部分の境界の所定範囲に高輝度部分の重み付
けと低輝度部分の重み付けに比べて十分その絶対値が小
さい重み付けを有する輝度テンプレートとの積和を演算
させ、前記積和計算の結果に基づいてラインを検出させ
ることを特徴とする。
【0021】また、第13の発明は、路上のラインを検
出するためのプログラムを記録した媒体であって、該プ
ログラムはコンピュータに対して、同一道路の垂直偏光
画像と水平偏光画像の差分を演算させ、前記同一道路の
画像と前記差分に基づいてラインを検出させることを特
徴とする。
【0022】
【発明の実施の形態】以下、図面に基づき本発明の実施
形態について、ラインとして白線を検出する場合を例に
とり説明する。
【0023】<第1実施形態>図1には、本実施形態の
構成ブロック図が示されている。なお、本実施形態は、
例えば車両がトンネルに進入する場合のように、画像内
で明るさの変動が大きく、従って通常のCCDカメラの
ダイナミックレンジでは白線画像を明瞭に撮影すること
ができないような状況下で有効なものである。
【0024】図において、光学系1は、単一のCCDセ
ンサ24の異なる領域に互いに露出量の異なる同一道路
画像を投影するためのものである。具体的には、光学系
1は、レンズ(L1)10、レンズ(L2)18と、レン
ズ(L2)18の前に配置され、明るさを所定量減じる
減光フィルタ16と、レンズ(L1)10からの光を反
射するミラー(M1)12と、ミラー(M2)14と、減
光フィルタ16と、レンズ(L2)18を通った光を反
射するミラー(M3)20と、ミラー(M4)22を含ん
で構成されており、道路からの光は減光フィルタ16を
有しない光路と減光フィルタ16を有する光路の2つの
光路を通ってCCDセンサ24に入射する。
【0025】CCDセンサ24は、複数のCCD素子を
2次元上に配置して構成される2次元CCDセンサであ
り、光学系1から投影された互いに露出量の異なる2つ
の画像(第1画像及び第2画像と称する)を電気信号に
変換してアンプ26に出力する。
【0026】アンプ26は、CCDセンサ24からの第
1画像信号及び第2画像信号を増幅し、画像処理装置2
8に出力する。
【0027】画像処理装置28は、A/D変換器28
a、フレームメモリ28b及び画像認識処理部28cを
有しており、A/D変換器28aでデジタル信号に変換
された第1画像信号及び第2画像信号はフレームメモリ
28bに格納される。フレームメモリ28bに格納され
た第1画像信号及び第2画像信号は、更に画像認識処理
部28cに供給される。
【0028】画像認識処理部28cは、具体的にはマイ
クロコンピュータで構成され、第1画像信号及び第2画
像信号を処理して画像内の白線を検出し、検出結果を表
示部30に表示するとともに、車両制御部32に供給す
る。
【0029】表示部30は、CRTや液晶等で構成さ
れ、検出した白線を運転者が視認しやすい形態で表示
し、車両制御部32は、検出された白線に基づき車両の
白線に対する横変位を算出し、車両の操舵角等を制御す
る。
【0030】なお、露出量を制御するための減光フィル
タ16としては、例えば入射した光を1/103に低減
するフィルタを用いることができ、これによりCCDセ
ンサ24の通常のダイナミックレンジである103を1
6まで拡大することができる。従って、減光フィルタ
16により減光されない(露出量の多い)CCDセンサ
24の領域において、105cd/m2で飽和するように
設定した場合、CCDセンサ24全体の検出レンジとし
ては、10-1〜105cd/m2となる。トンネル内の明
るさは100cd/m2、屋外の日向の明るさは104
d/m2であるので、明瞭な画像を得るのに十分な値と
なる。
【0031】図2には、図1の構成によりCCDセンサ
24に投影される露出量の異なる2つの画像、すなわち
第1画像100aと第2画像100bが模式的に示され
ている。第1画像100aは、減光フィルタ16により
減光されない画像であり、露出量の多い画像である。こ
れに対し、第2画像100bは、減光フィルタ16によ
り減光された画像であり、露出量の少ない画像である。
図において、「明」、「暗」は、それぞれ露出量の大小
を示している。
【0032】このように、2つの画像100a、100
bは互いに露出量が異なるため、例えば車両が晴天時の
道路を走行している場合、第1画像100aは露出オー
バ気味で飽和状態となる一方、第2画像100bはほぼ
適度の露出量となり、第1画像100aの画像からは白
線を検出することは困難である一方、第2画像100b
からは白線を検出することが容易となる。また、曇天時
やトンネル内等においては、第1画像100aは適正な
露出量となるのに対し、第2画像100bは露出アンダ
気味となり、第1画像100aからは白線を検出するこ
とができるが、第2画像100bからは、白線を検出す
ることが困難となる。
【0033】また、車両がトンネルに進入する場合を想
定すると、第1画像100a、あるいは第2画像100
bの画像上部領域はトンネル内画像のため画像下部領域
に比べて暗くなる。しかしながら、第1画像100aで
は、減光フィルタ16により減光されていないため、画
像上部のトンネル画像でも、白線を検出するだけの十分
な露出量が確保されている。その一方、第2画像100
bでは、減光フィルタ16により減光されているため、
画像上部のトンネル画像は、露出不足のため白線を検出
することができない。
【0034】一方、第1画像100a及び第2画像10
0bの画像下部領域は、トンネル外のため通常の明るさ
であり、従って第1画像100aでは露出オーバ気味と
なるため白線を検出することが困難である一方、第2画
像100bの下部では、減光フィルタ16により減光さ
れているため、適正な露出量となり白線を検出すること
が可能となる。
【0035】このように、画像内に明るさの変化が生じ
ている種々の環境下においても、第1画像100aと第
2画像100bを選択的に用いることで、白線を検出す
ることができる。画像認識処理部28cは、以上述べた
原理に基づいて白線を検出する。
【0036】図3には、具体的に白線を検出する場合の
処理が模式的に示されている。画像認識処理部28c
は、白線を検出する際に、第1画像100a及び第2画
像100bにそれぞれサーチウィンドウを設定する。こ
のサーチウィンドウは、そのウィンドウ内で予め用意さ
れた白線テンプレートと画像とのマッチングを行うため
のウィンドウであり、テンプレートをサーチウィンドウ
内で順次移動させつつ相関演算を行うものである。
【0037】図において、第1画像100aにはサーチ
ウィンドウ200a、200b、300a、300bが
設定され、第2画像100bの第1画像100aに対応
する領域にはサーチウィンドウ202a、202b、3
02a、302bがそれぞれ設定される。対応するサー
チウィンドウの組は、それぞれサーチウィンドウ200
aと202a、200bと202b、300aと302
a、300bと302bである。画像認識処理部28c
は、このように第1画像100a及び第2画像100b
に複数のサーチウィンドウを設定して、それぞれのサー
チウィンドウ内でパターンマッチング(相関演算)を行
い、白線を検出する。そして、各サーチウィンドウ内の
検出結果を比較し、対応するサーチウィンドウ内の検出
結果のうち、いずれか一方を選択して検出結果として出
力する。具体的には、パターンマッチング法により、高
精度に白線を検出できた処理結果を選択して出力する。
【0038】例えば、車両が上述したようにトンネル内
に進入する場合を想定すると、第1画像100a内のト
ンネル内画像に設定されたサーチウィンドウ200a、
300aでは白線を検出することができる一方、第2画
像100bの対応するサーチウィンドウであるサーチウ
ィンドウ202a、302aでは露出量が不足している
ため白線を検出することができない。従って、画像認識
処理部28cは、サーチウィンドウ200aとサーチウ
ィンドウ202aでの処理結果を比較し、サーチウィン
ドウ200aでの処理結果を採用して白線検出結果を出
力する。同様にして、サーチウィンドウ300aとサー
チウィンドウ302aの処理結果を比較し、サーチウィ
ンドウ300aの処理結果を選択して出力する。
【0039】また、トンネル外領域に位置するサーチウ
ィンドウ200b、300b、202b、302bに関
しては、第1画像100a内のサーチウィンドウ200
b、300bでは露出オーバ気味であるため白線を検出
することが困難である一方、第2画像100b内のサー
チウィンドウ202b、302bでは減光フィルタ16
により減光されているため適正な露出量で白線を検出す
ることができる。従って、画像認識処理部28cは、サ
ーチウィンドウ200bと202bの処理結果を比較し
て、サーチウィンドウ202bからの処理結果を選択し
て出力する。また、サーチウィンドウ300bと302
bを比較し、サーチウィンドウ302bからの処理結果
を選択して出力する。
【0040】このように、第1画像100a、第2画像
100bのそれぞれに複数のサーチウィンドウを設け、
対応するサーチウィンドウのうちいずれか一方を選択し
て出力することにより、1つの画像内で輝度が急激に変
化する状況下においても白線を確実に検出することがで
きる。
【0041】なお、本実施形態では、説明の都合上サー
チウィンドウを1つの画像内で4個設定した場合につい
て示したが、サーチウィンドウの数は任意に設定するこ
とができる。
【0042】<第2実施形態>図4には、本実施形態の
構成ブロック図が示されている。本実施形態は、画像内
の白線の傾きが期待される値(例えば45°)から逸脱
している場合に特に有効なものである。
【0043】CCDセンサ24は、道路画像を撮影する
撮影手段として機能し、得られた道路画像をアンプ26
に出力する。
【0044】アンプ26は、入力した画像信号を増幅
し、画像処理装置28に出力する。画像処理装置28
は、A/D変換器28a、フレームメモリ28b、画像
認識処理部28cを有している。
【0045】A/D変換器28aは、アンプ26から供
給された画像信号をデジタル信号に変換して、フレーム
メモリ28bに格納する。
【0046】フレームメモリ28bは、格納した画像信
号を適宜画像認識処理部28cに供給する。
【0047】画像認識処理部28cは、マイクロコンピ
ュータで構成され、後述するようにフレームメモリ28
bから読み出した画像信号と予め用意されたテンプレー
トとのマッチング演算を行い、白線を検出して表示部3
0あるいは車両制御部32に出力する。
【0048】表示部30及び車両制御部32は、上述し
た第1実施形態と同様に、検出した白線を表示するとと
もに、車両の白線に対する相対変位を検出して車両の操
舵角等を制御する。
【0049】図5には、本実施形態におけるテンプレー
トマッチング法の処理が模式的に示されている。CCD
センサ24にて得られた画像内に白線検出用のサーチウ
ィンドウ400を設定する。そして、このサーチウィン
ドウ400内で予め用意したテンプレート500を順次
移動させつつ所定の演算を行う。ここで、所定の演算と
は、テンプレート500が輝度を数値化した輝度テンプ
レートである場合、得られた画像の輝度と輝度テンプレ
ート500との積和演算を意味する。この積和演算は、
画像の輝度パターンと輝度テンプレートの輝度パターン
との相関を示すことになり、積和演算の値、すなわち積
和値が大きいほど、両者の相関が高いことになる。従っ
て、積和演算を行い、その積和値が所定のしきい値より
大きい場合には、その位置に白線が存在することを検出
できる。
【0050】図6には、従来用いられていた輝度テンプ
レート500の一例が示されている。車両の通常走行状
態では、画像内の白線は約45°の角度で出現すること
に鑑み、45°の境界線を境にして上部を輝度値1
(白)とし、下部を輝度値−1(黒)としている。すな
わち、45°の境界を境にして輝度値1の領域500a
と輝度値−1の領域500bの2つの領域から輝度テン
プレート500が構成されている。このような輝度テン
プレート500により、左白線の右側エッジを検出する
ことができる。
【0051】しかしながら、画像内の白線の傾きが45
°から逸脱している場合、図6に示したような従来の輝
度テンプレート500を用いた場合その積和値が小さく
なり、45°付近にコントラストを有する白線以外の物
体が他に存在する場合には、この物体との積和演算値が
白線との積和演算値より結果的に大きくなる場合があ
り、その物体を白線と誤認識してしまうおそれがある。
【0052】そこで、本実施形態においては、このよう
に輝度値1と−1を有する2つの領域500a、500
bからなる輝度テンプレートを用いるのではなく、高輝
度部分の第1の重み付け(図6では白線部分の重み1)
と低輝度部分の第2の重み付け(図6ではアスファルト
部分の重み−1)に比べて十分その絶対値が小さい第3
の重み付けを所定範囲に有する輝度テンプレートを用い
て道路画像とのテンプレートマッチングを行っている。
【0053】図7には、本実施形態における輝度テンプ
レートの一例が示されている。図6の輝度テンプレート
と異なる点は、重み付け1の領域500aと重み付け−
1の領域500bの境界に、重み付け0の領域500c
及び500dを有する点にある。これらの領域500
c、500dは、重み付け1の領域500aと重み付け
−1の領域500bの境界の所定範囲に設けられる。具
体的には、図に示されるように、45°の境界線に対し
所定角度だけ増減させた領域に設定されており、所定角
度としては、例えば角度αを63°とすることができ
る。
【0054】以下、図6及び図7の輝度テンプレートを
用いた場合の積和演算の相違について説明する。
【0055】図8には、CCDセンサ24で得られた道
路画像の一例が模式的に示されている。(A)は傾きが
63°の白線画像であり、(B)は傾き45°の白線以
外の物体画像である。(A)において、白線部分の輝度
は245、アスファルト部分の輝度は10と数値化さ
れ、コントラストが大きいことを示している。また、
(B)では、物体の明るい部分が230、暗い部分が2
5と数値化されており、白線画像に比べてコントラスト
が低くなっている。このような2つの画像が同一道路画
像内に存在する場合、白線を正しく認識するためにはテ
ンプレートマッチングによる積和演算では(A)に示さ
れた積和演算値の方が(B)に示された積和演算値より
も大きくなる必要がある。仮に、(B)に示された画像
の積和演算値の方が(A)に示された白線画像の積和演
算値よりも大きくなる場合、(B)に示された物体像を
白線と誤認識する、あるいは(A)に示された白線像を
非白線と誤認識してしまうことになる。
【0056】いま、図8に示された画像を所定数の領
域、例えば16領域に分割し、全画像の面積を1に規格
化として図6及び図7に示された輝度テンプレートとの
積和演算を行うと以下のようになる。すなわち、(A)
に示された画像と図6に示された従来の輝度テンプレー
トとの積和演算値S1は、
【数1】 S1=245×7/16+10×1/16+(−245)× 1/16+(−10)×7/16=88.125 ・・・(1) また、(B)に示された画像と従来の輝度テンプレート
との積和演算値S2は、
【数2】 S2=230×8/16+(−25)×8/16=102.5 ・・・(2) となる。従って、S1<S2となるので、図6に示され
た従来の輝度テンプレート500を用いた場合には、
(B)に示された物体画像を白線画像と誤認識してしま
うことになる。
【0057】一方、(A)に示された画像と図7に示さ
れる本実施形態の輝度テンプレートとの積和演算値S
1’は
【数3】 S1’=245×6/16+0×2/16+0×2/16+(−10) ×6/16=88.125 ・・・(3) また、(B)に示された画像と図7に示された本実施形
態の輝度テンプレートとの積和演算値S2’は
【数4】 S2’=230×6/16+0×2/16+0×2/16+0×2/16+ (−25)×6/16=76.875 ・・・(4) となる。従ってS1’>S2’となるので、本実施形態
の輝度テンプレートを用いた積和演算においては、
(B)に示された物体画像を白線と誤認識することはな
く、(A)に示された傾き63°の白線画像を白線と正
しく認識することができる。これは、45°近傍に重み
付け0の領域を設定することで、45°から白線の傾き
が若干変化してもそれが積和演算に大きな影響を与えな
いようにしたことによるものである。すなわち、重み付
け0の領域は、積和演算にとって不感帯として機能する
ことになる。
【0058】なお、上述においては左白線の右エッジを
検出する場合について特に示したが、左白線の左エッ
ジ、あるいは右白線の左エッジあるいは右エッジを検出
する場合にも、同様に第3の重み付けを有する輝度テン
プレートを用いて検出することができる。
【0059】また、輝度テンプレートを工夫すること
で、左白線あるいは右白線の両エッジを同時に検出する
ことも可能である。図9には、左白線の左右エッジを同
時に検出する場合の輝度テンプレート500の一例が示
されている。白線部分が重み付け1の領域500gで、
アスファルト部分が重み付け−1の領域500eと領域
500iであり、白線部分とアスファルト部分の境界に
重み付け0の領域500fと500hが設けられてい
る。領域500e〜領域500gで左白線の左エッジを
検出し、領域500g〜領域500iで左白線の右エッ
ジを検出する。
【0060】このように、重み付け0の領域を白線部分
(高輝度部分)とアスファルト部分(低輝度部分)の境
界に設けることで、多少の白線幅の変動及び傾きの変動
に影響されずに白線の両エッジを検出することが可能と
なる。
【0061】なお、高輝度部分と低輝度部分の領域に設
定される第3の重み付けの値を複数設定することも可能
である。
【0062】図10には、第3の重み付けを複数(図に
おいては4つ)設定する場合の一例が示されている。重
み付け1の領域500aと重み付け−1の500bの他
に、その境界の所定範囲に重み付け0.25の領域50
0j、重み付け−0.75の領域500k、重み付け
0.75の領域500m、重み付け−0.25の領域5
00nが設けられている。
【0063】このように、第3の重み付けを複数個設定
することで、白線の特定方向の傾きを優先的に検出する
ことができる。図10においては、特に傾きが大きくな
るような白線を優先的に検出できる輝度テンプレートで
あり、具体的な車両の走行状態としては、ある車線から
隣接車線に車線変更する場合の白線を検出するのに好適
である。以下、具体的な積和演算について説明する。
【0064】図11には、種々の傾きを有する白線画像
が模式的に示されている。(A)は傾きが63°の場合
の白線画像であり、白線部分の輝度値は245、アスフ
ァルト部分の輝度値は10である。(B)は傾きが27
°の場合の白線画像であり、(C)は傾きが45°の場
合の白線画像である。通常は(C)に示されるように傾
きが45°の白線画像が得られるが、車両が車線変更を
行う場合、その方向の白線は(A)に示されるようにそ
の傾きが大きくなる。一方、反対側の車線は、(B)に
示されるようにその傾きが小さくなる。図10に示され
た輝度テンプレート500の目的は、車線変更を行う側
の白線、すなわち(A)に示された傾きが45°より大
きい白線画像を他の白線画像に比べて優先的に検出する
ことにある。
【0065】図11(A)、(B)、(C)それぞれに
対して、図10に示された輝度テンプレートを用いて積
和演算を行うと、以下のようになる。すなわち、(A)
と輝度テンプレート500との積和演算値S3’は、
【数5】 S3’=245×{1×6/16+0.75×1/16+(−0.25)× 1/16}+10×{−1×6/16+(−0.75)×1/16 +0.25×1/16}=95.46875 ・・・(5) また、(B)の画像と輝度テンプレート500との積和
演算値S4’は
【数6】 S4’=245×{1×6/16+0.25×1/16+(−0.75)× 1/16}+10×{−1×6/16+(−0.25)×1/16 +0.75×1/16}=80.78125 ・・・(6) また、(C)の画像と輝度テンプレート500との積和
演算値S5’は
【数7】 S5’=245×{1×6/16+0.25×1/16+0.75 ×1/16}+10×{(−1)×6/16+(−0.25) ×1/16+(−0.75)×1/16}=102.8125 ・・・(7) 従って、S3’>S4’となるので、(B)に示された
画像よりも(A)に示された画像の方がより白線として
検出されやすくなる。
【0066】一方、図6に示された従来の輝度テンプレ
ートを用いた場合には、(A)〜(C)に示された画像
との積和演算値S3、S4、S5はそれぞれ以下のよう
になる。
【0067】
【数8】 S3=245×1×6/16+10×(−1)×6/16=88.125 ・・・(8)
【数9】 S4=245×1×6/16+10×(−1)×6/16=88.125 ・・・(9)
【数10】 S5=245×1×6/16+10×(−1)×6/16=88.125 ・・・(10) すなわち、S3、S4、S5はいずれも同一の値とな
り、白線の傾きが45°より大きい(A)に示される画
像を(B)に示される画像よりも優先的に白線として検
出することが不可能であることがわかる。このことか
ら、図10に示される輝度テンプレートの有効性が明ら
かであろう。
【0068】以上、本実施形態について説明したが、本
実施形態における第3の重み付けの値は必ずしも0(図
7の場合)や0.25、−0.75等(図10の場合)
に限定されることなく、第1の重み付けである1及び第
2の重み付けである−1に比べてその絶対値が十分小さ
い値であれば任意の値を用いることが可能である。ま
た、第1の重み付けの値及び第2の重み付けの値も、
1、−1に限定されることなく、任意の値を用いること
が可能である。
【0069】また、第3の重み付けを有する所定範囲
は、適宜決定することが可能であるが、例えば次のよう
に決定することも可能である。すなわち、画像の横方向
をX、縦方向をY、CCDセンサ24から左白線及び右
白線までの車軸に垂直な方向の距離をそれぞれBLとB
R、CCDセンサ24の路面からの高さをH、CCDセ
ンサ24上の1ピクセルの縦横の大きさをそれぞれpd
vとpdh、車両の白線に対するヨー角をyaw、光軸
の路面に対する角度をthとした場合、画像上の左白線
の傾きPL及び右白線の傾きPRは、
【数11】 PL=(BL×cos(th)/(−H)+yaw×sin(th))/ pdh×pdv ・・・(11)
【数12】 PR=(BR×cos(th)/(−H)+yaw×sin(th))/ pdh×pdv ・・・(12) となる。ここで、CDDの高さH、1ピクセルの大きさ
pdh、pdvは既知で一定の値であるので、BL、B
R、th、yawを予想範囲内に変化させた場合のP
L、PRの最大値及び最小値から所定範囲の角度αを算
出すればよい。
【0070】<第3実施形態>図12には、本実施形態
の構成ブロック図が示されている。本実施形態は、特に
路面に水たまりが存在して白線以外の高輝度部分が出現
する場合に有効なものである。
【0071】本実施形態においては、撮影手段は垂直偏
光用と水平偏光用の2系統を有している。垂直偏光フィ
ルタ34は、入射光のうち垂直偏光成分のみを透過させ
るもので、透過した垂直偏光の光を垂直偏光用CCDセ
ンサ24aに投影する。
【0072】水平偏光用フィルタは、入射光のうち、水
平偏光のみを透過する物で、透過した水平偏光の光を水
平偏光用CCDセンサ24bに投影する。
【0073】垂直偏光用CCDセンサ24a及び水平偏
光用CCDセンサ24bは、それぞれ入射した光を電気
信号に変換し、同期出力アンプ26a,26bに出力す
る。
【0074】同期出力アンプ26a,26bは、入力し
た電気信号を増幅し、それぞれ画像処理装置28に出力
する。
【0075】画像処理装置28は、垂直偏光用及び水平
偏光用それぞれのA/D変換器28a,28d、フレー
ムメモリ28b,28e、さらには画像認識処理部28
cを有しており、入力した画像信号をデジタル信号に変
換し、フレームメモリ28b,28eに格納する。
【0076】画像認識処理部28cは、マイクロコンピ
ュータで構成され、フレームメモリ28b、28eに格
納された画像データを適宜読み出し、後述する水たまり
による鏡面反射成分を除去して水たまり以外の路面によ
る散乱光画像のみを抽出し、この散乱光画像から画像内
の白線を検出する。検出した白線は表示部30に供給す
るとともに、車両制御部32に供給する。表示部30及
び車両制御部32は、上述した第1及び第2実施形態と
同様に、検出した白線をCRTや液晶等に表示し、また
車両の白線に対する相対変位を検出して車両の操舵角等
を制御する。
【0077】本実施形態においては、上述した通り、画
像認識処理部28cにおいて入力した画像に含まれる鏡
面反射成分を除去し、散乱光成分のみの画像を得て白線
を検出する点に特徴がある。
【0078】従来より、道路の水たまり等により太陽光
が鏡面反射し、この水たまり部分を道路の白線と誤認識
することを防止すべく、水たまり等による鏡面反射成分
を除去する方法が提案されている。例えば、特開平7−
128059号公報には、鏡面反射の水平偏光成分がブ
リュースター角でほぼ0となることに着目し、水平偏光
画像から白線を検出する技術が示されている。この技術
によれば、ブリュースター角近傍の鏡面反射成分は0と
なるため散乱光成分のみを抽出でき、白線を検出するこ
とが可能となるが、入射角がブリュースター角より大き
い場合(特に車両の前部にカメラを設置して前方画像を
撮影する場合)には、水平偏光成分が0から徐々に増大
するため水平偏光画像にも鏡面反射成分が含まれること
となり、このため散乱光画像である白線のみを検出する
ことが困難となる問題が生ずる。
【0079】そこで、本実施形態においては、このよう
に水平偏光画像のみを用いた場合の問題点を解決すべ
く、垂直偏光成分及び水平偏光成分を巧みに用いて入射
角によらずに鏡面反射成分を除去して白線を確実に検出
するものである。
【0080】図13には、鏡面反射の場合(水たまり)
の入射角に対する反射率の関係が示されている。図にお
いて、横軸は入射角(deg)、すなわち反射面の法線
に対する角度であり、縦軸は反射率である。また、曲線
aは垂直偏光成分、曲線bは水平偏光成分、曲線cは垂
直偏光成分と水平偏光成分の混合光の平均(すなわち
(a+b)/2)、曲線dは垂直偏光成分aと水平偏光
成分bの差分(偏光差分)をそれぞれ示している。入射
角がブリュースター角の場合には、図に示すように水平
偏光成分が0となる。一方、入射角がブリュースター角
より大きくなると垂直偏光成分と同様に水平偏光成分も
徐々に増大していく。曲線dで示される偏光差分は、入
射角80°近傍までは徐々に増大し、80°以上となる
と徐々に減少していく特性を示す。
【0081】ここで、散乱光の場合には、垂直偏光成分
と水平偏光成分がほぼ等量含まれているため、垂直偏光
成分と水平偏光成分の差分である偏光差分は入射角によ
らずほぼ0となる。従って、偏光差分値を検出すること
で、入射光が散乱光かあるいは鏡面反射光かを識別する
ことが可能となる。画像認識処理部28cは、以上のよ
うな原理に基づいて鏡面反射光を特定し、道路画像から
鏡面反射成分のみを除去することで水たまりによる擬似
白線像を除去する。
【0082】図14には、画像認識処理部28cにおけ
る具体的な演算処理が示されている。まず、画像認識処
理部28cは、垂直偏光画像Aを取得する(S10
1)。次に、水平偏光画像Bを取得し(S102)、両
画像の差分を演算して差分画像D=|A−B|を算出す
る(S103)。この差分画像は、上述したように鏡面
反射成分を反映したものである。
【0083】ただし、例えばこの差分画像を水平偏光画
像Bから差し引くことにより散乱光成分のみを取り出す
場合、水平偏光画像自体にもその入射角に応じた鏡面反
射成分が含まれている(図13参照)。従って、入射角
に応じた補正係数として入射角θにおける偏光差分をそ
の入射角θにおける水平偏光成分反射率で割った値を係
数Iとし、このIを差分Dに乗じることによりその入射
角θにおける鏡面反射成分Eを算出する(S104)。
すなわち、補正係数Iは、偏光成分差分に対する水平偏
光成分の比率であり、ある入射角において偏光差分が存
在する場合、水と空気の境界における反射特性によりD
・Iだけの水平偏光成分が含まれるという事実から導き
出される係数である。例えば、入射角80°の場合、偏
光反射率差分値は0.24、水平偏光成分反射率は0.
22なので、補正係数I=0.24/0.22となる。
ブリュースター角においては水平偏光反射率は0である
ので補正係数は0とする。
【0084】以上のようにして、入射角θにおける鏡面
反射成分Eを算出した後、画像認識処理部28cは散乱
光画像Fを水平偏光画像Bと鏡面反射成分Eとの差分か
ら演算する(S105)。そして、散乱光画像Fから画
像内の白線を検出し、表示部30や車両制御部32に出
力する(S106)。
【0085】なお、S106における白線認識は、例え
ば第2実施形態におけるテンプレーマッチング法を用い
ることができ、差分演算等は、具体的には各画像の画素
値を行列の成分とする行列演算で行うことができる。
【0086】また、S104における補正係数Iは、入
射角の関数として決定されることになるが、画像内の入
射角は、その画像内の位置から算出することができる。
すなわち、入射角が小さいほど画像内の下部に位置し、
入射角が大なるほど画像の上部に位置する。従って、画
像内の縦方向位置に基づき入射角を推定し、その入射角
に基づいて補正係数Iを入射角毎に算出すればよい。具
体的には、CCDカメラ24の車両上における取り付け
位置、角度は既知であるので、路面が車両直下から一定
であると仮定して、画像上の位置から入射角を計算でき
る。すなわち、カメラの路面に対する光軸の角度をa
(下方向が正)、対象とする画素の画像中心から上下方
向(縦方向)の画素数をb(下方向が正)、上下方向の
1画素に対する撮影角度をcとすると、入射角度dはd
=90−(a+bc)となる。
【0087】図5〜図19には、以上述べた処理の様子
が模式的に示されている。図15は、垂直偏光フィルタ
及び水平偏光フィルタ36を用いない場合の道路画像で
ある。散乱光成分及び鏡面反射成分が共に含まれてお
り、例えば雨天時等には高輝度部分として白線部分の他
に水たまり部分等が存在し、パターンマッチング法等に
よっては白線のみを検出することが困難である。
【0088】図16は、水平偏光フィルタ36を透過し
た水平偏光画像Bであり、入射角が大きい画像上部の部
分(距離的に遠い部分)において特に鏡面反射成分が多
く出現する(図13を参照)。ブリュースター角近傍に
おいては鏡面反射成分はほぼ0である。
【0089】図17には、垂直偏光フィルタ34を透過
した垂直偏光画像Aが示されており、白線部分を含めほ
ぼ全ての領域が高輝度部分となり、白線部分のみを抽出
することはほとんどできない。鏡面反射成分の垂直偏光
成分は、全ての入射角において有限の値を有しているか
らである。
【0090】図18には、垂直偏光画像Aから水平偏光
画像Bを差し引いた差分画像Dが示されている。散乱光
は水平偏光成分と垂直偏光成分がほぼ等量含まれている
ため散乱光による白線画像部分はほぼ0となり、散乱光
以外の鏡面反射成分が多く出現する。
【0091】図19には、最終的な結果である水平偏光
画像Bから補正係数Iにより補正した差分画像Dを差し
引いた画像が模式的に示されている。散乱光による白線
画像のみが抽出され、水たまりを含むアスファルト部分
は除去されて鏡面反射成分は含まれない。従って、この
図19に示された画像から容易に白線のみを検出するこ
とができる。
【0092】なお、本実施形態においては、水平偏光画
像から差分画像を差し引くことにより散乱光画像を得て
いるが、水平偏光画像の代わりに垂直偏光画像A、ある
いは水平偏光画像と垂直偏光画像の混合画像(水平偏光
画像と垂直偏光画像の平均でも良く、偏光フィルタを透
過しない画像でも良い)と差分画像との差分演算を行う
ことにより散乱光画像を得ることも可能である。この
際、例えば垂直偏光画像を用いた場合には、補正係数I
として入射角θの時の偏光差分をその入射角θにおける
垂直偏光成分反射率で割ればよく、混合画像を用いる場
合も同様である。
【0093】以上、本発明の実施形態について説明した
が、第1〜第3実施形態における処理は画像処理装置2
8内の画像認識処理部28cに処理プログラムをインス
トールすることにより実行することができる。かかるプ
ログラムは、プログラムを記録した媒体から供給するこ
とができ、媒体としてはCD−ROMやDVD−RO
M、ハードディスクやフロッピーディスク等の磁気ディ
スク、半導体メモリ等任意の媒体を用いることが可能で
ある。
【0094】
【発明の効果】以上説明したように、本発明によれば、
走行環境あるいは撮影環境によらず道路上のラインを確
実に検出することができる。
【図面の簡単な説明】
【図1】 本発明の第1実施形態の構成ブロック図であ
る。
【図2】 同実施形態における第1画像と第2画像の説
明図である。
【図3】 同実施形態におけるサーチウィンドウの設定
説明図である。
【図4】 本発明の第2実施形態における構成ブロック
図である。
【図5】 同実施形態におけるパターンマッチング法の
説明図である。
【図6】 従来の輝度テンプレートの説明図である。
【図7】 同実施形態における輝度テンプレートの説明
図である。
【図8】 同実施形態における道路画像例を示す説明図
である。
【図9】 同実施形態における他の輝度テンプレートの
説明図である。
【図10】 同実施形態における更に他の輝度テンプレ
ートの説明図である。
【図11】 同実施形態における道路画像の他の例を示
す説明図である。
【図12】 本発明の第3実施形態における構成ブロッ
ク図である。
【図13】 入射角に対する反射率の関係を示すグラフ
図である。
【図14】 同実施形態における処理フローチャートで
ある。
【図15】 同実施形態における偏光フィルタを透過し
ない場合の画像説明図である。
【図16】 水平偏光画像の説明図である。
【図17】 垂直偏光画像の説明図である。
【図18】 垂直偏光画像から水平偏光画像を差し引い
た差分画像の説明図である。
【図19】 水平偏光画像から差分画像を差し引いた画
像の説明図である。
【符号の説明】
1 光学系、24 CCDセンサ、26 アンプ、28
画像処理装置、30表示部、32 車両制御部。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 FI // G05D 1/02 G06F 15/64 325F 15/70 455A

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】 2次元CCDセンサと、 前記2次元CCDセンサの第1領域に第1露出量で道路
    画像を投影するとともに、前記2次元CCDセンサの第
    2領域に第2露出量で前記道路画像を投影する光学系
    と、 前記2次元CCDセンサの第1領域から出力された第1
    画像及び前記2次元CCDセンサの第2領域から出力さ
    れた第2画像に基づいて前記道路画像内のラインを検出
    する検出手段と、 を有し、前記第1領域と前記第2領域、及び前記第1露
    出量と前記第2露出量は互いに異なることを特徴とする
    車両用ライン検出装置。
  2. 【請求項2】 前記ライン検出手段は、 前記第1画像内及び前記第2画像内の対応する位置にラ
    イン検出用のサーチウィンドウを設定する設定手段と、 互いに対応するサーチウィンドウの中で、いずれかのサ
    ーチウィンドウ内の処理結果を選択する選択手段と、 を有することを特徴とする請求項1記載の車両用ライン
    検出装置。
  3. 【請求項3】 道路画像と予め用意された輝度テンプレ
    ートとの積和演算を実行することにより道路画像内のラ
    インを検出する車両用ライン検出装置であって、 道路を撮影する撮影手段と、 ライン部分に対応する高輝度領域と道路部分に対応する
    低輝度領域の境界の所定範囲に、高輝度部分の第1の重
    み付けと低輝度部分の第2の重み付けに比べて十分その
    絶対値が小さい第3の重み付けを有する輝度テンプレー
    トを記憶する記憶手段と、 前記撮影手段で得られた道路画像と前記記憶手段に記憶
    された輝度テンプレートとの積和演算を行う演算手段
    と、 を有することを特徴とする車両用ライン検出装置。
  4. 【請求項4】 前記第3の重み付けの値は、複数存在す
    ることを特徴とする請求項3記載の車両用ライン検出装
    置。
  5. 【請求項5】 道路の水平偏光画像を撮影する第1撮影
    手段と、 前記道路の垂直偏光画像を撮影する第2撮影手段と、 前記垂直偏光画像と前記水平偏光画像の差分を演算して
    差分画像を得る演算手段と、 道路画像の画像と前記差分画像に基づいて前記道路画像
    内のラインを検出する検出手段と、 を有することを特徴とする車両用ライン検出装置。
  6. 【請求項6】 前記道路の画像は、前記水平偏光画像ま
    たは前記垂直偏光画像または前記水平偏光画像と前記垂
    直画像の混合画像のいずれかであり、 前記検出手段は、前記道路の画像と前記差分画像との差
    分演算により前記ラインを検出することを特徴とする請
    求項5記載の車両用ライン検出装置。
  7. 【請求項7】 前記検出手段は、入射角に応じた係数で
    前記差分画像を補正して前記ラインを検出することを特
    徴とする請求項6記載の車両用ライン検出装置。
  8. 【請求項8】 路上のラインを検出する方法であって、 単一CCDの異なる領域に露出量の異なる同一道路画像
    を投影するステップと、 前記露出量の異なる同一道路画像の対応する領域のいず
    れかを用いてラインを検出するステップと、を有するこ
    とを特徴とする路上ライン検出方法。
  9. 【請求項9】 道路画像と予め用意された輝度テンプレ
    ートとの積和演算を実行することにより道路画像内のラ
    インを検出する路上ライン検出方法であって、 ライン部分に対応する高輝度部分と道路部分に対応する
    低輝度部分の境界の所定範囲に、高輝度部分の重み付け
    と低輝度部分の重み付けに比べて十分その絶対値が小さ
    い重み付けを有する輝度テンプレートを用いて前記積和
    演算を実行するステップを有することを特徴とする路上
    ライン検出方法。
  10. 【請求項10】 路上のラインを検出する方法であっ
    て、 同一道路の水平偏光画像と垂直偏光画像を取得するステ
    ップと、 前記垂直偏光画像と前記水平偏光画像との差分を演算す
    るステップと、 前記同一道路の画像と前記差分に基づいてラインを検出
    するステップと、 を有することを特徴とする路上ライン検出方法。
  11. 【請求項11】 路上のラインを検出するためのプログ
    ラムを記録した媒体であって、該プログラムはコンピュ
    ータに対して、 単一CCDの異なる領域に異なる露出量で投影された同
    一道路画像の対応する領域からそれぞれラインを検出さ
    せ、 検出されたラインのいずれか一方を選択させることを特
    徴とするプログラムを記録した媒体。
  12. 【請求項12】 路上のラインを検出するためのプログ
    ラムを記録した媒体であって、該プログラムはコンピュ
    ータに対して、 入力した道路画像と、ライン部分に対応する高輝度部分
    と道路部分に対応する低輝度部分の境界の所定範囲に高
    輝度部分の重み付けと低輝度部分の重み付けに比べて十
    分その絶対値が小さい重み付けを有する輝度テンプレー
    トとの積和を演算させ、 前記積和計算の結果に基づいてラインを検出させること
    を特徴とするプログラムを記録した媒体。
  13. 【請求項13】 路上のラインを検出するためのプログ
    ラムを記録した媒体であって、該プログラムはコンピュ
    ータに対して、 同一道路の垂直偏光画像と水平偏光画像の差分を演算さ
    せ、 前記同一道路の画像と前記差分に基づいてラインを検出
    させることを特徴とするプログラムを記録した媒体。
JP34531997A 1997-12-15 1997-12-15 車両用ライン検出装置及び路上ライン検出方法並びにプログラムを記録した媒体 Expired - Fee Related JP3341664B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP34531997A JP3341664B2 (ja) 1997-12-15 1997-12-15 車両用ライン検出装置及び路上ライン検出方法並びにプログラムを記録した媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34531997A JP3341664B2 (ja) 1997-12-15 1997-12-15 車両用ライン検出装置及び路上ライン検出方法並びにプログラムを記録した媒体

Publications (2)

Publication Number Publication Date
JPH11175702A true JPH11175702A (ja) 1999-07-02
JP3341664B2 JP3341664B2 (ja) 2002-11-05

Family

ID=18375797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34531997A Expired - Fee Related JP3341664B2 (ja) 1997-12-15 1997-12-15 車両用ライン検出装置及び路上ライン検出方法並びにプログラムを記録した媒体

Country Status (1)

Country Link
JP (1) JP3341664B2 (ja)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282428A (ja) * 2000-03-29 2001-10-12 Matsushita Electric Ind Co Ltd 情報処理装置
JP2002024818A (ja) * 2000-07-12 2002-01-25 National Institute Of Advanced Industrial & Technology 拡散および鏡面反射成分の分離方法
JP2007322374A (ja) * 2006-06-05 2007-12-13 Mitsubishi Electric Corp 赤外線目標選択装置
JP2008207614A (ja) * 2007-02-23 2008-09-11 Denso Corp 車両用表示装置
JP2008241446A (ja) * 2007-03-27 2008-10-09 Clarion Co Ltd ナビゲーション装置及びその制御方法
US7583182B2 (en) 2006-12-13 2009-09-01 Industrial Technology Research Institute Lane departure warning method and apparatus
JP2010018050A (ja) * 2008-07-08 2010-01-28 Denso Corp 車両用撮影システム
JP2010072437A (ja) * 2008-09-19 2010-04-02 Denso Corp 光学系フィルタ、撮像制御装置、および画像処理装置
WO2011049149A1 (en) * 2009-10-19 2011-04-28 Ricoh Company, Ltd. Ranging camera apparatus
WO2011078300A1 (en) * 2009-12-25 2011-06-30 Ricoh Company, Ltd. Imaging device, on-vehicle imaging system, road surface appearance detection method, and object detection device
JP2011150687A (ja) * 2009-12-25 2011-08-04 Ricoh Co Ltd 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
JP2011150686A (ja) * 2009-12-25 2011-08-04 Ricoh Co Ltd 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
WO2012002552A1 (en) * 2010-07-01 2012-01-05 Ricoh Company, Ltd. Object identification device
EP2439716A2 (en) 2010-09-16 2012-04-11 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
JP2012088785A (ja) * 2010-10-15 2012-05-10 Toyota Central R&D Labs Inc 対象物識別装置及びプログラム
WO2012137696A1 (ja) * 2011-04-06 2012-10-11 株式会社デンソー 車両用画像処理装置
JP2012230601A (ja) * 2011-04-27 2012-11-22 Nippon Yusoki Co Ltd 無人搬送車の誘導ライン撮像装置、および無人搬送車
KR101241225B1 (ko) * 2011-06-27 2013-03-13 현대자동차주식회사 차량의 영상 인식 시스템 및 그 방법
EP2618304A1 (en) 2012-01-19 2013-07-24 Ricoh Company, Ltd. Imaging apparatus, vehicle system having the same, and image-processing method
JP2013148504A (ja) * 2012-01-20 2013-08-01 Ricoh Co Ltd 画像処理システム及びそれを備えた車両
US8866960B2 (en) 2011-08-30 2014-10-21 Ricoh Company, Ltd. Imaging apparatus that adjusts light exposure by analyzing polarization components
WO2015024734A1 (de) * 2013-08-20 2015-02-26 Khs Gmbh Vorrichtung und verfahren zur identifikation von codierungen unter einer transparenten folie
JP2015144421A (ja) * 2013-12-24 2015-08-06 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置
JP2015172926A (ja) * 2014-02-18 2015-10-01 パナソニックIpマネジメント株式会社 画像処理方法および画像処理装置
CN105083122A (zh) * 2014-05-23 2015-11-25 Lg电子株式会社 立体摄像头、车辆驾驶辅助装置及车辆
JP2015219569A (ja) * 2014-05-14 2015-12-07 株式会社デンソー 境界線認識装置および境界線認識プログラム
US9317754B2 (en) 2009-12-25 2016-04-19 Ricoh Company, Ltd. Object identifying apparatus, moving body control apparatus, and information providing apparatus
US9626573B2 (en) 2014-07-23 2017-04-18 Denso Corporation Traffic lane marking recognition apparatus and traffic lane marking recognition program
US9911049B2 (en) 2014-12-25 2018-03-06 Denso Corporation Lane boundary line recognition apparatus
WO2022249562A1 (ja) * 2021-05-28 2022-12-01 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および方法、並びにプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6318999B2 (ja) 2014-09-04 2018-05-09 株式会社Soken 駐車スペース認識装置、駐車スペース認識システム

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282428A (ja) * 2000-03-29 2001-10-12 Matsushita Electric Ind Co Ltd 情報処理装置
JP2002024818A (ja) * 2000-07-12 2002-01-25 National Institute Of Advanced Industrial & Technology 拡散および鏡面反射成分の分離方法
JP2007322374A (ja) * 2006-06-05 2007-12-13 Mitsubishi Electric Corp 赤外線目標選択装置
US7583182B2 (en) 2006-12-13 2009-09-01 Industrial Technology Research Institute Lane departure warning method and apparatus
JP2008207614A (ja) * 2007-02-23 2008-09-11 Denso Corp 車両用表示装置
JP2008241446A (ja) * 2007-03-27 2008-10-09 Clarion Co Ltd ナビゲーション装置及びその制御方法
JP2010018050A (ja) * 2008-07-08 2010-01-28 Denso Corp 車両用撮影システム
JP4645714B2 (ja) * 2008-09-19 2011-03-09 株式会社デンソー 画像処理装置
JP2010072437A (ja) * 2008-09-19 2010-04-02 Denso Corp 光学系フィルタ、撮像制御装置、および画像処理装置
US8254010B2 (en) 2008-09-19 2012-08-28 Denso Corporation Imaging of a plurality of types of images based on light of a plurality of wavelength bands
CN102575931A (zh) * 2009-10-19 2012-07-11 株式会社理光 测距相机装置
WO2011049149A1 (en) * 2009-10-19 2011-04-28 Ricoh Company, Ltd. Ranging camera apparatus
JP2011085539A (ja) * 2009-10-19 2011-04-28 Ricoh Co Ltd 測距カメラ装置
KR101458287B1 (ko) * 2009-10-19 2014-11-04 가부시키가이샤 리코 거리 측정용 카메라 장치
EP2491340A4 (en) * 2009-10-19 2014-12-24 Ricoh Co Ltd TELEMETRY PHOTOGRAPHIC APPARATUS
EP2491340A1 (en) * 2009-10-19 2012-08-29 Ricoh Company, Limited Ranging camera apparatus
US20120242835A1 (en) * 2009-12-25 2012-09-27 Xue Li Imaging device, on-vehicle imaging system, road surface appearance detection method, and object detection device
JP2011150686A (ja) * 2009-12-25 2011-08-04 Ricoh Co Ltd 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
US9317754B2 (en) 2009-12-25 2016-04-19 Ricoh Company, Ltd. Object identifying apparatus, moving body control apparatus, and information providing apparatus
JP2011150687A (ja) * 2009-12-25 2011-08-04 Ricoh Co Ltd 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
WO2011078300A1 (en) * 2009-12-25 2011-06-30 Ricoh Company, Ltd. Imaging device, on-vehicle imaging system, road surface appearance detection method, and object detection device
JP2012033149A (ja) * 2010-07-01 2012-02-16 Ricoh Co Ltd 物体識別装置
WO2012002552A1 (en) * 2010-07-01 2012-01-05 Ricoh Company, Ltd. Object identification device
KR101417571B1 (ko) * 2010-07-01 2014-07-08 가부시키가이샤 리코 물체 식별 장치
US8831286B2 (en) 2010-07-01 2014-09-09 Ricoh Company, Ltd. Object identification device
EP2439716A2 (en) 2010-09-16 2012-04-11 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
US9025027B2 (en) 2010-09-16 2015-05-05 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device, information presenting apparatus having object identification device, and spectroscopic image capturing apparatus
JP2012088785A (ja) * 2010-10-15 2012-05-10 Toyota Central R&D Labs Inc 対象物識別装置及びプログラム
WO2012137696A1 (ja) * 2011-04-06 2012-10-11 株式会社デンソー 車両用画像処理装置
JP2012221103A (ja) * 2011-04-06 2012-11-12 Denso Corp 車両用画像処理装置
JP2012230601A (ja) * 2011-04-27 2012-11-22 Nippon Yusoki Co Ltd 無人搬送車の誘導ライン撮像装置、および無人搬送車
KR101241225B1 (ko) * 2011-06-27 2013-03-13 현대자동차주식회사 차량의 영상 인식 시스템 및 그 방법
US8866960B2 (en) 2011-08-30 2014-10-21 Ricoh Company, Ltd. Imaging apparatus that adjusts light exposure by analyzing polarization components
US9269006B2 (en) 2012-01-19 2016-02-23 Ricoh Company, Ltd. Imaging apparatus, vehicle system, and image-processing method for image magnification and expansion
EP2618304A1 (en) 2012-01-19 2013-07-24 Ricoh Company, Ltd. Imaging apparatus, vehicle system having the same, and image-processing method
JP2013148504A (ja) * 2012-01-20 2013-08-01 Ricoh Co Ltd 画像処理システム及びそれを備えた車両
CN105473997A (zh) * 2013-08-20 2016-04-06 Khs有限责任公司 用于识别在透明膜下的代码的装置和方法
WO2015024734A1 (de) * 2013-08-20 2015-02-26 Khs Gmbh Vorrichtung und verfahren zur identifikation von codierungen unter einer transparenten folie
US9842237B2 (en) 2013-08-20 2017-12-12 Khs Gmbh Device and method for identifying an object at least partially covered by a transparent material
JP2015144421A (ja) * 2013-12-24 2015-08-06 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置
JP2015172926A (ja) * 2014-02-18 2015-10-01 パナソニックIpマネジメント株式会社 画像処理方法および画像処理装置
JP2015219569A (ja) * 2014-05-14 2015-12-07 株式会社デンソー 境界線認識装置および境界線認識プログラム
CN105083122A (zh) * 2014-05-23 2015-11-25 Lg电子株式会社 立体摄像头、车辆驾驶辅助装置及车辆
KR20150134920A (ko) * 2014-05-23 2015-12-02 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
US9626573B2 (en) 2014-07-23 2017-04-18 Denso Corporation Traffic lane marking recognition apparatus and traffic lane marking recognition program
US9911049B2 (en) 2014-12-25 2018-03-06 Denso Corporation Lane boundary line recognition apparatus
WO2022249562A1 (ja) * 2021-05-28 2022-12-01 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
JP3341664B2 (ja) 2002-11-05

Similar Documents

Publication Publication Date Title
JP3341664B2 (ja) 車両用ライン検出装置及び路上ライン検出方法並びにプログラムを記録した媒体
EP3509034B1 (en) Image filtering based on image gradients
US8520953B2 (en) Apparatus and method for extracting edges of image
US7646311B2 (en) Image processing for a traffic control system
KR101204556B1 (ko) 노이즈 제거 방법 및 이를 이용한 나이트 비젼 시스템
US20090245677A1 (en) Focus assist system and method
US20100079630A1 (en) Image processing apparatus, imaging device, image processing method, and computer program product
US20050195297A1 (en) Image processing apparatus and image processing method for correcting image data
US20090096899A1 (en) Method and apparatus for anisotropic demosaicing of image data
JP2006338556A (ja) 車両及び路面標示認識装置
JP2768042B2 (ja) 距離測定装置
US10110828B2 (en) Photographing apparatus and method for controlling photographing apparatus
US11544918B2 (en) Vehicle to infrastructure system and method with long wave infrared capability
CN114727024A (zh) 自动曝光参数调节方法、装置、存储介质及拍摄设备
JP2001043496A (ja) フェールセーフ機能を有する車外監視装置
US10462378B2 (en) Imaging apparatus
JP3377659B2 (ja) 物体検出装置及び物体検出方法
US7995107B2 (en) Enhancement of images
US20150249779A1 (en) Smoothing of ghost maps in a ghost artifact detection method for hdr image creation
KR101341243B1 (ko) 기상 현상으로 인해 훼손된 영상을 복원하는 장치 및 방법
KR101615381B1 (ko) 이미지 획득 방법 및 디지털 카메라 시스템
JP4023333B2 (ja) 車線検出装置
EP1562144B1 (en) Image processing apparatus and image processing method for correcting image data
JP2004185537A (ja) 走行車両検知システム
KR102662711B1 (ko) 편광 이미지 합성 장치 및 방법

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070823

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080823

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080823

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090823

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100823

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100823

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110823

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110823

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120823

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130823

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees