JP2821041B2 - 画像処理方法 - Google Patents

画像処理方法

Info

Publication number
JP2821041B2
JP2821041B2 JP3093156A JP9315691A JP2821041B2 JP 2821041 B2 JP2821041 B2 JP 2821041B2 JP 3093156 A JP3093156 A JP 3093156A JP 9315691 A JP9315691 A JP 9315691A JP 2821041 B2 JP2821041 B2 JP 2821041B2
Authority
JP
Japan
Prior art keywords
image
image processing
contour
hood
raindrops
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP3093156A
Other languages
English (en)
Other versions
JPH04303047A (ja
Inventor
敏夫 伊東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daihatsu Motor Co Ltd
Original Assignee
Daihatsu Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daihatsu Motor Co Ltd filed Critical Daihatsu Motor Co Ltd
Priority to JP3093156A priority Critical patent/JP2821041B2/ja
Publication of JPH04303047A publication Critical patent/JPH04303047A/ja
Application granted granted Critical
Publication of JP2821041B2 publication Critical patent/JP2821041B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/06Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833Optical rain sensor
    • B60S1/0844Optical rain sensor including a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、車室内に搭載された
撮像手段により物体を撮像し、得られた画像を処理して
物体との距離検出や物体の認識等を行う画像処理方法に
関する。
【0002】
【従来の技術】従来、自動車の自動車庫入れや走行時の
追突警告などのために、画像処理によって自動車の後方
或いは前方との距離を自動的に検出することが行われて
おり、例えば図4に示すように、自動車1の車室内の前
部に前方を撮像する撮像手段である2台の二次元CCD
カメラ2a,2bが近接して並設され、両CCDカメラ
2a,2bによって前方の自動車などの物体が撮像さ
れ、図5に示すように、両CCDカメラ2a,2bによ
る画像が、画像処理手段3によって処理され、物体との
距離が演算によって検出されるようになっている。
【0003】つぎに、距離検出の演算は、本件出願人の
出願に係る特願平2−186669号の出願明細書及び
添付図面等に示されるように行われ、図5に示す左側の
CCDカメラ2aにより図6(a)に示すような前方の
自動車の画像(以下この画像を左画像という)が得ら
れ、右側のCCDカメラ2bにより図6(b)に示すよ
うな前方の自動車の画像(以下この画像を右画像とい
う)が得られたとすると、これら左画像と右画像を重ね
合わせたときに、両画像の対応する点が検索,即ち同定
(マッチング)され、これら両点A,B間のずれ量が視
差として導出され、この視差から物体との距離が算出さ
れる。
【0004】ところで、左,右画像の同定された所定の
水平ラインの濃度分布を重ね合わせると、図7に示すよ
うになり、一方の画像の濃度分布曲線を視差u分だけず
らしたものが他方の画像の濃度分布曲線となる。
【0005】
【発明が解決しようとする課題】しかし、図7はCCD
カメラ2a,2bの前方のフロントガラスに雨滴が付着
していない場合の濃度分布曲線であり、フロントガラス
に雨滴が付着すると、左,右画像の対応する水平ライン
の濃度分布曲線は、図8に示すように雨滴の影響でガタ
ガタになり、図8から明らかなように雨滴の影響のある
濃度分布曲線から正確な視差uを導出することができな
いため、雨天環境下において、従来の画像処理方法では
正確な距離を検出できないという問題点があった。
【0006】また、このような距離検出に限らず、ナン
バープレートなどの物体認識を行う場合にも、フロント
ガラスに雨滴の付着物やくもりなどがあると、正確な画
像データが得られず、同様の問題が生じる。
【0007】そこで、この発明は、上記のような問題点
を解消するためになされたもので、雨滴等の付着物の影
響のある画像かどうかを判断し、付着物の影響のある画
像を除外して精度の高い画像処理を行えるようにするこ
とを目的とする。
【0008】
【課題を解決するための手段】この発明に係る画像処理
方法は、自動車の車室内に搭載された撮像手段により周
囲の物体を撮像し、画像処理手段により得られた物体の
画像を処理して前記物体との距離検出,前記物体の認識
などを行う画像処理方法において、車体の一部が固定対
象物として前記撮像手段の視野内に入るように前記撮像
手段を設置し、付着物のない窓ガラスを通して得られる
前記固定対象物を含む画像から、前記画像処理手段によ
り前記固定対象物の輪郭を求めて予め記憶手段に記憶し
ておき、走行時に得られる前記固定対象物を含む画像か
ら求めた前記固定対象物の輪郭が、前記記憶手段に記憶
した輪郭に一致するか否か前記画像処理手段により比較
し、一致しないときに前記窓ガラスへの付着物の付着が
あると判断することを特徴としている。
【0009】
【作用】この発明においては、付着物のない窓ガラスを
通した撮像画像から求めた固定対象物の輪郭のデータが
記憶手段に記憶され、走行時の画像から求めた固定対象
物の輪郭が記憶手段に記憶した輪郭に一致しないときに
窓ガラスに雨滴などの付着物があると判断されるため、
付着物のある窓ガラスを通した画像を、画像処理データ
から除外することが可能になり、画像処理によって物体
との距離検出や物体認識を行う場合に、付着物の影響の
ない画像だけを処理することが可能になり、精度の高い
距離検出や物体認識を行える。
【0010】
【実施例】図1及び図2はこの発明の画像処理方法の一
実施例の動作説明図及び装置のブロック図である。
【0011】まず、図1に示すように、CCDカメラ2
a,2bの視野内に車体の一部の固定対象物として例え
ばフード4の前端部が入るようにCCDカメラ2a,2
bを車室内に設置する。
【0012】そして、上記のように設置したCCDカメ
ラ2a,2bにより付着物のないフロントガラスを通し
て前方を撮像し、得られたフード4を含む画像から、画
像処理手段3によりフード4の輪郭を求めて予め記憶手
段5に記憶しておき、その後の走行時に得られるフード
4を含む画像から求めたフード4の輪郭が画像処理手段
3に記憶した輪郭に一致したか否かを判断し、一致しな
いときに画像処理手段3によりフロントガラスへの雨滴
などの付着物があると判断し、このような判断結果に基
づき、ワイパ制御部6によりワイパを制御してフロント
ガラスを払拭し、払拭し終わった直後の窓ガラスを通し
たCCDカメラ2a,2bによる画像から、画像処理手
段3によりCCDカメラ2a,2bの視差を導出して前
方車両との間の距離を導出する。
【0013】ところで、画像処理手段3により画像中の
フード4の輪郭を求める方法として、CCDカメラ2a
又はCCDカメラ2bによる左又は右画像の各画素の濃
度を微分したのちに2値化する方法があり、これによっ
て、フード4の輪郭を表わす線,即ち輪郭線の位置がわ
かり、フロントガラスに雨滴が付着していない状態の画
像から、上記の方法によって基準となるフード4の輪郭
線のデータを記憶手段5に入力しておき、走行時の画像
から上記の方法によってフード4の輪郭線データを導出
し、導出した輪郭線データと記憶手段5に記憶した基準
の輪郭線データとを比較し、基準の輪郭線データに一致
するかどうか、即ちフード4の輪郭をトレースできたか
どうかを調べる。
【0014】このとき、走行時にフロントガラスに雨滴
が付着すると、走行時の画像が雨滴の影響を受け、この
ように雨滴の影響を受けた画像から導出した輪郭線は雨
滴の部分で歪むため、基準の輪郭線データと一致せず、
フード4の輪郭をトレースできない。
【0015】このように、画像処理手段3により、フー
ド4の輪郭をトレースできないと判断されると、フロン
トガラスに雨滴が付着していることがわかり、そのまま
では前方車両との正確な距離を導出できないため、ワイ
パ制御部6が動作してワイパが駆動され、フロントガラ
スが払拭される。
【0016】つぎに、一連の動作手順について図3のフ
ローチャートを参照して説明する。
【0017】まず、上記のように、何も付着していない
フロントガラスを通した画像からフード4の基準の輪郭
線データが求められて記憶手段5に予め記憶され、走行
時に得られる画像の各画素の濃度が微分され(ステップ
S1)、その後この微分データが2値化される(ステッ
プS2)。
【0018】このとき、CCDカメラ2a,2bは固定
して設置されているため、CCDカメラ2a,2bの視
野内でのフード4の位置は変らないため、ステップS1
において、前処理で求めて記憶したフード4の輪郭線の
近傍だけを微分処理すればよく、処理時間の短縮を図る
ことができる。
【0019】そして、画像処理手段3により上記したよ
うにフード4の輪郭のトレースが行われ(ステップS
3)、正確にトレースできた否かが判断され(ステップ
S4)、判定の結果NOであれば、フロントガラスに雨
滴が付着しているとして、ワイパ制御部6によりワイパ
が駆動され(ステップS5)、検出器により検出される
ワイパ可動部の位置がCCDカメラ2a,2bの視野外
にあるタイミングで、CCDカメラ2a,2bの画像デ
ータが画像処理手段3に取り込まれ(ステップS6)、
ステップS1に戻る。
【0020】一方、ステップS4の判定結果がYESで
あれば、フロントガラスには雨滴が付着しておらず、当
該画像に雨滴の影響がなく、そのまま処理して差支えな
いと判断され、CCDカメラ2a,2bによる両画像が
処理され(ステップS7)、視差が導出されて前方車両
との距離が算出される。
【0021】ところで、ステップS1からステップS3
までの処理はいずれか一方のCCDカメラによる画像に
ついてだけ行えばよく、必ずしもCCDカメラ2a,2
bによる両画像について行う必要はない。
【0022】従って、走行時の画像から求めたフード4
の輪郭が記憶手段5の基準の輪郭に一致せず、フード4
の輪郭を正確にトレースできないときに、フロントガラ
スに雨滴が付着していると判断できるため、雨滴の付着
したフロントガラスを通した画像を画像処理データから
除外することができ、ワイパ駆動によって雨滴が払拭さ
れた後の雨滴の影響のない画像だけを処理して精度の高
い距離検出を行うことが可能になる。
【0023】なお、上記実施例では、CCDカメラ2
a,2bを車室内前部に設け、画像処理により前方車両
との距離検出を行う場合について説明したが、CCDカ
メラ2a,2bを車室内後部に設け、例えば自動車庫入
れにおける後方物体との距離検出を行う場合に適用でき
るのは勿論であり、この場合固定対象物である車体の一
部として、ラゲージコンパートメントドアの後端部やリ
アバンパーなどがCCDカメラ2a,2bの視野内に入
るように設置すればよい。
【0024】さらに、距離検出以外に前方車両のナンバ
ープレートの認識、その他の物体認識に適用してもよい
のは言うまでもない。
【0025】また、上記実施例では、固定対象物として
フード4がCCDカメラ2a,2bの視野内に入るよう
にしたが、特にフード4に限定されるものではなく、車
体の一部であればよい。
【0026】一方、上記実施例では、トレースできない
ときにフロントガラスに雨滴が付着していると判断して
ワイパ制御部6によりワイパを駆動したが、雨滴ではな
くフロントガラスに水蒸気が結露して付着している場合
にも、この発明を同様に実施することができ、この場合
くもり止め制御手段によってくもり止めを作動させれば
よい。
【0027】
【発明の効果】以上のように、この発明の画像処理方法
によれば、付着物のない窓ガラスを通した撮像画像から
求めた固定対象物の輪郭のデータを記憶手段に記憶して
おき、走行時の画像から求めた固定対象物の輪郭と記憶
手段に記憶した輪郭と比較してこれらが一致しないとき
に窓ガラスに雨滴などの付着物があると判断するため、
画像処理によって物体との距離検出や物体認識を行う場
合に、雨滴の影響のある画像を除外することが可能にな
り、精度の高い距離検出や物体認識を行うことができ、
車載用の画像処理装置に好適である。
【図面の簡単な説明】
【図1】この発明の画像処理方法の一実施例の動作説明
図である。
【図2】図1に用いる装置のブロック図である。
【図3】図2の動作説明用フローチャートである。
【図4】この発明の背景となる画像処理装置の配置を示
す側面図である。
【図5】図4の装置の回路構成を示すブロック図であ
る。
【図6】図4の動作説明図である。
【図7】図4の動作説明図である。
【図8】図4の動作説明図である。
【符号の説明】
1 自動車 2a,2b CCDカメラ 3 画像処理手段 4 フード4(固定対象物) 5 記憶手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 FI H04N 7/18 G06F 15/62 380 (56)参考文献 特開 平4−243491(JP,A) 特開 平4−138791(JP,A) 特開 平4−138792(JP,A) 特開 平4−138950(JP,A) 特開 平1−178810(JP,A) 特開 平1−242916(JP,A) 特開 平2−218284(JP,A) 特開 昭59−156089(JP,A) (58)調査した分野(Int.Cl.6,DB名) B60R 21/00 G01C 3/06 G06F 15/62 G08G 1/04 G08G 1/16 H04N 7/18

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 自動車の車室内に搭載された撮像手段に
    より周囲の物体を撮像し、画像処理手段により得られた
    物体の画像を処理して前記物体との距離検出,前記物体
    の認識などを行う画像処理方法において、車体の一部が
    固定対象物として前記撮像手段の視野内に入るように前
    記撮像手段を設置し、付着物のない窓ガラスを通して得
    られる前記固定対象物を含む画像から、前記画像処理手
    段により前記固定対象物の輪郭を求めて予め記憶手段に
    記憶しておき、走行時に得られる前記固定対象物を含む
    画像から求めた前記固定対象物の輪郭が、前記記憶手段
    に記憶した輪郭に一致するか否か前記画像処理手段によ
    り比較し、一致しないときに前記窓ガラスへの付着物の
    付着があると判断することを特徴とする画像処理方法。
JP3093156A 1991-03-29 1991-03-29 画像処理方法 Expired - Fee Related JP2821041B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3093156A JP2821041B2 (ja) 1991-03-29 1991-03-29 画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3093156A JP2821041B2 (ja) 1991-03-29 1991-03-29 画像処理方法

Publications (2)

Publication Number Publication Date
JPH04303047A JPH04303047A (ja) 1992-10-27
JP2821041B2 true JP2821041B2 (ja) 1998-11-05

Family

ID=14074685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3093156A Expired - Fee Related JP2821041B2 (ja) 1991-03-29 1991-03-29 画像処理方法

Country Status (1)

Country Link
JP (1) JP2821041B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
DE10201522A1 (de) * 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erkennung von Sichtbehinderungen bei Bildsensorsystemen
ES2391556T3 (es) 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP4601376B2 (ja) * 2004-10-04 2010-12-22 ダイハツ工業株式会社 画像異常判定装置
US7972045B2 (en) 2006-08-11 2011-07-05 Donnelly Corporation Automatic headlamp control system
JP6668151B2 (ja) * 2016-04-12 2020-03-18 日立オートモティブシステムズ株式会社 車載光学装置および車載光学システム
US11027677B2 (en) * 2018-03-28 2021-06-08 GM Global Technology Operations LLC Camera based activation of heated wipers and windshield defrost

Also Published As

Publication number Publication date
JPH04303047A (ja) 1992-10-27

Similar Documents

Publication Publication Date Title
EP0945319B1 (en) Process for determining dynamic properties of motor vehicles
EP1671216B1 (en) Moving object detection using low illumination depth capable computer vision
KR100630088B1 (ko) 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
JP2821041B2 (ja) 画像処理方法
US20040057599A1 (en) Image processing apparatus and method
US20140176679A1 (en) Method for Automatically Classifying Moving Vehicles
JPH06282655A (ja) 移動体認識装置
JP3444192B2 (ja) 撮像環境推定装置
JP2006527427A (ja) 車両から対象物を位置測定して追跡する方法および装置
US20210179172A1 (en) Method and apparatus for determining a trailer hitch articulation angle in a motor vehicle
CN104380341A (zh) 车辆周边对象物检测装置
EP3140777A1 (en) Method for performing diagnosis of a camera system of a motor vehicle, camera system and motor vehicle
JP3655541B2 (ja) レーン検出装置
JP3157958B2 (ja) 先行車両認識方法
JP4798576B2 (ja) 付着物検出装置
JP2001021345A (ja) 障害物検出装置
JP2002197588A (ja) 走行車両のタイヤ種別判別方法,車種判別方法及び車種判別装置
CN108162867A (zh) 一种车道识别系统及车道识别方法
CN108162866A (zh) 一种基于流媒体外后视镜系统的车道识别系统及方法
JP4106163B2 (ja) 障害物検出装置及びその方法
JP3081660B2 (ja) 距離検出方法
US20230098440A1 (en) Imaging device, imaging system, and imaging method
JP4601376B2 (ja) 画像異常判定装置
JP3365168B2 (ja) 後方白線認識装置
JP2584671Y2 (ja) 自動車用測距装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees