JP5541412B2 - 走行支援装置及びその雨滴検出方法 - Google Patents

走行支援装置及びその雨滴検出方法 Download PDF

Info

Publication number
JP5541412B2
JP5541412B2 JP2013509827A JP2013509827A JP5541412B2 JP 5541412 B2 JP5541412 B2 JP 5541412B2 JP 2013509827 A JP2013509827 A JP 2013509827A JP 2013509827 A JP2013509827 A JP 2013509827A JP 5541412 B2 JP5541412 B2 JP 5541412B2
Authority
JP
Japan
Prior art keywords
edge
edge line
raindrop
degree
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013509827A
Other languages
English (en)
Other versions
JPWO2012140976A1 (ja
Inventor
千加夫 土谷
泰久 早川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2013509827A priority Critical patent/JP5541412B2/ja
Application granted granted Critical
Publication of JP5541412B2 publication Critical patent/JP5541412B2/ja
Publication of JPWO2012140976A1 publication Critical patent/JPWO2012140976A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Description

本発明は、走行支援装置及び雨滴検出方法に関する。
従来、車両に付着した雨滴を検出するための第1焦点距離と、車両の周辺を撮像するための第2焦点距離とを切替可能なカメラを備え、第1焦点距離においてカメラが撮像した画像から雨滴が付着したか否かを検出する車載用監視装置が提案されている(特許文献1参照)。
特開2005−225250号公報
しかしながら、特許文献1に記載の車載用監視装置は、雨滴を検出するために焦点距離を切り替えなければならず、周囲環境の検出精度の低下を招いてしまうおそれがある。なお、この問題は、車両に付着した雨滴を検出する場合に限らず、他の移動体(自動航行ロボットなど)に付着した雨滴を検出する場合であっても起こりうる問題である。
そこで、本発明は、周囲環境の検出精度の低下を抑えつつ、雨滴を検出することが可能な走行支援装置及びその雨滴検出方法を提供することを目的とする。
本発明の走行支援装置は、移動体周囲の撮像結果から移動体の運転者に対して各種情報を提供するものである。この走行支援装置は、移動体に搭載され、当該移動体の一部を含む周囲画像を撮像する撮像手段と、前記撮像手段により予め撮像された第1の周囲画像から検出された第1のエッジ線を記憶した第1のエッジ線記憶手段と、前記撮像手段により現在撮像した第2の周囲画像から第2のエッジ線を検出するエッジ検出手段と、前記第1のエッジ線記憶手段により記憶された前記第1のエッジ線と、前記エッジ検出手段により検出された前記第2のエッジ線との一致度を算出する算出手段と、前記第1のエッジ線と前記第2のエッジ線との一致度が低下することで、前記撮像手段のレンズ部に雨滴が付着していると判定する雨滴判定手段と、を備え、前記算出手段は、前記第1のエッジ線記憶手段により記憶された前記第1のエッジ線と前記エッジ検出手段により検出された前記第2のエッジ線との乖離度を算出し、前記雨滴判定手段は、前記乖離度が所定値以上である場合に、前記一致度が低下したと判断し、前記撮像手段のレンズ部に雨滴が付着していると判定することを最も主要な特徴としている。
また、本発明の雨滴検出方法は、移動体に搭載された撮像手段により、当該移動体の一部を含む周囲画像を撮像する撮像工程と、前記撮像工程において撮像された前記移動体の一部についてエッジ線を検出するエッジ検出工程と、前記撮像工程において予め撮像された第1の周囲画像から検出され、予め記憶されたエッジ線と、前記撮像工程において現在撮像した第2の周囲画像から検出されたエッジ線との一致度を算出する算出工程と、前記予め記憶されたエッジ線と前記第2の周囲画像から検出されたエッジ線との一致度が低下することで、前記撮像手段のレンズ部に雨滴が付着していると判定する雨滴判定工程と、を備え、前記算出工程は、前記撮像工程において過去に撮像された前記予め記憶されたエッジ線と前記第2の周囲画像から検出されたエッジ線との乖離度を算出し、前記雨滴判定工程は、前記乖離度が所定値以上である場合に、前記一致度が低下したと判断し、前記撮像手段のレンズ部に雨滴が付着していると判定することを主要な特徴としている。
本発明によれば、移動体の一部を含む周囲画像を撮像し、通常時に撮像された第1の周囲画像から検出された第1のエッジ線と、現在撮像した第2の周囲画像から検出された第2のエッジ線との一致度を算出するようにしている。そして、第1のエッジ線と第2のエッジ線との一致度が低下することで、撮像手段のレンズ部に雨滴が付着していると判定するようにしている。したがって、焦点距離を変化させることなく雨滴を検出することができ、周囲環境の検出精度の低下を抑えつつ、雨滴を検出することができる。
本発明の第1実施形態に係る走行支援装置の概略構成図であって、走行支援装置が車両に搭載される場合の例を示している。 図1に示した計算機の詳細を示すブロック図である。 図1及び図2に示したカメラにより撮像された画像を示す図である。 図3に示した乖離度算出部による乖離度算出の概要を示す図である。 本発明の第1実施形態に係る雨滴検出方法を示すフローチャートである。 本発明の第1実施形態の変形例に係る雨滴検出方法を示すフローチャートである。 本発明の第2実施形態に係る走行支援装置の計算機の詳細を示すブロック図である。 図7に示したカメラにより撮像された画像を示す図である。 本発明の第2実施形態に係る雨滴検出方法を示すフローチャートである。 本発明の第2実施形態の変形例に係る雨滴検出方法を示すフローチャートである。 本発明の第3実施形態に係る走行支援装置の計算機の詳細を示すブロック図である。 本発明の第3実施形態に係る雨滴検出方法を示すフローチャートである。 本発明の第4実施形態に係る走行支援装置の計算機の詳細を示すブロック図である。
以下、本発明の好適な実施形態を図面に基づいて説明する。なお、以下の複数の実施形態には、同様の構成要素が含まれている。よって、以下では、それら同様の構成要素には共通の符号を付与するとともに、重複する説明を省略する。
(第1実施形態)
図1は、本実施形態に係る走行支援装置1の概略構成図であって、走行支援装置1が移動体としての車両Vに搭載される場合の例を示している。図1に示す走行支援装置1は、自車両Vの周囲の撮像結果から自車両Vの運転者に対して各種情報を提供するものであって、カメラ(撮像手段)10と、計算機20と、警告装置30とを備えている。
図1に示すカメラ10は、自車両Vの後方における高さhの箇所において、光軸が水平から下向きに角度θ1となるように取り付けられている。カメラ10は、この位置から検出領域を撮像するようになっている。計算機20は、カメラ10により撮像された画像に基づいて、自車両Vの周囲に存在する障害物等を検出するものである。また、本実施形態において計算機20は、障害物等の検出に加えてカメラ10のレンズ部に雨滴が付着しているか否かを判断する構成となっている。
警告装置30は、計算機20により検出された障害物等が自車両Vに接触する可能性がある場合などに、自車両Vの運転者に警告するものである。更に警告装置30は、レンズ部に雨滴が付着している場合にも、その旨を運転者に警告する。なお、警告方法は、画像表示であったり音声告知であったりする。
また、本実施形態においてカメラ10は、自車両Vの後方を撮像すると共に、自車両Vの一部Pとしてのバンパーを撮像範囲内に含んでいる。すなわち、本実施形態にかかるカメラ(撮像手段)10は、移動体としての自車両Vに搭載され、当該自車両Vの一部Pを含む周囲画像(第1の周囲画像または第2の周囲画像)Iを撮像するものである。なお、自車両Vの一部はバンパーに限るものではなく、安定して撮像できる箇所であればよい。例えば、カメラ10の取り付け位置や光軸方向によっては、ナンバープレート、リアスポイラー、ルーフスポイラー、及びカメラ10の筐体などを撮像範囲内に含んでいてもよい。また、カメラ10の自車両Vへの搭載方法については、様々な方法を採用することができる。例えば、カメラ10を自車両Vに一体に組み付けて搭載するようにしてもよいし、自車両Vにカメラ10を取り外し可能に取り付けて搭載するようにしてもよい。
図2は、図1に示した計算機20の詳細を示すブロック図である。なお、図2においては、接続関係を明確とするためにカメラ10及び警告装置30についても図示するものとする。
図2に示すように計算機20は、現状エッジ検出部(エッジ検出手段)21と、基本エッジ記憶部(第1のエッジ線記憶手段:基本エッジ記憶手段)22と、乖離度算出部(算出手段)23と、雨滴判定部(雨滴判定手段)24とを備えている。
現状エッジ検出部21は、カメラ10により撮像された自車両Vの一部PについてエッジEを検出するものである。図3は、図1及び図2に示したカメラ10により撮像された周囲画像(第1の周囲画像および第2の周囲画像)Iを示す図である。図3に示すように、撮像画像には路面等に加えて自車両Vの一部P(例えばバンパー)が撮像されている。現状エッジ検出部21は、このような画像のうち、予め設定された所定領域A(移動体の一部を含む周囲画像Iの少なくとも一部:本実施形態では、自車両Vのバンパーが撮像される領域)についてエッジ(第2のエッジ線)E2を検出するものである。なお、エッジ検出の方法としては、SobelフィルタやLaplacianフィルタなどを適用した後に、所定の閾値で二値化する方法を用いることができる。
図3に示す例においては、撮像画像(周囲画像I)内にバンパーを含み、自車両Vのバンパーが撮像される領域を所定領域Aとしている。そのため、所定領域Aは撮像画像(周囲画像I)の中央下部辺りとなっている。しかしながら、バンパー以外の自車両Vの一部Pを撮像画像(周囲画像I)内に含む場合には、自車両Vの一部Pを含む他の箇所が所定領域Aとなるように適宜設定すればよい。
再度、図2を参照する。基本エッジ記憶部22は、カメラ10により撮像される自車両Vの一部Pについて基本となるエッジ形状(第1のエッジ線)E1を初期値として予め記憶したものである。本実施形態では、基本エッジ記憶部22は、カメラ(撮像手段)10により通常時に撮像された第1の周囲画像Iから検出された第1のエッジ線E1を基本となるエッジ形状(第1のエッジ線)E1として記憶している。
具体的には、基本エッジ記憶部22は、晴天時等の通常時(カメラ10のレンズ部に雨滴が付着していないとき)に、自車両Vの一部Pから得られるエッジ形状E1を予め記憶している。
このように、基本エッジ記憶部(基本エッジ記憶手段:第1のエッジ線記憶手段)22は、カメラ(撮像手段)10により通常時(晴天時等)に撮像された第1の周囲画像I(所定領域A)から検出された基本となるエッジ形状(第1のエッジ線)E1を記憶するものである。
また、現状エッジ検出部(エッジ検出手段)21は、カメラ(撮像手段)10により現在撮像した第2の周囲画像I(所定領域A)からエッジ(第2のエッジ線)E2を検出するものである。
乖離度算出部23は、カメラ(撮像手段)10により通常時(晴天時等)に撮像された第1の周囲画像I(所定領域A)から検出された基本となるエッジ形状(第1のエッジ線)E1と、カメラ(撮像手段)10により現在撮像した第2の周囲画像I(所定領域A)から検出されたエッジ(第2のエッジ線)E2との一致度を算出するものである。
具体的には、乖離度算出部23は、基本エッジ記憶部22により記憶されたエッジ形状(第1のエッジ線)E1と現状エッジ検出部21により検出されたエッジ(第2のエッジ線)E2との乖離度を算出している。このとき、エッジ(第2のエッジ線)E2としてカメラ(撮像手段)10により現在撮像した第2の周囲画像I(所定領域A)から検出されたものを用いている。
図4は、図3に示した乖離度算出部23による乖離度算出の概要を示す図である。なお、以下では乖離度の算出方法について2つの例を示すが、乖離度の算出方法は以下の2つに限られるものではない。
まず、第1の方法を説明する。図4に示すように、カメラ10のレンズ部に雨滴が付着している場合、すなわち、カメラ10のレンズ部に雨滴が付着した状態で撮像した第2の周囲画像I(所定領域A)を用いてエッジ検出を行った場合、現状エッジ検出部21により検出されたエッジ(第2のエッジ線:検出エッジ)E2と、基本エッジ記憶部22に記憶された基本となるエッジ形状(第1のエッジ線:基本エッジ)E1とは異なってしまう。レンズ部に付着した雨滴が新たなレンズを構成し、光を屈折させてしまうからである。
第1の方法において乖離度算出部23は、まず検出エッジ(第2のエッジ線)E2上の特定点P2と、これと対応すると予測される基本エッジ(第1のエッジ線)E1上の点P1とを抽出する。このとき、乖離度算出部23は、例えば特定点P2と画像縦方向に並ぶ点P1を対応する点として抽出する。そして、乖離度算出部23は、抽出した2点P1,P2が、何画素分離れているかを判断する。図4に示す例において2点P1,P2は2画素離れている。このため、乖離度算出部23は、2点P1,P2についての乖離度を「2」と判断する。
乖離度算出部23は、このような点P1,P2の乖離度を全点について行う。すなわち、乖離度算出部23は、検出エッジEと基本エッジEとの最左点から最右点に掛けて、特定点とこれと対応する点との乖離度を順次求めていき、これらの総和を最終的な乖離度として算出する。
次に、第2の方法について説明する。第2の方法において乖離度算出部23は、輝度勾配を利用する。すなわち、乖離度算出部23は、例えば対応する2点P1,P2のそれぞれについて輝度勾配方向(図4の符号D1,D2参照)を算出する。なお、基本エッジE1の輝度勾配方向D1については予め算出しておいてもよい。
次いで、乖離度算出部23は、両者の輝度勾配方向D1,D2がなす角θを求める。そして、乖離度算出部23は、2点P1,P2について乖離度をθと判断する。
乖離度算出部23は、このような点P1,P2の乖離度を全点について行う。すなわち、乖離度算出部23は、検出エッジEと基本エッジEとの最左点から最右点に掛けて、輝度勾配方向から乖離度を順次求めていき、これらの総和を最終的な乖離度として算出する。
再度、図2を参照する。雨滴判定部24は、第1のエッジ線と第2のエッジ線との一致度が低下することで、カメラ10のレンズ部に雨滴が付着していると判定するものである。具体的には、乖離度算出部23により算出された乖離度が所定値以上である場合に、一致度が低下したと判断して、カメラ10のレンズ部に雨滴が付着していると判定するものである。図4を参照して説明したように、レンズ部に雨滴が付着していると雨滴が新たなレンズを構成するため、検出エッジE2と基本エッジE1に乖離が発生してしまう。これに対して、レンズ部に雨滴が付着していない場合、理論的には検出エッジE2と基本エッジE1に乖離が発生しない。よって、雨滴判定部24は、乖離度が所定値以上である場合に、一致度が低下したと判断して、カメラ10のレンズ部に雨滴が付着していると判定する。また、雨滴判定部24は、カメラ10のレンズ部に雨滴が付着していると判定した場合、その旨を警告装置30に送信する。これにより、警告装置30は、音声や画像により雨滴が付着している旨(例えばカメラ視界が良好でない旨)を運転者に提示することとなる。
なお、一致度と乖離度とは表裏の関係にあり、例えば、上述の乖離度が所定値以上である場合には、乖離している(一致していない)と判定し、所定値未満である場合には、乖離していない(一致している)と判定することができる。
次に、フローチャートを参照して雨滴検出方法を説明する。図5は、本実施形態に係る雨滴検出方法を示すフローチャートである。
まず、上述したように、移動体としての自車両Vに搭載されたカメラ(撮像手段)10により、自車両Vの一部Pを含む現在の周囲画像(第2の周囲画像)Iを撮像する(撮像工程)。
次に、図5に示すように、現状エッジ検出部21が、カメラ10により撮像された所定領域Aについてエッジ検出する(S1)。このように、ステップS1では、撮像工程において現在撮像された自車両Vの一部Pについてエッジ(第2のエッジ線:検出エッジ)E2を検出するエッジ検出工程が行われる。
次いで、乖離度算出部23は、ステップS1において検出されたエッジE2と、基本エッジ記憶部22に記憶された基本エッジE1との乖離度を算出する(S2)。乖離度の算出方法については、図4を参照して説明した方法等が採用される。このように、ステップS2では、撮像工程において撮像される移動体の一部について予め記憶された基本エッジ(第1のエッジ線)E1とエッジ検出工程により検出されたエッジ(第2のエッジ線:検出エッジ)E2との乖離度を算出する算出工程が行われる。
次に、雨滴判定部24は、ステップS2において算出された乖離度が所定値以上であるか否かを判定する(S3)。そして、乖離度が所定値以上であると判定した場合(S3:YES)、雨滴判定部24は、一致度が低下したと判断して、レンズ部に雨滴が付着していると判定し、その旨を警告装置30に送信する。
このように、ステップS3では、算出工程において算出された乖離度が所定値以上である場合に、一致度が低下したと判断して、カメラ10のレンズ部に雨滴が付着していると判定する雨滴判定工程が行われる。
ここで、雨滴判定部24によりカメラ10のレンズ部に雨滴が付着していると判定された場合には、警告装置30にて、ステップS2において算出された乖離度の乖離度合いが所定値未満であるか否かを判定する(S4)。この乖離度の乖離度合いは、例えば、警告装置30に乖離度合い判定部を設け、この乖離度合い判定部に、ステップS2において算出された乖離度が、予め設定された所定値(ステップS3にて判断される所定値よりも大きな値)以上である場合に乖離度合いが高いと判定させ、それ未満である場合に乖離度合いが低いと判定させるようにすることができる。
そして、乖離度合いが所定値(ステップS4にて判断される値)未満であると判定した場合(S4:YES)、撮像工程において現在撮像された現在の周囲画像(第2の周囲画像)Iから他の車両(他の移動体)を検出する感度を低下させる(S5)。例えば、警告装置30に設けた検出感度低下手段によって、現在の周囲画像(第2の周囲画像)Iから他の移動体(他の車両)を図示せぬ車両検出部にて検出する際の検出閾値を上げるようにすることで、他の車両の検出感度を低下させるようにすることができる。
なお、車両検知の感度を低下させる方法は、全体の差分やエッジの閾値を調整することで全体の感度を低下させることも可能であるし、該当する部分(雨滴が付着した部分)の感度を部分的に低下させることも可能である。また、全体の感度を調整した上でさらに該当する部分(雨滴が付着した部分)の感度を部分的に低下させるようにすることも可能である。
その後、他の車両が存在する場合、警告装置30にて車両の存在を提示する(S6)。具体的には、図示せぬ車両検出部にて、他の車両(他の移動体)の検出を行い、他の車両(他の移動体)が検出された場合に、警告装置30にて車両の存在を提示するようにしている。その後、図5に示す処理が終了し、初めから繰り返される。
一方、乖離度合いが所定値(ステップS4にて判断される値)以上であると判定した場合(S4:NO)、警告装置30は、システムが作動できない旨を報知する(S7)。具体的には、乖離度合いが所定値(ステップS4にて判断される値)以上である場合には、カメラ10による他の車両の検知が行えない程度の雨滴がカメラ10のレンズ部に付着していると判定し、警告装置30の報知部によって、他の車両の検知が行えない旨が報知される。その後、図5に示す処理が終了し、初めから繰り返される。
ところで、乖離度が所定値未満であると判定した場合(S3:NO)、雨滴判定部24は、一致度が低下していないと判断し、カメラ10のレンズ部に雨滴が付着していないと判定する。その後、図5に示す処理が終了し、初めから繰り返される。
以上、説明したように、本実施形態に係る走行支援装置1及びその雨滴検出方法によれば、移動体としての自車両Vの一部Pを含む現在の周囲画像Iを撮像し、通常時に撮像された第1の周囲画像Iから検出された基本エッジ(第1のエッジ線)E1と、現在撮像した第2の周囲画像Iから検出されたエッジ(第2のエッジ線)E2との一致度を算出するようにしている。そして、基本エッジ(第1のエッジ線)E1とエッジ(第2のエッジ線)E2との一致度が低下することで、カメラ(撮像手段)10のレンズ部に雨滴が付着していると判定するようにしている。
具体的には、撮像範囲には自車両Vの周囲のみならず自車両Vの一部Pを含んでおり、エッジ検出した場合に得られるであろう自車両Vの一部Pのエッジを基本となるエッジ形状(第1のエッジ線)E1として記憶しておく。また、実際に撮像された自車両Vの一部Pについてエッジ(第2のエッジ線)E2を検出し、記憶内容との乖離度を算出し、乖離度が所定値以上である場合に、一致度が低下したと判断して、レンズ部に雨滴が付着していると判断する。ここで、雨滴がレンズ部に付着している場合、雨滴により光が屈折することとなり、記憶されたエッジ形状と検出したエッジとに乖離が発生する。よって、焦点距離を変化させることなく雨滴を検出することができ、周囲環境の検出精度の低下を抑えつつ、雨滴を検出することができる。
また、雨滴判定部(雨滴判定手段)24がカメラ(撮像手段)10のレンズ部に雨滴が付着していると判定した場合に、カメラ(撮像手段)10により現在撮像した第2の周囲画像Iから他の車両(他の移動体)を検出する感度を低下させるようにしている。そのため、レンズに雨滴が付着した状態のカメラ10を用いて他の車両(他の移動体)以外の物体を他の車両(他の移動体)であると検出してしまうのを抑制することができる。
また、カメラ10は光軸が水平方向に対して斜め下向きに設置されているため、レンズ部に付着した雨滴をレンズ下部の所定位置に留まらせることができる。これにより、雨滴が逐次変化してエッジ検出し難くなってしまう事態を抑制することができる。
また、輝度勾配方向の差から乖離度を算出するため、雨滴がレンズ系をなすことで輝度勾配が変化する現象を捉えることができ、雨滴の検出精度を向上させることができる。
(第1実施形態の変形例)
本変形例に係る走行支援装置1及びその雨滴検出方法は、基本的に上記第1実施形態のものと同様であるが、雨滴判定部24による雨滴判定後の処理が上記第1実施形態と異なっている。
以下では、図6のフローチャートを参照して本変形例に係る雨滴検出方法を説明する。
まず、ステップS11〜S13までは、上記第1実施形態と同様の処理が行われる。すなわち、移動体としての自車両Vに搭載されたカメラ(撮像手段)10により、自車両Vの一部Pを含む現在の周囲画像(第2の周囲画像)Iを撮像する。
そして、現状エッジ検出部21が、カメラ10により撮像された所定領域Aについてエッジ検出する(S11)。
次いで、乖離度算出部23は、ステップS11において検出されたエッジE2と、基本エッジ記憶部22に記憶された基本エッジE1との乖離度を算出する(S12)。なお、乖離度の算出方法についても、図4を参照して説明した方法等が採用される。
次に、雨滴判定部24は、ステップS12において算出された乖離度が所定値以上であるか否かを判定する(S13)。
そして、乖離度が所定値以上であると判定した場合(S13:YES)、雨滴判定部24は、一致度が低下したと判断して、レンズ部に雨滴が付着していると判定し、その旨を警告装置30に送信する。
ここで、雨滴判定部24によりカメラ10のレンズ部に雨滴が付着していると判定された場合には、周囲画像(第2の周囲画像)Iの所定領域Aの雨滴であると判定された部位での雨滴検出感度を低下させるようにする(S14)。例えば、警告装置30に設けた雨滴検出感度低下手段によって、現在の周囲画像(第2の周囲画像)Iの所定領域Aのうち、雨滴が付着した部分であると判定された部分の検出閾値を上げるようにすることで、他の部分よりも雨滴の検出感度を低下させるようにすることができる。
その後、図6に示す処理が終了し、初めから繰り返される。なお、カメラ10のレンズ部に雨滴が付着していると判定された場合、2回目以降のフローでは、所定領域Aの雨滴と判定された部位のみ感度を低下させ、それ以外の部位では、以前のままの感度で判定を行うこととなるため、雨滴付着の増加量を検出することになる。したがって、増加量が所定以上となった場合に、例えば、乖離度=雨滴検出乖離度×(1+増可量)のような補正をかけるようにすれば、急激な雨滴増可時にも対応することが可能となる。
また、雨滴付着で除外した部分については、時間経過とともに除外した部分を除外しないようにしていく、もしくは、除外してから所定時間経過した場合に除外をいったん解除する等の処理を行うのが好ましい。雨滴の付着状況は、雨滴の蒸発等で時間とともに変化するからである。
ところで、乖離度が所定値未満であると判定した場合(S13:NO)、雨滴判定部24は、一致度が低下していないと判断して、カメラ10のレンズ部に雨滴が付着していないと判定する。その後、図6に示す処理が終了し、初めから繰り返される。
以上の本変形例によっても、上記第1実施形態と同様の作用、効果を奏することができる。
また、本変形例によれば、雨滴判定部24によりカメラ10のレンズ部に雨滴が付着していると判定された場合には、周囲画像(第2の周囲画像)Iの所定領域Aの雨滴であると判定された部位での雨滴検出感度を低下させるようにしている。このように、雨滴が付着した部分における雨滴検出感度を低くすることで、新たに所定領域A付着した雨滴を検知しやすくなる。
(第2実施形態)
本実施形態に係る走行支援装置1A及びその雨滴検出方法は、基本的に上記第1実施形態のものと同様である。
すなわち、走行支援装置1Aは、自車両Vの周囲の撮像結果から自車両Vの運転者に対して各種情報を提供するものであって、カメラ(撮像手段)10と、計算機20Aと、警告装置30とを備えている。
このカメラ10も、移動体としての自車両Vに搭載され、自車両Vの一部Pを含む周囲画像(第1の周囲画像および第2の周囲画像)Iを撮像するものである。
そして、本実施形態では、計算機20Aは、図7に示すように、現状エッジ検出部(エッジ検出手段)21と、基本エッジ記憶部(第1のエッジ線記憶手段:基本エッジ記憶手段)22と、エッジ変化度算出部(算出手段)23Aと、雨滴判定部(雨滴判定手段)24とを備えている。
本実施形態では、現状エッジ検出部21は、図8に示すように、移動体としての自車両Vの一部Pを含む周囲画像(第1の周囲画像および第2の周囲画像)Iのうち、予め設定された所定領域A1(移動体の一部を含む周囲画像Iの少なくとも一部:本実施形態では、自車両Vのバンパー上部のバンパーが撮像されない領域)についてエッジ(第2のエッジ線)E2を検出するようにしている。
そして、エッジ変化度算出部(算出手段)23Aは、カメラ(撮像手段)10により通常時(晴天時等)に撮像された第1の周囲画像I(所定領域A1)から検出された基本となるエッジ形状(第1のエッジ線)E1と、カメラ(撮像手段)10により現在撮像した第2の周囲画像I(所定領域A1)から検出されたエッジ(第2のエッジ線)E2との一致度を算出するものである。
具体的には、エッジ変化度算出部(算出手段)23Aは、基本エッジ記憶部22により記憶されたエッジ形状(第1のエッジ線)E1と現状エッジ検出部21により検出されたエッジ(第2のエッジ線)E2との間のエッジ形状の変化度を算出している。このとき、エッジ(第2のエッジ線)E2としてカメラ(撮像手段)10により現在撮像した第2の周囲画像I(所定領域A1)から検出されたものを用いている。
なお、エッジ形状の変化度の算出方法についても、図4を参照して説明した方法等が採用される。このエッジ形状の変化度も一致度とは表裏の関係にある。
また、エッジ形状の変化度の算出方法として、周囲部分と比較をしてエッジそのものの発生が少ない部位を雨滴が付着していると判定する方法を採用することも可能である。
この方法を採用すると、雨滴が付着している部分は、以下のようにして判定されることとなる。
ます、所定領域A1として設定したバンパー上部は、定常的に路面が背景に安定して入る部位であり、そのエリアのエッジの強度(画素間の輝度差)は通常は一様となるものである。したがって、周囲部分と比較してエッジ強度が低い部分が存在していない場合には、雨滴が付着していないと判定することができる。そして、周囲部分と比較してエッジ強度が低い部分が存在する場合には、当該エッジ強度が低い部分を雨滴が付着している部分と判定することができる。具体的には、時系列的に見てエッジ強度が低い部位を積分していき(例えば、エッジ強度が所定以下の場合にその部位のカウンタを上昇させる)、その部位のカウンタが所定値以上となった場合に周囲との乖離度が大きくなったとして雨滴検出を行うようにする。なお、上記第1実施形態のように、自車両Vのバンパーが撮像される所定領域Aについてエッジ(第2のエッジ線)E2を検出する場合に、この方法を採用してもよい。すなわち、この処理を車体に対して実施をして通常の車体で発生するエッジ強度よりも低下した場合に、当該低下部分を雨滴が付着している部分と判定するようにしてもよい。
次に、フローチャートを参照して雨滴検出方法を説明する。図9は、本実施形態に係る雨滴検出方法を示すフローチャートである。
まず、移動体としての自車両Vに搭載されたカメラ(撮像手段)10により、自車両Vの一部Pを含む現在の周囲画像(第2の周囲画像)Iを撮像する(撮像工程)。
次に、図5に示すように、現状エッジ検出部21が、カメラ10により撮像された所定領域A1についてエッジ検出する(S21)。
次いで、エッジ変化度算出部(算出手段)23Aは、ステップS21において検出されたエッジE2と、基本エッジ記憶部22に記憶された基本エッジE1との間のエッジ形状の変化度を算出する(S22)。エッジ形状の変化度の算出方法については、上述の方法等が採用される。
次に、雨滴判定部24は、ステップS22において算出されたエッジ形状の変化度が所定値以上であるか否かを判定する(S23)。そして、エッジ形状の変化度が所定値未満であると判定した場合(S23:YES)、雨滴判定部24は、一致度が低下したと判断して、レンズ部に雨滴が付着していると判定し、その旨を警告装置30に送信する。
ここで、雨滴判定部24によりカメラ10のレンズ部に雨滴が付着していると判定された場合には、上記第1実施形態で示したステップS4からS6までの処理と同様の処理が行われる。
すなわち、警告装置30にて、ステップS22において算出されたエッジ形状の変化度の乖離度合いが所定値未満であるか否かを判定する(S24)。
そして、乖離度合いが所定値(ステップS24にて判断される値)未満であると判定した場合(S24:YES)、撮像工程において現在撮像された現在の周囲画像(第2の周囲画像)Iから他の車両(他の移動体)を検出する感度を低下させる(S25)。
その後、他の車両が存在する場合、警告装置30にて車両の存在を提示する(S26)。その後、図9に示す処理が終了し、初めから繰り返される。
一方、乖離度合いが所定値(ステップS24にて判断される値)以上であると判定した場合(S24:NO)、警告装置30は、システムが作動できない旨を報知する(S27)。その後、図9に示す処理が終了し、初めから繰り返される。
ところで、エッジ形状の変化度が所定値以上であると判定した場合(S23:NO)、雨滴判定部24は、一致度が低下していないと判断して、カメラ10のレンズ部に雨滴が付着していないと判定する。その後、図9に示す処理が終了し、初めから繰り返される。
以上の本実施形態によっても、上記第1実施形態と同様の作用、効果を奏することができる。
(第2実施形態の変形例)
本変形例に係る走行支援装置1A及びその雨滴検出方法は、基本的に上記第2実施形態のものと同様であるが、雨滴判定部24による雨滴判定後の処理が上記第2実施形態と異なっている。
以下では、図10のフローチャートを参照して本変形例に係る雨滴検出方法を説明する。
まず、ステップS31〜S33までは、上記第2実施形態と同様の処理が行われる。そして、ステップS34、S35では、上記第1実施形態の変形例と同様の処理が行われる。
すなわち、移動体としての自車両Vに搭載されたカメラ(撮像手段)10により、自車両Vの一部Pを含む現在の周囲画像(第2の周囲画像)Iを撮像する。
そして、現状エッジ検出部21が、カメラ10により撮像された所定領域A1についてエッジ検出する(S31)。
次いで、エッジ変化度算出部(算出手段)23Aは、ステップS31において検出されたエッジE2と、基本エッジ記憶部22に記憶された基本エッジE1との間のエッジ形状の変化度を算出する(S32)。エッジ形状の変化度の算出方法については、上述の方法等が採用される。
次に、雨滴判定部24は、ステップS32において算出されたエッジ形状の変化度が所定値以上であるか否かを判定する(S33)。
そして、エッジ形状の変化度が所定値未満であると判定した場合(S33:YES)、雨滴判定部24は、一致度が低下したと判断して、レンズ部に雨滴が付着していると判定し、その旨を警告装置30に送信する。
ここで、雨滴判定部24によりカメラ10のレンズ部に雨滴が付着していると判定された場合には、周囲画像(第2の周囲画像)Iの所定領域A1の雨滴であると判定された部位での雨滴検出感度を低下させるようにする(S34)。
その後、図10に示す処理が終了し、初めから繰り返される。
ところで、エッジ形状の変化度が所定値以上であると判定した場合(S33:NO)、雨滴判定部24は、一致度が低下していないと判断して、カメラ10のレンズ部に雨滴が付着していないと判定する。その後、図10に示す処理が終了し、初めから繰り返される。
以上の本変形例によっても、上記第1実施形態およびその変形例または上記第2実施形態と同様の作用、効果を奏することができる。
(第3実施形態)
本実施形態に係る走行支援装置1B及びその雨滴検出方法は、基本的に上記第1実施形態のものと同様である。
すなわち、走行支援装置1Bは、自車両Vの周囲の撮像結果から自車両Vの運転者に対して各種情報を提供するものであって、カメラ(撮像手段)10と、計算機20Bと、警告装置30とを備えている。
このカメラ10も、移動体としての自車両Vに搭載され、自車両Vの一部Pを含む周囲画像(第1の周囲画像および第2の周囲画像)Iを撮像するものである。
図11は、計算機20Bの詳細を示すブロック図である。なお、図11においては、接続関係を明確とするためにカメラ10及び警告装置30についても図示するものとする。
図11に示すように計算機20Bは、エッジ検出部(エッジ検出手段)21と、基本エッジ記憶部(基本エッジ記憶手段)22と、乖離度算出部(乖離度算出手段)23と、雨滴判定部(雨滴判断手段)24とを備えている。
エッジ検出部21は、カメラ10により撮像された自車両Vの一部についてエッジを検出するものである。撮像画像には路面等に加えて自車両Vの一部P(例えばバンパー)が撮像されている。エッジ検出部21は、このような画像のうち、予め設定された所定領域A(すなわち自車両Vのバンパーが撮像される領域)についてエッジEを検出する。
基本エッジ記憶部22は、カメラ10により撮像される自車両Vの一部Pについて基本となるエッジ形状(第1のエッジ線)E1を初期値として予め記憶したものである。本実施形態では、基本エッジ記憶部22は、カメラ(撮像手段)10により通常時に撮像された第1の周囲画像Iから検出された第1のエッジ線E1を基本となるエッジ形状(第1のエッジ線)E1として記憶している。
具体的には、基本エッジ記憶部22は、晴天時等の通常時(カメラ10のレンズ部に雨滴が付着していないとき)に、自車両Vの一部Pから得られるエッジ形状E1を予め記憶している。
このように、基本エッジ記憶部(第1のエッジ線記憶手段:基本エッジ記憶手段)22は、カメラ(撮像手段)10により通常時(晴天時等)に撮像された第1の周囲画像I(所定領域A)から検出された基本となるエッジ形状(第1のエッジ線)E1を記憶するものである。
また、エッジ検出部(エッジ検出手段)21は、カメラ(撮像手段)10により現在撮像した第2の周囲画像I(所定領域A)からエッジ(第2のエッジ線)E2を検出するものである。
乖離度算出部23は、カメラ(撮像手段)10により通常時(晴天時等)に撮像された第1の周囲画像I(所定領域A)から検出された基本となるエッジ形状(第1のエッジ線)E1と、カメラ(撮像手段)10により現在撮像した第2の周囲画像I(所定領域A)から検出されたエッジ(第2のエッジ線)E2との一致度を算出するものである。
具体的には、乖離度算出部23は、基本エッジ記憶部22により記憶されたエッジ形状(第1のエッジ線)E1と現状エッジ検出部21により検出されたエッジ(第2のエッジ線)E2との乖離度を算出している。このとき、エッジ(第2のエッジ線)E2としてカメラ(撮像手段)10により現在撮像した第2の周囲画像I(所定領域A)から検出されたものを用いている。
雨滴判定部24は、乖離度算出部23により算出された乖離度が所定値以上である場合に、一致度が低下したと判断して、カメラ10のレンズ部に雨滴が付着していると判定するものである。上記第1実施形態で、図4を参照して説明したように、レンズ部に雨滴が付着していると雨滴が新たなレンズを構成するため、検出エッジE2と基本エッジE1に乖離が発生してしまう。これに対して、レンズ部に雨滴が付着していない場合、理論的には検出エッジE2と基本エッジE1に乖離が発生しない。よって、雨滴判定部24は、乖離度が所定値以上である場合に、一致度が低下したと判断して、カメラ10のレンズ部に雨滴が付着していると判定する。また、雨滴判定部24は、カメラ10のレンズ部に雨滴が付着していると判定した場合、その旨を警告装置30に送信する。これにより、警告装置30は、音声や画像により雨滴が付着している旨(例えばカメラ視界が良好でない旨)を運転者に提示することとなる。
さらに、本実施形態では、基本エッジ記憶部22は、基本エッジE1の更新機能を備えている。すなわち、基本エッジ記憶部22は、乖離度算出部23により算出された乖離度が所定時間に亘り規定値以下であった場合に、所定時間中にエッジ検出部21により検出されたエッジを基本となるエッジ形状として記憶する。これにより、カメラ10の位置や光軸が徐々にずれてしまった場合においも、対応することができる。
次に、フローチャートを参照して雨滴検出方法を説明する。図12は、本実施形態に係る雨滴検出方法を示すフローチャートである。図12に示すように、まずエッジ検出部21は、移動体としての自車両Vに搭載されたカメラ10により撮像された所定領域Aについてエッジ検出する(S41)。次いで、乖離度算出部23は、ステップS41において検出された検出エッジE2と、基本エッジ記憶部22に記憶された基本エッジE1との乖離度を算出する(S42)。乖離度の算出方法については、図4を参照して説明した方法等が採用される。
次に、雨滴判定部24は、ステップS42において算出された乖離度が所定値以上であるか否かを判断する(S43)。乖離度が所定値以上であると判断した場合(S43:YES)、雨滴判定部24は、一致度が低下したと判断して、レンズ部に雨滴が付着していると判断し、その旨を警告装置30に送信する。これにより、警告装置30は、カメラ視界が良好でない旨の警告を行い(S44)、その後図12に示す処理は終了する。
一方、乖離度が所定値以上でないと判断した場合(S43:NO)、計算機20Bは、ステップS45〜S47において基本エッジE1の更新処理を実行する。具体的に更新処理は以下のように行われる。まず、乖離度算出部23は、今回処理における乖離度と前回処理における乖離度との差の絶対値を算出する(S45)。そして、乖離度算出部23は、過去所定処理周期に亘って絶対値を合計し、この合計が規定値未満であるか否かを判断する(S46)。
規定値未満であると判断した場合(S46:YES)、乖離度が所定時間に亘って小さかったといえ、算出された乖離度はカメラ10の位置や光軸が徐々にずれて発生したものと判断できる。よって、乖離度算出部23は、その旨の信号を基本エッジ記憶部22に送信し、基本エッジ記憶部22は所定時間中にエッジ検出部21により検出された検出エッジE2を基本エッジE1として更新する(S47)。その後、図12に示す処理は終了する。
なお、基本エッジE1として更新される検出エッジE2は、所定時間中に検出されたものであれば、最新の検出エッジE2であってもよいし、最古の検出エッジE2であってもよい。また、複数個の検出エッジE2の平均であってもよい。
ところで、乖離度の合計が規定値未満でないと判断した場合(S46:NO)、基本エッジE1は更新されることなく、図12に示す処理は終了する。
以上の本実施形態によっても、上記第1実施形態と同様の作用、効果を奏することができる。
また、乖離度が所定時間に亘り規定値未満である場合、所定時間中に検出されたエッジを基本となるエッジ形状として記憶するため、基本となるエッジ形状が更新されることとなり、車体部材の変形やカメラ10の取り付け姿勢等の変化に対して対応したエッジ形状を記憶しておくことができる。
(第4実施形態)
本実施形態に係る走行支援装置1C及びその雨滴検出方法は、基本的に上記第3実施形態のものと同様である。
図13は、第4実施形態に係る走行支援装置1Cの計算機20Cの詳細を示すブロック図である。なお、図13においては、接続関係を明確とするためにカメラ10及び警告装置30についても図示するものとする。
図13に示すように、第4実施形態において計算機20Cは、基本エッジ記憶部22に代えて過去エッジ記憶部(過去エッジ記憶手段:第1のエッジ線記憶手段)25を備えている。過去エッジ記憶部25は、エッジ検出部21により規定時間前(例えば前回処理時)に検出されたエッジを過去エッジとして記憶しておくものである。
このため、乖離度算出部23は、エッジ検出部21により今回処理において検出された検出エッジE2と、過去エッジ記憶部25により記憶された過去エッジ(第1のエッジ線)との乖離度を求めることとなる。そして、乖離度が所定値以上である場合、雨滴判定部24は、一致度が低下したと判断して、レンズ部に雨滴が付着していると判断し、警告装置30は、カメラ10の視界が良好でない旨の警告を行うこととなる。
次に、第4実施形態に係る雨滴検出方法を説明する。第4実施形態に係る雨滴検出方法では基本エッジE1の更新が行われない。このため、図12に示すステップS41〜S44の処理が実行され、ステップS43において「NO」と判断された場合、ステップS45〜S47の処理は実行されず、図12に示す処理は終了する。
以上の本実施形態によっても、上記第3実施形態と同様に、同様の作用、効果を奏することができる。
また、雨滴が逐次変化してエッジ検出し難くなってしまう事態を抑制することができ、雨滴がレンズ系をなすことで輝度勾配が変化する現象を捉えることができ、雨滴の検出精度を向上させることができる。
さらに、本実施形態によれば、過去エッジとの乖離度を算出するため、車両走行時の気流によって変化する雨滴のエッジ形状の時間変化を捉えることができ、雨滴の検出精度を向上させることができる。
以上、各実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものでは無く、本発明の趣旨を逸脱しない範囲で、変更を加えてもよいし、各実施形態を組み合わせてもよい。
例えば、上記各実施形態において、走行支援装置は車両に搭載されているが、これに限らず、二輪車や自動航行ロボット等に搭載されていてもよい。また、乖離度は、上記した方法にて算出される場合に限らず、他の方法にて算出されてもよい。
また、エッジ検出領域(所定領域)は、例えば、昼と夜とで、バンパーを含む領域とバンパー近傍のバンパーを含まない領域とを切り換えるようにしてもよい。
また、暗いところでは、輝度が高いものについて雨滴と判断されるように検出閾値を低く設定するようにしてもよい。
また、検知したエッジの形状が円形になればなるほど雨滴であると判定されるように検出閾値を低く設定するようにしてもよい。
特願2011−088727号(出願日:2011年4月13日)の全内容は、ここに援用される。
本発明によれば、周囲環境の検出精度の低下を抑えつつ、雨滴を検出することが可能な走行支援装置及びその雨滴検出方法を提供することができる。
1 走行支援装置
10 カメラ(撮像手段)
20 計算機
21 現状エッジ検出部(エッジ検出手段)
22 基本エッジ記憶部(基本エッジ記憶手段:第1のエッジ線記憶手段)
23 乖離度算出部(算出手段)
24 雨滴判定部(雨滴判断手段)
25 過去エッジ記憶部(過去エッジ記憶手段:第1のエッジ線記憶手段)
30 警告装置
V 自車両

Claims (13)

  1. 移動体周囲の撮像結果から移動体の運転者に対して各種情報を提供する走行支援装置であって、
    前記移動体に搭載され、当該移動体の一部を含む周囲画像を撮像する撮像手段と、
    前記撮像手段により予め撮像された第1の周囲画像から検出された第1のエッジ線を記憶した第1のエッジ線記憶手段と、
    前記撮像手段により現在撮像した第2の周囲画像から第2のエッジ線を検出するエッジ検出手段と、
    前記第1のエッジ線記憶手段により記憶された前記第1のエッジ線と、前記エッジ検出手段により検出された前記第2のエッジ線との一致度を算出する算出手段と、
    前記第1のエッジ線と前記第2のエッジ線との一致度が低下することで、前記撮像手段のレンズ部に雨滴が付着していると判定する雨滴判定手段と、を備え、
    前記算出手段、前記第1のエッジ線記憶手段により記憶された前記第1のエッジ線と前記エッジ検出手段により検出された前記第2のエッジ線との乖離度を算出し、
    前記雨滴判定手段は、前記乖離度が所定値以上である場合に、前記一致度が低下したと判断し、前記撮像手段のレンズ部に雨滴が付着していると判定することを特徴とする走行支援装置。
  2. 前記雨滴判定手段が前記撮像手段のレンズ部に雨滴が付着していると判定した場合に、前記撮像手段により現在撮像した第2の周囲画像から他の移動体を検出する感度を低下させる検出感度低下手段をさらに備えることを特徴とする請求項1に記載の走行支援装置。
  3. 前記雨滴判定手段が前記撮像手段のレンズ部に雨滴が付着していると判定した場合に、前記撮像手段により現在撮像した第2の周囲画像から雨滴を検出する感度を低下させる雨滴検出感度低下手段をさらに備えることを特徴とする請求項1に記載の走行支援装置。
  4. 前記雨滴検出感度低下手段は、前記雨滴判定手段が前記撮像手段のレンズ部に雨滴が付着していると判定した場合に、前記撮像手段により現在撮像した第2の周囲画像の雨滴が付着していると判定した部位の雨滴検出の感度を低下させることを特徴とする請求項3に記載の走行支援装置。
  5. 前記第1のエッジ線記憶手段は、前記算出手段により算出された乖離度が所定時間に亘り規定値以下であった場合に、前記所定時間中に前記エッジ検出手段により検出された第2のエッジ線を第1のエッジ線として記憶することを特徴とする請求項1〜4のうちいずれか1項に記載の走行支援装置。
  6. 前記第1のエッジ線記憶手段は、前記エッジ検出手段により規定時間前に検出された第2のエッジ線を第1のエッジ線として記憶することを特徴とする請求項1〜4のうちいずれか1項に記載の走行支援装置。
  7. 前記撮像手段は、光軸が水平方向に対して斜め下向きに設置されていることを特徴とする請求項1〜6のうちいずれか1項に記載の走行支援装置。
  8. 前記算出手段は、前記エッジ検出手段により検出された第2のエッジ線の特定点と、当該特定点と対応する記憶された第1のエッジ線上の点とが何画素分離れているか判断することで、乖離度を算出することを特徴とする請求項1〜7のうちいずれか1項に記載の走行支援装置。
  9. 前記算出手段は、前記エッジ検出手段により検出された第2のエッジ線の特定点と、当該特定点と対応する記憶された第1のエッジ線上の点とが何画素分離れているかの判断を全点において行い、これらの総和を乖離度として算出することを特徴とする請求項8に記載の走行支援装置。
  10. 前記算出手段は、前記エッジ検出手段により検出された第2のエッジ線の特定点と、当該特定点と対応する記憶された第1のエッジ線上の点とのそれぞれの輝度勾配方向の差から、乖離度を算出することを特徴とする請求項1〜7のうちいずれか1項に記載の走行支援装置。
  11. 前記算出手段は、前記エッジ検出手段により検出された第2のエッジ線の特定点の輝度勾配方向と、当該特定点と対応する記憶された第1のエッジ線上の点の輝度勾配方向とのなす角を全点において求め、これらの総和を乖離度として算出することを特徴とする請求項10に記載の走行支援装置。
  12. 移動体周囲の撮像結果から移動体の運転者に対して各種情報を提供する走行支援装置の雨滴検出方法であって、
    前記移動体に搭載された撮像手段により、当該移動体の一部を含む周囲画像を撮像する撮像工程と、
    前記撮像工程において撮像された前記移動体の一部についてエッジ線を検出するエッジ検出工程と、
    前記撮像工程において予め撮像された第1の周囲画像から検出され、予め記憶されたエッジ線と、前記撮像工程において現在撮像した第2の周囲画像から検出されたエッジ線との一致度を算出する算出工程と、
    前記予め記憶されたエッジ線と前記第2の周囲画像から検出されたエッジ線との一致度が低下することで、前記撮像手段のレンズ部に雨滴が付着していると判定する雨滴判定工程と、を備え、
    前記算出工程は、前記撮像工程において撮像される前記移動体の一部について予め記憶された基本となる前記予め記憶されたエッジ線と前記第2の周囲画像から検出されたエッジ線との乖離度を算出し、
    前記雨滴判定工程は、前記乖離度が所定値以上である場合に、前記一致度が低下したと判断し、前記撮像手段のレンズ部に雨滴が付着していると判定することを特徴とする走行支援装置の雨滴検出方法。
  13. 移動体周囲の撮像結果から移動体の運転者に対して各種情報を提供する走行支援装置の雨滴検出方法であって、
    前記移動体に搭載された撮像手段により、当該移動体の一部を含む周囲画像を撮像する撮像工程と、
    前記撮像工程において撮像された前記移動体の一部についてエッジ線を検出するエッジ検出工程と、
    前記撮像工程において予め撮像された第1の周囲画像から検出され、予め記憶されたエッジ線と、前記撮像工程において現在撮像した第2の周囲画像から検出されたエッジ線との一致度を算出する算出工程と、
    前記予め記憶されたエッジ線と前記第2の周囲画像から検出されたエッジ線との一致度が低下することで、前記撮像手段のレンズ部に雨滴が付着していると判定する雨滴判定工程と、を備え、
    前記算出工程は、前記撮像工程において過去に撮像された前記予め記憶されたエッジ線と前記第2の周囲画像から検出されたエッジ線との乖離度を算出し、
    前記雨滴判定工程は、前記乖離度が所定値以上である場合に、前記一致度が低下したと判断し、前記撮像手段のレンズ部に雨滴が付着していると判定することを特徴とする走行支援装置の雨滴検出方法。
JP2013509827A 2011-04-13 2012-03-08 走行支援装置及びその雨滴検出方法 Active JP5541412B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013509827A JP5541412B2 (ja) 2011-04-13 2012-03-08 走行支援装置及びその雨滴検出方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011088727 2011-04-13
JP2011088727 2011-04-13
JP2013509827A JP5541412B2 (ja) 2011-04-13 2012-03-08 走行支援装置及びその雨滴検出方法
PCT/JP2012/055900 WO2012140976A1 (ja) 2011-04-13 2012-03-08 走行支援装置及びその雨滴検出方法

Publications (2)

Publication Number Publication Date
JP5541412B2 true JP5541412B2 (ja) 2014-07-09
JPWO2012140976A1 JPWO2012140976A1 (ja) 2014-07-28

Family

ID=47009158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013509827A Active JP5541412B2 (ja) 2011-04-13 2012-03-08 走行支援装置及びその雨滴検出方法

Country Status (9)

Country Link
US (1) US20140028849A1 (ja)
EP (1) EP2698981B1 (ja)
JP (1) JP5541412B2 (ja)
CN (1) CN103477624A (ja)
BR (1) BR112013026165B1 (ja)
MX (1) MX336104B (ja)
MY (1) MY171160A (ja)
RU (1) RU2558947C2 (ja)
WO (1) WO2012140976A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6120395B2 (ja) * 2012-07-03 2017-04-26 クラリオン株式会社 車載装置
JP6045889B2 (ja) * 2012-11-27 2016-12-14 クラリオン株式会社 車載用制御装置
CN103543638B (zh) * 2013-10-10 2015-10-21 山东神戎电子股份有限公司 一种自动雨刷控制方法
KR20150076759A (ko) * 2013-12-27 2015-07-07 주식회사 만도 차량용 카메라의 제어 장치 및 방법
JP6246014B2 (ja) * 2014-02-18 2017-12-13 クラリオン株式会社 外界認識システム、車両、及びカメラの汚れ検出方法
JP6338930B2 (ja) * 2014-05-23 2018-06-06 カルソニックカンセイ株式会社 車両周囲表示装置
EP3144853B1 (en) * 2015-09-18 2020-03-18 Continental Automotive GmbH Detection of water droplets on a vehicle camera lens
CN108489547A (zh) * 2018-04-09 2018-09-04 湖南农业大学 一种雨滴参数测试装置
JP7151476B2 (ja) * 2018-12-28 2022-10-12 株式会社デンソーテン 付着物検出装置、および付着物検出方法
JP7371679B2 (ja) * 2019-02-18 2023-10-31 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP7188336B2 (ja) * 2019-09-20 2022-12-13 株式会社デンソーテン 付着物検出装置、および付着物検出方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268677A (ja) * 2005-03-25 2006-10-05 Secom Co Ltd センシング装置
JP2007109166A (ja) * 2005-10-17 2007-04-26 Sanyo Electric Co Ltd 運転支援システム
JP2010081273A (ja) * 2008-09-26 2010-04-08 Mitsuba Corp ワイパ装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6392218B1 (en) * 2000-04-07 2002-05-21 Iteris, Inc. Vehicle rain sensor
US8180099B2 (en) * 2002-07-16 2012-05-15 Trw Limited Rain detection apparatus and method
JP2005162168A (ja) * 2003-12-05 2005-06-23 Calsonic Kansei Corp リアワイパ装置
JP2005225250A (ja) 2004-02-10 2005-08-25 Murakami Corp 車載用監視装置
RU39435U1 (ru) * 2004-04-07 2004-07-27 Волгин Сергей Алексеевич Интерактивная система видеоконтроля для автомобилей
US7742634B2 (en) * 2005-03-15 2010-06-22 Omron Corporation Image processing method, three-dimensional position measuring method and image processing apparatus
JP4353127B2 (ja) * 2005-04-11 2009-10-28 株式会社デンソー レインセンサ
JP4585456B2 (ja) * 2006-01-23 2010-11-24 株式会社東芝 ボケ変換装置
JP5022609B2 (ja) * 2006-02-27 2012-09-12 日立オートモティブシステムズ株式会社 撮像環境認識装置
JP4654208B2 (ja) * 2007-02-13 2011-03-16 日立オートモティブシステムズ株式会社 車載用走行環境認識装置
EP2293588A1 (en) * 2009-08-31 2011-03-09 Robert Bosch GmbH Method for using a stereovision camera arrangement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268677A (ja) * 2005-03-25 2006-10-05 Secom Co Ltd センシング装置
JP2007109166A (ja) * 2005-10-17 2007-04-26 Sanyo Electric Co Ltd 運転支援システム
JP2010081273A (ja) * 2008-09-26 2010-04-08 Mitsuba Corp ワイパ装置

Also Published As

Publication number Publication date
EP2698981A1 (en) 2014-02-19
RU2558947C2 (ru) 2015-08-10
BR112013026165A2 (pt) 2020-10-27
JPWO2012140976A1 (ja) 2014-07-28
US20140028849A1 (en) 2014-01-30
MX336104B (es) 2016-01-08
MY171160A (en) 2019-09-27
RU2013150508A (ru) 2015-05-27
CN103477624A (zh) 2013-12-25
EP2698981B1 (en) 2021-08-18
MX2013011754A (es) 2013-11-04
WO2012140976A1 (ja) 2012-10-18
EP2698981A4 (en) 2014-10-01
BR112013026165A8 (pt) 2021-03-16
BR112013026165B1 (pt) 2021-08-03

Similar Documents

Publication Publication Date Title
JP5541412B2 (ja) 走行支援装置及びその雨滴検出方法
US20220245953A1 (en) Vehicular imaging system
JP4856612B2 (ja) 物体検出装置
JP5022609B2 (ja) 撮像環境認識装置
JP6755161B2 (ja) 付着物検出装置および付着物検出方法
JP5706874B2 (ja) 車両の周辺監視装置
JP5421072B2 (ja) 接近物体検知システム
JP4130434B2 (ja) 撮像装置の異常検知装置
JP5480917B2 (ja) 車両周辺監視装置
JP5421999B2 (ja) 車両用周囲監視装置
JP2010097561A (ja) 車両周辺監視装置
US20150302257A1 (en) On-Vehicle Control Device
JP2008158958A (ja) 路面判別方法および路面判別装置。
JP5680436B2 (ja) 車載カメラレンズ用異物付着判定装置
JP4980970B2 (ja) 撮像手段の調整装置および物体検出装置
JP6089767B2 (ja) 画像処理装置、撮像装置、移動体制御システム及びプログラム
WO2010007718A1 (ja) 車両周辺監視装置
JP6701327B2 (ja) グレア検出方法及び装置
JP2010108182A (ja) 車両の運転支援装置
JP2014106740A (ja) 車載用駐車枠認識装置
JP2010191666A (ja) 車両の周辺監視装置
JP2008042759A (ja) 画像処理装置
JP6785172B2 (ja) 車両用映像表示装置
JP4975776B2 (ja) 車両周辺監視装置
JP2016022845A (ja) 車載画像処理装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140421

R151 Written notification of patent or utility model registration

Ref document number: 5541412

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151