JP7831129B2 - センサ洗浄装置、センサ洗浄方法及びセンサ洗浄プログラム - Google Patents

センサ洗浄装置、センサ洗浄方法及びセンサ洗浄プログラム

Info

Publication number
JP7831129B2
JP7831129B2 JP2022079684A JP2022079684A JP7831129B2 JP 7831129 B2 JP7831129 B2 JP 7831129B2 JP 2022079684 A JP2022079684 A JP 2022079684A JP 2022079684 A JP2022079684 A JP 2022079684A JP 7831129 B2 JP7831129 B2 JP 7831129B2
Authority
JP
Japan
Prior art keywords
cleaning
sensors
dirt
control unit
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022079684A
Other languages
English (en)
Other versions
JP2023168057A5 (ja
JP2023168057A (ja
Inventor
尚太 足立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2022079684A priority Critical patent/JP7831129B2/ja
Priority to PCT/JP2023/012328 priority patent/WO2023218778A1/ja
Priority to CN202380040083.4A priority patent/CN119255940A/zh
Publication of JP2023168057A publication Critical patent/JP2023168057A/ja
Publication of JP2023168057A5 publication Critical patent/JP2023168057A5/ja
Priority to US18/945,725 priority patent/US20250065848A1/en
Application granted granted Critical
Publication of JP7831129B2 publication Critical patent/JP7831129B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/46Cleaning windscreens, windows or optical devices using liquid; Windscreen washers
    • B60S1/48Liquid supply therefor
    • B60S1/52Arrangement of nozzles; Liquid spreading means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/54Cleaning windscreens, windows or optical devices using gas, e.g. hot air
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/56Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/62Other vehicle fittings for cleaning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215Sensor drifts or sensor failures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Water Supply & Treatment (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、センサ洗浄装置、センサ洗浄方法及びセンサ洗浄プログラムに関する。
車両の自動運転では、カメラ等の撮像装置で取得した車両周囲の画像情報、及びLiDAR等のレーザ光で車両周囲を走査して得た車両外界の情報に基づいて、車両の加減速、旋回、及び制動等の制御を実行する。
従って、撮像装置及びLiDAR等のセンサにおいて、車両外界の情報取得に係るいわゆるセンサ面が汚れていると、車両外界の情報を正常に取得することが困難となる。センサ面とは、撮像装置であれば、撮影レンズ又は撮影レンズを保護する透明なガラスであり、LiDARであれば、レーザ光を外界に照射する発光部、及び外界で反射したレーザ光を受光する受光部である。
特許文献1には、車両の周囲の状況を認識する認識センサを高圧空気又は洗浄液で洗浄する発明が提案されている。
特開2019-162915号公報
認識センサを洗浄中は、車両外界の情報を洗浄中の認識センサから取得することが困難となるが、特許文献1に開示された発明は、車両に複数備わる認識センサのうち、洗浄対象の認識センサと同様の認識物体を、他の認識センサで認識している場合に、洗浄対象の認識センサを洗浄する。しかしながら、高圧空気を用いたエア洗浄の場合は認識センサの認識性能の低下はないので、洗浄対象の認識センサと同様の認識物体を、他の認識センサで認識している場合に、洗浄対象の認識センサを洗浄するという判断を特段要しない。
また、特許文献1に開示された発明は、洗浄液でセンサ面を洗浄する液洗浄の実施に際して、洗浄液を汚れと誤判定しないために、センサ面の汚れを検知する制御装置に「液洗浄中」を示す通知を要するが、かかる通知を行わないので、センサ面に付着した洗浄液を汚れと誤判定するおそれがあった。
本発明は上記課題に鑑みて創作されたものであり、エア洗浄と液洗浄とを的確に使い分けると共に、液洗浄の自動運転への影響を抑制したセンサ洗浄装置、センサ洗浄方法及びセンサ洗浄プログラムを得ることを目的とする。
上記目的を達成するために本発明に係るセンサ洗浄装置は、車両(300)周辺を監視する複数のセンサ(12A~12D、14A~14D)で取得した情報から前記車両(300)周辺の物体を検知する物体検知部(16)と、前記センサ(12A~12D、14A~14D)の汚れを検知する汚れ検知部(18)と、前記センサ(12A~12D、14A~14D)に高圧空気を噴射するエア洗浄を所定のエア洗浄時間継続する洗浄制御部(22)と、前記物体検知部(16)で検知した前記物体の情報を用いて前記車両の自動運転を制御すると共に、前記汚れ検知部が前記センサ(12A~12D、14A~14D)の汚れを検知し、かつ洗浄液による洗浄が可能と判定した場合に、前記センサ(12A~12D、14A~14D)を洗浄液で洗浄する指令を前記洗浄制御部(22)に出力する自動運転制御部(20)と、を含み、前記洗浄制御部(22)は、前記指令に従って前記センサ(12A~12D、14A~14D)に前記洗浄液を噴射して洗浄するように液洗浄アクチュエータ(24A~24H)を制御すると共に、前記センサ(12A~12D、14A~14D)を前記洗浄液により洗浄中であることを前記自動運転制御部(20)に通知する。
この様に構成することで、エア洗浄と液洗浄とを的確に使い分けると共に、液洗浄の自動運転への影響を抑制したセンサ洗浄装置、センサ洗浄方法及びセンサ洗浄プログラムを得ることができる。
本発明の第1実施形態において、車両の自動運転を制御する自動運転ECUと、自動運転に必要な車両の外界の情報を取得するセンサであるカメラと、同じく自動運転に必要な車両の外界の情報を取得するセンサであるLiDARと、カメラ及びLiDARを各々洗浄する洗浄アクチュエータの、各々の配置の一例を示した概略図である。 本発明の第1実施形態に係るセンサ洗浄装置の構成の一例を示したブロック図である。 本発明の第1実施形態に係るセンサ洗浄装置の処理の一例を示したフローチャートである。 センサ面に汚れ等の異物が付着した場合にカメラが取得した画像データの拡大図の一例である。 図4に示した画像データのヒストグラムの一例である。 本発明の第2実施形態に係るセンサ洗浄装置の構成の一例を示したブロック図である。 本発明の第3実施形態に係るセンサ洗浄装置の構成の一例を示したブロック図である。
[第1実施形態]
以下、本発明の第1実施形態を図面に基づいて説明する。図1は、車両300の自動運転を制御する自動運転ECU(Electronic Control Unit)10と、自動運転に必要な車両300の外界の情報を取得するセンサであるカメラ12A、12B、12C、12Dと、同じく自動運転に必要な車両300の外界の情報を取得するセンサであるLiDAR14A、14B、14C、14Dと、カメラ12A、12B、12C、12Dを各々洗浄する洗浄アクチュエータ24A、24B、24C、24Dと、LiDAR14A、14B、14C、14Dを各々洗浄する洗浄アクチュエータ24E、24F、24G、24Hとの、各々の配置の一例を示した概略図である。
図1に示したように、カメラ12Aは、車両300のフロントウィンドスクリーン上部等に設けられ、車両300の前方の画像を取得する。カメラ12Bは、車両300のリアウィンドスクリーン上部等に設けられ、車両300の後方の画像を取得する。カメラ12Cは、車両300の左側面に設けられ、車両300の左側面の画像を取得する。そして、カメラ12Dは、車両300の右側面に設けられ、車両300の右側面の画像を取得する。
LiDAR14A、14B、14C、14Dの各々は、車両300の外界へパルス状に照射したレーザ光照射に対する散乱光を測定し、遠距離にある対象までの距離、及び当該対象の性質を分析可能に構成されている。図1に示したように、LiDAR14Aは、車両300の例えばフロントバンパ等に設けられ、車両300の前方の情報を取得する。LiDAR14Bは、車両300の例えばリアバンパ等に設けられ、車両300の後方の情報を取得する。LiDAR14Cは、車両300の左側面に設けられ、車両300の左側面の情報を取得する。そして、LiDAR14Dは、車両300の右側面に設けられ、車両300の右側面の情報を取得する。
洗浄アクチュエータ24A、24B、24C、24Dは、自動運転ECU10の制御により、カメラ12A、12B、12C、12Dの各々に対して高圧エアを噴射するエア洗浄又は洗浄液を噴射する液洗浄を行う。また、洗浄アクチュエータ24E、24F、24G、24Hは、自動運転ECU10の制御により、LiDAR14A、14B、14C、14Dの各々に対してエア洗浄又は液洗浄を行う。洗浄アクチュエータ24A~24Hの各々は、エア洗浄及び液洗浄に加えて、高圧エアと洗浄液とをカメラ12A~12D、及びLiDAR14A~14Dの各々に噴射する気液混相洗浄を行ってもよい。
図2は、本実施形態に係るセンサ洗浄装置100の構成の一例を示したブロック図である。図1に示したように、自動運転ECU10には、複数のカメラ12(12A~12D)、LiDAR14(14A~14D)、及び「気体」、「液体」、及び「気液混相」のいずれかの洗浄手段を用いてセンサであるカメラ12及びLiDAR14センサを洗浄する装置である洗浄アクチュエータ24(24A~24H)が接続されている。
自動運転ECU10は、図2に示したように、カメラ12及びLiDAR14で取得した情報に基づいて車両300周囲の物体を検知する物体検知部16と、物体検知部16による検知結果に基づいて車両300の自動運転を制御する自動運転制御部20と、を備えている。
また、自動運転ECU10は、カメラ12及びLiDAR14の各々のセンサ面に付着した汚れを検知する汚れ検知部18と、汚れ検知部18による検知結果に基づいて洗浄アクチュエータ24を制御する洗浄制御部22とを備え、洗浄制御部22は洗浄アクチュエータ24を作動させて、カメラ12又はLiDAR14のセンサ面を洗浄する際に、洗浄対象であるセンサがカメラ12A~12D又はLiDAR14A~14Dのいずれであるかを自動運転制御部20に通知し、自動運転制御部20は、洗浄対象であるセンサのセンサ面に付着した洗浄液を汚れと認識しないようにする。前述のように、センサ面は、カメラ12であれば、撮影レンズ又は撮影レンズを保護する透明なガラスであり、LiDAR14であれば、レーザ光を外界に照射する発光部、及び外界で反射したレーザ光を受光する受光部である。
図3は、本実施形態に係るセンサ洗浄装置100の処理の一例を示したフローチャートである。図3に示した処理は、ステップS100に示したように、車両300の自動運転と共に開始され、自動運転とセンサの汚れ検知とが同時に開始される。
ステップS102では、汚れ検知部18が、センサ面の汚れを検知したか否かを判定する。センサ面の汚れは、センサがカメラ12の場合、カメラ12で取得した画像データからセンサ面の汚れの有無を判定する。また、センサがLiDAR14の場合、車両300の外界で反射してきたレーザ光(受信光)の光量が所定の第1光量閾値以下になった場合に、センサ面に汚れが付着していると判定する。
図4は、センサ面に汚れ等の異物が付着した場合にカメラ12が取得した画像データの拡大図の一例である。図4における正方形の各々は、画像データを構成する画素である。カメラ12のセンサ面に汚れ等の異物が存在しない場合、画素PXLのように、白色に近い輝度(画素値)を示すが、センサ面に汚れが存在する場合は、画素PXBのように黒に近い画素値を示す。
図5は、図4に示した画像データのヒストグラムの一例である。図5は、横軸に画素値、縦軸に画素数を各々設定している。本実施の形態では、所定画素数N以上存在する画素の画素値の最大値と最小値との差である輝度差ΔBが所定の第1輝度差閾値以上の場合に、センサ面に汚れ等の異物が存在すると判定する。所定画素数N未満の画素は、画像データに生じたノイズの可能性があるので、かかる画素は画素値の最大値及び最小値の判断に供しない。所定画素数Nは、カメラ12の仕様等によって異なるが、一例としてN=2m(m=2~4)である。
ステップS102でセンサ面には汚れ等の異物が存在すると判定した場合は、手順をステップS104へ移行する。ステップS102でセンサ面に汚れ等の異物が存在しないと判定した場合は、汚れ検知部18による汚れ検知を継続する。
ステップS104では、汚れ検知部18が、センサ面に付着した異物が水滴か否かを判定する。センサ面の水滴は、センサがカメラ12の場合、図5に示した輝度差ΔBが所定の第1輝度差閾値よりも大きな第2輝度差未満の場合に、センサ面に水滴が付着していると判定する。換言すれば、輝度差ΔBが所定の第2輝度差閾値以上の場合は、カメラ12のセンサ面に水滴ではない汚れが付着していると判定できる。所定の第1輝度差閾値、及び所定の第2輝度差閾値の各々は、例えば、カメラ12のセンサ面に汚れ又は水滴を付着させた状態で取得した画像情報に基づいて具体的に決定する。
センサがLiDAR14の場合、車両の外界で反射してきたレーザ光の光量が、所定の光量第1閾値よりも小さい所定の第2光量閾値よりも大きな場合に、センサ面に水滴が付着していると判定する。換言すれば、車両の外界で反射してきたレーザ光の光量が所定の第2閾値以下の場合は、LiDAR14のセンサ面に水滴ではない汚れが付着していると判定できる。所定の第1光量閾値、及び所定の第2光量閾値の各々は、例えば、LiDAR14のセンサ面に汚れ又は水滴を付着させた状態で受光した光量の変化に基づいて具体的に決定する。
ステップS104で、センサ面に水滴を検知した場合は手順をステップS106に移行し、センサ面に水滴を検知しなかった場合、すなわちセンサ面に水滴以外の汚れが付着していると思われる場合は手順をステップS112に移行する。
ステップS106では、洗浄制御部22は、洗浄アクチュエータ24を制御して、水滴が付着したと判定したセンサのセンサ面に高圧エアを噴射するエア洗浄を所定時間実施する。本実施形態では、ステップS106のエア洗浄中も、センサ面の汚れ検知を行う。また、ステップS106のエア洗浄における高圧エアの噴射圧、噴射量、及び所定時間は、例えば、実際にセンサ面に水滴を付着させた状態で、当該水滴を除去する実験等を通じて具体的に決定する。又は、後述するステップS108でのセンサ性能の改善の有無の判定までエア洗浄を継続し、ステップS108でセンサ性能の改善が見られない場合に、エア洗浄を中止する制御を行ってもよい。
ステップS108では、物体検知部16及び自動運転制御部20において、センサ性能が改善されたか否かを判定する。具体的には、センサがカメラ12の場合、図5に示した輝度差ΔBが、所定の第1輝度差閾値未満の場合に、センサ性能が改善したと判定する。また、センサがLiDAR14の場合、車両の外界で反射してきたレーザ光の光量が、所定の光量第1閾値よりも大きな場合に、センサ性能が改善したと判定する。
ステップS108で、センサ性能が改善した場合は手順をステップS102に移行し、センサ性能が改善しない場合は手順をステップS110に移行する。
ステップS110では、自動運転制御部20は、車両300の車速を低減する。車速の低減の程度は、走行車線の制限速度等に影響されるが、一例として、10~15km/hである。
ステップS112では、自動運転制御部20において、液洗浄制御が可能な否かを判定する。具体的には、洗浄対象であるセンサが洗浄液で覆われても自動運転のための物体検知に支障をきたさないか否かということと、車両300の周辺に歩行者又は二輪車等の、洗浄液がかかってはならない所定の対象が存在しない場合に、液洗浄制御が可能であると判定する。
より具体的には、液洗浄直前に物体検知部16が車両300の周囲の所定範囲内に歩行者又は二輪車(洗浄液がかかってはならない予め設定している物体)を検知しない場合であり、所定範囲は、洗浄アクチュエータ24の洗浄液の噴射圧及び噴射量等に応じて具体的に決定する。また、洗浄対象であるセンサが洗浄液で覆われても自動運転のための物体検知に支障をきたさない場合は、例えば、汚れ検知部18で検知した汚れが軽微で、洗浄液の噴射で簡単に除去できる場合、又は複数設けられたセンサであるカメラ12A~12D、及びLiDAR14A~14Dのうち、一部のセンサのみが洗浄対象であり、洗浄対象となっているセンサ以外が正常に機能している場合である。
汚れ検知部18で検知した汚れが軽微で、洗浄液の噴射で簡単に除去できる場合は、例えば、汚れ検知部18が、センサがカメラ12であれば、図5に示した輝度差ΔBが所定の第1輝度差閾値に略等しい場合であり、センサがLiDAR14であれば、車両300の外界で反射してきたレーザ光の光量が所定の第1光量閾値に略等しい場合である。
ステップS112で、液洗浄制御が可能な場合は、センサを洗浄液で洗浄する指令を洗浄制御部22に出力すると共に手順をステップS114に移行し、液洗浄制御が可能でない場合は手順をステップS102に移行する。
ステップS114では、洗浄制御部22において、液洗浄が可能か否かを判定する。具体的には、洗浄アクチュエータ24側の制約によって液洗浄を実行できない場合を「No」、できる場合を「Yes」と判定する。ステップS114における洗浄アクチュエータ24側の制約とは、例えば、複数のセンサが洗浄対象の場合、洗浄液を圧送するポンプの限界から複数センサを同時に液洗浄できないため、洗浄待機を強いられるセンサが発生してしまう場合、又は洗浄液が不足して洗浄自体ができない場合である。ステップS114で、液洗浄が可能な場合は手順をステップS116に移行し、液洗浄が可能でない場合は手順をステップS122に移行する。
ステップS116では、洗浄制御部22は、洗浄アクチュエータ24を制御して、洗浄対象のセンサのセンサ面に洗浄液を噴射する液洗浄を所定時間実施する。本実施形態では、ステップS116の液洗浄中も、センサ面の汚れ検知を行う。また、ステップS116の液洗浄における洗浄液の噴射圧、噴射量、及び所定時間は、例えば、実際にセンサ面に汚れを付着させた状態で、当該汚れを除去する実験等を通じて具体的に決定する。
ステップS118では、洗浄制御部22は、洗浄対象のセンサを液洗浄中であることを通知する。当該通知は、液洗浄により洗浄液がセンサ面を覆うことでセンサ検知に影響を及ぼすおそれがあることに加えて、車両300の周囲に洗浄液を飛散させるので実行される。一方で、エア洗浄は、洗浄が原因でセンサの検知や車両300の周辺に存在する物体に直接影響を及ぼさないため、エア洗浄に際して洗浄制御部22が自動運転制御部20に洗浄中であることを通知することを要しない。
ステップS120では、物体検知部16及び自動運転制御部20において、センサ性能が改善されたか否かを判定する。具体的には、センサがカメラ12の場合、図5に示した輝度差ΔBが、所定の第1輝度差閾値未満の場合に、センサ性能が改善したと判定する。また、センサがLiDAR14の場合、車両の外界で反射してきたレーザ光の光量が、所定の光量第1閾値よりも大きな場合に、センサ性能が改善したと判定する。
ステップS120でセンサ性能が改善した場合は、手順をステップS102に移行してセンサ面の汚れ検知を再開し、センサ性能が改善しない場合は手順をステップS122に移行する。
ステップS122では、自動運転制御部20において、自動運転から運転支援に切り替える。具体的には、物体検知部16で検知した障害物の警告表示、又は車線逸脱警報等である。又は、さらなる車速低減、自動車線変更の禁止等の自動運転レベルの低減、又は自動運転中止等の措置を実行してもよい。車速低減、車線変更の禁止等の自動運転レベルの低減、又は自動運転中止等の別は、汚れを除去できなかったセンサの位置に応じて異なる。例えば、車両300の前方の情報を取得するカメラ12A、又はLiDAR14Aのセンサ面の汚れを除去できなかった場合は、自動運転への影響が大きいので、自動運転を停止する措置がとられる。また、車両300の後方の情報を取得するカメラ12B、又はLiDAR14Bのセンサ面の汚れを除去できなかった場合は、例えば、車線変更の禁止等の自動運転レベルを低減する措置がとられる。さらに、車両300の側面の情報を取得するカメラ12C、12D、又はLiDAR14C、14Dのセンサ面の汚れを除去できなかった場合は、例えば、車速を低減する等の措置がとられる。
ステップS114では、自動運転制御部20は、運転者によって自動運転が停止されたか否かを判定する。ステップS124で、自動運転が停止された場合、自動運転制御部20は、洗浄液による洗浄を中止する指令を洗浄制御部22に出力して、図3に示した液洗浄を含む一連の処理を終了する。液洗浄を終了する場合でも、エア洗浄は継続して実行してもよい。ステップS124で、自動運転が停止されていない場合は、手順をステップS102に移行して、センサ面の汚れ検知を再開する。
以上説明したように、本実施形態では、エア洗浄と液洗浄とを的確に使い分けることにより、センサ面の汚れを効果的に取り除くことができる。また、本実施形態では、洗浄直前に物体検知部16が車両300の周囲の所定範囲内に歩行者又は二輪車を検知しない場合に液洗浄を行うことにより、周辺に配慮したセンサ洗浄を行うことができる。
さらに、本実施形態では、汚れ検知部18で検知した汚れが軽微で、洗浄液の噴射で簡単に除去できる場合、又は複数設けられたセンサであるカメラ12A~12D、及びLiDAR14A~14Dのうち、一部のセンサのみが洗浄対象であり、洗浄対象となっているセンサ以外が正常に機能している場合に液洗浄を実施すると共に、洗浄制御部22は、センサを洗浄中であることを自動運転制御部20に通知することにより、洗浄対象であるセンサが洗浄液で覆われても自動運転のための物体検知への影響を抑制することができる。
[第2実施形態]
続いて、本発明の第2実施形態について説明する。図6は、本実施形態に係るセンサ洗浄装置200の構成の一例を示したブロック図である。本実施形態では、洗浄制御部62が、自動運転ECU50とは独立した回路であることと、汚れ検知部18は、検知したセンサ面の汚れの情報を、洗浄制御部62のみならず、自動運転制御部20にも出力する点で第1実施形態と相違するが、その他の構成は第1実施形態と同一なので、第1実施形態と同一の構成については、第1実施形態と同じ符号を付して詳細な説明は省略する。
本実施形態では、図6に示したように、自動運転制御部20は、汚れ検知部18からセンサ面の汚れの情報を受け取ることにより、洗浄対象のセンサがどれであるか、また、洗浄対象のセンサを液洗浄した場合の物体検知への影響がどの程度かを逸早く判定することができる。
また、液洗浄によってもセンサ面の汚れが除去できなかった場合における自動運転レベルの低減、又は自動運転の停止等の制御へ迅速に移行させることができる。
[第3実施形態]
続いて、本発明の第3実施形態について説明する。図7は、本実施形態に係るセンサ洗浄装置210の構成の一例を示したブロック図である。本実施形態では、自動運転ECU70において、汚れ検知部18は、検知したセンサ面の汚れの情報を、洗浄制御部82には出力せず、自動運転制御部20に出力する点で第2実施形態と相違するが、その他の構成は第2実施形態と同一なので、第2実施形態と同一の構成については、第2実施形態と同じ符号を付して詳細な説明は省略する。
本実施形態では、物体検知部16による物体検知の情報と、汚れ検知部18によるセンサ面の汚れの情報とを集中的に自動運転制御部20に出力することにより、自動運転制御部20において、車両300の自動運転の制御と、センサ面の洗浄とを総合的に実行して、液洗浄の自動運転への影響を抑制することに資する。
10…自動運転ECU、12、12A、12B、12C、12D…カメラ、14、14A、14B、14C、14D…LiDAR、16…物体検知部、18…検知部、20…自動運転制御部、22…洗浄制御部、24、24A、24B、24C、24D、24E、24F、24G、24H…洗浄アクチュエータ、50…自動運転ECU、62…洗浄制御部、70…自動運転ECU、100、200、210…センサ洗浄装置、300…車両

Claims (10)

  1. 車両(300)に設けられたセンサ洗浄装置であって、
    車両(300)周辺を監視する複数のセンサ(12A~12D、14A~14D)で取得した情報から前記車両(300)周辺の物体を検知する物体検知部(16)と、
    前記センサ(12A~12D、14A~14D)の汚れを検知すると共に、前記汚れが水滴であるか否かを判定する汚れ検知部(18)と、
    前記汚れ検知部(18)が、前記センサ(12A~12D、14A~14D)のセンサ面に水滴が付着していると判定した場合に、前記センサ(12A~12D、14A~14D)に高圧空気を噴射するエア洗浄を所定のエア洗浄時間継続すると共に、自動運転制御部(20)からの指令に従って前記センサ(12A~12D、14A~14D)に洗浄液を噴射して洗浄するように液洗浄アクチュエータ(24A~24H)を制御し、かつ前記センサ(12A~12D、14A~14D)を前記洗浄液により洗浄中であることを前記自動運転制御部(20)に通知する洗浄制御部(22)と、
    前記物体検知部(16)で検知した前記物体の情報を用いて前記車両(300)の自動運転を制御すると共に、前記汚れ検知部が前記センサ(12A~12D、14A~14D)の汚れを検知し、かつ、前記センサ(12A~12D、14A~14D)が洗浄液で覆われても自動運転のための物体検知に支障をきたさず、かつ、前記車両(300)の周辺に洗浄液がかかってはならない所定の対象が存在しないと判定した場合に、前記センサ(12A~12D、14A~14D)を洗浄液で洗浄する指令を前記洗浄制御部(22)に出力する自動運転制御部(20)と、
    を含み、
    前記汚れ検知部(18)は、カメラであるセンサ(12A~12D)については、所定画素数以上存在する画素の画素値の最大値と最小値との差である輝度差が、前記センサ面に異物が存在すると判定するための閾値として定義された所定の第1輝度差閾値以上、かつ、前記センサ面に水滴ではない汚れが付着していると判定するための閾値として定義された第2輝度差閾値であって前記第1輝度差閾値よりも大きな第2輝度差閾値未満の場合に、前記センサ面に水滴が付着していると判定し、LiDARであるセンサ(14A~14D)については、前記車両(300)の外界で反射してきたレーザ光の光量が、前記センサ面に汚れが付着していると判定するための閾値として定義された所定の第1光量閾値以下、かつ、前記センサ面に水滴ではない汚れが付着していると判定するための閾値として定義された所定の第2光量閾値であって前記第1光量閾値よりも小さい第2光量閾値よりも大きい場合に、前記センサ面に水滴が付着していると判定し、
    前記洗浄制御部(22)は、前記センサ(12A~12D、14A~14D)をエア洗浄する場合は、前記センサ(12A~12D、14A~14D)を洗浄中であることを前記自動運転制御部(20)に通知しない
    センサ洗浄装置。
  2. 前記自動運転制御部(20)は、前記複数のセンサ(12A~12D、14A~14D)の一部のセンサが洗浄対象であり、かつ前記汚れ検知部(18)が前記洗浄対象であるセンサ以外のセンサの汚れを検知していない場合に、前記洗浄対象のセンサを洗浄液で洗浄する指令を前記洗浄制御部(22)に出力する
    請求項1に記載のセンサ洗浄装置。
  3. 前記自動運転制御部(20)は、前記洗浄液で前記センサ(12A~12D、14A~14D)を洗浄する際に、前記物体検知部(16)が前記センサ(12A~12D、14A~14D)から一定の範囲内に洗浄液がかかってはならない所定の対象を検知した場合は、前記洗浄液による前記センサ(12A~12D、14A~14D)の洗浄を中断する
    請求項1に記載のセンサ洗浄装置。
  4. 前記洗浄制御部(22)は、前記洗浄液の前記センサ(12A~12D、14A~14D)への噴射を所定の液洗浄時間継続し、
    前記自動運転制御部(20)は、前記洗浄液の噴射を前記所定の液洗浄時間継続した後になおも前記汚れ検知部(18)が前記センサ(12A~12D、14A~14D)の汚れを検知した場合に、自動運転における車速制限、自動運転レベルの低減、及び自動運転中止のいずれかの制御を行う
    請求項1~3のいずれか1項に記載のセンサ洗浄装置。
  5. 前記自動運転制御部(20)は、前記洗浄液の噴射を前記所定の液洗浄時間継続した後になおも前記汚れ検知部(18)が前記センサ(12A~12D、14A~14D)の汚れを検知した場合に、自動運転を運転支援に切り替えることで自動運転レベルを低減する
    請求項4に記載のセンサ洗浄装置。
  6. 前記自動運転制御部(20)は、自動運転を中止する場合、前記センサ(12A~12D、14A~14D)の洗浄液による洗浄を中止する指令を前記洗浄制御部(22)に出力する
    請求項4に記載のセンサ洗浄装置。
  7. 前記自動運転制御部(20)は、前記所定の液洗浄時間の間は前記センサ(12A~12D、14A~14D)に付着した前記洗浄液を汚れと認識しない
    請求項6に記載のセンサ洗浄装置。
  8. 前記自動運転制御部(20)は、前記エア洗浄を、前記所定のエア洗浄時間継続した後、前記センサ(12A~12D、14A~14D)の検知機能が改善しない場合、前記エア洗浄を中止し、洗浄液で洗浄する指令を前記洗浄制御部(22)に出力する
    請求項1に記載のセンサ洗浄装置。
  9. 車両(300)に設けられたセンサ洗浄装置が実行するセンサ洗浄方法であって、
    車両(300)周辺を監視する複数のセンサ(12A~12D、14A~14D)で取得した情報から前記車両(300)周辺の物体を検知する工程と、
    検知した前記物体の情報を用いて前記車両(300)の自動運転を制御する工程と、
    前記センサ(12A~12D、14A~14D)の汚れを検知すると共に、前記汚れが水滴であるか否かを判定する工程と、
    前記汚れを検知する工程において、前記センサ(12A~12D、14A~14D)のセンサ面に水滴が付着していると判定された場合に、前記センサ(12A~12D、14A~14D)に高圧空気を噴射するエア洗浄を所定のエア洗浄時間継続すると共に、自動運転制御部(20)からの指令に従って前記センサ(12A~12D、14A~14D)に洗浄液を噴射して洗浄するように液洗浄アクチュエータ(24A~24H)を制御し、かつ前記センサ(12A~12D、14A~14D)を前記洗浄液により洗浄中であることを前記自動運転制御部(20)に通知する工程と、
    前記センサ(12A~12D、14A~14D)の汚れを検知し、かつ洗浄液による洗浄が可能な場合に、前記センサ(12A~12D、14A~14D)に前記洗浄液を噴射して洗浄するように液洗浄アクチュエータ(24A~24H)を制御する工程と、
    を含み、
    前記判定する行程は、カメラであるセンサ(12A~12D)については、所定画素数以上存在する画素の画素値の最大値と最小値との差である輝度差が、前記センサ面に異物が存在すると判定するための閾値として定義された所定の第1輝度差閾値以上、かつ、前記センサ面に水滴ではない汚れが付着していると判定するための閾値として定義された第2輝度差閾値であって前記第1輝度差閾値よりも大きな第2輝度差閾値未満の場合に、前記センサ面に水滴が付着していると判定し、LiDARであるセンサ(14A~14D)については、前記車両(300)の外界で反射してきたレーザ光の光量が、前記センサ面に汚れが付着していると判定するための閾値として定義された所定の第1光量閾値以下、かつ、前記センサ面に水滴ではない汚れが付着していると判定するための閾値として定義された所定の第2光量閾値であって前記第1光量閾値よりも小さい第2光量閾値よりも大きい場合に、前記センサ面に水滴が付着していると判定し、
    前記通知する工程は、前記センサ(12A~12D、14A~14D)をエア洗浄する場合は、前記センサ(12A~12D、14A~14D)を洗浄中であることを前記自動運転制御部(20)に通知しない
    センサ洗浄方法。
  10. 車両(300)に設けられたセンサ洗浄装置が実行するセンサ洗浄プログラムであって、
    コンピュータを、
    車両(300)周辺を監視する複数のセンサ(12A~12D、14A~14D)で取得した情報から前記車両(300)周辺の物体を検知する物体検知部、前記センサ(12A~12D、14A~14D)の汚れを検知すると共に、前記汚れが水滴であるか否かを判定する汚れ検知部、前記汚れ検知部(18)が前記センサ(12A~12D、14A~14D)のセンサ面に水滴が付着していると判定した場合に、エア洗浄アクチュエータを制御して前記センサ(12A~12D、14A~14D)に高圧空気を噴射するエア洗浄を所定のエア洗浄時間継続すると共に、自動運転制御部(20)からの指令に従って前記センサ(12A~12D、14A~14D)に洗浄液を噴射して洗浄するように液洗浄アクチュエータ(24A~24H)を制御し、かつ前記センサ(12A~12D、14A~14D)を前記洗浄液により洗浄中であることを前記自動運転制御部(20)に通知する洗浄制御部、及び前記物体検知部(16)で検知した前記物体の情報を用いて前記車両(300)の自動運転を制御すると共に、前記汚れ検知部(18)が前記センサ(12A~12D、14A~14D)の汚れを検知し、かつ洗浄液による洗浄が可能と判定した場合に、前記センサ(12A~12D、14A~14D)を洗浄液で洗浄する指令を前記洗浄制御部(22)に出力する自動運転制御部として機能させ、
    前記汚れ検知部(18)は、カメラであるセンサ(12A~12D)については、所定画素数以上存在する画素の画素値の最大値と最小値との差である輝度差が、前記センサ面に異物が存在すると判定するための閾値として定義された所定の第1輝度差閾値以上、かつ、前記センサ面に水滴ではない汚れが付着していると判定するための閾値として定義された第2輝度差閾値であって前記第1輝度差閾値よりも大きな第2輝度差閾値未満の場合に、前記センサ面に水滴が付着していると判定し、LiDARであるセンサ(14A~14D)については、前記車両(300)の外界で反射してきたレーザ光の光量が、前記センサ面に汚れが付着していると判定するための閾値として定義された所定の第1光量閾値以下、かつ、前記センサ面に水滴ではない汚れが付着していると判定するための閾値として定義された所定の第2光量閾値であって前記第1光量閾値よりも小さい第2光量閾値よりも大きい場合に、前記センサ面に水滴が付着していると判定し、
    前記洗浄制御部(22)は、前記センサ(12A~12D、14A~14D)をエア洗浄する場合は、前記センサ(12A~12D、14A~14D)を洗浄中であることを前記自動運転制御部(20)に通知しない
    センサ洗浄プログラム。
JP2022079684A 2022-05-13 2022-05-13 センサ洗浄装置、センサ洗浄方法及びセンサ洗浄プログラム Active JP7831129B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022079684A JP7831129B2 (ja) 2022-05-13 2022-05-13 センサ洗浄装置、センサ洗浄方法及びセンサ洗浄プログラム
PCT/JP2023/012328 WO2023218778A1 (ja) 2022-05-13 2023-03-27 センサ洗浄装置、センサ洗浄方法及びセンサ洗浄プログラム
CN202380040083.4A CN119255940A (zh) 2022-05-13 2023-03-27 传感器清洗装置、传感器清洗方法和传感器清洗程序
US18/945,725 US20250065848A1 (en) 2022-05-13 2024-11-13 Sensor cleaning apparatus,sensor cleaning method, and sensor cleaning program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022079684A JP7831129B2 (ja) 2022-05-13 2022-05-13 センサ洗浄装置、センサ洗浄方法及びセンサ洗浄プログラム

Publications (3)

Publication Number Publication Date
JP2023168057A JP2023168057A (ja) 2023-11-24
JP2023168057A5 JP2023168057A5 (ja) 2024-05-01
JP7831129B2 true JP7831129B2 (ja) 2026-03-17

Family

ID=88730070

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022079684A Active JP7831129B2 (ja) 2022-05-13 2022-05-13 センサ洗浄装置、センサ洗浄方法及びセンサ洗浄プログラム

Country Status (4)

Country Link
US (1) US20250065848A1 (ja)
JP (1) JP7831129B2 (ja)
CN (1) CN119255940A (ja)
WO (1) WO2023218778A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014017519A1 (ja) 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置及び立体物検出方法
WO2019049381A1 (ja) 2017-09-11 2019-03-14 本田技研工業株式会社 車両
JP2019162915A (ja) 2018-03-19 2019-09-26 トヨタ自動車株式会社 車両走行制御システム
JP2019172085A (ja) 2018-03-28 2019-10-10 株式会社デンソー 車載センサ洗浄装置
JP2020128183A (ja) 2019-02-12 2020-08-27 トヨタ自動車株式会社 車両
JP2021115929A (ja) 2020-01-24 2021-08-10 トヨタ自動車株式会社 車載センサ洗浄装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014017519A1 (ja) 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置及び立体物検出方法
WO2019049381A1 (ja) 2017-09-11 2019-03-14 本田技研工業株式会社 車両
JP2019162915A (ja) 2018-03-19 2019-09-26 トヨタ自動車株式会社 車両走行制御システム
JP2019172085A (ja) 2018-03-28 2019-10-10 株式会社デンソー 車載センサ洗浄装置
JP2020128183A (ja) 2019-02-12 2020-08-27 トヨタ自動車株式会社 車両
JP2021115929A (ja) 2020-01-24 2021-08-10 トヨタ自動車株式会社 車載センサ洗浄装置

Also Published As

Publication number Publication date
US20250065848A1 (en) 2025-02-27
CN119255940A (zh) 2025-01-03
WO2023218778A1 (ja) 2023-11-16
JP2023168057A (ja) 2023-11-24

Similar Documents

Publication Publication Date Title
US11235735B2 (en) Vehicle control apparatus
JP6174975B2 (ja) 周囲環境認識装置
US9128813B2 (en) Method and device for assisting a driver while driving a vehicle by detecting weather-related visibility limitations
US10703340B2 (en) Sensor cleaning system
CN111051155B (zh) 车辆
CN111819119B (zh) 车辆用清洁系统及车辆系统
US20190202407A1 (en) Control apparatus and vehicle
JP2015195018A (ja) 画像処理装置、画像処理方法、運転支援システム、プログラム
WO2014084113A1 (ja) 車載画像処理装置
JP7352193B2 (ja) 車両のセンサ面洗浄装置
CN114940144B (zh) 清洗装置
CN113200022A (zh) 一种传感器的清洁方法、装置、设备及存储介质
CN103917989B (zh) 用于检测车辆风挡上的雨滴的方法和摄像头组件
JP7831129B2 (ja) センサ洗浄装置、センサ洗浄方法及びセンサ洗浄プログラム
JP7571479B2 (ja) 汚れ検出装置、汚れ検出方法、及び汚れ検出プログラム
JP2010121959A (ja) 視界状況判定装置、視界状況判定装置用プログラム及び視界状況判定方法
EP3671262B1 (en) Method and system for handling blind sectors of scanning layers of redundant sensors in a vehicle
US11834011B2 (en) Sensor cleaning system, sensor cleaning method, and vehicle
CN116829421A (zh) 传感器系统、车辆的控制方法以及车辆
JP2018067805A (ja) 撮像装置
US20240300451A1 (en) Sensor cleaning control device and method based on recognition of surrounding objects around a vehicle
JP7694375B2 (ja) 車両
US20240302510A1 (en) Sensor system
CN119001628A (zh) 车辆外部检测装置
CN117549861A (zh) 自动驾驶感知摄像头清洗方法、装置、控制器及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240422

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20241125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20251007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20251209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20260119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260216