JP7452341B2 - 洗浄制御装置、洗浄制御方法、洗浄制御プログラム - Google Patents
洗浄制御装置、洗浄制御方法、洗浄制御プログラム Download PDFInfo
- Publication number
- JP7452341B2 JP7452341B2 JP2020153237A JP2020153237A JP7452341B2 JP 7452341 B2 JP7452341 B2 JP 7452341B2 JP 2020153237 A JP2020153237 A JP 2020153237A JP 2020153237 A JP2020153237 A JP 2020153237A JP 7452341 B2 JP7452341 B2 JP 7452341B2
- Authority
- JP
- Japan
- Prior art keywords
- cleaning
- optical sensor
- control
- intensity
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004140 cleaning Methods 0.000 title claims description 240
- 238000000034 method Methods 0.000 title claims description 37
- 230000003287 optical effect Effects 0.000 claims description 100
- 230000008859 change Effects 0.000 claims description 56
- 238000000605 extraction Methods 0.000 claims description 46
- 239000000284 extract Substances 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 239000000470 constituent Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S1/00—Cleaning of vehicles
- B60S1/02—Cleaning windscreens, windows or optical devices
- B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
- G01S2007/4975—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
- G01S2007/4975—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
- G01S2007/4977—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen including means to prevent or remove the obstruction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Mechanical Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本開示は、車両のセンサ系に対する洗浄系の制御技術に、関する。
車両のセンサ系では、センシング領域から光の入射する入射面に汚れが付着すると、センシング精度の低下を招くことが知られている。そこで、入射面に汚れが付着した場合には、当該入射面を洗浄する必要がある。特に近年、車両の自動運転モードにおける入射面の洗浄は、自動運転の継続性を左右するため、重要となっている。
ここで特許文献1には、入射面の汚れを判定する技術が、開示されている。この開示技術では、光照射に対する反射光の強度変化に基づくことで、入射面の汚れが判定されている。
しかし、特許文献1の開示技術では、入射面に近接する物体からの反射光強度と、入射面に付着の汚れ物質からの反射光強度とを、正確に判別することは難しいという懸念がある。そのため、特許文献1の開示技術による判定結果に基づき、入射面の洗浄が制御されるとすると、無駄な洗浄を招く事態が予想される。
本開示の課題は、洗浄制御の適正度を高める洗浄制御装置を、提供することにある。本開示の別の課題は、洗浄制御の適正度を高める洗浄制御方法を、提供することにある。本開示のさらに別の課題は、洗浄制御の適正度を高める洗浄制御プログラムを、提供することにある。
以下、課題を解決するための本開示の技術的手段について、説明する。尚、特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。
本開示の第一態様は、
反射光をセンシングする光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(40)と、外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、光学センサ及びセンシングカメラにおいて重複するセンシング領域(Ao,Ac)から光の入射する入射面(33o,33c)を洗浄する洗浄系(5)とを、搭載した車両(2)の洗浄系を制御する洗浄制御装置(1)であって、
外光画像とカメラ画像とを対比することにより、アンマッチングの画素群(Po,Pc)を抽出する抽出部(100)と、
入射面においてアンマッチングの画素群に対応すると推定される汚れの洗浄制御を、洗浄系に指令する制御部(120)とを、備える。
反射光をセンシングする光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(40)と、外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、光学センサ及びセンシングカメラにおいて重複するセンシング領域(Ao,Ac)から光の入射する入射面(33o,33c)を洗浄する洗浄系(5)とを、搭載した車両(2)の洗浄系を制御する洗浄制御装置(1)であって、
外光画像とカメラ画像とを対比することにより、アンマッチングの画素群(Po,Pc)を抽出する抽出部(100)と、
入射面においてアンマッチングの画素群に対応すると推定される汚れの洗浄制御を、洗浄系に指令する制御部(120)とを、備える。
本開示の第二態様は、
反射光をセンシングする光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(40)と、外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、光学センサ及びセンシングカメラにおいて重複するセンシング領域(Ao,Ac)から光の入射する入射面(33o,33c)を洗浄する洗浄系(5)とを、搭載した車両(2)の洗浄系を制御する洗浄制御方法であって、
外光画像とカメラ画像とを対比することにより、アンマッチングの画素群(Po,Pc)を抽出する抽出工程(S101,S102,S103)と、
入射面においてアンマッチングの画素群に対応すると推定される汚れの洗浄制御を、洗浄系に指令する制御工程(S104,S105)とを、含む。
反射光をセンシングする光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(40)と、外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、光学センサ及びセンシングカメラにおいて重複するセンシング領域(Ao,Ac)から光の入射する入射面(33o,33c)を洗浄する洗浄系(5)とを、搭載した車両(2)の洗浄系を制御する洗浄制御方法であって、
外光画像とカメラ画像とを対比することにより、アンマッチングの画素群(Po,Pc)を抽出する抽出工程(S101,S102,S103)と、
入射面においてアンマッチングの画素群に対応すると推定される汚れの洗浄制御を、洗浄系に指令する制御工程(S104,S105)とを、含む。
本開示の第三態様は、
反射光をセンシングする光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(40)と、外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、光学センサ及びセンシングカメラにおいて重複するセンシング領域(Ao,Ac)から光の入射する入射面(33o,33c)を洗浄する洗浄系(5)とを、搭載した車両(2)の洗浄系を制御するために、プロセッサ(12)に実行させる命令を含む洗浄制御プログラムであって、
命令は、
外光画像とカメラ画像とを対比させることにより、アンマッチングの画素群(Po,Pc)を抽出させる抽出工程(S101,S102,S103)と、
入射面においてアンマッチングの画素群に対応すると推定される汚れの洗浄制御を、洗浄系に指令させる制御工程(S104,S105)とを、含む。
反射光をセンシングする光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(40)と、外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、光学センサ及びセンシングカメラにおいて重複するセンシング領域(Ao,Ac)から光の入射する入射面(33o,33c)を洗浄する洗浄系(5)とを、搭載した車両(2)の洗浄系を制御するために、プロセッサ(12)に実行させる命令を含む洗浄制御プログラムであって、
命令は、
外光画像とカメラ画像とを対比させることにより、アンマッチングの画素群(Po,Pc)を抽出させる抽出工程(S101,S102,S103)と、
入射面においてアンマッチングの画素群に対応すると推定される汚れの洗浄制御を、洗浄系に指令させる制御工程(S104,S105)とを、含む。
これら第一~第三態様によると、反射光をセンシングする光照射の停止中に外光強度に応じて光学センサにより取得される外光画像と、同センサとセンシング領域の重複するセンシングカメラにより外光強度に応じて取得されるカメラ画像とが、対比される。こうした対比により抽出されるアンマッチングの画素群は、光学センサ及びセンシングカメラの入射面のうち、いずれかにおいて付着した汚れに対応すると正確に推定され得る。故に、推定の結果として汚れの洗浄制御が洗浄系に指令されることによれば、当該洗浄制御の適正度を高めることが可能となる。
本開示の第四態様は、
光照射に対する反射光強度(ir)を取得する光学センサ(2040)と、光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の洗浄系を制御する洗浄制御装置(1)であって、
カメラ画像において注目する注目物体を抽出する抽出部(2100)と、
注目物体からの反射光強度の変化量(δi)が許容範囲外となる場合に、入射面において許容範囲外の変化量に対応すると推定される汚れの洗浄制御を、洗浄系に指令する制御部(2120)とを、備える。
光照射に対する反射光強度(ir)を取得する光学センサ(2040)と、光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の洗浄系を制御する洗浄制御装置(1)であって、
カメラ画像において注目する注目物体を抽出する抽出部(2100)と、
注目物体からの反射光強度の変化量(δi)が許容範囲外となる場合に、入射面において許容範囲外の変化量に対応すると推定される汚れの洗浄制御を、洗浄系に指令する制御部(2120)とを、備える。
本開示の第五態様は、
光照射に対する反射光強度(ir)を取得する光学センサ(2040)と、光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の洗浄系を制御する洗浄制御方法であって、
カメラ画像において注目する注目物体を抽出する抽出工程(S201)と、
注目物体からの反射光強度の変化量(δi)が許容範囲外となる場合に、入射面において許容範囲外の変化量に対応すると推定される汚れの洗浄制御を、洗浄系に指令する制御工程(S202,S203,S204)とを、含む。
光照射に対する反射光強度(ir)を取得する光学センサ(2040)と、光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の洗浄系を制御する洗浄制御方法であって、
カメラ画像において注目する注目物体を抽出する抽出工程(S201)と、
注目物体からの反射光強度の変化量(δi)が許容範囲外となる場合に、入射面において許容範囲外の変化量に対応すると推定される汚れの洗浄制御を、洗浄系に指令する制御工程(S202,S203,S204)とを、含む。
本開示の第六態様は、
光照射に対する反射光強度(ir)を取得する光学センサ(2040)と、光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の洗浄系を制御するために、プロセッサ(12)に実行させる命令を含む洗浄制御プログラムであって、
命令は、
カメラ画像において注目する注目物体を抽出させる抽出工程(S201)と、
注目物体からの反射光強度の変化量(δi)が許容範囲外となる場合に、入射面において許容範囲外の変化量に対応すると推定される汚れの洗浄制御を、洗浄系に指令させる制御工程(S202,S203,S204)とを、含む。
光照射に対する反射光強度(ir)を取得する光学センサ(2040)と、光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の洗浄系を制御するために、プロセッサ(12)に実行させる命令を含む洗浄制御プログラムであって、
命令は、
カメラ画像において注目する注目物体を抽出させる抽出工程(S201)と、
注目物体からの反射光強度の変化量(δi)が許容範囲外となる場合に、入射面において許容範囲外の変化量に対応すると推定される汚れの洗浄制御を、洗浄系に指令させる制御工程(S202,S203,S204)とを、含む。
これら第四~第六態様によると、光学センサと重複するセンシング領域での外光強度に応じてセンシングカメラにより取得されるカメラ画像においては、注目する注目物体が抽出される。こうして抽出される注目物体から光学センサが光照射によって取得する反射光強度の変化量は、許容範囲外となる場合、光学センサの入射面において付着した汚れに対応すると正確に推定され得る。故に、推定の結果として汚れの洗浄制御が洗浄系に指令されることによれば、当該洗浄制御の適正度を高めることが可能となる。
本開示の第七態様は、
光照射に対する反射光強度(ir)を取得し且つ光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)と、光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の洗浄系を制御する洗浄制御装置(1)であって、
外光画像において注目する注目物体を抽出する抽出部(3100)と、
注目物体からの反射光強度の変化量が許容範囲外となる場合に、入射面において許容範囲外の変化量に対応すると推定される汚れの洗浄制御を、洗浄系に指令する制御部(2120)とを、備える。
光照射に対する反射光強度(ir)を取得し且つ光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)と、光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の洗浄系を制御する洗浄制御装置(1)であって、
外光画像において注目する注目物体を抽出する抽出部(3100)と、
注目物体からの反射光強度の変化量が許容範囲外となる場合に、入射面において許容範囲外の変化量に対応すると推定される汚れの洗浄制御を、洗浄系に指令する制御部(2120)とを、備える。
本開示の第八態様は、
光照射に対する反射光強度(ir)を取得し且つ光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)と、光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の洗浄系を制御する洗浄制御方法であって、
外光画像において注目する注目物体を抽出する抽出工程(S301)と、
注目物体からの反射光強度の変化量(δi)が許容範囲外となる場合に、入射面において許容範囲外の変化量に対応すると推定される汚れの洗浄制御を、洗浄系に指令する制御工程(S202,S203,S204)とを、含む。
光照射に対する反射光強度(ir)を取得し且つ光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)と、光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の洗浄系を制御する洗浄制御方法であって、
外光画像において注目する注目物体を抽出する抽出工程(S301)と、
注目物体からの反射光強度の変化量(δi)が許容範囲外となる場合に、入射面において許容範囲外の変化量に対応すると推定される汚れの洗浄制御を、洗浄系に指令する制御工程(S202,S203,S204)とを、含む。
本開示の第九態様は、
光照射に対する反射光強度(ir)を取得し且つ光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)と、光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の洗浄系を制御するために、プロセッサ(12)に実行させる命令を含む洗浄制御プログラムであって、
命令は、
外光画像において注目する注目物体を抽出させる抽出工程(S301)と、
注目物体からの反射光強度の変化量(δi)が許容範囲外となる場合に、入射面において許容範囲外の変化量に対応すると推定される汚れの洗浄制御を、洗浄系に指令させる制御工程(S202,S203,S204)とを、含む。
光照射に対する反射光強度(ir)を取得し且つ光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)と、光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の洗浄系を制御するために、プロセッサ(12)に実行させる命令を含む洗浄制御プログラムであって、
命令は、
外光画像において注目する注目物体を抽出させる抽出工程(S301)と、
注目物体からの反射光強度の変化量(δi)が許容範囲外となる場合に、入射面において許容範囲外の変化量に対応すると推定される汚れの洗浄制御を、洗浄系に指令させる制御工程(S202,S203,S204)とを、含む。
これら第七~第九態様によると、反射光強度を取得する光照射の停止中に外光強度に応じて光学センサにより取得される外光画像においては、注目する注目物体が抽出される。こうして抽出される注目物体から光学センサが光照射によって取得する反射光強度の変化量は、許容範囲外となる場合、光学センサの入射面において付着した汚れに対応すると正確に推定され得る。故に、推定の結果として汚れの洗浄制御が洗浄系に指令されることによれば、当該洗浄制御の適正度を高めることが可能となる。
以下、複数の実施形態を図面に基づき説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。また、各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。さらに、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。
(第一実施形態)
図1に示すように、第一実施形態の洗浄制御装置1を備える自動運転ユニットADUは、車両2に搭載される。車両2は、自律運転制御又は高度運転支援制御による自動運転モードにおいて、定常的若しくは一時的に自動走行可能となっている。自動運転ユニットADUは、洗浄制御装置1と共に、ハウジング3、センサ系4及び洗浄系5を含んで構成されている。尚、以下の説明において、前、後、左、右、上及び下とは、水平面上の車両2を基準に定義されている。
図1に示すように、第一実施形態の洗浄制御装置1を備える自動運転ユニットADUは、車両2に搭載される。車両2は、自律運転制御又は高度運転支援制御による自動運転モードにおいて、定常的若しくは一時的に自動走行可能となっている。自動運転ユニットADUは、洗浄制御装置1と共に、ハウジング3、センサ系4及び洗浄系5を含んで構成されている。尚、以下の説明において、前、後、左、右、上及び下とは、水平面上の車両2を基準に定義されている。
図1,2に示すようにハウジング3は、例えば金属等により中空状の扁平箱形に形成されている。ハウジング3は、車両2のルーフ20上に設置される。ハウジング3の壁30には、複数のセンサ窓31が開口している。各センサ窓31は、それぞれ板状の透光カバー32により覆われている。各透光カバー32の外面は、車両2の外界から光の入射する入射面33を、構成している。
図2~4に示すようにセンサ系4は、光学センサ40を備えている。光学センサ40は、車両2において自動運転モードに活用可能な光学情報を取得する、所謂LiDAR(Light Detection and Ranging / Laser Imaging Detection and Ranging)である。光学センサ40は、発光素子400、撮像素子401及び撮像回路402を有している。
発光素子400は、例えばレーザダイオード等の、指向性レーザ光を発する半導体素子である。発光素子400は、車両2の外界へ向かうレーザ光を、断続的なパルスビーム状に照射する。撮像素子401は、例えばSPAD(Single Photon Avalanche Diode)等の、光に対して高感度な半導体素子である。撮像素子401の外界側(本実施形態では前側)には、光学センサ40専用の入射面33oが、配置されている。外界のうち、撮像素子401の画角により決まるセンシング領域Aoから、入射面33oへ入射する光により、同素子401が露光される。撮像回路402は、撮像素子401における複数画素の露光及び走査を制御すると共に、同素子401からの信号を処理してデータ化する、集積回路である。
撮像回路402が発光素子400からの光照射により撮像素子401を露光する反射光モードでは、センシング領域Ao内の物点がレーザ光の反射点となる。その結果、反射点での反射されたレーザ光(以下、反射光という)が、入射面33oを通して撮像素子401に入射する。このとき撮像回路402は、撮像素子401の複数画素を走査することで、反射光をセンシングする。
一方、撮像回路402が発光素子400からの断続的な光照射の停止中に撮像素子401を露光する外光モードでは、センシング領域Ao内の物点が外光の反射点となる。その結果、反射点で反射された外光が、入射面33oを通して撮像素子401に入射する。このとき撮像回路402は、撮像素子401の複数画素を走査することで、反射された外光をセンシングする。ここで特に撮像回路402は、センシングした外光の強度に応じて複数画素毎に取得される輝度値を、各画素値として二次元データ化することで、図5に示す如き外光画像Iooを取得する。
図2~4に示すようにセンサ系4は、こうした光学センサ40に加えて、センシングカメラ41も備えている。センシングカメラ41は、車両2において自動運転モードに活用可能な光学情報を取得する、所謂外界カメラである。センシングカメラ41は、撮像素子411及び撮像回路402を有している。
撮像素子411は、例えばCMOS等の半導体素子である。撮像素子411の外界側(本実施形態では前側)には、センシングカメラ41専用の入射面33cが、配置されている。外界のうち、撮像素子411の画角により決まるセンシング領域Acから、入射面33cへ入射する光により、同素子411が露光される。ここで図4に示すようにセンシングカメラ41のセンシング領域Acは、光学センサ40のセンシング領域Aoと部分的に、重複する。センシング領域Ac,Aoの重複率、即ちそれら各領域Ac,Aoにおいて重複領域Aocの占める割合は、例えば50%以上、好ましくは70%以上、さらに好ましくは90%以上である。撮像回路412は、撮像素子411における複数画素の露光及び走査を制御すると共に、同素子411からの信号を処理してデータ化する、集積回路である。
撮像回路412が撮像素子411を露光する露光モードでは、センシング領域Ac内の物点が外光の反射点となる。その結果、反射点で反射された外光が、入射面33cを通して撮像素子411に入射する。このとき撮像回路412は、撮像素子411の複数画素を走査することで、反射された外光をセンシングする。ここで特に撮像回路412は、センシングした外光の強度に応じて複数画素毎に取得される輝度値を、各画素値として二次元データ化することで、図6に示す如きカメラ画像Icを取得する。
図1~3に示す洗浄系5は、光学センサ40及びセンシングカメラ41においてセンシング領域Ao,Acから光の入射する入射面33o,33cを含んだ、複数入射面33を洗浄する。洗浄系5は、入射面33毎に洗浄モジュール50を備えている。各洗浄モジュール50は、入射面33を洗浄するための洗浄流体として、洗浄ガスを入射面33へ噴射する、洗浄ノズルを有していてもよい。各洗浄モジュール50は、入射面33を洗浄するための洗浄流体として、洗浄液を入射面33へ噴射する、洗浄ノズルを有していてもよい。各洗浄モジュール50は、入射面33を払拭により洗浄する、洗浄ワイパを有していてもよい。
図2,3に示す洗浄制御装置1は、例えばLAN(Local Area Network)、ワイヤハーネス及び内部バス等のうち、少なくとも一種類を介して自動運転ユニットADUの電気的構成要素4,5と接続される。洗浄制御装置1は、少なくとも一つの専用コンピュータを含んで構成される。洗浄制御装置1を構成する専用コンピュータは、車両2内のECU(Electronic Control Unit)と共同して自動運転モードを制御する、運転制御ECUであってもよい。洗浄制御装置1を構成する専用コンピュータは、車両2の走行アクチュエータを個別制御する、アクチュエータECUであってもよい。洗浄制御装置1を構成する専用コンピュータは、自己位置を含んだ車両2の状態量を推定する、ロケータECUであってもよい。洗浄制御装置1を構成する専用コンピュータは、車両2の走行経路をナビゲートする、ナビゲーションECUであってもよい。洗浄制御装置1を構成する専用コンピュータは、車両2の情報提示系の情報提示を制御する、HCU(HMI(Human Machine Interface) Control Unit)であってもよい。
洗浄制御装置1は、こうした専用コンピュータを含んで構成されることで、メモリ10及びプロセッサ12を少なくとも一つずつ有している。メモリ10は、コンピュータにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。プロセッサ12は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)及びRISC(Reduced Instruction Set Computer)-CPU等のうち、少なくとも一種類をコアとして含む。
プロセッサ12は、メモリ10に記憶された洗浄制御プログラムに含まれる複数の命令を、実行する。これにより洗浄制御装置1は、洗浄系5を制御するための機能部(即ち、機能ブロック)を、複数構築する。このように洗浄制御装置1では、洗浄系5を制御するためにメモリ10に記憶された洗浄制御プログラムが複数の命令をプロセッサ12に実行させることで、複数の機能部が構築される。洗浄制御装置1により構築される複数の機能部には、図3に示すように抽出部100及び制御部120が含まれる。
制御サイクル毎に抽出部100には、光学センサ40から外光画像Iooが入力されると共に、センシングカメラ41からカメラ画像Icが入力される。抽出部100は、外光画像Iooとカメラ画像Icとを対比することで、アンマッチングの画素群を抽出する。そのために抽出部100は、サブ機能部として画素補間部102、エッジ検出部104及びマッチング判定部106を有している。
画素補間部102は、外光画像Iooとカメラ画像Icとのうち、高解像度側を低解像度側に合わせて画素補間する。ここで本実施形態では、センシング領域Ao,Acのうち重複領域Aocを撮影する画素群の数が、外光画像Iooよりもカメラ画像Icにて多く設定されている。即ち、カメラ画像Icが高解像度側となっている一方、外光画像Iooが低解像度側となっている。そこで画素補間部102は、カメラ画像Icにおいて各画素座標の画素値を、外光画像Iooにおける各画素座標に合わせて内分補間する。補間の結果として画素補間部102は、重複領域Aocに関して外光画像Iooと実質同一解像度のカメラ画像Icを、図7に示すように生成する。
エッジ検出部104は、画素補間されたカメラ画像Icに対して、少なくとも一種類のエッジフィルタ処理を施すことで、当該画像Icからエッジを検出する。エッジ検出部104は、画素補間によりカメラ画像Icとは実質同一解像度となった重複領域Aocの外光画像Iooに対しても、少なくとも一種類のエッジフィルタ処理を施すことで、当該画像Iooからエッジを検出する。
マッチング判定部106は、外光画像Ioo及びカメラ画像Icにおいてそれぞれ検出されたエッジ同士を対比させることで、それら画像Ioo,Icのマッチング状態を判定する。このときマッチング判定部106は、例えばエッジの構成画素値を互いに正規化して差分を演算することで、当該差分がマッチング範囲外となる画素群が確認された場合等に、アンマッチングとの判定を下す。このような判定によりマッチング判定部106は、外光画像Iooとカメラ画像Icとでアンマッチングなエッジに対応する画素群Po,Pcを、図5,7の如く抽出する。尚、画素群とは複数画素の群を意味し、特にアンマッチングと判定される場合の画素群Po,Pcは、隣り合って連続する複数画素の群であるとよい。また説明の便宜上、図5,7は、アンマッチングな画素群Po,Pcが、太実線の円に符号Po,Pcをそれぞれ付して示されている。
図3に示すように制御部120には、各画像Ioo,Icにおいてマッチング判定部106でのアンマッチング判定により抽出された画素群Po,Pcが、入力される。制御部120では、こうしたアンマッチングな画素群Po,Pcが、光学センサ40及びセンシングカメラ41の入射面33o,33cのうちいずれかにおいて、図5~7の如く付着した汚れDo,Dcに対応すると推定される。そこで制御部120は、アンマッチングな画素群Po,Pcと対応推定される汚れDo,Dcを洗浄するように、自動運転モードの車両2における洗浄系5に対して洗浄制御を指令する。指令を受けて洗浄系5は、図2の如く入射面33o,33cにそれぞれ対応する洗浄モジュール50o,50cを駆動制御することで、それらの面33o,33cの洗浄処理を実行する。
このような機能部100,120の共同により、洗浄制御装置1が洗浄系5を制御する洗浄制御方法のフローを、図8に従って以下に説明する。尚、本フローにおける各「S」は、洗浄制御プログラムに含まれた複数命令によって実行される複数ステップを、それぞれ意味する。
まず、S101において抽出部100の画素補間部102は、高解像度のカメラ画像Icを、低解像度側の外光画像Iooに合わせて画素補間する。次に、S102において抽出部100のエッジ検出部104は、外光画像Ioo及びカメラ画像Icの各々から、エッジを検出する。続いて、S103において抽出部100のマッチング判定部106は、外光画像Ioo及びカメラ画像Icにおいて検出されたエッジ同士を対比させることで、それら画像Ioo,Icのマッチング状態を判定する。
S103の結果、外光画像Iooとカメラ画像Icとでアンマッチングと判定の画素群Po,Pcが抽出された場合には、本フローがS104へ移行する。S104において制御部120は、アンマッチングな画素群Po,Pcに対応すると推定される汚れDo,Dcへの洗浄制御の実行を、自動運転モードの車両2において洗浄系5に指令する。
一方でS103の結果、アンマッチングと判定の画素群Po,Pcが抽出されなかった完全マッチングの場合には、本フローがS105へ移行する。S105において制御部120は、洗浄制御の停止を洗浄系5に指令する。以上より本フローでは、S101,S102,S103が抽出工程に相当し、S104,S105が制御工程に相当する。
(作用効果)
以上説明した第一実施形態の作用効果を、以下に説明する。
以上説明した第一実施形態の作用効果を、以下に説明する。
第一実施形態によると、反射光をセンシングする光照射の停止中に外光強度に応じて光学センサ40により取得される外光画像Iooと、同センサ40とセンシング領域Ao,Acの重複するセンシングカメラ41により外光強度に応じて取得されるカメラ画像Icとが、対比される。こうした対比により抽出されるアンマッチングの画素群Po,Pcは、光学センサ40及びセンシングカメラ41の入射面33o,33cのうち、いずれかにおいて付着した汚れDo,Dcに対応すると正確に推定され得る。故に、推定の結果として汚れの洗浄制御が洗浄系5に指令されることによれば、当該洗浄制御の適正度を高めることが可能となる。これは、車両2において自動運転モードの継続性を左右する洗浄制御として、特に有効であるといえる。
第一実施形態のような外光画像Iooとカメラ画像Icとのエッジ同士の対比によれば、アンマッチングの画素群Po,Pcを、それらエッジから正確に捉えて抽出することが容易となる。故に、アンマッチングの画素群Po,Pcに対応すると推定される汚れDo,Dcの洗浄を、適正に指令して制御することが可能となる。
第一実施形態によると、外光画像Iooとカメラ画像Icとのうち高解像度側が低解像度側に合わせて画素補間されてから、それら画像Ioo,Icが対比される。こうした対比によれば、本来マッチングしているはずの画素群が解像度の違いに起因して誤抽出される事態を、抑止することができる。故に、アンマッチングの画素群Po,Pcに対応すると推定される汚れDo,Dcの洗浄を、適正に指令して制御することが可能となる。
(第二実施形態)
図9に示すように第二実施形態は、第一実施形態の変形例である。
図9に示すように第二実施形態は、第一実施形態の変形例である。
第二実施形態の光学センサ2040では、反射光モードの撮像回路2402が、光照射に対してセンシングした反射光の強度を、図10に示す如き反射光強度irとして取得する。このとき撮像回路2402は、後述の如く指定される指定画素の反射光強度irを、出力してもよい。あるいは撮像回路2402は、複数画素毎に反射光強度irに応じて取得される輝度値を、各画素値として二次元データ化することで、図11に示す如き反射光画像Iorを取得してもよい。尚、第二実施形態の光学センサ2040において外光画像Iooを取得する機能は必須でなく、図9では、当該機能の図示が省かれている。
第二実施形態の抽出部2100には、制御サイクル毎にセンシングカメラ41からカメラ画像Icが入力される。抽出部2100は、図12に示すようにカメラ画像Icにおいて注目する注目物体Oaを、少なくとも一つ抽出する。このとき注目物体Oaの抽出は、例えば画像フィルタ又は機械学習モデル等を用いたパターン認識により、実行される。その結果、特徴量の明確な一つの注目物体Oaが抽出されてもよいし、カメラ画像Icに点在する複数の注目物体Oaが抽出されてもよい。抽出部2100は、カメラ画像Icのうち、こうして抽出される各注目物体Oaにそれぞれ対応した画素に関して、構成画素の画素座標情報Caを生成する。
第二実施形態の制御部2120には、図9に示すように、抽出部2100によって抽出された注目物体Oaの画素座標情報Caが、入力される。制御部2120は、サブ機能部として強度判定部2122及び洗浄指令部2124を有している。
強度判定部2122は、注目物体Oaからの反射光強度irに関して、図10に示すように変化量δiを判定する。このとき強度判定部2122は、注目物体Oaの画素座標情報Caに対応する画素を制御サイクル毎に光学センサ2040に対して指定することで、当該指定画素での反射光強度irを同物体Oaからの反射光強度irとして取得してもよい。あるいは強度判定部2122は、光学センサ2040から入力される反射光画像Iorにおいて、注目物体Oaの画素座標情報Caに対応する画素の輝度値が表す反射光強度irを、同物体Oaからの反射光強度irとして取得してもよい。
強度判定部2122は、このようにして図10の如く今回制御サイクルにて取得される反射光強度irの前回制御サイクルからの変化量δiを、所定の許容範囲との対比により判定する。ここで許容範囲とは、反射光強度irの変化量δiに関する閾値未満、又は当該閾値以下の範囲に規定される。そこで強度判定部2122では、注目物体Oaからの反射光強度irの変化量δiが許容範囲外に増大する場合には、光学センサ2040の入射面33oにおいて、図11の如く付着した汚れDoに当該許容範囲外変化量δiが対応すると推定される。この推定は、同一の注目物体Oaであれば固有の反射率により、センシングされる間の反射光強度irが実質一定になるという知見に基づく。
こうした強度判定部2122では、反射光画像Ioにおいて反射光強度irの取得対象且つ変化量δiの判定対象となる画素は、抽出部2100から与えられる注目物体Oaの画素座標情報Caに、図11の如く対応する。そこで、同じ注目物体Oaに対しては、単一画素での反射光強度irの変化量δiが判定されてもよいし、複数画素となる画素群での反射光強度irの平均変化量δi又は総和変化量δiが判定されてもよい。
図9に示すように洗浄指令部2124は、注目物体Oaからの反射光強度irの変化量δiが許容範囲外の場合には、当該許容範囲外変化量δiと対応推定される汚れDoを洗浄するように、自動運転モードの車両2における洗浄系5に対して洗浄制御を指令する。指令を受けて洗浄系5は、光学センサ2040の入射面33oに対応する洗浄モジュール50oを駆動制御することで、同面33oの洗浄処理を実行する。このとき、センシングカメラ41の入射面33cに関する洗浄制御の指令は必須でなく、故に洗浄モジュール50cも必須要素ではない。但し、光学センサ2040の入射面33oに汚れ推定が成立する場合、同センサ2040とは可及的に近接配置されるセンシングカメラ41の入射面33cにも汚れ推定が成立するとして、同面33cに関する洗浄制御が指令されてもよい。
こうした第二実施形態による洗浄制御方法のフローでは、図13に示すように、S201において抽出部2100が、注目する注目物体Oaをカメラ画像Icから抽出する。次に、S202において制御部2120の強度判定部2122は、注目物体Oaからの反射光強度irの変化量δiが許容範囲内外のいずれであるかを、判定する。
S202の結果、注目物体Oaからの反射光強度irの変化量δiが許容範囲外である場合には、本フローがS203へ移行する。S203において制御部2120の洗浄指令部2124は、許容範囲外の変化量δiに対応すると推定される汚れDoの洗浄制御を、自動運転モードの車両2において洗浄系5に指令する。
一方でS202の結果、変化量δiが許容範囲内である場合には、本フローがS204へ移行する。S204において制御部2120の洗浄指令部2124は、洗浄制御の停止を洗浄系5に指令する。以上より本フローでは、S201が抽出工程に相当し、S202,S203,S204が制御工程に相当する。
(作用効果)
以上説明した第二実施形態の作用効果を、以下に説明する。
以上説明した第二実施形態の作用効果を、以下に説明する。
第二実施形態によると、光学センサ2040と重複するセンシング領域Acでの外光強度に応じてセンシングカメラ41により取得されるカメラ画像Icにおいては、注目する注目物体Oaが抽出される。こうして抽出される注目物体Oaから光学センサ2040が光照射によって取得する反射光強度irの変化量δiは、許容範囲外となる場合、光学センサ2040の入射面33oにおいて付着した汚れDo(図11参照)に対応すると正確に推定され得る。故に、推定の結果として汚れDoの洗浄制御が洗浄系5に指令されることによれば、当該洗浄制御の適正度を高めることが可能となる。
第二実施形態のように光学センサ2040により取得される場合の反射光画像Iorにおいては、センシングカメラ41により取得されるカメラ画像Icから抽出の注目物体Oaに対応する画素を、正確に特定し易くなる。これによれば、反射光画像Iorにおいて注目物体Oaに対応する画素での反射光強度irの変化量δiが許容範囲外となった場合に、当該許容範囲外変化量δiとの対応が推定される汚れDoの洗浄を、適正に指令して制御することが可能となる。
(第三実施形態)
図14に示すように第三実施形態は、第二実施形態の変形例である。
図14に示すように第三実施形態は、第二実施形態の変形例である。
第三実施形態の光学センサ3040では、第二実施形態に準じた光照射中での反射光強度irの取得機能と共に、第一実施形態に準じた光照射停止中での外光画像Iooの取得機能が、必須となっている。ここで、反射光強度irの取得機能における反射光のセンシングと、外光画像Iooの取得機能における外光のセンシングとは、同一の撮像素子401により実現される。尚、第三実施形態のセンシングカメラ41は必須でなく、図14では、同カメラ41の図示が省かれている。
第三実施形態の抽出部3100には、制御サイクル毎に光学センサ3040から外光画像Iooが入力される。抽出部3100は、図15に示す如く外光画像Iooにおいて注目する注目物体Oaを、少なくとも一つ抽出する。尚、注目物体Oaの具体的抽出機能は、抽出部3100により第二実施形態に準じて実現される。
こうした第三実施形態による洗浄制御方法のフローでは、図16に示すように、S301において抽出部3100が、注目する注目物体Oaを外光画像Iooから抽出する。尚、S301後のS202,S203,S204は、第二実施形態に準じて実行される。以上より本フローでは、S301が抽出工程に相当し、S202,S203,S204が制御工程に相当する。
(作用効果)
以上説明した第三実施形態の作用効果を、以下に説明する。
以上説明した第三実施形態の作用効果を、以下に説明する。
第三実施形態によると、反射光強度irを取得する光照射の停止中に外光強度に応じて光学センサ3040により取得される外光画像Iooにおいては、注目する注目物体Oaが抽出される。こうして抽出される注目物体Oaから光照射によって光学センサ3040が取得する反射光強度irの変化量δiは、許容範囲外となる場合、光学センサ3040の入射面33oにおいて付着した汚れDo(図15参照)に対応すると正確に推定され得る。故に、推定の結果として汚れDoの洗浄制御が洗浄系5に指令されることによれば、当該洗浄制御の適正度を高めることが可能となる。
第三実施形態のように光学センサ3040により取得される場合の反射光画像Iorにおいては、同センサ3040により取得される外光画像Iooから抽出の注目物体Oaに対応する画素を、正確に特定し易くなる。これによれば、反射光画像Iorにおいて注目物体Oaに対応する画素での反射光強度irの変化量δiが許容範囲外となった場合に、当該許容範囲外変化量δiとの対応が推定される汚れDoの洗浄を、適正に指令して制御することが可能となる。
第三実施形態によると、光学センサ3040において外光強度と同一素子401によりセンシングされた、注目物体Oaからの反射光強度irの変化量δiは、それら強度センシング間での軸ズレに起因して許容範囲外となる事態を、抑止され得る。故に、許容範囲外変化量δiに対応すると推定される汚れの洗浄を、適正に指令して制御することが可能となる。
(他の実施形態)
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
変形例において洗浄制御装置1を構成する専用コンピュータは、車両2との間にて通信可能な少なくとも一つの外部センターコンピュータであってもよい。変形例において洗浄制御装置1を構成する専用コンピュータは、デジタル回路及びアナログ回路のうち、少なくとも一方をプロセッサとして含んでいてもよい。ここでデジタル回路とは、例えばASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、SOC(System on a Chip)、PGA(Programmable Gate Array)及びCPLD(Complex Programmable Logic Device)等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリを、有していてもよい。
変形例において入射面33oを形成する透光カバー32は、光学センサ40,2040,3040に設けられていてもよい。変形例において入射面33oは、光学センサ40,2040,3040における例えばレンズ等の光学部材により、形成されていてもよい。変形例において入射面33cを形成する透光カバー32は、センシングカメラ41に設けられていてもよい。変形例において入射面33cは、センシングカメラ41における例えばレンズ等の光学部材により、形成されていてもよい。
1:洗浄制御装置、2:車両、5:洗浄系、12:プロセッサ、33c,33o:入射面、40,2040,3040:光学センサ、41:センシングカメラ、100,2100,3100:抽出部、120,2120:制御部、Ac,Ao:センシング領域、Ic:カメラ画像、Ioo:外光画像、Ior:反射光画像、ir:反射光強度、Pc,Po:画素群、δi:変化量
Claims (24)
- 反射光をセンシングする光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(40)と、外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、前記光学センサ及び前記センシングカメラにおいて重複するセンシング領域(Ao,Ac)から光の入射する入射面(33o,33c)を洗浄する洗浄系(5)とを、搭載した車両(2)の前記洗浄系を制御する洗浄制御装置(1)であって、
前記外光画像と前記カメラ画像とを対比することにより、アンマッチングの画素群(Po,Pc)を抽出する抽出部(100)と、
前記入射面において前記アンマッチングの前記画素群に対応すると推定される汚れの洗浄制御を、前記洗浄系に指令する制御部(120)とを、備える洗浄制御装置。 - 前記抽出部は、前記外光画像と前記カメラ画像とのエッジ同士を対比する請求項1に記載の洗浄制御装置。
- 前記抽出部は、前記外光画像と前記カメラ画像とのうち高解像度側を低解像度側に合わせて画素補間してから、それら画像を対比する請求項1又は2に記載の洗浄制御装置。
- 光照射に対する反射光強度(ir)を取得する光学センサ(2040)と、前記光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の前記洗浄系を制御する洗浄制御装置(1)であって、
前記カメラ画像において注目する注目物体を抽出する抽出部(2100)と、
前記注目物体からの前記反射光強度の変化量(δi)が許容範囲外となる場合に、前記入射面において前記許容範囲外の前記変化量に対応すると推定される汚れの洗浄制御を、前記洗浄系に指令する制御部(2120)とを、備える洗浄制御装置。 - 光照射に対する反射光強度(ir)を取得し且つ前記光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)と、前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の前記洗浄系を制御する洗浄制御装置(1)であって、
前記外光画像において注目する注目物体を抽出する抽出部(3100)と、
前記注目物体からの前記反射光強度の変化量(δi)が許容範囲外となる場合に、前記入射面において前記許容範囲外の前記変化量に対応すると推定される汚れの洗浄制御を、前記洗浄系に指令する制御部(2120)とを、備える洗浄制御装置。 - 前記制御部は、前記光学センサにおいて前記外光強度と同一素子によりセンシングされた、前記注目物体からの前記反射光強度の前記変化量が前記許容範囲外となる場合に、前記洗浄制御を前記洗浄系に指令する請求項5に記載の洗浄制御装置。
- 前記制御部は、前記光学センサにより前記反射光強度に応じて取得された反射光画像(Ior)において前記注目物体からの前記反射光強度の前記変化量が前記許容範囲外となる場合に、前記洗浄制御を前記洗浄系に指令する請求項4~6のいずれか一項に記載の洗浄制御装置。
- 前記制御部は、自動運転モードの前記車両において前記洗浄制御を前記洗浄系に指令する請求項1~7のいずれか一項に記載の洗浄制御装置。
- 反射光をセンシングする光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(40)と、外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、前記光学センサ及び前記センシングカメラにおいて重複するセンシング領域(Ao,Ac)から光の入射する入射面(33o,33c)を洗浄する洗浄系(5)とを、搭載した車両(2)の前記洗浄系を制御する洗浄制御方法であって、
前記外光画像と前記カメラ画像とを対比することにより、アンマッチングの画素群(Po,Pc)を抽出する抽出工程(S101,S102,S103)と、
前記入射面において前記アンマッチングの前記画素群に対応すると推定される汚れの洗浄制御を、前記洗浄系に指令する制御工程(S104,S105)とを、含む洗浄制御方法。 - 前記抽出工程は、前記外光画像と前記カメラ画像とのエッジ同士を対比する請求項9に記載の洗浄制御方法。
- 前記抽出工程は、前記外光画像と前記カメラ画像とのうち高解像度側を低解像度側に合わせて画素補間してから、それら画像を対比する請求項9又は10に記載の洗浄制御方法。
- 光照射に対する反射光強度(ir)を取得する光学センサ(2040)と、前記光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の前記洗浄系を制御する洗浄制御方法であって、
前記カメラ画像において注目する注目物体を抽出する抽出工程(S201)と、
前記注目物体からの前記反射光強度の変化量(δi)が許容範囲外となる場合に、前記入射面において前記許容範囲外の前記変化量に対応すると推定される汚れの洗浄制御を、前記洗浄系に指令する制御工程(S202,S203,S204)とを、含む洗浄制御方法。 - 光照射に対する反射光強度(ir)を取得し且つ前記光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)と、前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の前記洗浄系を制御する洗浄制御方法であって、
前記外光画像において注目する注目物体を抽出する抽出工程(S301)と、
前記注目物体からの前記反射光強度の変化量(δi)が許容範囲外となる場合に、前記入射面において前記許容範囲外の前記変化量に対応すると推定される汚れの洗浄制御を、前記洗浄系に指令する制御工程(S202,S203,S204)とを、含む洗浄制御方法。 - 前記制御工程は、前記光学センサにおいて前記外光強度と同一素子によりセンシングされた、前記注目物体からの前記反射光強度の前記変化量が前記許容範囲外となる場合に、前記洗浄制御を前記洗浄系に指令する請求項13に記載の洗浄制御方法。
- 前記制御工程は、前記光学センサにより前記反射光強度に応じて取得された反射光画像(Ior)において前記注目物体からの前記反射光強度の前記変化量が前記許容範囲外となる場合に、前記洗浄制御を前記洗浄系に指令する請求項12~14のいずれか一項に記載の洗浄制御方法。
- 前記制御工程は、自動運転モードの前記車両において前記洗浄制御を前記洗浄系に指令する請求項9~15のいずれか一項に記載の洗浄制御方法。
- 反射光をセンシングする光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(40)と、外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、前記光学センサ及び前記センシングカメラにおいて重複するセンシング領域(Ao,Ac)から光の入射する入射面(33o,33c)を洗浄する洗浄系(5)とを、搭載した車両(2)の前記洗浄系を制御するために、プロセッサ(12)に実行させる命令を含む洗浄制御プログラムであって、
前記命令は、
前記外光画像と前記カメラ画像とを対比させることにより、アンマッチングの画素群(Po,Pc)を抽出させる抽出工程(S101,S102,S103)と、
前記入射面において前記アンマッチングの前記画素群に対応すると推定される汚れの洗浄制御を、前記洗浄系に指令させる制御工程(S104,S105)とを、含む洗浄制御プログラム。 - 前記抽出工程は、前記外光画像と前記カメラ画像とのエッジ同士を対比させる請求項17に記載の洗浄制御プログラム。
- 前記抽出工程は、前記外光画像と前記カメラ画像とのうち高解像度側を低解像度側に合わせて画素補間させてから、それら画像を対比させる請求項17又は18に記載の洗浄制御プログラム。
- 光照射に対する反射光強度(ir)を取得する光学センサ(2040)と、前記光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の前記洗浄系を制御するために、プロセッサ(12)に実行させる命令を含む洗浄制御プログラムであって、
前記命令は、
前記カメラ画像において注目する注目物体を抽出させる抽出工程(S201)と、
前記注目物体からの前記反射光強度の変化量(δi)が許容範囲外となる場合に、前記入射面において前記許容範囲外の前記変化量に対応すると推定される汚れの洗浄制御を、前記洗浄系に指令させる制御工程(S202,S203,S204)とを、含む洗浄制御プログラム。 - 光照射に対する反射光強度(ir)を取得し且つ前記光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)と、前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の前記洗浄系を制御するために、プロセッサ(12)に実行させる命令を含む洗浄制御プログラムであって、
前記命令は、
前記外光画像において注目する注目物体を抽出させる抽出工程(S301)と、
前記注目物体からの前記反射光強度の変化量(δi)が許容範囲外となる場合に、前記入射面において前記許容範囲外の前記変化量に対応すると推定される汚れの洗浄制御を、前記洗浄系に指令させる制御工程(S202,S203,S204)とを、含む洗浄制御プログラム。 - 前記制御工程は、前記光学センサにおいて前記外光強度と同一素子によりセンシングされた、前記注目物体からの前記反射光強度の前記変化量が前記許容範囲外となる場合に、前記洗浄制御を前記洗浄系に指令させる請求項21に記載の洗浄制御プログラム。
- 前記制御工程は、前記光学センサにより前記反射光強度に応じて取得された反射光画像(Ior)において前記注目物体からの前記反射光強度の前記変化量が前記許容範囲外となる場合に、前記洗浄制御を前記洗浄系に指令させる請求項20~22のいずれか一項に記載の洗浄制御プログラム。
- 前記制御工程は、自動運転モードの前記車両において前記洗浄制御を前記洗浄系に指令させる請求項17~23のいずれか一項に記載の洗浄制御プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020153237A JP7452341B2 (ja) | 2020-09-11 | 2020-09-11 | 洗浄制御装置、洗浄制御方法、洗浄制御プログラム |
CN202180055180.1A CN116133910A (zh) | 2020-09-11 | 2021-08-20 | 清洗控制装置、清洗控制方法、清洗控制程序 |
PCT/JP2021/030489 WO2022054531A1 (ja) | 2020-09-11 | 2021-08-20 | 洗浄制御装置、洗浄制御方法、洗浄制御プログラム |
US18/179,972 US20230219533A1 (en) | 2020-09-11 | 2023-03-07 | Cleaning control device, cleaning control method, and cleaning control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020153237A JP7452341B2 (ja) | 2020-09-11 | 2020-09-11 | 洗浄制御装置、洗浄制御方法、洗浄制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022047363A JP2022047363A (ja) | 2022-03-24 |
JP7452341B2 true JP7452341B2 (ja) | 2024-03-19 |
Family
ID=80631610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020153237A Active JP7452341B2 (ja) | 2020-09-11 | 2020-09-11 | 洗浄制御装置、洗浄制御方法、洗浄制御プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230219533A1 (ja) |
JP (1) | JP7452341B2 (ja) |
CN (1) | CN116133910A (ja) |
WO (1) | WO2022054531A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003114277A (ja) | 2001-10-04 | 2003-04-18 | Nissan Motor Co Ltd | 車間距離計測装置 |
JP2013120076A (ja) | 2011-12-06 | 2013-06-17 | Ricoh Co Ltd | 付着物検出装置及び付着物検出方法 |
JP2014041106A (ja) | 2012-08-23 | 2014-03-06 | Mazda Motor Corp | 撮像装置、車載用監視装置および対象物検知方法 |
JP2017173298A (ja) | 2016-03-16 | 2017-09-28 | 株式会社リコー | 物体検出装置及び移動体装置 |
US20190208111A1 (en) | 2017-12-28 | 2019-07-04 | Waymo Llc | Multiple Operating Modes to Expand Dynamic Range |
JP2020076589A (ja) | 2018-11-06 | 2020-05-21 | 日本電産モビリティ株式会社 | 対象物検出装置 |
US20200271823A1 (en) | 2019-02-26 | 2020-08-27 | Ford Global Technologies, Llc | Illuminator obstruction detection |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114450203A (zh) * | 2019-10-18 | 2022-05-06 | 株式会社小糸制作所 | 车辆用灯具系统、异物判定装置以及异物判定方法 |
-
2020
- 2020-09-11 JP JP2020153237A patent/JP7452341B2/ja active Active
-
2021
- 2021-08-20 WO PCT/JP2021/030489 patent/WO2022054531A1/ja active Application Filing
- 2021-08-20 CN CN202180055180.1A patent/CN116133910A/zh active Pending
-
2023
- 2023-03-07 US US18/179,972 patent/US20230219533A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003114277A (ja) | 2001-10-04 | 2003-04-18 | Nissan Motor Co Ltd | 車間距離計測装置 |
JP2013120076A (ja) | 2011-12-06 | 2013-06-17 | Ricoh Co Ltd | 付着物検出装置及び付着物検出方法 |
JP2014041106A (ja) | 2012-08-23 | 2014-03-06 | Mazda Motor Corp | 撮像装置、車載用監視装置および対象物検知方法 |
JP2017173298A (ja) | 2016-03-16 | 2017-09-28 | 株式会社リコー | 物体検出装置及び移動体装置 |
US20190208111A1 (en) | 2017-12-28 | 2019-07-04 | Waymo Llc | Multiple Operating Modes to Expand Dynamic Range |
JP2020076589A (ja) | 2018-11-06 | 2020-05-21 | 日本電産モビリティ株式会社 | 対象物検出装置 |
US20200271823A1 (en) | 2019-02-26 | 2020-08-27 | Ford Global Technologies, Llc | Illuminator obstruction detection |
Also Published As
Publication number | Publication date |
---|---|
US20230219533A1 (en) | 2023-07-13 |
JP2022047363A (ja) | 2022-03-24 |
CN116133910A (zh) | 2023-05-16 |
WO2022054531A1 (ja) | 2022-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200342243A1 (en) | Method for estimating distance to an object via a vehicular vision system | |
US20230219532A1 (en) | Vehicle control device, vehicle control method, and computer program product | |
CN110969655A (zh) | 用于检测车位的方法、装置、设备、存储介质以及车辆 | |
CN110796063A (zh) | 用于检测车位的方法、装置、设备、存储介质以及车辆 | |
JP2020502685A (ja) | パッシブ光学センサの画像データを増大させるための電子デバイス、システムおよび方法 | |
JP2021064156A (ja) | 障害物識別装置および障害物識別プログラム | |
US20220207884A1 (en) | Object recognition apparatus and object recognition program product | |
US10025999B2 (en) | Brightness range based obstacle detection apparatus and method | |
JP7452341B2 (ja) | 洗浄制御装置、洗浄制御方法、洗浄制御プログラム | |
EP2913999A1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium | |
JP7419846B2 (ja) | 液面検出方法及び液面検出装置 | |
JP7375838B2 (ja) | 測距補正装置、測距補正方法、測距補正プログラム、および測距装置 | |
US20220244394A1 (en) | Movement amount estimation device, movement amount estimation method, movement amount estimation program, and movement amount estimation system | |
JP2021064154A (ja) | 障害物識別装置および障害物識別プログラム | |
JP2022047499A (ja) | 車両制御装置、車両制御方法、車両制御プログラム | |
CN111788573A (zh) | 移动平台的环境检测中的天空确定以及相关的系统和方法 | |
AU2020317303B2 (en) | Information processing device, data generation method, and program | |
JP2022075247A (ja) | 汚れ検出装置、汚れ検出方法、及び汚れ検出プログラム | |
CN112286230A (zh) | 无人机视觉图像算法、避障步骤及其信息融合处理系统 | |
JP2022131226A (ja) | 車両用制御装置、車両用制御方法、車両用制御プログラム | |
US20230286467A1 (en) | Vehicle control device, vehicle control method, and storage medium storing vehicle control program | |
CN114842442A (zh) | 道路边界获取方法、道路边界获取装置和车辆 | |
US20190304123A1 (en) | Identification apparatus, identification method, and non-transitory recording medium storing identification program | |
EP2919191B1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method | |
WO2021095354A1 (ja) | 外界認識装置、外界認識方法、および外界認識プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240219 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7452341 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |