JPWO2019175920A1 - 霧特定装置、霧特定方法及び霧特定プログラム - Google Patents

霧特定装置、霧特定方法及び霧特定プログラム Download PDF

Info

Publication number
JPWO2019175920A1
JPWO2019175920A1 JP2020505558A JP2020505558A JPWO2019175920A1 JP WO2019175920 A1 JPWO2019175920 A1 JP WO2019175920A1 JP 2020505558 A JP2020505558 A JP 2020505558A JP 2020505558 A JP2020505558 A JP 2020505558A JP WO2019175920 A1 JPWO2019175920 A1 JP WO2019175920A1
Authority
JP
Japan
Prior art keywords
fog
brightness
image data
unit
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020505558A
Other languages
English (en)
Other versions
JP6723492B2 (ja
Inventor
公彦 廣井
公彦 廣井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2019175920A1 publication Critical patent/JPWO2019175920A1/ja
Application granted granted Critical
Publication of JP6723492B2 publication Critical patent/JP6723492B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • G01W1/02Instruments for indicating weather conditions by measuring two or more variables, e.g. humidity, pressure, temperature, cloud cover or wind speed
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/95Lidar systems specially adapted for specific applications for meteorological use
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Software Systems (AREA)
  • Atmospheric Sciences (AREA)
  • Environmental Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ecology (AREA)
  • Traffic Control Systems (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

点データ取得部(21)は、放射された光束が反射点で反射した反射光を受信する光センサ(41)によって得られた反射点を示す点データを取得する。画像データ取得部(22)は、点データが示す反射点の周辺の画像データを取得する。輝度計算部(23)は、画像データの輝度の滑らかさを計算する。霧特定部(24)は、点データから特定される光センサ(41)から反射点までの距離と、輝度の滑らかさとから、霧の濃さを特定する。

Description

この発明は、霧の濃さを特定する技術に関する。
特許文献1には、車両の周辺に霧が発生しているか否かを判定する技術が記載されている。
特許文献1では、ヘッドライトにより照射光を照射した場合に、車両の前方を撮像した画像における照射光を照射していない領域の明度の違いに基づき、霧が発生しているか否かが判定される。具体的には、霧が発生していないときには、照射光を照射していない領域の明度は低くなる。これに対して、霧が発生しているときには、照射光が霧の粒子により反射するため、画像の内側から外側に向かって明度が徐々に高くなる。特許文献1では、この特性が利用され、霧が発生しているか否かが判定される。
特開2008−033872号公報
特許文献1に記載された技術では、ヘッドライトの照射が前提となっており、一定の暗さがなければ霧が発生しているか否かを判定することができない。
この発明では、ヘッドライトの照射の有無に関わりなく、霧の濃さを特定可能にすることを目的とする。
この発明に係る霧特定装置は、
放射された光束が反射点で反射した反射光を受信する光センサによって得られた前記反射点を示す点データを取得する点データ取得部と、
前記点データ取得部によって取得された前記点データが示す前記反射点の周辺の画像データを取得する画像データ取得部と、
前記画像データ取得部によって取得された前記画像データの輝度の滑らかさを計算する輝度計算部と、
前記点データから特定される前記光センサから前記反射点までの距離と、前記輝度計算部によって計算された前記輝度の滑らかさとから、霧の濃さを特定する霧特定部と
を備える。
この発明では、光センサによって得られた点データから特定される距離と、画像データの輝度の滑らかさとから霧の濃さを特定する。そのため、ヘッドライトの照射の有無に関わりなく、霧の濃さを特定することが可能である。
実施の形態1に係る霧特定装置10の構成図。 実施の形態1に係る霧特定装置10の全体的な動作を示すフローチャート。 実施の形態1に係る画像データ取得処理の説明図。 実施の形態1に係る輝度計算処理の説明図。 実施の形態1に係る基準記憶部31に記憶される情報の説明図。 変形例1に係る基準記憶部31に記憶される情報の説明図。 変形例2に係る霧特定装置10の構成図。 実施の形態2に係る霧特定装置10の構成図。 実施の形態2に係る霧特定装置10の全体的な動作を示すフローチャート。 実施の形態2に係る閾値設定処理の説明図。 実施の形態3に係る霧特定装置10の構成図。 実施の形態3に係る霧特定装置10の全体的な動作を示すフローチャート。 実施の形態3に係る信頼度記憶部32に記憶される情報の説明図。 変形例5に係る霧特定装置10の構成図。 変形例5に係る霧特定装置10の全体的な動作を示すフローチャート。
実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る霧特定装置10の構成を説明する。
霧特定装置10は、移動体100に搭載されるECU(Electronic Control Unit)といったコンピュータである。
実施の形態1では、移動体100は、車両である。しかし、移動体100は、車両に限らず、船及び航空機といった他の種別であってもよい。霧特定装置10は、移動体100又は図示した他の構成要素と、一体化した形態又は分離不可能な形態で実装されてもよい、あるいは、取り外し可能な形態または分離可能な形態で実装されてもよい。
霧特定装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
プロセッサ11は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
メモリ12は、データを一時的に記憶する記憶装置である。メモリ12は、具体例としては、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)である。
ストレージ13は、データを保管する記憶装置である。ストレージ13は、具体例としては、HDD(Hard Disk Drive)である。また、ストレージ13は、SD(登録商標,Secure Digital)メモリカード、CF(CompactFlash,登録商標)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記録媒体であってもよい。
通信インタフェース14は、外部の装置と通信するためのインタフェースである。通信インタフェース14は、具体例としては、Ethernet(登録商標)、USB(Universal Serial Bus)、HDMI(登録商標,High−Definition Multimedia Interface)のポートである。
通信インタフェース14は、移動体100に搭載された光センサ41及びカメラ42と接続されている。
光センサ41は、光の束である光束を放射し、放射された光束が反射点で反射した反射光を受信する装置である。光センサ41は、具体例としては、LiDAR(Light Detection and Ranging)である。実施の形態1では、光センサ41は、移動体100の移動方向前方に光束を放射するものとする。
カメラ42は、移動体100の周辺を撮像して画像データを生成する装置である。実施の形態1では、カメラ42は、移動体100の移動方向前方を撮像するものとする。
霧特定装置10は、機能構成要素として、点データ取得部21と、画像データ取得部22と、輝度計算部23と、霧特定部24とを備える。霧特定装置10の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ13には、霧特定装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、霧特定装置10の各機能構成要素の機能が実現される。
また、ストレージ13は、基準値記憶部31の機能を実現する。
図1では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。
***動作の説明***
図2から図5を参照して、実施の形態1に係る霧特定装置10の動作を説明する。
実施の形態1に係る霧特定装置10の動作は、実施の形態1に係る霧特定方法に相当する。また、実施の形態1に係る霧特定装置10の動作は、実施の形態1に係る霧特定プログラムの処理に相当する。
図2を参照して、実施の形態1に係る霧特定装置10の全体的な動作を説明する。
(ステップS11:点データ取得処理)
点データ取得部21は、放射された光束が反射点で反射した反射光を受信する光センサ41によって得られた反射点を示す点データの集合を、通信インタフェース14を介して取得する。点データ取得部21は、取得された点データの集合をメモリ12に書き込む。実施の形態1では、点データは、光センサ41から放射されたある光束に対する反射光の強度が最も強い反射点を示す。
(ステップS12:画像データ取得処理)
画像データ取得部22は、ステップS11で取得された集合に含まれる点データが示す反射点の周辺の画像データを取得する。
図3を参照して具体的に説明する。画像データ取得部22は、カメラ42によって生成された画像データ51を、通信インタフェース14を介して取得する。画像データ取得部22は、取得された画像データ51に、集合に含まれる点データを投影する。画像データ取得部22は、投影された反射点の周辺の一部の画像データ52を切り出す。画像データ取得部22は、水平方向及び垂直方向に少なくとも基準数以上の画素が含まれるように、画像データ52を切り出す。画像データ取得部22は、切り出された画像データ52をメモリ12に書き込む。
(ステップS13:輝度計算処理)
輝度計算部23は、ステップS13で取得された画像データの輝度の滑らかさを計算する
図4を参照して具体的に説明する。輝度計算部23は、画像データをメモリ12から読み出す。輝度計算部23は、画像データの水平方向の各ラインを対象として、対象のラインの画素の輝度について平滑化を行った上で、輝度の2次微分計算を行って得られた値の絶対値を計算する。そして、輝度計算部23は、画像データの水平方向の各ラインについて計算された絶対値の総和を、画像データの輝度の滑らかさとして計算する。輝度計算部23は、計算された輝度の滑らかさをメモリ12に書き込む。
なお、絶対値の総和が小さいほど、輝度の滑らかさが高い。つまり、画像データのテクスチャが少ない。図4に示すように、霧が発生している場合は、霧が発生していない場合に比べて、輝度の滑らかさが高くなる傾向がある。
(ステップS14:霧特定処理)
霧特定部24は、ステップS11で取得された集合に含まれる点データから特定される光センサ41から反射点までの距離と、ステップS13で計算された輝度の滑らかさとから、霧の濃さを特定する。
具体的には、霧特定部24は、基準値記憶部31に記憶された基準値を参照する。図5に示すように、実施の形態1では、基準値記憶部31には、距離毎に基準値が記憶されている。霧特定部24は、光センサ41から反射点までの距離に対応する基準値と、輝度の滑らかさとを比較して、一定の濃さ以上の霧が発生しているか否かを判定する。つまり、霧特定部24は、輝度の滑らかさの値が基準値よりも低い場合には、言い換えると基準値が示す滑らかさよりも滑らかな場合には、霧が発生していると判定する。一方、霧特定部24は、輝度の滑らかさの値が基準値以上の場合には、言い換えると基準値が示す滑らかさ以下の滑らかさである場合には、霧が発生していないと判定する。
基準値は、距離が近いほど大きい値が記憶されている。つまり、光センサ41から反射点までの距離が近いほど、輝度の滑らかさが低い場合でも霧が発生していると判定され易くなる。これは、距離が遠くなるほど、建物と車両といった立体物についても輝度が滑らかになるためである。距離毎の基準値については実験的に求めてればよい。
***実施の形態1の効果***
以上のように、実施の形態1に係る霧特定装置10は、反射点までの距離と、反射点の周囲の画像データの輝度の滑らかさとから、霧の濃さを特定する。これにより、ヘッドライトの照射の有無に関わりなく、霧の濃さを特定することが可能である。つまり、日中のようにある程度の明るさがある状態でも、霧の濃さを特定することが可能である。
***他の構成***
<変形例1>
実施の形態1では、霧特定部24は、一定の濃さ以上の霧が発生しているか否かを判定した。しかし、霧特定部24は、移動体100の周囲の状態が、複数の段階の霧の濃さのどの濃さであるかを特定してもよい。
この場合には、図6に示すように、基準値記憶部31に、各霧の濃さについて、距離毎に基準値を記憶する。図6では、視程が15mの霧と、視程が30mの霧と、視程が50mの霧とについて、距離毎の基準値が記憶されている。そして、霧特定部24は、各霧の濃さについての基準値であって、光センサ41から反射点までの距離に対応する基準値と、輝度の滑らかさとを比較して、霧の濃さを特定する。
具体的には、輝度が、視程が15mの霧についての基準値よりも滑らかである場合には、霧特定部24は視程が15mの霧が発生していると特定する。また、輝度が、視程が15mの霧についての基準値以下の滑らかさであり、かつ、視程が30mの基準値よりも滑らかである場合には、霧特定部24は視程が30mの霧が発生していると特定する。また、輝度が、視程が30mの霧についての基準値以下の滑らかさであり、かつ、視程が50mの基準値よりも滑らかである場合には、霧特定部24は視程が50mの霧が発生していると特定する。また、輝度が、視程が50mの霧についての基準値以下の滑らかさである場合には、霧特定部24は霧が発生していないと特定する。
各距離における基準値は、霧が濃いほど低くなる。つまり、各距離における基準値は、霧が濃いほど、滑らかであることを示す値になる。
<変形例2>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例2として、各機能構成要素はハードウェアで実現されてもよい。この変形例2について、実施の形態1と異なる点を説明する。
図7を参照して、変形例2に係る霧特定装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、霧特定装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)が想定される。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
<変形例3>
変形例3として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
プロセッサ11とメモリ12とストレージ13と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
<変形例4>
実施の形態1では、霧特定装置10は1つのECUといったコンピュータにより実現された。しかし、霧特定装置10は複数のECUといったコンピュータにより実現されてもよい。
実施の形態2.
実施の形態2は、特定された霧の濃さに応じて、障害物を識別するためのセンサのセンサ閾値を設定する点が実施の形態1〜3と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
***構成の説明***
図8を参照して、実施の形態2に係る霧特定装置10の構成を説明する。
霧特定装置10は、認識部25と、閾値設定部26とを備える点が、実施の形態1〜3と異なる。
***動作の説明***
図9及び図10を参照して、実施の形態2に係る霧特定装置10の動作を説明する。
実施の形態2に係る霧特定装置10の動作は、実施の形態2に係る霧特定方法に相当する。また、実施の形態2に係る霧特定装置10の動作は、実施の形態2に係る霧特定プログラムの処理に相当する。
図9を参照して、実施の形態2に係る霧特定装置10の全体的な動作を説明する。
ステップS21は、実施の形態1で説明した霧の濃さを特定する処理である。
(ステップS22:閾値設定処理)
閾値設定部26は、ステップS21で特定された霧の濃さに応じて、障害物を識別するためのセンサのセンサ閾値を設定する。
図10を参照して具体例を説明する。
図10では、センサとしてカメラが用いられ、車両のテールランプが識別される場合を示している。
カメラを用いてテールランプを識別する場合には、YUVデータのUV平面において、テールランプとその他とを線形に識別する境界線がセンサ閾値として用いられる。そこで、閾値設定部26は、霧の濃さに応じて、この境界線を設定する。境界線は、V=a・U+bと表せる。そこで、閾値設定部26は、霧の濃さに応じて、a,bの値を設定する。
図10に示すように、閾値設定部26は、霧が発生していない場合には、テールランプ以外の赤発光物がテールランプと誤認識されることを防止するため、センサ閾値である境界線を高めに設定する。一方、閾値設定部26は、霧が発生している場合には、センサ閾値である境界線を低めに設定して、赤発光物をテールランプと認識され易くする。
なお、図10では、霧が発生している場合と、霧が発生していない場合との2つの場合についてのセンサ閾値の設定例が示されている。しかし、閾値設定部26は、複数の段階の霧の濃さそれぞれについてセンサ閾値を設定してもよい。この場合には、霧が濃いほどセンサ閾値である境界線が低く設定される。
(ステップS23:認識処理)
認識部25は、ステップS22で設定されたセンサ閾値を用いて、障害物を認識する。
図10の例であれば、認識部25は、ステップS22で設定された境界線を用いて、カメラによって得られた画像データからテールランプを検出する。
***実施の形態2の効果***
以上のように、実施の形態2に係る霧特定装置10は、霧の濃さに応じてセンサ閾値を設定する。これにより、障害物を適切に認識することが可能になる。
実施の形態3.
実施の形態3は、霧の濃さに応じて、障害物を識別するために用いるセンサを決定する点が実施の形態1,2と異なる。実施の形態3では、この異なる点を説明し、同一の点については説明を省略する。
なお、ここでは、実施の形態1に機能を加えた例を説明する。しかし、実施の形態2に機能を加えることも可能である。
***構成の説明***
図11を参照して、実施の形態3に係る霧特定装置10の構成を説明する。
霧特定装置10は、認識部25と、センサ決定部27とを備える点が、実施の形態1と異なる。また、ストレージ13が信頼度記憶部32の機能を実現する点が、実施の形態1と異なる。
***動作の説明***
図12及び図13を参照して、実施の形態3に係る霧特定装置10の動作を説明する。
実施の形態3に係る霧特定装置10の動作は、実施の形態3に係る霧特定方法に相当する。また、実施の形態3に係る霧特定装置10の動作は、実施の形態3に係る霧特定プログラムの処理に相当する。
図12を参照して、実施の形態3に係る霧特定装置10の全体的な動作を説明する。
ステップS31は、実施の形態1で説明した霧の濃さを特定する処理である。
(ステップS32:センサ決定処理)
センサ決定部27は、ステップS31で特定された霧の濃さに応じて、障害物を識別するために用いるセンサを決定する。
具体的には、信頼度記憶部32は、霧の濃さ毎に、移動体100に搭載された各センサについて、距離毎の信頼度を記憶する。図13に示すように、移動体100にセンサとしてカメラとミリ波レーダとLiDARとが搭載されている場合には、信頼度記憶部32は、霧の濃さ毎に、カメラとミリ波レーダとLiDARとの距離毎の信頼度を記憶する。図13では、霧が発生している場合と霧が発生していない場合との距離毎の信頼度が示されている。各センサの信頼度は、実験により求められる。
センサ決定部27は、信頼度記憶部32を参照して、ステップS31で特定された霧の濃さの場合に信頼度の高いセンサを、障害物を識別するために用いるセンサとして決定する。センサ決定部27は、距離毎に障害物を識別するために用いるセンサとして決定してもよい。
例えば、センサ決定部27は、霧が発生していない場合には、LiDARとカメラとを用いると決定し、霧が発生している場合には、ミリ波レーダとカメラとを用いると決定する。
(ステップS33:認識処理)
認識部25は、ステップS32で決定されたセンサを用いて、障害物を認識する。
***実施の形態3の効果***
以上のように、実施の形態3に係る霧特定装置10は、霧の濃さに応じて、障害物を識別するために用いるセンサを決定する。これにより、障害物を適切に認識することが可能になる。
***他の構成***
<変形例5>
実施の形態3では、実施の形態1に機能が加えられた。しかし、実施の形態2に機能が加えられてもよい。
この場合には、図14に示すように、霧特定装置10は、図11に示す機能構成要素に加え、閾値設定部26を備える。そして、図15に示すように、ステップS82でセンサ決定部27が用いるセンサを決定した上で、ステップS83で閾値設定部26が決定されたセンサについてのセンサ閾値を決定する。
なお、ステップS41とステップS42とステップS44との処理は、図12のステップS31とステップS32とステップS33との処理と同じである。また、ステップS43の処理は、図9のステップS22の処理と同じである。
以上、この発明の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、この発明は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
10 霧特定装置、11 プロセッサ、12 メモリ、13 ストレージ、14 通信インタフェース、15 電子回路、21 点データ取得部、22 画像データ取得部、23 輝度計算部、24 霧特定部、25 認識部、26 閾値設定部、27 センサ決定部、31 基準値記憶部、41 光センサ、42 カメラ、100 移動体。

Claims (7)

  1. 放射された光束が反射点で反射した反射光を受信する光センサによって得られた前記反射点を示す点データを取得する点データ取得部と、
    前記点データ取得部によって取得された前記点データが示す前記反射点の周辺の画像データを取得する画像データ取得部と、
    前記画像データ取得部によって取得された前記画像データの輝度の滑らかさを計算する輝度計算部と、
    前記点データから特定される前記光センサから前記反射点までの距離と、前記輝度計算部によって計算された前記輝度の滑らかさとから、霧の濃さを特定する霧特定部と
    を備える霧特定装置。
  2. 前記霧特定部は、前記距離が近いほど、前記輝度の滑らかさが低くても、霧が濃いと特定する
    請求項1に記載の霧特定装置。
  3. 前記輝度計算部は、前記画像データの水平方向の1本以上のラインを構成する各画素の輝度について2次微分計算を行った値の絶対値の総和を、前記輝度の滑らかさを示す値として計算する
    請求項1又は2に記載の霧特定装置。
  4. 前記霧特定装置は、さらに、
    前記霧特定部によって特定された霧の濃さに応じて、障害物を識別するためのセンサのセンサ閾値を設定する閾値設定部
    を備える請求項1から3までのいずれか1項に記載の霧特定装置。
  5. 前記霧特定装置は、さらに、
    前記霧特定部によって特定された霧の濃さに応じて、障害物を識別するために用いるセンサを決定するセンサ決定部
    を備える請求項1から4までのいずれか1項に記載の霧特定装置。
  6. 点データ取得部が、放射された光束が反射点で反射した反射光を受信する光センサによって得られた前記反射点を示す点データを取得し、
    画像データ取得部が、前記点データが示す前記反射点の周辺の画像データを取得し、
    輝度計算部が、前記画像データの輝度の滑らかさを計算し、
    霧特定部が、前記点データから特定される前記光センサから前記反射点までの距離と、前記輝度の滑らかさとから、霧の濃さを特定する霧特定方法。
  7. 放射された光束が反射点で反射した反射光を受信する光センサによって得られた前記反射点を示す点データを取得する点データ取得処理と、
    前記点データ取得処理によって取得された前記点データが示す前記反射点の周辺の画像データを取得する画像データ取得処理と、
    前記画像データ取得処理によって取得された前記画像データの輝度の滑らかさを計算する輝度計算処理と、
    前記点データから特定される前記光センサから前記反射点までの距離と、前記輝度計算処理によって計算された前記輝度の滑らかさとから、霧の濃さを特定する霧特定処理と
    をコンピュータに実行させる霧特定プログラム。
JP2020505558A 2018-03-12 2018-03-12 霧特定装置、霧特定方法及び霧特定プログラム Active JP6723492B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/009396 WO2019175920A1 (ja) 2018-03-12 2018-03-12 霧特定装置、霧特定方法及び霧特定プログラム

Publications (2)

Publication Number Publication Date
JPWO2019175920A1 true JPWO2019175920A1 (ja) 2020-06-18
JP6723492B2 JP6723492B2 (ja) 2020-07-15

Family

ID=67907497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020505558A Active JP6723492B2 (ja) 2018-03-12 2018-03-12 霧特定装置、霧特定方法及び霧特定プログラム

Country Status (5)

Country Link
US (1) US11867870B2 (ja)
JP (1) JP6723492B2 (ja)
CN (1) CN111819472B (ja)
DE (1) DE112018007036B4 (ja)
WO (1) WO2019175920A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018007029B4 (de) * 2018-03-12 2022-12-08 Mitsubishi Electric Corporation Nebelbestimmungsvorrichtung, Nebelbestimmungsverfahren und Nebelbestimmungsprogramm
WO2019175918A1 (ja) * 2018-03-12 2019-09-19 三菱電機株式会社 霧特定装置、霧特定方法及び霧特定プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05296766A (ja) * 1992-04-16 1993-11-09 Canon Inc 障害物検出装置
JP2006227876A (ja) * 2005-02-17 2006-08-31 Denso Corp 夜間画像による霧検出装置
JP2009042177A (ja) * 2007-08-10 2009-02-26 Honda Motor Co Ltd 物体検出装置
US20140044312A1 (en) * 2011-04-28 2014-02-13 Tobias Ehlgen Method and apparatus for recognizing an intensity of an aerosol in a field of vision of a camera on a vehicle
JP2017102245A (ja) * 2015-12-01 2017-06-08 キヤノン株式会社 画像処理装置および画像処理方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4040175C2 (de) 1990-12-15 2000-04-20 Bayerische Motoren Werke Ag Beleuchtungsverfahren
JP3990836B2 (ja) * 1999-03-01 2007-10-17 矢崎総業株式会社 車両用周辺監視装置
JP3669205B2 (ja) 1999-05-17 2005-07-06 日産自動車株式会社 障害物認識装置
US7110021B2 (en) 2002-05-31 2006-09-19 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings monitoring device, and image production method/program
JP3683258B2 (ja) 2002-05-31 2005-08-17 松下電器産業株式会社 車両周辺監視装置、画像生成方法および画像生成プログラム
JP3861781B2 (ja) 2002-09-17 2006-12-20 日産自動車株式会社 前方車両追跡システムおよび前方車両追跡方法
EP1498721A1 (de) 2003-07-15 2005-01-19 ELMOS Semiconductor AG Vorrichtung zur Erkennung von Nebel, insbesondere für ein Fahrzeug
JP4730267B2 (ja) 2006-07-04 2011-07-20 株式会社デンソー 車両用視界状況判定装置
JP4241834B2 (ja) 2007-01-11 2009-03-18 株式会社デンソー 車載霧判定装置
JP4980939B2 (ja) 2008-01-22 2012-07-18 富士重工業株式会社 撮像手段の調整装置および物体検出装置
JP5155042B2 (ja) 2008-07-04 2013-02-27 本田技研工業株式会社 車両周辺画像の切替装置
JP5218906B2 (ja) 2008-10-16 2013-06-26 国立大学法人東京農工大学 煙検出装置及び煙検出方法
WO2011107116A1 (en) * 2010-03-04 2011-09-09 Valeo Schalter Und Sensoren Gmbh Method of fog and raindrop detection on a windscreen and driving assistance device
CN102175613B (zh) * 2011-01-26 2012-11-14 南京大学 基于图像亮度特征的ptz视频能见度检测方法
CN102139674A (zh) * 2011-02-23 2011-08-03 电子科技大学 一种雾天汽车防追尾系统
JP5898535B2 (ja) 2012-03-13 2016-04-06 富士重工業株式会社 撮像ユニットの露光制御装置
US9221461B2 (en) 2012-09-05 2015-12-29 Google Inc. Construction zone detection using a plurality of information sources
US8473144B1 (en) 2012-10-30 2013-06-25 Google Inc. Controlling vehicle lateral lane positioning
DE102013204597A1 (de) * 2013-03-15 2014-09-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer Sichtweite bei Nebel am Tag
US8983705B2 (en) * 2013-04-30 2015-03-17 Google Inc. Methods and systems for detecting weather conditions including fog using vehicle onboard sensors
JP6058072B2 (ja) 2015-05-29 2017-01-11 三菱電機株式会社 物体識別装置
DE102016116346A1 (de) 2016-09-01 2018-03-01 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Verfahren zur quantitativen Bestimmung von einer zeitlichen und räumlichen Verteilung von Lichtstrahlen in einem streuenden Medium
US10254388B2 (en) * 2017-03-28 2019-04-09 Luminar Technologies, Inc. Dynamically varying laser output in a vehicle in view of weather conditions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05296766A (ja) * 1992-04-16 1993-11-09 Canon Inc 障害物検出装置
JP2006227876A (ja) * 2005-02-17 2006-08-31 Denso Corp 夜間画像による霧検出装置
JP2009042177A (ja) * 2007-08-10 2009-02-26 Honda Motor Co Ltd 物体検出装置
US20140044312A1 (en) * 2011-04-28 2014-02-13 Tobias Ehlgen Method and apparatus for recognizing an intensity of an aerosol in a field of vision of a camera on a vehicle
JP2017102245A (ja) * 2015-12-01 2017-06-08 キヤノン株式会社 画像処理装置および画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
森健史 ほか: "車載カメラ映像とミリ波レーダデータによる霧の濃さの判定", 信学技報, vol. 106(605), JPN7018001578, 15 March 2007 (2007-03-15), JP, pages 85 - 90, ISSN: 0004266009 *

Also Published As

Publication number Publication date
DE112018007036B4 (de) 2022-12-08
US11867870B2 (en) 2024-01-09
CN111819472B (zh) 2022-06-24
DE112018007036T5 (de) 2020-10-29
JP6723492B2 (ja) 2020-07-15
CN111819472A (zh) 2020-10-23
WO2019175920A1 (ja) 2019-09-19
US20210019537A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
JP6591118B2 (ja) 光量調整装置、光量調整方法及び光量調整プログラム
US10339397B2 (en) Detecting device, detecting method, and program
US9152856B2 (en) Pedestrian detection system and method
KR20210006276A (ko) 플리커를 약화시키기 위한 이미지 처리 방법
JP6598960B2 (ja) 一場面における霧検出のための方法及び撮像装置
WO2018110183A1 (ja) 撮像制御装置、撮像制御方法、プログラムおよび記録媒体
JP6723492B2 (ja) 霧特定装置、霧特定方法及び霧特定プログラム
CN110659547A (zh) 物体识别方法、装置、车辆和计算机可读存储介质
JP2020004085A (ja) 画像処理装置、画像処理方法及びプログラム
US11089291B2 (en) Detection method and detection device, electronic device and computer readable storage medium
JP2020177648A (ja) 遺留物誤検出の認識方法、装置及び画像処理装置
JP6723491B2 (ja) 霧特定装置、霧特定方法及び霧特定プログラム
JP6746032B2 (ja) 霧特定装置、霧特定方法及び霧特定プログラム
JP6034713B2 (ja) 車外環境認識装置および車外環境認識方法
JP7441989B1 (ja) メータ読取装置、メータ読取方法及びメータ読取プログラム
JP7277666B2 (ja) 処理装置
JP6877501B2 (ja) 滞留検知装置、滞留検知方法及び滞留検知プログラム
WO2021084915A1 (ja) 画像認識装置
JP2019121355A (ja) 車両検出装置と方法及び電子機器
JP2019021295A (ja) ターゲット検出方法、装置及び画像処理装置
WO2018154654A1 (ja) 動体検出装置および動体検出プログラム
CN115482352A (zh) 用于训练机器学习算法的方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200219

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200219

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200623

R150 Certificate of patent or registration of utility model

Ref document number: 6723492

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250