JP6746032B2 - 霧特定装置、霧特定方法及び霧特定プログラム - Google Patents

霧特定装置、霧特定方法及び霧特定プログラム Download PDF

Info

Publication number
JP6746032B2
JP6746032B2 JP2020505557A JP2020505557A JP6746032B2 JP 6746032 B2 JP6746032 B2 JP 6746032B2 JP 2020505557 A JP2020505557 A JP 2020505557A JP 2020505557 A JP2020505557 A JP 2020505557A JP 6746032 B2 JP6746032 B2 JP 6746032B2
Authority
JP
Japan
Prior art keywords
fog
point data
density
reflection
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020505557A
Other languages
English (en)
Other versions
JPWO2019175919A1 (ja
Inventor
公彦 廣井
公彦 廣井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2019175919A1 publication Critical patent/JPWO2019175919A1/ja
Application granted granted Critical
Publication of JP6746032B2 publication Critical patent/JP6746032B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04Systems determining the presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/95Lidar systems specially adapted for specific applications for meteorological use
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Atmospheric Sciences (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Description

この発明は、霧の濃さを特定する技術に関する。
特許文献1には、車両の周辺に霧が発生しているか否かを判定する技術が記載されている。
特許文献1では、車両の周辺に電磁波が送信され、その反射波から反射点が特定される。特定された複数の反射点間の距離が一定の範囲内になる反射点が1つのセグメントとして分類される。第1反射点のセグメントである第1セグメントを通る電磁波の走査線上で第2反射点が存在する比率が高い場合に、第1セグメントが霧であると判定される。
特開2009−42177号公報
特許文献1に記載された技術では、霧が濃い場合には、霧を透過する電磁波が少なくなるため、第1セグメントを通る電磁波の走査線上で第2反射点が存在する比率が低くなってしまう。そのため、霧が発生していることの特定が困難になる。
この発明は、適切に霧の濃さを特定することを目的とする。
この発明に係る霧特定装置は、
放射された光束が反射点で反射した反射光を受信する光センサによって得られた前記反射点を示す点データの集合を取得する点データ取得部と、
前記点データ取得部によって取得された前記集合に含まれる点データが示す前記反射点を俯瞰した場合に、前記光センサの周辺に前記反射点が円弧状に分布しているか否かにより、霧の濃さを特定する霧特定部と
を備える。
この発明では、光センサの周辺に反射点が円弧状に分布しているか否かにより、霧の濃さを特定する。光センサの周辺における反射点の分布状態は、霧の濃さに応じて変化するため、適切に霧の濃さを特定することが可能である。
実施の形態1に係る霧特定装置10の構成図。 実施の形態1に係る霧特定装置10の全体的な動作を示すフローチャート。 実施の形態1に係る点データの説明図。 実施の形態1に係る霧特定処理のフローチャート。 実施の形態1に係る霧特定処理の説明図。 変形例1に係る霧特定装置10の構成図。 実施の形態2に係る霧特定装置10の全体的な動作を示すフローチャート。 実施の形態2に係る霧が発生している場合の点データの説明図。 実施の形態2に係る霧特定処理のフローチャート。 実施の形態2に係る分散計算処理の説明図。 実施の形態3に係る霧特定装置10の構成図。 実施の形態3に係る霧特定装置10の全体的な動作を示すフローチャート。 実施の形態4に係る霧特定装置10の構成図。 実施の形態4に係る霧特定装置10の全体的な動作を示すフローチャート。 実施の形態4に係る閾値設定処理の説明図。 実施の形態5に係る霧特定装置10の構成図。 実施の形態5に係る霧特定装置10の全体的な動作を示すフローチャート。 実施の形態5に係る信頼度記憶部32に記憶される情報の説明図。 変形例4に係る霧特定装置10の構成図。 変形例4に係る霧特定装置10の全体的な動作を示すフローチャート。
実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る霧特定装置10の構成を説明する。
霧特定装置10は、移動体100に搭載されるECU(Electronic Control Unit)といったコンピュータである。
実施の形態1では、移動体100は、車両である。しかし、移動体100は、車両に限らず、船及び航空機といった他の種別であってもよい。霧特定装置10は、移動体100又は図示した他の構成要素と、一体化した形態又は分離不可能な形態で実装されてもよい、あるいは、取り外し可能な形態または分離可能な形態で実装されてもよい。
霧特定装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
プロセッサ11は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
メモリ12は、データを一時的に記憶する記憶装置である。メモリ12は、具体例としては、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)である。
ストレージ13は、データを保管する記憶装置である。ストレージ13は、具体例としては、HDD(Hard Disk Drive)である。また、ストレージ13は、SD(登録商標,Secure Digital)メモリカード、CF(CompactFlash,登録商標)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記録媒体であってもよい。
通信インタフェース14は、外部の装置と通信するためのインタフェースである。通信インタフェース14は、具体例としては、Ethernet(登録商標)、USB(Universal Serial Bus)、HDMI(登録商標,High−Definition Multimedia Interface)のポートである。
通信インタフェース14は、移動体100に搭載された光センサ41と接続されている。光センサ41は、光の束である光束を放射し、放射された光束が反射点で反射した反射光を受信する装置である。光センサ41は、具体例としては、LiDAR(Light Detection and Ranging)である。
霧特定装置10は、機能構成要素として、点データ取得部21と、霧特定部22とを備える。霧特定装置10の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ13には、霧特定装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、霧特定装置10の各機能構成要素の機能が実現される。
また、ストレージ13は、判定情報記憶部31の機能を実現する。
図1では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。
***動作の説明***
図2から図5を参照して、実施の形態1に係る霧特定装置10の動作を説明する。
実施の形態1に係る霧特定装置10の動作は、実施の形態1に係る霧特定方法に相当する。また、実施の形態1に係る霧特定装置10の動作は、実施の形態1に係る霧特定プログラムの処理に相当する。
図2を参照して、実施の形態1に係る霧特定装置10の全体的な動作を説明する。
(ステップS11:点データ取得処理)
点データ取得部21は、放射された光束が反射点で反射した反射光を受信する光センサ41によって得られた反射点を示す点データの集合を、通信インタフェース14を介して取得する。
点データは、光センサ41から放射されたある光束に対する反射点である1次反射点を示す1次点データと、ある光束に対する反射光の強度が1次反射点よりも低い反射点である2次反射点を示す2次点データとの組である。実施の形態1では、1次反射点は、反射光の強度が最も高い反射点であり、2次反射点は、1次反射点の次に反射光の強度が高い反射点である。
図3に示すように、光センサ41は、光の束である光束を放射する。霧が発生している場合には、まず、上下奥行き方向にまばらに拡散しているどこかの霧の粒子で光束を構成する光が反射する。概ねの場合には、光センサ41に近い位置での反射の反射光の強度が最も高くなる。そのため、光センサ41に近い位置で反射が発生した反射点が1次反射点になる。霧の粒子の間を通り抜けた光と、霧の粒子で反射した光とが、他の霧の粒子、又は、移動体100の周辺の車両といった障害物で反射する。概ねの場合には、この反射の反射光の強度が2番目に高くなるため、この反射が発生した反射点が2次反射点になる。
(ステップS12:クラスタリング処理)
点データ取得部21は、ステップS11で取得された集合に含まれる点データをクラスタリングする。
具体的には、点データ取得部21は、1次反射点と2次反射点との少なくともいずれかの位置に基づき、集合に含まれる点データをクラスタリングして、1つ以上のクラスタを生成する。点データのクラスタリング方法については、既存のクラスタリング技術を用いればよい。例えば、点データ取得部21は、1次反射点の位置間の距離が一定の距離以内になる点データを1つのクラスタとする。
ここでは、点データ取得部21がクラスタリングを行うとした。しかし、点データ取得部21は、クラスタリングされた点データの集合を取得してもよい。つまり、霧特定装置10とは別のクラスタリング用のECUで点データのクラスタリングが行われ、点データ取得部21は、クラスタリング用のECUでクラスタリングされた点データの集合を取得してもよい。
(ステップS13:霧特定処理)
霧特定部22は、ステップS11で取得された集合に含まれる点データについての1次反射点と2次反射点との間の距離の分布に基づき、霧の濃さを特定する。ここでは、霧特定部22は、ステップS12で1つのクラスタにクラスタリングされた点データについての1次反射点と2次反射点との間の距離の分布に基づき、霧の濃さを特定する。
具体的には、霧特定部22は、霧の濃さに応じた距離の分布のパターンと、集合に含まれる点データについての距離の分布とを比較することにより、霧の濃さを特定する。実施の形態1では、霧特定部22は、霧の濃さに応じた距離の頻度のヒストグラムのパターンと、集合に含まれる点データについての距離の頻度のヒストグラムとを比較することにより、霧の濃さを特定する。
図4及び図5を参照して、実施の形態1に係る霧特定処理(図2のステップS13)を説明する。
(ステップS21:ヒストグラム生成処理)
図5の(A)に示すように、霧特定部22は、ステップS12で1つのクラスタにクラスタリングされた点データについての1次反射点と2次反射点との間の距離の分布を表すヒストグラムを生成する。
具体的には、霧特定部22は、距離毎に点データの数を特定し、特定された点データの数をクラスタに含まれる点データの数で除して、距離毎の頻度を計算する。霧特定部22は、計算された頻度を示すヒストグラムを生成する。
実施の形態1では、判定情報記憶部31は、霧の濃さ毎に、1次反射点と2次反射点との間の距離の分布のパターンを記憶する。具体的には、判定情報記憶部31は、霧の濃さ毎に、1次反射点と2次反射点との間の距離の頻度のヒストグラムを記憶する。
ステップS22の処理は、判定情報記憶部31に記憶されたヒストグラムの各パターンを対象として実行される。
(ステップS22:比較処理)
図5の(B)に示すように、霧特定部22は、対象のパターンと、ステップS21で生成されたヒストグラムとを比較して、霧の濃さを特定する。
具体的には、霧特定部22は、対象のパターンを判定情報記憶部31から読み出す。霧特定部22は、読み出された対象のパターンと、ステップS21で生成されたヒストグラムとを比較する。比較方法は、既存の類似度比較技術を用いればよい。実施の形態1では、霧特定部22は、ヒストグラムのビンをベクトルとして、読み出されたパターンのベクトルと、ステップS21で生成されたヒストグラムのベクトルとについて、ユークリッド距離又はヒストグラムインタセクションに基づく類似度を計算する。霧特定部22は、これに限らず、SVM(Support Vector Machine)とAdaboostと多層パーセプトロンの教師あり学習といった技術を用いて比較してもよい。
(ステップS23:濃さ特定処理)
霧特定部22は、判定情報記憶部31に記憶されたヒストグラムのパターンのうち、ステップS22で計算された類似度が最も高いパターンを特定する。霧特定部22は、特定されたパターンに対応する霧の濃さを、移動体100の周囲の霧の濃さであると特定する。
図5の例1の場合には、ステップS21で生成されたヒストグラムは、視程15mの霧のパターン(図5では霧15と記載)との類似度が高くなる。そのため、例1では、視程15mの霧と判定される。また、図5の例2の場合には、ステップS21で生成されたヒストグラムは、霧なしのパターンとの類似度が高くなる。そのため、例2では、霧なしと判定される。
なお、霧の濃さを特定するとは、複数の段階の霧の濃さのどの濃さであるかを特定することに限らず、一定以上の濃さの霧が発生しているか否かを特定することも含む。つまり、霧の濃さを特定するとは、霧が発生しているか否かを判定することも含む。
***実施の形態1の効果***
以上のように、実施の形態1に係る霧特定装置10は、1次反射点と2次反射点との間の距離の分布に基づき、霧の濃さを特定する。1次反射点と2次反射点との間の距離の分布は、霧の濃さに応じて変化するため、適切に霧の濃さを特定することが可能である。
***他の構成***
<変形例1>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例1として、各機能構成要素はハードウェアで実現されてもよい。この変形例1について、実施の形態1と異なる点を説明する。
図6を参照して、変形例1に係る霧特定装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、霧特定装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)が想定される。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
<変形例2>
変形例2として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
プロセッサ11とメモリ12とストレージ13と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
<変形例3>
実施の形態1では、霧特定装置10は1つのECUといったコンピュータにより実現された。しかし、霧特定装置10は複数のECUといったコンピュータにより実現されてもよい。
実施の形態2.
実施の形態2は、光センサ41の周辺に反射点が円弧状に分布しているか否かにより、霧の濃さを特定する点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
***動作の説明***
図7から図10を参照して、実施の形態2に係る霧特定装置10の動作を説明する。
実施の形態2に係る霧特定装置10の動作は、実施の形態2に係る霧特定方法に相当する。また、実施の形態2に係る霧特定装置10の動作は、実施の形態2に係る霧特定プログラムの処理に相当する。
図7を参照して、実施の形態2に係る霧特定装置10の全体的な動作を説明する。
(ステップS31:点データ取得処理)
点データ取得部21は、放射された光束が反射点で反射した反射光を受信する光センサ41によって得られた反射点を示す点データの集合を取得する。
実施の形態2では、実施の形態1と異なり、点データは、1次点データと2次点データとの組である必要はない。実施の形態2では、点データは、1つの反射点だけを示していてもよい。
(ステップS32:霧特定処理)
霧特定部22は、ステップS31で取得された集合に含まれる点データが示す反射点を俯瞰した場合に、光センサ41の周辺に反射点が円弧状に分布しているか否かにより、霧の濃さを特定する。
つまり、霧特定部22は、図8の(A)に示す反射点を示す点データの集合を、図8の(B)に示すように俯瞰変換する。つまり、霧特定部22は、点データの集合が示す反射点群を、奥行方向及び水平方向の座標系上に投影する。霧が発生している場合には、光センサ41の周辺で一様に光束が反射するため、光センサ41の周辺に円弧上に反射点が分布する。なお、図8の(B)では、反射点が円状ではなく、円弧状に分布している。これは、移動体100が存在する位置に反射点がないためである。
図9を参照して、実施の形態2に係る霧特定処理(図7のステップS32)を説明する。
(ステップS41:円近似処理)
霧特定部22は、ステップS31で取得された集合に含まれる点データが示す反射点の奥行方向及び水平方向の座標を入力として、円の最小二乗法によって近似される円を計算する。
具体的には、霧特定部22は、数1に示す円の最小二乗法の式に、集合に含まれる点データi(i=1,...,n)が示す反射点の奥行方向及び水平方向の座標(x,y)を入力して、近似される円の中心座標(A,B)と、半径Cとを計算する。
Figure 0006746032
(ステップS42:分散計算処理)
霧特定部22は、ステップS31で取得された集合に含まれる各点データを対象として、対象の点データが示す反射点からステップS41で計算された円までの距離dを計算する。つまり、図10に示すように、霧特定部22は、対象の点データが示す反射点から円の接線に垂直に下した直線における、反射点から円までの長さを距離dとして計算する。そして、霧特定部22は、距離dの分散値を計算する。
(ステップS43:濃さ特定処理)
霧特定部22は、ステップS42で計算された分散値により、霧の濃さを特定する。霧特定部22は、分散値が小さいほど、霧が濃いと特定する。
実施の形態2では、判定情報記憶部31は、霧の濃さ毎に分散値の閾値を記憶する。霧特定部22は、ステップS42で計算された分散値と、判定情報記憶部31に記憶された霧の濃さ毎の閾値とを比較することにより、霧の濃さを特定する。
***実施の形態2の効果***
以上のように、実施の形態2に係る霧特定装置10は、光センサ41の周辺に反射点が円弧状に分布しているか否かにより、霧の濃さを特定する。霧が発生している場合には、光センサ41の周辺に反射点が円弧状に分布するため、適切に霧が発生しているか否かを特定することが可能である。
また、実施の形態2に係る霧特定装置10は、各反射点から円までの距離dの分散値により、霧の濃さを特定する。分散値は、霧の濃さに応じて変化するため、適切に霧の濃さを特定することが可能である。
実施の形態3.
実施の形態3は、実施の形態1で説明した霧の濃さの特定方法と、実施の形態2で説明した霧の濃さの特定方法とを組み合わせて、霧の濃さを特定する点が実施の形態1,2と異なる。実施の形態3では、この異なる点を説明し、同一の点については説明を省略する。
***構成の説明***
図11を参照して、実施の形態3に係る霧特定装置10の構成を説明する。
霧特定装置10は、霧特定部22が、第1特定部23と、第2特定部24と、総合特定部25とを備える点が実施の形態1,2と異なる。
***動作の説明***
図12を参照して、実施の形態3に係る霧特定装置10の動作を説明する。
実施の形態3に係る霧特定装置10の動作は、実施の形態3に係る霧特定方法に相当する。また、実施の形態3に係る霧特定装置10の動作は、実施の形態3に係る霧特定プログラムの処理に相当する。
(ステップS51:点データ取得処理)
点データ取得部21は、点データの集合を取得する。
実施の形態3では、点データは、1次点データと2次点データとの組である。
(ステップS52:第1特定処理)
第1特定部23は、1次反射点と2次反射点との間の距離の分布に基づき、霧の濃さを第1濃さとして特定する。つまり、第1特定部23は、実施の形態1で説明した方法により、霧の濃さを特定する。
(ステップS53:第2特定処理)
第2特定部24は、集合に含まれる点データが示す反射点を俯瞰した場合に、反射点から近似される円を計算し、計算された円と反射点と間の距離の分散に基づき、霧の濃さを第2濃さとして特定する。つまり、第2特定部24は、実施の形態2で説明した方法により、霧の濃さを特定する。
この際、第2特定部24は、点データに含まれる1次点データだけを用いてもよいし、1次点データと2次点データとの両方を用いてもよい。
(ステップS54:総合特定処理)
総合特定部25は、ステップS52で特定された第1濃さと、ステップS53で特定された第2濃さとから、霧の濃さを特定する。
例えば、第1濃さと第2濃さとが霧が発生しているか、あるいは、霧が発生していないかを特定しているとする。この場合には、総合特定部25は、第1濃さと第2濃さとの両方が霧が発生していることを示すなら、霧が発生していると判定し、それ以外の場合には霧が発生していないと判定する。
また、例えば、第1濃さと第2濃さとが複数の段階の霧の濃さのどの濃さであるかを特定しているとする。この場合には、総合特定部25は、第1濃さに重み付けした値と、第2濃さに重み付けした値との和と、濃さ毎に設定された閾値とを比較して、霧の濃さを特定する。つまり、第1濃さをX、第2濃さをY、第1濃さの重みをθ1、第2濃さの重みをθ2とした場合には、総合特定部25は、θ1X+θ2Yと、濃さ毎に設定された閾値thとを比較して、霧の濃さを判定する。
***実施の形態3の効果***
以上のように、実施の形態3に係る霧特定装置10は、実施の形態1,2で説明した方法を組み合わせて霧の濃さを特定する。これにより、より高い精度で霧の濃さを特定することが可能になる。
実施の形態4.
実施の形態4は、特定された霧の濃さに応じて、障害物を識別するためのセンサのセンサ閾値を設定する点が実施の形態1〜3と異なる。実施の形態4では、この異なる点を説明し、同一の点については説明を省略する。
***構成の説明***
図13を参照して、実施の形態4に係る霧特定装置10の構成を説明する。
霧特定装置10は、認識部26と、閾値設定部27とを備える点が、実施の形態1〜3と異なる。
***動作の説明***
図14及び図15を参照して、実施の形態4に係る霧特定装置10の動作を説明する。
実施の形態4に係る霧特定装置10の動作は、実施の形態4に係る霧特定方法に相当する。また、実施の形態4に係る霧特定装置10の動作は、実施の形態4に係る霧特定プログラムの処理に相当する。
図14を参照して、実施の形態4に係る霧特定装置10の全体的な動作を説明する。
ステップS61は、実施の形態1〜3で説明した霧の濃さを特定する処理である。
(ステップS62:閾値設定処理)
閾値設定部27は、ステップS61で特定された霧の濃さに応じて、障害物を識別するためのセンサのセンサ閾値を設定する。
図15を参照して具体例を説明する。
図15では、センサとしてカメラが用いられ、車両のテールランプが識別される場合を示している。
カメラを用いてテールランプを識別する場合には、YUVデータのUV平面において、テールランプとその他とを線形に識別する境界線がセンサ閾値として用いられる。そこで、閾値設定部27は、霧の濃さに応じて、この境界線を設定する。境界線は、V=a・U+bと表せる。そこで、閾値設定部27は、霧の濃さに応じて、a,bの値を設定する。
図15に示すように、閾値設定部27は、霧が発生していない場合には、テールランプ以外の赤発光物がテールランプと誤認識されることを防止するため、センサ閾値である境界線を高めに設定する。一方、閾値設定部27は、霧が発生している場合には、センサ閾値である境界線を低めに設定して、赤発光物をテールランプと認識され易くする。
なお、図15では、霧が発生している場合と、霧が発生していない場合との2つの場合についてのセンサ閾値の設定例が示されている。しかし、閾値設定部27は、複数の段階の霧の濃さそれぞれについてセンサ閾値を設定してもよい。この場合には、霧が濃いほどセンサ閾値である境界線が低く設定される。
(ステップS63:認識処理)
認識部26は、ステップS62で設定されたセンサ閾値を用いて、障害物を認識する。
図15の例であれば、認識部26は、ステップS62で設定された境界線を用いて、カメラによって得られた画像データからテールランプを検出する。
***実施の形態4の効果***
以上のように、実施の形態4に係る霧特定装置10は、霧の濃さに応じてセンサ閾値を設定する。これにより、障害物を適切に認識することが可能になる。
実施の形態5.
実施の形態5は、霧の濃さに応じて、障害物を識別するために用いるセンサを決定する点が実施の形態1〜4と異なる。実施の形態5では、この異なる点を説明し、同一の点については説明を省略する。
なお、ここでは、実施の形態1〜3に機能を加えた例を説明する。しかし、実施の形態4に機能を加えることも可能である。
***構成の説明***
図16を参照して、実施の形態5に係る霧特定装置10の構成を説明する。
霧特定装置10は、認識部26と、センサ決定部28とを備える点が、実施の形態1〜3と異なる。また、ストレージ13が信頼度記憶部32の機能を実現する点が、実施の形態1〜3と異なる。
***動作の説明***
図17及び図18を参照して、実施の形態5に係る霧特定装置10の動作を説明する。
実施の形態5に係る霧特定装置10の動作は、実施の形態5に係る霧特定方法に相当する。また、実施の形態5に係る霧特定装置10の動作は、実施の形態5に係る霧特定プログラムの処理に相当する。
図17を参照して、実施の形態5に係る霧特定装置10の全体的な動作を説明する。
ステップS71は、実施の形態1〜3で説明した霧の濃さを特定する処理である。
(ステップS72:センサ決定処理)
センサ決定部28は、ステップS71で特定された霧の濃さに応じて、障害物を識別するために用いるセンサを決定する。
具体的には、信頼度記憶部32は、霧の濃さ毎に、移動体100に搭載された各センサについて、距離毎の信頼度を記憶する。図18に示すように、移動体100にセンサとしてカメラとミリ波レーダとLiDARとが搭載されている場合には、信頼度記憶部32は、霧の濃さ毎に、カメラとミリ波レーダとLiDARとの距離毎の信頼度を記憶する。図18では、霧が発生している場合と霧が発生していない場合との距離毎の信頼度が示されている。各センサの信頼度は、実験により求められる。
センサ決定部28は、信頼度記憶部32を参照して、ステップS71で特定された霧の濃さの場合に信頼度の高いセンサを、障害物を識別するために用いるセンサとして決定する。センサ決定部28は、距離毎に障害物を識別するために用いるセンサを決定してもよい。
例えば、センサ決定部28は、霧が発生していない場合には、LiDARとカメラとを用いると決定し、霧が発生している場合には、ミリ波レーダとカメラとを用いると決定する。
(ステップS73:認識処理)
認識部26は、ステップS72で決定されたセンサを用いて、障害物を認識する。
***実施の形態5の効果***
以上のように、実施の形態5に係る霧特定装置10は、霧の濃さに応じて、障害物を識別するために用いるセンサを決定する。これにより、障害物を適切に認識することが可能になる。
***他の構成***
<変形例4>
実施の形態5では、実施の形態1〜3に機能が加えられた。しかし、実施の形態4に機能が加えられてもよい。
この場合には、図19に示すように、霧特定装置10は、図16に示す機能構成要素に加え、閾値設定部27を備える。そして、図20に示すように、ステップS82でセンサ決定部28が用いるセンサを決定した上で、ステップS83で閾値設定部27が決定されたセンサについてのセンサ閾値を決定する。
なお、ステップS81とステップS82とステップS84との処理は、図17のステップS71とステップS72とステップS73との処理と同じである。また、ステップS83の処理は、図14のステップS62の処理と同じである。
以上、この発明の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、この発明は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
10 霧特定装置、11 プロセッサ、12 メモリ、13 ストレージ、14 通信インタフェース、15 電子回路、21 点データ取得部、22 霧特定部、23 第1特定部、24 第2特定部、25 総合特定部、26 認識部、27 閾値設定部、28 センサ決定部、31 判定情報記憶部、32 信頼度記憶部、100 移動体。

Claims (11)

  1. 放射された光束が反射点で反射した反射光を受信する光センサによって得られた前記反射点を示す点データの集合を取得する点データ取得部と、
    前記点データ取得部によって取得された前記集合に含まれる点データが示す前記反射点を俯瞰した場合に、前記光センサの周辺に前記反射点が円弧状に分布しているか否かにより、霧の濃さを特定する霧特定部と
    を備える霧特定装置。
  2. 前記霧特定部は、前記集合の前記点データが示す前記反射点を俯瞰した場合に、前記反射点から近似される円を計算し、計算された円と前記反射点と間の距離の分散に基づき、霧の濃さを特定する
    請求項1に記載の霧特定装置。
  3. 前記霧特定部は、円の最小二乗法によって近似される円を計算する
    請求項2に記載の霧特定装置。
  4. 前記霧特定部は、前記分散が小さいほど霧が濃いと特定する
    請求項2又は3に記載の霧特定装置。
  5. 前記データ取得部は、放射された光束が反射点で反射した反射光を受信する光センサによって得られた前記反射点を示す点データであって、ある光束に対する反射点である1次反射点を示す1次点データと、前記ある光束に対する反射光の強度が前記一次反射点よりも低い反射点である2次反射点を示す2次点データとの組である点データの集合を取得し、
    前記霧特定部は、
    前記集合に含まれる前記点データについての前記1次反射点と前記2次反射点との間の距離の分布に基づき、霧の濃さを第1濃さとして特定する第1特定部と、
    前記分散に基づき、霧の濃さを第2濃さとして特定する第2特定部と、
    前記第1特定部によって特定された第1濃さと、前記第2特定部によって特定された第2濃さとから、霧の濃さを特定する総合特定部と
    を備える請求項から4までのいずれか1項に記載の霧特定装置。
  6. 前記第1特定部は、霧の濃さに応じた前記距離の分布のパターンと、前記集合に含まれる前記点データについての前記距離の分布とを比較することにより、霧の濃さを特定する
    請求項5に記載の霧特定装置。
  7. 前記第1特定部は、霧の濃さに応じた前記距離頻度のヒストグラムのパターンと、前記集合に含まれる前記点データについての前記距離の頻度のヒストグラムとを比較することにより、霧の濃さを特定する
    請求項6に記載の霧特定装置。
  8. 前記霧特定装置は、さらに、
    前記霧特定部によって特定された霧の濃さに応じて、障害物を識別するためのセンサのセンサ閾値を設定する閾値設定部
    を備える請求項1から7までのいずれか1項に記載の霧特定装置。
  9. 前記霧特定装置は、さらに、
    前記霧特定部によって特定された霧の濃さに応じて、障害物を識別するために用いるセンサを決定するセンサ決定部
    を備える請求項1から8までのいずれか1項に記載の霧特定装置。
  10. 点データ取得部が、放射された光束が反射点で反射した反射光を受信する光センサによって得られた前記反射点を示す点データの集合を取得し、
    霧特定部が、前記集合に含まれる点データが示す前記反射点を俯瞰した場合に、前記光センサの周辺に前記反射点が円弧状に分布しているか否かにより、霧の濃さを特定する霧特定方法。
  11. 放射された光束が反射点で反射した反射光を受信する光センサによって得られた前記反射点を示す点データの集合を取得する点データ取得処理と、
    前記点データ取得処理によって取得された前記集合に含まれる点データが示す前記反射点を俯瞰した場合に、前記光センサの周辺に前記反射点が円弧状に分布しているか否かにより、霧の濃さを特定する霧特定処理と
    をコンピュータに実行させる霧特定プログラム。
JP2020505557A 2018-03-12 2018-03-12 霧特定装置、霧特定方法及び霧特定プログラム Active JP6746032B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/009395 WO2019175919A1 (ja) 2018-03-12 2018-03-12 霧特定装置、霧特定方法及び霧特定プログラム

Publications (2)

Publication Number Publication Date
JPWO2019175919A1 JPWO2019175919A1 (ja) 2020-06-18
JP6746032B2 true JP6746032B2 (ja) 2020-08-26

Family

ID=67906997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020505557A Active JP6746032B2 (ja) 2018-03-12 2018-03-12 霧特定装置、霧特定方法及び霧特定プログラム

Country Status (5)

Country Link
US (1) US20200408919A1 (ja)
JP (1) JP6746032B2 (ja)
CN (1) CN111819473B (ja)
DE (1) DE112018007029B4 (ja)
WO (1) WO2019175919A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023087204A (ja) * 2021-12-13 2023-06-23 北陽電機株式会社 ヒストグラム生成回路、光測距装置、ヒストグラム生成方法および光測距方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3571268B2 (ja) * 2000-01-20 2004-09-29 三菱電機株式会社 霧観測レーダ装置
US7414706B2 (en) * 2004-12-22 2008-08-19 Northrop Grumman Corporation Method and apparatus for imaging a target using cloud obscuration prediction and detection
FR2884637B1 (fr) 2005-04-19 2007-06-29 Valeo Vision Sa Procede de detection de brouillard nocturne et systeme de mise en oeuvre de ce procede
JP4940458B2 (ja) * 2007-08-10 2012-05-30 本田技研工業株式会社 物体検出装置
JP5092076B2 (ja) * 2007-10-26 2012-12-05 オプテックス株式会社 レーザエリアセンサ
JP4506822B2 (ja) * 2007-11-26 2010-07-21 株式会社デンソー 霧検知装置及びその設置方法
JP2010071704A (ja) * 2008-09-17 2010-04-02 Calsonic Kansei Corp 車両用距離画像データ生成装置及び方法
JP2010286307A (ja) * 2009-06-10 2010-12-24 Nec Engineering Ltd 画像撮像装置
DE102009028578A1 (de) * 2009-08-17 2011-02-24 Robert Bosch Gmbh Verfahren für die Umfelderfassung mit einer Lidarsensorik
DE102011017649B3 (de) * 2011-04-28 2012-10-11 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung einer Intensität eines Aerosols in einem Sichtfeld einer Kamera eines Fahrzeugs
WO2012171739A2 (de) 2011-06-17 2012-12-20 Robert Bosch Gmbh Verfahren und steuergerät zur erkennung einer wetterbedingung in einem umfeld eines fahrzeugs
JP2013167479A (ja) * 2012-02-14 2013-08-29 Toyota Motor Corp レーザーレーダ装置及びレーザーレーダ装置で行われる物体検知方法
CN105324287B (zh) 2013-04-11 2018-07-06 伟摩有限责任公司 使用车载传感器检测天气条件的方法和系统
US8983705B2 (en) * 2013-04-30 2015-03-17 Google Inc. Methods and systems for detecting weather conditions including fog using vehicle onboard sensors
US9514373B2 (en) 2013-08-28 2016-12-06 Gentex Corporation Imaging system and method for fog detection
US10436582B2 (en) * 2015-04-02 2019-10-08 Here Global B.V. Device orientation detection
DE102015112103A1 (de) * 2015-07-24 2017-01-26 Preh Gmbh Detektionsvorrichtung zur Nebelerkennung für ein Kraftfahrzeug
WO2019175918A1 (ja) * 2018-03-12 2019-09-19 三菱電機株式会社 霧特定装置、霧特定方法及び霧特定プログラム
CN111819472B (zh) * 2018-03-12 2022-06-24 三菱电机株式会社 雾确定装置、雾确定方法和计算机能读取的存储介质

Also Published As

Publication number Publication date
DE112018007029T5 (de) 2020-11-05
DE112018007029B4 (de) 2022-12-08
CN111819473A (zh) 2020-10-23
US20200408919A1 (en) 2020-12-31
JPWO2019175919A1 (ja) 2020-06-18
WO2019175919A1 (ja) 2019-09-19
CN111819473B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
Arnold et al. A survey on 3d object detection methods for autonomous driving applications
US20160162742A1 (en) Lidar-based classification of object movement
WO2020048265A1 (zh) 多级目标分类及交通标志检测方法和装置、设备、介质
KR20190127624A (ko) 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법
US20160252617A1 (en) Object recognition apparatus and noise removal method
US20220171975A1 (en) Method for Determining a Semantic Free Space
JP6746032B2 (ja) 霧特定装置、霧特定方法及び霧特定プログラム
JP6723491B2 (ja) 霧特定装置、霧特定方法及び霧特定プログラム
JP6657934B2 (ja) 物体検出装置
JP7418476B2 (ja) 運転可能な領域情報を決定するための方法及び装置
JP6723492B2 (ja) 霧特定装置、霧特定方法及び霧特定プログラム
CN115271096B (zh) 点云处理和机器学习模型训练方法、装置及自动驾驶车辆
US10304205B2 (en) Image processing apparatus, method of controlling the same, and storage medium
US20220189158A1 (en) Method and device for detecting boundary of road in 3d point cloud using cascade classifier
CN113920351A (zh) 一种落叶目标点云的识别方法和装置
US11538260B2 (en) Object identification apparatus, object identification method, and nontransitory computer readable medium storing control program
JP2020205035A (ja) 画像分類器の訓練装置、ターゲットを検出する装置及び電子機器
JP7489231B2 (ja) 物体検知装置
JP2021021967A (ja) 認識システム、車両制御システム、認識方法、およびプログラム
US20220383146A1 (en) Method and Device for Training a Machine Learning Algorithm
KR102113281B1 (ko) 수중 표적 식별 장치 및 방법
Gao et al. Real-Time Location, Correction and Segmentation Algorithm based on Tilted License Plate
Williams et al. Using context to detect underwater objects

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200219

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200219

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200804

R150 Certificate of patent or registration of utility model

Ref document number: 6746032

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250