WO2019175920A1 - 霧特定装置、霧特定方法及び霧特定プログラム - Google Patents

霧特定装置、霧特定方法及び霧特定プログラム Download PDF

Info

Publication number
WO2019175920A1
WO2019175920A1 PCT/JP2018/009396 JP2018009396W WO2019175920A1 WO 2019175920 A1 WO2019175920 A1 WO 2019175920A1 JP 2018009396 W JP2018009396 W JP 2018009396W WO 2019175920 A1 WO2019175920 A1 WO 2019175920A1
Authority
WO
WIPO (PCT)
Prior art keywords
fog
point
image data
unit
data acquisition
Prior art date
Application number
PCT/JP2018/009396
Other languages
English (en)
French (fr)
Inventor
公彦 廣井
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US16/978,569 priority Critical patent/US11867870B2/en
Priority to JP2020505558A priority patent/JP6723492B2/ja
Priority to PCT/JP2018/009396 priority patent/WO2019175920A1/ja
Priority to DE112018007036.0T priority patent/DE112018007036B4/de
Priority to CN201880090354.6A priority patent/CN111819472B/zh
Publication of WO2019175920A1 publication Critical patent/WO2019175920A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/02—Instruments for indicating weather conditions by measuring two or more variables, e.g. humidity, pressure, temperature, cloud cover or wind speed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/95—Lidar systems specially adapted for specific applications for meteorological use
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Definitions

  • This invention relates to a technique for specifying the fog density.
  • Patent Document 1 describes a technique for determining whether or not fog is generated around a vehicle.
  • irradiation light when irradiation light is irradiated by a headlight, it is determined whether or not fog is generated based on a difference in brightness of a region where irradiation light is not irradiated in an image obtained by imaging the front of the vehicle.
  • the brightness of the region not irradiated with irradiation light is low.
  • the irradiation light is reflected by the fog particles, the brightness gradually increases from the inside to the outside of the image.
  • this characteristic is utilized and it is determined whether the fog has generate
  • An object of the present invention is to make it possible to specify the fog density regardless of whether or not the headlight is irradiated.
  • the fog identification device is A point data acquisition unit for acquiring point data indicating the reflection point obtained by an optical sensor that receives the reflected light reflected by the reflection point of the emitted light beam; An image data acquisition unit that acquires image data around the reflection point indicated by the point data acquired by the point data acquisition unit; A luminance calculation unit that calculates the smoothness of luminance of the image data acquired by the image data acquisition unit; A fog identifying unit that identifies the fog density from the distance from the optical sensor identified from the point data to the reflection point and the smoothness of the brightness calculated by the brightness calculating unit;
  • the fog density is specified from the distance specified from the point data obtained by the optical sensor and the smoothness of the brightness of the image data. Therefore, it is possible to specify the fog density regardless of whether or not the headlight is irradiated.
  • FIG. 1 is a configuration diagram of a fog identification device 10 according to Embodiment 1.
  • FIG. 4 is a flowchart showing an overall operation of the fog identification device 10 according to the first embodiment.
  • FIG. 3 is an explanatory diagram of image data acquisition processing according to the first embodiment. Explanatory drawing of the brightness
  • FIG. Explanatory drawing of the information memorize
  • FIG. Explanatory drawing of the information memorize
  • FIG. 9 is a flowchart showing the overall operation of the fog identification device 10 according to the second embodiment. Explanatory drawing of the threshold value setting process which concerns on Embodiment 2.
  • FIG. 10 is a flowchart showing an overall operation of the fog identification device 10 according to the third embodiment. Explanatory drawing of the information memorize
  • Embodiment 1 FIG. *** Explanation of configuration *** With reference to FIG. 1, the structure of the fog specific
  • the fog identification device 10 is a computer such as an ECU (Electronic Control Unit) mounted on the moving body 100.
  • the moving body 100 is a vehicle.
  • the moving body 100 is not limited to a vehicle, and may be other types such as a ship and an aircraft.
  • the fog identification device 10 may be mounted in an integrated or non-separable form with the moving body 100 or other components shown in the figure, or may be mounted in a removable or separable form. Also good.
  • the fog identification device 10 includes hardware including a processor 11, a memory 12, a storage 13, and a communication interface 14.
  • the processor 11 is connected to other hardware via a signal line, and controls these other hardware.
  • the processor 11 is an IC (Integrated Circuit) that performs processing. Specific examples of the processor 11 are a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a GPU (Graphics Processing Unit).
  • a CPU Central Processing Unit
  • DSP Digital Signal Processor
  • GPU Graphics Processing Unit
  • the memory 12 is a storage device that temporarily stores data.
  • the memory 12 is an SRAM (Static Random Access Memory) or a DRAM (Dynamic Random Access Memory).
  • the storage 13 is a storage device that stores data.
  • the storage 13 is, as a specific example, an HDD (Hard Disk Drive).
  • the storage 13 includes an SD (registered trademark, Secure Digital) memory card, CF (CompactFlash, registered trademark), NAND flash, flexible disk, optical disk, compact disk, Blu-ray (registered trademark) disk, DVD (Digital Versatile Disk), and the like. It may be a portable recording medium.
  • the communication interface 14 is an interface for communicating with an external device.
  • the communication interface 14 is a port of Ethernet (registered trademark), USB (Universal Serial Bus), or HDMI (registered trademark, High-Definition Multimedia Interface).
  • the communication interface 14 is connected to an optical sensor 41 and a camera 42 mounted on the moving body 100.
  • the optical sensor 41 is a device that emits a light beam that is a bundle of light and receives reflected light that is reflected by a reflection point of the emitted light beam.
  • the optical sensor 41 is, as a specific example, LiDAR (Light Detection and Ranging).
  • the optical sensor 41 emits a light beam forward in the moving direction of the moving body 100.
  • the camera 42 is a device that captures an image of the periphery of the moving body 100 and generates image data. In the first embodiment, the camera 42 captures an image in front of the moving body 100 in the moving direction.
  • the fog identification device 10 includes a point data acquisition unit 21, an image data acquisition unit 22, a luminance calculation unit 23, and a fog identification unit 24 as functional components.
  • the function of each functional component of the fog identifying device 10 is realized by software.
  • the storage 13 stores a program that realizes the function of each functional component of the fog identification device 10. This program is read into the memory 12 by the processor 11 and executed by the processor 11. Thereby, the function of each functional component of the fog identification apparatus 10 is implement
  • the storage 13 implements the function of the reference value storage unit 31.
  • FIG. 1 only one processor 11 is shown. However, a plurality of processors 11 may be provided, and a plurality of processors 11 may execute programs that realize each function in cooperation with each other.
  • the operation of the fog identification device 10 according to the first embodiment corresponds to the fog identification method according to the first embodiment. Further, the operation of the fog identification device 10 according to the first embodiment corresponds to the processing of the fog identification program according to the first embodiment.
  • Step S11 point data acquisition process
  • the point data acquisition unit 21 acquires, via the communication interface 14, a set of point data indicating the reflection point obtained by the optical sensor 41 that receives the reflected light reflected by the reflection point of the emitted light beam.
  • the point data acquisition unit 21 writes the acquired set of point data into the memory 12.
  • the point data indicates a reflection point where the intensity of reflected light with respect to a certain light beam emitted from the optical sensor 41 is the strongest.
  • Step S12 Image data acquisition process
  • the image data acquisition unit 22 acquires image data around the reflection point indicated by the point data included in the set acquired in step S11. This will be specifically described with reference to FIG.
  • the image data acquisition unit 22 acquires the image data 51 generated by the camera 42 via the communication interface 14.
  • the image data acquisition unit 22 projects the point data included in the set onto the acquired image data 51.
  • the image data acquisition unit 22 cuts out part of the image data 52 around the projected reflection point.
  • the image data acquisition unit 22 cuts out the image data 52 so that at least the reference number of pixels are included in the horizontal direction and the vertical direction.
  • the image data acquisition unit 22 writes the cut image data 52 into the memory 12.
  • Step S13 Luminance calculation processing
  • the luminance calculation unit 23 calculates the smoothness of the luminance of the image data acquired in step S13, which will be specifically described with reference to FIG.
  • the luminance calculation unit 23 reads the image data from the memory 12.
  • the luminance calculation unit 23 smoothes the luminance of the pixels of the target line for each horizontal line of the image data, and then absolute values of values obtained by performing the second derivative calculation of the luminance Calculate Then, the luminance calculation unit 23 calculates the sum of the absolute values calculated for each horizontal line of the image data as the smoothness of the luminance of the image data.
  • the luminance calculation unit 23 writes the calculated luminance smoothness in the memory 12.
  • the smaller the sum of absolute values the higher the smoothness of brightness. That is, the texture of the image data is small. As shown in FIG. 4, when fog is generated, the smoothness of brightness tends to be higher than when fog is not generated.
  • Step S14 fog identification process
  • the fog specifying unit 24 calculates the fog density from the distance from the optical sensor 41 specified from the point data included in the set acquired in step S11 to the reflection point and the brightness smoothness calculated in step S13. Identify. Specifically, the fog specifying unit 24 refers to the reference value stored in the reference value storage unit 31. As shown in FIG. 5, in the first embodiment, the reference value storage unit 31 stores a reference value for each distance. The fog specifying unit 24 compares the reference value corresponding to the distance from the optical sensor 41 to the reflection point with the smoothness of the brightness, and determines whether or not fog with a certain density or more has occurred.
  • the fog specifying unit 24 determines that fog has occurred.
  • the fog specifying unit 24 determines that no fog is generated. .
  • the reference value stores a larger value as the distance is shorter. In other words, the closer the distance from the optical sensor 41 to the reflection point, the easier it is to determine that fog has occurred even when the brightness smoothness is low. This is because the brightness of the three-dimensional objects such as buildings and vehicles becomes smoother as the distance increases. What is necessary is just to obtain
  • the fog specifying device 10 specifies the fog density from the distance to the reflection point and the smoothness of the brightness of the image data around the reflection point. Thereby, it is possible to specify the fog density regardless of whether or not the headlight is irradiated. That is, it is possible to specify the fog density even in a state where there is a certain level of brightness such as during the daytime.
  • specification part 24 determined whether the fog more than fixed density had generate
  • the fog identifying unit 24 may identify which density of fog in the plurality of stages the surrounding state of the moving body 100 is.
  • the reference value storage unit 31 stores a reference value for each distance for each fog density.
  • reference values for each distance are stored for a fog with a visibility of 15 m, a fog with a visibility of 30 m, and a fog with a visibility of 50 m.
  • specification part 24 is a reference value about the density of each fog, Comparing the reference value corresponding to the distance from the optical sensor 41 to the reflection point with the smoothness of the brightness, the fog density Is identified. Specifically, when the brightness is smoother than the reference value for a fog with a visibility of 15 m, the fog specifying unit 24 specifies that a fog with a visibility of 15 m has occurred. Further, when the brightness is smoother than the reference value for a fog with a visibility of 15 m and the visibility is smoother than the reference value of 30 m, the fog specifying unit 24 generates a fog with a visibility of 30 m. Identify that you are doing.
  • the fog specifying unit 24 when the brightness is smoother than the reference value for a fog with a visibility of 30 m and the visibility is smoother than the reference value of 50 m, the fog specifying unit 24 generates a fog with a visibility of 50 m. Identify that you are doing. In addition, when the brightness is smoother than a reference value for a fog with a visibility of 50 m, the fog specifying unit 24 specifies that no fog is generated. The reference value at each distance is lower as the fog is darker. That is, the reference value at each distance is a value indicating that the fog is smoother as the fog is darker.
  • each functional component is realized by software.
  • each functional component may be realized by hardware.
  • the second modification will be described with respect to differences from the first embodiment.
  • the fog identifying device 10 includes an electronic circuit 15 instead of the processor 11, the memory 12, and the storage 13.
  • the electronic circuit 15 is a dedicated circuit that realizes the functions of the functional components, the memory 12, and the storage 13.
  • the electronic circuit 15 includes a single circuit, a composite circuit, a programmed processor, a processor programmed in parallel, a logic IC, a GA (Gate Array), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field-Programmable Gate Array). is assumed.
  • Each functional component may be realized by one electronic circuit 15 or may be realized by distributing each functional component to a plurality of electronic circuits 15.
  • ⁇ Modification 3> As a third modification, some of the functional components may be realized by hardware, and other functional components may be realized by software.
  • the processor 11, the memory 12, the storage 13, and the electronic circuit 15 are called processing circuits. That is, the function of each functional component is realized by the processing circuit.
  • the fog identification device 10 is realized by a computer such as one ECU.
  • the fog identifying device 10 may be realized by a computer such as a plurality of ECUs.
  • Embodiment 2 is different from the first to third embodiments in that a sensor threshold value of a sensor for identifying an obstacle is set according to the specified fog density. In the second embodiment, this different point will be described, and the description of the same point will be omitted.
  • Fog identification device 10 is different from Embodiments 1 to 3 in that it includes a recognition unit 25 and a threshold setting unit 26.
  • the operation of the fog identification device 10 according to the second embodiment corresponds to the fog identification method according to the second embodiment. Further, the operation of the fog identification device 10 according to the second embodiment corresponds to the processing of the fog identification program according to the second embodiment.
  • Step S21 is processing for specifying the fog density described in the first embodiment.
  • Step S22 threshold setting process
  • the threshold setting unit 26 sets a sensor threshold of a sensor for identifying an obstacle according to the fog density specified in step S21.
  • FIG. 10 shows a case where a camera is used as the sensor and the tail lamp of the vehicle is identified.
  • a boundary line that linearly distinguishes the tail lamp and others is used as a sensor threshold in the UV plane of the YUV data. Therefore, the threshold setting unit 26 sets this boundary line according to the fog density.
  • the threshold setting unit 26 increases the boundary that is the sensor threshold in order to prevent a red light emitting object other than the tail lamp from being erroneously recognized as the tail lamp. Set to.
  • the threshold setting unit 26 sets the boundary that is the sensor threshold value to be low so that the red light emitting object is easily recognized as a tail lamp.
  • the threshold setting unit 26 may set a sensor threshold for each of the fog densities at a plurality of stages. In this case, the boundary that is the sensor threshold is set lower as the fog is darker.
  • Step S23 Recognition process
  • the recognition unit 25 recognizes an obstacle using the sensor threshold value set in step S22.
  • the recognition unit 25 detects the tail lamp from the image data obtained by the camera, using the boundary line set in step S22.
  • Embodiment 2 *** Effects of Embodiment 2 *** As described above, the fog specifying device 10 according to Embodiment 2 sets the sensor threshold value according to the fog density. Thereby, it becomes possible to recognize an obstacle appropriately.
  • Embodiment 3 is different from the first and second embodiments in that a sensor used for identifying an obstacle is determined according to the fog density.
  • this different point will be described, and the description of the same point will be omitted.
  • a function can be added to the second embodiment.
  • Fog identification device 10 is different from the first embodiment in that it includes a recognition unit 25 and a sensor determination unit 27. Further, the point that the storage 13 realizes the function of the reliability storage unit 32 is different from the first embodiment.
  • the operation of the fog identification device 10 according to the third embodiment corresponds to the fog identification method according to the third embodiment. Further, the operation of the fog identification device 10 according to the third embodiment corresponds to the processing of the fog identification program according to the third embodiment.
  • Step S31 is a process for specifying the fog density described in the first embodiment.
  • Step S32 sensor determination process
  • the sensor determination unit 27 determines a sensor to be used for identifying an obstacle according to the fog density specified in step S31.
  • the reliability storage unit 32 stores the reliability for each distance for each sensor mounted on the moving body 100 for each fog density. As shown in FIG. 13, when a camera, millimeter wave radar, and LiDAR are mounted as sensors on the moving body 100, the reliability storage unit 32 stores the camera, millimeter wave radar, and the like for each fog density. The reliability for each distance from LiDAR is stored. FIG. 13 shows the reliability for each distance between when the fog is generated and when the fog is not generated. The reliability of each sensor is obtained by experiment.
  • the sensor determination unit 27 refers to the reliability storage unit 32 and determines a sensor having high reliability in the case of the fog density specified in step S31 as a sensor used to identify an obstacle.
  • the sensor determination unit 27 may determine a sensor used for identifying an obstacle for each distance. For example, the sensor determination unit 27 determines to use LiDAR and a camera when fog is not generated, and determines to use a millimeter wave radar and camera when fog is generated.
  • Step S33 Recognition process
  • the recognition unit 25 recognizes an obstacle using the sensor determined in step S32.
  • the fog specifying device 10 according to Embodiment 3 determines a sensor to be used for identifying an obstacle according to the fog density. Thereby, it becomes possible to recognize an obstacle appropriately.
  • the function is added to the first embodiment.
  • a function may be added to the second embodiment.
  • the fog specifying device 10 includes a threshold setting unit 26 in addition to the functional components illustrated in FIG. 11.
  • the sensor threshold for the sensor for which the threshold setting unit 26 has been determined is determined in step S83.
  • the process of step S41, step S42, and step S44 is the same as the process of step S31 of FIG. 12, step S32, and step S33.
  • the process of step S43 is the same as the process of step S22 of FIG.
  • 10 fog identification device 11 processor, 12 memory, 13 storage, 14 communication interface, 15 electronic circuit, 21 point data acquisition unit, 22 image data acquisition unit, 23 luminance calculation unit, 24 fog determination unit, 25 recognition unit, 26 threshold Setting unit, 27 sensor determination unit, 31 reference value storage unit, 41 optical sensor, 42 camera, 100 moving body.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Environmental Sciences (AREA)
  • Software Systems (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

点データ取得部（２１）は、放射された光束が反射点で反射した反射光を受信する光センサ（４１）によって得られた反射点を示す点データを取得する。画像データ取得部（２２）は、点データが示す反射点の周辺の画像データを取得する。輝度計算部（２３）は、画像データの輝度の滑らかさを計算する。霧特定部（２４）は、点データから特定される光センサ（４１）から反射点までの距離と、輝度の滑らかさとから、霧の濃さを特定する。

Description

霧特定装置、霧特定方法及び霧特定プログラム
　この発明は、霧の濃さを特定する技術に関する。
　特許文献１には、車両の周辺に霧が発生しているか否かを判定する技術が記載されている。
　特許文献１では、ヘッドライトにより照射光を照射した場合に、車両の前方を撮像した画像における照射光を照射していない領域の明度の違いに基づき、霧が発生しているか否かが判定される。具体的には、霧が発生していないときには、照射光を照射していない領域の明度は低くなる。これに対して、霧が発生しているときには、照射光が霧の粒子により反射するため、画像の内側から外側に向かって明度が徐々に高くなる。特許文献１では、この特性が利用され、霧が発生しているか否かが判定される。
特開２００８－０３３８７２号公報
　特許文献１に記載された技術では、ヘッドライトの照射が前提となっており、一定の暗さがなければ霧が発生しているか否かを判定することができない。
　この発明では、ヘッドライトの照射の有無に関わりなく、霧の濃さを特定可能にすることを目的とする。
　この発明に係る霧特定装置は、
　放射された光束が反射点で反射した反射光を受信する光センサによって得られた前記反射点を示す点データを取得する点データ取得部と、
　前記点データ取得部によって取得された前記点データが示す前記反射点の周辺の画像データを取得する画像データ取得部と、
　前記画像データ取得部によって取得された前記画像データの輝度の滑らかさを計算する輝度計算部と、
　前記点データから特定される前記光センサから前記反射点までの距離と、前記輝度計算部によって計算された前記輝度の滑らかさとから、霧の濃さを特定する霧特定部と
を備える。
　この発明では、光センサによって得られた点データから特定される距離と、画像データの輝度の滑らかさとから霧の濃さを特定する。そのため、ヘッドライトの照射の有無に関わりなく、霧の濃さを特定することが可能である。
実施の形態１に係る霧特定装置１０の構成図。 実施の形態１に係る霧特定装置１０の全体的な動作を示すフローチャート。 実施の形態１に係る画像データ取得処理の説明図。 実施の形態１に係る輝度計算処理の説明図。 実施の形態１に係る基準記憶部３１に記憶される情報の説明図。 変形例１に係る基準記憶部３１に記憶される情報の説明図。 変形例２に係る霧特定装置１０の構成図。 実施の形態２に係る霧特定装置１０の構成図。 実施の形態２に係る霧特定装置１０の全体的な動作を示すフローチャート。 実施の形態２に係る閾値設定処理の説明図。 実施の形態３に係る霧特定装置１０の構成図。 実施の形態３に係る霧特定装置１０の全体的な動作を示すフローチャート。 実施の形態３に係る信頼度記憶部３２に記憶される情報の説明図。 変形例５に係る霧特定装置１０の構成図。 変形例５に係る霧特定装置１０の全体的な動作を示すフローチャート。
　実施の形態１．
　＊＊＊構成の説明＊＊＊
　図１を参照して、実施の形態１に係る霧特定装置１０の構成を説明する。
　霧特定装置１０は、移動体１００に搭載されるＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）といったコンピュータである。
　実施の形態１では、移動体１００は、車両である。しかし、移動体１００は、車両に限らず、船及び航空機といった他の種別であってもよい。霧特定装置１０は、移動体１００又は図示した他の構成要素と、一体化した形態又は分離不可能な形態で実装されてもよい、あるいは、取り外し可能な形態または分離可能な形態で実装されてもよい。
　霧特定装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
　プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。
　メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。
　ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）といった可搬記録媒体であってもよい。
　通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）のポートである。
　通信インタフェース１４は、移動体１００に搭載された光センサ４１及びカメラ４２と接続されている。
　光センサ４１は、光の束である光束を放射し、放射された光束が反射点で反射した反射光を受信する装置である。光センサ４１は、具体例としては、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）である。実施の形態１では、光センサ４１は、移動体１００の移動方向前方に光束を放射するものとする。
　カメラ４２は、移動体１００の周辺を撮像して画像データを生成する装置である。実施の形態１では、カメラ４２は、移動体１００の移動方向前方を撮像するものとする。
　霧特定装置１０は、機能構成要素として、点データ取得部２１と、画像データ取得部２２と、輝度計算部２３と、霧特定部２４とを備える。霧特定装置１０の各機能構成要素の機能はソフトウェアにより実現される。
　ストレージ１３には、霧特定装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、霧特定装置１０の各機能構成要素の機能が実現される。
　また、ストレージ１３は、基準値記憶部３１の機能を実現する。
　図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。
　＊＊＊動作の説明＊＊＊
　図２から図５を参照して、実施の形態１に係る霧特定装置１０の動作を説明する。
　実施の形態１に係る霧特定装置１０の動作は、実施の形態１に係る霧特定方法に相当する。また、実施の形態１に係る霧特定装置１０の動作は、実施の形態１に係る霧特定プログラムの処理に相当する。
　図２を参照して、実施の形態１に係る霧特定装置１０の全体的な動作を説明する。
　（ステップＳ１１：点データ取得処理）
　点データ取得部２１は、放射された光束が反射点で反射した反射光を受信する光センサ４１によって得られた反射点を示す点データの集合を、通信インタフェース１４を介して取得する。点データ取得部２１は、取得された点データの集合をメモリ１２に書き込む。実施の形態１では、点データは、光センサ４１から放射されたある光束に対する反射光の強度が最も強い反射点を示す。
　（ステップＳ１２：画像データ取得処理）
　画像データ取得部２２は、ステップＳ１１で取得された集合に含まれる点データが示す反射点の周辺の画像データを取得する。
　図３を参照して具体的に説明する。画像データ取得部２２は、カメラ４２によって生成された画像データ５１を、通信インタフェース１４を介して取得する。画像データ取得部２２は、取得された画像データ５１に、集合に含まれる点データを投影する。画像データ取得部２２は、投影された反射点の周辺の一部の画像データ５２を切り出す。画像データ取得部２２は、水平方向及び垂直方向に少なくとも基準数以上の画素が含まれるように、画像データ５２を切り出す。画像データ取得部２２は、切り出された画像データ５２をメモリ１２に書き込む。
　（ステップＳ１３：輝度計算処理）
　輝度計算部２３は、ステップＳ１３で取得された画像データの輝度の滑らかさを計算する
　図４を参照して具体的に説明する。輝度計算部２３は、画像データをメモリ１２から読み出す。輝度計算部２３は、画像データの水平方向の各ラインを対象として、対象のラインの画素の輝度について平滑化を行った上で、輝度の２次微分計算を行って得られた値の絶対値を計算する。そして、輝度計算部２３は、画像データの水平方向の各ラインについて計算された絶対値の総和を、画像データの輝度の滑らかさとして計算する。輝度計算部２３は、計算された輝度の滑らかさをメモリ１２に書き込む。
　なお、絶対値の総和が小さいほど、輝度の滑らかさが高い。つまり、画像データのテクスチャが少ない。図４に示すように、霧が発生している場合は、霧が発生していない場合に比べて、輝度の滑らかさが高くなる傾向がある。
　（ステップＳ１４：霧特定処理）
　霧特定部２４は、ステップＳ１１で取得された集合に含まれる点データから特定される光センサ４１から反射点までの距離と、ステップＳ１３で計算された輝度の滑らかさとから、霧の濃さを特定する。
　具体的には、霧特定部２４は、基準値記憶部３１に記憶された基準値を参照する。図５に示すように、実施の形態１では、基準値記憶部３１には、距離毎に基準値が記憶されている。霧特定部２４は、光センサ４１から反射点までの距離に対応する基準値と、輝度の滑らかさとを比較して、一定の濃さ以上の霧が発生しているか否かを判定する。つまり、霧特定部２４は、輝度の滑らかさの値が基準値よりも低い場合には、言い換えると基準値が示す滑らかさよりも滑らかな場合には、霧が発生していると判定する。一方、霧特定部２４は、輝度の滑らかさの値が基準値以上の場合には、言い換えると基準値が示す滑らかさ以下の滑らかさである場合には、霧が発生していないと判定する。
　基準値は、距離が近いほど大きい値が記憶されている。つまり、光センサ４１から反射点までの距離が近いほど、輝度の滑らかさが低い場合でも霧が発生していると判定され易くなる。これは、距離が遠くなるほど、建物と車両といった立体物についても輝度が滑らかになるためである。距離毎の基準値については実験的に求めてればよい。
　＊＊＊実施の形態１の効果＊＊＊
　以上のように、実施の形態１に係る霧特定装置１０は、反射点までの距離と、反射点の周囲の画像データの輝度の滑らかさとから、霧の濃さを特定する。これにより、ヘッドライトの照射の有無に関わりなく、霧の濃さを特定することが可能である。つまり、日中のようにある程度の明るさがある状態でも、霧の濃さを特定することが可能である。
　＊＊＊他の構成＊＊＊
　＜変形例１＞
　実施の形態１では、霧特定部２４は、一定の濃さ以上の霧が発生しているか否かを判定した。しかし、霧特定部２４は、移動体１００の周囲の状態が、複数の段階の霧の濃さのどの濃さであるかを特定してもよい。
　この場合には、図６に示すように、基準値記憶部３１に、各霧の濃さについて、距離毎に基準値を記憶する。図６では、視程が１５ｍの霧と、視程が３０ｍの霧と、視程が５０ｍの霧とについて、距離毎の基準値が記憶されている。そして、霧特定部２４は、各霧の濃さについての基準値であって、光センサ４１から反射点までの距離に対応する基準値と、輝度の滑らかさとを比較して、霧の濃さを特定する。
　具体的には、輝度が、視程が１５ｍの霧についての基準値よりも滑らかである場合には、霧特定部２４は視程が１５ｍの霧が発生していると特定する。また、輝度が、視程が１５ｍの霧についての基準値以下の滑らかさであり、かつ、視程が３０ｍの基準値よりも滑らかである場合には、霧特定部２４は視程が３０ｍの霧が発生していると特定する。また、輝度が、視程が３０ｍの霧についての基準値以下の滑らかさであり、かつ、視程が５０ｍの基準値よりも滑らかである場合には、霧特定部２４は視程が５０ｍの霧が発生していると特定する。また、輝度が、視程が５０ｍの霧についての基準値以下の滑らかさである場合には、霧特定部２４は霧が発生していないと特定する。
　各距離における基準値は、霧が濃いほど低くなる。つまり、各距離における基準値は、霧が濃いほど、滑らかであることを示す値になる。
　＜変形例２＞
　実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例２として、各機能構成要素はハードウェアで実現されてもよい。この変形例２について、実施の形態１と異なる点を説明する。
　図７を参照して、変形例２に係る霧特定装置１０の構成を説明する。
　各機能構成要素がハードウェアで実現される場合には、霧特定装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。
　電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ　Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）が想定される。
　各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。
　＜変形例３＞
　変形例３として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
　プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
　＜変形例４＞
　実施の形態１では、霧特定装置１０は１つのＥＣＵといったコンピュータにより実現された。しかし、霧特定装置１０は複数のＥＣＵといったコンピュータにより実現されてもよい。
　実施の形態２．
　実施の形態２は、特定された霧の濃さに応じて、障害物を識別するためのセンサのセンサ閾値を設定する点が実施の形態１～３と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。
　＊＊＊構成の説明＊＊＊
　図８を参照して、実施の形態２に係る霧特定装置１０の構成を説明する。
　霧特定装置１０は、認識部２５と、閾値設定部２６とを備える点が、実施の形態１～３と異なる。
　＊＊＊動作の説明＊＊＊
　図９及び図１０を参照して、実施の形態２に係る霧特定装置１０の動作を説明する。
　実施の形態２に係る霧特定装置１０の動作は、実施の形態２に係る霧特定方法に相当する。また、実施の形態２に係る霧特定装置１０の動作は、実施の形態２に係る霧特定プログラムの処理に相当する。
　図９を参照して、実施の形態２に係る霧特定装置１０の全体的な動作を説明する。
　ステップＳ２１は、実施の形態１で説明した霧の濃さを特定する処理である。
　（ステップＳ２２：閾値設定処理）
　閾値設定部２６は、ステップＳ２１で特定された霧の濃さに応じて、障害物を識別するためのセンサのセンサ閾値を設定する。
　図１０を参照して具体例を説明する。
　図１０では、センサとしてカメラが用いられ、車両のテールランプが識別される場合を示している。
　カメラを用いてテールランプを識別する場合には、ＹＵＶデータのＵＶ平面において、テールランプとその他とを線形に識別する境界線がセンサ閾値として用いられる。そこで、閾値設定部２６は、霧の濃さに応じて、この境界線を設定する。境界線は、Ｖ＝ａ・Ｕ＋ｂと表せる。そこで、閾値設定部２６は、霧の濃さに応じて、ａ，ｂの値を設定する。
　図１０に示すように、閾値設定部２６は、霧が発生していない場合には、テールランプ以外の赤発光物がテールランプと誤認識されることを防止するため、センサ閾値である境界線を高めに設定する。一方、閾値設定部２６は、霧が発生している場合には、センサ閾値である境界線を低めに設定して、赤発光物をテールランプと認識され易くする。
　なお、図１０では、霧が発生している場合と、霧が発生していない場合との２つの場合についてのセンサ閾値の設定例が示されている。しかし、閾値設定部２６は、複数の段階の霧の濃さそれぞれについてセンサ閾値を設定してもよい。この場合には、霧が濃いほどセンサ閾値である境界線が低く設定される。
　（ステップＳ２３：認識処理）
　認識部２５は、ステップＳ２２で設定されたセンサ閾値を用いて、障害物を認識する。
　図１０の例であれば、認識部２５は、ステップＳ２２で設定された境界線を用いて、カメラによって得られた画像データからテールランプを検出する。
　＊＊＊実施の形態２の効果＊＊＊
　以上のように、実施の形態２に係る霧特定装置１０は、霧の濃さに応じてセンサ閾値を設定する。これにより、障害物を適切に認識することが可能になる。
　実施の形態３．
　実施の形態３は、霧の濃さに応じて、障害物を識別するために用いるセンサを決定する点が実施の形態１，２と異なる。実施の形態３では、この異なる点を説明し、同一の点については説明を省略する。
　なお、ここでは、実施の形態１に機能を加えた例を説明する。しかし、実施の形態２に機能を加えることも可能である。
　＊＊＊構成の説明＊＊＊
　図１１を参照して、実施の形態３に係る霧特定装置１０の構成を説明する。
　霧特定装置１０は、認識部２５と、センサ決定部２７とを備える点が、実施の形態１と異なる。また、ストレージ１３が信頼度記憶部３２の機能を実現する点が、実施の形態１と異なる。
　＊＊＊動作の説明＊＊＊
　図１２及び図１３を参照して、実施の形態３に係る霧特定装置１０の動作を説明する。
　実施の形態３に係る霧特定装置１０の動作は、実施の形態３に係る霧特定方法に相当する。また、実施の形態３に係る霧特定装置１０の動作は、実施の形態３に係る霧特定プログラムの処理に相当する。
　図１２を参照して、実施の形態３に係る霧特定装置１０の全体的な動作を説明する。
　ステップＳ３１は、実施の形態１で説明した霧の濃さを特定する処理である。
　（ステップＳ３２：センサ決定処理）
　センサ決定部２７は、ステップＳ３１で特定された霧の濃さに応じて、障害物を識別するために用いるセンサを決定する。
　具体的には、信頼度記憶部３２は、霧の濃さ毎に、移動体１００に搭載された各センサについて、距離毎の信頼度を記憶する。図１３に示すように、移動体１００にセンサとしてカメラとミリ波レーダとＬｉＤＡＲとが搭載されている場合には、信頼度記憶部３２は、霧の濃さ毎に、カメラとミリ波レーダとＬｉＤＡＲとの距離毎の信頼度を記憶する。図１３では、霧が発生している場合と霧が発生していない場合との距離毎の信頼度が示されている。各センサの信頼度は、実験により求められる。
　センサ決定部２７は、信頼度記憶部３２を参照して、ステップＳ３１で特定された霧の濃さの場合に信頼度の高いセンサを、障害物を識別するために用いるセンサとして決定する。センサ決定部２７は、距離毎に障害物を識別するために用いるセンサとして決定してもよい。
　例えば、センサ決定部２７は、霧が発生していない場合には、ＬｉＤＡＲとカメラとを用いると決定し、霧が発生している場合には、ミリ波レーダとカメラとを用いると決定する。
　（ステップＳ３３：認識処理）
　認識部２５は、ステップＳ３２で決定されたセンサを用いて、障害物を認識する。
　＊＊＊実施の形態３の効果＊＊＊
　以上のように、実施の形態３に係る霧特定装置１０は、霧の濃さに応じて、障害物を識別するために用いるセンサを決定する。これにより、障害物を適切に認識することが可能になる。
　＊＊＊他の構成＊＊＊
　＜変形例５＞
　実施の形態３では、実施の形態１に機能が加えられた。しかし、実施の形態２に機能が加えられてもよい。
　この場合には、図１４に示すように、霧特定装置１０は、図１１に示す機能構成要素に加え、閾値設定部２６を備える。そして、図１５に示すように、ステップＳ８２でセンサ決定部２７が用いるセンサを決定した上で、ステップＳ８３で閾値設定部２６が決定されたセンサについてのセンサ閾値を決定する。
　なお、ステップＳ４１とステップＳ４２とステップＳ４４との処理は、図１２のステップＳ３１とステップＳ３２とステップＳ３３との処理と同じである。また、ステップＳ４３の処理は、図９のステップＳ２２の処理と同じである。
　以上、この発明の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、この発明は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
　１０　霧特定装置、１１　プロセッサ、１２　メモリ、１３　ストレージ、１４　通信インタフェース、１５　電子回路、２１　点データ取得部、２２　画像データ取得部、２３　輝度計算部、２４　霧特定部、２５　認識部、２６　閾値設定部、２７　センサ決定部、３１　基準値記憶部、４１　光センサ、４２　カメラ、１００　移動体。

Claims (7)

  1. 　放射された光束が反射点で反射した反射光を受信する光センサによって得られた前記反射点を示す点データを取得する点データ取得部と、
    　前記点データ取得部によって取得された前記点データが示す前記反射点の周辺の画像データを取得する画像データ取得部と、
    　前記画像データ取得部によって取得された前記画像データの輝度の滑らかさを計算する輝度計算部と、
    　前記点データから特定される前記光センサから前記反射点までの距離と、前記輝度計算部によって計算された前記輝度の滑らかさとから、霧の濃さを特定する霧特定部と
    を備える霧特定装置。
  2. 　前記霧特定部は、前記距離が近いほど、前記輝度の滑らかさが低くても、霧が濃いと特定する
    請求項１に記載の霧特定装置。
  3. 　前記輝度計算部は、前記画像データの水平方向の１本以上のラインを構成する各画素の輝度について２次微分計算を行った値の絶対値の総和を、前記輝度の滑らかさを示す値として計算する
    請求項１又は２に記載の霧特定装置。
  4. 　前記霧特定装置は、さらに、
    　前記霧特定部によって特定された霧の濃さに応じて、障害物を識別するためのセンサのセンサ閾値を設定する閾値設定部
    を備える請求項１から３までのいずれか１項に記載の霧特定装置。
  5. 　前記霧特定装置は、さらに、
    　前記霧特定部によって特定された霧の濃さに応じて、障害物を識別するために用いるセンサを決定するセンサ決定部
    を備える請求項１から４までのいずれか１項に記載の霧特定装置。
  6. 　点データ取得部が、放射された光束が反射点で反射した反射光を受信する光センサによって得られた前記反射点を示す点データを取得し、
    　画像データ取得部が、前記点データが示す前記反射点の周辺の画像データを取得し、
    　輝度計算部が、前記画像データの輝度の滑らかさを計算し、
    　霧特定部が、前記点データから特定される前記光センサから前記反射点までの距離と、前記輝度の滑らかさとから、霧の濃さを特定する霧特定方法。
  7. 　放射された光束が反射点で反射した反射光を受信する光センサによって得られた前記反射点を示す点データを取得する点データ取得処理と、
    　前記点データ取得処理によって取得された前記点データが示す前記反射点の周辺の画像データを取得する画像データ取得処理と、
    　前記画像データ取得処理によって取得された前記画像データの輝度の滑らかさを計算する輝度計算処理と、
    　前記点データから特定される前記光センサから前記反射点までの距離と、前記輝度計算処理によって計算された前記輝度の滑らかさとから、霧の濃さを特定する霧特定処理と
    をコンピュータに実行させる霧特定プログラム。
PCT/JP2018/009396 2018-03-12 2018-03-12 霧特定装置、霧特定方法及び霧特定プログラム WO2019175920A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/978,569 US11867870B2 (en) 2018-03-12 2018-03-12 Fog determination apparatus, fog determination method, and computer readable medium
JP2020505558A JP6723492B2 (ja) 2018-03-12 2018-03-12 霧特定装置、霧特定方法及び霧特定プログラム
PCT/JP2018/009396 WO2019175920A1 (ja) 2018-03-12 2018-03-12 霧特定装置、霧特定方法及び霧特定プログラム
DE112018007036.0T DE112018007036B4 (de) 2018-03-12 2018-03-12 Nebelbestimmungsvorrichtung, nebelbestimmungsverfahren undnebelbestimmungsprogramm
CN201880090354.6A CN111819472B (zh) 2018-03-12 2018-03-12 雾确定装置、雾确定方法和计算机能读取的存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/009396 WO2019175920A1 (ja) 2018-03-12 2018-03-12 霧特定装置、霧特定方法及び霧特定プログラム

Publications (1)

Publication Number Publication Date
WO2019175920A1 true WO2019175920A1 (ja) 2019-09-19

Family

ID=67907497

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/009396 WO2019175920A1 (ja) 2018-03-12 2018-03-12 霧特定装置、霧特定方法及び霧特定プログラム

Country Status (5)

Country Link
US (1) US11867870B2 (ja)
JP (1) JP6723492B2 (ja)
CN (1) CN111819472B (ja)
DE (1) DE112018007036B4 (ja)
WO (1) WO2019175920A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6746032B2 (ja) * 2018-03-12 2020-08-26 三菱電機株式会社 霧特定装置、霧特定方法及び霧特定プログラム
US11391845B2 (en) * 2018-03-12 2022-07-19 Mitsubishi Electric Corporation Fog determination apparatus, fog determination method, and computer readable medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05296766A (ja) * 1992-04-16 1993-11-09 Canon Inc 障害物検出装置
JP2006227876A (ja) * 2005-02-17 2006-08-31 Denso Corp 夜間画像による霧検出装置
JP2009042177A (ja) * 2007-08-10 2009-02-26 Honda Motor Co Ltd 物体検出装置
JP2017102245A (ja) * 2015-12-01 2017-06-08 キヤノン株式会社 画像処理装置および画像処理方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4040175C2 (de) 1990-12-15 2000-04-20 Bayerische Motoren Werke Ag Beleuchtungsverfahren
JP3990836B2 (ja) * 1999-03-01 2007-10-17 矢崎総業株式会社 車両用周辺監視装置
JP3669205B2 (ja) 1999-05-17 2005-07-06 日産自動車株式会社 障害物認識装置
US7110021B2 (en) 2002-05-31 2006-09-19 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings monitoring device, and image production method/program
JP3683258B2 (ja) 2002-05-31 2005-08-17 松下電器産業株式会社 車両周辺監視装置、画像生成方法および画像生成プログラム
JP3861781B2 (ja) 2002-09-17 2006-12-20 日産自動車株式会社 前方車両追跡システムおよび前方車両追跡方法
EP1498721A1 (de) 2003-07-15 2005-01-19 ELMOS Semiconductor AG Vorrichtung zur Erkennung von Nebel, insbesondere für ein Fahrzeug
JP4730267B2 (ja) 2006-07-04 2011-07-20 株式会社デンソー 車両用視界状況判定装置
JP4241834B2 (ja) 2007-01-11 2009-03-18 株式会社デンソー 車載霧判定装置
JP4980939B2 (ja) 2008-01-22 2012-07-18 富士重工業株式会社 撮像手段の調整装置および物体検出装置
JP5155042B2 (ja) 2008-07-04 2013-02-27 本田技研工業株式会社 車両周辺画像の切替装置
JP5218906B2 (ja) 2008-10-16 2013-06-26 国立大学法人東京農工大学 煙検出装置及び煙検出方法
WO2011107116A1 (en) * 2010-03-04 2011-09-09 Valeo Schalter Und Sensoren Gmbh Method of fog and raindrop detection on a windscreen and driving assistance device
CN102175613B (zh) * 2011-01-26 2012-11-14 南京大学 基于图像亮度特征的ptz视频能见度检测方法
CN102139674A (zh) * 2011-02-23 2011-08-03 电子科技大学 一种雾天汽车防追尾系统
DE102011017649B3 (de) * 2011-04-28 2012-10-11 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung einer Intensität eines Aerosols in einem Sichtfeld einer Kamera eines Fahrzeugs
JP5898535B2 (ja) 2012-03-13 2016-04-06 富士重工業株式会社 撮像ユニットの露光制御装置
US9221461B2 (en) 2012-09-05 2015-12-29 Google Inc. Construction zone detection using a plurality of information sources
US8473144B1 (en) 2012-10-30 2013-06-25 Google Inc. Controlling vehicle lateral lane positioning
DE102013204597A1 (de) * 2013-03-15 2014-09-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer Sichtweite bei Nebel am Tag
US8983705B2 (en) * 2013-04-30 2015-03-17 Google Inc. Methods and systems for detecting weather conditions including fog using vehicle onboard sensors
JP6058072B2 (ja) 2015-05-29 2017-01-11 三菱電機株式会社 物体識別装置
DE102016116346A1 (de) 2016-09-01 2018-03-01 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Verfahren zur quantitativen Bestimmung von einer zeitlichen und räumlichen Verteilung von Lichtstrahlen in einem streuenden Medium
US10254388B2 (en) * 2017-03-28 2019-04-09 Luminar Technologies, Inc. Dynamically varying laser output in a vehicle in view of weather conditions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05296766A (ja) * 1992-04-16 1993-11-09 Canon Inc 障害物検出装置
JP2006227876A (ja) * 2005-02-17 2006-08-31 Denso Corp 夜間画像による霧検出装置
JP2009042177A (ja) * 2007-08-10 2009-02-26 Honda Motor Co Ltd 物体検出装置
JP2017102245A (ja) * 2015-12-01 2017-06-08 キヤノン株式会社 画像処理装置および画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MORI, KENJI ET AL.: "Fog density judgment by in-vehicle camera images and millimeter-wave radar data", IEICE TECHNICAL REPORT, vol. 106, no. 605, 15 March 2007 (2007-03-15), pages 85 - 90, XP055637113 *

Also Published As

Publication number Publication date
DE112018007036B4 (de) 2022-12-08
DE112018007036T5 (de) 2020-10-29
CN111819472B (zh) 2022-06-24
US20210019537A1 (en) 2021-01-21
US11867870B2 (en) 2024-01-09
JPWO2019175920A1 (ja) 2020-06-18
JP6723492B2 (ja) 2020-07-15
CN111819472A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
US10688913B2 (en) Light intensity adjustment apparatus, light intensity adjustment method, and computer readable medium
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
JP6132412B2 (ja) 車外環境認識装置
WO2018110183A1 (ja) 撮像制御装置、撮像制御方法、プログラムおよび記録媒体
KR20210006276A (ko) 플리커를 약화시키기 위한 이미지 처리 방법
WO2019175920A1 (ja) 霧特定装置、霧特定方法及び霧特定プログラム
CN110659547A (zh) 物体识别方法、装置、车辆和计算机可读存储介质
KR20210064591A (ko) 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법
JP5955291B2 (ja) フィルタリング装置および環境認識システム
JP2020177648A (ja) 遺留物誤検出の認識方法、装置及び画像処理装置
JP6746032B2 (ja) 霧特定装置、霧特定方法及び霧特定プログラム
JP6723491B2 (ja) 霧特定装置、霧特定方法及び霧特定プログラム
JP7155870B2 (ja) 車両検出装置と方法及び電子機器
JP7277666B2 (ja) 処理装置
WO2021084915A1 (ja) 画像認識装置
US20220383146A1 (en) Method and Device for Training a Machine Learning Algorithm
JP7466695B2 (ja) 画像処理装置
WO2024009605A1 (ja) 画像処理装置、および、画像処理方法
JP2020123186A (ja) 路面標示認識装置
CN114973182A (zh) 用于确定对象的距离的方法和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18909567

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020505558

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18909567

Country of ref document: EP

Kind code of ref document: A1