WO2022249515A1 - Road surface state determination device, road surface state determination system, vehicle, road surface state determination method, and program - Google Patents
Road surface state determination device, road surface state determination system, vehicle, road surface state determination method, and program Download PDFInfo
- Publication number
- WO2022249515A1 WO2022249515A1 PCT/JP2021/043992 JP2021043992W WO2022249515A1 WO 2022249515 A1 WO2022249515 A1 WO 2022249515A1 JP 2021043992 W JP2021043992 W JP 2021043992W WO 2022249515 A1 WO2022249515 A1 WO 2022249515A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- road surface
- surface condition
- identification result
- data
- determination device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 28
- 238000004458 analytical method Methods 0.000 claims abstract description 40
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 239000000284 extract Substances 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
Landscapes
- Environmental & Geological Engineering (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Atmospheric Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
This road surface state determination device comprises a control unit that analyzes time-series data obtained through the measurement of sound produced during the travel of a vehicle on a road using a sound sensor attached to the vehicle and generates analysis data indicating the change over time of the signal intensities of each frequency component, inputs the generated analysis data into an identification model for identifying the road surface state of the road, thereby acquires a road surface state identification result from the identification model, and determines the road surface state by referring to the acquired identification result.
Description
本開示は、路面状態判定装置、路面状態判定システム、車両、路面状態判定方法、及びプログラムに関する。
The present disclosure relates to a road surface condition determination device, a road surface condition determination system, a vehicle, a road surface condition determination method, and a program.
特許文献１には、車両に搭載され、路面状態を判定する装置が開示されている。この装置は、車両位置と地図情報とに基づいて路面の舗装種別を検出し、舗装種別と走行音とに対応する第１の路面状態を判定し、舗装種別と路面画像とに対応する第２の路面状態を判定し、第１の路面状態又は第２の路面状態を他の装置に出力する。
Patent Document 1 discloses a device that is mounted on a vehicle and determines road surface conditions. This device detects the pavement type of the road surface based on the vehicle position and the map information, determines a first road surface condition corresponding to the pavement type and the running sound, and determines a second road surface condition corresponding to the pavement type and the road surface image. road surface condition, and outputs the first road surface condition or the second road surface condition to another device.
特許文献２には、走行中の車両から発せられた音を評価する装置が開示されている。この装置は、音に基づく時間波形データを取得し、時間波形データの一部に基づき、時間軸、周波数軸、及び信号強度を示す評価画像を生成する。そして、この装置は、過去の評価画像と過去の評価画像に紐付けられた参照データとの間における連関性が記憶された参照データベースを参照し、生成した評価画像に対する評価結果を導出する。
Patent Document 2 discloses a device that evaluates sounds emitted from a running vehicle. This device acquires time waveform data based on sound, and generates an evaluation image showing the time axis, frequency axis, and signal strength based on part of the time waveform data. Then, this device refers to a reference database that stores relationships between past evaluation images and reference data linked to past evaluation images, and derives evaluation results for the generated evaluation images.
従来の装置は、音による路面状態判定を高精度に行うことができない。
Conventional devices cannot accurately judge road surface conditions by sound.
本開示の目的は、音による路面状態判定の精度を向上させることである。
The purpose of the present disclosure is to improve the accuracy of road surface condition determination by sound.
本開示の一態様としての路面状態判定装置は、車両が道路を走行しているときに発生する音を前記車両に取り付けられた音センサにより測定して得られた時系列データを解析して、周波数成分ごとの信号強度の経時変化を示す解析データを生成し、生成した解析データを、前記道路の路面状態を識別するための識別モデルに入力することで、前記路面状態の識別結果を前記識別モデルから取得し、取得した識別結果を参照して、前記路面状態を判定する制御部を備える。
A road surface condition determination device as one aspect of the present disclosure analyzes time-series data obtained by measuring sounds generated when a vehicle is traveling on a road with a sound sensor attached to the vehicle, Generating analysis data indicating changes over time in signal strength for each frequency component, and inputting the generated analysis data into an identification model for identifying the road surface condition of the road, thereby converting the identification result of the road surface condition into the identification. A control unit is provided for determining the road surface condition by obtaining from the model and referring to the obtained identification result.
本開示によれば、音による路面状態判定の精度が向上する。
According to the present disclosure, the accuracy of road surface condition determination based on sound is improved.
以下、本開示の一実施形態について、図を参照して説明する。
An embodiment of the present disclosure will be described below with reference to the drawings.
各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。
In each figure, the same or corresponding parts are given the same reference numerals. In the description of this embodiment, the description of the same or corresponding parts will be omitted or simplified as appropriate.
図１を参照して、本実施形態に係る路面状態判定システム１０の構成を説明する。
The configuration of a road surface condition determination system 10 according to this embodiment will be described with reference to FIG.
路面状態判定システム１０は、路面状態判定装置２０と、画像センサ３０と、音センサ４０とを備える。
The road surface condition determination system 10 includes a road surface condition determination device 20, an image sensor 30, and a sound sensor 40.
路面状態判定装置２０は、コンピュータである。路面状態判定装置２０は、本実施形態ではＰＣであるが、スマートフォン若しくはタブレットなどのモバイル機器、クラウドコンピューティングシステム若しくはその他のコンピューティングシステムに属するサーバ機器、又は専用機器であってもよい。「ＰＣ」は、personal computerの略語である。
The road surface condition determination device 20 is a computer. The road surface condition determination device 20 is a PC in this embodiment, but may be a mobile device such as a smartphone or tablet, a server device belonging to a cloud computing system or other computing system, or a dedicated device. "PC" is an abbreviation for personal computer.
画像センサ３０は、道路１１を走行する車両５０に取り付けられる。具体的には、画像センサ３０は、車両５０の前方を撮像できるように、車両５０の前方に向けてダッシュボード上又はバックミラー近傍に取り付けられる。画像センサ３０は、例えば、ＣＭＯＳセンサ、ＣＣＤセンサ、又はこれらのいずれかを内蔵したカメラである。「ＣＭＯＳ」は、complementary metal oxide semiconductorの略語である。「ＣＣＤ」は、charge coupled deviceの略語である。画像センサ３０は後方を撮像できるようにしてもよい。
The image sensor 30 is attached to a vehicle 50 traveling on the road 11. Specifically, the image sensor 30 is mounted on the dashboard or near the rearview mirror toward the front of the vehicle 50 so as to capture an image of the front of the vehicle 50 . The image sensor 30 is, for example, a CMOS sensor, a CCD sensor, or a camera incorporating any of these. "CMOS" is an abbreviation for complementary metal oxide semiconductor. "CCD" is an abbreviation for charge coupled device. The image sensor 30 may be capable of imaging the rear.
音センサ４０も、車両５０に取り付けられる。具体的には、音センサ４０は、車両５０のタイヤから発生する音を測定できるようにタイヤ近傍に取り付けられる。音センサ４０は、本実施形態では前輪近傍に取り付けられるが、後輪近傍に取り付けられてもよい。音センサ４０は、例えば、マイクロフォンである。
The sound sensor 40 is also attached to the vehicle 50. Specifically, the sound sensor 40 is attached near the tire of the vehicle 50 so as to measure the sound generated from the tire. The sound sensor 40 is attached near the front wheels in this embodiment, but may be attached near the rear wheels. Sound sensor 40 is, for example, a microphone.
車両５０は、例えば、ガソリン車、ディーゼル車、ＨＶ、ＰＨＶ、ＥＶ、又はＦＣＶなどの任意の種類の自動車である。「ＨＶ」は、hybrid vehicleの略語である。「ＰＨＶ」は、plug-in hybrid vehicleの略語である。「ＥＶ」は、electric vehicleの略語である。「ＦＣＶ」は、fuel cell vehicleの略語である。
The vehicle 50 is any type of automobile, such as a gasoline vehicle, diesel vehicle, HV, PHV, EV, or FCV. "HV" is an abbreviation for hybrid vehicle. "PHV" is an abbreviation for plug-in hybrid vehicle. "EV" is an abbreviation for electric vehicle. "FCV" is an abbreviation for fuel cell vehicle.
図１、図２、及び図３を参照して、本実施形態の概要を説明する。
The outline of this embodiment will be described with reference to FIGS. 1, 2, and 3. FIG.
音センサ４０は、車両５０が道路１１を走行しているときに発生する音を測定する。路面状態判定装置２０は、測定結果として得られた時系列データ６１を解析して、図３に示すような解析データ６３を生成する。解析データ６３は、周波数成分ごとの信号強度の経時変化を示すデータである。路面状態判定装置２０は、生成した解析データ６３に基づいて、道路１１の路面状態の識別結果である第１識別結果を取得する。具体的には、路面状態判定装置２０は、解析データ６３を第１識別モデル７１に入力することで、第１識別結果を第１識別モデル７１から取得する。路面状態判定装置２０は、取得した第１識別結果を参照して、路面状態を判定する。したがって、本実施形態によれば、音による路面状態判定の精度が向上する。図３の解析データ６３は、同じ路面であっても走行速度によって変化するため、識別結果を取得する際には走行速度を一定範囲内に統一するか、又は走行速度によって補正を行うのが好ましい。
The sound sensor 40 measures the sound generated when the vehicle 50 is traveling on the road 11. The road surface condition determination device 20 analyzes the time-series data 61 obtained as the measurement results and generates analysis data 63 as shown in FIG. The analysis data 63 is data indicating changes over time in signal strength for each frequency component. The road surface condition determination device 20 acquires the first identification result, which is the identification result of the road surface condition of the road 11 , based on the generated analysis data 63 . Specifically, the road surface condition determination device 20 acquires the first identification result from the first identification model 71 by inputting the analysis data 63 to the first identification model 71 . The road surface condition determination device 20 refers to the obtained first identification result to determine the road surface condition. Therefore, according to the present embodiment, the accuracy of road surface condition determination based on sound is improved. Since the analysis data 63 of FIG. 3 changes depending on the running speed even on the same road surface, it is preferable to standardize the running speed within a certain range or correct the running speed when acquiring the identification result. .
第１識別モデル７１は、路面状態を識別するための任意の識別モデルでよいが、本実施形態では、機械学習を行った学習済みモデルを含む。例えば、過去に音センサ４０により得られた時系列データを解析して過去の解析データを生成し、この解析データに実際の路面状態をラベルとして紐付けることで、機械学習用の教師データを作成することができる。そして、この教師データを用いて、ニューラルネットワーク又はディープラーニングなど、既知の機械学習アルゴリズムによる機械学習を行うことで、第１識別モデル７１としての学習済みモデルを生成することができる。本実施形態によれば、多くのデータを第１識別モデル７１に学習させることで、音による路面状態判定の精度を向上させることができる。
The first discriminant model 71 may be any discriminative model for discriminating road surface conditions, but in this embodiment, it includes a learned model that has undergone machine learning. For example, by analyzing the time-series data obtained by the sound sensor 40 in the past to generate past analysis data, and by linking the actual road surface condition to this analysis data as a label, teacher data for machine learning is created. can do. A trained model as the first discriminant model 71 can be generated by performing machine learning using a known machine learning algorithm such as a neural network or deep learning using this teacher data. According to this embodiment, the first discriminant model 71 learns a large amount of data, thereby improving the accuracy of road surface state determination based on sound.
本実施形態では、第１識別モデル７１は、第１識別結果として、ラベルごとの確率を出力する。ラベルごとの確率とは、路面状態が各ラベルに対応するクラスに該当する確率のことである。すなわち、本実施形態では、第１識別結果は、路面状態が複数のクラスのそれぞれに該当する確率を含む。
In this embodiment, the first identification model 71 outputs the probability for each label as the first identification result. The probability for each label is the probability that the road surface condition corresponds to the class corresponding to each label. That is, in this embodiment, the first identification result includes the probability that the road surface condition corresponds to each of a plurality of classes.
本実施形態では、複数のクラスとして、「乾燥」、「半湿」、「潤湿」、「シャーベット」、「積雪」、「圧雪」、及び「凍結」という７つのクラスが定義されるが、これら７つのクラスの代わりに、「乾燥」、「半湿」、「潤湿」、「シャーベット」、及び「雪」の５つのクラスなど、任意の２つ以上のクラスが定義されてよい。
In this embodiment, seven classes of "dry", "semi-moist", "wet", "sherbet", "snow", "compact snow", and "freezing" are defined as a plurality of classes. Instead of these seven classes, any two or more classes may be defined, such as the five classes "dry", "semi-wet", "wet", "sherbet" and "snow".
解析データ６３は、本実施形態ではスペクトログラムを含むが、スカログラムなど、別の周波数解析の手法を用いて生成された画像、又は任意の周波数解析の手法を用いて生成された、画像以外の形式のデータを含んでもよい。図３は、解析データ６３の例として、第１スペクトログラム６４、第２スペクトログラム６５、及び第３スペクトログラム６６を示している。各スペクトログラムにおいて、横軸は時間軸、縦軸は周波数軸、色の濃淡は信号強度を表している。第１スペクトログラム６４は、車両５０が半湿状態の路面を走行しているときに発生した音のスペクトログラムの例である。第２スペクトログラム６５は、車両５０が潤湿状態の路面を走行しているときに発生した音のスペクトログラムの例である。第３スペクトログラム６６は、車両５０がシャーベット状態の路面を走行しているときに発生した音のスペクトログラムの例である。
Analysis data 63 includes a spectrogram in this embodiment, but may be an image generated using another frequency analysis technique, such as a scalogram, or a non-image format generated using any frequency analysis technique. may contain data. FIG. 3 shows a first spectrogram 64 , a second spectrogram 65 and a third spectrogram 66 as examples of the analysis data 63 . In each spectrogram, the horizontal axis is the time axis, the vertical axis is the frequency axis, and the shade of color represents the signal intensity. A first spectrogram 64 is an example of a spectrogram of sound generated when the vehicle 50 is traveling on a semi-humid road surface. A second spectrogram 65 is an example of a spectrogram of sound generated while the vehicle 50 is running on a wet road surface. A third spectrogram 66 is an example of a spectrogram of sound generated while the vehicle 50 is running on a sherbet road surface.
画像センサ３０は、道路１１を撮像する。路面状態判定装置２０は、第１識別結果とは別に、撮像画像として得られた画像データ６２に基づいて、道路１１の路面状態の識別結果である第２識別結果を取得する。具体的には、路面状態判定装置２０は、画像データ６２を第２識別モデル７２に入力することで、第２識別結果を第２識別モデル７２から取得する。路面状態判定装置２０は、第１識別結果だけでなく、取得した第２識別結果も参照して、路面状態を判定する。したがって、本実施形態によれば、路面状態判定の精度が更に向上する。
The image sensor 30 images the road 11 . The road surface condition determination device 20 acquires a second identification result, which is the identification result of the road surface condition of the road 11, based on the image data 62 obtained as the captured image, separately from the first identification result. Specifically, the road surface condition determination device 20 acquires the second identification result from the second identification model 72 by inputting the image data 62 to the second identification model 72 . The road surface condition determination device 20 determines the road surface condition by referring not only to the first identification result but also to the obtained second identification result. Therefore, according to the present embodiment, the accuracy of road surface condition determination is further improved.
第２識別モデル７２は、路面状態を識別するための任意の識別モデルでよいが、本実施形態では、機械学習を行った学習済みモデルを含む。例えば、過去に画像センサ３０により得られた画像データに実際の路面状態をラベルとして紐付けることで、機械学習用の教師データを作成することができる。そして、この教師データを用いて、ニューラルネットワーク又はディープラーニングなど、既知の機械学習アルゴリズムによる機械学習を行うことで、第２識別モデル７２としての学習済みモデルを生成することができる。本実施形態によれば、多くのデータを第２識別モデル７２に学習させることで、画像による路面状態判定の精度を向上させることができる。
The second discriminant model 72 may be any discriminative model for discriminating road surface conditions, but in this embodiment, it includes a learned model that has undergone machine learning. For example, teacher data for machine learning can be created by linking image data obtained by the image sensor 30 in the past with actual road surface conditions as labels. A trained model as the second discriminant model 72 can be generated by performing machine learning using a known machine learning algorithm such as a neural network or deep learning using this teacher data. According to this embodiment, the accuracy of road surface state determination using images can be improved by having the second identification model 72 learn a large amount of data.
本実施形態では、第２識別モデル７２は、第２識別結果として、ラベルごとの確率を出力する。すなわち、本実施形態では、第２識別結果は、第１識別結果と同じように、路面状態が複数のクラスのそれぞれに該当する確率を含む。
In this embodiment, the second identification model 72 outputs the probability for each label as the second identification result. That is, in the present embodiment, the second identification result includes the probability that the road surface condition corresponds to each of a plurality of classes, like the first identification result.
図４を参照して、本実施形態に係る路面状態判定装置２０の構成を説明する。
The configuration of the road surface condition determination device 20 according to this embodiment will be described with reference to FIG.
路面状態判定装置２０は、制御部２１と、記憶部２２と、通信部２３と、入力部２４と、出力部２５とを備える。
The road surface condition determination device 20 includes a control section 21 , a storage section 22 , a communication section 23 , an input section 24 and an output section 25 .
制御部２１は、少なくとも１つのプロセッサ、少なくとも１つのプログラマブル回路、少なくとも１つの専用回路、又はこれらの任意の組合せを含む。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「ＣＰＵ」は、central processing unitの略語である。「ＧＰＵ」は、graphics processing unitの略語である。プログラマブル回路は、例えば、ＦＰＧＡである。「ＦＰＧＡ」は、field-programmable gate arrayの略語である。専用回路は、例えば、ＡＳＩＣである。「ＡＳＩＣ」は、application specific integrated circuitの略語である。制御部２１は、路面状態判定装置２０の各部を制御しながら、路面状態判定装置２０の動作に関わる処理を実行する。
The control unit 21 includes at least one processor, at least one programmable circuit, at least one dedicated circuit, or any combination thereof. A processor may be a general-purpose processor such as a CPU or GPU, or a dedicated processor specialized for a particular process. "CPU" is an abbreviation for central processing unit. "GPU" is an abbreviation for graphics processing unit. A programmable circuit is, for example, an FPGA. "FPGA" is an abbreviation for field-programmable gate array. A dedicated circuit is, for example, an ASIC. "ASIC" is an abbreviation for application specific integrated circuit. The control unit 21 executes processing related to the operation of the road surface condition determination device 20 while controlling each unit of the road surface condition determination device 20 .
記憶部２２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらの任意の組合せを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。「ＲＡＭ」は、random access memoryの略語である。「ＲＯＭ」は、read only memoryの略語である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。「ＳＲＡＭ」は、static random access memoryの略語である。「ＤＲＡＭ」は、dynamic random access memoryの略語である。ＲＯＭは、例えば、ＥＥＰＲＯＭである。「ＥＥＰＲＯＭ」は、electrically erasable programmable read only memoryの略語である。記憶部２２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部２２には、路面状態判定装置２０の動作に用いられるデータと、路面状態判定装置２０の動作によって得られたデータとが記憶される。
The storage unit 22 includes at least one semiconductor memory, at least one magnetic memory, at least one optical memory, or any combination thereof. A semiconductor memory is, for example, a RAM or a ROM. "RAM" is an abbreviation for random access memory. "ROM" is an abbreviation for read only memory. RAM is, for example, SRAM or DRAM. "SRAM" is an abbreviation for static random access memory. "DRAM" is an abbreviation for dynamic random access memory. ROM is, for example, EEPROM. "EEPROM" is an abbreviation for electrically erasable programmable read only memory. The storage unit 22 functions, for example, as a main memory device, an auxiliary memory device, or a cache memory. The storage unit 22 stores data used for the operation of the road surface condition determination device 20 and data obtained by the operation of the road surface condition determination device 20 .
通信部２３は、少なくとも１つの通信用インタフェースを含む。通信用インタフェースは、例えば、ＬＡＮインタフェース、ＬＴＥ、４Ｇ規格、若しくは５Ｇ規格などの移動通信規格に対応したインタフェース、又はBluetooth（登録商標）などの近距離無線通信規格に対応したインタフェースである。「ＬＡＮ」は、local area networkの略語である。「ＬＴＥ」は、Long Term Evolutionの略語である。「４Ｇ」は、4th generationの略語である。「５Ｇ」は、5th generationの略語である。通信部２３は、路面状態判定装置２０の動作に用いられるデータを受信し、また路面状態判定装置２０の動作によって得られるデータを送信する。
The communication unit 23 includes at least one communication interface. The communication interface is, for example, a LAN interface, an interface compatible with mobile communication standards such as LTE, 4G standard, or 5G standard, or an interface compatible with short-range wireless communication standards such as Bluetooth (registered trademark). "LAN" is an abbreviation for local area network. "LTE" is an abbreviation for Long Term Evolution. "4G" is an abbreviation for 4th generation. “5G” is an abbreviation for 5th generation. The communication unit 23 receives data used for the operation of the road surface condition determination device 20 and transmits data obtained by the operation of the road surface condition determination device 20 .
入力部２４は、少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、カメラ、又はマイクロフォンである。入力部２４は、路面状態判定装置２０の動作に用いられるデータを入力する操作を受け付ける。入力部２４は、路面状態判定装置２０に備えられる代わりに、外部の入力機器として路面状態判定装置２０に接続されてもよい。接続用インタフェースとしては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの規格に対応したインタフェースを用いることができる。「ＵＳＢ」は、Universal Serial Busの略語である。「ＨＤＭＩ（登録商標）」は、High-Definition Multimedia Interfaceの略語である。
The input unit 24 includes at least one input interface. The input interface is, for example, a physical key, a capacitive key, a pointing device, a touch screen integrated with a display, a camera, or a microphone. The input unit 24 receives an operation of inputting data used for the operation of the road surface condition determination device 20 . The input unit 24 may be connected to the road surface condition determination device 20 as an external input device instead of being provided in the road surface condition determination device 20 . As the connection interface, for example, an interface compatible with standards such as USB, HDMI (registered trademark), or Bluetooth (registered trademark) can be used. "USB" is an abbreviation for Universal Serial Bus. "HDMI (registered trademark)" is an abbreviation for High-Definition Multimedia Interface.
出力部２５は、少なくとも１つの出力用インタフェースを含む。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。「ＬＣＤ」は、liquid crystal displayの略語である。「ＥＬ」は、electro luminescenceの略語である。出力部２５は、路面状態判定装置２０の動作によって得られるデータを出力する。出力部２５は、路面状態判定装置２０に備えられる代わりに、外部の出力機器として路面状態判定装置２０に接続されてもよい。接続用インタフェースとしては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの規格に対応したインタフェースを用いることができる。
The output unit 25 includes at least one output interface. The output interface is, for example, a display or speaker. The display is, for example, an LCD or an organic EL display. "LCD" is an abbreviation for liquid crystal display. "EL" is an abbreviation for electro luminescence. The output unit 25 outputs data obtained by the operation of the road surface condition determination device 20 . The output unit 25 may be connected to the road surface condition determination device 20 as an external output device instead of being provided in the road surface condition determination device 20 . As the connection interface, for example, an interface compatible with standards such as USB, HDMI (registered trademark), or Bluetooth (registered trademark) can be used.
路面状態判定装置２０の機能は、本実施形態に係るプログラムを、制御部２１としてのプロセッサで実行することにより実現される。すなわち、路面状態判定装置２０の機能は、ソフトウェアにより実現される。プログラムは、路面状態判定装置２０の動作をコンピュータに実行させることで、コンピュータを路面状態判定装置２０として機能させる。すなわち、コンピュータは、プログラムに従って路面状態判定装置２０の動作を実行することにより路面状態判定装置２０として機能する。
The functions of the road surface condition determination device 20 are realized by executing the program according to the present embodiment by a processor as the control unit 21. That is, the functions of the road surface condition determination device 20 are realized by software. The program causes the computer to function as the road surface condition determination device 20 by causing the computer to execute the operation of the road surface condition determination device 20 . That is, the computer functions as the road surface condition determination device 20 by executing the operation of the road surface condition determination device 20 according to the program.
プログラムは、非一時的なコンピュータ読取り可能な媒体に記憶しておくことができる。非一時的なコンピュータ読取り可能な媒体は、例えば、フラッシュメモリ、磁気記録装置、光ディスク、光磁気記録媒体、又はＲＯＭである。プログラムの流通は、例えば、プログラムを記憶したＳＤカード、ＤＶＤ、又はＣＤ－ＲＯＭなどの可搬型媒体を販売、譲渡、又は貸与することによって行う。「ＳＤ」は、Secure Digitalの略語である。「ＤＶＤ」は、digital versatile discの略語である。「ＣＤ－ＲＯＭ」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。
The program can be stored on a non-transitory computer-readable medium. A non-transitory computer-readable medium is, for example, a flash memory, a magnetic recording device, an optical disk, a magneto-optical recording medium, or a ROM. Program distribution is performed, for example, by selling, assigning, or lending a portable medium such as an SD card, DVD, or CD-ROM storing the program. "SD" is an abbreviation for Secure Digital. "DVD" is an abbreviation for digital versatile disc. "CD-ROM" is an abbreviation for compact disc read only memory. The program may be distributed by storing the program in the storage of the server and transferring the program from the server to another computer. A program may be provided as a program product.
コンピュータは、例えば、可搬型媒体に記憶されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、application service providerの略語である。プログラムは、電子計算機による処理の用に供する情報であってプログラムに準ずるものを含む。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。
A computer, for example, temporarily stores a program stored in a portable medium or a program transferred from a server in a main storage device. Then, the computer reads the program stored in the main storage device with the processor, and executes processing according to the read program with the processor. The computer may read the program directly from the portable medium and execute processing according to the program. The computer may execute processing according to the received program every time the program is transferred from the server to the computer. The processing may be executed by a so-called ASP type service that realizes the function only by executing the execution instruction and obtaining the result without transferring the program from the server to the computer. "ASP" is an abbreviation for application service provider. A program includes information that is used for processing by a computer and that conforms to the program. For example, data that is not a direct instruction to a computer but that has the property of prescribing the processing of the computer corresponds to "things equivalent to a program."
路面状態判定装置２０の一部又は全ての機能が、制御部２１としてのプログラマブル回路又は専用回路により実現されてもよい。すなわち、路面状態判定装置２０の一部又は全ての機能が、ハードウェアにより実現されてもよい。
A part or all of the functions of the road surface condition determination device 20 may be realized by a programmable circuit or a dedicated circuit as the control section 21. That is, part or all of the functions of the road surface condition determination device 20 may be realized by hardware.
図５を参照して、本実施形態に係る路面状態判定システム１０の動作を説明する。この動作は、本実施形態に係る路面状態判定方法に相当する。
The operation of the road surface condition determination system 10 according to this embodiment will be described with reference to FIG. This operation corresponds to the road surface state determination method according to this embodiment.
ステップＳ１において、画像センサ３０は、道路１１を撮像する。撮像画像として得られた画像データ６２は、車両５０に搭載されたフラッシュメモリ又は磁気記録装置などの媒体に記憶されるか、又は車両５０に搭載された通信機により、インターネットなどのネットワークを介して外部に送信される。道路１１が撮像されるのと略同時に、音センサ４０は、車両５０が道路１１を走行しているときに発生する音を測定する。測定結果として得られた時系列データ６１は、画像データ６２と同じように、車両５０に搭載された媒体に記憶されるか、又は車両５０に搭載された通信機により、ネットワークを介して外部に送信される。
In step S<b>1 , the image sensor 30 images the road 11 . The image data 62 obtained as a captured image is stored in a medium such as a flash memory or a magnetic recording device mounted on the vehicle 50, or is transmitted by a communication device mounted on the vehicle 50 via a network such as the Internet. sent externally. Approximately at the same time that the road 11 is imaged, the sound sensor 40 measures the sound that the vehicle 50 makes while traveling on the road 11 . The time-series data 61 obtained as the measurement result is stored in a medium mounted on the vehicle 50 in the same manner as the image data 62, or is sent to the outside via a network by a communication device mounted on the vehicle 50. sent.
ステップＳ２において、路面状態判定装置２０の制御部２１は、ステップＳ１で得られた時系列データ６１を解析して、周波数成分ごとの信号強度の経時変化を示す解析データ６３を生成する。この処理は、任意の手順で実行されてよいが、本実施形態では、図６に示すような手順で実行される。
In step S2, the control unit 21 of the road surface condition determination device 20 analyzes the time-series data 61 obtained in step S1 to generate analysis data 63 indicating temporal changes in signal intensity for each frequency component. Although this process may be performed by any procedure, it is performed by the procedure as shown in FIG. 6 in this embodiment.
図６のステップＳ２０１において、制御部２１は、通信部２３、又はＵＳＢなどの規格に対応した他のインタフェースを介して、ステップＳ１で車両５０に搭載された媒体に記憶された時系列データ６１を取得する。あるいは、制御部２１は、通信部２３を介して、ステップＳ１で車両５０に搭載された通信機により送信された時系列データ６１を受信することで、時系列データ６１を取得する。
In step S201 of FIG. 6, the control unit 21 receives the time-series data 61 stored in the medium mounted on the vehicle 50 in step S1 via the communication unit 23 or another interface compatible with standards such as USB. get. Alternatively, the control unit 21 acquires the time-series data 61 by receiving the time-series data 61 transmitted by the communication device mounted on the vehicle 50 in step S<b>1 via the communication unit 23 .
図６のステップＳ２０２において、制御部２１は、ある範囲の周波数のデータを、ステップＳ２０１で取得した時系列データ６１から抽出するとともに、ある範囲の信号強度のデータを時系列データ６１から抽出する。すなわち、制御部２１は、一定範囲の周波数、かつ一定範囲の信号強度のデータを時系列データ６１から抽出する。周波数の範囲は、１ｋＨｚ以上２０ｋＨｚ以下が好ましい。信号強度の範囲は、４０ｄＢ以上６０ｄＢ以下が好ましい。すなわち、制御部２１は、１ｋＨｚ以上２０ｋＨｚ以下の周波数、かつ４０ｄＢ以上６０ｄＢ以下の信号強度のデータを時系列データ６１から抽出することが好ましい。
In step S202 of FIG. 6, the control unit 21 extracts frequency data in a certain range from the time-series data 61 acquired in step S201, and extracts signal strength data in a certain range from the time-series data 61. That is, the control unit 21 extracts from the time-series data 61 data of frequencies within a certain range and signal strength within a certain range. The frequency range is preferably from 1 kHz to 20 kHz. The range of signal strength is preferably 40 dB or more and 60 dB or less. That is, the control unit 21 preferably extracts from the time-series data 61 data with a frequency of 1 kHz or more and 20 kHz or less and a signal strength of 40 dB or more and 60 dB or less.
図６のステップＳ２０３において、制御部２１は、ステップＳ２０２で抽出したデータを解析して解析データ６３を生成する。具体的には、制御部２１は、ステップＳ２０２で抽出したデータの周波数解析を行ってスペクトログラムを生成する。
In step S203 of FIG. 6, the control unit 21 analyzes the data extracted in step S202 to generate analysis data 63. Specifically, the control unit 21 performs frequency analysis on the data extracted in step S202 to generate a spectrogram.
ステップＳ３において、路面状態判定装置２０の制御部２１は、ステップＳ２で生成した解析データ６３に基づいて第１識別結果を取得する。具体的には、制御部２１は、解析データ６３を、道路１１の路面状態を識別するための第１識別モデル７１に入力することで、路面状態の識別結果を第１識別結果として第１識別モデル７１から取得する。本実施形態では、第１識別結果は、路面状態が「乾燥」、「半湿」、「潤湿」、「シャーベット」、「積雪」、「圧雪」、及び「凍結」という７つのクラスのそれぞれに該当する確率を含む。
In step S3, the control unit 21 of the road surface condition determination device 20 acquires the first identification result based on the analysis data 63 generated in step S2. Specifically, the control unit 21 inputs the analysis data 63 to the first identification model 71 for identifying the road surface condition of the road 11, and uses the identification result of the road surface condition as the first identification result. Obtained from model 71 . In this embodiment, the first identification results are classified into seven classes of road surface conditions: "dry", "semi-humid", "wet", "sherbet", "covered snow", "compact snow", and "frozen". including the probability of falling under
ステップＳ４において、路面状態判定装置２０の制御部２１は、ステップＳ１で得られた画像データ６２に基づいて第２識別結果を取得する。具体的には、制御部２１は、通信部２３、又はＵＳＢなどの規格に対応した他のインタフェースを介して、ステップＳ１で車両５０に搭載された媒体に記憶された画像データ６２を取得する。あるいは、制御部２１は、通信部２３を介して、ステップＳ１で車両５０に搭載された通信機により送信された画像データ６２を受信することで、画像データ６２を取得する。制御部２１は、路面画像を、取得した画像データ６２から抽出する。路面画像を抽出する方法としては、固定ピクセル数の領域を路面画像として切り出す方法、画像解析を行って認識された路面領域を路面画像として切り出す方法、又は機械学習を用いて識別された路面領域を路面画像として切り出す方法など、任意の方法が用いられてよい。路面画像が車線ごとに切り出されてもよい。制御部２１は、抽出した路面画像を、道路１１の路面状態を識別するための第２識別モデル７２に入力することで、路面状態の識別結果を第２識別結果として第２識別モデル７２から取得する。本実施形態では、第２識別結果は、第１識別結果と同じように、路面状態が「乾燥」、「半湿」、「潤湿」、「シャーベット」、「積雪」、「圧雪」、及び「凍結」という７つのクラスのそれぞれに該当する確率を含む。
In step S4, the control unit 21 of the road surface condition determination device 20 acquires the second identification result based on the image data 62 obtained in step S1. Specifically, the control unit 21 acquires the image data 62 stored in the medium mounted on the vehicle 50 in step S1 via the communication unit 23 or another interface compatible with standards such as USB. Alternatively, the control unit 21 acquires the image data 62 by receiving the image data 62 transmitted by the communication device mounted on the vehicle 50 in step S<b>1 via the communication unit 23 . The control unit 21 extracts the road surface image from the acquired image data 62 . As a method for extracting the road surface image, there are a method of extracting a fixed pixel number area as a road surface image, a method of extracting a road surface area recognized by image analysis, or a method of extracting a road surface area identified using machine learning. Any method such as a method of cutting out as a road surface image may be used. The road surface image may be cut out for each lane. By inputting the extracted road surface image to the second identification model 72 for identifying the road surface state of the road 11, the control unit 21 acquires the identification result of the road surface state from the second identification model 72 as the second identification result. do. In the present embodiment, the second identification result is similar to the first identification result in that the road surface conditions are "dry", "semi-humid", "wet", "sherbet", "covered snow", "compacted snow", and It contains the probabilities of falling into each of the seven classes of "frozen".
ステップＳ５において、路面状態判定装置２０の制御部２１は、ステップＳ３及びステップＳ４でそれぞれ取得した第１識別結果及び第２識別結果を参照して、路面状態を判定する。この処理は、任意の手順で実行されてよいが、本実施形態では、図７に示すような手順で実行される。
In step S5, the control unit 21 of the road surface condition determination device 20 refers to the first identification result and the second identification result obtained in steps S3 and S4, respectively, and determines the road surface condition. Although this process may be performed by any procedure, it is performed by the procedure as shown in FIG. 7 in this embodiment.
図７のステップＳ５０１において、制御部２１は、ステップＳ１で音が測定された時間帯に応じて、第１識別結果及び第２識別結果のそれぞれに重み付けを行う。例えば、制御部２１は、時間帯が、画像による路面状態判定の精度が落ちやすい夜間であれば、第１識別結果に含まれる確率への重み付けを、第２識別結果に含まれる確率への重み付けよりも大きくする。制御部２１は、時間帯が、画像による路面状態判定の精度が上がりやすい昼間であれば、第２識別結果に含まれる確率への重み付けを、第１識別結果に含まれる確率への重み付けと同じか、又は第１識別結果に含まれる確率への重み付けよりも大きくする。
In step S501 of FIG. 7, the control unit 21 weights the first identification result and the second identification result according to the time period during which the sound was measured in step S1. For example, if the time zone is nighttime, when the accuracy of road surface state determination using images tends to decline, the control unit 21 weights the probability included in the first identification result, and weights the probability included in the second identification result. make it larger than If the time period is daytime when the accuracy of road surface condition determination using images tends to increase, the control unit 21 applies the same weighting to the probability included in the second identification result as the weighting to the probability included in the first identification result. or greater than the weighting of the probabilities included in the first identification result.
図７のステップＳ５０２において、制御部２１は、ステップＳ１で音が測定されたときの外気温に応じて、第１識別結果及び第２識別結果のそれぞれに重み付けを行う。例えば、制御部２１は、外気温が、ブラックアイスバーンが生じるほど低ければ、第１識別結果に含まれる確率への重み付けを、第２識別結果に含まれる確率への重み付けよりも大きくする。制御部２１は、外気温が、ブラックアイスバーンが生じないほど高ければ、第２識別結果に含まれる確率への重み付けを、第１識別結果に含まれる確率への重み付けと同じか、又は第１識別結果に含まれる確率への重み付けよりも大きくする。
In step S502 of FIG. 7, the control unit 21 weights the first identification result and the second identification result according to the outside air temperature when the sound was measured in step S1. For example, if the outside air temperature is low enough to cause black ice, the control unit 21 weights the probability included in the first identification result more than the weight included in the second identification result. If the outside air temperature is high enough not to cause black ice, the control unit 21 assigns the same weighting to the probability included in the second identification result as the weighting to the probability included in the first identification result, or the first weighting to the probability included in the first identification result. Make the weight greater than the weighting of the probabilities included in the identification result.
図７のステップＳ５０３において、制御部２１は、ステップＳ５０１及びステップＳ５０２でそれぞれ重み付けされた第１識別結果及び第２識別結果に含まれる確率を比較することで、路面状態が該当するクラスを判定する。例えば、制御部２１は、第１識別結果及び第２識別結果において確率が全体で最も高いクラスを、路面状態が該当するクラスとして判定する。仮に第１識別結果に含まれる「乾燥」、「半湿」、及び「潤湿」の確率がそれぞれ１０％、８０％、及び１０％であり、第２識別結果に含まれる「乾燥」、「半湿」、及び「潤湿」の確率がそれぞれ５０％、３０％、及び２０％であったとする。その場合、第１識別結果に含まれる「半湿」の確率が全体で最も高いため、制御部２１は、路面状態が半湿状態であると判定する。あるいは、制御部２１は、第１識別結果及び第２識別結果において確率の平均が最も高いクラスを、路面状態が該当するクラスとして判定してもよい。仮に第１識別結果に含まれる「乾燥」、「半湿」、及び「潤湿」の確率がそれぞれ３０％、４０％、及び３０％であり、第２識別結果に含まれる「乾燥」、「半湿」、及び「潤湿」の確率がそれぞれ５０％、３０％、及び２０％であったとする。その場合、「乾燥」の確率の平均が最も高いため、制御部２１は、路面状態が乾燥状態であると判定する。
In step S503 of FIG. 7, the control unit 21 compares the probabilities included in the first identification result and the second identification result weighted in steps S501 and S502, respectively, to determine the class to which the road surface condition corresponds. . For example, the control unit 21 determines the class with the highest overall probability in the first identification result and the second identification result as the class to which the road surface condition corresponds. If the probabilities of "dry", "semi-damp", and "wet" included in the first identification result are 10%, 80%, and 10%, respectively, and "dry", " Assume that the probabilities of "semi-damp" and "wet" are 50%, 30%, and 20%, respectively. In this case, since the probability of "semi-humid" included in the first identification result is the highest overall, the control unit 21 determines that the road surface condition is semi-humid. Alternatively, the control unit 21 may determine the class with the highest average probability in the first identification result and the second identification result as the class to which the road surface condition corresponds. If the probabilities of “dry”, “semi-damp”, and “wet” included in the first identification result are 30%, 40%, and 30%, respectively, and “dry”, “ Assume that the probabilities of "semi-damp" and "wet" are 50%, 30%, and 20%, respectively. In this case, since the average probability of "dry" is the highest, the control unit 21 determines that the road surface condition is dry.
上述のように、本実施形態では、路面状態判定装置２０の制御部２１は、車両５０が道路１１を走行しているときに発生する音を車両５０に取り付けられた音センサ４０により測定して得られた時系列データ６１を解析して、周波数成分ごとの信号強度の経時変化を示す解析データ６３を生成する。制御部２１は、生成した解析データ６３を、道路１１の路面状態を識別するための第１識別モデル７１に入力することで、路面状態の識別結果を第１識別モデル７１から取得する。制御部２１は、取得した識別結果を参照して、路面状態を判定する。したがって、本実施形態によれば、音による路面状態判定の精度が向上する。
As described above, in the present embodiment, the control unit 21 of the road surface condition determination device 20 measures the sound generated when the vehicle 50 is traveling on the road 11 using the sound sensor 40 attached to the vehicle 50. The obtained time-series data 61 is analyzed to generate analysis data 63 indicating temporal changes in signal intensity for each frequency component. The control unit 21 inputs the generated analysis data 63 to the first identification model 71 for identifying the road surface state of the road 11 , thereby acquiring the identification result of the road surface state from the first identification model 71 . The control unit 21 refers to the acquired identification result to determine the road surface condition. Therefore, according to the present embodiment, the accuracy of road surface condition determination based on sound is improved.
本実施形態では、路面状態判定装置２０の制御部２１は、第１識別モデル７１から取得した識別結果である第１識別結果とは別に、道路１１を車両５０に取り付けられた画像センサ３０により撮像して得られた画像データ６２に基づいて、路面状態の識別結果である第２識別結果を取得する。制御部２１は、取得した第１識別結果及び第２識別結果を参照して、路面状態を判定する。したがって、本実施形態によれば、路面状態判定の精度が更に向上する。
In this embodiment, the control unit 21 of the road surface state determination device 20 captures the road 11 with the image sensor 30 attached to the vehicle 50 separately from the first identification result obtained from the first identification model 71. Based on the image data 62 thus obtained, the second identification result, which is the identification result of the road surface condition, is acquired. The control unit 21 refers to the obtained first identification result and second identification result to determine the road surface condition. Therefore, according to the present embodiment, the accuracy of road surface condition determination is further improved.
本実施形態では、第１識別結果及び第２識別結果は、それぞれ路面状態が複数のクラスのそれぞれに該当する確率を含む。路面状態判定装置２０の制御部２１は、第１識別結果及び第２識別結果に含まれる確率を比較することで、路面状態が該当するクラスを判定する。したがって、本実施形態によれば、音による識別の結果と、画像による識別の結果とのうち、より信頼できそうな結果を採用することができる。
In the present embodiment, the first identification result and the second identification result each include the probability that the road surface condition corresponds to each of a plurality of classes. The control unit 21 of the road surface condition determination device 20 determines the class to which the road surface condition corresponds by comparing the probabilities included in the first identification result and the second identification result. Therefore, according to the present embodiment, it is possible to adopt the more reliable result out of the sound identification result and the image identification result.
本実施形態では、路面状態判定装置２０の制御部２１は、音が測定された時間帯に応じて、第１識別結果及び第２識別結果のそれぞれに重み付けを行う。したがって、本実施形態によれば、音による識別の結果と、画像による識別の結果とのうち、より時間帯に適した結果を採用することができる。
In this embodiment, the control unit 21 of the road surface condition determination device 20 weights the first identification result and the second identification result according to the time period during which the sound was measured. Therefore, according to the present embodiment, it is possible to adopt the result of identification by sound and the result of identification by image, which is more suitable for the time zone.
本実施形態では、路面状態判定装置２０の制御部２１は、音が測定されたときの外気温に応じて、第１識別結果及び第２識別結果のそれぞれに重み付けを行う。したがって、本実施形態によれば、音による識別の結果と、画像による識別の結果とのうち、より外気温に適した結果を採用することができる。
In this embodiment, the control unit 21 of the road surface condition determination device 20 weights the first identification result and the second identification result according to the outside air temperature when the sound was measured. Therefore, according to the present embodiment, it is possible to adopt the result of discrimination by sound and the result of discrimination by image, which is more suitable for the outside temperature.
本実施形態では、路面状態判定装置２０の制御部２１は、ある範囲の周波数のデータを時系列データ６１から抽出する。制御部２１は、抽出したデータを解析して解析データ６３を生成する。したがって、本実施形態によれば、音による路面状態判定の精度が更に向上する。
In this embodiment, the control unit 21 of the road surface condition determination device 20 extracts frequency data within a certain range from the time series data 61 . The control unit 21 analyzes the extracted data and generates analysis data 63 . Therefore, according to the present embodiment, the accuracy of road surface condition determination based on sound is further improved.
本実施形態では、路面状態判定装置２０の制御部２１は、ある範囲の信号強度のデータを時系列データ６１から抽出する。制御部２１は、抽出したデータを解析して解析データ６３を生成する。したがって、本実施形態によれば、音による路面状態判定の精度が更に向上する。
In this embodiment, the control unit 21 of the road surface condition determination device 20 extracts signal intensity data within a certain range from the time series data 61 . The control unit 21 analyzes the extracted data and generates analysis data 63 . Therefore, according to the present embodiment, the accuracy of road surface condition determination based on sound is further improved.
本実施形態では、解析データ６３は、スペクトログラムを含む。したがって、本実施形態によれば、音による路面状態判定の効率が向上する。解析データ６３は、スカログラムを含んでもよく、その場合も同様の効果を奏する。
In this embodiment, the analysis data 63 includes spectrograms. Therefore, according to the present embodiment, the efficiency of road surface condition determination based on sound is improved. The analysis data 63 may also include scalograms, and similar effects are achieved in that case as well.
本実施形態の一変形例として、解析データ６３を画像データ６２と同期させてもよい。そのような変形例において、画像データ６２が、道路１１の第１地点から第２地点までの路面画像を含むとする。図６のステップＳ２０２において、路面状態判定装置２０の制御部２１は、車両５０が第１地点を通過した第１時点から車両５０が第２地点を通過した第２時点までのデータを時系列データ６１から抽出する。この変形例によれば、ある時点の時間方向前後に幅を持ったデータである解析データ６３について、その幅を路面画像に含まれる道路１１の区間の長さと合わせることができる。すなわち、時間軸での同期をとることができる。
As a modified example of this embodiment, the analysis data 63 may be synchronized with the image data 62 . In such a modification, assume that the image data 62 includes road surface images from the first point to the second point on the road 11 . In step S202 of FIG. 6, the control unit 21 of the road surface condition determination device 20 converts the data from the first point in time when the vehicle 50 passes the first point to the second point in time when the vehicle 50 passes the second point into time-series data. Extract from 61. According to this modification, the width of the analysis data 63, which is data having a width in the time direction before and after a certain point in time, can be matched with the length of the section of the road 11 included in the road surface image. That is, synchronization on the time axis can be achieved.
本実施形態の一変形例として、天気予報などの気象情報を反映してもよい。そのような変形例において、路面状態判定装置２０の制御部２１は、音が測定されたときの気象を示す気象データを取得する。制御部２１は、取得した気象データに基づいて、第１識別結果及び第２識別結果のそれぞれに含まれる確率にクラスごとの重み付けを行う。この変形例によれば、路面状態判定の精度が更に向上する。
As a modified example of this embodiment, weather information such as weather forecast may be reflected. In such a modification, the controller 21 of the road surface condition determination device 20 acquires weather data indicating the weather when the sound was measured. Based on the acquired weather data, the control unit 21 weights the probability included in each of the first identification result and the second identification result for each class. According to this modification, the accuracy of road surface condition determination is further improved.
気象情報は、外部環境に起因する情報の一例である。図７のステップＳ５０１で参照される時間帯情報、及び図７のステップＳ５０２で参照される外気温情報も、それぞれ外部環境に起因する情報の一例である。外部環境に起因する情報として、気象情報、時間帯情報、及び外気温情報とは別の情報を反映してもよい。すなわち、路面状態判定装置２０の制御部２１は、気象情報、時間帯情報、及び外気温情報とは別の、外部環境に起因する情報に応じて重み付けを行ってもよい。
Weather information is an example of information caused by the external environment. The time period information referred to in step S501 of FIG. 7 and the outside air temperature information referred to in step S502 of FIG. 7 are also examples of information caused by the external environment. Information other than weather information, time zone information, and outside air temperature information may be reflected as the information resulting from the external environment. That is, the control unit 21 of the road surface condition determination device 20 may perform weighting according to information caused by the external environment, other than the weather information, the time period information, and the outside temperature information.
本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の２つ以上のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の２つ以上のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。
The present disclosure is not limited to the above-described embodiments. For example, two or more blocks shown in the block diagrams may be combined, or a single block may be split. Instead of executing two or more steps described in the flow chart in chronological order as described, each step may be executed in parallel or in a different order, depending on the processing power of the device executing each step or as desired. good. Other modifications are possible without departing from the scope of the present disclosure.
例えば、路面状態判定装置２０は、車載機器であってもよい。すなわち、車両５０は、路面状態判定システム１０を備えていてもよい。この例によれば、音による路面状態判定を車両５０で行うことができる。
For example, the road surface condition determination device 20 may be an in-vehicle device. That is, the vehicle 50 may have the road surface condition determination system 10 . According to this example, the vehicle 50 can determine the road surface condition by sound.
例えば、画像センサ３０は、省略されてもよい。そのような例において、路面状態判定装置２０の制御部２１は、第２識別結果を参照せずに、路面状態を判定する。あるいは、画像センサ３０の代わりに加速度センサ又は赤外線センサを音センサ４０と組み合わせて路面状態を判定してもよい。
For example, the image sensor 30 may be omitted. In such an example, the control unit 21 of the road surface condition determination device 20 determines the road surface condition without referring to the second identification result. Alternatively, instead of the image sensor 30, an acceleration sensor or an infrared sensor may be combined with the sound sensor 40 to determine the road surface condition.
例えば、ステップＳ１からステップＳ５の一連の処理は、１００メートルなど、車両５０が走行する一定距離の区間ごとに実行されてもよい。あるいは、ステップＳ１の処理が区間ごとに実行された後、各区間で得られたデータについて、ステップＳ２からステップＳ５の一連の処理が実行されてもよい。あるいは、ステップＳ１からステップＳ５の一連の処理は、一定時間ごとに実行されてもよい。
For example, a series of processes from step S1 to step S5 may be performed for each section of a certain distance, such as 100 meters, in which the vehicle 50 travels. Alternatively, after the process of step S1 is performed for each section, a series of processes of steps S2 to S5 may be performed on the data obtained in each section. Alternatively, a series of processes from step S1 to step S5 may be performed at regular time intervals.
例えば、図７のステップＳ５０１、ステップＳ５０２、又はこれらの両方の処理が省略されてもよい。
For example, step S501, step S502, or both of the processes in FIG. 7 may be omitted.
本開示は、路面状態判定装置、路面状態判定システム、車両、路面状態判定方法、及びプログラムに関する。
The present disclosure relates to a road surface condition determination device, a road surface condition determination system, a vehicle, a road surface condition determination method, and a program.
１０：路面状態判定システム、 １１：道路、 ２０：路面状態判定装置、 ２１：制御部、 ２２：記憶部、 ２３：通信部、 ２４：入力部、 ２５：出力部、 ３０：画像センサ、 ４０：音センサ、 ５０：車両、 ６１：時系列データ、 ６２：画像データ、 ６３：解析データ、 ６４：第１スペクトログラム、 ６５：第２スペクトログラム、 ６６：第３スペクトログラム、 ７１：第１識別モデル、 ７２：第２識別モデル
10: road surface condition determination system, 11: road, 20: road surface condition determination device, 21: control unit, 22: storage unit, 23: communication unit, 24: input unit, 25: output unit, 30: image sensor, 40: Sound sensor, 50: vehicle, 61: time-series data, 62: image data, 63: analysis data, 64: first spectrogram, 65: second spectrogram, 66: third spectrogram, 71: first identification model, 72: Second discriminative model
Claims (16)
- 車両が道路を走行しているときに発生する音を前記車両に取り付けられた音センサにより測定して得られた時系列データを解析して、周波数成分ごとの信号強度の経時変化を示す解析データを生成し、生成した解析データを、前記道路の路面状態を識別するための識別モデルに入力することで、前記路面状態の識別結果を前記識別モデルから取得し、取得した識別結果を参照して、前記路面状態を判定する制御部を備える路面状態判定装置。 Analysis data showing temporal changes in signal strength for each frequency component obtained by analyzing time-series data obtained by measuring the sound generated by a vehicle running on a road using a sound sensor attached to the vehicle. is generated, and the generated analysis data is input to an identification model for identifying the road surface condition of the road, the identification result of the road surface condition is obtained from the identification model, and the obtained identification result is referred to and a road surface condition determination device comprising a controller for determining the road surface condition.
- 前記制御部は、前記識別モデルから取得した識別結果である第１識別結果とは別に、前記道路を前記車両に取り付けられた画像センサにより撮像して得られた画像データに基づいて、前記路面状態の識別結果である第２識別結果を取得し、取得した第１識別結果及び第２識別結果を参照して、前記路面状態を判定する請求項１に記載の路面状態判定装置。 The control unit detects the road surface condition based on image data obtained by imaging the road with an image sensor attached to the vehicle, in addition to the first identification result, which is the identification result obtained from the identification model. 2. The road surface condition determination device according to claim 1, wherein the road surface condition is determined by referring to the obtained first identification result and second identification result.
- 前記画像データは、前記道路の第１地点から第２地点までの路面画像を含み、
前記制御部は、前記車両が前記第１地点を通過した第１時点から前記車両が前記第２地点を通過した第２時点までのデータを前記時系列データから抽出し、抽出したデータを解析して前記解析データを生成する請求項２に記載の路面状態判定装置。 the image data includes a road surface image from a first point to a second point on the road;
The control unit extracts data from a first point in time when the vehicle passes the first point to a second point in time when the vehicle passes the second point from the time-series data, and analyzes the extracted data. 3. The road surface condition determination device according to claim 2, wherein the analysis data is generated by - 前記第１識別結果及び前記第２識別結果は、それぞれ前記路面状態が複数のクラスのそれぞれに該当する確率を含み、
前記制御部は、前記第１識別結果及び前記第２識別結果に含まれる確率を比較することで、前記路面状態が該当するクラスを判定する請求項２又は請求項３に記載の路面状態判定装置。 The first identification result and the second identification result each include a probability that the road surface condition corresponds to each of a plurality of classes,
4. The road surface condition determination device according to claim 2, wherein the control unit determines a class to which the road surface condition corresponds by comparing probabilities included in the first identification result and the second identification result. . - 前記制御部は、前記音が測定されたときの気象を示す気象データを取得し、取得した気象データに基づいて、前記第１識別結果及び前記第２識別結果のそれぞれに含まれる確率にクラスごとの重み付けを行う請求項４に記載の路面状態判定装置。 The control unit acquires weather data indicating the weather when the sound was measured, and based on the acquired weather data, the probability included in each of the first identification result and the second identification result for each class 5. The road surface condition determination device according to claim 4, wherein the weighting is performed by .
- 前記制御部は、前記音が測定された時間帯に応じて、前記第１識別結果及び前記第２識別結果のそれぞれに重み付けを行う請求項２から請求項５のいずれか１項に記載の路面状態判定装置。 The road surface according to any one of claims 2 to 5, wherein the control unit weights each of the first identification result and the second identification result according to the time period in which the sound was measured. State determination device.
- 前記制御部は、前記音が測定されたときの外気温に応じて、前記第１識別結果及び前記第２識別結果のそれぞれに重み付けを行う請求項２から請求項６のいずれか１項に記載の路面状態判定装置。 7. The control unit according to any one of claims 2 to 6, wherein the control unit weights each of the first identification result and the second identification result according to an outside air temperature when the sound is measured. road surface condition determination device.
- 前記制御部は、外部環境に起因する情報に応じて、前記第１識別結果及び前記第２識別結果に重み付けを行う請求項２から請求項７のいずれか１項に記載の路面状態判定装置。 The road surface condition determination device according to any one of claims 2 to 7, wherein the control unit weights the first identification result and the second identification result according to information caused by the external environment.
- 前記制御部は、ある範囲の周波数のデータを前記時系列データから抽出し、抽出したデータを解析して前記解析データを生成する請求項１から請求項８のいずれか１項に記載の路面状態判定装置。 The road surface condition according to any one of claims 1 to 8, wherein the control unit extracts frequency data within a certain range from the time-series data and analyzes the extracted data to generate the analysis data. judgment device.
- 前記制御部は、ある範囲の信号強度のデータを前記時系列データから抽出し、抽出したデータを解析して前記解析データを生成する請求項１から請求項９のいずれか１項に記載の路面状態判定装置。 The road surface according to any one of claims 1 to 9, wherein the control unit extracts signal strength data within a certain range from the time-series data, analyzes the extracted data, and generates the analysis data. State determination device.
- 前記識別モデルは、機械学習を行った学習済みモデルを含む請求項１から請求項１０のいずれか１項に記載の路面状態判定装置。 The road surface condition determination device according to any one of claims 1 to 10, wherein the discriminative model includes a learned model that has undergone machine learning.
- 前記解析データは、スペクトログラム又はスカログラムを含む請求項１から請求項１１のいずれか１項に記載の路面状態判定装置。 The road surface condition determination device according to any one of claims 1 to 11, wherein the analysis data includes a spectrogram or a scalogram.
- 請求項１から請求項１２のいずれか１項に記載の路面状態判定装置と、
前記音センサと
を備える路面状態判定システム。 A road surface condition determination device according to any one of claims 1 to 12;
A road surface condition determination system comprising the sound sensor. - 請求項１３に記載の路面状態判定システムを備える車両。 A vehicle equipped with the road surface condition determination system according to claim 13.
- 車両が道路を走行しているときに発生する音を前記車両に取り付けられた音センサにより測定し、
測定結果として得られた時系列データをコンピュータにより解析して、周波数成分ごとの信号強度の経時変化を示す解析データを生成し、
前記解析データを、前記コンピュータにより、前記道路の路面状態を識別するための識別モデルに入力することで、前記路面状態の識別結果を前記識別モデルから取得し、
前記識別結果を前記コンピュータにより参照して、前記路面状態を判定する路面状態判定方法。 A sound sensor attached to the vehicle measures the sound generated when the vehicle is traveling on the road,
Analyze the time-series data obtained as the measurement result by a computer to generate analysis data showing changes in signal strength over time for each frequency component,
inputting the analysis data into an identification model for identifying the road surface condition of the road by the computer, thereby acquiring the identification result of the road surface condition from the identification model;
A road surface state determination method, wherein the computer refers to the identification result to determine the road surface state. - 車両が道路を走行しているときに発生する音を前記車両に取り付けられた音センサにより測定して得られた時系列データを解析して、周波数成分ごとの信号強度の経時変化を示す解析データを生成する処理と、
前記解析データを、前記道路の路面状態を識別するための識別モデルに入力することで、前記路面状態の識別結果を前記識別モデルから取得する処理と、
前記識別結果を参照して、前記路面状態を判定する処理と
をコンピュータに実行させるプログラム。 Analysis data showing temporal changes in signal strength for each frequency component obtained by analyzing time-series data obtained by measuring the sound generated by a vehicle running on a road using a sound sensor attached to the vehicle. a process of generating
a process of inputting the analysis data into an identification model for identifying the road surface condition of the road, thereby acquiring the identification result of the road surface condition from the identification model;
A program that causes a computer to refer to the identification result and determine the road surface condition.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021-088683 | 2021-05-26 | ||
| JP2021088683A JP2022181640A (en) | 2021-05-26 | 2021-05-26 | Road surface state determination device, road surface state determination system, vehicle, road surface state determination method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022249515A1 true WO2022249515A1 (en) | 2022-12-01 |
Family
ID=84229696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2021/043992 WO2022249515A1 (en) | 2021-05-26 | 2021-11-30 | Road surface state determination device, road surface state determination system, vehicle, road surface state determination method, and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2022181640A (en) |
| WO (1) | WO2022249515A1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06174543A (en) * | 1992-12-03 | 1994-06-24 | Toyota Motor Corp | Detecting apparatus for road surface condition |
| JPH08261993A (en) * | 1995-03-22 | 1996-10-11 | Sumitomo Electric Ind Ltd | Road surface state detecting device |
| JP2004168286A (en) * | 2002-11-08 | 2004-06-17 | Toyota Central Res & Dev Lab Inc | Road surface state estimator, road surface friction state estimator, road surface state physical quantity arithmetic unit and road surface state annunciator |
| WO2010050300A1 (en) * | 2008-10-30 | 2010-05-06 | 株式会社ブリヂストン | Method of estimating road surface condition |
| WO2011145356A1 (en) * | 2010-05-19 | 2011-11-24 | 株式会社ブリヂストン | Method for estimating condition of road surface |
| US20200158692A1 (en) * | 2017-07-17 | 2020-05-21 | Compagnie Generale Des Etablissements Michelin | Method for detecting road and tire conditions |
-
2021
- 2021-05-26 JP JP2021088683A patent/JP2022181640A/en active Pending
- 2021-11-30 WO PCT/JP2021/043992 patent/WO2022249515A1/en unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06174543A (en) * | 1992-12-03 | 1994-06-24 | Toyota Motor Corp | Detecting apparatus for road surface condition |
| JPH08261993A (en) * | 1995-03-22 | 1996-10-11 | Sumitomo Electric Ind Ltd | Road surface state detecting device |
| JP2004168286A (en) * | 2002-11-08 | 2004-06-17 | Toyota Central Res & Dev Lab Inc | Road surface state estimator, road surface friction state estimator, road surface state physical quantity arithmetic unit and road surface state annunciator |
| WO2010050300A1 (en) * | 2008-10-30 | 2010-05-06 | 株式会社ブリヂストン | Method of estimating road surface condition |
| WO2011145356A1 (en) * | 2010-05-19 | 2011-11-24 | 株式会社ブリヂストン | Method for estimating condition of road surface |
| US20200158692A1 (en) * | 2017-07-17 | 2020-05-21 | Compagnie Generale Des Etablissements Michelin | Method for detecting road and tire conditions |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022181640A (en) | 2022-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11719753B2 (en) | Method and system for predicting energy consumption of a vehicle through application of a statistical model utilizing environmental and road condition information | |
| Jin et al. | Multi-feature fusion and enhancement single shot detector for traffic sign recognition | |
| US20190221121A1 (en) | Similarity Learning and Association Between Observations of Multiple Connected Vehicles | |
| US9664779B2 (en) | Object classification for vehicle radar systems | |
| CN105404886A (en) | Feature model generating method and feature model generating device | |
| CN107590470A (en) | A kind of method for detecting lane lines and device | |
| CN110889421A (en) | Target detection method and device | |
| Fox et al. | Crowdsourcing undersampled vehicular sensor data for pothole detection | |
| Chung et al. | Watershed-based real-time image processing for multi-potholes detection on asphalt road | |
| CN116738211A (en) | Road condition identification method based on multi-source heterogeneous data fusion | |
| CN114639085A (en) | Traffic signal lamp identification method and device, computer equipment and storage medium | |
| Camilleri et al. | Detecting road potholes using computer vision techniques | |
| Guo et al. | A domain‐adaptive method with cycle perceptual consistency adversarial networks for vehicle target detection in foggy weather | |
| WO2022249515A1 (en) | Road surface state determination device, road surface state determination system, vehicle, road surface state determination method, and program | |
| Hegde et al. | Real-world driving features for identifying intelligent driver model parameters | |
| KR20200087296A (en) | 3D viewer system for detecting object based on lidar sensor data | |
| CN113701642A (en) | Method and system for calculating appearance size of vehicle body | |
| CN115546743B (en) | Vehicle road cooperative control method, device, equipment and medium based on adhesion coefficient | |
| WO2022249516A1 (en) | Road surface state determination device, road surface state determination system, vehicle, road surface state determination method, and program | |
| JP2019082916A (en) | Determination device, determination method, and determination program | |
| CN110177222B (en) | Camera exposure parameter adjusting method and device combining idle resources of vehicle machine | |
| US20220261643A1 (en) | Learning apparatus, learning method and storage medium that enable extraction of robust feature for domain in target recognition | |
| Hamzeh et al. | Improving the performance of automotive vision‐based applications under rainy conditions | |
| EP3425607A1 (en) | Mobile body management device, mobile body management method and storage medium | |
| Balon et al. | New Thermal Automotive Dataset for Object Detection. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21943148 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |