JP5097470B2 - Road surface condition determination method and apparatus - Google Patents
Road surface condition determination method and apparatus Download PDFInfo
- Publication number
- JP5097470B2 JP5097470B2 JP2007202130A JP2007202130A JP5097470B2 JP 5097470 B2 JP5097470 B2 JP 5097470B2 JP 2007202130 A JP2007202130 A JP 2007202130A JP 2007202130 A JP2007202130 A JP 2007202130A JP 5097470 B2 JP5097470 B2 JP 5097470B2
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- frequency
- surface condition
- intensity
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
この発明は、自動車、バイクなどの車両が走行する道路の路面状況を判定する路面状況判定方法およびその装置に関する。 The present invention relates to a road surface condition determination method and apparatus for determining the road surface condition of a road on which a vehicle such as an automobile or a motorcycle travels.
従来、自動車、バイクなどの車両が走行する道路の路面状況を検出する路面状況センサの情報は、道路パトロール等の目視による情報に代わり除雪ステーションのオペレーター、ドライバー及び道路管理者へいち早く情報を提供することからも、今後最も期待される道路気象センサのひとつである。しかしながら、前記路面状況センサは、精度の安定性が低い機器が多いことから、除雪出動の判断の情報としては充分に活用されておらず、出動判断はITV画像、道路パトロール等の目視情報に頼っているのが現状である。 Conventionally, information on a road surface sensor that detects the road surface state of a road on which a vehicle such as an automobile or a motorcycle is running provides information promptly to operators, drivers, and road managers of a snow removal station instead of visual information such as road patrol. This is one of the most promising road weather sensors in the future. However, since the road surface condition sensor has many devices with low accuracy stability, the road surface condition sensor is not sufficiently utilized as information for determining the snow removal start, and the start determination depends on visual information such as an ITV image or road patrol. This is the current situation.
冬季道路の路面情報は、雪国の地域往民にとって最も身近な情報であることから、冬季道路情報に対する「きめ細やかな情報の提供(路面状況を含む)」の要望割合が大変高くなってきている。特に、高い精度の道路気象情報の提供は、除雪等の道路管理への利用だけでなく、地域住民にとっても、今後有益な情報であるから、積極的な開発が期待されている状況にある。 Since road surface information on winter roads is the most familiar information for local residents in snowy countries, the percentage of requests for “provision of detailed information (including road surface conditions)” for winter road information has become very high. . In particular, the provision of high-accuracy road weather information is useful not only for road management such as snow removal, but also for local residents in the future, so active development is expected.
従来、路面状況判定方法およびその装置としては、特許文献1に示されているように、自動車、バイクなどの車両が走行する道路の路面状況を検出する路面状況センサとして例えばマイクロフォンなどの音センサが開発され、この音センサで道路を走行する車両のタイヤと路面との接触音を検出し、この検出された接触音はデジタル信号に変換して分析部に入力される。この分析部ではデジタルデータから実際の周波数値と音圧レベル値がスペクトル解析により求められ、あらかじめ分析部に登録されている周波数値と音圧レベル値の設定路面状況値に対する実際の周波数値と音圧レベル値の比較判定が行われ、この比較判定結果が出力部を介して出力されるものである。
Conventionally, as a road surface condition determination method and apparatus therefor, as disclosed in
また、特許文献2では、音センサで録音された音がデジタル録音データに変換されてから高速フーリエ変換器(FFT)でほぼリアルタイムでフーリエ変換されて周波数スペクトルが得られる構成である。この周波数スペクトルの分布により路面状況が湿潤、乾燥、圧雪であるかを判断する。
In
ちなみに、車両走行音は路面とタイヤとの摩擦音が主体であって、「乾燥」では路面,空気,タイヤの摩擦音となり、「湿潤」では路面,水,タイヤの摩擦音で“シャー”という走行音は高い周波数音が主体となり、「圧雪」では雪,タイヤの摩擦音であるので、路面が雪で隠されるために特徴周波数音が変化して低い周波数音が主体となる。このような状況から,車両走行音が音センサでピックアップされ,その周波数分析(周波数フィルタ)処理による特徴抽出により路面状況を判別するものである。 By the way, the vehicle running sound is mainly the frictional sound between the road surface and the tire. When it is “dry”, it becomes the frictional sound of the road surface, air, and tire. High frequency sound is mainly used, and “pressure snow” is snow and tire friction sound. Therefore, since the road surface is concealed by snow, the characteristic frequency sound is changed and the low frequency sound is mainly used. From such a situation, the vehicle running sound is picked up by a sound sensor, and the road surface condition is determined by feature extraction by frequency analysis (frequency filter) processing.
例えば、図30は、車両走行状態をデジタル録音した結果であり、横軸は時間(分)、縦軸は強度(音の振幅)を示すものである。振幅が大きく立ち上がっている部分が車両の通過を示しており、楕円で示した部分は代表的な車種別の車両として大型車と小型車(普通車)の通過を示している。なお、この図30の例のサンプリング周波数は22.05kHzであり、路面状況は乾燥状態であった。 For example, FIG. 30 shows the result of digital recording of the vehicle running state, where the horizontal axis indicates time (minutes) and the vertical axis indicates intensity (sound amplitude). The portion where the amplitude rises greatly indicates the passage of the vehicle, and the portion indicated by an ellipse indicates the passage of a large vehicle and a small vehicle (ordinary vehicle) as a representative vehicle type vehicle. The sampling frequency in the example of FIG. 30 was 22.05 kHz, and the road surface condition was dry.
上記のようなデジタルデータが路面状態別に用意されたことで、車種別の周波数分析が行われる。 Since the digital data as described above is prepared for each road surface condition, the frequency analysis for each vehicle type is performed.
例えば、図31では、小型車(普通車)及び大型車がそれぞれ乾燥路面と湿潤路面を走行した時間帯(図30の各楕円部)の走行音に対してフーリエ変換を施した結果を示すものである。なお、デジタルデータ数は65536個(約3秒)である。また、このグラフの横軸は音の周波数成分、縦軸は各周波数成分の強度を示している。 For example, FIG. 31 shows the result of applying Fourier transform to the traveling sound of the time zone (each elliptical part in FIG. 30) when the small car (ordinary car) and the large car traveled on the dry road surface and the wet road surface, respectively. is there. The number of digital data is 65536 (about 3 seconds). In addition, the horizontal axis of this graph indicates the frequency component of the sound, and the vertical axis indicates the intensity of each frequency component.
上記の結果から、小型車(普通車)と大型車のいずれの場合も、湿潤路面では乾燥路面に比べて、約1kHz以上の高い周波数音の強度が強いことがわかる。これは、日常の感覚において、湿潤路面では「シャー」という擬音で車両走行を表現するように、乾燥路面の走行状態に比べて湿潤路面の方が高い周波数が強くなっていることを表現している。 From the above results, it can be seen that the intensity of high frequency sound of about 1 kHz or more is stronger on the wet road surface than on the dry road surface in both small cars (ordinary cars) and large cars. This means that, on a daily basis, the wet road surface has a higher frequency on the wet road surface than the dry road surface state, as the vehicle travel is represented by the “sher” sound on the wet road surface. Yes.
したがって、湿潤路面では、車種にかかわらず、高い周波数成分の音の強度が強いことが分かる。そこで、周波数フィルタにより、高い周波数成分の音を抽出すれば、それぞれの車種における乾燥状態と湿潤状態を見分けることができる。
ところで、従来の路面状況判定方法およびその装置においては、単純なスペクトル解析では車種による違いと路面状態による違いが判別できないことが問題点として内在している。 By the way, in the conventional road surface condition determination method and its apparatus, it is inherent as a problem that a difference due to a vehicle type and a difference due to a road surface state cannot be determined by simple spectrum analysis.
例えば、図31のように小型車と大型車における乾燥状態と湿潤状態の結果を同じグラフ上に表現したものでは、大型車の方が小型車より音の強度が強くなっており、たとえ周波数フィルタにより高い周波数の音を抽出しても、車種による違いから、乾燥と湿潤を見分けることができなくなる。すなわち、大型車のように車両走行音自体が大きい場合、乾燥状態においても小型車の湿潤状態の走行音の強度を上回り、単純な周波数成分の強度を比較する場合では判別がむずかしくなる。 For example, in the case where the results of the dry state and the wet state in the small car and the large car are expressed on the same graph as shown in FIG. 31, the sound intensity of the large car is stronger than that of the small car, even if the frequency filter is higher. Even if the sound of the frequency is extracted, it becomes impossible to distinguish between dry and wet due to the difference in the vehicle type. That is, when the vehicle running sound itself is large as in a large vehicle, the strength of the running noise in the wet state of the small vehicle is exceeded even in the dry state, and the discrimination becomes difficult when comparing the intensity of simple frequency components.
上記発明が解決しようとする課題を達成するために、この発明の路面状況判定方法は、音センサで道路を走行する車両のタイヤと路面との接触音を検出し、この検出された接触音がデジタル信号に変換されたデジタルデータを周波数毎の音の周波数強度にフーリエ変換し、予め設定した時間内に通過した各車両の音の各周波数成分の強度を全体合計した強度に変換して全帯域周波数強度を算出し、この全帯域周波数強度から車両抽出用しきい値をもとにして各車両部分を抽出し、この抽出された各車両走行音の周波数特性に対してハイパスフィルタ周波数で規格化処理して全車両の規格化周波数強度を算出し、この規格化処理による全車両の規格化周波数強度に基づいて路面状態が湿潤と乾燥との間に第1しきい値を設定し、路面状態が乾燥と圧雪との間に第2しきい値を設定し、前記規格化周波数強度が第1しきい値以上のときは路面状態を湿潤と判断し、第1しきい値と第2しきい値との間にあるときは路面状態を乾燥と判断し、第2しきい値より小さいときは路面状態を圧雪と判断するものである。 In order to achieve the problem to be solved by the above invention, a road surface condition determination method according to the present invention detects a contact sound between a tire of a vehicle traveling on a road and a road surface with a sound sensor, and the detected contact sound is detected. The digital data converted to digital signal is Fourier transformed to the frequency intensity of the sound for each frequency, and the intensity of each frequency component of each vehicle sound that has passed within a preset time is converted to the total sum of all the bands Calculate the frequency intensity, extract each vehicle part from this full-band frequency intensity based on the threshold for vehicle extraction, and normalize the frequency characteristics of each extracted vehicle running sound with the high-pass filter frequency Processing to calculate the standardized frequency intensity of all vehicles, and based on the standardized frequency intensity of all vehicles by this standardization process, a first threshold is set between the wet and dry road surface conditions, and the road surface conditions Dry A second threshold value is set between the pressure snow and the road surface condition is determined to be wet when the normalized frequency intensity is greater than or equal to the first threshold value, and a difference between the first threshold value and the second threshold value is determined. When it is in between, the road surface state is determined to be dry, and when it is smaller than the second threshold value, the road surface state is determined to be compressed snow.
また、この発明の路面状況判定方法は、前記路面状況判定方法において、前記第1しきい値と第2しきい値は、規格化処理による全車両の規格化周波数強度を平均化して路面状況別平均規格化周波数強度を算出し、この路面状況別平均規格化周波数強度に基づいて設定することが好ましい。 The road surface condition determining method according to the present invention is the road surface condition determining method, wherein the first threshold value and the second threshold value are obtained by averaging standardized frequency intensities of all vehicles by the standardization process, and by road surface condition. It is preferable to calculate the average normalized frequency intensity and set based on the average normalized frequency intensity for each road surface condition.
また、この発明の路面状況判定方法は、前記路面状況判定方法において、前記規格化周波数強度が第1しきい値以下であるときは、再び、路面状態が乾燥と圧雪の路面状況別規格化周波数強度に基づいて、新たなハイパスフィルタ周波数で規格化処理して全車両の規格化周波数強度を算出し、この規格化処理による全車両の規格化周波数強度に基づいて路面状態が乾燥と圧雪との間に第3しきい値を設定し、前記規格化周波数強度が第3しきい値以上のときは路面状態を乾燥と判断し、第3しきい値より小さいときは路面状態を圧雪と判断することが好ましい。 Further, in the road surface condition determining method according to the present invention, in the road surface condition determining method, when the normalized frequency intensity is equal to or lower than a first threshold value, the road surface condition is again a normalized frequency according to road surface conditions of dry and compressed snow. Based on the strength, the standardized frequency strength of all vehicles is calculated by standardizing with a new high-pass filter frequency, and the road surface condition is determined to be dry and compressed snow based on the standardized frequency strength of all vehicles by this standardization processing. A third threshold value is set in between, and when the normalized frequency intensity is equal to or greater than the third threshold value, the road surface condition is determined to be dry, and when it is smaller than the third threshold value, the road surface condition is determined to be compressed snow. It is preferable.
また、この発明の路面状況判定方法は、前記路面状況判定方法において、前記第1しきい値と第2しきい値、あるいは第3しきい値は、該当する規格化処理による全車両の規格化周波数強度を平均化して路面状況別平均規格化周波数強度を算出し、この路面状況別平均規格化周波数強度に基づいて設定することが好ましい。 Further, the road surface condition determining method of the present invention is the road surface condition determining method, wherein the first threshold value and the second threshold value or the third threshold value are standardized for all vehicles by corresponding normalization processing. It is preferable to average the frequency intensity to calculate the average normalized frequency intensity for each road surface condition, and to set based on the average normalized frequency intensity for each road surface condition.
また、この発明の路面状況判定方法は、前記路面状況判定方法において、前記音センサに加えて、降雪検知器により降雪か否かを検知すると共に、たとえ前記規格化周波数強度が第3しきい値以上であっても、降雪検知器が降雪を検知しているときは路面状態を圧雪と判断することが好ましい。 Further, the road surface condition determining method according to the present invention is the road surface condition determining method, wherein in addition to the sound sensor, a snow detector detects whether or not it is snowing, and the normalized frequency intensity is a third threshold value. Even if it is the above, when the snowfall detector is detecting snowfall, it is preferable to determine a road surface state as snow pressure.
この発明の路面状況判定装置は、道路を走行する車両のタイヤと路面との接触音を検出する音センサと、
この音センサにより検出された接触音がデジタル信号に変換されたデジタルデータを周波数毎の音の周波数強度にフーリエ変換するフーリエ変換処理部と、
予め設定した時間に通過した各車両の音の各周波数成分の強度を全体合計した強度に変換して全帯域周波数強度を算出する全帯域周波数強度算出部と、
この全帯域周波数強度算出部で算出した全帯域周波数強度から車両抽出用しきい値をもとにして各車両部分を抽出する車両抽出部と、
この車両抽出部で抽出された各車両走行音の周波数特性に対してハイパスフィルタ周波数で規格化することで、全車両の規格化周波数強度を算出する規格化処理部と、
この規格化処理部による全車両の規格化周波数強度に基づいて路面状態が湿潤と乾燥との間に第1しきい値を設定し、路面状態が乾燥と圧雪との間に第2しきい値を設定し、前記規格化周波数強度が第1しきい値以上のときは路面状態を湿潤と判断し、第1しきい値と第2しきい値との間にあるときは路面状態を乾燥と判断し、第2しきい値より小さいときは路面状態を圧雪と判断する路面判別部と、
を備えていることを特徴とするものである。
A road surface condition determination device according to the present invention includes a sound sensor that detects a contact sound between a tire of a vehicle traveling on a road and a road surface,
A Fourier transform processing unit for Fourier transforming digital data obtained by converting the contact sound detected by the sound sensor into a digital signal to the frequency intensity of the sound for each frequency;
A full-band frequency intensity calculating unit that calculates the full-band frequency intensity by converting the intensity of each frequency component of the sound of each vehicle that has passed in a preset time into an overall total intensity;
A vehicle extractor for extracting each vehicle part from the full-band frequency intensity calculated by the full-band frequency intensity calculator based on the vehicle extraction threshold;
A normalization processing unit that calculates the normalized frequency intensity of all vehicles by normalizing with a high-pass filter frequency with respect to the frequency characteristics of each vehicle running sound extracted by the vehicle extraction unit,
Based on the normalized frequency intensity of all vehicles by the standardization processing unit, a first threshold value is set between the wet and dry road surface conditions, and a second threshold value is set between the dry and compressed snow. When the normalized frequency intensity is greater than or equal to the first threshold value, the road surface condition is determined to be wet, and when it is between the first threshold value and the second threshold value, the road surface condition is determined to be dry. A road surface discriminating unit that determines that the road surface state is compressed snow when it is smaller than the second threshold value;
It is characterized by having.
また、この発明の路面状況判定装置は、前記路面状況判定装置において、前記路面判別部は、前記規格化周波数強度が第1しきい値以下であるときに、再び、路面状態が乾燥と圧雪の路面状況別規格化周波数強度に基づいて、新たなハイパスフィルタ周波数で規格化処理して全車両の規格化周波数強度を算出し、この規格化処理による全車両の規格化周波数強度に基づいて路面状態が乾燥と圧雪との間に第3しきい値を設定し、前記規格化周波数強度が第3しきい値以上のときは路面状態を乾燥と判断し、第3しきい値より小さいときは路面状態を圧雪と判断する構成であることが好ましい。 In the road surface condition determining apparatus according to the present invention, in the road surface condition determining apparatus, when the normalized frequency intensity is equal to or lower than a first threshold value, the road surface state is again determined to be dry or compressed snow. Based on the standardized frequency strength for each road surface, normalization processing is performed with a new high-pass filter frequency to calculate the standardized frequency strength for all vehicles, and the road surface condition is based on the standardized frequency strength for all vehicles by this standardization processing. Sets a third threshold value between dry and compressed snow, and determines that the road surface condition is dry when the normalized frequency intensity is greater than or equal to the third threshold value, and road surface when smaller than the third threshold value. It is preferable that the state is determined to be snow pressure.
また、この発明の路面状況判定装置は、前記路面状況判定装置において、前記音センサに加えて、降雪を検出する降雪検知器を設けると共に、前記路面判別部は、たとえ前記規格化周波数強度が第3しきい値以上であっても、降雪検知器が降雪を検知しているときは路面状態を圧雪と判断する構成であることが好ましい。 The road surface condition determining apparatus according to the present invention further includes a snowfall detector that detects snowfall in addition to the sound sensor in the road surface condition determining apparatus, and the road surface determining unit has the normalized frequency intensity of the first. Even when the threshold value is 3 or more, it is preferable that the road surface condition is determined to be compressed snow when the snowfall detector detects snowfall.
この発明の路面状況判定装置は、前記路面状況判定装置において、音センサが道路の近傍に立設された支持部材の一定の高さ位置に前記道路上を走行する車両へ向けて取り付けられていることが好ましい。 In the road surface condition judging device according to the present invention, in the road surface condition judging device, a sound sensor is attached to a vehicle traveling on the road at a certain height position of a support member standing near the road. It is preferable.
この発明の路面状況判定装置は、前記路面状況判定装置において、音センサが道路上を走行する車両の一部に取り付けられていることが好ましい。 In the road surface condition determining apparatus according to the present invention, in the road surface condition determining apparatus, it is preferable that the sound sensor is attached to a part of the vehicle traveling on the road.
この発明の路面状況判定装置は、前記路面状況判定装置において、音センサが車両の車内におけるタイヤハウス自体又はその近辺に取り付けられていることが好ましい。 In the road surface condition determining apparatus according to the present invention, in the road surface condition determining apparatus, the sound sensor is preferably attached to the tire house itself or in the vicinity thereof in the vehicle.
この発明の路面状況判定装置は、前記路面状況判定装置において、音センサが周囲を樹脂で封印したエレクトリックコンデンサマイクロフォン素子であることが好ましい。 In the road surface condition determining apparatus according to the present invention, the sound sensor is preferably an electric condenser microphone element whose periphery is sealed with resin.
以上のごとき課題を解決するための手段から理解されるように、この発明の路面状況判定方法によれば、予め設定した時間内に通過した各車両の音をフーリエ変換して各車両の音の各周波数成分の強度を全体合計した強度に変換して全帯域周波数強度を算出し、前記各車両走行音の周波数特性に対してハイパスフィルタ周波数で規格化処理を行うことで、車種による違いに関わりなく同じ判断レベルにすることができると共に、路面状態が湿潤と乾燥と圧雪との間の第1,第2しきい値を設定することができ、湿潤と乾燥と圧雪の路面状態を正確に判断することができる。 As can be understood from the means for solving the problems as described above, according to the road surface condition determination method of the present invention, the sound of each vehicle that has passed within a preset time is Fourier-transformed to obtain the sound of each vehicle. By converting the intensity of each frequency component to the total intensity, calculating the full-band frequency intensity, and standardizing the frequency characteristics of each vehicle running sound with the high-pass filter frequency, The same judgment level can be used, and the road surface condition can set the first and second threshold values between wet, dry and compressed snow, and the road condition of wet, dry and compressed snow can be judged accurately. can do.
また、この発明の路面状況判定装置によれば、全帯域周波数強度算出部では、予め設定した時間内に通過した各車両の音をフーリエ変換した各車両の音の各周波数成分の強度を全体合計した強度に変換して全帯域周波数強度を算出し、さらに、規格化処理部によって前記各車両走行音の周波数特性に対してハイパスフィルタ周波数で規格化処理を行うことで、車種による違いに関わりなく同じ判断レベルにすることができると共に、路面判別部では路面状態が湿潤と乾燥と圧雪との間の第1,第2しきい値を設定することができ、湿潤と乾燥と圧雪の路面状態を正確に判断することができる。 Further, according to the road surface condition determination device of the present invention, the full-band frequency intensity calculation unit sums the intensity of each frequency component of the sound of each vehicle obtained by Fourier transforming the sound of each vehicle that has passed within a preset time. The frequency intensity of the entire band is calculated by converting the intensity to the specified intensity, and the normalization processing is performed with the high-pass filter frequency on the frequency characteristics of each vehicle running sound by the normalization processing unit, regardless of the difference depending on the vehicle type. In addition to being able to set the same judgment level, the road surface determination unit can set the first and second threshold values between wet, dry and compressed snow as the road surface condition. It can be judged accurately.
以下、この発明の実施の形態について図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1を参照するに、例えばアスファルトやコンクリートからなる道路Rには車両としての例えば一般乗用車あるいは大型車種などの自動車Cが図1において例えば紙面に対して直交した方向の手前側へ走行されている。そして、道路Rの近傍、例えば図1において左側には支持部材としての例えばポール1が立設されている。このポール1のある一定の高さ、例えば4mの高さ位置にはブラケット3が取り付けられており、このブラケット3の先端部には路面状況判定装置5における入力部としての音センサである音響電気変換器例えばマイクロフォン7が走行する前記自動車Cへ向けて右下斜め方向へ傾斜して設けられている。しかも、前記ポール1に設けられたマイクロフォン7の近傍には路面状況判定装置5における路面状況判定装置本体9が設けられている。
Referring to FIG. 1, for example, an automobile C such as a general passenger car or a large vehicle as a vehicle is traveling to the front side in a direction orthogonal to the paper surface in FIG. 1 on a road R made of, for example, asphalt or concrete. . For example, a
また、前記ポール1にはブラケット11が取り付けられていて、このブラケット11の先端部には降雪検知器13が設けられている。
A
図2を参照するに、前記路面状況判定装置5の構成ブロック図が示されている。路面状況判定装置5には、中央処理装置としてのCPU15が備えられており、このCPU15には、道路を走行する車両のタイヤと路面との接触音を検出する入力部としての音センサである例えばマイクロフォン7と、このマイクロフォン7から入力された接触音がデジタル信号に変換されたデジタルデータ(生データ)を記憶するメモリ17が備えられている。
Referring to FIG. 2, a configuration block diagram of the road surface
さらに、前記CPU15には、デジタルデータを周波数毎の音の周波数強度にフーリエ変換するフーリエ変換処理部19(FFT処理部)と、予め設定した時間に通過した各車両の音の各周波数成分の強度を全体合計した強度に変換して全帯域周波数強度を算出する全帯域周波数強度算出部21と、この全帯域周波数強度算出部21で算出した全帯域周波数強度から車両抽出用しきい値23(図7参照)をもとにして各車両部分を抽出する車両抽出部25が備えられている。なお、車両抽出用しきい値23について詳しくは後述する。
Further, the
さらに、前記CPU15には、前記車両抽出部25で抽出された各車両走行音の周波数特性に対してハイパスフィルタ周波数より高い各周波数成分の大きさを全体の音の大きさで規格化することで、全車両の規格化周波数強度を算出して規格化処理を施す規格化処理部27と、この規格化処理部27による全車両の規格化周波数強度に基づいて路面状態が湿潤と乾燥との間に第1しきい値29(図12参照)を設定し、路面状態が乾燥と圧雪との間に第2しきい値31(図12参照)を設定し、前記規格化周波数強度が第1しきい値29以上のときは路面状態を湿潤と判断し、第1しきい値29と第2しきい値31との間にあるときは路面状態を乾燥と判断し、第2しきい値31より小さいときは路面状態を圧雪と判断する路面判別部33が備えられている。
Further, the
なお、路面判別部33では、前記規格化処理部27による全車両の規格化周波数強度を平均化して路面状況別平均規格化周波数強度を算出すると共にこの路面状況別平均規格化周波数強度に基づいて前記第1しきい値と第2しきい値を設定することができる。
The road
さらに、前記CPU15には、降雪検知器13と、前記路面判別部33で判断された結果を表示する出力部としての例えばCRTや液晶パネルなどの表示装置35が接続されている。
Further, the
次に、この発明の第1の実施の形態の路面状況判定方法について、上記の路面状況判定装置5を用いて説明する。
Next, a road surface condition determination method according to the first embodiment of the present invention will be described using the road surface
図3を参照するに、路面状況判定方法の概略のフローとしては、ステップS1では、予め設定した時間としての例えば10分間にマイクロフォン7でデジタル録音された車両走行音がFFT処理(高速フーリエ変換:Fast Fourier Transform)によりフーリエ変換されて周波数毎の強度が算出される。
Referring to FIG. 3, as a schematic flow of the road surface condition determination method, in step S <b> 1, vehicle running sound digitally recorded by the
ステップS2では、ステップS1の各車両の音の時系列の全帯域周波数強度が算出される。 In step S2, the time-series full-band frequency intensity of the sound of each vehicle in step S1 is calculated.
ステップS3では、ステップS2の全帯域周波数強度から車両抽出用しきい値23をもとにして各車両部分が抽出される。 In step S3, each vehicle portion is extracted from the full-band frequency intensity in step S2 based on the vehicle extraction threshold value 23.
ステップS4では、ステップS3で抽出された車両部分がある場合はステップ5に進み、抽出車両部分がない場合は表示装置35へ出力される。
In step S4, if there is a vehicle part extracted in step S3, the process proceeds to step 5, and if there is no extracted vehicle part, it is output to the
ステップS5では、ステップS3で抽出された各車両走行音の周波数特性に対してハイパスフィルタ処理(HPF)が施されて規格化処理される。 In step S5, the high-pass filter process (HPF) is performed on the frequency characteristics of each vehicle running sound extracted in step S3, and the normalization process is performed.
ステップS6では、ステップS5で規格化された規格化周波数強度に基づいて路面状態が湿潤、乾燥、圧雪のいずれであるかを判別して表示装置35へ出力される。
In step S6, based on the normalized frequency intensity standardized in step S5, it is determined whether the road surface state is wet, dry, or compressed snow and output to the
上記の各ステップS1〜S6について詳しく説明する。 The above steps S1 to S6 will be described in detail.
図4を参照するに、ステップS1では、マイクロフォン7で道路を走行する車両のタイヤと路面との接触音を検出し、この検出された接触音がデジタル信号に変換されたデジタルデータ、例えば10分間にデジタル録音された車両走行音がフーリエ変換処理部19でFFT処理(高速フーリエ変換:Fast Fourier Transform)によりフーリエ変換されて周波数毎の強度が算出される。
Referring to FIG. 4, in step S1, the
なお、デジタル録音時のサンプリング周波数は、例えば、22.05kHzとした場合、デジタルデータ65536個で約3秒間〔(1/22050)*65536〕毎のデータを用いてFFT処理することになる。そのため、10分間では、約200回分のFFT処理の結果を得ることになる。 When the sampling frequency at the time of digital recording is, for example, 22.05 kHz, FFT processing is performed using 65536 pieces of digital data and data every [(1/22050) * 65536] for about 3 seconds. Therefore, in 10 minutes, about 200 FFT processing results are obtained.
ここで、上記のFFT処理から規格化処理までの一連の処理方法について詳しく説明する。 Here, a series of processing methods from the FFT processing to the normalization processing will be described in detail.
図4(A)は、車両走行状態をデジタル録音した結果であり、横軸は時間(分)、縦軸は強度(音の振幅)を示すものである。振幅が大きく立ち上がっている部分が車両の通過を示しており、楕円で示した部分は代表的な車種別の車両として大型車と小型車(普通車)の通過を示している。なお、この図4(A)の例のサンプリング周波数は22.05kHzであり、路面状況は乾燥状態であった。 FIG. 4A shows the result of digital recording of the vehicle running state, where the horizontal axis indicates time (minutes) and the vertical axis indicates intensity (sound amplitude). The portion where the amplitude rises greatly indicates the passage of the vehicle, and the portion indicated by an ellipse indicates the passage of a large vehicle and a small vehicle (ordinary vehicle) as a representative vehicle type vehicle. In addition, the sampling frequency of the example of this FIG. 4 (A) was 22.05 kHz, and the road surface condition was a dry state.
上記のようなデジタルデータが路面状態別に用意されたことで、車種別の周波数分析が行われることになる。例えば、従来の図31で説明したように、小型車(普通車)及び大型車がそれぞれ乾燥路面と湿潤路面を走行した時間帯〔図4(A)の各楕円部〕の走行音に対してフーリエ変換を施した結果からすると、小型車(普通車)と大型車とを区別すれば、周波数フィルタにより、高い周波数成分の音を抽出し、それぞれの車種における乾燥状態と湿潤状態を見分けることができるが、実際には、予め設定した時間内に通過する車種は様々であるので、乾燥と湿潤を判別することができなくなる。 Since the digital data as described above is prepared for each road surface condition, the frequency analysis for each vehicle type is performed. For example, as described with reference to FIG. 31 in the related art, Fourier is applied to the traveling sound in the time zone [each elliptical portion in FIG. 4A] when a small car (ordinary car) and a large car travel on a dry road surface and a wet road surface, respectively. From the result of the conversion, if a small car (ordinary car) and a large car are distinguished from each other, a high frequency component sound can be extracted by a frequency filter, and a dry state and a wet state in each vehicle type can be distinguished. Actually, since there are various types of vehicles that pass within a preset time, it becomes impossible to distinguish between dry and wet.
そこで、各周波数成分の強度fω(x)を全体の強度に対する割合として表現する。すなわち、全体周波数成分の強度の合計Ftotalに対して、個々の周波数成分fω(x)がどの程度の割合Fω(x)を示すのかといった数値に変換する。この変換は数式(1)のようになる。
ただし、Fω(x)はx周波数の強度で、ωminは最小周波数で、ωmaxは最高周波数である。 Where Fω (x) is the intensity of the x frequency, ωmin is the minimum frequency, and ωmax is the maximum frequency.
この数式(1)において、Fω(x)が全体周波数の強度に対するx周波数の強度の割合を示している。 In Formula (1), Fω (x) indicates the ratio of the intensity of the x frequency to the intensity of the entire frequency.
そこで、車種別の各周波数成分に対して数式(1)の変換を施し、グラフに表現すると、図5のようになる。なお、グラフの縦軸は対数目盛で表現している。このように変換することで、車種にかかわらず、最大で1.0の数値の範囲内で強度が表現され、同じ尺度に変換される。 Therefore, when the frequency component of each vehicle type is converted to Formula (1) and expressed in a graph, it is as shown in FIG. The vertical axis of the graph is expressed on a logarithmic scale. By converting in this way, the intensity is expressed within a numerical range of 1.0 at the maximum regardless of the vehicle type, and converted to the same scale.
図5の結果から、車種にかかわらず、約2kHzよりも高い周波数において、変換強度が大きくなっていることが分かる。つまり、湿潤路面の車両走行音は、車種にかかわらず、全体に対する高い周波数の割合が強いことが表現されたことになる。すなわち、各周波数成分の大きさを全体の音の大きさで規格化することで、車両の走行音の大小の影響を取り除くことができた。 From the result of FIG. 5, it can be seen that the conversion intensity is increased at a frequency higher than about 2 kHz regardless of the vehicle type. That is, it is expressed that the vehicle running sound on the wet road surface has a high ratio of the high frequency to the whole regardless of the vehicle type. In other words, by normalizing the magnitude of each frequency component with the overall loudness, it was possible to remove the influence of the magnitude of the running sound of the vehicle.
このように表現された結果から、例えば、6kHzの強度が0.002よりも大きい場合は湿潤と判断するようなことができる。しかし、このように特定の周波数成分に注目しても判別は可能であるものの、図5の結果では、2kHz以上の周波数全般で同様の大小関係が継続している。そこで、数式(1)を数式(2)、(3)を基にして数式(4)のように書き換える。
ただし、fω(x)はx周波数の強度で、ωminは最小周波数で、ωmaxは最高周波数で、ωHPFはハイパスフィルタ周波数で、FSTDは規格化周波数強度である。 Where fω (x) is the intensity of the x frequency, ωmin is the minimum frequency, ωmax is the maximum frequency, ωHPF is the high-pass filter frequency, and F STD is the normalized frequency intensity.
この数式(4)のFHPFでは、例えば図6において、大型車の乾燥路面と湿潤路面のx周波数の強度に対してωHPFからωmax までの周波数成分を取り出し積分している。すなわち、ハイパスフィルタで周波数成分を取り出して積分していることになる。この結果を全体の周波数成分の積分値Ftotalで割り算することで、全体の強度に対するハイパスフィルタ後の周波数強度の割合を表現できる。その結果、特徴を持った周波数成分を全て加算できることから、特定の周波数で比較することに比べて、より安定した計測ができる。 In the F HPF of the equation (4), for example, in FIG. 6, the frequency components from ωHPF to ωmax are extracted and integrated with respect to the intensity of the x frequency of the dry road surface and the wet road surface of the large vehicle. That is, the frequency component is extracted and integrated by the high pass filter. By dividing this result by the integral value F total of the entire frequency components, the ratio of the frequency intensity after the high-pass filter to the entire intensity can be expressed. As a result, since all frequency components having characteristics can be added, more stable measurement can be performed as compared with comparison at a specific frequency.
第1の実施の形態では、数式(4)の処理を「規格化処理」と称し、FSTDを「規格化周波数強度」と称することにする。もちろん、数式(1)と同様に、FSTDは最大でも1.0 となり、車種による音の強さの違いに関する影響は取り除かれ、同一次元で扱えるものである。 In the first embodiment, the processing of Equation (4) is referred to as “standardization processing”, and F STD is referred to as “normalized frequency strength”. Of course, as in Equation (1), F STD is 1.0 at the maximum, and the influence on the difference in sound intensity depending on the vehicle type is removed, and it can be handled in the same dimension.
なお、図5の例においてωHPFを2kHzとした場合の規格化周波数強度FSTDを算出した結果は、小型車乾燥では0.219で、小型車湿潤では0.399で、大型車乾燥では0.188で、 大型車湿潤では0.432となる。 In the example of FIG. 5, the result of calculating the normalized frequency intensity F STD when ωHPF is 2 kHz is 0.219 for small car drying, 0.399 for small car drying, and 0.188 for large car drying. It becomes 0.432 when the large vehicle is wet.
この結果から、湿潤と乾燥の判別を行う場合、規格化周波数強度FSTDが0.25以上を湿潤とすれば、通過車両の車種に関係なく路面状態を判別することが可能になる。ただし、道路の雪氷管理向けの路面状況計測では、1台の車両の通過で判断するというよりは、最低でも10分間隔での計測が基本であることから、10分間に走行する車両を検出し、10分間の総合的な判断を行う必要がある。 From this result, when discriminating between wet and dry, it is possible to discriminate the road surface state regardless of the vehicle type of the passing vehicle if the normalized frequency intensity F STD is 0.25 or higher. However, in road surface condition measurement for snow and ice management of roads, it is basic to measure at least every 10 minutes rather than judging by the passage of one vehicle. It is necessary to make a comprehensive judgment for 10 minutes.
ステップS2では、全帯域周波数強度算出部21により、上述した数式(2)に従って、各車両の音の各周波数成分の強度を全体合計した強度に変換した。すなわち、図4(A)のデジタル録音データに対して約200回の処理を行った結果、それぞれの全周波数成分の積分により、図4(B)に示されているように時系列の全帯域周波数強度が算出される。
In step S2, the all-band frequency
ステップS3では、図4(A),(B)の矢印部分が車両の通過を示しており、車両の走行音を対象とする場合、この車両通過部分を抽出する必要がある。そこで、車両分離に関しては、車両抽出部25により、図7に示されているように全周波数帯域強度の大きさの車両抽出用しきい値23をもとに車両部分が抽出できる。その車両抽出結果は図8に示されている通りである。 In step S3, the arrow part of FIG. 4 (A), (B) has shown passing of a vehicle, and when driving noise of a vehicle is made into object, it is necessary to extract this vehicle passing part. Therefore, regarding the vehicle separation, the vehicle extraction unit 25 can extract the vehicle portion based on the vehicle extraction threshold value 23 having the magnitude of the entire frequency band intensity as shown in FIG. The vehicle extraction result is as shown in FIG.
ステップS4では、図8の車両抽出結果は、車両の走行速度や走行音の大きさ等により、存在時間(車両通過時間)が異なるために、1点のデータとして抽出されるものや複数点のデータとして抽出されるものがある。しかし、複数点の連続データの抽出結果は1台の車両通過とみなすことができる。すなわち、これらの抽出点が車両通過時の走行音を示すことになる。したがって、通過車両があるか否かを判断できる。 In step S4, the vehicle extraction result of FIG. 8 is extracted as one point data or a plurality of points because the existence time (vehicle passing time) differs depending on the traveling speed of the vehicle and the loudness of the traveling sound. Some are extracted as data. However, the extraction result of a plurality of points of continuous data can be regarded as passing one vehicle. That is, these extraction points indicate the running sound when passing through the vehicle. Therefore, it can be determined whether there is a passing vehicle.
ステップS5では、ステップS3で抽出された車両抽出結果に基づくと、この通過車両時間部分における車両走行音の周波数特性は図9(A)のようになり、この結果を用いて、規格化処理部27により数式(4)の規格化処理が施される。各車両に対しての規格化処理結果は図9(B)のように0〜1.0 までの規格化された数値として表現できる。なお、周波数表現の関係上、図9(A)の横軸は対数目盛となっている。
In step S5, based on the vehicle extraction result extracted in step S3, the frequency characteristic of the vehicle running sound in the passing vehicle time portion is as shown in FIG. 9A. Using this result, the
なお、上記の規格化処理においては図9(A)のようにωHPFは2kHzとしている。さらに、1台の車両通過に対して、複数点が抽出されているものに関しては、その複数点の中の最大値を示すものを複数点の代表点としているが、複数点の平均値でも良い。 In the above normalization process, ωHPF is set to 2 kHz as shown in FIG. Furthermore, for a case where a plurality of points are extracted with respect to one vehicle passing, a point indicating the maximum value among the plurality of points is used as a representative point of a plurality of points, but an average value of a plurality of points may be used. .
ただし、上記のωHPFの決定方法としては、例えば、図9(A)では1台の車両の通過音に関する周波数特性を示しているが、この周波数特性は個々の車両や路面状態によって異なるものである。そこで、各路面状態で1時間において抽出された全ての車両の走行音の周波数特性を平均した結果が図10に示されている。なお、この規格化強度に関しては、数式(1)の演算を行った上で、平均していることになる。 However, as a method for determining the above-described ωHPF, for example, FIG. 9A shows frequency characteristics regarding the passing sound of one vehicle, but this frequency characteristic varies depending on individual vehicles and road surface conditions. . Therefore, FIG. 10 shows the result of averaging the frequency characteristics of the traveling sounds of all the vehicles extracted in one hour in each road surface state. In addition, about this normalization intensity | strength, after calculating Formula (1), it will average.
まず、乾燥と湿潤に関して注目してみると、乾燥と湿潤の周波数特性はほぼ2kHzで交差していることがわかる。すなわち、湿潤状態では、乾燥状態に対して高い周波数の強度が強くなり、数式(4)の演算を行うに際して、ωHPFを2kHzに選定すれば、違いのある周波数領域のみを加算することになるので、違いが最も明確になることがわかる。すなわち、代表的な路面状態の走行音を収集し、この規格化された周波数特性(平均)の交点を求めることで、最適なωHPFを決定することができる。 First, when attention is paid to drying and wetting, it can be seen that the frequency characteristics of drying and wetting intersect at approximately 2 kHz. In other words, in the wet state, the intensity of the high frequency is stronger than in the dry state, and when performing the calculation of Equation (4), if ωHPF is selected to be 2 kHz, only the frequency range that is different will be added. , You can see that the difference is most obvious. That is, it is possible to determine the optimal ωHPF by collecting traveling sounds of typical road surface conditions and obtaining intersection points of the normalized frequency characteristics (average).
ステップS6では、路面判別部33により湿潤、乾燥、圧雪の路面状態が判断される。以上の図9(B)のようにして得た路面状態別の走行音の特徴抽出結果が図11に示されている。この図11では、ωHPFは2kHzとし、各路面状態で1時間の走行台数抽出結果と、その各車両の規格化周波数強度値がグラフ上に表現されている。この図11の横軸は番号として表現しているが、1時間中に走行音から抽出した車両部分〔図9(B)と同様〕に対して順に番号を与えて並べた結果になっている。
In step S6, the road
この図11において、1点(車両1台)ごとの値については、ばらつきをもっているものの、各路面状態単位で帯状に分布していることがわかる。ここで、この実施の形態の路面状況判定装置5の位置づけから、1台の車両走行音から路面状態を判別する必要は無く、既存テレメータの関連上では10分に1回の判別で十分である。そこで、図11中の値を10分単位で平均した値として表現した結果が図12に示されている。
In FIG. 11, although the values for each point (one vehicle) vary, it can be seen that each road surface state unit is distributed in a band shape. Here, from the positioning of the road surface
この図12から、図11の帯状の分布は10分毎に平均化されることで、その分布の違いが明確となり、乾燥と湿潤の判別に関しては、規格化周波数強度FSTDの第1しきい値29を0.4とすればよいことがわかる。また、乾燥と圧雪に関しては、規格化周波数強度FSTDの第2しきい値31が0.3に設定できることもわかる。
From FIG. 12, the band-like distribution of FIG. 11 is averaged every 10 minutes, so that the difference in the distribution becomes clear, and the first threshold of the normalized frequency intensity F STD is determined for the discrimination between dry and wet. It can be seen that the
したがって、第1の実施の形態の路面判別方法は、図13のフローチャートに示されているように、規格化周波数強度FSTDが第1しきい値29として例えば0.4以上のときは路面状態を湿潤と判断し、第1しきい値29として例えば0.4と第2しきい値31として例えば0.3との間にあるときは路面状態を乾燥と判断し、第2しきい値31として例えば0.3より小さいときは路面状態を圧雪と判断することができる。
Therefore, in the road surface discrimination method of the first embodiment, as shown in the flowchart of FIG. 13, when the normalized frequency strength F STD is, for example, 0.4 or more as the
以上のように、全帯域周波数強度算出部21では、予め設定した時間内に通過した各車両の音をフーリエ変換して各車両の音の各周波数成分の強度を全体合計した強度に変換して全帯域周波数強度を算出し、さらに、規格化処理部27によって前記各車両走行音の周波数特性に対してハイパスフィルタ周波数で規格化処理を行うことで、車種による違いに関わりなく同じ判断レベルにすることができると共に、路面判別部33では路面状態が湿潤と乾燥と圧雪との間の第1,第2しきい値31を設定することができ、湿潤と乾燥と圧雪の路面状態を正確に判断することができる。
As described above, the all-band frequency
次に、第2の実施の形態の路面判別方法について説明すると、図12に示されているように、乾燥と圧雪に関しては、乾燥と湿潤の判別に比べると、その差が小さくなっているので、再度、図10の各路面状況別周波数特性比較のグラフに戻って乾燥と圧雪状態の周波数特性上の交点に注目してみると、乾燥と圧雪の状態では、圧雪の場合に低い周波数の音が主体的になっており、その周波数特性上の交点は1kHzの近傍にある。 Next, the road surface discriminating method of the second embodiment will be described. As shown in FIG. 12, the difference between dry and compressed snow is smaller than the discrimination between dry and wet. Returning to the graph of frequency characteristics comparison for each road surface condition in FIG. 10 again, paying attention to the intersection on the frequency characteristics of the dry and compressed snow state, in the dry and compressed snow state, the low frequency sound in the case of the compressed snow. The intersection on the frequency characteristic is in the vicinity of 1 kHz.
第1の実施の形態では乾燥と湿潤の違いを主としてωHPFを2kHzとして扱ってきたが、上記の点を踏まえると、乾燥と圧雪の状態を判別するためには、ωHPFを1kHzとすることが最適であると言える。 In the first embodiment, the difference between dryness and wetness has been mainly handled as ωHPF being 2 kHz. However, considering the above points, it is optimal to set ωHPF to 1 kHz in order to discriminate between dry and compressed snow. It can be said that.
そこで、図11と同様に、ωHPFを1kHzとした場合の乾燥と圧雪状態での各車両の規格化周波数強度は図14のグラフに表現される。さらに、図14中の値を10分単位で平均した値として表現した結果が図15に示されている。 Therefore, as in FIG. 11, the normalized frequency intensity of each vehicle in the dry and compressed snow state when ωHPF is 1 kHz is expressed in the graph of FIG. Further, FIG. 15 shows the result of expressing the values in FIG. 14 as average values in units of 10 minutes.
この図15と前述した図12を比較すると、図15の方が乾燥と圧雪の違いが大きくなっていることが分かる。すなわち、路面判別をより安定的に行うことができる。結局、規格化処理のためのωHPFについては最適な周波数値が存在し、その周波数値に関しては代表的な路面状態の周波数特性における交点から知ることができるようになる。 Comparing FIG. 15 with FIG. 12 described above, it can be seen that the difference between dry and compressed snow is greater in FIG. That is, road surface discrimination can be performed more stably. Eventually, there is an optimum frequency value for ωHPF for standardization processing, and the frequency value can be known from the intersection in the frequency characteristics of typical road surface conditions.
以上のことから、第2の実施の形態の路面判別方法は、図16のフローチャートに示されているように、規格化周波数強度FSTDが第1しきい値29として例えば0.4以上のときは路面状態を湿潤と判断する。一方、規格化周波数強度FSTDが第1しきい値29として例えば0.4より小さいときは、再び、路面状態が乾燥と圧雪の路面状況別規格化周波数強度に基づいて、新たなハイパスフィルタ周波数ωHPFで規格化処理を施して路面状態が乾燥と圧雪との間に第3しきい値37として例えば0.55を設定し、規格化周波数強度FSTDが第3しきい値37以上のときは路面状態を乾燥と判断し、前記第3しきい値37として例えば0.55より小さいときは路面状態を圧雪と判断することができる。
From the above, the road surface discrimination method according to the second embodiment is performed when the normalized frequency strength F STD is, for example, 0.4 or more as the
以上のように、第3しきい値37を新たに設定することで、乾燥と圧雪との判断誤差を軽減することができる。なお、路面判別部33では、第3しきい値37も、前述した第1しきい値29と第2しきい値31と同様に、規格化処理部27による乾燥と圧雪における全車両の規格化周波数強度を平均化して路面状況別平均規格化周波数強度を算出すると共にこの路面状況別平均規格化周波数強度に基づいて設定することができる。
As described above, by newly setting the third threshold value 37, it is possible to reduce the determination error between drying and snow pressure. In the road
次に、第3の実施の形態の路面判別方法について説明すると、図12から分かるように、規格化周波数強度の値は乾燥状態を中心として湿潤状態が大きく、圧雪状態が小さい値となる。すなわち、乾燥状態はその他の状態と境界を持つことになる。特に、圧雪と乾燥に関しては、両者の間違いは道路管理上で避けなければならない誤差と言えるが、両者の数値に境界を持つ以上は誤差を生じる可能性がある。 Next, a road surface discriminating method according to the third embodiment will be described. As can be seen from FIG. 12, the value of the normalized frequency intensity is large in the wet state and small in the compressed snow state, mainly in the dry state. That is, the dry state has a boundary with other states. In particular, regarding compressed snow and dryness, mistakes between the two can be said to be errors that must be avoided in road management, but errors may occur as long as there is a boundary between the two values.
そこで、降雪検知器13を併設し、路面状況判別時およびその以前の降雪状況を知ることで、明らかに乾燥状態ではないことが予想できるので、たとえ、規格化周波数強度が圧雪の範囲にあったとしても、降雪検知器13の状況によって、その判断を変化させるようにすれば、この誤差を軽減できるものである。
Therefore, it is possible to predict that the
第3の実施の形態の路面判別方法は、図17のフローチャートに示されているように、最終的に降雪検知器13を含めたものである。例えば、前述した第2の実施の形態の路面判別方法の図16のフローチャートにおいて乾燥と圧雪との間に第3しきい値37を設定するまでは同じフローであるが、規格化周波数強度FSTDが第3しきい値37としての例えば0.55以上のときは、降雪検知器13が降雪を検知していない場合に路面状態を乾燥と判断し、降雪検知器13が降雪を検知している場合は、たとえ規格化周波数強度FSTDが第3しきい値37以上であっても、路面状態を圧雪と判断することができる。
The road surface discriminating method of the third embodiment finally includes the
一方、規格化周波数強度FSTDが第3しきい値37としての例えば0.55より小さいときは、路面状態を圧雪と判断する。 On the other hand, when the normalized frequency intensity F STD is smaller than 0.55 as the third threshold value 37, for example, the road surface state is determined to be compressed snow.
なお、上記の場合は、降雪検知器13による降雪の有無のみを路面状態の判断に反映させているが、この判断については、過去の履歴としての例えば、「1時間前から降雪がある」や「湿潤状態を経由している」等の各種状況変化の流れを参照することも含まれる。
In the above case, only the presence / absence of snowfall by the
以上のように、降雪検知器13を併用することで、より一層、圧雪と乾燥の判断誤差を軽減することができる。
As described above, by using the
以上の説明は、音センサとしての例えばマイクロフォン7(定点型音センサ)が道路Rの近傍に立設された支持部材としての例えばポール1の所定の高さ位置に取り付けた例で説明したものであるが、音センサを車両としての例えば自動車の一部に取り付けても、路面状態を判断することも可能であるから、この点について詳細に説明する。
The above description is an example in which a microphone 7 (fixed point type sound sensor) as a sound sensor is attached to a predetermined height position of, for example, the
図18(A)に示されているように、音センサとしてのマイクロフォン39を車両としての例えば自動車Cにおける例えば後輪41の内部におけるタイヤハウス43近辺に取り付ける。より詳細には図18(B)に示した拡大図において、タイヤにより跳ね上げられる水や雪氷がタイヤハウス43に当たる音を前記マイクロフォン39で捉えることで,道路R上を走行する自動車Cの走行音を上述した要領で音データを収集した。
As shown in FIG. 18A, a
図19に示されているように,道路Rに散水した湿潤路面R1を前記マイクロフォン39を搭載した自動車が走行してマイクロフォン39で走行音の録音を行った。その結果を図20に示す。また,この音データを上述した式(1)により規格化強度を算出した結果を図21に示した。なお,上述した音センサのマイクロフォン7(定点型音センサ)では自動車走行時を抽出し,その約3秒間を周波数解析しているが,マイクロフォン39(車載型音センサ)が自動車に搭載されているため,自動車走行時のすべてを計測対象とすることができる。ここでは,自動車走行が安定した状態から,約1.5秒間を抽出し周波数解析を行っている。
As shown in FIG. 19, the automobile equipped with the
この結果,上述したのマイクロフォン7(定点型音センサ)の場合と同様,図21に示されているように、乾燥と湿潤の差が明確に現れていることから,タイヤハウス43に当たる音を計測することで路面状況の判別が可能である。ただし,マイクロフォン39を自動車の車内に配置することにより,人の会話やラジオの音声等の影響を受けることが容易に推測できることから,何らかの対策が必要である。
As a result, as in the case of the microphone 7 (fixed point type sound sensor) described above, the difference between the dryness and the wetness clearly appears as shown in FIG. 21, so that the sound hitting the
本来,自動車の車内で自動車走行音をとらえる場合,窓等の隙間から回折により入り込む音をとらえるタイプ,上記のようにタイヤハウス43等の車体の振動が音として伝搬されたものをとらえるタイプが考えられる。しかし,前者は車両の気密性が高いと不利であり,後者は空間での減衰が問題となるとともに,他の車内音との混在が課題として挙げられる。そこで,空間での減衰を極力軽減し,車内音の影響を受けず安定した計測が期待できる「タイヤハウス43に当たる振動」という観点から次のようなアプローチを行った。
Originally, when capturing the running sound of a car in a car, there is a type that captures the sound that enters through the gaps of windows and the like, and a type that captures the vibration of the vehicle body such as the
車内で音を収集する場合,人の会話やラジオの音声等の影響を受けることは避けらない。そこで,タイヤにより跳ね上げられた水や雪氷がタイヤハウス43に当たる”音“を”振動“として計測すれば,先の問題は解決されるものと考えられる。
When collecting sound in the car, it is unavoidable to be affected by human conversation and radio sound. Therefore, it is considered that the above problem can be solved if the “sound” of water or snow ice splashed by the tire hits the
そこで、図22に示されているように,タイヤハウス43に音センサとしての例えば振動計45を直接取り付けて上述したものと同様の走行実験を行った。その時の収集した音データを周波数解析した規格化強度を図23に示した。この結果から,マイクロフォン39と同様に,振動計45でも乾燥と湿潤の判別は可能であることが確認できた。
Therefore, as shown in FIG. 22, for example, a
次に,使用するマイクロフォンとしてエレクトリックコンデンサマイクロフォン(以下、ECMという)素子47に替え,このECM素子47を図24に示されているように、タイヤハウス43に直接貼り付けることで,タイヤハウス43に当る振動を音(圧力)として,また,振動を最大効率で計測することにした。
Next, an electric condenser microphone (hereinafter referred to as ECM)
収集した音データを周波数解析した規格化強度結果を図25に示した。なお,ECM素子47の周辺からは音が漏れて入らないよう,図24に示したごとく、周囲を樹脂49で封印した。
The normalized intensity results obtained by frequency analysis of the collected sound data are shown in FIG. Note that the periphery of the
このように、タイヤハウス43にECM素子47を貼り付けて計測しても、振動計45と同様な結果を得ることができた。
Thus, even when the
定点型音センサと同様な手法を用いて,路面状況の判別を試みた。 Using the same method as the fixed-point sound sensor, we tried to determine the road surface condition.
ωHPF の決定方法については,例えば図25では短い区間を走行した時の周波数特性を示しているが,この周波数特性は路面状態により違いが明確である。さらに、通常走行を想定して,日付や場所の異なる路面状態を平均した結果を図26に示した。 For example, Fig.25 shows the frequency characteristics when ωHPF is determined. The frequency characteristics are clearly different depending on the road surface condition. Further, FIG. 26 shows the result of averaging road surface conditions with different dates and places assuming normal driving.
まず、図26において、乾燥と湿潤に関して注目してみると,乾燥と湿潤の周波数特性はほぼ700Hzで交差していることがわかる。すなわち,湿潤状態では,乾燥に対して高い周波数の強度が強くなり,ωHPFを700Hzに選定すれば,違いのある周波数領域のみを加算することになるので,違いが最も明確になることがわかる。すなわち,代表的な路面状態の走行音を収集し,この規格化された周波数特性(平均)の交点を求めることで,最適なωHPF を決定することができる。 First, in FIG. 26, when attention is paid to drying and wetting, it can be seen that the frequency characteristics of drying and wetting intersect at approximately 700 Hz. That is, in the wet state, the intensity of the high frequency is strong against drying, and if ωHPF is selected to be 700 Hz, only the frequency range with a difference is added, so that the difference becomes clearest. In other words, the optimum ωHPF can be determined by collecting the running sound of typical road surface conditions and finding the intersection of the normalized frequency characteristics (average).
そこで,走行データに対して,上述した式(3)のωHPF を700Hzとして規格化周波数強度を時系列(約1.5 秒間隔)に並べた結果が図27に示されている。このように,路面状況により,規格化周波数強度が分離されていることから,上述した定点型音センサと同様,この境界にしきい値を設定することで,路面状況の判別が容易に行えることになる。なお,この図27において,湿潤と乾燥を判別する第1 のしきい値は“0.3”,乾燥と圧雪を判別する第2 のしきい値は“0.1”と設定できる。 Accordingly, FIG. 27 shows the result of arranging the normalized frequency intensities in time series (at intervals of about 1.5 seconds) with respect to the running data with ωHPF in the above-described equation (3) set to 700 Hz. As described above, since the normalized frequency intensity is separated according to the road surface condition, it is possible to easily determine the road surface condition by setting a threshold value at this boundary as in the above-described fixed-point sound sensor. Become. In FIG. 27, the first threshold value for determining wetness and dryness can be set to “0.3”, and the second threshold value for determining dryness and snow pressure can be set to “0.1”.
基本的には,タイヤハウス43に当たる音を車内に置いたマイクロフォン39で計測することで,路面状況の判別が可能である結果を得たが,車内で発生する他の音(会話,ラジオ等)の影響を受けることが十分に予想されるので、タイヤハウス43に当たる音を振動として計測すれば先の問題は解決できると考え,振動計45による実験を行い,予想通りの結果を得ることができた。さらに,振動計45に替わり,ECM素子47をタイヤハウス43に直接貼り付け,周囲からの音が漏れない工夫をすることで,振動を音として計測するアプローチを行い良好な結果を得ることができた。
Basically, it was possible to determine the road surface condition by measuring the sound hitting the
上述した定点型音センサと同様な手法を用いれば,乾燥,湿潤,圧雪の路面状況を容易に判別が可能である。 By using a method similar to that of the fixed point type sound sensor described above, it is possible to easily determine the road surface condition of dry, wet, and compressed snow.
この発明の第4の実施の形態の路面状況判定方法について、上記の路面状況判定装置5を用いて説明する。
A road surface condition determination method according to a fourth embodiment of the present invention will be described using the road surface
図28を参照するに、路面状況判定方法の概略のフローとしては、ステップS7では、予め設定した時間としての例えば1.5秒間にECM素子47でデジタル録音された車両走行音がFFT処理(高速フーリエ変換:Fast Fourier Transform)によりフーリエ変換されて周波数毎の強度が算出される。
Referring to FIG. 28, as an outline flow of the road surface condition determination method, in step S7, for example, vehicle running sound digitally recorded by the
ステップS8では、ステップS7の各車両の音の時系列の全帯域周波数強度が算出される。 In step S8, the time-series full-band frequency intensity of the sound of each vehicle in step S7 is calculated.
ステップS9では、ステップS8で抽出された各車両走行音の周波数特性に対してハイパスフィルタ処理(HPF)が施されて規格化処理される。 In step S9, the high-pass filter process (HPF) is performed on the frequency characteristic of each vehicle running sound extracted in step S8, and the normalization process is performed.
ステップS10では、ステップS9で規格化された規格化周波数強度に基づいて路面状態が湿潤、乾燥、圧雪のいずれであるかを判別して表示装置35へ出力される。
In step S10, based on the normalized frequency intensity standardized in step S9, it is determined whether the road surface state is wet, dry, or compressed snow and output to the
第4の実施の形態の路面判別方法は、図29のフローチャートに示されているように、規格化周波数強度FSTDが第1しきい値29として例えば0.3以上のときは路面状態を湿潤と判断する。一方、規格化周波数強度FSTDが第1しきい値29として例えば0.3より小さいときは、再び、路面状態が乾燥と圧雪の路面状況別規格化周波数強度に基づいて、新たなハイパスフィルタ周波数ωHPFで規格化処理を施して路面状態が乾燥と圧雪との間に第2しきい値31として例えば0.1を設定し、規格化周波数強度FSTDが第2しきい値31以上のときは路面状態が乾燥と判断され、前記第2しきい値31として例えば0.1より小さいときは路面状態が圧雪と判断される。
In the road surface discrimination method of the fourth embodiment, as shown in the flowchart of FIG. 29, when the normalized frequency intensity F STD is, for example, 0.3 or more as the
以上のことから、定点音センサは、路面全体を管理するためには設置数が膨大になり、また、車両が通過しないと判別が行えないが、常時監視型であることから、リアルタイムな情報出力を可能にすることができる。また、車載型音センサは、移動時間を伴うことから、リアルタイム性がないものの、路線全体の路面状況を把握するには好都合である。また、自車両の走行音が常に発生することから、常時判別を可能にすることができる。したがって、道路を管理する管理者にとっては、利用用途によって両者使い分けすることができ、両者とも有効である。 From the above, the fixed point sound sensor has a large number of installations to manage the entire road surface, and it cannot be determined unless the vehicle passes, but since it is a constant monitoring type, real-time information output Can be made possible. In addition, the vehicle-mounted sound sensor is convenient for grasping the road surface condition of the entire route although it does not have real-time characteristics because it involves travel time. In addition, since the traveling sound of the host vehicle is always generated, it is possible to always make a determination. Therefore, for the manager who manages the road, both can be used properly depending on the usage, and both are effective.
1 ポール
3 ブラケット
5 路面状況判定装置
7 マイクロフォン(入力部;音センサ)
9 路面状況判定装置本体
11 ブラケット
13 降雪検知器
15 CPU
17 メモリ
19 フーリエ変換処理部(FFT処理部)
21 全帯域周波数強度算出部
23 車両抽出用しきい値
25 車両抽出部
27 規格化処理部
29 第1しきい値
31 第2しきい値
33 路面判別部
35 表示装置(出力部)
37 第3しきい値
39 後輪
41 マイクロフォン(音センサ)
43 タイヤハウス
45 振動計(音センサ)
47 ECM素子
49 樹脂
DESCRIPTION OF
9 Road surface condition judging
17
21 Full Band Frequency Intensity Calculation Unit 23 Vehicle Extraction Threshold 25
37
43
47
Claims (12)
この音センサにより検出された接触音がデジタル信号に変換されたデジタルデータを周波数毎の音の周波数強度にフーリエ変換するフーリエ変換処理部と、
予め設定した時間内に通過した各車両の音の各周波数成分の強度を全周波数について積分して全帯域周波数強度を算出する全帯域周波数強度算出部と、
この全帯域周波数強度算出部で算出した全帯域周波数強度から車両抽出用しきい値よりも強度が大きい部分を車両走行音として抽出する車両抽出部と、
この車両抽出部で抽出された各車両走行音の周波数特性に対してハイパスフィルタ周波数以上の周波数について積分した値を全帯域周波数強度で除する規格化処理を行って全車両の規格化周波数強度を算出する規格化処理部と、
この規格化処理部による全車両の規格化周波数強度に基づいて路面状態が湿潤と乾燥との間に第1しきい値を設定し、路面状態が乾燥と圧雪との間に第1しきい値よりも小さい第2しきい値を設定し、前記規格化周波数強度が第1しきい値以上のときは路面状態を湿潤と判断し、第1しきい値と第2しきい値との間にあるときは路面状態を乾燥と判断し、第2しきい値より小さいときは路面状態を圧雪と判断する路面判別部と、
を備えていることを特徴とする路面状況判定装置。 A sound sensor for detecting a contact sound between a tire of a vehicle traveling on a road and a road surface;
A Fourier transform processing unit for Fourier transforming digital data obtained by converting the contact sound detected by the sound sensor into a digital signal to the frequency intensity of the sound for each frequency;
A full-band frequency intensity calculation unit that calculates the full-band frequency intensity by integrating the intensity of each frequency component of the sound of each vehicle that has passed within a preset time with respect to all frequencies ;
A vehicle extraction unit that extracts a portion having a strength greater than the vehicle extraction threshold from the full-band frequency intensity calculated by the full-band frequency intensity calculation unit;
The standardized frequency intensity of all vehicles is obtained by dividing the frequency characteristics of each vehicle running sound extracted by the vehicle extraction unit by the integrated value of the frequency above the high-pass filter frequency by the full-band frequency intensity. A normalization processing unit to calculate,
It sets the first threshold value during a road surface condition based on the normalized frequency intensity of all vehicles by the normalization processing unit and the drying and wetting, the first threshold road condition between the drying and the pressed snow A second threshold value smaller than the first threshold value, and when the normalized frequency intensity is equal to or greater than the first threshold value, the road surface condition is determined to be wet, and between the first threshold value and the second threshold value. A road surface determination unit that determines that the road surface state is dry when there is, and determines that the road surface state is compressed snow when less than the second threshold;
A road surface condition judging device characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007202130A JP5097470B2 (en) | 2006-11-14 | 2007-08-02 | Road surface condition determination method and apparatus |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006308140 | 2006-11-14 | ||
JP2006308140 | 2006-11-14 | ||
JP2007202130A JP5097470B2 (en) | 2006-11-14 | 2007-08-02 | Road surface condition determination method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008143508A JP2008143508A (en) | 2008-06-26 |
JP5097470B2 true JP5097470B2 (en) | 2012-12-12 |
Family
ID=39604130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007202130A Expired - Fee Related JP5097470B2 (en) | 2006-11-14 | 2007-08-02 | Road surface condition determination method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5097470B2 (en) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2791714T3 (en) | 2013-03-18 | 2020-11-05 | Signify Holding Bv | Outdoor lighting network control and information management methods and apparatus |
FR3015036B1 (en) * | 2013-12-18 | 2016-01-22 | Michelin & Cie | METHOD OF ACOUSTICALLY DETECTING THE CONDITION OF ROAD AND TIRE |
CN104554273B (en) * | 2014-12-23 | 2017-09-15 | 上海语知义信息技术有限公司 | The system and method for information of road surface is recognized by noise |
WO2018172464A1 (en) * | 2017-03-24 | 2018-09-27 | Chazal Guillaume | Method and system for real-time estimation of road conditions and vehicle behavior |
CN107472253B (en) * | 2017-08-09 | 2019-06-07 | 纵目科技(厦门)有限公司 | A kind of the safe driving control method and its system of image identification detection road surface slippery situation |
CN107521339B (en) * | 2017-08-09 | 2019-06-07 | 纵目科技(厦门)有限公司 | A kind of image identification infrared emission determines the control method and its system of safe speed |
CN107539127B (en) * | 2017-08-09 | 2019-06-07 | 纵目科技(厦门)有限公司 | A kind of control method and its system based on image brightness identification safe speed |
JP6627127B2 (en) * | 2017-11-27 | 2020-01-08 | 本田技研工業株式会社 | Vehicle control device, vehicle control method, and program |
JP2020034275A (en) * | 2018-08-27 | 2020-03-05 | 株式会社ブリヂストン | Road surface state determination system, road surface state determination program, and road surface state determination method |
JP7248477B2 (en) * | 2019-03-28 | 2023-03-29 | 本田技研工業株式会社 | VEHICLE CONTROL DEVICE, TERMINAL DEVICE, SERVER DEVICE, VEHICLE, VEHICLE CONTROL SYSTEM AND VEHICLE CONTROL METHOD |
WO2020250332A1 (en) | 2019-06-12 | 2020-12-17 | 日本電信電話株式会社 | Road condition deduction device, method, and program |
KR102346533B1 (en) * | 2020-05-13 | 2021-12-31 | 에스케이플래닛 주식회사 | Road condition detection device and system, road condition detection method using the same |
CN112393740B (en) * | 2020-12-03 | 2022-09-09 | 吉林大学 | Method and system for determining road comfort index |
CN113990074B (en) * | 2021-12-28 | 2022-03-04 | 江苏华设远州交通科技有限公司 | Traffic control system and method based on noise data acquisition and processing |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06138018A (en) * | 1992-10-28 | 1994-05-20 | Mitsubishi Motors Corp | Road surface condition measuring device |
JPH06174543A (en) * | 1992-12-03 | 1994-06-24 | Toyota Motor Corp | Detecting apparatus for road surface condition |
JP3473158B2 (en) * | 1995-03-22 | 2003-12-02 | 住友電気工業株式会社 | Road surface condition detection device |
JPH08298613A (en) * | 1995-04-26 | 1996-11-12 | Mitsubishi Electric Corp | Road surface state detecting device |
JPH0954020A (en) * | 1995-08-10 | 1997-02-25 | Sumitomo Electric Ind Ltd | Road condition detecting device |
JP2002256521A (en) * | 2001-03-02 | 2002-09-11 | Furukawa Electric Co Ltd:The | Road surface state detecting method and device |
JP2002340863A (en) * | 2001-05-15 | 2002-11-27 | Toyota Central Res & Dev Lab Inc | Road surface determination device and system |
JP4149903B2 (en) * | 2003-11-21 | 2008-09-17 | 社団法人 雪センター | Road surface condition determination method and apparatus |
-
2007
- 2007-08-02 JP JP2007202130A patent/JP5097470B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008143508A (en) | 2008-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5097470B2 (en) | Road surface condition determination method and apparatus | |
JP5436442B2 (en) | Road surface condition estimation method | |
EP2346725B1 (en) | Method and system for signaling an aquaplaning condition of a tyre fitted on a vehicle | |
US9046457B2 (en) | Road surface condition estimating method, road surface condition estimating tire, road surface condition estimating apparatus, and vehicle control apparatus | |
CN108515984B (en) | Wheel damage detection method and device | |
US9513192B2 (en) | Method and device for estimating a profile depth of a tire | |
CN113825686B (en) | Method and system for detecting irregularities of a road surface | |
JP7180354B2 (en) | Tire wear detector | |
WO2012162241A2 (en) | Real-time wireless dynamic tire pressure sensor and energy harvesting system | |
JP6061782B2 (en) | Abnormal sound detection device and program | |
US20100191483A1 (en) | Method, system and computer program for estimation of the pressure | |
JP2002243535A (en) | Road surface condition detecting device | |
WO2022150999A1 (en) | Tire abnormality detection method and apparatus | |
US20110285518A1 (en) | Method for detecting rumble strips on roadways | |
JP2023525681A (en) | ROAD CONDITION DETECTION DEVICE AND SYSTEM, AND ROAD CONDITION DETECTION METHOD USING THE SAME | |
CN112428753A (en) | Vehicle tire abnormity identification method and device, electronic equipment and storage medium | |
JP3467991B2 (en) | Road surface condition determination device, vehicle equipped with this device, and road surface information management system using this device | |
CN102667883B (en) | Method for determining a parameter representative of the state of vigilance of a vehicle driver | |
US20240208511A1 (en) | Method and related system for estimating the international roughness index of a road segment | |
JP3103034B2 (en) | Traveling train information detection method | |
Kongrattanaprasert et al. | Detection of road surface conditions using tire noise from vehicles | |
US11340194B2 (en) | Method for detecting moisture on a road surface | |
KR102501312B1 (en) | Continuous detecting system of road conditions using acceleration sensor, and method for the same | |
JPH0954020A (en) | Road condition detecting device | |
JP5093739B2 (en) | Tire burst prevention system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120515 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120618 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120619 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20120620 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120608 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120618 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120918 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120924 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5097470 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150928 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |