JP4818747B2 - Railway vehicle inspection method and apparatus using long images - Google Patents

Railway vehicle inspection method and apparatus using long images Download PDF

Info

Publication number
JP4818747B2
JP4818747B2 JP2006047226A JP2006047226A JP4818747B2 JP 4818747 B2 JP4818747 B2 JP 4818747B2 JP 2006047226 A JP2006047226 A JP 2006047226A JP 2006047226 A JP2006047226 A JP 2006047226A JP 4818747 B2 JP4818747 B2 JP 4818747B2
Authority
JP
Japan
Prior art keywords
railway vehicle
long image
long
inspection method
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006047226A
Other languages
Japanese (ja)
Other versions
JP2007223473A (en
Inventor
勝 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Railway Technical Research Institute
Original Assignee
Railway Technical Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Railway Technical Research Institute filed Critical Railway Technical Research Institute
Priority to JP2006047226A priority Critical patent/JP4818747B2/en
Publication of JP2007223473A publication Critical patent/JP2007223473A/en
Application granted granted Critical
Publication of JP4818747B2 publication Critical patent/JP4818747B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Description

本発明は、移動する鉄道車両全体の長尺画像を用いた鉄道車両検査方法及びその装置に係り、特に、その鉄道車両の軸受温度、床下機器温度、騒音、車両振動、車両からの電界・磁界強度の検査方法及びその装置に関するものである。   The present invention relates to a railway vehicle inspection method and apparatus using a long image of an entire moving railway vehicle, and in particular, bearing temperature of the railway vehicle, underfloor equipment temperature, noise, vehicle vibration, and electric / magnetic field from the vehicle. The present invention relates to a strength inspection method and apparatus.

従来、ビデオ画像を、連続した繋ぎ目のない、かつ歪みの少ないパノラマ画像に変換し、それをデータベース化するシステムが提案され、広範なため一度に全体を見通すことができない検査対象として、例えば、道路や送電線などの外観を検査することが開示されている(下記特許文献1)。
一方、鉄道関係の分野でも、鉄道車両の検査のために鉄道車両の画像の利用が検討されている。
特開2003−9144号公報 WO 01/15081 A2号公報
Conventionally, a system for converting a video image into a continuous seamless and low distortion panoramic image and making it into a database has been proposed. Inspecting the appearance of roads and power transmission lines is disclosed (Patent Document 1 below).
On the other hand, in the field of railways, the use of railway vehicle images is being examined for inspection of railway vehicles.
JP 2003-9144 A WO 01/15081 A2 Publication

しかしながら、上記した従来のシステムでは、広範なため一度に全体を見通すことができない検査対象を、単に、連続した繋ぎ目のない、かつ歪みの少ないパノラマ画像に変換してデータベース化している。
そこで、鉄道関係の分野では、メンテナンスのために、鉄道車両の長尺画像と他の種類のデータとを組み合わせることで、鉄道車両の状態を検査する研究が進められている。
However, in the above-described conventional system, inspection objects that cannot be viewed at a time because of the wide range are simply converted into a panoramic image having no continuous joints and less distortion, and the database is created.
Therefore, in the field of railways, research for inspecting the state of railway vehicles by combining long images of railway vehicles with other types of data is being promoted for maintenance.

本発明は、上記状況に鑑みて、鉄道車両全体の長尺画像を取得するとともに、その画像を用いて鉄道車両の検査を行うことができる、長尺画像を用いた鉄道車両検査方法及びその装置を提供することを目的とする。   In view of the above situation, the present invention acquires a long image of the entire railway vehicle, and can inspect the railway vehicle using the image, and a railway vehicle inspection method and apparatus using the long image. The purpose is to provide.

本発明は、上記目的を達成するために、
〔1〕長尺画像を用いた鉄道車両検査方法において、カメラを用いて移動する鉄道車両を撮影し、この撮影された画像から処理装置を用いて前記鉄道車両全体の長尺画像データを生成し、この長尺画像データから抽出した特徴を予め記憶された参照長尺画像データから抽出した特徴と比較してその差異を判定することにより、前記鉄道車両全体の検査を行うことを特徴とする。
In order to achieve the above object, the present invention provides
[1] In a railway vehicle inspection method using a long image, a moving railway vehicle is photographed using a camera, and long image data of the entire railway vehicle is generated from the photographed image using a processing device. , by determining the difference compared to features extracted the features extracted from the long image data from the previously stored reference long image data, and performs inspection of the entire rail vehicle.

〔2〕上記〔1〕記載の長尺画像を用いた鉄道車両検査方法において、前記移動する鉄道車両全体の長尺画像データは、前記カメラの各画像フレームの中心から部分画像を選択し、この部分画像を組み合わせることにより生成することを特徴とする。
〔3〕上記〔2〕記載の長尺画像を用いた鉄道車両検査方法において、前記画像フレームの部分画像幅は前記鉄道車両の移動量を基準にして選択することを特徴とする。
[2] In the railway vehicle inspection method using the long image according to the above [1], the long image data of the entire moving railway vehicle selects a partial image from the center of each image frame of the camera. It generates by combining partial images.
[3] In the railway vehicle inspection method using the long image according to [2], the partial image width of the image frame is selected on the basis of the movement amount of the railway vehicle.

〔4〕上記〔3〕記載の長尺画像を用いた鉄道車両検査方法において、前記鉄道車両の移動量が大きい場合には前記部分画像幅を広くとり、移動量が小さい場合には狭くとることを特徴とする。
〔5〕上記〔1〕から〔4〕の何れか1項記載の長尺画像を用いた鉄道車両検査方法において、前記カメラ及び処理装置を用いて作成される前記長尺画像データが前記鉄道車両の側面、底面又は上面を撮影した画像から得られることを特徴とする。
[4] In railway vehicle inspection method using a long image described in [3], when the amount of movement of the rail vehicle is large takes broadly the partial image width, taking narrow when the amount of movement is small It is characterized by.
[5] The railway car inspection method using a long image according to any one of [1] to [4], the long image data is the railcar is created using the camera and processing unit It is obtained from the image which image | photographed the side surface, bottom face, or upper surface of this.

〔6〕長尺画像を用いた鉄道車両検査方法において、カメラ及び処理装置を用いて移動する鉄道車両全体の長尺画像データを取得し、前記カメラとは別の種類のセンサーで別の種類の情報を得て、前記長尺画像データと同期化を行い、前記長尺画像データと組み合わされた時系列データとして取得することを特徴とする。
〔7〕上記〔6〕記載の長尺画像を用いた鉄道車両検査方法において、前記センサーで前記鉄道車両の床下機器温度、屋根上機器温度又は車両側面温度を計測することを特徴とする。
[6] In a railway vehicle inspection method using a long image, long image data of the entire moving rail vehicle is acquired by using a camera and a processing device, and another type of sensor is used with a sensor different from the camera. to obtain information, it performs the long image data and synchronize, and acquires the time series data combined with the long image data.
[7] The railway vehicle inspection method using the long image according to [6], wherein the sensor measures an underfloor equipment temperature, an on-roof equipment temperature, or a vehicle side surface temperature of the railway vehicle.

〔8〕上記〔7〕記載の長尺画像を用いた鉄道車両検査方法において、前記床下機器温度が車輪軸受温度であることを特徴とする。
〔9〕上記〔6〕記載の長尺画像を用いた鉄道車両検査方法において、前記センサーで前記鉄道車両の異常音を計測することを特徴とする。
〔10〕上記〔6〕記載の長尺画像を用いた鉄道車両検査方法において、前記センサーで前記鉄道車両の振動を計測することを特徴とする。
[8] In the railway vehicle inspection method using the long image according to [7], the underfloor equipment temperature is a wheel bearing temperature.
[9] In the railway vehicle inspection method using the long image according to [6], the abnormal sound of the railway vehicle is measured by the sensor.
[10] In the railway vehicle inspection method using the long image according to [6], vibration of the railway vehicle is measured by the sensor.

〔11〕上記〔6〕記載の長尺画像を用いた鉄道車両検査方法において、前記センサーで前記鉄道車両からの電界強度または磁界強度を計測することを特徴とする。
〔12〕長尺画像を用いた鉄道車両検査装置において、線路脇又は線路内に配置され、移動する鉄道車両の画像を取得するカメラと、前記画像から前記鉄道車両全体の長尺画像データを生成するとともに、この長尺画像データから抽出した特徴と予め記憶した参照長尺画像データから抽出した特徴とを比較してその差異を判定することにより、前記鉄道車両の検査を行う処理装置とを具備することを特徴とする。
[11] In the railway vehicle inspection method using the long image according to [6], the electric field intensity or magnetic field intensity from the railway vehicle is measured by the sensor.
[12] In a railway vehicle inspection apparatus using a long image, a camera that acquires an image of a moving railway vehicle that is disposed on or in a railroad track and generates long image data of the entire railway vehicle from the image as well as, by determining the difference by comparing the features extracted from the reference long image data previously stored features extracted from the long image data, and a processing device for examination of the rail vehicle It is characterized by doing.

〔13〕長尺画像を用いた鉄道車両検査装置において、線路脇又は線路内に配置され、移動する鉄道車両の画像を取得するカメラと、前記線路脇または線路内に固定して配置され、前記鉄道車両の画像とは別の種類の情報を取得する、前記カメラとは別の種類のセンサーと、前記画像から生成した長尺画像データに前記別の種類の情報を同期化し、前記長尺画像データと組み合わされた時系列データとして取得する処理装置とを具備することを特徴とする。 In railway vehicle inspection apparatus using the [13] elongated image, arranged in wayside or in line, and a camera for acquiring an image of a moving railway vehicle, it is arranged fixedly before Symbol line Michiwaki or in line Acquiring information of a different type from the image of the railway vehicle, synchronizing a sensor of a different type from the camera, and the long image data generated from the image, And a processing device that acquires time-series data combined with the scale image data .

〔14〕上記〔13〕記載の長尺画像を用いた鉄道車両検査装置において、前記センサーが前記鉄道車両の床下機器温度、屋根上機器温度または車両側面温度を計測するサーモカメラであることを特徴とする。
〔15〕上記〔14〕記載の長尺画像を用いた鉄道車両検査装置において、前記センサーが前記鉄道車両の車輪軸受温度を計測する非接触式温度計であることを特徴とする。
[14] In the railway vehicle inspection apparatus using the long image according to [13], the sensor is a thermo camera that measures an underfloor equipment temperature, an on-roof equipment temperature, or a vehicle side surface temperature of the railway vehicle. And
[15] In the railway vehicle inspection apparatus using the long image according to [14], the sensor is a non-contact thermometer that measures a wheel bearing temperature of the railway vehicle.

〔16〕上記〔13〕記載の長尺画像を用いた鉄道車両検査装置において、前記センサーが前記鉄道車両の騒音を計測する異常音測定用マイクであることを特徴とする。
〔17〕上記〔13〕記載の長尺画像を用いた鉄道車両検査装置において、前記センサーが前記鉄道車両の振動を計測する振動センサーであることを特徴とする。
〔18〕上記〔13〕記載の長尺画像を用いた鉄道車両検査装置において、前記センサーが前記鉄道車両からの電界・磁界強度を計測する電界・磁界センサーであることを特徴とする。
[16] In the railway vehicle inspection apparatus using the long image according to [13], the sensor is an abnormal sound measurement microphone that measures noise of the railway vehicle.
[17] The railway vehicle inspection apparatus using the long image according to [13], wherein the sensor is a vibration sensor that measures vibration of the railway vehicle.
[18] The railway vehicle inspection apparatus using the long image according to [13], wherein the sensor is an electric field / magnetic field sensor that measures an electric field / magnetic field intensity from the railway vehicle.

本発明によれば、移動体としての鉄道車両全体の長尺画像を取得するとともに、その画像を用いて迅速、かつ的確に鉄道車両の検査を行うことができる。   ADVANTAGE OF THE INVENTION According to this invention, while acquiring the long image of the whole railway vehicle as a moving body, a rail vehicle can be test | inspected quickly and exactly using the image.

本発明の長尺画像を用いた鉄道車両検査装置は、カメラを用いて移動する鉄道車両を撮影し、この撮影された画像から処理装置を用いて前記鉄道車両全体の長尺画像データを生成し、この長尺画像データから抽出した特徴を予め記憶された参照長尺画像データから抽出した特徴と比較してその差異を判定することにより、前記鉄道車両全体の検査を行う。 The railway vehicle inspection apparatus using a long image of the present invention images a moving railway vehicle using a camera, and generates long image data of the entire railway vehicle from the captured image using a processing device. , by determining the difference compared to features extracted the features extracted from the long image data from the previously stored reference long image data, performs the inspection of the entire rail vehicle.

以下、本発明の実施の形態について詳細に説明する。
図1は本発明の実施例を示す長尺画像(SLIm:Super Long Imaging)を用いた鉄道車両の検査装置の模式図、図2は鉄道車両の長尺画像の取得原理を示す図、図3はその結果得られた長尺画像を示す図、図4はその鉄道車両検査装置のブロック図である。
Hereinafter, embodiments of the present invention will be described in detail.
FIG. 1 is a schematic diagram of a railway vehicle inspection apparatus using a long image (SLIm: Super Long Imaging) showing an embodiment of the present invention. FIG. 2 is a diagram showing the principle of acquiring a long image of a rail vehicle. FIG. 4 is a view showing a long image obtained as a result, and FIG. 4 is a block diagram of the railway vehicle inspection apparatus.

まず、図4において、1は移動する鉄道車両、2はカメラ、3は処理装置、4はカメラ2により撮影された移動する鉄道車両1の画像を用いた鉄道車両全体の長尺画像の編集部、5はその編集された鉄道車両全体の長尺画像データ、5Aは長尺画像データ5から特徴を抽出する特徴抽出部、6は予め記憶されている鉄道車両の参照長尺画像データ、6Aはその参照長尺画像データから特徴を抽出する特徴抽出部、7は特徴抽出部5A,6Aで抽出された長尺画像データの特徴と参照長尺画像データの特徴とを比較する比較部、8はその比較結果の判定部、9はその判定結果の出力部である。 First, in FIG. 4, 1 is a moving railway vehicle, 2 is a camera, 3 is a processing device, 4 is an editing unit for a long image of the entire railway vehicle using an image of the moving railway vehicle 1 photographed by the camera 2. 5 is a long image data of the edited railway vehicle as a whole, 5A is a feature extraction unit for extracting features from the long image data 5 , 6 is a reference long image data of the railway vehicle stored in advance, and 6A is feature extracting unit for extracting a feature from the reference long image data 6, 7 comparison unit for comparing the characteristic features and the reference long image data 6 of the feature extraction unit 5A, elongated image data 5 which has been extracted with 6A , 8 is a determination unit for the comparison result, and 9 is an output unit for the determination result.

図2及び図4を参照しながら鉄道車両全体の長尺画像データの取得について説明する。
移動する鉄道車両1の側面を撮影するため、線路脇にカメラ2を配置する。このとき、そのカメラ2のファインダーを覗きながらカメラ2の焦点、絞り、画角を調整する。
ここで、鉄道車両1の画像はカメラ2で撮影され、処理装置3に取り込まれ、編集部4で編集されて鉄道車両全体の長尺画像データ5が得られるが、鉄道車両1の画像は、撮影される画像フレーム2Aの端と常に平行であるように調整する。特に、本発明を効率よく機能させるためには、撮影対象を法線方向から捉えられるように、カメラ2の固定装置、アングルなどを設定する。
The acquisition of long image data of the entire railway vehicle will be described with reference to FIGS. 2 and 4.
In order to photograph the side surface of the moving railway vehicle 1, a camera 2 is arranged beside the track. At this time, the focus, aperture, and angle of view of the camera 2 are adjusted while looking through the viewfinder of the camera 2.
Here, an image of the railway vehicle 1 is taken by the camera 2, captured by the processing device 3, and edited by the editing unit 4 to obtain the long image data 5 of the entire railway vehicle. Adjustment is made so that the image frame 2A is always parallel to the edge of the image frame 2A. In particular, in order to make the present invention function efficiently, a fixing device, an angle, and the like of the camera 2 are set so that an imaging target can be captured from the normal direction.

そこで、まず走行する鉄道車両1を撮影し、図2(a)に示すようなフレーム画像を取得する。フレーム画像間の車両の移動量を計算し、画像フレーム2Aから部分画像2Bを切り出し、部分画像2Bを組み合わせ、図2(b)に示すような鉄道車両1全体の長尺画像データ5が作成される。
このようにして生成された鉄道車両1全体の長尺画像データ5が、図3に示されるように、鉄道車両の全体像となる。なお、図3において、図3(a)は鉄道車両の全体画像、図3(b)は第1の拡大画像、図3(c)は第2の拡大画像である。
Therefore, first, the traveling railway vehicle 1 is photographed to obtain a frame image as shown in FIG. The moving amount of the vehicle between the frame images is calculated, the partial image 2B is cut out from the image frame 2A, and the partial images 2B are combined to create the long image data 5 of the entire railway vehicle 1 as shown in FIG. The
The long image data 5 of the entire railway vehicle 1 generated in this way is an overall image of the railway vehicle as shown in FIG. In FIG. 3, FIG. 3A is an entire image of the railway vehicle, FIG. 3B is a first enlarged image, and FIG. 3C is a second enlarged image.

そこで、図4に示すように、その鉄道車両1全体の長尺画像(全体画像)データ5と予め記憶されている参照長尺画像データ6とはそれらの特徴抽出部5A,6Aを介して比較部7で比較され、その出力が判定部8で判定されて、鉄道車両1の検査情報として出力部9から出力される。
このようにして、本発明は、例えば、(1)鉄道車両1の状態の検査装置、(2)鉄道車両1への着雪の監視を行う着雪監視装置、(3)車両毎の混雑度を監視する鉄道車両1内の混雑度監視装置として用いることができる。
Therefore, as shown in FIG. 4, the long image (overall image) data 5 of the entire railway vehicle 1 and the reference long image data 6 stored in advance are compared via their feature extraction units 5A and 6A. Compared by the unit 7, the output is determined by the determination unit 8, and is output from the output unit 9 as inspection information of the railway vehicle 1.
In this way, the present invention provides, for example, (1) an inspection device for the state of the railway vehicle 1, (2) a snow accretion monitoring device that monitors snow accretion on the rail vehicle 1, and (3) a degree of congestion for each vehicle. It can be used as a congestion degree monitoring device in the railway vehicle 1 for monitoring.

図5は本発明の実施例を示す長尺画像データに他の種類のセンサーの情報を組み合わせた鉄道車両の検査装置の模式図である。
この実施例では、上記した編成された鉄道車両全体の長尺画像データとともに、図5に示すように、この鉄道車両全体の長尺画像データに対応した他の種類の情報を得るために線路脇又は線路内の固定された位置にセンサー14を配置する。当然、センサー14をカメラ12の撮影位置とずれた位置に配置した場合には、両者を符合させるために補正処理を行う。しかし、センサー14をカメラ12の撮影位置と一致させた位置に配置するようにした場合には、鉄道車両11の撮影画像データと他の種類の情報を位置的に補正することなく、一致させて記憶することができる。
FIG. 5 is a schematic diagram of a railway vehicle inspection apparatus in which information of another type of sensor is combined with long image data according to an embodiment of the present invention.
In this embodiment, in addition to the above-described long image data of the entire railway vehicle, as shown in FIG. 5, in order to obtain other types of information corresponding to the long image data of the entire rail vehicle, Alternatively, the sensor 14 is arranged at a fixed position in the track. Naturally, when the sensor 14 is arranged at a position shifted from the photographing position of the camera 12, correction processing is performed to match the two. However, when the sensor 14 is arranged at a position that matches the shooting position of the camera 12, the shooting image data of the railway vehicle 11 and other types of information are matched without being corrected in position. Can be remembered.

すなわち、鉄道車両11の検査の目的によっては、鉄道車両の異常音、振動あるいは電界・磁界強度などの、アナログまたはデジタルデータを、鉄道車両のフレーム画像と同期させて記録することができる。鉄道列車11全体の長尺画像は処理装置13で処理され、画像フレームの部分画像は列車移動量を基準にして選択される。移動量が大きい場合には部分画像幅を広くとり、移動量が小さい場合には狭くとるなど、部分画像幅は変化する。そのような長尺画像データと他の種類のセンサーのデータを一緒に表示するには、上記したようにそのセンサーからのデータを長尺画像データと同期化させることによって正規化する。 That is, depending on the purpose of inspection of the railway vehicle 11, analog or digital data such as abnormal noise, vibration, electric field / magnetic field strength of the railway vehicle can be recorded in synchronization with the frame image of the railway vehicle. The long image of the entire railway train 11 is processed by the processing device 13, and the partial image of the image frame is selected based on the amount of train movement. The partial image width changes such that the partial image width is wide when the movement amount is large and narrow when the movement amount is small. To display such long image data and other types of sensor data together, normalize the data from that sensor by synchronizing it with the long image data as described above.

他の種類のセンサーのデータが、強度データの場合、正規化によってデータが変化しないため、正規化は簡単である。しかし、周波数に特徴があるデータを正規化する場合には、正規化によりデータの質が変わってしまう場合があるので、これを考慮して正規化を行う。
このように、長尺画像技術を使えば、鉄道車両の全体像を捉えることができるとともに、その長尺画像データと他の種類のデータとを併せて、的確に鉄道車両の検査を行うことができる。
When the data of other types of sensors is intensity data, normalization is easy because the data does not change by normalization. However, when normalizing data having a characteristic in frequency, the quality of the data may change due to normalization. Therefore, normalization is performed in consideration of this.
In this way, if the long image technology is used, the entire image of the railway vehicle can be captured, and the long image data and other types of data can be combined to accurately inspect the railway vehicle. it can.

以下、鉄道車両の検査の適用例について説明する。
(1)鉄道車両床下機器温度検査装置
図6は本発明の実施例を示す鉄道車両の床下機器温度検査装置の模式図、図7はその鉄道車両床下機器温度情報を示す図である。
この実施例では、図6に示すように、線路内に配置したカメラ22で、図7(a)に示すように、鉄道車両21の床下面の長尺画像データ28を生成するとともに、図7(b)に示すように、線路内においたサーモカメラ27で床下機器29の温度情報を得て、これらのデータを同期させることにより、鉄道車両21の床下機器温度を検査することができる。例えば、床下機器29に発熱29Aが検知される。すなわち、カメラ22からの撮影画像は、処理装置23に取り込まれ、その編集部24で編集して、鉄道車両全体の長尺画像データを取得し、サーモカメラ27からの温度情報を、前記長尺画像データと同期した時系列データとして取得する。これらの情報を判定部25で判定し、その判定結果は出力部26から出力される。これにより鉄道車両床下機器の温度の異常及び異常部位の検出を的確に行うことができる。
Hereinafter, application examples of inspection of railway vehicles will be described.
(1) Railway vehicle underfloor equipment temperature inspection device FIG. 6 is a schematic diagram of a railcar underfloor equipment temperature inspection device showing an embodiment of the present invention, and FIG. 7 is a diagram showing the railcar underfloor equipment temperature information.
In this embodiment, as shown in FIG. 6, the camera 22 arranged in the track generates long image data 28 of the lower surface of the floor of the railway vehicle 21 as shown in FIG. (b), to obtain the temperature information of the equipment floor 29 by thermo camera 27 placed in line, by a Turkey synchronize these data, it is possible to inspect the floor equipment temperature railcar 21 . For example, the heat generation 29 </ b> A is detected by the underfloor device 29. That is, the captured image from the camera 22 is captured by the processing device 23 and edited by the editing unit 24 to obtain long image data of the entire railway vehicle, and the temperature information from the thermo camera 27 is converted into the long image data. Acquired as time-series data synchronized with image data . Such information is determined by the determination unit 25, and the determination result is output from the output unit 26. Thereby, it is possible to accurately detect abnormalities in temperature and abnormal parts of railway vehicle underfloor equipment.

なお、上記実施例では、サーモカメラで鉄道車両の床下機器温度を計測するようにしたが、サーモカメラで鉄道車両の屋根上機器温度または車両側面温度などを計測するようにしてもよい。
(2)鉄道車両の車輪軸受温度検査装置
図8は本発明の実施例を示す鉄道車両の車輪軸受温度検査装置の模式図である。
In the above-described embodiment, the underfloor equipment temperature of the railway vehicle is measured by the thermo camera. However, the equipment temperature on the roof of the railway car or the vehicle side surface temperature may be measured by the thermo camera.
(2) Railway Vehicle Wheel Bearing Temperature Inspection Device FIG. 8 is a schematic diagram of a railway vehicle wheel bearing temperature inspection device showing an embodiment of the present invention.

図8において、31は鉄道車両、32はカメラ、33は処理装置、34は編集部、35は判定部、36は出力部、37は非接触式温度計である。
この実施例では、線路脇又は線路内に配置したカメラ32からの撮影画像を、処理装置33に取り込み、編集部34で編集して、鉄道車両全体の長尺画像データを生成し、同時に、非接触式温度計37より温度情報を得て、前記長尺画像データと同期した時系列データとして取得する。これらの情報を判定部35で判定し、その判定結果は出力部36から出力される。これにより車輪軸受温度の異常及び異常部位の検出を的確に行うことができる。
In FIG. 8, 31 is a railway vehicle, 32 is a camera, 33 is a processing device, 34 is an editing unit, 35 is a determination unit, 36 is an output unit, and 37 is a non-contact thermometer.
In this embodiment, the captured image from the camera 32 arranged on the side of the track or in the track is taken into the processing device 33 and edited by the editing unit 34 to generate long image data of the entire railway vehicle. Temperature information is obtained from the contact-type thermometer 37 and acquired as time-series data synchronized with the long image data . Such information is determined by the determination unit 35, and the determination result is output from the output unit 36. Thereby, the abnormality of a wheel bearing temperature and the detection of an abnormal part can be performed exactly.

(3)鉄道車両異常音検査装置
図9は本発明の実施例を示す鉄道車両の異常音検査装置の模式図である。
図9において、41は鉄道車両、42はカメラ、43は処理装置、44は編集部、45は判定部、46は出力部、47は異常音測定用マイクである。
この実施例では、線路脇又は線路内に配置したカメラ42からの撮影画像を、処理装置43に取り込み、編集部44で編集して、鉄道車両全体の長尺画像データを生成し、同時に、異常音測定用マイク47より異常音情報を得て、前記長尺画像データと同期した時系列データとして取得する。これらの情報を判定部45で判定し、その判定結果は出力部46から出力される。これにより、鉄道車両の異常音の検出及びその異常音発生部位の検出を的確に行うことができる。
(3) Railway Vehicle Abnormal Sound Inspection Device FIG. 9 is a schematic diagram of a railway vehicle abnormal sound inspection device showing an embodiment of the present invention.
In FIG. 9, 41 is a railway vehicle, 42 is a camera, 43 is a processing device, 44 is an editing unit, 45 is a determination unit, 46 is an output unit, and 47 is an abnormal sound measurement microphone.
In this embodiment, the captured image from the camera 42 arranged on the side of the track or in the track is taken into the processing device 43 and edited by the editing unit 44 to generate long image data of the entire railway vehicle. Abnormal sound information is obtained from the sound measuring microphone 47 and obtained as time-series data synchronized with the long image data . The These information determined by the determination unit 45, the determination result is output from the output unit 46. Thereby, the detection of the abnormal sound of a railway vehicle and the detection of the abnormal sound generation | occurrence | production site | part can be performed exactly.

(4)鉄道車両振動検査装置
図10は本発明の実施例を示す鉄道車両振動検査装置の模式図である。
図10において、51は鉄道車両、52はカメラ、53は処理装置、54は編集部、55は判定部、56は出力部、57は振動センサーである。
この実施例では、線路脇又は線路内に配置したカメラ52からの撮影画像を、処理装置53に取り込み、編集部54で編集して、鉄道車両全体の長尺画像データを生成し、同時に、振動センサー57より振動情報を得て、前記長尺画像データと同期した時系列データとして取得する。これらの情報を判定部55で判定し、その判定結果は出力部56から出力される。これにより、鉄道車両の振動の検出及びその振動部位の検出を的確に行うことができる。
(4) Railway vehicle vibration inspection apparatus FIG. 10 is a schematic diagram of a railway vehicle vibration inspection apparatus showing an embodiment of the present invention.
In FIG. 10, 51 is a railway vehicle, 52 is a camera, 53 is a processing device, 54 is an editing unit, 55 is a determination unit, 56 is an output unit, and 57 is a vibration sensor.
In this embodiment, a captured image from a camera 52 arranged beside or on the track is taken into the processing device 53 and edited by the editing unit 54 to generate long image data of the entire railway vehicle. Vibration information is obtained from the sensor 57 and acquired as time series data synchronized with the long image data . The These information determined by the determination unit 55, the determination result is output from the output unit 56. Thereby, the detection of the vibration of the railway vehicle and the detection of the vibration part can be accurately performed.

(5)鉄道車両からの電界・磁界強度検査装置
図11は本発明の実施例を示す鉄道車両からの電界・磁界強度検査装置の模式図である。
図11において、61は鉄道車両、62はカメラ、63は処理装置、64は編集部、65は判定部、66は出力部、67は電界・磁界センサーである。
(5) Electric field / magnetic field strength inspection apparatus from railway vehicle FIG. 11 is a schematic diagram of an electric field / magnetic field intensity inspection apparatus from a railway vehicle showing an embodiment of the present invention.
In FIG. 11, 61 is a railway vehicle, 62 is a camera, 63 is a processing device, 64 is an editing unit, 65 is a determination unit, 66 is an output unit, and 67 is an electric field / magnetic field sensor.

この実施例では、線路脇又は線路内に配置したカメラ62からの撮影画像を、処理装置63に取り込み、編集部64で編集して、鉄道車両全体の長尺画像データを生成し、同時に、電界・磁界センサー67より鉄道車両の電界・磁界強度情報を得て、前記長尺画像データと同期した時系列データとして取得する。これらの情報を判定部65で判定し、その判定結果は出力部66から出力される。これにより、鉄道車両の電界・磁界強度の検出及びその電界・磁界強度の大きい部位の検出を的確に行うことができる。 In this embodiment, a captured image from a camera 62 arranged beside or in the track is captured by the processing device 63 and edited by the editing unit 64 to generate long image data of the entire railway vehicle. The electric field / magnetic field strength information of the railway vehicle is obtained from the magnetic field sensor 67 and obtained as time series data synchronized with the long image data . The These information determined by the determination unit 65, the determination result is output from the output unit 66. As a result, it is possible to accurately detect the electric field / magnetic field strength of the railway vehicle and to detect a portion where the electric field / magnetic field strength is high.

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能であり、これらを本発明の範囲から排除するものではない。   In addition, this invention is not limited to the said Example, A various deformation | transformation is possible based on the meaning of this invention, and these are not excluded from the scope of the present invention.

本発明の長尺画像を用いた鉄道車両検査方法及びその装置は、鉄道車両の各種の検査装置として利用可能である。   The railway vehicle inspection method and apparatus using a long image of the present invention can be used as various inspection apparatuses for railway vehicles.

本発明の実施例を示す長尺画像(SLIm:Super Long Imaging)を用いた鉄道車両の検査装置の模式図である。It is a schematic diagram of the inspection apparatus of a railway vehicle using the long image (SLIm: Super Long Imaging) which shows the Example of this invention. 本発明にかかる鉄道車両の長尺画像の取得原理を示す図である。It is a figure which shows the acquisition principle of the elongate image of the railway vehicle concerning this invention. 本発明を用いて得られた長尺画像を示す図である。It is a figure which shows the elongate image obtained using this invention. 本発明の実施例を示す長尺画像を用いた鉄道車両検査装置のブロック図である。1 is a block diagram of a railway vehicle inspection apparatus using a long image showing an embodiment of the present invention. 本発明の実施例を示す長尺画像情報に他の種類のセンサーの情報を組み合わせた鉄道車両の検査装置の模式図である。It is a schematic diagram of the inspection apparatus of a railway vehicle which combined the information of another kind of sensor with the long image information which shows the Example of this invention. 本発明の実施例を示す鉄道車両の床下機器温度検査装置の模式図である。It is a schematic diagram of the underfloor equipment temperature test | inspection apparatus of the railway vehicle which shows the Example of this invention. 本発明の実施例を示す鉄道車両床下機器温度情報を示す図である。It is a figure which shows the railway vehicle underfloor apparatus temperature information which shows the Example of this invention. 本発明の実施例を示す鉄道車両の車輪軸受温度検査装置の模式図である。1 is a schematic diagram of a wheel bearing temperature inspection device for a railway vehicle showing an embodiment of the present invention. 本発明の実施例を示す鉄道車両の異常音検査装置の模式図である。1 is a schematic diagram of an abnormal sound inspection apparatus for a railway vehicle showing an embodiment of the present invention. 本発明の実施例を示す鉄道車両振動検査装置の模式図である。It is a schematic view of a railway vehicle both vibration testing apparatus according to an embodiment of the present invention. 本発明の実施例を示す鉄道車両からの電界・磁界強度検査装置の模式図である。1 is a schematic diagram of an apparatus for inspecting electric field / magnetic field strength from a railway vehicle according to an embodiment of the present invention.

1 鉄道車両
2,12,22,32,42,52,62 カメラ
2A 画像フレーム
2B 部分画像
3,13,23,33,43,53,63 処理装置
4 鉄道車両全体の長尺画像の編集部
5 長尺画像データ
5A 長尺画像データから特徴を抽出する特徴抽出部
6 参照長尺画像データ
6A 参照長尺画像データから特徴を抽出する特徴抽出部
7 比較部
8,25,35,45,55,65 判定部
9,26,36,46,56,66 出力部
11,21,31,41,51,61 鉄道車両
14 センサー
24,34,44,54,64 編集部
27 サーモカメラ
28 床下面の長尺画像データ
29 床下機器
29A 床下機器の発熱
37 非接触式温度計
47 異常音測定用マイク
57 振動センサー
67 電界・磁界センサー
DESCRIPTION OF SYMBOLS 1 Rail vehicle 2, 12, 22, 32, 42, 52, 62 Camera 2A Image frame 2B Partial image 3, 13, 23, 33, 43, 53, 63 Processing apparatus 4 Long image editing part 5 of the entire rail vehicle characteristic extraction unit 7 comparing unit 8,25,35,45,55 that extracts features from long image data 5A length extracting features from scale image data characteristic extraction section 6 referring elongated image data 6A see elongated image data, 65 Judgment part 9, 26, 36, 46, 56, 66 Output part 11, 21, 31, 41, 51, 61 Railway vehicle 14 Sensor 24, 34, 44, 54, 64 Editing part 27 Thermo camera 28 Length of floor under surface Measured image data 29 Underfloor equipment 29A Heat generated from underfloor equipment 37 Non-contact thermometer 47 Microphone for measuring abnormal sound 57 Vibration sensor 67 Electric field / magnetic field sensor

Claims (18)

カメラを用いて移動する鉄道車両を撮影し、該撮影された画像から処理装置を用いて前記鉄道車両全体の長尺画像データを生成し、該長尺画像データから抽出した特徴を予め記憶された参照長尺画像データから抽出した特徴と比較してその差異を判定することにより、前記鉄道車両全体の検査を行うことを特徴とする長尺画像を用いた鉄道車両検査方法。 A moving railway vehicle is photographed using a camera, a long image data of the entire railway vehicle is generated from the photographed image using a processing device, and features extracted from the long image data are stored in advance. A rail vehicle inspection method using a long image, wherein the entire rail vehicle is inspected by determining a difference with a feature extracted from reference long image data. 請求項1記載の長尺画像を用いた鉄道車両検査方法において、前記移動する鉄道車両全体の長尺画像データは、前記カメラの各画像フレームの中心から部分画像を選択し、該部分画像を組み合わせることにより生成することを特徴とする長尺画像を用いた鉄道車両検査方法。 The railway vehicle inspection method using a long image according to claim 1, wherein for the long image data of the entire moving railway vehicle, a partial image is selected from the center of each image frame of the camera, and the partial images are combined. A railway vehicle inspection method using a long image characterized by being generated by the above. 請求項2記載の長尺画像を用いた鉄道車両検査方法において、前記画像フレームの部分画像幅は前記鉄道車両の移動量を基準にして選択することを特徴とする長尺画像を用いた鉄道車両検査方法。   3. The railway vehicle inspection method using a long image according to claim 2, wherein the partial image width of the image frame is selected based on a moving amount of the rail vehicle. Inspection method. 請求項3記載の長尺画像を用いた鉄道車両検査方法において、前記鉄道車両の移動量が大きい場合には前記部分画像幅を広くとり、移動量が小さい場合には狭くとることを特徴とする長尺画像を用いた鉄道車両検査方法。 4. The railway vehicle inspection method using a long image according to claim 3, wherein the partial image width is wide when the movement amount of the railway vehicle is large, and is narrow when the movement amount is small. Railway vehicle inspection method using long images. 請求項1から4の何れか1項記載の長尺画像を用いた鉄道車両検査方法において、前記カメラ及び処理装置を用いて作成される前記長尺画像データが前記鉄道車両の側面、底面又は上面を撮影した画像から得られることを特徴とする長尺画像を用いた鉄道車両検査方法。 The railway vehicle inspection method using the long image according to any one of claims 1 to 4, wherein the long image data created using the camera and the processing device is a side surface, a bottom surface, or an upper surface of the rail vehicle. A railway vehicle inspection method using a long image obtained from an image obtained by photographing カメラ及び処理装置を用いて移動する鉄道車両全体の長尺画像データを取得し、前記カメラとは別の種類のセンサーで別の種類の情報を得て、前記長尺画像データと同期化を行い、前記長尺画像データと組み合わされた時系列データとして取得することを特徴とする長尺画像を用いた鉄道車両検査方法。 Get the elongated image data of the whole railway vehicle moving with the camera and processing unit, to obtain different types of information in different types of sensors and the camera, the elongated image data and synchronize A railway vehicle inspection method using a long image, which is obtained as time-series data combined with the long image data . 請求項6記載の長尺画像を用いた鉄道車両検査方法において、前記センサーで前記鉄道車両の床下機器温度、屋根上機器温度又は車両側面温度を計測することを特徴とする長尺画像を用いた鉄道車両検査方法。   7. The railway vehicle inspection method using a long image according to claim 6, wherein the sensor is used to measure an underfloor equipment temperature, a roof equipment temperature or a vehicle side surface temperature of the railway vehicle. Railway vehicle inspection method. 請求項7記載の長尺画像を用いた鉄道車両検査方法において、前記床下機器温度が車輪軸受温度であることを特徴とする長尺画像を用いた鉄道車両検査方法。   The railway vehicle inspection method using a long image according to claim 7, wherein the underfloor equipment temperature is a wheel bearing temperature. 請求項6記載の長尺画像を用いた鉄道車両検査方法において、前記センサーで前記鉄道車両の異常音を計測することを特徴とする長尺画像を用いた鉄道車両検査方法。   7. The railway vehicle inspection method using a long image according to claim 6, wherein an abnormal sound of the railway vehicle is measured by the sensor. 請求項6記載の長尺画像を用いた鉄道車両検査方法において、前記センサーで前記鉄道車両の振動を計測することを特徴とする長尺画像を用いた鉄道車両検査方法。   7. The railway vehicle inspection method using a long image according to claim 6, wherein vibration of the railway vehicle is measured by the sensor. 請求項6記載の長尺画像を用いた鉄道車両検査方法において、前記センサーで前記鉄道車両からの電界強度または磁界強度を計測することを特徴とする長尺画像を用いた鉄道車両検査方法。   The railway vehicle inspection method using a long image according to claim 6, wherein the electric field intensity or magnetic field intensity from the railway vehicle is measured by the sensor. (a)線路脇又は線路内に配置され、移動する鉄道車両の画像を取得するカメラと、
(b)前記画像から前記鉄道車両全体の長尺画像データを生成するとともに、該長尺画像データから抽出した特徴と予め記憶した参照長尺画像データから抽出した特徴とを比較してその差異を判定することにより、前記鉄道車両の検査を行う処理装置とを具備することを特徴とする長尺画像を用いた鉄道車両検査装置。
(A) a camera that is placed beside or within a track and acquires an image of a moving railway vehicle;
With (b) from the image to produce a long image data of the entire rail vehicle, the difference by comparing the features extracted from the reference long image data previously stored extracted feature from the long continuous image data A railcar inspection device using a long image, comprising: a processing device that inspects the railcar by determining .
(a)線路脇又は線路内に配置され、移動する鉄道車両の画像を取得するカメラと、
(b)前記線路脇または線路内に固定して配置され、前記鉄道車両の画像とは別の種類の情報を取得する、前記カメラとは別の種類のセンサーと、
(c)前記画像から生成した長尺画像データに前記別の種類の情報を同期化し、前記長尺画像データと組み合わされた時系列データとして取得する処理装置とを具備することを特徴とする長尺画像を用いた鉄道車両検査装置。
(A) a camera that is placed beside or within a track and acquires an image of a moving railway vehicle;
(B) fixedly disposed in front Symbol line Michiwaki or in line, get another type of information from the image of the rail vehicle, and another type of sensor and the camera,
(C) a processing device that synchronizes the other type of information with the long image data generated from the image and acquires the information as time-series data combined with the long image data. Railway vehicle inspection device using a scale image.
請求項13記載の長尺画像を用いた鉄道車両検査装置において、前記センサーが前記鉄道車両の床下機器温度、屋根上機器温度または車両側面温度を計測するサーモカメラであることを特徴とする長尺画像を用いた鉄道車両検査装置。   14. The railway vehicle inspection apparatus using a long image according to claim 13, wherein the sensor is a thermo camera that measures an underfloor equipment temperature, an on-roof equipment temperature, or a vehicle side surface temperature of the railway vehicle. Railway vehicle inspection device using images. 請求項14記載の長尺画像を用いた鉄道車両検査装置において、前記センサーが前記鉄道車両の車輪軸受温度を計測する非接触式温度計であることを特徴とする長尺画像を用いた鉄道車両検査装置。   15. The railway vehicle inspection apparatus using a long image according to claim 14, wherein the sensor is a non-contact type thermometer that measures a wheel bearing temperature of the railway vehicle. Inspection device. 請求項13記載の長尺画像を用いた鉄道車両検査装置において、前記センサーが前記鉄道車両の騒音を計測する異常音測定用マイクであることを特徴とする長尺画像を用いた鉄道車両検査装置。   14. The railway vehicle inspection apparatus using a long image according to claim 13, wherein the sensor is an abnormal sound measuring microphone for measuring noise of the railway vehicle. . 請求項13記載の長尺画像を用いた鉄道車両検査装置において、前記センサーが前記鉄道車両の振動を計測する振動センサーであることを特徴とする長尺画像を用いた鉄道車両検査装置。   The railway vehicle inspection apparatus using a long image according to claim 13, wherein the sensor is a vibration sensor that measures vibration of the railway vehicle. 請求項13記載の長尺画像を用いた鉄道車両検査装置において、前記センサーが前記鉄道車両からの電界・磁界強度を計測する電界・磁界センサーであることを特徴とする長尺画像を用いた鉄道車両検査装置。   14. The railway vehicle inspection apparatus using a long image according to claim 13, wherein the sensor is an electric field / magnetic field sensor for measuring an electric field / magnetic field intensity from the railway vehicle. Vehicle inspection device.
JP2006047226A 2006-02-23 2006-02-23 Railway vehicle inspection method and apparatus using long images Expired - Fee Related JP4818747B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006047226A JP4818747B2 (en) 2006-02-23 2006-02-23 Railway vehicle inspection method and apparatus using long images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006047226A JP4818747B2 (en) 2006-02-23 2006-02-23 Railway vehicle inspection method and apparatus using long images

Publications (2)

Publication Number Publication Date
JP2007223473A JP2007223473A (en) 2007-09-06
JP4818747B2 true JP4818747B2 (en) 2011-11-16

Family

ID=38545684

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006047226A Expired - Fee Related JP4818747B2 (en) 2006-02-23 2006-02-23 Railway vehicle inspection method and apparatus using long images

Country Status (1)

Country Link
JP (1) JP4818747B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4795376B2 (en) * 2008-03-26 2011-10-19 公益財団法人鉄道総合技術研究所 Method and apparatus for detecting incompatibility of tread brake of railway vehicle
JP5952484B2 (en) * 2014-12-26 2016-07-13 東海旅客鉄道株式会社 Underfloor equipment monitoring system, installation condition calculation method
JP6883995B2 (en) * 2016-02-18 2021-06-09 三菱電機株式会社 Congestion level notification system, congestion level detection method, and program
JP6717666B2 (en) * 2016-06-01 2020-07-01 東日本旅客鉄道株式会社 Inspection image generator
JP7287873B2 (en) * 2019-10-01 2023-06-06 株式会社エヌ・ティ・ティ・データ Anomaly detection system, anomaly detection device, anomaly detection method and program

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0585361A (en) * 1991-09-30 1993-04-06 Fujitsu Ltd Congestion discriminating device for vehicle and method thereof
JP2883264B2 (en) * 1993-09-08 1999-04-19 キヤノン株式会社 Compound eye imaging device
JP2923210B2 (en) * 1994-09-22 1999-07-26 三菱重工業株式会社 Train bottom image monitoring system
JP3353024B2 (en) * 1996-03-28 2002-12-03 三菱電機株式会社 Pantograph slide thickness measuring device
EP0954828B1 (en) * 1997-01-30 2004-10-27 Yissum Research Development Company Of The Hebrew University Of Jerusalem Generalized panoramic mosaic
AU7939300A (en) * 1999-08-20 2001-03-19 Emaki, Inc. System and method for rectified mosaicing of images recorded by a moving camera
JP2003009144A (en) * 2001-06-27 2003-01-10 Emaki:Kk System for converting video image into digitized panoramic image and putting the image into database, and computer program therefor
JP2004312832A (en) * 2003-04-04 2004-11-04 Hitachi Industries Co Ltd Rooftop equipment monitoring/measuring device for railway car
JP3917983B2 (en) * 2004-03-29 2007-05-23 東海旅客鉄道株式会社 Vehicle underfloor equipment temperature detection device
JP4818748B2 (en) * 2006-02-23 2011-11-16 公益財団法人鉄道総合技術研究所 Railway facility inspection method and apparatus using long images

Also Published As

Publication number Publication date
JP2007223473A (en) 2007-09-06

Similar Documents

Publication Publication Date Title
JP4818747B2 (en) Railway vehicle inspection method and apparatus using long images
JP4818748B2 (en) Railway facility inspection method and apparatus using long images
US6909514B2 (en) Wheel profile inspection apparatus and method
KR100898061B1 (en) Hybrid tunnel scanning instrument
KR101111569B1 (en) Monitering System of Railroad Facilities using Railway Vehicle
JP5861318B2 (en) Trolley wire data comparison device
JP2018522526A (en) System and method for video inspection of pantographs along an imaginary contact line
KR101280243B1 (en) Measuring system for height and stagger and wear of catenary using machine vision
JP2009234338A (en) Integrity diagnostic system for trolley line of railway
WO2012161759A1 (en) Vision system for imaging and measuring rail deflection
TWI579523B (en) Line measuring device and method thereof
KR101806814B1 (en) the railroad tunnel inspecting system using train with the function of automatic registrating railroads tie ID and the sensing railroads tie ID
TW201022624A (en) Device for measuring trolley wire wear and deviation by image processing
Hart et al. Machine vision using multi-spectral imaging for undercarriage inspection of railroad equipment
JP2010071706A (en) Image-processing-based pantograph vertical acceleration measuring apparatus and method
KR100944691B1 (en) Power efficiency evaluation system of overhead contact lines
JP4723777B2 (en) Image inspection method and image inspection apparatus
CN113256512A (en) Method and device for completing depth image and inspection robot
JP5149403B2 (en) Image inspection method and image inspection apparatus
JP4298635B2 (en) Axle bearing monitoring method for rolling stock by measuring axle box sound
JP3629568B2 (en) Overhead wire inspection method and overhead wire inspection apparatus
Yilmazer et al. Determination of Railway Track Gauge with Image Processing
JP2004042837A (en) Overhead wire measuring device
Edwards et al. Development of machine vision technology for railcar safety appliance inspection
JP4858316B2 (en) Trolley wire wear measuring device by image processing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110830

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110831

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees