JPH0935176A - Vehicle kind discriminating device - Google Patents

Vehicle kind discriminating device

Info

Publication number
JPH0935176A
JPH0935176A JP7178322A JP17832295A JPH0935176A JP H0935176 A JPH0935176 A JP H0935176A JP 7178322 A JP7178322 A JP 7178322A JP 17832295 A JP17832295 A JP 17832295A JP H0935176 A JPH0935176 A JP H0935176A
Authority
JP
Japan
Prior art keywords
vehicle
light
information
light receiving
vehicle type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7178322A
Other languages
Japanese (ja)
Other versions
JP3351184B2 (en
Inventor
Chuichi Ueda
忠一 上田
Shiro Ogata
司郎 緒方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP17832295A priority Critical patent/JP3351184B2/en
Publication of JPH0935176A publication Critical patent/JPH0935176A/en
Application granted granted Critical
Publication of JP3351184B2 publication Critical patent/JP3351184B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide vehicle kind discriminating device capable of attaining simple installation, excellent durability, easy maintenance, accurate and quick operation, low cost, space saving, and so on. SOLUTION: This vehicle kind discriminating device is provided with a number-of-axes detecting device 1 having a projection part for projecting scanning light to a vehicle 60 and a light receiving part for receiving reflected light from the vehicle 60 and capable of obtaining vehicle information and distance information based upon a light receiving signal outputted from the light receiving part, a vehicle photographing camera 4 photographing the vehicle 60, a picture processor 3 for recognizing the number plate information of the vehicle 60 from picture data obtained from the camera 4, and vehicle kind discrimination control device 2 for discriminating the kind of the vehicle 60 from the vehicle information and the number plate information.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、有料道路、駐車場
等の料金収受装置に適用される車種判別装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle type identification device applied to a toll collection device for toll roads, parking lots and the like.

【0002】[0002]

【従来の技術】この種の車種判別装置としては、次の3
種類の装置がある。まず、図11に示す装置は、踏み板
方式のものであり、道路100を挟んで対向設置された
一対の車両分離器71と、一対の車高検知器72と、一
対のオーバーハング検知器73とを備え、更に道路10
0の路面に埋設された踏み板74と、車両を撮像する撮
像機75と、撮像された画像を処理する画像処理機76
とを備える。この装置は、車両のタイヤが踏み板74を
踏圧することによって車両の軸数計測を行い、軸数と画
像処理機76の出力情報より車両の車種を判別する。
2. Description of the Related Art As a vehicle type discrimination device of this type,
There are different types of devices. First, the device shown in FIG. 11 is a tread type, and includes a pair of vehicle separators 71, a pair of vehicle height detectors 72, and a pair of overhang detectors 73, which are opposed to each other across the road 100. Equipped with road 10
Footboard 74 embedded in the road surface of 0, an image pickup device 75 for picking up an image of the vehicle, and an image processor 76 for processing the picked up image.
With. This device measures the number of axes of the vehicle by depressing the tread 74 by the tire of the vehicle, and determines the vehicle type of the vehicle from the number of axes and the output information of the image processor 76.

【0003】図12に示す装置は、透過型光センサ方式
のものであり、道路100の両側に対向設置された車両
分離器の投光器81,82と、路肩101,102にそ
れぞれ対向埋設された軸数検知器の投光器83及び受光
器84とを備える。投光器83は投光素子として半導体
レーザ85を有し、受光器84は受光素子として複数個
のフォトトランジスタ86を有する。この装置は、投光
器83の半導体レーザ85から照射されるレーザ光を受
光器84の複数個のフォトトランジスタ86が検出する
ことによって、車軸検出と車種判別を行うだけでなく、
車両の前進・後進の判別も行う。
The device shown in FIG. 12 is of a transmissive optical sensor type, and includes projectors 81 and 82 of vehicle separators that are installed opposite to each other on both sides of a road 100 and shafts that are embedded opposite to each other on road shoulders 101 and 102. A light projector 83 and a light receiver 84 of a number detector are provided. The light projector 83 has a semiconductor laser 85 as a light projecting element, and the light receiver 84 has a plurality of phototransistors 86 as light receiving elements. This device not only performs axle detection and vehicle type determination by the laser light emitted from the semiconductor laser 85 of the projector 83 being detected by the plurality of phototransistors 86 of the light receiver 84,
It also determines whether the vehicle is moving forward or backward.

【0004】図13に示す装置は、画像処理方式のもの
であり、道路100を挟んで対向設置された一対の車両
分離器91と、一対の車高検知器92と、一対のオーバ
ーハング検知器93とを備え、更に車両の側面を撮像す
る側面撮像機94と、車両の前面を撮像する前面撮像機
95と、撮像された側面及び前面画像を処理する画像処
理機96とを備える。この装置は、前面撮像機95によ
りトレッドを検出し、側面撮像機94により前進・後進
の検出と軸数の検出を行う。
The apparatus shown in FIG. 13 is of an image processing type, and has a pair of vehicle separators 91, a pair of vehicle height detectors 92, and a pair of overhang detectors, which are opposed to each other across the road 100. And a side image pickup device 94 for picking up the side face of the vehicle, a front face pick-up device 95 for picking up the front face of the vehicle, and an image processor 96 for processing the picked up side and front face images. In this apparatus, the front image pickup device 95 detects a tread, and the side image pickup device 94 detects forward / backward movement and the number of axes.

【0005】[0005]

【発明が解決しようとする課題】しかしながら、図11
の踏み板方式の装置では、次の問題点がある。 (1)踏み板74は路面に埋設しなければならないた
め、路面を掘る工事が必要である。 (2)装置据付、修理及びメンテナンス時には、長時間
の車両通行止めが必要であるため、交通量の多い既設道
路への導入が困難である。 (3)橋桁の工事ができないので、高架道路には導入で
きない。 (4)機械式で、可動部があるため、耐用期間が短い。 (5)運用期間中、一定期間毎に踏み板74を交換する
必要がある。
However, FIG.
The stepping plate type apparatus has the following problems. (1) Since the tread 74 must be buried in the road surface, it is necessary to dig the road surface. (2) At the time of installation, repair, and maintenance of the apparatus, it is necessary to keep the vehicle closed for a long time, so that it is difficult to introduce the apparatus on an existing road with heavy traffic. (3) Since bridge girder construction is not possible, it cannot be introduced on elevated roads. (4) The service life is short because it is mechanical and has movable parts. (5) It is necessary to replace the footboard 74 at regular intervals during the operation period.

【0006】図12の透過型光センサ方式の装置では、
次の問題点がある。 (6)車両の通過領域(道路)の両側に工事が必要なた
め、装置の設置場所が制限される。 (7)投光器83及び受光器84を路面に近い低い位置
に設置するので、汚れ等による誤動作が発生し易い。 (8)メンテナンスが大変である。
In the transmission type optical sensor type device of FIG.
There are the following problems. (6) Since construction is required on both sides of the vehicle passage area (road), the installation location of the device is limited. (7) Since the light projector 83 and the light receiver 84 are installed at low positions near the road surface, malfunction due to dirt or the like is likely to occur. (8) Maintenance is difficult.

【0007】図13の画像処理方式の装置では、次の問
題点がある。 (9)高価な撮像機を2台も用いるので、コスト高にな
る。 (10)設置スペースが大きい。 (11)高速応答ができない。 従って、本発明は、このような問題点(1)〜(11)に
着目してなされたもので、簡単な設置、優れた耐久性、
容易なメンテナンス、正確で迅速な動作、低コスト、省
スペース等を実現する車種判別装置を提供することを目
的とする。
The image processing system shown in FIG. 13 has the following problems. (9) Since two expensive imaging devices are used, the cost increases. (10) Large installation space. (11) High-speed response is not possible. Therefore, the present invention has been made in view of such problems (1) to (11), and has simple installation, excellent durability,
It is an object of the present invention to provide a vehicle type identification device that realizes easy maintenance, accurate and quick operation, low cost, space saving, and the like.

【0008】[0008]

【課題を解決するための手段】前記目的を達成するため
に、本発明の請求項1記載の車種判別装置は、車両又は
路面に走査投光する投光部、及び車両又は路面からの反
射光を受光する受光部を有し、受光部の受光信号から車
両に関する情報と距離情報を得る軸数検出装置と、車両
を撮影する車両撮影装置と、この車両撮影装置より得ら
れた画像データより車両のナンバープレートの情報を認
識する画像処理装置と、前記車両に関する情報とナンバ
ープレートの情報より車両の車種を判別する車種判別制
御装置とを備えることを特徴とする。
In order to achieve the above-mentioned object, a vehicle type discriminating apparatus according to claim 1 of the present invention comprises a light projecting section for scanning and projecting light onto a vehicle or a road surface, and reflected light from the vehicle or the road surface. A number-of-axes detecting device for obtaining information about the vehicle and distance information from a light-receiving signal of the light-receiving part, a vehicle photographing device for photographing the vehicle, and a vehicle based on image data obtained by the vehicle photographing device. The image processing device for recognizing the information of the license plate, and the vehicle type discrimination control device for discriminating the vehicle type of the vehicle from the information on the vehicle and the information of the license plate.

【0009】本発明の装置では、軸数検出装置が車両や
路面からの反射光による信号に基づいて車両に関する情
報(軸数、位置、進行方向等)と距離情報(路面又は車
両までの距離)を判定する一方、画像処理装置が車両撮
影装置より得られた画像データより車両のナンバープレ
ート情報を認識し、車種判別制御装置が車両に関する情
報(軸数)と車両のナンバープレート情報より車両の車
種を判別する。特に、本発明の装置は、光ビームの強弱
により軸数を検出するのではなく、非接触式で汚れに強
く、距離情報も得る軸数検出装置で軸数を検出するもの
であるため、前記問題点(1)〜(11)を解決し、簡単
な設置、優れた耐久性、容易なメンテナンス、正確で迅
速な動作、低コスト、省スペース等を実現できる。
In the device of the present invention, the axis number detecting device uses the signal due to the reflected light from the vehicle or the road surface to provide information about the vehicle (number of axes, position, traveling direction, etc.) and distance information (distance to the road surface or vehicle). On the other hand, the image processing device recognizes the license plate information of the vehicle from the image data obtained from the vehicle photographing device, and the vehicle type discrimination control device recognizes the vehicle type of the vehicle from the information (number of axles) about the vehicle and the license plate information of the vehicle. To determine. In particular, the device of the present invention does not detect the number of axes by the intensity of the light beam, but is a non-contact type that is resistant to dirt and detects the number of axes by a number of axes detecting device that also obtains distance information. By solving the problems (1) to (11), it is possible to realize simple installation, excellent durability, easy maintenance, accurate and quick operation, low cost, and space saving.

【0010】[0010]

【発明の実施の形態】以下、本発明の車種判別装置を実
施の形態に基づいて説明する。図1は、その一実施形態
に係る車種判別装置を料金所に設置した例を示す。車両
又は路面に走査投光する投光部、及び車両又は路面から
の反射光を受光する受光部を有し、受光部の受光信号か
ら車両に関する情報(軸数、位置、進行方向等)と距離
情報(路面又は車両までの距離)を得る軸数検出装置1
と、軸数に関する情報とナンバープレートの情報より車
両の車種を判別する車種判別制御装置2は、料金所のア
ライアント50上に設置されている。但し、この実施形
態では、車種判別制御装置2は、車両撮影装置(例えば
車両撮影カメラ)4より得られた画像データより車両の
ナンバープレートの情報を認識する画像処理装置3(図
2参照)を含んでいる。車両撮影カメラ4は、料金所の
屋根51に取付けられ、アライアント50の前方に進入
してくる車両60を斜め前方から撮影するように設定さ
れている。なお、アライアント50には、料金案内板5
2も設置されている。図1から分かるように、本発明の
車種判別装置は、路面に設置する必要がなく、通行止め
をすることなく設置が可能で、メンテナンスも容易であ
る。又、道路の片側にのみ設置すればよいので、省スペ
ース化を図れる。
BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, a vehicle type discriminating apparatus of the present invention will be described based on an embodiment. FIG. 1 shows an example in which the vehicle type identification device according to the embodiment is installed at a tollgate. It has a light projecting unit that scans and projects light onto the vehicle or road surface, and a light receiving unit that receives reflected light from the vehicle or road surface. From the light receiving signal of the light receiving unit, information about the vehicle (number of axes, position, traveling direction, etc.) and distance Axis number detection device 1 for obtaining information (distance to road surface or vehicle)
The vehicle type identification control device 2 that determines the vehicle type of the vehicle based on the information about the number of axes and the license plate information is installed on the alliance 50 at the tollgate. However, in this embodiment, the vehicle type identification control device 2 uses an image processing device 3 (see FIG. 2) that recognizes information about a license plate of a vehicle from image data obtained from a vehicle imaging device (for example, a vehicle imaging camera) 4. Contains. The vehicle photographing camera 4 is attached to the roof 51 of the tollgate, and is set so as to photograph the vehicle 60 approaching in front of the alliant 50 from an oblique front. In addition, there is a charge information board 5 on the Alliance 50.
2 are also installed. As can be seen from FIG. 1, the vehicle type identification device of the present invention does not need to be installed on the road surface, can be installed without blocking roads, and is easy to maintain. Further, since it is only necessary to install it on one side of the road, it is possible to save space.

【0011】このように構成した車種判別装置のブロッ
ク図を図2に示す。軸数検出装置1は、この装置1の前
を車両60が通過するとき、車両60に投光し、車両6
0からの反射光を受光し、受光信号から車両60に関す
る情報(軸数、位置、進行方向等)と距離情報を判定
し、それらの情報を車種判別制御装置2に出力する。そ
れらの情報のうち、距離情報は画像処理装置3にも出力
される。一方、軸数検出装置1が距離と位置情報に基づ
いて車頭と判定された時、撮像開始信号を車両撮影カメ
ラ4に出力し、車両撮影カメラ4は車両60の前方を撮
像する。画像処理装置3は、撮影された画像データから
車両60のナンバープレートの情報を認識し、その情報
を車種判別制御装置2に出力する。車種判別制御装置2
は、車両60に関する情報(車両の軸数)とナンバープ
レートの情報を総合的に判断し、車両60の車種を判別
し、その判別結果(車種)を出力する。
FIG. 2 shows a block diagram of the vehicle type discriminating apparatus constructed as described above. When the vehicle 60 passes in front of the device 1, the axis number detecting device 1 projects the light onto the vehicle 60 and
The reflected light from 0 is received, the information (the number of axes, the position, the traveling direction, etc.) regarding the vehicle 60 and the distance information are determined from the received light signal, and the information is output to the vehicle type determination control device 2. Of these pieces of information, the distance information is also output to the image processing device 3. On the other hand, when the number-of-axes detecting device 1 is determined to be the vehicle head based on the distance and the position information, the imaging start signal is output to the vehicle photographing camera 4, and the vehicle photographing camera 4 images the front of the vehicle 60. The image processing device 3 recognizes the information of the license plate of the vehicle 60 from the photographed image data and outputs the information to the vehicle type discrimination control device 2. Vehicle type identification control device 2
Comprehensively determines information on the vehicle 60 (number of axles of the vehicle) and information on the license plate, determines the vehicle type of the vehicle 60, and outputs the determination result (vehicle type).

【0012】上記のような車種判別装置において、軸数
検出装置1の要部概略構成図を図3に、ブロック図を図
4に示す。軸数検出装置1は、投光素子としてのレーザ
ダイオード(LD)11、コリメータ(投光レンズ)1
2及び光学フィルタ13を有する投光モジュール10
と、一次元の受光素子としての位置検出素子〔Position
Sensitive Device(PSD)〕21、受光レンズ22及
び光学フィルタ23を有する受光モジュール20と、L
D11の駆動回路31、及び受光モジュール20の受光
信号を処理し、車両に関する情報と距離情報を割り出し
て出力する割算回路32を有する処理回路30とを備え
る。但し、一次元の受光素子としてはPSDの他に、P
Dアレイ(一次元CCD)を用いてもよい。又、割算回
路32は、情報に異常がある場合は異常信号を出力す
る。
In the vehicle type discriminating apparatus as described above, FIG. 3 shows a schematic configuration diagram of a main part of the shaft number detecting apparatus 1, and FIG. 4 shows a block diagram thereof. The axis number detection device 1 includes a laser diode (LD) 11 as a light projecting element and a collimator (light projecting lens) 1
2 and an optical filter 13 having a light projecting module 10
And a position detecting element [Position
Sensitive Device (PSD)] 21, a light-receiving module 20 having a light-receiving lens 22 and an optical filter 23, and L
A driving circuit 31 of D11 and a processing circuit 30 having a division circuit 32 which processes the light reception signal of the light reception module 20 and calculates and outputs information about the vehicle and distance information. However, as a one-dimensional light receiving element, in addition to PSD, P
A D array (one-dimensional CCD) may be used. Further, the division circuit 32 outputs an abnormal signal when the information is abnormal.

【0013】投光モジュール10から出射された光束
は、回転駆動されるポリゴンミラー40により車両のタ
イヤ61に走査投光される。ポリゴンミラー40は、道
路の縦断方向に平行に配置され(図3の座標軸参照)、
エンコーダを有するモータ41により回転駆動される。
又、ポリゴンミラー40の回転に伴って、エンコーダに
より位置情報が出力される。なお、この実施形態では、
投光モジュール10と、ポリゴンミラー40及びモータ
41からなる光束走査機構とにより投光部が構成され、
受光モジュール20と、同じくポリゴンミラー40及び
モータ41からなる受光視野走査機構とにより受光部が
構成される。受光視野走査機構は、投光される光束と連
携しながら受光視野を走査するようになっている。
The light beam emitted from the light projecting module 10 is scanned and projected onto the tire 61 of the vehicle by the polygon mirror 40 which is rotationally driven. The polygon mirror 40 is arranged parallel to the longitudinal direction of the road (see coordinate axes in FIG. 3),
It is rotationally driven by a motor 41 having an encoder.
The position information is output by the encoder as the polygon mirror 40 rotates. In this embodiment,
The light projecting module 10 and the light beam scanning mechanism including the polygon mirror 40 and the motor 41 constitute a light projecting unit.
The light receiving module 20 and the light receiving visual field scanning mechanism also including the polygon mirror 40 and the motor 41 constitute a light receiving unit. The light-receiving visual field scanning mechanism scans the light-receiving visual field in cooperation with the projected light beam.

【0014】このような軸数検出装置1は、三角測距の
原理に基づいて、路面又は車両までの距離を測定してい
る。その出力特性は、図3(時間−距離のグラフ)に示
すようになり、タイヤ61に投光したときだけ距離が短
くなり、タイヤ61(即ち軸数)を検出できる。又、光
束走査機構を有するため、路面上の任意の位置に来る車
両の検出が可能となるだけでなく、受光視野走査機構を
有するため、太陽光等の外乱光が一次元の受光素子に受
光される量が減少し、S/N比を大きくすることができ
る。
Such an axis number detecting device 1 measures the distance to the road surface or the vehicle based on the principle of triangulation. The output characteristic is as shown in FIG. 3 (time-distance graph), and the distance becomes short only when light is projected onto the tire 61, and the tire 61 (that is, the number of axes) can be detected. In addition, since it has a light beam scanning mechanism, it can not only detect a vehicle that comes to an arbitrary position on the road surface, but because it has a light receiving visual field scanning mechanism, ambient light such as sunlight is received by a one-dimensional light receiving element. The amount to be reduced can be reduced and the S / N ratio can be increased.

【0015】更に図5に示すように、軸数検出装置1の
距離情報を時系列的に並べることで、車両60の形状を
認識することができるので、その形状の情報より車両6
0の車種を判別することも可能である。次に、各種変更
例について記載する。まず、軸数検出装置1が投光モジ
ュール10からの光束をパルス変調する場合、図4のブ
ロック図において、LD11とレーザ駆動回路31を組
合せ、パルス変調した光束をLD11より出射させる。
受光素子21の後段に設ける受光回路は、ピークホルダ
回路又はレーザ駆動回路と同期を取りパルスを検出する
ようにしておく。LD11のパワーをパルス変調する
と、太陽光等の外乱光はパルス変調の周波数よりも小さ
いので、DC発光源とみなすことができる。この場合、
図6に示すように受光素子21からの出力電流はDC成
分にAC成分が乗った状態となる。この出力電流よりパ
ルス成分だけを取り出すことにより、信号と太陽光等の
外乱光のノイズとを分離することができる。この結果、
S/N比を向上することができる。
Further, as shown in FIG. 5, the shape of the vehicle 60 can be recognized by arranging the distance information of the axis number detecting device 1 in time series. Therefore, the vehicle 6 can be recognized from the shape information.
It is also possible to determine the vehicle type of 0. Next, various modifications will be described. First, when the axis number detecting device 1 pulse-modulates the light beam from the light projecting module 10, the LD 11 and the laser drive circuit 31 are combined in the block diagram of FIG. 4 to emit the pulse-modulated light beam from the LD 11.
The light receiving circuit provided in the subsequent stage of the light receiving element 21 is synchronized with the peak holder circuit or the laser drive circuit to detect a pulse. When the power of the LD 11 is pulse-modulated, ambient light such as sunlight is smaller than the pulse-modulated frequency, and thus can be regarded as a DC light emission source. in this case,
As shown in FIG. 6, the output current from the light receiving element 21 is in a state in which the AC component is superimposed on the DC component. By extracting only the pulse component from this output current, it is possible to separate the signal from the noise of ambient light such as sunlight. As a result,
The S / N ratio can be improved.

【0016】投光モジュール10が狭いスペクトル波長
を投光し、受光モジュール20がバンドパスフィルタを
有する場合、図4のブロック図において、ここでは受光
レンズ22の前方に光学フィルタ23としてのバンドパ
スフィルタを設定した構成とする。そして、LD11に
は、例えば赤外線領域の狭い波長スペクトルを持つ光束
を発するLDを用い、バンドパスフィルタ23には、L
D11から出射する赤外線領域の光のみを透過するフィ
ルタを用い、計測に必要な波長の光のみを選択的に受光
素子21に結合させる。こうすることで、太陽光等の外
乱光の影響を減少でき、S/N比を向上することができ
る。
When the light projecting module 10 projects a narrow spectrum wavelength and the light receiving module 20 has a bandpass filter, a bandpass filter as the optical filter 23 is provided in front of the light receiving lens 22 in the block diagram of FIG. Is set. Then, for the LD 11, for example, an LD that emits a light flux having a narrow wavelength spectrum in the infrared region is used, and for the bandpass filter 23, L is used.
Using a filter that transmits only light in the infrared region emitted from D11, only light having a wavelength required for measurement is selectively coupled to the light receiving element 21. By doing so, the influence of ambient light such as sunlight can be reduced, and the S / N ratio can be improved.

【0017】投光及び受光モジュール10,20がそれ
ぞれ偏光フィルタを有する場合、図4のブロック図にお
いて、投光モジュール10の光学フィルタ13と受光モ
ジュール20の光学フィルタ23を、それぞれ偏光フィ
ルタとする。LD11より照射された光は、偏光フィル
タ13を通過することによって直線偏光となる。又、受
光レンズ22の前方に位置する偏光フィルタ23を、直
線偏光の傾きと直角となるように設定する。これによ
り、水溜まり、車両のホイール、車体等からの外乱とな
る正反射光を除去することができ、S/N比の向上、誤
動作の防止を達成できる。
When the light projecting and light receiving modules 10 and 20 each have a polarization filter, the optical filter 13 of the light projecting module 10 and the optical filter 23 of the light receiving module 20 are respectively polarization filters in the block diagram of FIG. The light emitted from the LD 11 becomes linearly polarized light by passing through the polarization filter 13. Further, the polarization filter 23 located in front of the light receiving lens 22 is set so as to be perpendicular to the inclination of the linearly polarized light. As a result, it is possible to remove specularly reflected light from the water pool, the wheels of the vehicle, the vehicle body, and the like, and improve the S / N ratio and prevent malfunctions.

【0018】受光モジュール20(特に受光素子21)
を路面に対して共役な位置関係に設定する場合の構成図
を図7の(b)に示す。但し、図7では説明し易くする
ためにポリゴンミラー40を省略してあるが、ポリゴン
ミラー40が在る場合も同様である。図7の(a)のよ
うに、受光レンズ22と受光素子(PSD)21が平行
に設置されているとき、B点の像がPSD21上に結像
(B’)したとしても、A点及びC点の像はPSD21
上に結像(A’,C’)せず、像が惚ける。このため、
距離の測定に誤差が生じる。しかしながら、図7の
(b)に示すように路面とPSD21を共役の位置に設
定すると、A点、B点、C点の像は全てPSD21上に
結像(A’,B’,C’)するので、測定誤差を無くす
ことができる。
Light receiving module 20 (especially light receiving element 21)
FIG. 7B shows a configuration diagram in the case where is set to a conjugate positional relationship with the road surface. However, in FIG. 7, the polygon mirror 40 is omitted for ease of explanation, but the same applies when the polygon mirror 40 is present. As shown in FIG. 7A, when the light receiving lens 22 and the light receiving element (PSD) 21 are installed in parallel, even if the image of the point B is imaged (B ′) on the PSD 21, The image of point C is PSD21
The image falls in love without being imaged (A ', C') on top. For this reason,
There is an error in the distance measurement. However, when the road surface and the PSD 21 are set to conjugate positions as shown in FIG. 7B, all images at points A, B, and C are imaged on the PSD 21 (A ′, B ′, C ′). Therefore, the measurement error can be eliminated.

【0019】軸数検出装置を複数台備え、それらの軸数
検出装置が道路の一方側に並んで設置されている例を図
8に示す。図8では、2台の軸数検出装置1-1,1-2
道路100の一方側に並べて配置してある。この場合、
車両60が通過すると、必ず2台の軸数検出装置1-1
-2のどちらか一方が先に車両60の軸を検出するの
で、車両の進行方向を検出することができる。例えば、
図8の例では、車両60が矢印方向に進行すると、軸数
検出装置1-2が先に軸を検出し、その後に軸数検出装置
-1が軸を検出するので、これに基づいて車両60が矢
印方向に進行していることを判定できる。
FIG. 8 shows an example in which a plurality of axis number detecting devices are provided and the axis number detecting devices are installed side by side on one side of the road. In FIG. 8, two axis number detecting devices 1 -1 , 1 -2 are arranged side by side on one side of the road 100. in this case,
When the vehicle 60 passes, the two axis number detecting devices 1 -1 ,
Since 1 -2 either of detecting the axis of the vehicle 60 ahead, it is possible to detect the traveling direction of the vehicle. For example,
In the example of FIG. 8, when the vehicle 60 travels in the arrow direction, the number of axes detector 1 -2 detects axis first and then the shaft speed meter 1 -1 detects an axis, based on this It can be determined that the vehicle 60 is traveling in the direction of the arrow.

【0020】軸数検出装置を複数台備え、それらの軸数
検出装置が道路の両側に道路の横断方向に対して互い違
いに位置をずらして設置されている例を図9に示す。こ
こでは、2台の軸数検出装置1-1,1-2が道路100の
両側に横断方向の位置をずらして設置されている。この
場合も、車両60が通過すると、必ず2台の軸数検出装
置1-1,1-2のどちらか一方が先に軸を検出するので、
車両60の進行方向を検出できる。又、図9の場合、軸
数検出装置は図5で説明したように、距離情報から車両
の形状を認識できるので、2台の軸数検出装置1-1,1
-2の車両の形状情報から車両60の幅を検出することも
できる。そして、車両の幅をも情報として使用すると、
よりきめ細かな車種判別が可能となる。
FIG. 9 shows an example in which a plurality of axis number detecting devices are provided, and the axis number detecting devices are installed on both sides of the road in a staggered manner with respect to the transverse direction of the road. Here, two axis number detection devices 1 -1 , 1 -2 are installed on both sides of the road 100 with their positions in the transverse direction shifted. Also in this case, when the vehicle 60 passes, one of the two axis number detection devices 1 -1 , 1 -2 always detects the axis first, so
The traveling direction of the vehicle 60 can be detected. Further, in the case of FIG. 9, since the axis number detecting device can recognize the shape of the vehicle from the distance information as described in FIG. 5, the two axis number detecting devices 1 -1 , 1
It is also possible to detect the width of the vehicle 60 from the vehicle shape information of -2 . And using the width of the vehicle as information,
More detailed vehicle type discrimination is possible.

【0021】画像処理装置3が、軸数検出装置1の距離
情報を加えて車両のナンバープレートの情報を認識する
例を図10に示す。図10は、撮影カメラ4からの画像
データを示している。従来、画像データ上の車両データ
Sを抽出するのに、全データをスキャンしていた(走査
a参照)。このため、画像データ中の不要なデータまで
走査することになり、必要な車両データSの抽出までに
時間が掛かる。これに対し、車両までの距離情報を用い
ることによって、画像データ上の車両データSの位置を
特定できる。つまり、車両データSの位置から走査を開
始すればよい(走査b参照)。これにより、車両データ
の抽出時間を短縮でき、画像処理装置3の応答速度を向
上することができる。
FIG. 10 shows an example in which the image processing device 3 recognizes the information of the license plate of the vehicle by adding the distance information of the axis number detecting device 1. FIG. 10 shows image data from the photographing camera 4. Conventionally, in order to extract the vehicle data S on the image data, all the data have been scanned (see scan a). Therefore, unnecessary data in the image data is scanned, and it takes time to extract the necessary vehicle data S. On the other hand, the position of the vehicle data S on the image data can be specified by using the distance information to the vehicle. That is, the scanning may be started from the position of the vehicle data S (see scanning b). Thereby, the extraction time of vehicle data can be shortened and the response speed of the image processing device 3 can be improved.

【0022】[0022]

【発明の効果】本発明の車種判別装置は、以上説明した
ように構成されるので、下記の効果を有する。 (1)路面に埋設する必要がなく、従って通行止めをし
なくても設置が可能で、メンテナンスも容易である。 (2)路面工事が難しい高架部への設置も可能となる。 (3)道路の片側にのみ設置すればよく、省スペース化
を図れる。 (4)車両撮影装置は例えば撮影カメラでよいため、高
価な撮像機は必要なく、また構造的にも簡素であるた
め、低コストである。 (5)構造的に簡素で、機械的可動部もないため、耐久
性に優れている。 (6)軸数検出装置は光ビームの強弱で検出するのでは
なく結像光学系により検出するものであるため、その投
光部及び受光部は路面から1〜2m程度の高い地点に設
けることができる。又、それにより、例えば雨天時にお
ける路面からの泥や水しぶき等の影響を最小限にするこ
とができ、誤動作なく正確に軸数等を検出することがで
きる。 (7)軸数検出装置の距離情報を時系列的に並べること
により、車両の形状を認識でき、車両の形状より車種判
別が可能となる。 (8)軸数検出装置が投光部からの光束をパルス変調す
ること、投光部から狭いスペクトル波長を投光し、受光
部にバンドパスフィルタを有すること、或いは投光部及
び受光部に偏光フィルタを有することにより、太陽光等
の外乱光の影響が減少し、S/N比を向上でき、誤動作
を防止できる。 (9)軸数検出装置が受光部を路面に対して共役な位置
関係に設定してあることにより、像惚けを防止でき、測
定誤差を無くすことができる。 (10)軸数検出装置を複数台備え、それらの軸数検出装
置が、道路の一方側に並んで設置されていること、或い
は道路の両側に道路の横断方向に対して互い違いに位置
をずらして設置されていることにより、車両の進行方向
を検出できる。又、後者の場合、車両の幅も検出でき、
車両の幅も情報として利用すれば、よりきめ細かな車種
判別が可能となる。 (11)画像処理装置が軸数検出装置の距離情報を加えて
車両のナンバープレートの情報を認識することにより、
画像処理装置の応答速度を向上できる。
The vehicle type discriminating apparatus of the present invention has the following effects because it is configured as described above. (1) It is not necessary to bury it on the road surface, so that it can be installed without blocking traffic and maintenance is easy. (2) It is possible to install it on an elevated part where road surface construction is difficult. (3) Only one side of the road needs to be installed, and space can be saved. (4) Since the vehicle photographing device may be, for example, a photographing camera, an expensive image pickup device is not necessary and the structure is simple, so that the cost is low. (5) It is structurally simple and has no mechanical moving parts, so it has excellent durability. (6) Since the axis number detection device does not detect by the intensity of the light beam but by the imaging optical system, the light projecting unit and the light receiving unit should be provided at a high point of about 1 to 2 m from the road surface. You can Further, by doing so, it is possible to minimize the influence of mud and splashes from the road surface in the case of rain, and it is possible to accurately detect the number of axes without malfunction. (7) By arranging the distance information of the axis number detection device in time series, the shape of the vehicle can be recognized, and the vehicle type can be discriminated from the shape of the vehicle. (8) The axis number detecting device pulse-modulates the light beam from the light projecting unit, projects a narrow spectrum wavelength from the light projecting unit, and has a bandpass filter in the light receiving unit, or in the light projecting unit and the light receiving unit. By including the polarizing filter, the influence of ambient light such as sunlight can be reduced, the S / N ratio can be improved, and malfunction can be prevented. (9) Since the axis number detecting device sets the light receiving portion in a conjugate positional relationship with the road surface, image blur can be prevented and measurement error can be eliminated. (10) A plurality of axis number detectors are provided, and the axis number detectors are installed side by side on one side of the road, or are staggered on both sides of the road in the transverse direction of the road. Since the vehicle is installed as a vehicle, the traveling direction of the vehicle can be detected. In the latter case, the width of the vehicle can also be detected,
If the width of the vehicle is also used as information, it is possible to perform more detailed vehicle type discrimination. (11) The image processing device recognizes the information of the license plate of the vehicle by adding the distance information of the axis number detection device,
The response speed of the image processing device can be improved.

【図面の簡単な説明】[Brief description of drawings]

【図1】一実施形態に係る車種判別装置を料金所に設置
した例を示す図である。
FIG. 1 is a diagram showing an example in which a vehicle type identification device according to an embodiment is installed in a tollgate.

【図2】同実施形態の車種判別装置の構成ブロック図で
ある。
FIG. 2 is a configuration block diagram of a vehicle type identification device of the same embodiment.

【図3】同実施形態の車種判別装置における軸数検出装
置の要部概略構成図である。
FIG. 3 is a schematic configuration diagram of a main part of an axis number detection device in the vehicle type identification device of the same embodiment.

【図4】同軸数検出装置の構成ブロック図である。FIG. 4 is a configuration block diagram of a coaxial number detecting device.

【図5】同軸数検出装置の距離情報を時系列的に並べた
場合を示す図である。
FIG. 5 is a diagram showing a case where distance information of the coaxial number detecting device is arranged in time series.

【図6】同軸数検出装置における投光部のLDのパワー
をパルス変調した場合の受光部の受光素子の出力電流と
時間との関係を示す図である。
FIG. 6 is a diagram showing the relationship between the output current of the light receiving element of the light receiving unit and time when the power of the LD of the light emitting unit in the coaxial number detecting device is pulse-modulated.

【図7】同軸数検出装置における受光部の受光素子を路
面に対して非共役(a)及び共役(b)な位置関係にし
た場合の結像状態を示す図である。
FIG. 7 is a diagram showing an image formation state in the case where the light receiving element of the light receiving unit in the coaxial number detecting device is in a non-conjugated (a) and conjugate (b) positional relationship with the road surface.

【図8】2台の同軸数検出装置を並べて設置した図であ
る。
FIG. 8 is a diagram in which two coaxial number detecting devices are installed side by side.

【図9】2台の同軸数検出装置を道路の両側に横断方向
の位置をずらして設置した図である。
FIG. 9 is a diagram in which two coaxial number detecting devices are installed on both sides of a road with their positions in the transverse direction being shifted.

【図10】同実施形態の車種判別装置における画像処理
装置の画像データを示す図である。
FIG. 10 is a diagram showing image data of an image processing device in the vehicle type identification device of the embodiment.

【図11】従来例に係る踏み板方式の車種判別装置の構
成図である。
FIG. 11 is a configuration diagram of a vehicle type identification device of a footstep system according to a conventional example.

【図12】従来例に係る透過型光センサ方式の車種判別
装置の構成図である。
FIG. 12 is a configuration diagram of a transmission type optical sensor type vehicle type identification device according to a conventional example.

【図13】従来例に係る画像処理方式の車種判別装置の
構成図である。
FIG. 13 is a configuration diagram of an image processing type vehicle type identification device according to a conventional example.

【符号の説明】[Explanation of symbols]

1 軸数検出装置 2 車種判別制御装置 3 画像処理装置 4 車両撮影カメラ(車両撮影装置) 11 レーザダイオード(投光素子) 13,23 光学フィルタ 21 PSD(受光素子) 40 ポリゴンミラー 60 車両 61 車両のタイヤ 1 Axis Number Detection Device 2 Vehicle Type Discrimination Control Device 3 Image Processing Device 4 Vehicle Photographing Camera (Vehicle Imaging Device) 11 Laser Diode (Light Emitting Element) 13, 23 Optical Filter 21 PSD (Photosensitive Element) 40 Polygon Mirror 60 Vehicle 61 Vehicle tire

Claims (8)

【特許請求の範囲】[Claims] 【請求項1】車両又は路面に走査投光する投光部、及び
車両又は路面からの反射光を受光する受光部を有し、受
光部の受光信号から車両に関する情報と距離情報を得る
軸数検出装置と、車両を撮影する車両撮影装置と、この
車両撮影装置より得られた画像データより車両のナンバ
ープレートの情報を認識する画像処理装置と、前記車両
に関する情報とナンバープレートの情報より車両の車種
を判別する車種判別制御装置とを備えることを特徴とす
る車種判別装置。
1. A number of axes having a light projecting section for scanning and projecting light onto a vehicle or a road surface, and a light receiving section for receiving reflected light from the vehicle or a road surface, and obtaining information about the vehicle and distance information from a light receiving signal of the light receiving section. A detection device, a vehicle photographing device for photographing the vehicle, an image processing device for recognizing information of the license plate of the vehicle from image data obtained by the vehicle photographing device, a vehicle of the vehicle based on the information on the vehicle and the license plate information. A vehicle type identification device, comprising: a vehicle type identification control device for identifying a vehicle type.
【請求項2】前記軸数検出装置は、投光部からの光束を
パルス変調することを特徴とする請求項1記載の車種判
別装置。
2. The vehicle type discriminating device according to claim 1, wherein the axis number detecting device pulse-modulates the light beam from the light projecting portion.
【請求項3】前記軸数検出装置は、投光部から狭いスペ
クトル波長を投光し、受光部にバンドパスフィルタを有
することを特徴とする請求項1又は請求項2記載の車種
判別装置。
3. The vehicle type discriminating device according to claim 1, wherein the axis number detecting device projects a narrow spectrum wavelength from a light projecting part and has a bandpass filter in the light receiving part.
【請求項4】前記軸数検出装置は、投光部及び受光部に
偏光フィルタを有することを特徴とする請求項1又は請
求項2記載の車種判別装置。
4. The vehicle type discriminating device according to claim 1, wherein the axis number detecting device has a polarizing filter in the light projecting portion and the light receiving portion.
【請求項5】前記軸数検出装置は、受光部を路面に対し
て共役な位置関係に設定してあることを特徴とする請求
項1又は請求項2又は請求項3又は請求項4記載の車種
判別装置。
5. The axis number detecting device according to claim 1, wherein the light receiving portion is set in a conjugate positional relationship with the road surface. Vehicle type identification device.
【請求項6】前記軸数検出装置を複数台備え、それらの
軸数検出装置は、道路の一方側に並んで設置されている
ことを特徴とする請求項1又は請求項2又は請求項3又
は請求項4又は請求項5記載の車種判別装置。
6. The apparatus according to claim 1, wherein a plurality of the axis number detecting devices are provided, and the axis number detecting devices are installed side by side on one side of the road. Alternatively, the vehicle type identification device according to claim 4 or claim 5.
【請求項7】前記軸数検出装置を複数台備え、それらの
軸数検出装置は、道路の両側に道路の横断方向に対して
互い違いに位置をずらして設置されていることを特徴と
する請求項1又は請求項2又は請求項3又は請求項4又
は請求項5記載の車種判別装置。
7. A plurality of the axis number detecting devices are provided, and the axis number detecting devices are installed on both sides of the road in a staggered manner with respect to the transverse direction of the road. The vehicle type identification device according to claim 1, claim 2, claim 3, claim 4, or claim 5.
【請求項8】前記画像処理装置は、軸数検出装置の距離
情報を加えて車両のナンバープレートの情報を認識する
ことを特徴とする請求項1又は請求項2又は請求項3又
は請求項4又は請求項5又は請求項6又は請求項7記載
の車種判別装置。
8. The image processing apparatus recognizes information of a license plate of a vehicle by adding distance information of the number-of-axes detecting apparatus to claim 1 or claim 2 or claim 3 or claim 4. Alternatively, the vehicle type identification device according to claim 5, 6 or 7.
JP17832295A 1995-07-14 1995-07-14 Axis number detection device and vehicle width detection device Expired - Fee Related JP3351184B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17832295A JP3351184B2 (en) 1995-07-14 1995-07-14 Axis number detection device and vehicle width detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17832295A JP3351184B2 (en) 1995-07-14 1995-07-14 Axis number detection device and vehicle width detection device

Publications (2)

Publication Number Publication Date
JPH0935176A true JPH0935176A (en) 1997-02-07
JP3351184B2 JP3351184B2 (en) 2002-11-25

Family

ID=16046464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17832295A Expired - Fee Related JP3351184B2 (en) 1995-07-14 1995-07-14 Axis number detection device and vehicle width detection device

Country Status (1)

Country Link
JP (1) JP3351184B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10340390A (en) * 1997-06-09 1998-12-22 Omron Corp Method and system for picking up image
JPH11232587A (en) * 1998-02-16 1999-08-27 Omron Corp Detecting device, vehicle measuring instrument, axle detecting device, and pass charge calculating device
JP2011096022A (en) * 2009-10-30 2011-05-12 Mitsubishi Electric Corp Vehicle detection device and toll charging system
WO2013047697A1 (en) * 2011-09-29 2013-04-04 三菱重工業株式会社 Device for measuring object to be measured, processing method thereof, and program
JP2013210894A (en) * 2012-03-30 2013-10-10 Mitsubishi Heavy Ind Ltd Apparatus for detecting object in lane
JP2014167824A (en) * 2014-06-04 2014-09-11 Mitsubishi Electric Corp Vehicle detector and traffic fee charging system
JP2015207087A (en) * 2014-04-18 2015-11-19 三菱電機株式会社 Vehicle monitor device
CN110088645A (en) * 2016-10-19 2019-08-02 罗伯特·博世有限公司 3D laser radar sensor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5341251A (en) * 1976-09-27 1978-04-14 Kyowa Electronic Instruments Apparatus for discriminating type of vehicle
JPH03260897A (en) * 1990-03-12 1991-11-20 Mitsubishi Heavy Ind Ltd Car type discriminating device
JPH06188173A (en) * 1992-12-16 1994-07-08 Nikon Corp Surface position detector
JPH0743469A (en) * 1993-07-30 1995-02-14 Omron Corp Communication system between cars
JPH0785391A (en) * 1993-09-13 1995-03-31 Mitsubishi Electric Corp Vehicle detecting device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5341251A (en) * 1976-09-27 1978-04-14 Kyowa Electronic Instruments Apparatus for discriminating type of vehicle
JPH03260897A (en) * 1990-03-12 1991-11-20 Mitsubishi Heavy Ind Ltd Car type discriminating device
JPH06188173A (en) * 1992-12-16 1994-07-08 Nikon Corp Surface position detector
JPH0743469A (en) * 1993-07-30 1995-02-14 Omron Corp Communication system between cars
JPH0785391A (en) * 1993-09-13 1995-03-31 Mitsubishi Electric Corp Vehicle detecting device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10340390A (en) * 1997-06-09 1998-12-22 Omron Corp Method and system for picking up image
JPH11232587A (en) * 1998-02-16 1999-08-27 Omron Corp Detecting device, vehicle measuring instrument, axle detecting device, and pass charge calculating device
JP2011096022A (en) * 2009-10-30 2011-05-12 Mitsubishi Electric Corp Vehicle detection device and toll charging system
WO2013047697A1 (en) * 2011-09-29 2013-04-04 三菱重工業株式会社 Device for measuring object to be measured, processing method thereof, and program
JPWO2013047697A1 (en) * 2011-09-29 2015-03-26 三菱重工業株式会社 Measuring object measuring apparatus, processing method thereof, and program
JP2013210894A (en) * 2012-03-30 2013-10-10 Mitsubishi Heavy Ind Ltd Apparatus for detecting object in lane
JP2015207087A (en) * 2014-04-18 2015-11-19 三菱電機株式会社 Vehicle monitor device
JP2014167824A (en) * 2014-06-04 2014-09-11 Mitsubishi Electric Corp Vehicle detector and traffic fee charging system
CN110088645A (en) * 2016-10-19 2019-08-02 罗伯特·博世有限公司 3D laser radar sensor
JP2019533153A (en) * 2016-10-19 2019-11-14 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 3D lidar sensor
US11022691B2 (en) 2016-10-19 2021-06-01 Robert Bosch Gmbh 3-D lidar sensor

Also Published As

Publication number Publication date
JP3351184B2 (en) 2002-11-25

Similar Documents

Publication Publication Date Title
KR930010453B1 (en) Vehicle tracking control for continuously detecting the distance and direction to a background dark/light distribution
JP3275620B2 (en) Automatic billing system
JP3240839B2 (en) Vehicle width measuring device
US5568136A (en) Method and apparatus for identifying and measuring the distance between vehicles
EP1422498A2 (en) Automatic reflector tracking apparatus
JPH11120480A (en) Vehicle characteristic extracting device and method therefor
JPH08293090A (en) Axle detector, body kind discriminating device, vehicle gate system, and vehicle detector
JPH0935176A (en) Vehicle kind discriminating device
JPH10272907A (en) Dangerous vehicle detection device
JP3606032B2 (en) Axle detection device and passage fee calculation device
JP2003281686A (en) Distance image sensor and vehicle type distinguishing device
JPH10105868A (en) Vehicle measuring device/method
JPH10105869A (en) Vehicle type discrimination device
JP2968473B2 (en) Speed monitoring recorder
JP3498532B2 (en) Vehicle shape discriminator
JPH10105866A (en) Axle detector, vehicle kind discriminating device and vehicle gate device
JP3774021B2 (en) Vehicle separator
JP2001186389A (en) Ccd camera device for vehicle
JP3207696B2 (en) Vehicle type identification device
JP4560912B2 (en) Distance measuring device
JP4052415B2 (en) Vehicle detection device
JP2000040198A (en) Image pickup device and image pickup method
KR100441142B1 (en) camera and speed meter system with rotating mirror
JP2567655Y2 (en) Vehicle type identification device
JPH06109847A (en) Optical distance-measuring apparatus

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080920

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080920

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090920

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090920

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100920

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100920

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110920

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110920

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120920

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130920

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees