JP4947592B2 - Vehicle detection device - Google Patents
Vehicle detection device Download PDFInfo
- Publication number
- JP4947592B2 JP4947592B2 JP2007195231A JP2007195231A JP4947592B2 JP 4947592 B2 JP4947592 B2 JP 4947592B2 JP 2007195231 A JP2007195231 A JP 2007195231A JP 2007195231 A JP2007195231 A JP 2007195231A JP 4947592 B2 JP4947592 B2 JP 4947592B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- road surface
- reflected light
- light
- surface reflected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 30
- 238000005259 measurement Methods 0.000 claims description 46
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 description 27
- 238000004364 calculation method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 238000007792 addition Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Description
本発明は、道路を通行する車両をカメラで撮影して得た画像を解析し、車両を路面反射光と区別して検出する車両検出装置に関する。 The present invention relates to a vehicle detection device that analyzes an image obtained by photographing a vehicle traveling on a road with a camera and detects the vehicle separately from road surface reflected light.
道路の状況をカメラで撮影し、その画像内から車両を検出して交通量の計測などを行う装置では、夜間の車両検出を、ヘッドライトなどの高輝度部を基準に行っている。この際、ライト部とその路面反射光とを誤認せぬようにする必要があり、画像上から路面反射光を除去する技術が、以下に例示するように種々提案されている。 In an apparatus that captures road conditions with a camera, detects a vehicle from the image, and measures traffic, the vehicle detection at night is performed based on a high-luminance part such as a headlight. At this time, it is necessary not to misidentify the light part and the road surface reflected light, and various techniques for removing the road surface reflected light from the image have been proposed as exemplified below.
(1)路面反射像は、「縦>横、先端に行くにつれ輝度が低くなる、反射像は2つ並んでいる」という3条件を満たすことを利用して反射像を除去する技術(たとえば、特許文献1参照。)。この技術ではカメラ近傍で反射像の縦横比がライト部と同程度になった場合や、反射像とライト部とが1つにくっついた場合、反射像がサチレーションしている場合にはライト部と反射像とを区別できない。 (1) A road surface reflected image is a technology that removes a reflected image by utilizing the three conditions of “vertical> horizontal, luminance decreases as it goes to the tip, and two reflected images are arranged” (for example, (See Patent Document 1). In this technology, when the aspect ratio of the reflected image is about the same as that of the light part in the vicinity of the camera, when the reflected image and the light part stick together, or when the reflected image is saturated, the light part Indistinguishable from reflection image.
(2)ライト対の上下左右の位置関係が同位置、上下距離が範囲内、形状が類似、であることを利用して、反射光を除去する技術(たとえば、特許文献2参照。)。この技術では反射光とライトの形状が異なるとき、たとえば上下左右の位置関係にある4つの高輝度部が「ヘッドライトとその反射光」なのか「大型車の高い位置の灯具とヘッドライト」なのかを区別できない。 (2) A technique for removing reflected light by utilizing the fact that the positional relationship of the light pair in the vertical and horizontal directions is the same position, the vertical distance is in the range, and the shape is similar (see, for example, Patent Document 2). In this technology, when the reflected light and the shape of the light are different, for example, the four high-intensity parts that are in the vertical / left / right positional relationship are “headlights and their reflected light” or “lamps and headlights at high positions in large vehicles”. I can't tell you.
(3)車両を前方斜め上方から撮影するようにカメラが設置される場合、カメラから遠方の方がカメラに入射する光量が多いため、閾値を高くすることで、反射光を除去する技術(たとえば、特許文献3参照。)。この技術ではカメラ遠方でも近くでも、ライトや反射光の輝度がサチレーション(飽和)していると適用できない。 (3) When the camera is installed so that the vehicle is photographed from diagonally forward, the amount of light incident on the camera is greater in the distance from the camera. Therefore, a technique for removing reflected light by increasing the threshold (for example, , See Patent Document 3). This technology cannot be applied when the brightness of light or reflected light is saturated (saturated), whether it is far or near the camera.
(4)垂直方向の長さが長い高輝度部分は路面反射であるとして除去する技術(たとえば、特許文献4参照。)。この技術ではカメラ近くで反射光が小さくなってきてライトと同じ位の大きさになった場合は、反射光かライトかを区別できない。 (4) A technique for removing a high-luminance portion having a long vertical length as road surface reflection (see, for example, Patent Document 4). With this technology, when the reflected light becomes small near the camera and becomes the same size as the light, it cannot be distinguished whether it is reflected light or light.
図7に例示するように、ヘッドライトHの路面反射光Rは、カメラから遠方(同図(a))では縦長形状に撮影され、中距離(同図(b))ではやや短くなり、カメラ近傍(同図(c))では小さくなるかもしくは撮影されない性質がある。前記(1)および(4)の技術はこの性質を利用して遠方の画像において路面反射光を除去している。 As illustrated in FIG. 7, the road surface reflected light R of the headlight H is photographed in a vertically long shape at a distance from the camera ((a) in the same figure), and slightly shortened at a middle distance ((b) in the same figure). In the vicinity ((c) in the figure), there is a property that it is small or not photographed. The techniques (1) and (4) take advantage of this property to remove road surface reflected light from distant images.
車両の通過台数を計測する場合には、計測位置を遠方もしくは中距離の1箇所に設定すれば、上記の性質を利用して少ない誤認率で反射光を除去して車両を識別することができる。 When measuring the number of passing vehicles, if the measurement position is set to one place at a distance or a medium distance, the vehicle can be identified by removing reflected light with a low misperception rate using the above-mentioned properties. .
しかし、車両の速度計測を行う場合には、1箇所の計測では足りず、車両を追跡する必要があり、特に、正確な速度計測を行うには車両の同一箇所を追跡する必要がある。前述したように路面反射光はカメラからの距離によって形状が変化するので同一箇所を追跡することが難しい。よって、車両速度を正しく計測するためには、カメラとの距離による映像上の形状変化が少ないライト部分を追跡することが有効ある。また、速度計測の精度を高めるには、現実世界での同一移動距離に対して画像内での移動量が遠方よりも大きくなるカメラ近傍を車両速度の計測領域に設定することが望ましい。 However, when measuring the speed of the vehicle, it is necessary to track the vehicle, and it is necessary to track the vehicle. In particular, it is necessary to track the same portion of the vehicle in order to perform accurate speed measurement. As described above, since the shape of the road surface reflected light changes depending on the distance from the camera, it is difficult to track the same portion. Therefore, in order to correctly measure the vehicle speed, it is effective to track the light portion where the change in shape on the image due to the distance from the camera is small. Further, in order to increase the accuracy of speed measurement, it is desirable to set the vicinity of the camera where the movement amount in the image is larger than the far distance for the same movement distance in the real world as the vehicle speed measurement region.
そのためには、検出された車両候補領域(高輝度部)が路面反射光Rであるのかライト部Hであるのかをカメラ近傍(図7(c)の計測位置Mなど)で判別する必要がある。しかし、車両がカメラの遠方から近傍に向かって走行してくる場合、カメラ近傍の計測領域内の情報のみからでは、その車両候補領域が路面反射光であるかライト部分であるかを正しく識別することは難しい。その理由は以下のとおりである。
1.車両ごとに路面反射光の状態が異なる。
2.車両とカメラの位置関係により、路面反射光の形状が変化する。
3.「路面反射光とライト」か、「ライトとその他発光体」かの区別がつけ難い。
For this purpose, it is necessary to determine whether the detected vehicle candidate area (high luminance part) is the road surface reflected light R or the light part H in the vicinity of the camera (such as the measurement position M in FIG. 7C). . However, when the vehicle travels from a distance of the camera toward the vicinity, the vehicle candidate area is correctly identified as the road surface reflected light or the light portion only from the information in the measurement area in the vicinity of the camera. It ’s difficult. The reason is as follows.
1. The state of road surface reflected light is different for each vehicle.
2. The shape of the road surface reflected light changes depending on the positional relationship between the vehicle and the camera.
3. It is difficult to distinguish between “road surface reflected light and light” or “light and other light emitters”.
上記3.の例を図8に示す。同図(a)は、夜間に「ライトHとその他発光体G」が撮影された画像例である。たとえば、大型トラックの上部には様々なランプ(他発光体G)が設置されていることが多い。同図(b)は夜間に「路面反射光RとライトH」とが撮影された画像例である。どちらの画像でも、高輝度部分を抽出した場合、4つの点が抽出されるが、この4つの点のデータからだけでは、「路面反射光RとライトH」なのか、「ライトHとその他発光体G」なのかを区別することが難しい。 3. above. An example of this is shown in FIG. FIG. 6A shows an example of an image in which “light H and other light emitters G” are photographed at night. For example, various lamps (other light emitters G) are often installed on the top of a large truck. FIG. 4B is an example of an image in which “road surface reflected light R and light H” are photographed at night. In both images, when a high-intensity part is extracted, four points are extracted, but only from the data of these four points, “road surface reflected light R and light H” or “light H and other light emission”. It is difficult to distinguish whether it is “body G”.
本発明は、上記の問題を解決しようとするものであり、画像上でカメラの近傍位置にある車両候補領域が車両(特に車両のライト部)かその路面反射光かを精度良く判定して車両を検出することのできる車両検出装置を提供することを目的としている。 The present invention is intended to solve the above-mentioned problem, and accurately determines whether a vehicle candidate area in the vicinity of the camera on the image is a vehicle (particularly a light portion of the vehicle) or its road surface reflected light. An object of the present invention is to provide a vehicle detection device capable of detecting
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。 The gist of the present invention for achieving the object lies in the inventions of the following items.
[1]通行する車両をその前方または後方から撮影するカメラと、
前記カメラで撮影して得た画像上で車両の特徴を備えた車両候補領域を抽出しその移動を追跡すると共に、追跡中の1または複数箇所でその車両候補領域が路面反射光か否かの判定を行ってその判定結果の履歴を記憶し、前記画像内の所定の計測位置にある車両候補領域が車両か路面反射光かの判定を、その車両候補領域に対する前記判定結果の履歴に基づいて行う解析部と、
を有し、
前記解析部は、前記計測位置にある車両候補領域が車両か路面反射光かの判定を、路面反射光とライト部との区別がつき易い中距離以上前記計測位置より遠方でのその車両候補領域に対する前記判定結果に基づいて判定する
ことを特徴とする車両検出装置。
[1] A camera that captures a passing vehicle from the front or rear thereof;
A candidate vehicle area having the characteristics of the vehicle is extracted from the image obtained by photographing with the camera, and the movement thereof is tracked, and whether or not the candidate vehicle area is road surface reflected light at one or a plurality of locations being tracked. Make a determination and store a history of the determination result, and determine whether the vehicle candidate region at the predetermined measurement position in the image is a vehicle or road surface reflected light based on the determination result history for the vehicle candidate region An analysis unit to perform,
I have a,
The analysis unit determines whether the vehicle candidate area at the measurement position is a vehicle or road surface reflected light. The vehicle candidate area at a middle distance or more away from the measurement position is easily distinguishable between the road surface reflected light and the light part. The vehicle detection apparatus characterized by determining based on the said determination result with respect to .
上記発明では、車両候補領域の移動を追跡すると共に、追跡途中でその車両候補領域が車両か路面反射光かの判定を行いその判定結果の履歴を記憶しておき、計測位置の車両候補領域が車両か否かの判定をその車両候補領域に対する判定結果の履歴に基づいて判定する。たとえば、計測位置にある車両候補領域が、その追跡中に路面反射光と判定された回数が規定回数以上である場合には、その計測位置にある車両候補領域を路面反射光と判定する。 In the above invention, the movement of the vehicle candidate area is tracked, and whether the vehicle candidate area is the vehicle or the road surface reflected light is determined during the tracking, and the history of the determination result is stored. Whether or not the vehicle is a vehicle is determined based on a history of determination results for the vehicle candidate area. For example, if the number of times that the vehicle candidate area at the measurement position is determined to be road surface reflected light during the tracking is equal to or greater than the prescribed number, the vehicle candidate area at the measurement position is determined to be road surface reflected light.
また上記発明では、カメラの遠方では、車両(特にライト部)と路面反射光とをカメラの近傍より識別し易いので、近傍位置の車両候補領域に対する判定を、路面反射光とライト部との区別がつき易い中距離以上、計測位置より遠方での判定結果に基づいて行う。 In the above invention, in the distant camera, since the vehicle (in particular light unit) and a road surface reflected light identifies from the vicinity of the camera easily, the determination for the vehicle candidate region in the vicinity of position, the distinction between the road surface reflected light and the light section This is based on a determination result at a middle distance or more that is likely to be attached and a distance from the measurement position .
[2]前記判定結果の履歴に基づく判定で前記計測位置にある車両候補領域を路面反射光と判定した場合は、その車両候補領域の遠方側近傍に他の車両候補領域が存在するか否かを調べ、存在するときはこの車両候補領域を車両と判定し、存在しない場合は前記計測位置の車両候補領域を車両と判定する
ことを特徴とする[1]に記載の車両検出装置。
[ 2 ] If the vehicle candidate region at the measurement position is determined to be road surface reflected light in the determination based on the determination result history, whether or not another vehicle candidate region exists in the vicinity of the far side of the vehicle candidate region. The vehicle detection device according to [1], wherein the vehicle candidate region is determined to be a vehicle if it exists, and if not, the vehicle candidate region at the measurement position is determined to be a vehicle.
上記発明では、路面反射光の上方(遠方側)にはその光源であるライト部が存在するはずなので、路面反射光と判定された車両候補領域の上方(遠方側)近傍にライト部に相当する車両候補領域が存在すれば、それをライト部(車両)と判定する。 In the above invention, since the light part that is the light source should exist above the road surface reflected light (distant side), it corresponds to the light part near the upper part (far side) of the vehicle candidate area determined as the road surface reflected light. If the vehicle candidate area exists, it is determined as the light part (vehicle).
[3]前記解析部は、追跡中の車両候補領域の位置とその位置にあるときの時刻とを対応付けた追跡データを蓄積記憶しておき、前記計測位置での判定で最終的に車両と判定された車両候補領域についてその追跡データからその車両の移動速度を算出する
ことを特徴とする[1]または[2]に記載の車両検出装置。
[ 3 ] The analysis unit accumulates and stores tracking data in which the position of the vehicle candidate area being tracked is associated with the time when the vehicle is located, and finally the vehicle is determined by the determination at the measurement position. The vehicle detection device according to [1] or [2] , wherein the moving speed of the vehicle is calculated from the tracking data for the determined vehicle candidate region.
[4]車両候補領域は、車両のライト部の特徴を備えた高輝度部である
ことを特徴とする[1]乃至[3]のいずれか1つに記載の車両検出装置。
[ 4 ] The vehicle detection device according to any one of [1] to [ 3 ], wherein the vehicle candidate region is a high-intensity portion having characteristics of a light portion of the vehicle.
本発明に係わる車両検出装置によれば、画像上でカメラの近傍位置にある車両候補領域についても路面反射光の影響を受けずに高い精度で車両を検出することができる。これにより、車両の速度計測を精度よく行うことが可能になる。 The vehicle detection apparatus according to the present invention can detect a vehicle with high accuracy without being affected by road surface reflected light even in a vehicle candidate region located in the vicinity of the camera on the image. This makes it possible to accurately measure the speed of the vehicle.
以下、図面に基づき本発明の実施の形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、本発明に係わる車両検出装置10の概略機能構成を示すブロック図である。車両検出装置10は、道路の状況をカメラ11で撮影して得た画像を解析することで交通量の計測や通行する車両の速度計測を行う装置であり、カメラ11で撮影して得た画像を処理する解析部12を備えている。カメラ11は、道路を跨ぐように設置された、あるいは道路脇に立てられた支柱などに固定され、道路を通行する車両を前方、好ましくは前方斜め上方から撮影し、図7、図8に示すような画像を取り込むように設置される。本実施の形態では、カメラ11を車両の前方斜め上方に設置し、車両がカメラ11の遠方から近傍に向かって走行するケースについて説明する。
FIG. 1 is a block diagram showing a schematic functional configuration of a
解析部12は、画像取得部13と、画像メモリ14と、車両抽出部15と、路面反射光判定部16と、車両追跡部17と、速度計測部18と、追跡履歴管理部19とを備えて構成される。
The
カメラ11は、毎秒数フレームから数十フレームの画像を撮影し、画像取得部13は、カメラ11からその画像データを取り込む。ここでは、カメラ11は数十msから100ms毎に撮影すると共に、制限速度で通行する車両がカメラ11の撮影範囲内を数秒で通過するように画角などが設定されている。画像メモリ14は、画像取得部13がカメラ11から取り込んだ画像データを一時記憶する。車両抽出部15は、画像の中から特徴量を抽出することで、車両もしくは車両の一部が存在する車両候補領域を抽出する。特徴量の抽出は、昼間は、たとえば、車体本体の輪郭線の抽出により行われる。また、撮影された画像が比較的低輝度であり車両本体の特徴量を取得できない場合(たとえば、夜間)は、高輝度部を車両の特徴量として取得する。
The
以後の説明では、車両の特徴を備えた高輝度部、つまり車両のライト部らしい部分を車両候補領域41(図7参照)として抽出する場合を説明する。なお、特徴量の抽出は、車両の特徴量を抽出できる処理であれば、その種類は問わない。たとえば、夜間の場合、車両候補領域41は、輝度とその高輝度部分の形状、大きさ、配列(左右のペアなど)などの中の任意の要素を基準に抽出されてもよい。
In the following description, a case will be described in which a high-luminance portion having the characteristics of the vehicle, that is, a portion that seems to be a light portion of the vehicle is extracted as the vehicle candidate region 41 (see FIG. 7). The feature amount extraction is not limited as long as it is a process that can extract the feature amount of the vehicle. For example, in the case of nighttime, the
車両追跡部17は、車両抽出部15によって抽出された車両候補領域41の移動を追跡し、追跡履歴管理部19はその追跡履歴を記憶して管理する機能を果たす。路面反射光判定部16は、車両候補領域41が車両か路面反射光かを判定する。この判定は追跡中に逐次(フレーム毎)行われ、その判定結果は追跡履歴の一部として追跡履歴管理部19に記憶される。夜間の場合、車両候補領域41はヘッドライトらしい特徴を備えた高輝度部であるので、その高輝度部についてライト部か路面反射光かの判定が路面反射光判定部16により行われる。
The
速度計測部18は、計測ラインM(図7(c)参照)に到達した車両候補領域41のうち最終的に車両と判定されたものについてその車両の速度を追跡履歴管理部19に記憶されている追跡履歴に基づいて算出する機能を果たす。
The
なお、車両検出装置10は、実際には、図2に示すようなハードウェアで構成される。すなわち、解析部12は、CPU(Central Processing Unit)21にROM(Read Only Memory)22、RAM(Random Access Memory)23、カメラ11が接続されるカメラI/F24、操作部25、表示部26、外部通信部27などを接続して構成される。
Note that the
CPU21は、ROM22に格納されているプログラムを実行することで当該車両検出装置10の動作を統括制御する。ROM22には上記プログラムのほか各種固定データが記憶される。RAM23は、CPU21がプログラムを実行する上で一時的にデータを格納するワークメモリや、カメラ11から取り込んだ画像データを記憶する画像メモリのほか追跡履歴を記憶するためのメモリなどとして使用される。
The
操作部25は当該車両検出装置10に対する各種設定操作(たとえばカメラ11の画角設定など)を受け付ける機能を果たし、テンキーや設定スイッチなどで構成される。表示部26は、液晶ディスプレイなどで構成され、判定結果や装置の動作状態、設定内容などを表示する機能を果たす。外部通信部27は、判定結果や速度計測の結果などを外部機器に送信したり、外部からリモートコントロールの指示を受信したりする機能を果たす。
The
次に、車両検出装置10の動作を説明する。
Next, the operation of the
車両検出装置10は、図7(c)に示すように、画像内でカメラ11の近傍側の所定位置に設定した計測ラインMに到達した車両候補領域(高輝度部)41が車両(ライト部H)か路面反射光Rであるかの判定を行う。このとき、計測ラインMに到達した車両候補領域(高輝度部)41の画像のみからではその車両候補領域(高輝度部)41が車両のライト部Hか路面反射光Rかの区別が難しい。一方、図7(a)に示すように、車両候補領域(高輝度部)41がカメラ11の遠方にある場合は、ライト部Hの路面反射光Rは縦長に撮影され、ライト部Hはライト部本体の形状のまま撮影されるため、路面反射光Rとライト部Hとの区別がつき易い。
As illustrated in FIG. 7C, the
そこで、カメラ11の遠方から近傍の計測ラインMに到達するまで車両候補領域(高輝度部)41の移動を追跡し、その追跡中の1または複数箇所でその車両候補領域41が路面反射光Rか否かの判定を行ってその判定結果の履歴を記憶しておき、カメラ11近傍の計測ラインMに到達した車両候補領域41が車両のライト部Hか路面反射光Rかの判定を、その車両候補領域(高輝度部)41に対する追跡中の判定結果(特に遠方での判定結果)の履歴に基づいて行う。そして、最終的に車両のライト部Hであると判定された車両候補領域(高輝度部)41の移動軌跡(追跡履歴)からその車両の速度を算出して速度計測をするようになっている。
Therefore, the movement of the vehicle candidate area (high brightness portion) 41 is tracked from the distance of the
図3は、車両検出装置10が行う車両検出処理全体の流れを示している。
まず、解析部12は、カメラ11によって撮影された画像を1フレーム取り込み(ステップS101)、その画像内の車両候補領域(高輝度部)41を抽出する(ステップS102)。そして、抽出した各車両候補領域(高輝度部)41について車両追跡処理を行う(ステップS103)。車両追跡処理では各車両候補領域(高輝度部)41の移動を追跡するほか、追跡中の各車両候補領域(高輝度部)41が車両のライト部Hか路面反射光Rかの判定を行い、その判定結果を追跡履歴の一部として記憶する。
FIG. 3 shows the flow of the entire vehicle detection process performed by the
First, the
今回の画像から抽出された車両候補領域(高輝度部)41の中に計測ラインMに到達した車両候補領域(高輝度部)41があるか否かを調べ(ステップS104)、計測ラインMに到達した車両候補領域(高輝度部)41がある場合は(ステップS104;Yes)、その車両候補領域(高輝度部)41について速度計算を行う(ステップS105)。以上の処理は、数十msから100ms間隔で画像を取り込む毎に繰り返し行なわれる。 It is checked whether or not there is a vehicle candidate region (high luminance portion) 41 that has reached the measurement line M in the vehicle candidate region (high luminance portion) 41 extracted from the current image (step S104). If there is a vehicle candidate area (high luminance part) 41 that has arrived (step S104; Yes), speed calculation is performed for the vehicle candidate area (high luminance part) 41 (step S105). The above processing is repeated every time an image is captured at intervals of several tens of ms to 100 ms.
図4は、車両追跡処理(図3のステップS103)の詳細を示している。また、図5は、車両追跡時に履歴として蓄積記憶される車両追跡用データ50のデータ構造例を示している。車両追跡用データ50は、車両候補領域(高輝度部)41毎に別々のデータとして管理される。図5では車両候補番号51「N−1」と「N」と「N+1」の車両追跡用データ50が例示されている。
FIG. 4 shows details of the vehicle tracking process (step S103 in FIG. 3). FIG. 5 shows an example of the data structure of the
各車両追跡用データ50は、追跡中の車両候補領域(高輝度部)41に割り当てられた識別子である車両候補番号51、その車両候補領域(高輝度部)41に対して当該車両追跡処理を行った回数を示す追跡回数カウンタ52、車両候補領域(高輝度部)41の画像内での座標位置を示す座標履歴53、その座標位置にあるときの時刻を示す時間履歴54、その座標位置で行われた路面反射光Rか車両のライト部Hかの判定の結果を示す路面反射判定履歴55、当該車両候補領域(高輝度部)41に対して速度計測処理が既に行われたか否かを示す速度計測済フラグ56などで構成される。これらのうち座標履歴53と時間履歴54と路面反射判定履歴55は追跡回数分だけ累積記憶されると共に、各回の座標履歴53と時間履歴54と路面反射判定履歴55とは対応付けされる。
Each
図3のステップS102に示す車両検出処理により新規に検出された車両候補領域(高輝度部)41がある場合は、その車両候補領域(高輝度部)41に対して、新たな車両追跡用データ50が作成されて登録される(図4、ステップS201)。ステップS202からステップS206の処理は、現在追跡中の車両候補領域(高輝度部)41の個数回(すなわち、登録されている車両追跡用データ50の個数回)、繰り返し行われる。 When there is a vehicle candidate area (high luminance part) 41 newly detected by the vehicle detection process shown in step S102 of FIG. 3, new vehicle tracking data is added to the vehicle candidate area (high luminance part) 41. 50 is created and registered (FIG. 4, step S201). The processing from step S202 to step S206 is repeatedly performed for the number of times of the vehicle candidate area (high brightness portion) 41 currently being tracked (that is, the number of times of registered vehicle tracking data 50).
追跡中の各車両候補領域(高輝度部)41に対する処理(ステップS202からS206)では、その車両候補領域(高輝度部)41の車両追跡用データ50に登録されている最新の座標履歴53が示す座標位置(前回のフレームでの当該車両候補領域(高輝度部)41の座標位置)の近傍に、今回の画像フレーム内から抽出された車両候補領域(高輝度部)41があるか、ないかを判定することで車両候補領域(高輝度部)41の追跡を行う。近傍領域での車両候補領域(高輝度部)41の追跡は、画像パターンの類似度により判定する方法や、単純に存在座標が近いものを同一物体とみなす方法などの手法による。
In the process (steps S202 to S206) for each vehicle candidate area (high luminance part) 41 being tracked, the latest coordinate
追跡中の車両候補領域(高輝度部)41(前フレームの車両候補領域(高輝度部)41)に対応する車両候補領域(高輝度部)41を今回の画像フレーム内から発見できなかった場合は(ステップS203;No)、その時点でその車両候補領域(高輝度部)41に関する追跡を終了し、その車両追跡用データ50を破棄する(ステップS204)。これは、たとえば、走行する車両が撮影範囲内から撮影範囲外へ出た場合に生じる。
When the vehicle candidate area (high luminance part) 41 corresponding to the vehicle candidate area (high luminance part) 41 being tracked (the vehicle candidate area (high luminance part) 41 of the previous frame) cannot be found in the current image frame (Step S203; No), the tracking for the vehicle candidate region (high luminance part) 41 is terminated at that time, and the
一方、追跡中の車両候補領域(高輝度部)41に対応する車両候補領域(高輝度部)41を今回の画像フレーム内から発見できた(追跡車両を発見した)場合は、その発見した車両候補領域(高輝度部)41が路面反射光Rか否かの判定を行う(ステップS205)。そして、その判定結果とその発見した車両候補領域(高輝度部)41の座標位置と今回の画像フレームが取り込まれた時刻とを対応付けた追跡履歴(今回分の座標履歴53と時間履歴54と路面反射判定履歴55とを対応付けた追跡データ)を該当の車両追跡用データ50に追加登録する(ステップS206)。
On the other hand, when the vehicle candidate area (high luminance part) 41 corresponding to the vehicle candidate area (high luminance part) 41 being tracked can be found from the current image frame (the tracking vehicle is found), the discovered vehicle It is determined whether the candidate area (high luminance part) 41 is road surface reflected light R (step S205). Then, the tracking history (the current coordinate
ここでは、路面反射光Rか否かは、判定対象の車両候補領域(高輝度部)41の形状の縦横比があらかじめ決められた閾値よりも高いか低いかにより判定する。縦横比が閾値よりも縦長である場合は、その車両候補領域(高輝度部)41(追跡物体)を路面反射光Rと判定し、その判定結果を該当の車両追跡用データ50に記憶する。
Here, whether or not the light is road surface reflected light R is determined based on whether the aspect ratio of the shape of the vehicle candidate region (high brightness portion) 41 to be determined is higher or lower than a predetermined threshold. If the aspect ratio is longer than the threshold, the vehicle candidate area (high luminance part) 41 (tracking object) is determined as the road surface reflected light R, and the determination result is stored in the corresponding
この際、路面反射光と判定した車両候補領域(高輝度部)41の上部(遠方側)近傍にライト部Hの特徴を有する車両候補領域(高輝度部)41が検出されているか否かを調べ、検出されていない場合は、ライト部Hと路面反射光Rとが一体になっていると判断し、この路面反射光Rと判定された車両候補領域(高輝度部)41のうちの上端部のライト部相当範囲をライト部Hのある位置として追跡処理を行う。すなわち、当該一体となっている車両候補領域(高輝度部)41に関する判定結果を「路面反射光でない」に変更し、かつ上端部の位置を座標位置として車両追跡用データ50に記憶する。なお、上部(遠方側)近傍とは、ライト部Hとその路面反射光Rとの間隔とし取り得る最大値を想定し、その範囲内を言う。
At this time, whether or not the vehicle candidate region (high luminance portion) 41 having the characteristics of the light portion H is detected in the vicinity of the upper portion (far side) of the vehicle candidate region (high luminance portion) 41 determined to be road surface reflected light. If it is not detected, it is determined that the light portion H and the road surface reflected light R are integrated, and the upper end of the vehicle candidate region (high brightness portion) 41 determined to be the road surface reflected light R. The tracking process is performed with the range corresponding to the write part as the position where the write part H is located. That is, the determination result regarding the integrated vehicle candidate region (high luminance portion) 41 is changed to “not road surface reflected light”, and the position of the upper end portion is stored in the
図9にライト部Hと路面反射光Rとが一体になった場合の画像例を示している。図中の上部がライト部Hであり、その下の部分が路面反射光Rである。これは、カメラ11のブルーミングなどの影響により高輝度部分が一体化したものである。
FIG. 9 shows an example of an image when the light portion H and the road surface reflected light R are integrated. The upper part in the figure is the light part H, and the lower part is the road surface reflected light R. This is because the high luminance part is integrated due to the influence of blooming of the
図6は、速度計算処理(図3のステップS105)の詳細を示している。追跡中の追跡対象物体(車両候補領域(高輝度部)41)が計測ラインMを超える際に、その車両候補領域(高輝度部)41に関する追跡履歴(車両追跡用データ50)を用いて速度を計算する。 FIG. 6 shows details of the speed calculation process (step S105 in FIG. 3). When the tracking target object (vehicle candidate area (high luminance part) 41) being tracked exceeds the measurement line M, the tracking history (vehicle tracking data 50) relating to the vehicle candidate area (high luminance part) 41 is used for speed. Calculate
詳細には、計測ラインMを超えた車両候補領域(高輝度部)41が、路面反射光Rであるかどうかの判定を行う(ステップS301)。路面反射光Rであるかどうかは、当該車両候補領域(高輝度部)41の追跡履歴(車両追跡用データ50)をカメラ11から遠方の所定の位置まで遡って参照する。どこまで遡るかは適宜に設定してよいが、ライト部Hと路面反射光Rとの判定がつき易い遠方位置を少なくとも含めておく必要がある。なお、計測ラインMの近傍での追跡履歴をカウント対象外とし、たとえば、中距離より遠方側の範囲についてのみ追跡履歴を参照して路面反射光Rと判定された回数をカウントするように構成されてもよい。
Specifically, it is determined whether or not the vehicle candidate region (high brightness portion) 41 that exceeds the measurement line M is the road surface reflected light R (step S301). Whether or not it is the road surface reflected light R refers to the tracking history (vehicle tracking data 50) of the candidate vehicle region (high luminance portion) 41 retrospectively to a predetermined position far from the
また、計測ラインMを超えた車両候補領域(高輝度部)41であっても、その車両候補領域(高輝度部)41に関する車両追跡用データ50の速度計測済フラグ56が既にセットされている場合は、速度計算処理の対象にしない。
Further, even in the vehicle candidate area (high luminance part) 41 that exceeds the measurement line M, the speed measured
追跡履歴中で路面反射光Rであると判定された回数があらかじめ定めた一定回数以上であった場合は、その車両候補領域(高輝度部)41は路面反射光Rであると判定する。追跡履歴に基づく判定により車両候補領域(高輝度部)41が路面反射光Rでないと判定された場合は(ステップS301;No)、それを車両のライト部Hと判定し、該車両候補領域(高輝度部)41の追跡履歴(車両追跡用データ50)に基づいてその速度を計算し、その車両追跡用データ50の速度計測済フラグ56をセットする(ステップS303)。
If the number of times that it is determined as the road surface reflected light R in the tracking history is equal to or greater than a predetermined number of times, it is determined that the vehicle candidate region (high brightness portion) 41 is the road surface reflected light R. When it is determined by the determination based on the tracking history that the vehicle candidate region (high luminance portion) 41 is not the road surface reflected light R (step S301; No), it is determined as the light portion H of the vehicle, and the vehicle candidate region ( The speed is calculated based on the tracking history (vehicle tracking data 50) of the high luminance part) 41, and the speed measured
上記の判定基準となる一定回数は、たとえば、1回でもよいし、2回から数回でもよく、さらには回数に代えて、遡って参照する追跡履歴の回数に対する路面反射光Rと判定された回数の比率で定めてもよい。 The predetermined number of times used as the determination criterion may be, for example, one time or may be two to several times. Furthermore, instead of the number of times, the road surface reflected light R is determined with respect to the number of times of tracking history to be referred to retroactively. It may be determined by the ratio of the number of times.
計測ラインMに達した車両候補領域(高輝度部)41をその追跡履歴から路面反射光Rであると判定した場合は(ステップS301;Yes)、画面上でその車両候補領域(高輝度部)41の上部(遠方側)近傍にライト部Hに相当する車両候補領域(高輝度部)41が存在するか否かを調べる(ステップS302)。上部近傍にライト部Hに相当する車両候補領域(高輝度部)41が存在しない場合は(ステップS302;No)、計測ラインMに達した車両候補領域(高輝度部)41に対して先ほど追跡履歴に基づいて行った路面反射光Rであるとの判定結果が誤っていたものと判断し、その車両候補領域(高輝度部)41を車両のライト部Hと判定する。そして、該ライト部Hであると判定した車両候補領域(高輝度部)41の追跡履歴(車両追跡用データ50)から当該車両の移動速度を算出し、その車両追跡用データ50の速度計測済フラグ56をセットする(ステップS303)。
When it is determined that the vehicle candidate area (high luminance part) 41 that has reached the measurement line M is the road surface reflected light R from the tracking history (step S301; Yes), the vehicle candidate area (high luminance part) on the screen. It is checked whether or not a vehicle candidate area (high luminance part) 41 corresponding to the light part H exists near the upper part (distant side) of 41 (step S302). When the candidate vehicle area (high luminance part) 41 corresponding to the light part H does not exist near the upper part (step S302; No), the vehicle candidate area (high luminance part) 41 that has reached the measurement line M is tracked earlier. It is determined that the determination result of the road surface reflected light R based on the history is incorrect, and the vehicle candidate area (high luminance part) 41 is determined as the light part H of the vehicle. Then, the moving speed of the vehicle is calculated from the tracking history (vehicle tracking data 50) of the vehicle candidate area (high luminance part) 41 determined to be the light part H, and the speed of the
上部近傍にライト部Hに相当する車両候補領域(高輝度部)41が発見された場合は(ステップS302;Yes)、当該発見された車両候補領域(高輝度部)41を車両のライト部Hであると最終判定し、その発見された車両候補領域(高輝度部)41の追跡履歴(車両追跡用データ50)より速度を計算し、その車両追跡用データ50の速度計測済フラグ56をセットする(ステップS304)。
When the vehicle candidate area (high brightness part) 41 corresponding to the light part H is found near the upper part (step S302; Yes), the discovered vehicle candidate area (high brightness part) 41 is used as the light part H of the vehicle. Is finally determined, the speed is calculated from the tracking history (vehicle tracking data 50) of the found vehicle candidate area (high luminance portion) 41, and the speed measured
このように、路面反射光Rの上部近傍にはその光源が存在するはずなので、路面反射光Rを基準にしてその上部近傍にある車両候補領域41をライト部Hと判定することで、その判定精度が向上する。また、速度計測済フラグ56をセットすることにより、この車両候補領域(高輝度部)41がその後に計測ラインMに到達したとき、再度の速度計算処理の実行が防止される。さらに、車両検出装置10は、速度計算処理を行った車両候補領域(高輝度部)41の数を計数することで車両の交通量を計測するように構成されているので、速度計測済フラグ56を設けることで2重カウントが防止され、正しく交通量を計測することができる。
Thus, since the light source should exist near the upper part of the road surface reflected light R, the
なお、速度の計算に当たっては、あらかじめ設定しておいた、カメラ画像中の距離データ(カメラ画像中の距離と現実距離とを対応付けるデータ)を用いる。 In calculating the speed, distance data in the camera image (data for associating the distance in the camera image with the actual distance) set in advance is used.
また、図9に示すようにライト部Hと路面反射光Rとが一体となった車両候補領域(高輝度部)41が遠方から近傍へ移動する途中で、図7(b)に示すように上下に分離した場合、分離前の一体化していた車両候補領域(高輝度部)41ではその上端部が追跡の基準位置にされていたので、分離後の上側部が分離前の物体と位置的に近い。そのため、分離後の上側部が分離前の物体として継続追跡される。一方、分離後の下側部分は新規な車両候補領域(高輝度部)41と認識され、新たな車両候補番号51が割り振られて新たな車両追跡用データ50が設けられて、ここから追跡が開始される。
Further, as shown in FIG. 7B, the vehicle candidate region (high luminance portion) 41 in which the light portion H and the road surface reflected light R are integrated as shown in FIG. In the case where the vehicle is separated vertically, the upper end portion of the vehicle candidate area (high brightness portion) 41 that has been integrated before separation is set as the reference position for tracking, so that the upper portion after separation is positioned relative to the object before separation. Close to. Therefore, the upper part after separation is continuously tracked as an object before separation. On the other hand, the lower part after the separation is recognized as a new vehicle candidate area (high luminance part) 41, a new
以上説明したように、本実施の形態に係わる車両検出装置10では、カメラ11の近傍側の計測ラインMに到達した車両候補領域(高輝度部)41が車両のライト部Hか路面反射光Rかの判定を、その車両候補領域(高輝度部)41が計測ラインMより遠方にあったときに行われた判定結果(追跡履歴)に基づいて行うので、計測ラインM近傍の画像のみからではライト部Hか路面反射光Rかの判別がつかない場合でも、その車両候補領域(高輝度部)41が路面反射光Rかライト部Hかを的確に判定することができる。そして、ライト部Hと最終的に判定された車両候補領域(高輝度部)41の追跡履歴からその車両候補領域(高輝度部)41の速度を計算するので、画像上で形状の変化しない部分を基準に正しく速度を算出することができる。
As described above, in the
以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。 The embodiment of the present invention has been described with reference to the drawings. However, the specific configuration is not limited to that shown in the embodiment, and there are changes and additions within the scope of the present invention. Are also included in the present invention.
実施の形態では、カメラ11の遠方から近傍側へ車両が走行する場合を例に説明したが、逆方向へ移動する場合についても本発明を適用でき、追跡履歴を参照することで車両のライト部Hか路面反射光Rかの判定精度を高めることができる。
In the embodiment, the case where the vehicle travels from the far side to the near side of the
また、車両候補領域41を高輝度部として説明したが、本発明の処理手順はそのまま昼間の車両の解析にも適用することができる。すなわち、昼間は路面反射光Rが存在しないので常に車両候補領域41は路面反射光Rでないと判定されて、車両の速度が計測される。
Moreover, although the vehicle candidate area |
実施の形態では、数十msから100ms毎に画像を取り込んで追跡履歴を残すようにしたが、車両の移動を追跡可能な間隔であれば、画像の取り込み間隔は適宜に変更されてもよい。なお、計測ラインMに至るまでの追跡中に行われる判定は、実施の形態で例示したように画像を取り込む毎に行うことが好ましいが、ライト部Hか路面反射光Rかの判別がつき易い遠方側の少なくとも1箇所もしくは複数箇所のみで行われるように構成されてもよい。この場合、解析の処理負担が軽減される。 In the embodiment, an image is captured every tens of ms to 100 ms and a tracking history is left. However, as long as the movement of the vehicle can be tracked, the image capturing interval may be changed as appropriate. Note that the determination performed during tracking to the measurement line M is preferably performed every time an image is captured as illustrated in the embodiment, but it is easy to determine whether the light portion H or the road surface reflected light R is present. You may be comprised so that it may be performed only at least one place or several places of a distant side. In this case, the processing load of analysis is reduced.
10…車両検出装置
11…カメラ
12…解析部
13…画像取得部
14…画像メモリ
15…車両抽出部
16…路面反射光判定部
17…車両追跡部
18…速度計測部
19…追跡履歴管理部
21…CPU
22…ROM
23…RAM
24…カメラI/F
25…操作部
26…表示部
27…外部通信部
41…車両候補領域(高輝度部)
50…車両追跡用データ
51…車両候補番号
52…追跡回数カウンタ
53…座標履歴
54…時間履歴
55…路面反射判定履歴
56…速度計測済フラグ
H…ライト部
R…路面反射光
G…他の発光体
M…計測ライン
DESCRIPTION OF
22 ... ROM
23 ... RAM
24 ... Camera I / F
25 ...
DESCRIPTION OF
Claims (4)
前記カメラで撮影して得た画像上で車両の特徴を備えた車両候補領域を抽出しその移動を追跡すると共に、追跡中の1または複数箇所でその車両候補領域が路面反射光か否かの判定を行ってその判定結果の履歴を記憶し、前記画像内の所定の計測位置にある車両候補領域が車両か路面反射光かの判定を、その車両候補領域に対する前記判定結果の履歴に基づいて行う解析部と、
を有し、
前記解析部は、前記計測位置にある車両候補領域が車両か路面反射光かの判定を、路面反射光とライト部との区別がつき易い中距離以上前記計測位置より遠方でのその車両候補領域に対する前記判定結果に基づいて判定する
ことを特徴とする車両検出装置。 A camera that captures the vehicle in front or behind it,
A candidate vehicle area having the characteristics of the vehicle is extracted from the image obtained by photographing with the camera, and the movement thereof is tracked, and whether or not the candidate vehicle area is road surface reflected light at one or a plurality of locations being tracked. Make a determination and store a history of the determination result, and determine whether the vehicle candidate region at the predetermined measurement position in the image is a vehicle or road surface reflected light based on the determination result history for the vehicle candidate region An analysis unit to perform,
I have a,
The analysis unit determines whether the vehicle candidate area at the measurement position is a vehicle or road surface reflected light. The vehicle candidate area at a middle distance or more away from the measurement position is easily distinguishable between the road surface reflected light and the light part. The vehicle detection apparatus characterized by determining based on the said determination result with respect to .
ことを特徴とする請求項1に記載の車両検出装置。 If the vehicle candidate area at the measurement position is determined to be road surface reflected light in the determination based on the determination result history, it is checked whether another vehicle candidate area exists near the far side of the vehicle candidate area, The vehicle detection device according to claim 1, wherein when the vehicle exists, the vehicle candidate region is determined as a vehicle, and when the vehicle candidate region does not exist, the vehicle candidate region at the measurement position is determined as a vehicle.
ことを特徴とする請求項1または2に記載の車両検出装置。 The analysis unit accumulates and stores tracking data in which the position of the vehicle candidate area being tracked is associated with the time when the vehicle is located, and is finally determined to be a vehicle by the determination at the measurement position. vehicle detection apparatus according to claim 1 or 2, characterized in that to calculate the moving speed of the vehicle from the tracking data for the vehicle candidate region.
ことを特徴とする請求項1乃至3のいずれか1つに記載の車両検出装置。 The vehicle detection device according to any one of claims 1 to 3 , wherein the vehicle candidate area is a high-intensity part having characteristics of a light part of the vehicle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007195231A JP4947592B2 (en) | 2007-07-26 | 2007-07-26 | Vehicle detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007195231A JP4947592B2 (en) | 2007-07-26 | 2007-07-26 | Vehicle detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009032030A JP2009032030A (en) | 2009-02-12 |
JP4947592B2 true JP4947592B2 (en) | 2012-06-06 |
Family
ID=40402464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007195231A Active JP4947592B2 (en) | 2007-07-26 | 2007-07-26 | Vehicle detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4947592B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5892876B2 (en) * | 2011-07-28 | 2016-03-23 | クラリオン株式会社 | In-vehicle environment recognition system |
JP5962193B2 (en) | 2012-05-09 | 2016-08-03 | 株式会社デンソー | Vehicle light source detection apparatus and vehicle light source detection program |
JP6614611B2 (en) * | 2016-02-29 | 2019-12-04 | Kddi株式会社 | Apparatus, program, and method for tracking object in consideration of similarity between images |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2876493B2 (en) * | 1991-04-12 | 1999-03-31 | 松下電器産業株式会社 | Vehicle dynamics measurement method |
JP3360163B2 (en) * | 1997-05-09 | 2002-12-24 | 株式会社日立製作所 | Traffic flow monitoring device |
JP2002329202A (en) * | 2001-04-27 | 2002-11-15 | Nippon Seiki Co Ltd | Object detecting device |
-
2007
- 2007-07-26 JP JP2007195231A patent/JP4947592B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009032030A (en) | 2009-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10445595B2 (en) | Barrier and guardrail detection using a single camera | |
JP5105400B2 (en) | Traffic measuring method and traffic measuring device | |
US10081308B2 (en) | Image-based vehicle detection and distance measuring method and apparatus | |
US9087258B2 (en) | Method for counting objects and apparatus using a plurality of sensors | |
US9123242B2 (en) | Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program | |
JP5421072B2 (en) | Approaching object detection system | |
CN107750213B (en) | Front vehicle collision warning device and warning method | |
JP4793324B2 (en) | Vehicle monitoring apparatus and vehicle monitoring method | |
JP2010097561A (en) | Vehicle periphery monitoring device | |
KR101639722B1 (en) | Correction apparatus and method for vanishing point | |
CN108629225B (en) | Vehicle detection method based on multiple sub-images and image significance analysis | |
JP2015090679A (en) | Vehicle trajectory extraction method, vehicle region extraction method, vehicle speed estimation method, vehicle trajectory extraction program, vehicle region extraction program, vehicle speed estimation program, vehicle trajectory extraction system, vehicle region extraction system, and vehicle speed estimation system | |
EP3584763A1 (en) | Vehicle-mounted environment recognition device | |
JP2015064752A (en) | Vehicle monitoring device and vehicle monitoring method | |
JP2016018371A (en) | On-vehicle system, information processing apparatus, and program | |
JP4947592B2 (en) | Vehicle detection device | |
CN110660225A (en) | Red light running behavior detection method, device and equipment | |
JP2004086417A (en) | Method and device for detecting pedestrian on zebra crossing | |
JPH05157558A (en) | Vehicular gap detector | |
US10062155B2 (en) | Apparatus and method for detecting defect of image having periodic pattern | |
JPH11205663A (en) | Exposure amount controller for image pickup device for vehicle | |
JP2018120303A (en) | Object detection device | |
JP2017211765A (en) | Object recognition device | |
JP2006268678A (en) | Device and method for detecting stopping or low-speed vehicle | |
KR101926679B1 (en) | Method for detecting location of waste |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100721 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120229 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120229 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4947592 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |