JP4506576B2 - In-vehicle fog condition determination device and auto fog lamp system - Google Patents
In-vehicle fog condition determination device and auto fog lamp system Download PDFInfo
- Publication number
- JP4506576B2 JP4506576B2 JP2005179729A JP2005179729A JP4506576B2 JP 4506576 B2 JP4506576 B2 JP 4506576B2 JP 2005179729 A JP2005179729 A JP 2005179729A JP 2005179729 A JP2005179729 A JP 2005179729A JP 4506576 B2 JP4506576 B2 JP 4506576B2
- Authority
- JP
- Japan
- Prior art keywords
- fog
- vehicle
- image
- degree value
- image blur
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
- Studio Devices (AREA)
Description
本発明は、車載カメラによって撮像された画像から霧状態を判定する装置、および、その装置を備えたオートフォグランプシステムに関する。 The present invention relates to an apparatus for determining a fog state from an image captured by an in-vehicle camera, and an auto fog lamp system including the apparatus.
車載カメラによって撮像された画像を処理して霧状態を判定する装置が知られている(たとえば特許文献1)。特許文献1における霧判定の方法は、画像のぼけ具合に基づいている。霧である場合にはぼけた画像となるので、画像のぼけ具合を推定することにより霧状態を判定しているのである。画像のぼけ具合の推定は、まず、画像全体に対して画素毎に微分演算によって輝度のエッジ強度(輝度の変化量)を算出して、そのエッジ強度に基づいて、画像のぼけ具合を推定している。画像がぼけているほどエッジ強度は全体的に小さくなることから、エッジ強度に基づいて画像のぼけ具合が推定できるのである。
しかし、霧の場合だけでなく、雨のときも画像がぼけることが多いので、画像のぼけ具合に基づいて霧状態を判定する装置は、確実に霧と雨とを区別することが困難なこともあった。特に、特許文献1のように、画像の輝度の変化量を示すエッジ強度を算出し、そのエッジ強度に基づいて霧判定を行う場合には、そのエッジ強度が霧の場合と雨の場合とで似た値になることが多いため、霧と雨との確実な区別が困難であった。 However, since the image is often blurred not only in the case of fog but also in the case of rain, it is difficult for the device that determines the fog state based on the degree of blur of the image to reliably distinguish between fog and rain. There was also. In particular, as in Patent Document 1, when calculating the edge strength indicating the amount of change in the brightness of the image and performing fog determination based on the edge strength, the edge strength is either foggy or rainy. Since the values are often similar, it was difficult to reliably distinguish between fog and rain.
本発明は、この事情に基づいて成されたものであり、その目的とするところは、画像に基づいて霧状態を判定する装置において、霧と雨とを確実に区別できるようにすることにある。 The present invention has been made on the basis of this circumstance, and an object thereof is to make it possible to reliably distinguish between fog and rain in an apparatus for determining a fog state based on an image. .
その目的を達成するための請求項1記載の発明は、車両に搭載される車載カメラにより撮像された画像から霧状態であるかどうかを判定する車載霧状態判定装置であって、
前記車載カメラによって撮像された画像のぼけ度合い値を算出する画像ぼけ度合い値算出手段と、その画像ぼけ度合い値算出手段によって算出された画像のぼけ度合い値が予め設定された所定の画像ぼけ判定範囲内の値となり、かつ、ワイパーが駆動していないことに基づいて、霧であることを判定する霧状態判定手段とを含み、
前記霧状態判定手段は、前記画像ぼけ度合い値算出手段によって算出された画像のぼけ度合い値が予め設定された所定の画像ぼけ判定範囲内の値であるが、ワイパーが駆動しているときは、雨であると判定するようになっていることを特徴とする。
The invention according to claim 1 for achieving the object is an in-vehicle fog state determination device that determines whether or not it is a fog state from an image captured by an in-vehicle camera mounted on a vehicle,
Image blur degree value calculating means for calculating a blur degree value of an image captured by the in-vehicle camera, and a predetermined image blur determination range in which the image blur degree value calculated by the image blur degree value calculating means is preset. is the value of the inner and on the basis of the wiper is not driven, it saw including a mist state determining means for determining that it is a fog,
The fog state determination means is a value within a predetermined image blur determination range that is set in advance, and the image blur degree value calculated by the image blur degree value calculation means, but when the wiper is driven, It is determined that it is raining .
前述のように、画像のぼけ度合いからだけでは霧と雨との区別が困難なのであるが、上記請求項1記載の発明では、画像のぼけ度合い値が予め設定された所定の画像ぼけ判定範囲内の値となったことに加え、ワイパーが駆動していないことに基づいて霧であることを判定するので、霧と雨とを確実に区別できる。 As described above, it is difficult to distinguish between fog and rain only from the degree of blur of the image. However, according to the first aspect of the present invention, the blur degree value of the image is within a predetermined image blur determination range. Since it is determined that it is fog based on the fact that the wiper is not driven, it is possible to reliably distinguish fog from rain.
ここで、前記ぼけ度合い値は、たとえば、請求項2記載のように、画像輝度のエッジ強度の分布図に基づいて算出することができる。すなわち、請求項2記載の発明は、前記車載カメラによって撮像された画像の輝度の変化量であるエッジ強度の分布を示すエッジ強度分布図を作成するエッジ強度分布図作成手段をさらに備え、前記画像ぼけ度合い値算出手段は、そのエッジ強度分布図作成手段によって作成されたエッジ強度分布図に基づいて前記ぼけ度合い値を算出するものである。 Here, for example, the blur degree value can be calculated based on a distribution diagram of edge intensity of image luminance. That is, the invention according to claim 2 further includes an edge strength distribution diagram creating means for creating an edge strength distribution diagram showing a distribution of edge strength, which is a change amount of luminance of an image captured by the in-vehicle camera. The blur degree value calculating means calculates the blur degree value based on the edge intensity distribution map created by the edge intensity distribution chart creating means.
このようにエッジ強度分布図に基づいてぼけ度合い値を算出する場合、前述のように、そのぼけ度合い値は、霧と雨とで比較的似た値となることも多い。そのため、本発明のように、さらにワイパーの駆動状態を判断要素として霧状態を判定することの効果が大きい。 When the blur degree value is calculated based on the edge intensity distribution chart as described above, the blur degree value is often a relatively similar value between fog and rain as described above. Therefore, as in the present invention, the effect of determining the fog state using the wiper driving state as a determination factor is further great.
また、上記車載霧状態判定装置を用いて、請求項4のように、オートフォグランプシステムを構成することができる。すなわち、そのオートフォグランプシステムは、請求項1または2記載の車載霧状態判定装置と、その車載霧状態判定装置によって霧であると判定された場合に、フォグランプを点灯させるフォグランプ点灯制御手段とを含むことを特徴とするものである。 Moreover, an auto fog lamp system can be comprised like the claim 4 using the said vehicle-mounted fog state determination apparatus. That is, the auto fog lamp system includes a vehicle fog state determining apparatus according to claim 1 or 2, wherein, when it is determined that the mist by the vehicle fog state determining device, and a fog lamp lighting control means for lighting the fog lamp It is characterized by this.
以下、本発明の実施の形態を、図面に基づいて説明する。図1は、本発明のオートフォグランプシステム10の構成を示すブロック図である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an auto
オートフォグランプシステム10は、車載カメラ12、画像処理ECU14、ワイパースイッチ16、ライト制御ECU18、フォグランプ20、および車内LAN22を備えている。そして、画像処理ECU14、ワイパースイッチ16、およびライト制御ECU18は上記車内LAN22に接続されている。
The auto
上記車載カメラ12は、CCDカメラによって構成されており、その取り付け位置は、車両の内部、たとえば運転席近傍の天井とされている。この車載カメラ12によって、車両前方の画像が連続的に撮像され、撮像された画像のデータは、画像処理ECU14において処理される。
The in-
画像処理ECU14は、図示しない内部にCPU、ROM、RAM等を備えたコンピュータであり、そのRAMには、車載カメラ12によって連続的に撮像される一定時間分の画像のデータが一時的に記憶される。そして、CPUは、ROMに記憶されたプログラムに従って、そのRAMに記憶された画像データに対して図2に示す処理を実行することによって、霧または雨を判定する。従って、この画像処理ECU14が車載霧状態判定装置として機能する。このCPUの処理については後述する。
The
ワイパースイッチ16は図示しないワイパーの駆動・停止を制御するものであり、運転者によって操作される。 The wiper switch 16 controls driving and stopping of a wiper (not shown) and is operated by a driver.
ライト制御ECU18は、フォグランプ点灯制御手段として機能するものであり、画像処理ECU14において霧であると判定された場合に、フォグランプランプ20を点灯させる一方、その画像処理ECU14において雨であると判定された場合、および、霧とも雨とも判定されていない場合には、フォグランプ20を消灯させる。フォグランプ20は、車両前部の所定部位に取り付けられており、車両前方を照射するようになっている。
The
図2は、上記画像処理ECU14の制御機能の要部を示すフローチャートである。図2に示す制御は、走行中に所定の周期で実行するようになっている。
FIG. 2 is a flowchart showing a main part of the control function of the
図2において、まず、ステップS10では、車載カメラ12から供給された画像全体に対して、輝度値をX方向およびY方向に連続的に微分処理することにより、輝度の変化量であるエッジ強度の二次元分布図を作成する。このステップS10がエッジ強度分布図作成手段に相当する。
In FIG. 2, first, in step S10, the luminance value is continuously differentiated in the X direction and the Y direction with respect to the entire image supplied from the in-
そして、ステップS20では、上記ステップS10で作成した二次元分布図において、エッジ強度が予め設定された基準エッジ強度を超えた割合を意味する強エッジ量を算出する。この強エッジ量が大きいほど、すなわち、エッジ強度の二次元分布図において基準エッジ強度を超えた割合が多いほど、画像は明瞭であることを意味する。換言すれば、強エッジ量が小さいほど、すなわち、エッジ強度の二次元分布図において基準エッジ強度を超えた割合が少ないほど、画像はぼけていることを意味する。従って、この強エッジ量がぼけ度合い値に相当し、ステップS20が画像ぼけ度合い値算出手段に相当する。 In step S20, a strong edge amount is calculated, which means a ratio of the edge strength exceeding a preset reference edge strength in the two-dimensional distribution chart created in step S10. It means that the larger the amount of strong edges, that is, the greater the proportion of the edge strength that exceeds the reference edge strength in the two-dimensional distribution diagram of the edge strength, the clearer the image. In other words, the smaller the amount of strong edges, that is, the smaller the proportion exceeding the reference edge strength in the two-dimensional distribution diagram of edge strength, the more blurred the image. Accordingly, this strong edge amount corresponds to the blur degree value, and step S20 corresponds to the image blur degree value calculating means.
続いて、霧状態判定手段に相当するステップS30乃至S80を実行する。まず、ステップS30では、上記ステップS20で算出した強エッジ量が、予め設定された画像ぼけ判定範囲内の値であるか否かを判断する。前述したように、強エッジ量が小さいほど画像はぼけていることになるので、上記画像ぼけ判定範囲は、下限値をゼロとする範囲である。 Subsequently, steps S30 to S80 corresponding to fog state determination means are executed. First, in step S30, it is determined whether or not the strong edge amount calculated in step S20 is a value within a preset image blur determination range. As described above, the smaller the strong edge amount, the more blurred the image is. Therefore, the image blur determination range is a range where the lower limit value is zero.
上記ステップS30の判断が肯定された場合には、天候は霧または雨であると考えられるので、そのいずれであるかを判断するために、続くステップS40を実行する。それに対して、ステップS30の判断が否定された場合には、天候は霧でも雨でもないと考えられるので、後述するステップS80を直接的に実行する。 If the determination in step S30 is affirmative, the weather is considered to be foggy or rainy, so that the subsequent step S40 is executed in order to determine which is the case. On the other hand, if the determination in step S30 is negative, the weather is not foggy or rainy, so step S80 described later is directly executed.
ステップS40では、ワイパースイッチ16がオンであるか否かを判断することにより、図示しないワイパーが駆動しているか否かを判断する。この判断が否定された場合、すなわち、ワイパーが駆動していないと判断した場合には、続くステップS50において、天候は霧であると判定し、続くステップS60において、ライト制御ECU18へ点灯指令信号を出力する。ライト制御ECU18は、この点灯指令信号を受信すると、フォグランプ20を点灯させる。
In step S40, it is determined whether or not a wiper (not shown) is driven by determining whether or not the
一方、ステップS40の判断が肯定された場合、すなわち、ワイパーが駆動していると判断した場合には、続くステップS70において、天候は雨であると判定する。 On the other hand, if the determination in step S40 is affirmative, that is, if it is determined that the wiper is driving, it is determined in the subsequent step S70 that the weather is rain.
そして、上記ステップS70で雨と判定した場合、または、前述のステップS30の判断が否定された場合には、ステップS80において、ライト制御ECU18へ消灯指令信号を出力する。ライト制御ECU18は、この消灯指令信号を受信すると、フォグランプ20を消灯させる。
If it is determined in step S70 that it is raining, or if the determination in step S30 is negative, a turn-off command signal is output to the
以上、説明した本実施形態によれば、画像のぼけ度合いを表す強エッジ量が予め設定された所定の画像ぼけ判定範囲内の値であることに加え、ワイパーが駆動していない場合に霧と判定するので、霧と雨とを確実に区別できる。 As described above, according to the present embodiment described above, the strong edge amount representing the degree of image blur is a value within a predetermined image blur determination range set in advance, and fog is generated when the wiper is not driven. Since it judges, fog and rain can be distinguished reliably.
以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。 As mentioned above, although embodiment of this invention was described, this invention is not limited to the above-mentioned embodiment, The following embodiment is also contained in the technical scope of this invention, and also the summary other than the following is also included. Various modifications can be made without departing from the scope.
たとえば、前述の実施形態では、霧状態判定手段による判定結果に基づいてフォグランプの点灯制御を行っていたが、その判定結果に基づいて、ヘッドライトの光軸調整を行ってもよい。この場合には、霧と判定した場合には、霧でないと判定した場合よりも光軸を下げるようにする。 For example, in the above-described embodiment, the fog lamp lighting control is performed based on the determination result by the fog state determination unit. However, the optical axis adjustment of the headlight may be performed based on the determination result. In this case, when it is determined to be fog, the optical axis is lowered as compared to the case where it is determined not to be fog.
また、前述の実施形態では、エッジ強度の二次元分布図を作成する範囲が、車載カメラ12によって撮像された画像全体となっていたが、車載カメラ12によって撮像された画像の一部分について、エッジ強度の二次元分布図を作成してもよい。
In the above-described embodiment, the range in which the two-dimensional distribution diagram of the edge intensity is created is the entire image captured by the in-
また、前述の実施形態では、ぼけ度合い値として画像輝度の変化量すなわちエッジ強度を用いていたが、それ以外に、たとえば、画像輝度の平均値をぼけ度合い値として用いてもよい。霧のために画像が全体的にぼけたものとなる場合には、画像の輝度が大きくなる傾向にあるからである。 In the above-described embodiment, the amount of change in image brightness, that is, the edge strength is used as the blur degree value. However, for example, an average value of image brightness may be used as the blur degree value. This is because the brightness of the image tends to increase when the image is totally blurred due to fog.
10:オートフォグランプシステム
12:車載カメラ
14:画像処理ECU(車載霧状態判定装置)
16:ワイパースイッチ
18:ライト制御ECU(フォグランプ点灯制御手段)
20:フォグランプ
22:車内LAN
10: Auto fog lamp system 12: In-vehicle camera 14: Image processing ECU (in-vehicle fog state determination device)
16: Wiper switch 18: Light control ECU (fog lamp lighting control means)
20: Fog lamp 22: In-vehicle LAN
Claims (3)
前記車載カメラによって撮像された画像のぼけ度合い値を算出する画像ぼけ度合い値算出手段と、
その画像ぼけ度合い値算出手段によって算出された画像のぼけ度合い値が予め設定された所定の画像ぼけ判定範囲内の値となり、かつ、ワイパーが駆動していないことに基づいて、霧であることを判定する霧状態判定手段と
を含み、
前記霧状態判定手段は、前記画像ぼけ度合い値算出手段によって算出された画像のぼけ度合い値が予め設定された所定の画像ぼけ判定範囲内の値であるが、ワイパーが駆動しているときは、雨であると判定するようになっていることを特徴とする車載霧状態判定装置。 An in-vehicle fog state determination device that determines whether a fog state is detected from an image captured by an in-vehicle camera mounted on a vehicle,
Image blur degree value calculating means for calculating a blur degree value of an image captured by the in-vehicle camera;
Based on the fact that the image blur degree value calculated by the image blur degree value calculating means is a value within a predetermined image blur determination range set in advance and the wiper is not driven, it is fog. and determining fog state decision means only including,
The fog state determination means is a value within a predetermined image blur determination range that is set in advance, and the image blur degree value calculated by the image blur degree value calculation means, but when the wiper is driven, An on-vehicle fog state determination device characterized by determining that it is raining .
前記画像ぼけ度合い値算出手段は、そのエッジ強度分布図作成手段によって作成されたエッジ強度分布図に基づいて前記ぼけ度合い値を算出するものであることを特徴とする請求項1に記載の車載霧状態判定装置。 An edge strength distribution diagram creating means for creating an edge strength distribution diagram showing a distribution of edge strength which is a change amount of luminance of an image captured by the in-vehicle camera;
2. The vehicle-mounted fog according to claim 1, wherein the image blur degree value calculating unit calculates the blur degree value based on the edge intensity distribution map created by the edge intensity distribution map creating unit. State determination device.
その車載霧状態判定装置によって霧であると判定された場合に、フォグランプを点灯させるフォグランプ点灯制御手段と
を含むことを特徴とするオートフォグランプシステム。 The in-vehicle fog state determination device according to claim 1 or 2 ,
An auto fog lamp system comprising: fog lamp lighting control means for lighting a fog lamp when it is determined to be fog by the in-vehicle fog state determination device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005179729A JP4506576B2 (en) | 2005-06-20 | 2005-06-20 | In-vehicle fog condition determination device and auto fog lamp system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005179729A JP4506576B2 (en) | 2005-06-20 | 2005-06-20 | In-vehicle fog condition determination device and auto fog lamp system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006349637A JP2006349637A (en) | 2006-12-28 |
JP4506576B2 true JP4506576B2 (en) | 2010-07-21 |
Family
ID=37645644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005179729A Expired - Fee Related JP4506576B2 (en) | 2005-06-20 | 2005-06-20 | In-vehicle fog condition determination device and auto fog lamp system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4506576B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101154552B1 (en) | 2009-12-04 | 2012-06-08 | 서강대학교산학협력단 | Climate situation sensing method of car using front camera |
DE102010015214A1 (en) * | 2010-04-16 | 2011-10-20 | Conti Temic Microelectronic Gmbh | Method and device for driver assistance when driving a vehicle by detecting weather-related visual restrictions |
KR102089106B1 (en) * | 2013-06-19 | 2020-03-16 | 현대모비스 주식회사 | Method for Detecting Fog for Vehicle and Apparatus therefor |
CN105139716B (en) * | 2015-09-10 | 2017-09-01 | 广州易入户网络科技有限公司 | Driver training simulation misty rain device |
KR102257078B1 (en) * | 2018-12-18 | 2021-05-27 | 허병도 | Fog detection device using coordinate system and method thereof |
JP2022116377A (en) * | 2019-06-19 | 2022-08-10 | 日立Astemo株式会社 | Weather determination device and weather determination method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11321440A (en) * | 1998-05-18 | 1999-11-24 | Koito Mfg Co Ltd | Lighting fixture device for vehicle |
JPH11326541A (en) * | 1998-05-21 | 1999-11-26 | Nissan Motor Co Ltd | Image pickup environmental assumer |
JP2002175592A (en) * | 2000-12-06 | 2002-06-21 | Auto Network Gijutsu Kenkyusho:Kk | Device and system for sharing singular travel information |
JP2003276472A (en) * | 2002-03-26 | 2003-09-30 | Toyota Central Res & Dev Lab Inc | Target vehicle speed determination device |
-
2005
- 2005-06-20 JP JP2005179729A patent/JP4506576B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11321440A (en) * | 1998-05-18 | 1999-11-24 | Koito Mfg Co Ltd | Lighting fixture device for vehicle |
JPH11326541A (en) * | 1998-05-21 | 1999-11-26 | Nissan Motor Co Ltd | Image pickup environmental assumer |
JP2002175592A (en) * | 2000-12-06 | 2002-06-21 | Auto Network Gijutsu Kenkyusho:Kk | Device and system for sharing singular travel information |
JP2003276472A (en) * | 2002-03-26 | 2003-09-30 | Toyota Central Res & Dev Lab Inc | Target vehicle speed determination device |
Also Published As
Publication number | Publication date |
---|---|
JP2006349637A (en) | 2006-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4807439B2 (en) | Fog image restoration device and driving support system | |
JP4466701B2 (en) | Light control device | |
JP4935586B2 (en) | Image processing apparatus, in-vehicle image processing apparatus, in-vehicle image display apparatus, and vehicle control apparatus | |
JP4506576B2 (en) | In-vehicle fog condition determination device and auto fog lamp system | |
JP6089957B2 (en) | Lighting control device | |
CN109311416B (en) | Imaging system with adaptive high beam control | |
JP2008028957A (en) | Image processing apparatus for vehicle | |
EP1683668A3 (en) | Variable transmissivity window system | |
JP4556777B2 (en) | Night driving visibility support device | |
JP2006301722A (en) | Image processor | |
US9619720B2 (en) | Vehicle imaging system and method for distinguishing between vehicle tail lights and flashing red stop lights | |
JP2015510155A (en) | A method for evaluating on-board camera image data considering rain information | |
WO2013168744A1 (en) | Method and device for detecting vehicle light sources | |
KR101792883B1 (en) | Apparatus and method for controlling high-lamp of vehicle | |
KR20150130004A (en) | Apparatus and method for judging deterioration of wiper blade | |
JP5195390B2 (en) | Front irradiation automatic control device | |
JP6401269B2 (en) | Imaging system including dynamic correction of color attenuation for vehicle windshields | |
JP6214290B2 (en) | Headlight control device | |
WO2015151404A1 (en) | Rear condition display device and rear condition display method | |
JP2014164426A (en) | Object detector | |
JP4679469B2 (en) | In-vehicle image processing device | |
JP4818027B2 (en) | In-vehicle image processing device | |
JP7230658B2 (en) | Image processing device | |
JP5040906B2 (en) | Vehicle lighting device | |
JP2020179739A (en) | Illumination control device of vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070718 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090909 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100406 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100419 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4506576 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140514 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |