JP5040691B2 - 道路交通用画像処理装置及び道路交通用画像処理方法 - Google Patents

道路交通用画像処理装置及び道路交通用画像処理方法 Download PDF

Info

Publication number
JP5040691B2
JP5040691B2 JP2008022745A JP2008022745A JP5040691B2 JP 5040691 B2 JP5040691 B2 JP 5040691B2 JP 2008022745 A JP2008022745 A JP 2008022745A JP 2008022745 A JP2008022745 A JP 2008022745A JP 5040691 B2 JP5040691 B2 JP 5040691B2
Authority
JP
Japan
Prior art keywords
imaging
unit
luminance
image processing
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008022745A
Other languages
English (en)
Other versions
JP2009181544A (ja
Inventor
武彦 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2008022745A priority Critical patent/JP5040691B2/ja
Publication of JP2009181544A publication Critical patent/JP2009181544A/ja
Application granted granted Critical
Publication of JP5040691B2 publication Critical patent/JP5040691B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、道路上の所定の領域を撮像する撮像部と該撮像部の撮像領域に光を照射する発光部とを備えた道路交通用画像処理装置及び道路交通用画像処理方法に関する。
道路を走行する車両のナンバープレート(車番)を複数の地点で識別し、識別したナンバープレートを照合することにより、所定の地点間を走行するのに要する旅行時間を求めるための技術が開発されている。
例えば、カメラで車両を撮像するタイミングで発光する照明(近赤外線のLED)を備えることにより、常時照明を発光させる場合に比べて、車両のナンバーの読み取り精度を低下させることなく、消費電力の低減、照明の小型化、長寿命化が可能となるナンバー読取装置が開示されている(特許文献1参照)。
特開2000−251191号公報
しかしながら、車両を撮像するタイミングでのみLED(発光部)を発光させたとしても、LEDには寿命があり経年変化により発光強度が低下する。発光強度が低下した場合、カメラで撮像した撮像画像の明るさ(輝度)を十分確保することができず、精度良く車番(ナンバープレート)を読み取ることができないおそれがあった。特にLEDの発光強度は、時間の経過とともに徐々に低下するため、発光部の発光強度が低下していることを検出することが困難であった。
本発明は、斯かる事情に鑑みてなされたものであり、撮像対象に光を照射する発光部の発光強度低下を検出することができる道路交通用画像処理装置及び道路交通用画像処理方法を提供することを目的とする。
第1発明に係る道路交通用画像処理装置は、道路上の所定の領域を撮像する撮像部と、該撮像部の撮像領域に光を照射する発光部とを備え、前記撮像部により得られる撮像画像を画像処理することで、撮像領域内に存在する撮像対象に関する情報を取得する道路交通用画像処理装置であって、撮像対象が存在しない所定の撮像領域に前記発光部により光を照射した場合に、前記撮像部で撮像して得られた撮像画像の所定の画素領域の輝度を算出する輝度算出手段と、該輝度算出手段で算出した輝度が所定の閾値より小さいか否かを判定する判定手段と、該判定手段で小さいと判定した場合、前記発光部の発光強度の低下を報知する報知手段とを備えることを特徴とする。
第2発明に係る道路交通用画像処理装置は、第1発明において、前記発光部は、LEDを備え、該LEDに電流を供給する電流供給部と、前記発光部で光を照射した場合、少なくとも前記LEDに供給する電流値及び電流の供給時間を含む発光条件を取得する発光条件取得手段と、発光条件に対応させた閾値を予め記憶する記憶手段とを備え、前記判定手段は、前記輝度算出手段で輝度を算出した際に取得した発光条件に応じた閾値を用いて判定するように構成してあることを特徴とする。
第3発明に係る道路交通用画像処理装置は、第1発明又は第2発明において、前記撮像部は、カメラを備え、前記撮像部で撮像した場合、少なくとも前記カメラのシャッター速度を含む撮像条件を取得する撮像条件取得手段と、撮像条件に対応させた閾値を予め記憶する記憶手段とを備え、前記判定手段は、前記輝度算出手段で輝度を算出した際に取得した撮像条件に応じた閾値を用いて判定するように構成してあることを特徴とする。
第4発明に係る道路交通用画像処理方法は、道路上の所定の領域を撮像する撮像部と該撮像部の撮像領域に光を照射する発光部とを備えた道路交通用画像処理装置の前記撮像部により得られる撮像画像を画像処理することで、撮像領域内に存在する撮像対象に関する情報を取得する道路交通用画像処理方法であって、撮像対象が存在しない所定の撮像領域に前記発光部により光を照射した場合に、前記撮像部で撮像して得られた撮像画像の所定の画素領域の輝度を算出し、算出した輝度が所定の閾値より小さいか否かを判定し、小さいと判定した場合、前記発光部の発光強度低下を検出することを特徴とする。
第1発明及び第4発明にあっては、道路交通用画像処理装置は、発光部で撮像対象(例えば、車両)が存在しない所定の撮像領域(例えば、道路の所定の撮像領域)に光を照射した場合に、撮像部で撮像して得られた撮像画像の所定の画素領域の輝度を算出する。画素領域は、例えば、撮像画像の全部でもよく、あるいは、一部でもよい。算出する輝度は、例えば、画素領域内の各画素の輝度値に基づいて、画素領域の平均輝度とすることができる。道路交通用画像処理装置は、算出した輝度が所定の閾値より小さいか否かを判定し、小さいと判定した場合、発光部の発光強度が低下していることを報知する。この場合、発光強度の低下は、例えば、外部の監視装置などへ報知することにより、監視装置の運用者に発光部の交換時期を認識させることができる。また、車両が存在しない道路の撮像画像を用いることにより、車体の色の違いによる輝度の変動、車両のヘッドランプ又はテールランプ等による輝度の変動を除外することができ、発光部の発光強度に依存した撮像画像の輝度を求めることができ、発光部の経年劣化を精度良く検出することができる。また、経年変化により発光部の発光強度が徐々に低下する場合でも、発光強度の低下を容易に検出することができる。
第2発明にあっては、道路交通用画像処理装置は、LEDで撮像対象(車両)が存在しない道路に光を照射した場合に、少なくともLEDに供給する電流値及び電流の供給時間を含む発光条件を取得する。道路交通用画像処理装置は、発光条件に対応させた閾値を予め記憶してあり、撮像画像の所定の画素領域の輝度を算出した際に取得した発光条件に応じた閾値を用いて判定する。すなわち、道路交通用画像処理装置は、算出した輝度が、取得した発光条件に応じた閾値より小さいか否かを判定する。発光条件が異なる場合には、撮像画像から得られる輝度も異なり、発光部の発光強度を精度良く求めることができない。発光条件に応じた閾値を用いることにより、発光条件に関わらず精度良く発光強度の低下を検出することができる。
第3発明にあっては、道路交通用画像処理装置は、LEDで撮像対象(車両)が存在しない道路に光を照射し、撮像部で撮像した場合に、少なくともカメラのシャッター速度を含む撮像条件を取得する。道路交通用画像処理装置は、撮像条件に対応させた閾値を予め記憶してあり、撮像画像の所定の画素領域の輝度を算出した際に取得した撮像条件に応じた閾値を用いて判定する。すなわち、道路交通用画像処理装置は、算出した輝度が、取得した撮像条件に応じた閾値より小さいか否かを判定する。撮像条件が異なる場合には、撮像画像から得られる輝度も異なり、発光部の発光強度を精度良く求めることができない。撮像条件に応じた閾値を用いることにより、撮像条件に関わらず精度良く発光強度の低下を検出することができる。
本発明にあっては、道路交通用画像処理装置の発光部(例えば、LED)の発光強度の低下を精度良く検出することができ、LEDの交換時期を容易に把握することができる。
以下、本発明を実施の形態を示す図面に基づいて説明する。図1は本発明に係る道路交通用画像処理装置としての車番読取装置100の構成の一例を示すブロック図である。車番読取装置100は、撮像部10、制御部20などを備えている。撮像部10は、カメラ11、LED12、電流供給部13などを備え、制御部20は、入力部21、画像メモリ22、記憶部23、画像処理部24、伝送部25などを備えている。なお、道路交通用画像処理装置は、道路上に存在する車両又は歩行者等の撮像対象を撮像し、例えば、車両の車番を読み取るもの、車両の通過台数若しくは移動速度、人の通過量若しくは移動速度などを計測するものである。
撮像部10は、例えば、道路脇に設置された柱の地上から約6m程度の高さに固定され、設置位置から10〜20m程度先の道路(道路の所定範囲)を撮像するようにしてある。カメラ11は、例えば、シャッター速度が、1/60秒〜1/200秒程度の範囲で所要のシャッター速度(撮像条件)を設定できるようにしてある。また、カメラ11は、車両感知部(不図示)で道路を走行する車両(撮像対象)が所定の位置に到達したことを感知した場合に、車両の前部を撮像できるようにしてある。なお、車両の後方から撮像して車両の後部の車番を読み取るようにすることもできる。
LED12は、近赤外光を発光することができ、カメラ11の撮像タイミング(シャッター)に同期して間欠的に発光することができる。
電流供給部13は、LED12に所要の電流を供給する。電流供給部13は、例えば、数十mA〜数百mA程度の範囲で所要の電流値(発光条件)を設定することができる。また、電流供給部13は、LED12に電流を供給する場合に、例えば、10ms〜数百ms程度の範囲で所要の電流供給時間(電流が流れている時間、すなわち、LED12が発光する時間、発光条件)を設定することができる。
制御部20は、例えば、道路脇に設置され、撮像部10との間は所定のケーブルで接続されている。
入力部21は、カメラ11で撮像された撮像画像の画像データを取得し、取得した画像データを撮像時刻に対応付けて画像メモリ22に記憶する。
画像処理部24は、画像メモリ22に記憶した画像データを取り出し、取り出した画像データに基づいて、車両(車両の一部を含む)を検出する。車両の検出処理としては、例えば、車両が存在しない場合の撮像画像と車両が存在する場合の撮像画像との差に基づいて車両を検出することができる。
画像処理部24は、検出した車両画像に基づいて、矩形状のナンバープレート部の切り出し処理を行うことによりナンバープレートを特定してプレート画像を抽出する。画像処理部24は、抽出したプレート画像に基づいて、ナンバー(車番)の文字を認識する。文字の認識処理は、例えば、プレート画像を二値化した二値化画像と、車番テンプレートである参照画像とを入力とするマッチドフィルタにより、二値化画像と参照画像との類似度を示す相関分布を作成し、ナンバープレートの支局名、分類番号、車種記号、一連番号の文字毎に、相関分布の最大値が示す文字を認識文字として抽出することができる。
伝送部25は、画像処理部24で読み取った車番を外部の監視装置などへ送信する。
次に、LED12の発光強度の低下を検出する場合について説明する。撮像部10は、車両感知部(不図示)で道路を走行する車両が存在しないタイミングで、LED12を発光させるとともに、カメラ11で道路(撮像領域)を撮像する。撮像部10は、この時の撮像条件(例えば、カメラ11のシャッター速度)、発光条件(例えば、電流供給部13のLED12へ供給した電流値及び電流の供給時間)を画像データとともに入力部21へ送信する。
入力部21は、取得した画像データを画像メモリ22に記憶するとともに、撮像条件、発光条件を画像処理部24へ出力する。
画像処理部24は、撮像条件、発光条件を取得した場合、それらの条件に対応する画像データを画像メモリ22から取り出し、撮像画像の所定の画素領域(例えば、撮像画像の全部又は一部)の各画素の輝度値を加算し、加算した輝度値を画素領域内の画素数で除算することにより、画素領域の平均輝度を算出する。
なお、画素領域の輝度は、平均輝度に限定されるものではなく、例えば、画素領域内の各画素の輝度値を集計し、最も画素数の多い輝度値とすることもできる。また、輝度値の最大値と最小値との中間値とすることもできる。
画像処理部24は、算出した平均輝度と、取得した撮像条件及び発光条件に対応する輝度閾値を記憶部23から取り出し、平均輝度が輝度閾値より小さいか否かを判定する。画像処理部24は、平均輝度が輝度閾値より小さいと判定した場合、LED12の発光強度が交換時期に達するほど低下したものと判定し、伝送部25を通じて判定結果(LED12の発光強度の低下)を外部の監視装置へ報知する。これにより、監視装置の運用者は、LED12の交換時期を容易に認識することができる。
また、車両が存在しない道路の撮像画像を用いることにより、車体の色の違いによる輝度の変動、車両のヘッドランプ又はテールランプ等による輝度の変動を除外することができ、LED12の発光強度に依存した撮像画像の輝度を求めることができ、LED12の経年劣化を精度良く検出することができる。また、経年変化によりLED12の発光強度が徐々に低下する場合でも、発光強度の低下を容易に検出することができる。
図2は発光条件及び撮像条件と輝度閾値との対応付けの一例を示す説明図である。図2において、発光条件はLED12に供給する電流値及び電流の供給時間であり、撮像条件はカメラ11のシャッター速度であるが、発光条件及び撮像条件は、これに限定されるものではない。以下では各条件が電流値、供給時間、シャッター速度の場合について説明する。
電流値、供給時間、シャッター速度は、それぞれ予め設定可能な範囲があり、その範囲内で所要の値を用いることができる。図2に示すように、各条件の組み合せパターンをP1、P2、P3、…とし、各組み合せパターンに対応して輝度閾値を定めてある。例えば、組み合せパターンP1は、電流値がa1(mA)、供給時間がb1(ms)、シャッター速度がc1(s)、輝度閾値がTh1であり、組み合せパターンP2は、電流値がa2(mA)、供給時間がb2(ms)、シャッター速度がc2(s)、輝度閾値がTh2である。各条件の設定値が、例えば、3通りあるとすると、3×3×3=27通りのパターンが存在し、27個の輝度閾値が予め定められている。
図3はLED12の発光強度の経年変化の一例を示す説明図である。図3において、横軸は時間(月)を示し、縦軸は発光強度(輝度)を示す。パターンP1の曲線は、電流値がa1(mA)、供給時間がb1(ms)、シャッター速度がc1(s)という各条件を同一にした場合の発光強度(輝度)と時間との関係を示したものである。また、パターンP2の曲線は、電流値がa2(mA)、供給時間がb2(ms)、シャッター速度がc2(s)という各条件を同一にした場合の発光強度(輝度)と時間との関係を示したものである。また、パターンP1の発光強度(輝度)に対しては輝度閾値Th1を用い、パターンP2の発光強度(輝度)に対しては輝度閾値Th2を用いる。なお、他のパターンの曲線は省略してあるが、パターンP1、P2の場合と同様である。
撮像条件、発光条件が異なれば、LED12の発光強度も異なる。図3に示すように、撮像条件、発光条件に応じた輝度閾値を用いることにより、撮像条件、発光条件に関わらず精度良くLED12の発光強度の低下を検出することができる。
なお、上述の例では、撮像条件及び発光条件の両者を用いる構成であったが、これに限定されるものではなく、撮像条件のみ、あるいは、発光条件のみを用いることもできる。
以上説明したように、本発明によれば、車番読取装置のLEDの発光強度の低下を精度良く検出することができ、LEDの交換時期を容易に把握することができる。
上述の実施の形態では、画像処理部でLEDの発光強度の低下を検出する構成であったが、発光強度の低下検出処理は、車番読取装置内で行う構成に限定されるものではない。例えば、カメラ11で撮像して得られた画像データ、撮像時の発光条件及び撮像条件を車番装置から外部の監視装置へ送信し、監視装置でLEDの発光強度の低下を検出する構成とすることもできる。この場合には、多数の車番読取装置からデータを取得し、各車番読取装置のLEDの交換時期を一括して集中管理することが可能となる。
上述の実施の形態では、車番読取装置を用いて説明したが、本発明は、車番読取装置への適用に限定されるものではなく、LEDによる照明を用いた画像処理装置であれば、どのような装置にも適用することができる。
開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
本発明に係る道路交通用画像処理装置としての車番読取装置の構成の一例を示すブロック図である。 発光条件及び撮像条件と輝度閾値との対応付けの一例を示す説明図である。 LEDの発光強度の経年変化の一例を示す説明図である。
符号の説明
10 撮像部
11 カメラ
12 LED
13 電流供給部
20 制御部
21 入力部
22 画像メモリ
23 記憶部
24 画像処理部
25 伝送部

Claims (4)

  1. 道路上の所定の領域を撮像する撮像部と、該撮像部の撮像領域に光を照射する発光部とを備え、前記撮像部により得られる撮像画像を画像処理することで、撮像領域内に存在する撮像対象に関する情報を取得する道路交通用画像処理装置であって、
    撮像対象が存在しない所定の撮像領域に前記発光部により光を照射した場合に、前記撮像部で撮像して得られた撮像画像の所定の画素領域の輝度を算出する輝度算出手段と、
    該輝度算出手段で算出した輝度が所定の閾値より小さいか否かを判定する判定手段と、
    該判定手段で小さいと判定した場合、前記発光部の発光強度の低下を報知する報知手段と
    を備えることを特徴とする道路交通用画像処理装置。
  2. 前記発光部は、LEDを備え、
    該LEDに電流を供給する電流供給部と、
    前記発光部で光を照射した場合、少なくとも前記LEDに供給する電流値及び電流の供給時間を含む発光条件を取得する発光条件取得手段と、
    発光条件に対応させた閾値を予め記憶する記憶手段と
    を備え、
    前記判定手段は、前記輝度算出手段で輝度を算出した際に取得した発光条件に応じた閾値を用いて判定するように構成してあることを特徴とする請求項1に記載の道路交通用画像処理装置。
  3. 前記撮像部は、カメラを備え、
    前記撮像部で撮像した場合、少なくとも前記カメラのシャッター速度を含む撮像条件を取得する撮像条件取得手段と、
    撮像条件に対応させた閾値を予め記憶する記憶手段と
    を備え、
    前記判定手段は、前記輝度算出手段で輝度を算出した際に取得した撮像条件に応じた閾値を用いて判定するように構成してあることを特徴とする請求項1又は請求項2に記載の道路交通用画像処理装置。
  4. 道路上の所定の領域を撮像する撮像部と該撮像部の撮像領域に光を照射する発光部とを備えた道路交通用画像処理装置の前記撮像部により得られる撮像画像を画像処理することで、撮像領域内に存在する撮像対象に関する情報を取得する道路交通用画像処理方法であって、
    撮像対象が存在しない所定の撮像領域に前記発光部により光を照射した場合に、前記撮像部で撮像して得られた撮像画像の所定の画素領域の輝度を算出し、
    算出した輝度が所定の閾値より小さいか否かを判定し、
    小さいと判定した場合、前記発光部の発光強度低下を検出することを特徴とする道路交通用画像処理方法。
JP2008022745A 2008-02-01 2008-02-01 道路交通用画像処理装置及び道路交通用画像処理方法 Expired - Fee Related JP5040691B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008022745A JP5040691B2 (ja) 2008-02-01 2008-02-01 道路交通用画像処理装置及び道路交通用画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008022745A JP5040691B2 (ja) 2008-02-01 2008-02-01 道路交通用画像処理装置及び道路交通用画像処理方法

Publications (2)

Publication Number Publication Date
JP2009181544A JP2009181544A (ja) 2009-08-13
JP5040691B2 true JP5040691B2 (ja) 2012-10-03

Family

ID=41035437

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008022745A Expired - Fee Related JP5040691B2 (ja) 2008-02-01 2008-02-01 道路交通用画像処理装置及び道路交通用画像処理方法

Country Status (1)

Country Link
JP (1) JP5040691B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101888960B1 (ko) * 2011-10-06 2018-08-17 엘지이노텍 주식회사 도로 평탄도 측정 장치 및 방법
JP6127558B2 (ja) * 2013-02-13 2017-05-17 オムロン株式会社 撮像装置
CN112164221B (zh) * 2020-09-23 2022-01-25 阿波罗智联(北京)科技有限公司 图像数据挖掘方法、装置、设备及路侧设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2998383B2 (ja) * 1992-01-14 2000-01-11 松下電器産業株式会社 駐車検出装置
JP2962290B2 (ja) * 1997-09-11 1999-10-12 日本電気株式会社 トンネル内自動監視装置
JPH11110547A (ja) * 1997-09-30 1999-04-23 Mitsubishi Electric Corp 画像処理装置
JP3226520B1 (ja) * 2000-03-21 2001-11-05 オムロン株式会社 写真シール自動販売方法および写真シール自動販売機
JP2003162796A (ja) * 2001-11-28 2003-06-06 Mitsubishi Heavy Ind Ltd 車両監視方法及びシステム
JP3718835B2 (ja) * 2002-08-19 2005-11-24 東日本旅客鉄道株式会社 Ledを用いた信号機・表示器類のライトパワーチェッカー
JP2005072767A (ja) * 2003-08-21 2005-03-17 Fujitsu Ltd 画像処理装置
JP2006138900A (ja) * 2004-11-10 2006-06-01 Nikon Corp 撮影用照明装置およびカメラ

Also Published As

Publication number Publication date
JP2009181544A (ja) 2009-08-13

Similar Documents

Publication Publication Date Title
JP6175430B2 (ja) 車両の周辺区域にある物体を認識する方法および装置
US10635896B2 (en) Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system and motor vehicle
Almagambetov et al. Robust and computationally lightweight autonomous tracking of vehicle taillights and signal detection by embedded smart cameras
US8050456B2 (en) Vehicle and road sign recognition device
CN102556021B (zh) 一种汽车防闯红灯的控制装置
JP4807354B2 (ja) 車両検出装置、車両検出システム及び車両検出方法
JP6236039B2 (ja) 車外環境認識装置
JP6094252B2 (ja) 道路標識認識装置
JP2009015759A (ja) 信号機認識装置
JP6420650B2 (ja) 車外環境認識装置
RU2015106690A (ru) Устройство обнаружения капель воды и устройство обнаружения трехмерных объектов с использованием устройства обнаружения капель воды
KR102637216B1 (ko) 차량용 신호등 단계를 감지하기 위한 장치 및 방법
JP6253566B2 (ja) 車両監視システム及び車両監視方法
JP2008108063A (ja) 車両認識装置
JP5040691B2 (ja) 道路交通用画像処理装置及び道路交通用画像処理方法
JP2016004503A (ja) 車外環境認識装置
JP2013089129A (ja) 移動体検出装置、コンピュータプログラム及び移動体検出方法
CN104463170A (zh) 一种卡口系统下基于多重检测的无牌车辆检测方法
JP4537794B2 (ja) 画像処理装置及び画像処理プログラム
JP2009080101A (ja) エッジ検出を強化するシステム及び方法
JP2010286995A (ja) 車両用画像処理システム
JP5056931B2 (ja) 車色判定装置、車色判定システム及び車色判定方法
JP7090251B2 (ja) 一連の画像フレーム内においてled光源を検出する方法、少なくとも1つのled光源を備える交通信号灯を検出する方法、及び車両
DE102006043433B4 (de) Verfahren zur bildgestützten Bestimmung der Fahrtrichtung von Fahrzeugen
US20130093892A1 (en) Recognition of a road illumination

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120612

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120625

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees