JP4788926B2 - 車両ナンバー読取装置 - Google Patents

車両ナンバー読取装置 Download PDF

Info

Publication number
JP4788926B2
JP4788926B2 JP2007314777A JP2007314777A JP4788926B2 JP 4788926 B2 JP4788926 B2 JP 4788926B2 JP 2007314777 A JP2007314777 A JP 2007314777A JP 2007314777 A JP2007314777 A JP 2007314777A JP 4788926 B2 JP4788926 B2 JP 4788926B2
Authority
JP
Japan
Prior art keywords
license plate
value
image
focus
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007314777A
Other languages
English (en)
Other versions
JP2009140160A (ja
Inventor
達治 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissin Electric Co Ltd
Original Assignee
Nissin Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissin Electric Co Ltd filed Critical Nissin Electric Co Ltd
Priority to JP2007314777A priority Critical patent/JP4788926B2/ja
Publication of JP2009140160A publication Critical patent/JP2009140160A/ja
Application granted granted Critical
Publication of JP4788926B2 publication Critical patent/JP4788926B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、例えば、高速道路における料金収受システム、交通流計測システムや駐車場などにおける入出場管理システム等に利用され、ナンバープレートを読み取ることにより車両を識別する車両ナンバー読取装置に関する。
例えば、交通流計測システムは、二点間に車両ナンバー読取装置を設置することにより、車両の交通量、平均速度、占有率などが測定できてドライバに正確な道路情報をリアルタイムで提供すると共に、この情報を用いることにより効率的な交通情報が行えて渋滞の緩和を図ることができて便利である。
また、駐車場などにおける入出場管理システム(高速道路における料金収受システム)は、入出口ゲートにITVカメラを設置することにより、入庫・出庫(進入・退出)した車両のナンバーと時刻(場所)を認識することで駐車時間(走行区間)を計測できて発券の不要化および料金算出の自動化を図ることができて便利である。
これら交通流計測システムや駐車場などにおける入出場管理システム(高速道路における料金収受システム)では、車両のナンバープレートを撮像するITVカメラにより得られた画像情報に基づいて、そのナンバープレートから車両を特定する車両ナンバー読取装置を所定の箇所に設置するようにしている。
この車両ナンバー読取装置は、視野内に侵入した走行中の車両をITVカメラで連続的に撮像し、そのITVカメラにより撮像された画像情報に基づいて、車両のナンバープレートを映し出した画像をコンピュータ処理で検出し、そのナンバープレート中の文字情報を読み取ることにより車両を識別するものである(例えば、特許文献1参照)。
特開平10−105873号公報
ところで、前述した車両ナンバー読取装置において、ナンバープレート中の文字情報を正確に読み取るためには、ITVカメラを設置する時にそのITVカメラのレンズのフォーカスを調整する必要がある。ここで、フォーカス調整とは、ナンバープレート中の文字情報にITVカメラのピントを合わせることを意味する。
ITVカメラをフォーカス調整する場合、現地で作業員がITVカメラのモニタ画面を目視確認しながら行うことは、熟練した技術を必要として定量的にフォーカス調整を行うことが非常に困難である。また、道路の通行規制(通行止めや車線規制)を行えば、停止している車両などの撮像対象をITVカメラで撮像することになるので、前述したフォーカス調整が容易に行える。しかしながら、調整費用の低減などの理由により、道路の通行規制を行うことなく、ITVカメラのフォーカス調整を行う方が望ましい。
一方、フォーカス調整により、道路を走行中の車両のナンバープレートにITVカメラのピントを合わせることは、走行中の車両を目視確認するので、熟練した技術を持つ作業員にとっても、手間と時間を要する非常に困難な作業である。このことから、従来では、走行中の車両をITVカメラで撮像し、そのITVカメラのフォーカス調整を自動的に行う車両ナンバー読取装置が使用されている(例えば、特許文献1参照)。
この特許文献1の車両ナンバー読取装置におけるフォーカス調整は、車両検知センサを用いて車両の前面部の画像を取り込み、その画像に基づいてナンバープレートの文字のサイズの膨れ具合をチェックし、ITVカメラのフォーカスを制御するようにしている。この特許文献1に開示された車両ナンバー読取装置では、車両検知センサにより、画像の取り込み位置が一定になるため、文字の膨れ具合によりITVカメラのフォーカスをある程度制御することが可能である。
しかしながら、前述した特許文献1のように、車両検知センサを用いた車両ナンバー読取装置では、車両を一台撮像するごとにITVカメラをフォーカス制御しているため、何等かの原因により文字の膨れ具合を示すデータが異常になった場合、フォーカスが全く違う位置に設定されるという問題が生じる。
そこで、本発明は、前述した問題点に鑑みて提案されたもので、その目的とするところは、走行中の車両に対してITVカメラのフォーカス調整を常に的確に行い得る車両ナンバー読取装置を提供することにある。
前述の目的を達成するための技術的手段として、本発明は、撮像カメラにより得られたナンバープレートのグレースケール画像を二値化した二値画像からナンバープレート中の記号の水平エッジ位置を特定し、記号の水平エッジ位置を中心としてグレースケール画像上で水平方向左右に所定の画素数オフセットした勾配値計測範囲および基準値計測範囲を設定し、その勾配値計測範囲内でのグレースケール濃度の勾配値を計測値として算出すると共に、基準値計測範囲内でのコントラスト値を基準値として算出し、その基準値に対する計測値の割合をフォーカス評価値として算出するフォーカス評価部を備えたことを特徴とする。
ここで、「勾配値」とは、勾配値計測範囲内でのグレースケール濃度の最大値と最小値との差を意味する。また、「コントラスト値」とは、ナンバープレート中の文字部分の輝度と文字部分以外の部分の輝度との差を意味する。なお、ナンバープレート中の文字部分は、複数桁の数字と「−」あるいは「・」の記号からなる一連番号と、陸運支局コードと、車種コードと、用途コードとで構成されている。
本発明では、撮像カメラにより得られたナンバープレートのグレースケール画像と二値画像から、フォーカスを評価するための記号の水平エッジ位置を特定し、その記号の水平エッジ位置を中心として設定された勾配値計測範囲内でグレースケール濃度の勾配値を算出する一方、そのグレースケール画像内でのコントラスト値を基準値とし、その基準値に対する勾配値である計測値の割合をフォーカス評価値とすることにより、フォーカスを定量的に計測することができ、そのフォーカス評価値に基づいてフォーカス調整すれば、作業員の熟練度が不要で、フォーカス調整を容易かつ的確に行うことができる。
本発明におけるフォーカス評価において使用するナンバープレート中の記号としては、一連番号中に表記された「−」あるいは「・」が好適である。
本発明におけるフォーカス評価において、二値画像からナンバープレート中の記号の左右に位置する二つの水平エッジ位置を特定し、それぞれの水平エッジ位置について左右二つの勾配値計測範囲を設定し、それぞれの勾配値計測範囲でのグレースケール濃度の勾配値を平均し、その平均値を計測値として算出することが望ましい。
このように記号の水平エッジ位置について左右二つの勾配値計測範囲を設定し、グレースケール濃度の二つの勾配値の平均値を計測値とすれば、より正確なフォーカス評価を行うことができる。
なお、本発明に係る車両ナンバー読取装置は、撮像カメラからその視野内に侵入する車両の前面部の画像を取り込む画像取込部と、その画像取込部により得られた画像情報に基づいて車両のナンバープレートを検出するナンバープレート検知部と、そのナンバープレート検知部により検出されたナンバープレートのフォーカスを評価するフォーカス評価部と、そのフォーカス評価部による評価結果に基づいてフォーカス調整されたナンバープレート中の文字情報を認識するナンバープレート文字読取部とを具備した構成とすることが望ましい。
このような構成を具備した車両ナンバー読取装置では、撮像カメラからその視野内に侵入する車両の前面部の画像を画像取込部で取り込み、その画像取込部により得られた画像情報に基づいて車両のナンバープレートをナンバープレート検知部で検出し、そのナンバープレート検知部により検出されたナンバープレートのフォーカスをフォーカス評価部で評価する。
このフォーカス評価部では、前述したようにナンバープレートのグレースケール画像と二値画像から、特定された記号の水平エッジ位置に基づいて設定された勾配値計測範囲内でグレースケール濃度の勾配値を計測値として算出し、そのグレースケール画像内でのコントラスト値を基準値とし、その基準値に対する計測値の割合をフォーカス評価値として算出する。
そのフォーカス評価部による評価結果に基づいてフォーカス調整されたナンバープレート中の文字情報をナンバープレート文字読取部で認識する。このナンバープレート文字読取部での文字情報の認識によりナンバープレートに基づく車両の識別が可能となる。
本発明によれば、撮像カメラにより得られたナンバープレートのグレースケール画像と二値画像から、フォーカスを評価するための記号の水平エッジ位置を特定し、その記号の水平エッジ位置を中心として設定された勾配値計測範囲内でグレースケール濃度の勾配値を算出する一方、そのグレースケール画像内でのコントラスト値を基準値とし、その基準値に対する勾配値である計測値の割合をフォーカス評価値とすることにより、フォーカスを定量的に計測することができ、そのフォーカス評価値に基づいてフォーカス調整すれば、作業員の熟練度が不要で、画像の明暗に左右されることなく、走行中の車両であってもフォーカス調整を容易かつ的確に行うことができる。その結果、高精度で高品質の車両ナンバー読取装置を提供することができる。
本発明に係る車両ナンバー読取装置の実施形態を以下に詳述する。この車両ナンバー読取装置は、視野内に侵入した走行中の車両をITVカメラ等の撮像カメラで連続的に撮像し、その撮像カメラにより撮像された画像情報に基づいて、車両のナンバープレートを映し出した画像をコンピュータ処理で検出し、そのナンバープレートの画像をフォーカス評価した上でナンバープレート中の文字情報を読み取ることにより車両を識別するものである。
図1は本発明の実施形態における車両ナンバー読取装置のハードウェア構成を例示する。また、図2は車両ナンバー読取装置により車両の画像を取り込んでナンバープレート10の画像をフォーカス評価するまでのフローチャートである。さらに、図3は車両のナンバープレート10を例示し、前述のナンバープレート中の文字情報は、複数桁の数字11と「−」あるいは「・」の記号13からなる一連番号12と、陸運支局コード14と、車種コード16と、用途コード18とで構成されている。
図1に示す車両ナンバー読取装置20は、撮像カメラ22からその視野内に侵入する車両の前面部の画像を取り込む画像取込部24と、その画像取込部24により得られた画像情報に基づいて車両のナンバープレート10の有無を検出するナンバープレート検知部26と、そのナンバープレート検知部26により検出されたナンバープレート10のフォーカスを評価するフォーカス評価部28と、そのフォーカス評価部28による評価結果に基づいてフォーカス調整されたナンバープレート10中の文字情報を認識するナンバープレート文字読取部21とを具備する。
なお、フォーカス評価部28による評価結果とナンバープレート文字読取部21による文字情報とは、車両ナンバー読取装置20に有線あるいは無線で接続された保守用PC23に送信され、その保守用PC23のモニタ画面上に表示される。
前述の画像取込部24では、撮像カメラ22により取り込まれた車両のグレースケール画像を二値化して二値画像を生成する。これらグレースケール画像および二値画像から、ナンバープレート10が存在すべき範囲を抽出し、その抽出範囲のグレースケール画像と二値画像を1フレーム単位でメインメモリに蓄積する(図2のSTEP1)。
ナンバープレート検知部26では、画像取込部24で得られたグレースケール画像と二値画像に基づいて前述の抽出範囲にXY座標系を設定し、そのXY座標系を基準にして抽出範囲にナンバープレート10が存在するか否かを検出する(図2のSTEP2)。ナンバープレート10が存在する場合、そのナンバープレート10中の一連番号12に含まれる「−」あるいは「・」の記号13(図3参照)の重心位置を検出した上で(図2のSTEP3)、ナンバープレート10のグレースケール画像と二値画像をフォーカス評価部28へ出力する(図2のSTEP4)。
フォーカス評価部28では、以下の手順でもってナンバープレート10のフォーカスを定量的に評価する。
なお、図4において、(a)はナンバープレート10の二値画像10a、(b)はその二値画像10aにおけるA−B断面、(c)は(d)のグレースケール画像10bにおけるA−B断面、(d)はナンバープレート10のグレースケール画像10b、(e)はグレースケール画像10bにおいて設定される基準値計測範囲10cを示す。また、図5はフォーカス評価部28における処理手順を示すフローチャートである。
まず、撮像カメラ22により得られたナンバープレート10のグレースケール画像10bを二値化した二値画像10aからナンバープレート10中の例えば「−」記号13の重心位置X0の左右に位置する水平エッジ位置X1,X2を特定する(図5のSTEP1,2)。つまり、図4(a)に示すように二値画像10aにおける白部分を「1」、黒部分を「0」とした場合、その二値画像10a中の「−」記号13のA−B断面は、図4(b)のようになる。この図4(b)に示す「−」記号13の重心位置の左右に位置する水平エッジ位置X1,X2をX座標でもって特定する。
次に、図4(c)に示すように、「−」記号13の水平エッジ位置X1,X2を中心としてグレースケール画像10b上で水平方向左右に所定の画素数オフセットした勾配値計測範囲L1,L2を設定する(図5のSTEP3)。ここで、図4(d)に示すグレースケール画像10b中の「−」記号13のA−B断面は、図4(c)に示すようなグレースケール濃度となる。このグレースケール濃度において、「−」記号13の水平エッジ位置X1,X2を中心としてX座標のプラス方向とマイナス方向のそれぞれに例えば2画素ずつ(X座標のプラス方向とマイナス方向の両方向に4画素)オフセットした勾配値計測範囲L1,L2を設定する。その結果、X座標で5画素を有する二つの勾配値計測範囲L1,L2が設定される。
なお、図示例では、左右に位置する勾配値計測範囲L1,L2がナンバープレート10の重心位置X0で接するようになっているが、これはあくまでも一例であって、勾配値計測範囲L1,L2の画素数によっては、左右に位置する勾配値計測範囲L1,L2がナンバープレート10の重心位置X0で接しないこともある。
以上のように設定された勾配値計測範囲L1,L2内でのグレースケール濃度の勾配値を計測値として算出する(図5のSTEP4)。つまり、勾配値計測範囲L1,L2のそれぞれにおいて、グレースケール濃度の最大値D1,D2と最小値D0との差D1−D0,D2−D0をグレースケール濃度の勾配値として算出し、勾配値計測範囲L1,L2の二つの勾配値の平均値を算出してこれを計測値とする。
一方、グレースケール画像10bにおいて、「−」記号13の重心位置X0からオフセットした基準値計測範囲Mを設定し(図5のSTEP5)、その基準値計測範囲M内で、グレースケール画像10bからナンバープレート10中の文字部分の輝度と文字部分以外の部分の輝度との差、すなわちコントラスト値を基準値として算出する。つまり、図4(e)に示すように、二値画像10aで「0」となる黒部分(文字部分)の画素のグレースケールデータの平均値を輝度として算出すると共に、二値画像10aで「1」となる白部分(文字部分以外の部分)の画素のグレースケールデータの平均値を輝度として算出する。そして、この白部分の平均値と黒部分の平均値との差を基準値(コントラスト値)として算出する(図5のSTEP6)。
以上のようにして得られた基準値に対する前述の計測値の割合をフォーカス評価値として算出する(図5のSTEP7)。つまり、計測値を基準値で除算し、その除算値に100を乗算することにより、フォーカス評価値(%)を算出する。このようにして得られたフォーカス評価値は、その数値が高ければ〔基準値に対して計測値(勾配値)が大きければ〕、撮像カメラ22のピントが合っていることを示し、数値が低ければ〔基準値に対して計測値(勾配値)が小さければ〕、撮像カメラ22のピントが合っていないことを示す。つまり、計測値と基準値とが一致すれば、撮像カメラ22のピントが完全に合っていることを意味する。
このフォーカス評価値によりナンバープレート10のフォーカスを定量的に計測することができ、そのフォーカス評価値に基づいてフォーカス調整すれば、作業員の熟練度が不要で、画像の明暗に左右されることなく、走行中の車両であってもフォーカス調整を容易かつ的確に行うことができる。
このフォーカス評価値は、ナンバープレート10の画像を取り込んだ1フレームごとに基準値を設定しながら計測値に基づいて得られるものであるため、ナンバープレート10のフォーカスを正確に把握することができる。
なお、フォーカス評価値は、保守用PC23(図1参照)のモニタ画面に表示され(図2のSTEP5)、そのフォーカス評価値に基づくフォーカス調整は、手動あるいは自動のいずれであっても可能である。フォーカス評価部28による評価結果に基づいてフォーカス調整されたナンバープレート10中の文字情報をナンバープレート文字読取部21(図1参照)で認識することになる。
本発明は前述した実施形態に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲内において、さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。
本発明の実施形態で、車両ナンバー読取装置のハードウェア構成を示すブロック図である。 車両ナンバー読取装置により車両の画像を取り込んでナンバープレートの画像をフォーカス評価するまでのフローチャートである。 ナンバープレートの一例を示す正面図である。 (a)はナンバープレートの二値画像、(b)はその二値画像におけるA−B断面、(c)は(d)のグレースケール画像におけるA−B断面、(d)はナンバープレートのグレースケール画像、(e)はグレースケール画像における基準値計測範囲を示す説明図である。 フォーカス評価部における処理手順を示すフローチャートである。
符号の説明
10 ナンバープレート
10a 二値画像
10b グレースケール画像
13 記号
20 車両ナンバー読取装置
21 ナンバープレート文字読取部
22 撮像カメラ
24 画像取込部
26 ナンバープレート検知部
28 フォーカス評価部
1,X2 水平エッジ位置
1,L2 勾配値計測範囲
M 基準値計測範囲

Claims (4)

  1. 撮像カメラにより得られたナンバープレートのグレースケール画像を二値化した二値画像からナンバープレート中の記号の水平エッジ位置を特定し、前記記号の水平エッジ位置を中心として前記グレースケール画像上で水平方向左右に所定の画素数オフセットした勾配値計測範囲および基準値計測範囲を設定し、その勾配値計測範囲内でのグレースケール濃度の勾配値を計測値として算出すると共に、前記基準値計測範囲内でのコントラスト値を基準値として算出し、その基準値に対する前記計測値の割合をフォーカス評価値として算出するフォーカス評価部を備えたことを特徴とする車両ナンバー読取装置。
  2. 前記フォーカス評価部は、ナンバープレート中の記号を、一連番号中に表記された「−」あるいは「・」とした請求項1に記載の車両ナンバー読取装置。
  3. 前記フォーカス評価部は、二値画像からナンバープレート中の記号の左右に位置する二つの水平エッジ位置を特定し、それぞれの水平エッジ位置について左右二つの勾配値計測範囲を設定し、それぞれの勾配値計測範囲でのグレースケール濃度の勾配値を平均し、その平均値を計測値として算出する請求項1又は2に記載の車両ナンバー読取装置。
  4. 撮像カメラからその視野内に侵入する車両の前面部の画像を取り込む画像取込部と、その画像取込部により得られた画像情報に基づいて前記車両のナンバープレートを検出するナンバープレート検知部と、そのナンバープレート検知部により検出されたナンバープレートのフォーカスを評価する前記フォーカス評価部と、そのフォーカス評価部による評価結果に基づいてフォーカス調整されたナンバープレート中の文字情報を認識するナンバープレート文字読取部とを具備した請求項1〜3のいずれか一項に記載の車両ナンバー読取装置。
JP2007314777A 2007-12-05 2007-12-05 車両ナンバー読取装置 Active JP4788926B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007314777A JP4788926B2 (ja) 2007-12-05 2007-12-05 車両ナンバー読取装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007314777A JP4788926B2 (ja) 2007-12-05 2007-12-05 車両ナンバー読取装置

Publications (2)

Publication Number Publication Date
JP2009140160A JP2009140160A (ja) 2009-06-25
JP4788926B2 true JP4788926B2 (ja) 2011-10-05

Family

ID=40870718

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007314777A Active JP4788926B2 (ja) 2007-12-05 2007-12-05 車両ナンバー読取装置

Country Status (1)

Country Link
JP (1) JP4788926B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107664899A (zh) * 2017-10-19 2018-02-06 广东顺德工业设计研究院(广东顺德创新设计研究院) 自动对焦的方法、装置以及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5853345B2 (ja) * 2013-05-08 2016-02-09 住友電工システムソリューション株式会社 ピント指標算出装置、画像処理装置、コンピュータプログラム及びピント指標算出方法
CN105243660B (zh) * 2015-09-16 2017-10-31 浙江大学 一种含有光源场景的自动对焦图像的质量评价方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107664899A (zh) * 2017-10-19 2018-02-06 广东顺德工业设计研究院(广东顺德创新设计研究院) 自动对焦的方法、装置以及系统

Also Published As

Publication number Publication date
JP2009140160A (ja) 2009-06-25

Similar Documents

Publication Publication Date Title
CN103824452B (zh) 一种轻量级的基于全景视觉的违章停车检测装置
KR101995813B1 (ko) 영상 기반의 교통 정보 제공 시스템 및 그 방법
JP4793324B2 (ja) 車両監視装置および車両監視方法
KR102267335B1 (ko) 객체와 감지 카메라의 거리차를 이용한 속도 검출 방법
US20070041614A1 (en) Road marking recognition apparatus and method
TW201241796A (en) System and method for inspection of cars that violate traffic regulations using images
CN110929676A (zh) 一种基于深度学习的违章掉头实时检测方法
JP2012203795A (ja) 車両速度計測方法及びそれを利用した車両全体像検出方法並びに車両ナンバープレート情報誤認防止方法
JP2016162354A (ja) 車軸数検出装置、車種判別システム、車軸数検出方法及びプログラム
JP2014074939A (ja) 車両検知装置
KR101686558B1 (ko) 다차선 카메라 인식 시스템 및 그의 학습형 영상분석 방법
JP4788926B2 (ja) 車両ナンバー読取装置
KR20160040036A (ko) 다수의 ip카메라를 이용한 차량번호판 인식장치 및 인식방법
KR101269192B1 (ko) 일방통행 위반 단속시스템
CN114141022B (zh) 应急车道占用行为检测方法、装置、电子设备及存储介质
CN103778790A (zh) 一种基于视频序列的车流量方波统计法
JP5306124B2 (ja) ナンバプレート読取装置およびナンバプレート読取方法
JP2014048964A (ja) 駐車場システム
JP2009059313A (ja) 有料道路自動料金所の車両監視装置
CN117237883A (zh) 一种基于视觉目标跟踪的交通违法行为检测方法及系统
CN116682268A (zh) 基于机器视觉的便携式城市道路车辆违章稽查系统及方法
Yim et al. Integrated plate recognition and speed detection for intelligent transportation systems
CN110796099A (zh) 一种车辆超限检测方法及装置
CN114693722A (zh) 一种车辆行驶行为检测方法、检测装置及检测设备
CN106920398A (zh) 一种智能车牌识别系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110622

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110705

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4788926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250