JP4764295B2 - 赤外線計測表示装置 - Google Patents

赤外線計測表示装置 Download PDF

Info

Publication number
JP4764295B2
JP4764295B2 JP2006243999A JP2006243999A JP4764295B2 JP 4764295 B2 JP4764295 B2 JP 4764295B2 JP 2006243999 A JP2006243999 A JP 2006243999A JP 2006243999 A JP2006243999 A JP 2006243999A JP 4764295 B2 JP4764295 B2 JP 4764295B2
Authority
JP
Japan
Prior art keywords
image
image signal
unit
infrared
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006243999A
Other languages
English (en)
Other versions
JP2008064655A (ja
Inventor
稔 菊池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006243999A priority Critical patent/JP4764295B2/ja
Publication of JP2008064655A publication Critical patent/JP2008064655A/ja
Application granted granted Critical
Publication of JP4764295B2 publication Critical patent/JP4764295B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Radiation Pyrometers (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、赤外線撮像装置により撮像した画像およびこの画像の面積を計測した輝度分布を表示する赤外線計測表示装置に関する。
従来、赤外線により移動する目標物を撮像しこれを画像として表示し、あるいはこの画像の輝度分布をもとめて目標物を検知する赤外線計測表示装置においては、入力画像を安定させるために、画面全体の信号強度の平均等を基準値に近づけるように感光時間を制御する。ここで感光時間の制御とは、検知器に対する露光時間の制御をいう。
このような赤外線画像表示装置に用いられる赤外線撮像装置としては、目標物から光学系を介して入射する赤外線を検知する赤外線検知器を備え、この赤外線検知器の出力信号の暗電流を補正する暗電流補正回路あるいはゲイン補正を行うゲイン補正回路を備える撮像装置が知られている(特許文献1参照)。
また、1系統の光学系と、1フレーム毎に赤外線検知器への入射赤外線の波長域が切り換わるフレーム同期波長分割器と、赤外線を感知する赤外線検知器と、駆動タイミング発生回路と、画像信号調整回路と、画像信号補正回路を備える赤外線撮像装置も知られている(特許文献2参照)。
しかしこのような従来の赤外線撮像装置を用いた画像表示装置においては、目標が近づいた場合目標領域が広がり信号が強くなるため、その平均値に基づいて感光時間を減少させるが、検知器側のダイナミックレンジがせまく目標領域内の温度分布をカバーできないため、多くの領域が信号飽和レベルとなり、温度差を区別できなくなってしまう。
また、目標面積等を一定に保つ方法では、高温部のみを抽出し目標周辺部等の低温領域を抽出できず、目標領域を高精度に検出できないという課題がある。
特開2001-268440号公報 特開平10-262178号公報
本発明の課題は、赤外線検知器のダイナミックレンジを拡大して目標物の赤外線画像の必要な部分を適正に表示可能な赤外線計測表示装置を提供することにある。
本発明の一実施形態による赤外線計測表示装置は、目標物から放射される赤外線を集光する光学部と、この光学部により集光された赤外線が結像され、これを光電変換する赤外線感知器と、この赤外線感知器により光電変換された赤外線画像信号から2値画像信号を得る画像処理部と、この画像処理部により得られた2値画像信号を通常画像信号として出力するとともに、この通常画像信号から目標画像の面積を計測する通常画像信号出力部と、この通常画像信号出力部により計測された目標画像の画像面積に対して所定の率で低減された目標画像面積を有する2値画像信号を低減画像信号として出力する低減画像信号出力部と、この低減画像信号出力部および前記通常画像信号出力部から得られた画像信号を表示する画像表示部と、を有することを特徴とするものである。
また、本発明の他の実施形態による赤外線計測表示装置は、目標物から放射される赤外線を集光する光学部と、この光学部により集光された赤外線が結像され、これを光電変換する赤外線感知器と、この赤外線感知器により光電変換された赤外線画像信号から2値画像信号を得る画像処理部と、この画像処理部により得られた2値画像信号を通常画像信号として出力するとともに、この通常画像信号から目標画像の面積を計測する通常画像信号出力部と、この通常画像信号出力部により計測された目標画像の画像面積に対して第1の低減率で低減された目標画像面積を有する2値画像信号を低減画像信号として出力するとともに、この目標画像の面積を計測する第1の低減画像信号出力部と、前記通常画像信号出力部により計測された目標画像の画像面積に対して前記第1の低減率より大きな第2の低減率で低減された目標画像面積を有する2値画像信号を低
減画像信号として出力するとともに、この目標画像の面積を計測する第2の低減画像信号出力部と、前記通常画像信号出力部、前記第1の低減画像信号出力部および前記第2の低減画像信号出力部から得られた画像信号を表示する画像表示部と、を有することを特徴とするものである。
このように構成した本発明の一実施形態にかかる赤外線計測表示装置においては、赤外線検知器感光時間を段階的に切り替えて撮像し、異なる目標画像面積の複数の画像を得ることにより、ダイナミックレンジの広い赤外線画像を得ることができる。これにより、従来技術による赤外線撮像表示装置では信号が飽和し区別できなかった目標領域を、温度差ごとに抽出し区別できるようになり、目標領域を高精度に検出することが可能になる。
以下に、本発明の最良の実施形態について図面を参照して説明する。
図1に本発明の一実施形態による赤外線計測表示装置の全体構成を示す。この赤外線計測表示装置は、光学部11は目標物からの赤外線を集光し、赤外線検知器12に結像する。この赤外線検知器12は結像された赤外線像を光電変換する。赤外線検知器駆動回路13は赤外線検知器12の動作に必要な感光時間制御信号を含む各種の制御信号を赤外線検知器12に供給しこれを駆動制御する。赤外線検知器12は結像された赤外線像を2次元配列された画素に分解して各画素毎に光電変換し画素の濃淡に応じた電気信号を出力する。この赤外線検知器駆動回路13の出力信号は画像処理部14に供給され、ここで各画素信号を2値信号に変換する。画像処理部14の出力信号は切替えスイッチ15を介して取り出される。この切替えスイッチ15は、入力端子15−1に供給された画像処理部14の出力信号を3個の出力端子15−2、15−3、15−4に切替え出力する。切替えスイッチ15の3個の出力端子15−2、15−3、15−4には、それぞれ、通常画像出力部16と、第1の低減画像出力部17と、第2の低減画像出力部18が接続されている。
切替えスイッチ15の入力端子15−1が出力端子15−2に接続されている状態においては、出力が通常画像出力部16には画像処理部14の2値化画像出力信号がそのままの状態で供給される。通常画像出力部16は、入力された1フレームに含まれる2値化画像信号から目標物の画像面積を測定しその結果を面積値信号として出力する。目標物は通常温度が高いためその赤外線撮像画像は目標物の周囲部分に比較して明るい画像となる。このため目標物の画像面積は、2値化信号のハイレベルを取る画素数を計数することにより求められる。この面積値信号は感光時間制御部19に供給される。感光時間制御部19は、所望の温度範囲に分布する目標物の画像面積が得られるように、赤外線検知器12の感光時間を設定し、これを赤外線検知器駆動回路13に供給する。赤外線検知器駆動回路13は赤外線検知器12に対して設定された感光時間で目標画像を撮像するようにシャッター開放時間を制御する。この結果赤外線検知器駆動回路13で撮像された目標像は光電変換され、画像処理部14に送られて2値化され、切替えスイッチ15を介して通常画像出力部16に送られる。したがって、赤外線検知器12の感光時間の制御は赤外線検知器12、画像処理部14、通常画像出力部16、感光時間制御部19を含む閉回路により、フィードバック制御が行われ、通常画像出力部16には、所望の温度範囲に分布する目標物の画像出力が得られる。そしてこのフィードバック制御は、通常画像出力部16により出力される1フレーム分の画像の平均輝度が所定の値に近づくように制御する。
このような通常画像を得る赤外線撮像動作を以下では通常モードという。また、この通常モードにおける赤外線検知器12の感光時間を以下では通常モード感光時間という。
切替えスイッチ15が、その入力端子15−1が出力端子15−3に接続されるように切替えられた状態においては、第1の低減画像出力部17には、通常モード画像出力部16により計測された目標画像面積よりも低減された目標画像面積の画像信号が得られる。この低減率RAは通常画像出力部16により得られる目標画像面積のたとえば1/2とする。第1の低減画像出力部17も、通常画像出力部16と同様に、その出力画像信号から、目標画像の面積を計数し、結果を、感光時間制御部19に与える。そして感光時間制御部19は第1の低減画像出力部17に低減された目標画像の面積が得られる感光時間を設定し、これを赤外線検知器12に与える。この感光時間は、通常モードにおける感光時間より低減された感光時間が設定される。このような撮像動作を以下では第1の低減モードあるいはAモードという。また低減された感光時間を以下では第1の低減感光時間またはAモード感光時間という。ここで、通常モードの目標画像面積に対するAモードの目標画像面積の比である前述の低減率RAは、所望の計測温度幅全体をカバーできるように、通常モードでの計測温度範囲と第1の低減モードでの計測温度範囲がオーバーラップするように設定する。
Aモード感光時間は、赤外線検知器駆動回路13を介して赤外線検知器12に与えられ、そのシャッター開放時間を制御する。この結果赤外線検知器12の出力として得られるアナログ画像信号は画像処理部14で2値化され、切替えスイッチ15を介して第1の低減画像出力部17に送られる。赤外線検知器12の感光時間に対しては赤外線検知器12、画像処理部14、第1の低減画像出力部17および感光時間制御部19を含む閉回路により、フィードバック制御が行われ、第1の低減画像出力部17には常に、所定の平均輝度を有する低減された目標面積を有する画像出力が得られる。
切替えスイッチ15が、その入力端子15−1が出力端子15−4に接続されるように切替えられた状態においては、第2の低減画像出力部18には、第1の低減画像出力部17により計測された目標画像面積よりもさらに低減された目標画像面積の画像信号が得られる。この場合の画像面積の低減率は、第1の低減画像出力部17により得られる目標画像面積のたとえば1/2、したがって、通常モード画像出力部16により得られる目標画像面積の1/4とする。この低減率は、計測温度幅をカバーできるように、第1の低減モードでの計測温度範囲と第2の低減モードでの計測温度範囲がオーバーラップするように設定する。
第2の低減画像出力部18も、通常モード画像出力部16あるいは第1の低減画像出力部17と同様に、その出力画像信号から、目標画像の面積を計数し、その計数結果を表す出力信号を、感光時間制御部19に与える。感光時間制御部19は与えられた目標画像の面積から、この画像面積が得られるような感光時間を設定し、これを赤外線検知器12に与える。この感光時間は、第1の低減画像出力部17に供給される画像信号を得る場合の感光時間よりさらに低減された感光時間が設定される。このような撮像動作を以下では第2の低減モードあるいはBモードという。またこのさらに低減された感光時間を以下では第2の低減感光時間あるいはBモード感光時間という。ここで、通常モードの目標画像面積に対するBモードの目標画像面積の比である低減率RBは、所望の計測温度幅全体をカバーできるように、Aモードでの計測温度範囲とBモードでの計測温度範囲がオーバーラップするように設定する。
Bモード感光時間は、赤外線検知器駆動回路13を介して赤外線検知器12に与えられ、そのシャッター開放時間を制御する。この結果赤外線検知器12の出力として得られるアナログ画像信号は画像処理部14で2値化され、切替えスイッチ15を介して第2の低減画像出力部18に送られる。赤外線検知器12の感光時間は第2の低減画像出力部18、感光時間制御部19を含む閉回路により、フィードバック制御が行われ、第2の低減画像出力部18には常に、所定の平均輝度を有する低減された目標面積を有する画像出力が得られる。
感光時間制御部19の制御出力信号は、前述したように、赤外線検知器駆動回路13に供給されるとともに、切替えスイッチ15にも供給され、通常モード感光時間、Aモード感光時間およびBモード感光時間の切替えタイミングに同期して切替えスイッチ15を切り替えるように制御する。
図2は上述した通常モード感光時間、Aモード感光時間およびBモード感光時間の関係を示すグラフで、縦軸は感光時間、横軸は時間である。同図において、棒グラフ「TO」は通常モード感光時間を、「TA」はAモード感光時間を、そして「TB」はBモード感光時間をそれぞれ示している。これらの感光時間TO、TA、TBは時間と共に順次切替えられ、赤外線検知器12の画像出力の1フレーム期間ごとに繰り返される。すなわち、感光時間TO、TA、TBは1フレーム期間内で順次切替えられ、1フレーム期間ごとに繰り返される。
通常モード画像出力部16、第1の低減画像出力部17および第2の低減画像出力部18の各画像出力信号は、画像合成部20および輝度分布計算部21に供給される。また、通常画像出力部16、第1の低減画像出力部17および第2の低減画像出力部18の各面積値信号出力は、輝度分布計算部21に供給される。画像合成部20は通常モード画像出力部16、第1の低減画像出力部17および第2の低減画像出力部18の各画像出力信号を個別に切替えあるいは合成して表示部22に送り画像として表示する。
図3は各画像出力信号を個別に表示した画像であり、同図(a)は通常モード画像、(b)は第1の低減画像、そして(c)は第2の低減画像を示している。ここで、同図(a)は目標画像のほぼ全体を表示し、温度範囲は目標物体の最も低い温度から最も高い温度範囲の部分までカバーして表示している。また、同図(b)は目標物体の中程度の温度範囲の部分を表示し、同図(c)は目標物体の最も高い温度部分を表示している。
図4はこれらの各画像を合成した画像で、図3の(a)(b)(c)に対応する部分は温度に応じて異なる色で表示する。
図5は輝度分布計算部21により計算された目標画像を形成する画素毎の輝度分布を表すヒストグラムである。すなわち、同図の横軸は温度であり、縦軸は各温度に対応する度数、すなわち画素数である。輝度分布計算部21は、通常モード画像出力部16、第1の低減画像出力部17および第2の低減画像出力部18の各画像出力信号および各面積値信号出力とから、各温度についての対応する輝度を有する画素数を計数し、ヒストグラムを作成する。
図6は、以上のように構成された本発明の一実施形態による赤外線計測表示装置の動作を説明するためのフローチャートである。
赤外線計測表示装置の動作がスタートすると、ステップS1で光学部11により目標物からの赤外線光が集光され、赤外線検知器12に結像される。
ステップS2で赤外線検知器12は赤外線検知器駆動回路13の駆動制御の下で目標物の赤外線画像を光電変換して画像信号を出力する。この出力画像信号は画像処理部14で2値化画像信号に変換され、スイッチ15を経て通常画像出力部16に供給される。
ステップS3では、通常画像出力部16で得られたフレーム画像から目標物の画像面積を計算する。
ステップS4では、Aモードにおける目標物の面積を得るための低減率RAを設定する。ステップS5では、Bモードにおける目標物の面積を得るための低減率RBを設定する。
ステップS6では、感光時間制御部20により、通常モードにおける感光時間TOを設定し、赤外線検知器12はこの感光時間TOにより目標物を撮像する。この時、切替えスイッチ15は通常画像出力部16に切り替えられる。
ステップS7では、感光時間制御部19によりモードAに対する感光時間TAが設定され、赤外線検知器12はこの感光時間TAにより目標物を撮像する。この時、切替えスイッチ15はAモード画像出力部17に切り替えられる。
ステップS8では、感光時間制御部19によりモードBに対する感光時間TBが設定され、赤外線検知器12はこの感光時間TBにより目標物を撮像する。この時、切替えスイッチ15はBモード画像出力部18に切り替えられる。
ステップS9では、通常画像出力部16、Aモード画像出力部17およびBモード画像出力部18の出力画像信号は、それぞれ、画像合成部20あるいは面積出力信号とともに輝度分布計算部21に供給され、表示部22に個別あるいは合成された目標画像あるいは輝度分布ヒストグラムとして表示される。
以上説明したように、上記実施例にかかる赤外線計測表示装置によれば、その撮像モードを1フレーム期間内で通常モード/Aモード/Bモードと順次切り替えることにより、異なる設定温度に対応する目標物の領域を抽出表示することができ、赤外線検知器のダイナミックレンジを実質的に拡大することができる。
本発明の一実施形態に係る赤外線計測表示装置の構成を示すブロック図である。 図1に示す赤外線計測表示装置の通常モード、Aモード、Bモードにおける感光時間の関係を示すグラフである。 同じく図1に示す赤外線計測表示装置の通常モード、Aモード、Bモードにより撮像された目標物の出力画像を示す図である。 同じく図1に示す赤外線計測表示装置の通常モード、Aモード、Bモードにより撮像された各目標物画像を合成した画像を示す図である。 同じく図1に示す赤外線計測表示装置により撮像された目標物画像の輝度分布を表すヒストグラムである。 同じく図1に示す赤外線計測表示装置の動作を説明するためのフローチャートである。
符号の説明
11:光学部、12:赤外線検知器、13:赤外線検知器駆動回路、14:画像処理部、15:切替えスイッチ、16:通常画像出力部、17:Aモード画像出力部、18:Bモード画像出力部、19:感光時間制御部、20:画像合成部、21:輝度分布計算部、22:表示部、

Claims (4)

  1. 目標物から放射される赤外線を集光する光学部と、この光学部により集光された赤外線が結像され、これを光電変換する赤外線感知器と、この赤外線感知器により光電変換された赤外線画像信号から2値画像信号を得る画像処理部と、この画像処理部により得られた2値画像信号を通常画像信号として出力するとともに、この通常画像信号から目標画像の面積を計測する通常画像信号出力部と、この通常画像信号出力部により計測された目標画像の画像面積に対して所定の率で低減された目標画像面積を有する2値画像信号を低減画像信号として出力する低減画像信号出力部と、この低減画像信号出力部および前記通常画像信号出力部から得られた画像信号を表示する画像表示部と、を有することを特徴とする赤外線計測表示装置。
  2. 前記赤外線感知器に接続され、この赤外線感知器の感光時間の制御を行う赤外線感知器駆動部と、この赤外線感知器駆動部に出力信号が供給され、前記通常画像信号出力部および低減画像信号出力部の出力信号が入力信号として供給される感光時間算定部とをさらに備えたことを特徴とする請求項1記載の赤外線計測表示装置。
  3. 前記感光時間算定部は、前記所定の率で低減された目標画像面積を算定し、これによって前記赤外線感知器の感光時間を制御することを特徴とする請求項2記載の赤外線計測表示装置。
  4. 目標物から放射される赤外線を集光する光学部と、この光学部により集光された赤外線が結像され、これを光電変換する赤外線感知器と、この赤外線感知器により光電変換された赤外線画像信号から2値画像信号を得る画像処理部と、この画像処理部により得られた2値画像信号を通常画像信号として出力するとともに、この通常画像信号から目標画像の面積を計測する通常画像信号出力部と、この通常画像信号出力部により計測された目標画像の画像面積に対して第1の低減率で低減された目標画像面積を有する2値画像信号を低減画像信号として出力するとともに、この目標画像の面積を計測する第1の低減画像信号出力部と、前記通常画像信号出力部により計測された目標画像の画像面積に対して前記第1の低減率より大きな第2の低減率で低減された目標画像面積を有する2値画像信号を低
    減画像信号として出力するとともに、この目標画像の面積を計測する第2の低減画像信号出力部と、前記通常画像信号出力部、前記第1の低減画像信号出力部および前記第2の低減画像信号出力部から得られた画像信号を表示する画像表示部と、を有することを特徴とする赤外線計測表示装置。
JP2006243999A 2006-09-08 2006-09-08 赤外線計測表示装置 Expired - Fee Related JP4764295B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006243999A JP4764295B2 (ja) 2006-09-08 2006-09-08 赤外線計測表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006243999A JP4764295B2 (ja) 2006-09-08 2006-09-08 赤外線計測表示装置

Publications (2)

Publication Number Publication Date
JP2008064655A JP2008064655A (ja) 2008-03-21
JP4764295B2 true JP4764295B2 (ja) 2011-08-31

Family

ID=39287489

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006243999A Expired - Fee Related JP4764295B2 (ja) 2006-09-08 2006-09-08 赤外線計測表示装置

Country Status (1)

Country Link
JP (1) JP4764295B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7310098B2 (ja) 2018-07-10 2023-07-19 富士通株式会社 赤外線検出器の制御回路及び制御方法、撮像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0629787B2 (ja) * 1990-06-13 1994-04-20 新日本製鐵株式会社 稼働設備の異常発熱検出装置
JPH1073483A (ja) * 1996-08-30 1998-03-17 Nikon Corp 赤外線撮像装置
JP2005191954A (ja) * 2003-12-25 2005-07-14 Niles Co Ltd 撮像システム

Also Published As

Publication number Publication date
JP2008064655A (ja) 2008-03-21

Similar Documents

Publication Publication Date Title
KR101247647B1 (ko) 화상 합성 장치, 화상 합성 방법, 및 기록 매체
US20190045146A1 (en) Method and apparatus for imaging an object
JP5523124B2 (ja) 撮像装置
JP4723401B2 (ja) 固体撮像装置
US20140063294A1 (en) Image processing device, image processing method, and solid-state imaging device
US10412356B2 (en) Image processing apparatus and image processing method
JP4573769B2 (ja) 画像処理回路および画像処理方法
JP2010093472A (ja) 撮像装置および撮像装置用信号処理回路
KR20070024559A (ko) 촬상 장치 및 신호 처리 방법
US10602051B2 (en) Imaging apparatus, control method, and non-transitory storage medium
JP5012823B2 (ja) 撮像装置および撮像方法
JP2009194700A (ja) 画像処理装置及び画像処理プログラム
US10027919B2 (en) Signal processing apparatus, image capturing apparatus, control apparatus, signal processing method, and control method
US20100020200A1 (en) Flash emission method and flash emission apparatus
JP2008276482A (ja) 画像処理装置、画像処理方法及び画像処理用プログラム。
JP2009284959A (ja) 内視鏡装置
EP2214136B1 (en) Method and program for controlling image capture apparatus
JP2009284136A (ja) 電子カメラ
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
JP5440245B2 (ja) 撮像装置
JP4764295B2 (ja) 赤外線計測表示装置
JP2007318630A (ja) 画像入力装置、撮像モジュール、及び固体撮像装置
WO2015111471A1 (ja) 撮像装置、映像信号処理方法及び映像信号処理プログラム
JP2006135381A (ja) キャリブレーション方法およびキャリブレーション装置
JP5586415B2 (ja) カメラの制御方法およびカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110419

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110517

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110610

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees