JP4119043B2 - 赤外放射温度測定装置及びその測定方法 - Google Patents

赤外放射温度測定装置及びその測定方法 Download PDF

Info

Publication number
JP4119043B2
JP4119043B2 JP18381499A JP18381499A JP4119043B2 JP 4119043 B2 JP4119043 B2 JP 4119043B2 JP 18381499 A JP18381499 A JP 18381499A JP 18381499 A JP18381499 A JP 18381499A JP 4119043 B2 JP4119043 B2 JP 4119043B2
Authority
JP
Japan
Prior art keywords
thermal image
image data
temperature
temperature measuring
heat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP18381499A
Other languages
English (en)
Other versions
JP2001013009A (ja
Inventor
雅一 伊藤
篤志 町田
和宏 高杉
Original Assignee
Nec三栄株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec三栄株式会社 filed Critical Nec三栄株式会社
Priority to JP18381499A priority Critical patent/JP4119043B2/ja
Publication of JP2001013009A publication Critical patent/JP2001013009A/ja
Application granted granted Critical
Publication of JP4119043B2 publication Critical patent/JP4119043B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Radiation Pyrometers (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は赤外放射移動物体の赤外放射温度測定装置及びその測定方法に関する。
【0002】
【従来の技術】
従来から自動車の内燃機関、車輌のモータの様に熱を発生しながら走行するものでは各部への熱伝達の検証を行なうために赤外カメラによる赤外放射温度測定が広く行なわれている。
【0003】
図11は製鉄所の高炉から転炉工場へ溶鉄を移送するための混銑車1を示している。この混銑車1はタンクの先端の前後が銃弾の様に円錐状と成され、大量の溶鉄を移送するため複数の車輪2を有し、製鉄所内に敷設した線路3上をかなりの速度で移動させている。
【0004】
タンク内には高温の銑鉄が挿入されるため耐火レンガ4をタンク内壁を囲繞する様に配設し、溶融した銑鉄は耐火レンガ壁内に供給される様に成されている。
【0005】
上述の様な高温で且つかなりの高速で線路3上を移動する混銑車1等の温度状態を監視し、上記耐火レンガ4を補修するために、従来では被温度測定体である混銑車1を停止させ、赤外カメラ5に広角レンズを装着して熱画像データを取得している。また、線路3上を移動する混銑車1を撮像する場合には一定速度で移動している状態で赤外カメラ5を2次元走査することで熱画像データを取得していた。
【0006】
【発明が解決しようとする課題】
図12に示す様に従来では赤外カメラ5と混銑車1の中心を結ぶラインCLを0°とした場合に赤外カメラ5をY軸及びZ軸方向に所定周期Pで2次元走査しているが走査角度が±40°の範囲では放射率を略一定に取得することができるが混銑車1のタンクは先端部及び後方部が銃弾の様に円錐状と成されているため水平方向(Y軸方向)及び垂直方向(Z軸方向)ではX軸方向に距離Dの差が生じて取得放射率が低下し、温度指示値が低下して測定精度が悪化していた。
【0007】
本発明は叙上の課題を解決するために成されたもので、発明が解決しようとする課題は移動する被温度測定体の混銑車の速度が変化しても、混銑車の進行方向に垂直に1次元走査することで水平及び垂直方向の測定角度を混銑車1と赤外カメラ5を結ぶラインCL上で直視する様にして、測定精度が向上した赤外放射温度測定装置及びその測定方法を得る様にしたものである。
【0008】
【課題を解決するための手段】
本発明の赤外放射温度測定装置は被温度測定体が移動する通路に配設した測定開始位置検出手段と、被温度測定体が移動する通路に配設した移動速度検出手段と、被温度測定体の移動方向に対して垂直方向に走査して熱画像を取得する赤外熱画像撮像手段と、赤外熱画像撮像手段で取得した熱画像データと移動速度検出手段で検出した速度信号及びストローブ信号を記憶する記憶手段と、この記憶手段に記憶した速度信号及びストローブ信号に基づいて、記憶手段に記憶した被温度測定体の水平及び垂直方向或は少なくともいずれか一方向に変位した熱画像データの変位演算を行なう演算手段とを具備し、演算手段は、水平方向に伸張された展開熱画像データの1ライン走査毎の温度分散を調べて熱画像の背景部と被温度測定体との温度分散が最大となる位置を決定し、速度信号に従って水平方向の熱画像データを間引いて圧縮熱画像を得ると共に、熱画像の垂直方向エリア内で該圧縮熱画像の熱温度の平均が最大となる位置を求めてその位置における該圧縮熱画像の上端部及び下端部を決定する様に成し、変位した取得熱画像データを被温度測定体の原寸法に対応した熱画像として疑似カラー表示して成るものである。
【0009】
本発明の赤外放射温度測定方法は移動する被温度測定体の所定移動位置で熱画像データの測定を開始して、被温度測定体の移動速度及び熱画像データを赤外熱画像撮像手段で取得する赤外放射温度測定方法であって、記憶手段に格納した熱画像データと被温度測定体の移動速度に基づいて、水平方向に伸張された展開熱画像データの1ライン走査毎の温度分散を調べて熱画像の背景部と被温度測定体との温度分散が最大となる位置を決定し、速度信号に従って水平方向の熱画像データを間引いて圧縮熱画像を得る処理、及び熱画像の垂直方向エリア内で該圧縮熱画像の熱温度の平均が最大となる位置を求めてその位置における該圧縮熱画像の上端部及び下端部を決定する処理、或いは前記2つの処理の少なくともいずれか一方の処理を行うことで、被温度測定体の水平及び垂直方向或は少なくともいずれか一方向に変位した熱画像データの変位を演算し、演算結果に基づいて熱画像データを被温度測定体の原寸法に対応した熱画像として疑似カラー表示して成るものである。
【0011】
本発明の赤外放射温度測定装置及び赤外放射温度測定方法によれば熱画像データを1次元走査で取得するようにしたので精度の良い熱画像データが得られ、混銑車の運行に関係なく熱画像データを自動測定することができ、且つ歪補正後の混銑車の熱温度分布を正確に特定することが可能となる。
【0012】
【発明の実施の形態】
以下、本発明の被温度測定体の赤外放射温度測定装置及び赤外放射温度測定方法並びに画像切り出し方法を図1乃至図10を用いて説明する。
【0013】
図1は本発明の赤外放射温度測定装置の系統図を示すものであり、図1において、タンク内に溶融した銑鉄を充填した高温の被温度測定体(混銑車)1が線路3上を矢印A方向に所定速度で常時運行されている。
【0014】
上述の混銑車1のタンク6は図3の様に先端部及び後方部が円錐状と成され、銑鉄の出し入れはタンク上に設けた銑鉄供給排出口1aから行なわれ、タンク6の外壁は鋼材等で形成されているが、タンク6の内壁内には図11で説明したように耐火レンガ4が積まれて、タンク6の外壁が溶融しないようになされている。大量の銑鉄を移動するために複数の車輪2が設けられていて、赤外カメラ5a,5bはタンク6の外壁の左右或はいずれか一方から撮像して赤外放射熱画像データ(以下熱画像データと記す)を取得していた。
【0015】
本例では線路3内に測定開始位置を検出するためのセンサとしてスタートタピットスイッチ(以下スタートセンサと記す)7aと、混銑車1の通過速度を検出するための1対の光センサ(以下速度センサと記す)7b及び7cを1つの軌道につき3個配設する。また速度センサ7b及び7c間は所定距離L離されて配設されている。
【0016】
赤外カメラ5a及び5bは混銑車1のタンクの左右側面、或はいずれか一方の面を撮像する様に例えばスタートセンサ7aと速度センサ7b及び7c間に固定されている。
【0017】
スタートセンサ7a及び速度センサ7b及び7cからの測定スタート開始用と通過速度用の検出出力はパルスインタフェース8に供給され、赤外カメラ5a及び5bからの熱画像データは赤外カメラインタフェース9に供給される。
【0018】
パルスインタフェース8及び赤外カメラインタフェース9はスタート信号及び速度信号並びに熱画像データを出力する。
【0019】
バッファメモリ10には速度センサ7cを踏み込んだ時の通過車輪数(以下ストローブ信号と記す)及び速度信号並びに熱画像データをバッファメモリ10内に格納し、1つのファイルとして保存する。
【0020】
これら各信号はマイクロコンピュータ(CPU)16及びアドレスコントローラ15を介して各種の演算処理、制御処理が行なわれる。
【0021】
バッファメモリ10からの熱画像データ11はCRTコントローラ11及び画像バッファメモリ12及びR(赤)、G(緑)、B(青)ジェネレータ13を介してCRT等のカラーディスプレイ14に熱画像データを疑似カラー表示する。CPU16はCRTコントローラ11、バッファメモリ12、RGBジェネレータ13、カラーディスプレイ14等をコントロールしている。
【0022】
上述構成の赤外放射温度測定装置17の動作を図2乃至図10を用いて説明する。
【0023】
図2は本発明の赤外放射温度測定装置のフローチャート、図3は被温度測定体(混銑車)と走査方法の説明図である。先ず、図3によって、熱画像データを赤外カメラ5a及び5bによって取得する測定方法を説明する。
【0024】
混銑車1は線路3上をA方向が進入してきて、混銑車1の先頭車輪がスタートセンサ7aを踏み込むとスタート信号TS0 を発生し、パルスインタフェース8を介してCPU16に供給される。
【0025】
この段階で赤外カメラ5a及び5bは保護ハウジングのシャッタを開き撮像動作を開始する。赤外カメラ5a又は/及び5bは図3の走査線18で示す様に上下方向に1ラインだけ固定走査を行なう様になされている。
【0026】
即ち、CPU16内では図2のフローチャートに示す様に第1ステップST1 でスピードセンサ7aからスタート信号TS0 が検出されたかを常時監視して、混銑車1が入線したかをみている。スタートセンサ7aからのスタート信号TS0 が入力されると第2ステップST2 に示す様に赤外カメラ5a及び5bは上記した上下方向に1ラインだけ固定走査するタイムトレースモードで撮像を開始する。この様なタイムトレースモードでも混銑車1がA方向に移動しているので混銑車1の展開熱画像を得ることが出来る。
【0027】
次に第3ステップST3 の様に混銑車1の先頭車輪2がスタートセンサ7aを踏み込んでから速度センサ7b及び7cを踏み込むまでの時間Tを計測して、センサ7b及び7c間の距離Lから混銑車1の通過速度Vを算出する。
【0028】
即ち、混銑車1が速度センサ7b及び7cを踏み込むと図1に示すパルス信号TS1 及びTS2 が発生するので、これらパルス信号TS1 及びTS2 をパルスインタフェース8を介して、CPU16に供給し、速度センサ7b及び7c間の距離L間の通過時間Tを計測して、通過速度VをCPU16から算出してスピードデータを取得する。
【0029】
更に、CPU16は速度センサ7c上を通過する混銑車1の通過車輪数(以下ストローブ信号と記す)を計測し、バッファメモリ10内に記憶する。この様な速度信号、ストローブ信号、熱画像データの取得処理方法を図4で説明する。
【0030】
赤外カメラ5a及び5bはスタートセンサ7aからスタート信号TS0 が入力されると予め走査時間、フォーカス、レベル、センス等を設定してある条件に従って撮像を開始する。
【0031】
熱画像データは走査線18の様に上下方向(垂直方向)に1ライン固定走査することで図5に示す様な展開熱画像データ20を得る。また、速度センサ7cを踏み込んだ時に通過する車輪数であるストローブ信号SSTを得るたびに速度信号SSPを取得する。即ち、図4の様にストローブ信号SSTの番号[1]から次のストローブ信号SSTの番号[1]までは同じ速度信号SSPとして取得している。
【0032】
上述の様な各種データの取得処理が終了した時点でCPU16は第4ステップST4 に示す様にストローブ信号SST 及び速度信号SSP 並びに熱画像データを1つのファイルとしてバッファメモリ10に格納する。
【0033】
次の第5ステップST5 でCPU16は混銑車1が赤外カメラ5a及び5b前面を通過したか否かを判断し、“NO”であれば第3ステップST3 の頭に戻されるが、“YES”であれば第6ステップST6 で撮像を終了する。
【0034】
次に、CPU16は図5の様に混銑車1の展開熱画像データ20の予め設定されたストローブ信号SST の番号間(図5では丸で囲まれた矢印部分)の熱画像データを切り出す。
【0035】
次の第7ステップST7 ではバッファメモリ10に格納した展開熱画像データ20の水平方向の補正を行なう。
【0036】
即ち、図5の様に水平方向に伸張された展開熱画像データ20の1ライン走査毎の垂直方向の温度分散を調べて、図6の様に混銑車1と背景部22との境界を定めるために、背景部22と混銑車1との温度分散が最大となる位置を求めて、左右端部23L及び23Rを決定する。
【0037】
次にバッファメモリ10内の速度信号SSP に従って、水平方向のデータを間引いて図6の様に圧縮熱画像データ21を得る様にする。
【0038】
次に第8ステップST8では混銑車1が上下に揺動するために混銑車1の垂直方向の画素数を128画素と定め、垂直方向の192画素までのエリアの熱温度の平均が最大となる位置を求めて、図7の様にその位置を垂直方向の上端部24U及び下端部24Dとする。
【0039】
次の第9ステップST9 では熱画像の特異点を抽出して画像歪の補正を行なう。
【0040】
上述の第9ステップST9 では混銑車1の輪郭を認識するために図8に示す様に混銑車の図面から形状特異性のある点、即ち、混銑車1の特徴の或る頂点25を抽出する。
【0041】
次に図9の様に混銑車1の輪郭と背景熱画像データ27との閾値を定めて、この閾値の連続した領域28を測定対象とし、その領域の境界に接する直線の交点(頂点)25を求める。
【0042】
更に、混銑車熱画像データ26と図面データの各頂点25が合う様に混銑車1の熱画像データ26を圧縮或は伸張して図面データ上に混銑車熱画像データ26を重畳させて、混銑車1の図面データ以外の画像データを切り捨てることで図10に示す様な補正画像データ30が得られる。
【0043】
第10ステップST10では補正した熱画像データをバッファメモリ12等に保存し、CPU16はCRTコントローラ11やRGBジェネレータ13を介して疑似カラー画像表示化して、カラーディスプレイ14等に温度分布をカラー表示させる。勿論カラープリンタ等に複写する様にしてもよい。
【0044】
本発明の赤外放射温度測定装置又は赤外放射温度測定方法によれば被温度測定体の移動速度が変化したり、形状の幅や奥行等が変化する様に湾曲部分があるものでも温度測定精度が低下して異常検出することがなく、1次元走査のみで精度よく温度データが取得できる。また、混銑車を停止させたり、一定速度で走行させなくても、自動的に温度測定が常時行なわれるので混銑車の運行に支障を生ずることもない
【0045】
【発明の効果】
本発明によれば下記の各項目に示す効果を得ることが出来る。
(1)被温度測定体の移動速度が可変しても高精度の熱画像データが取得できる。
(2)被温度測定体の形状が湾曲して幅や位置が変化していても、高精度の熱画像データが取得できる
【図面の簡単な説明】
【図1】本発明の赤外放射温度測定装置の系統図である。
【図2】本発明の赤外放射温度測定装置のフローチャートである。
【図3】被温度測定体と走査方法の説明図である。
【図4】本発明の各種信号及び熱画像取得説明図である。
【図5】本発明の展開熱画像データの切り出し説明図である。
【図6】本発明の熱画像データの間引き説明図である。
【図7】本発明の垂直方向補正説明図である。
【図8】本発明の混銑車の図面からの特異点の抽出方法説明図である。
【図9】本発明の輪郭決定方法説明図である。
【図10】本発明の熱画像の模式図である。
【図11】従来の混銑車の説明図である。
【図12】従来の赤外カメラの走査説明図である。
【符号の説明】
1‥‥混銑車、7a‥‥スタートセンサ、7b,7c‥‥速度センサ、5a,5b‥‥赤外カメラ、10‥‥バッファメモリ、16‥‥CPU

Claims (3)

  1. 被温度測定体が移動する通路に配設した測定開始位置検出手段と、
    上記被温度測定体が移動する通路に配設した移動速度検出手段と、
    上記被温度測定体の移動方向に対して垂直方向に走査して熱画像を取得する赤外熱画像撮像手段と、
    上記赤外熱画像撮像手段で取得した熱画像データと上記移動速度検出手段で検出した速度信号及びストローブ信号を記憶する記憶手段と、
    上記記憶手段に記憶した上記速度信号及びストローブ信号に基づいて、上記記憶手段に記憶した被温度測定体の水平及び垂直方向或は少なくともいずれか一方向に変位した上記熱画像データの変位演算を行なう演算手段とを具備し、
    上記演算手段は、水平方向に伸張された展開熱画像データの1ライン走査毎の温度分散を調べて上記熱画像の背景部と上記被温度測定体との温度分散が最大となる位置を決定し、上記速度信号に従って水平方向の上記熱画像データを間引いて圧縮熱画像を得る処理と共に、
    上記圧縮熱画像の垂直方向で該圧縮熱画像の熱温度の平均が最大となる位置を求めてその位置圧縮熱画像の上端部及び下端部決定する様に成し、
    上記変位した取得圧縮熱画像データを上記被温度測定体の原寸法に対応して熱画像として疑似カラー表示して成ることを特徴とする赤外放射温度測定装置。
  2. 前記赤外熱画像撮像手段で取得した熱画像データ上で前記被温度測定体の図面から特徴のある点を抽出して該被温度測定体の輪郭を画成し、該輪郭と背景熱画像データとの境界を定めた上で、該境界を構成する複数の直線の交点を求めて、その交点を該被温度測定体の形状的特徴点とすると共に、該形状的特徴点において、該被温度測定体の図面データと一致する様に該熱画像データを伸張、圧縮させて歪補正を行なって成ることを特徴とする請求項1記載の赤外放射温度測定装置。
  3. 移動する被温度測定体の所定移動位置で熱画像データの測定を開始して該被温度測定体の移動速度及び熱画像データを赤外熱画像撮像手段で取得する赤外放射温度測定方法であって、
    記憶手段に格納した上記熱画像データと上記被温度測定体の移動速度に基づいて、水平方向に伸張された展開熱画像データの1ライン走査毎の温度分散を調べて熱画像の背景部と上記被温度測定体との温度分散が最大となる位置を決定し、速度信号に従って水平方向の上記熱画像データを間引いて圧縮熱画像を得る処理
    上記圧縮熱画像の垂直方向で該圧縮熱画像の熱温度の平均が最大となる位置を求めてその位置を該圧縮熱画像の上端部及び下端部決定する処理とを行って
    上記被温度測定体の水平及び垂直方向或は少なくともいずれか一方向に変位した該熱画像データの変位を演算し、演算結果に基づいて該圧縮熱画像データを該被温度測定体の原寸法に対応した熱画像として疑似カラー表示して成ることを特徴とする赤外放射温度測定方法。
JP18381499A 1999-06-29 1999-06-29 赤外放射温度測定装置及びその測定方法 Expired - Fee Related JP4119043B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18381499A JP4119043B2 (ja) 1999-06-29 1999-06-29 赤外放射温度測定装置及びその測定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18381499A JP4119043B2 (ja) 1999-06-29 1999-06-29 赤外放射温度測定装置及びその測定方法

Publications (2)

Publication Number Publication Date
JP2001013009A JP2001013009A (ja) 2001-01-19
JP4119043B2 true JP4119043B2 (ja) 2008-07-16

Family

ID=16142340

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18381499A Expired - Fee Related JP4119043B2 (ja) 1999-06-29 1999-06-29 赤外放射温度測定装置及びその測定方法

Country Status (1)

Country Link
JP (1) JP4119043B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011122610A1 (ja) * 2010-03-30 2011-10-06 新日鉄ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム
JP4934228B2 (ja) * 2010-06-17 2012-05-16 新日鉄ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム
CN104422525A (zh) * 2013-09-09 2015-03-18 杭州美盛红外光电技术有限公司 热像显示控制装置和热像显示控制方法

Also Published As

Publication number Publication date
JP2001013009A (ja) 2001-01-19

Similar Documents

Publication Publication Date Title
KR101135888B1 (ko) 본딩 툴을 위치시키기 위한 비전 시스템
TWI521471B (zh) 3 - dimensional distance measuring device and method thereof
KR100695945B1 (ko) 용접선 위치 추적 시스템 및 그 위치 추적 방법
KR20190124452A (ko) 용접비드 비전 검사 장치 및 용접 불량 검사방법
JP2007180803A (ja) 運転支援方法及び運転支援装置
JPH0450611A (ja) 距離測定装置
JP6277468B2 (ja) 車両前方電柱位置検査装置
JP2005016991A (ja) 赤外線構造物診断システム
JP2007155357A (ja) 直径計測方法又は直径計測装置
JP4119043B2 (ja) 赤外放射温度測定装置及びその測定方法
JP5162412B2 (ja) トンネル壁面撮影装置
JP3099691B2 (ja) 走行路における対象物位置計測方法
JP2000011157A (ja) 撮像装置
JP4032052B2 (ja) 位置検出装置及びその補正方法
JP4368008B2 (ja) トンネル壁面の展開画像作成装置
JP3983869B2 (ja) 3次元立体計測による事故車修理費用見積システム、見積書設定手段および方法
JP5432545B2 (ja) 対象物検出装置
JP3099692B2 (ja) 走行路における対象物の位置計測方法
JPH10318732A (ja) 形状測定装置及び形状測定用画像形成装置
JPH1133621A (ja) 溶接温度測定方法及び装置並びに溶接管製造方法及び装置
JPH0914943A (ja) 路面状況測定装置
KR20060130026A (ko) 디지털 카메라를 이용한 크기 측정방법
JP5156211B2 (ja) 車両から信号機までの距離測定方法
JPH10318715A (ja) 画像測定装置
JP2014032115A (ja) 耐火物の形状測定装置及び測定方法

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040305

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070821

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071211

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080424

R150 Certificate of patent or registration of utility model

Ref document number: 4119043

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110502

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110502

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120502

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130502

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140502

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees