JP3691039B2 - 温度計測装置および方法 - Google Patents

温度計測装置および方法 Download PDF

Info

Publication number
JP3691039B2
JP3691039B2 JP2003043740A JP2003043740A JP3691039B2 JP 3691039 B2 JP3691039 B2 JP 3691039B2 JP 2003043740 A JP2003043740 A JP 2003043740A JP 2003043740 A JP2003043740 A JP 2003043740A JP 3691039 B2 JP3691039 B2 JP 3691039B2
Authority
JP
Japan
Prior art keywords
temperature
signal
image
color
tracer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003043740A
Other languages
English (en)
Other versions
JP2004251810A (ja
Inventor
秀明 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Priority to JP2003043740A priority Critical patent/JP3691039B2/ja
Publication of JP2004251810A publication Critical patent/JP2004251810A/ja
Application granted granted Critical
Publication of JP3691039B2 publication Critical patent/JP3691039B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Radiation Pyrometers (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、赤熱している高温物体の温度を測定する温度計測装置および方法に関し、特に、鋳造、溶接などで発生する高温領域で移動する目標の位置を追跡しながら温度測定できる温度計測装置および方法に関する。
【0002】
【従来の技術】
従来、たとえば特許文献1に見られるように、赤外線カメラを使い2色温度測定法に基づいて放射率の如何に関わらず正確な表面温度分布を得るようにした温度測定装置が知られている。
2色温度測定法は、実際の物体の熱放射線分光分布は波長に依存する放射率に影響を受けるが、近似した放射率を持つ波長における放射線強度の比をとれば放射率は互いに相殺されて、温度により決まる黒体放射の分光分布を使って温度を算定するのと同じことになるという原理を利用したものである。
この温度測定装置は、温度分布に基づいた赤外線像を提示することができるが人の目に映る映像を提供することができないので、位置が不定の対象を指定して温度を監視する場合に不便である。また、赤外線センサを用いるため高価である。
【0003】
これに対して特許文献2には可視光領域を対象とする2色温度測定法を用いた温度測定装置が開示されている。
特許文献2に開示された温度測定装置では、2色法による温度計測を実施するため、光路を2分割し、異なる波長を透過するフィルタにより特定した2個の波長を用いて対象部材の画像を2個形成し、2画像の対応する同じ部位で検出される光強度の比に基づいて温度計測を行う。特許文献2に開示された方法では、2波長の画像を得るためミラーにより光路を分岐している。また、2波長の画像を形成するときに同じ部位について同じ時刻に画像を形成することができず、時間ずれが生ずる。時間ずれが生ずると、高速で変化する物体の温度継続を実施する場合に、同じ部位の輻射を測定する保証がなく、正確な温度計測が困難になることがある。
【0004】
一方、特許文献3にあるように、普通に使用されるカラーテレビカメラのRGB信号を使って、2色温度測定法と同様にして表面温度分布を求め、映像と一緒に温度分布図を表示する装置も知られている。この装置では、赤外線利用の温度測定装置より精度は落ちるが、人が見る通りの映像を表示し、各映像点毎の温度変化を表示したり記録したりすることができる。この装置では、映像点毎の温度出力を用いて容易に温度分布を得ることができる。また、ビデオレコーダに蓄積した映像情報を用いて、あとから温度解析をすることもできる。
しかし、特許文献に開示された装置では定点観測は容易であるが、たとえば、溶接位置における溶融池端の温度や溶融池中の流れを追跡して温度変化を観察するなど、対象位置が変化する場合にこの温度変化を自動的に追跡することはできない。
【0005】
【特許文献1】
特開平7−301569公報
【特許文献2】
特開2002−214047公報
【特許文献3】
特開平1−180430公報
【0006】
【発明が解決しようとする課題】
そこで、本発明が解決しようとする課題は、観察する対象の位置が変化する場合にもこれを追跡して温度変化を観察することができる、安価な温度計測装置および方法を提供することである。
【0007】
【課題を解決するための手段】
本発明の温度計測装置は、カラービデオカメラと画像処理機構と温度演算機構と画像表示機構を備え、カラービデオカメラの映像出力に基づいて画像表示機構に動画像を表示するとともに、画像処理機構が指定された特徴を備えた特徴点を画像中から検出し、温度演算機構がその特徴点と所定の位置関係を持つ対象点におけるR(赤)信号、G(緑)信号、B(青)信号のうち2色の信号の比に基づいてその対象点に関する温度を算出して、画像表示機構が動画像の他に温度情報を表示することを特徴とする。
【0008】
本発明の温度計測装置は、通常のカラービデオカメラをそのまま活用することができるため、極めて安価に構成することができる。
また、カラービデオカメラから出力される映像信号に基づいて画像処理し、特定の特徴点を抽出してその特徴点と所定の関係を持つ点における温度を算出し表示するから、たとえば、溶融池の縁や溶融池中にセットされたトレーサなどを抽出し、その付近の温度を算出して表示するなど、特徴点の位置が変化しても常時これを追跡して温度変化を観察することができる。
【0009】
カラービデオカメラのRGB出力信号を直接的に利用して、2色温度測定法による温度推定を行うことができる。しかし、たとえば画素毎に3個のセンサを備える3板式カメラを用いたときなど、このRGB信号は、それぞれ正確なR信号、G信号、B信号であるわけではなく、フィルター特性やCCD素子の特性などに基づいてそれぞれ固有の感度特性を持つ。しかし、温度測定のためには、単に波長の異なる色信号が欲しいのであるから、素子の出力信号が色に対して安定していれば足りる。したがって、温度の安定する黒体炉などを使って実測し、2色の信号出力比を温度に対してプロットした較正曲線を作成して利用することが実際的である。なお、カラービデオカメラは機種によって、あるいは個体によって、出力特性が変化するので、使用に当って適切な較正をすることが好ましい。
【0010】
また、RGBのいずれの2つを用いて演算するかは、温度範囲にしたがって異なり、高温対象物では演算に利用できるほど強いB信号も得られるが、低温対象物では短波長の光が弱いのでR信号とG信号を使うことが好ましい。
カラービデオカメラは、温度計測用カメラばかりでなく、通常市販品のCCDカメラなどを利用することができるが、また高速カメラを用いることもできる。
また、ビデオテープやICメモリ、ハードデスク、CD−ROM、DVD−RAMなどの大容量の記憶装置にカラー映像信号を記録しておいて、必要なときに再生して温度計測に利用するようにしてもよい。カラー信号を記憶して後に再生利用する方式は、高速事象を繰り返し観察して解析する目的などに適している。
【0011】
画像処理機構と温度演算機構は、モニター画面上に撮影した対象物の映像を表示すると共に、これに重ねて画像処理により得られた特徴点の位置を表示し、そこにおける温度を数値あるいはグラフ、さらに色分けして表示する。また、画像全体にわたって温度計算をして、等温線図や疑似カラー図にしたものを映像に代えてあるいは画面を分割して表示してもよい。
なお、画像処理機構や温度演算機構は、小型電子計算機にソフトウエア的に組み込んだものであってもよい。あるいは、専用のサーキットボードにまとめて、計算機のポートに接続して利用してもよい。このような方式では、プリント基板を電子計算機に取り付けるだけで普通のモニター装置を温度計測装置を兼用する装置に変化させることができる。
【0012】
なお、本発明の温度計測方法は、カラービデオカメラの映像出力をR、G、Bの各信号毎に入力し、入力した映像出力に基づいて動画像を表示するとともに、画像処理技術によって画像中から指定された特徴を備えた特徴点を検出し、その特徴点と所定の位置関係を持つ対象点におけるR信号、G信号、B信号のうち2色の信号の比を使用して2色温度測定法に基づいて対象点における温度を算出して画像表示することを特徴とする。
本方法を用いることにより、指定した特徴点を自動的に抽出しながら温度変化を観察することができる。
【0013】
本発明の温度計測装置や温度計測方法を用いることにより、通常のカラーカメラを用いて、位置が変化する対象を自動的に追跡して、放射率補正なしにその温度を観察することができるようになる。また、映像記録装置を用いて再生しながら解析するものでは、事象を何度も繰り返して観察したり、高速カメラで取った映像を解析することにより高速事象を的確に観察することができる。
【0014】
【発明の実施の形態】
以下、実施例を用いて本発明の温度計測装置を詳細に説明する。
図1は本実施例の温度計測装置のブロック図、図2はこれをTIG溶接の観察に使用したときの説明図、図3は黒体放射の温度による変化を示すグラフ、図4はカラービデオカメラのRGB素子の分光特性を示すグラフ、図5は黒体温度と放射強度比の関係を示すグラフである。
【0015】
本実施例の温度計測装置は、一般用あるいは工業用のビデオカメラ1とパソコン装置2とディスプレー3からなり、ビデオカメラ1の出力はパソコン装置2に供給され、内部回路で信号処理されて処理結果がディスプレー3に表示される。パソコン装置2は、内部にビデオ信号を入力して基礎的な信号処理をするIOボード4と画像処理ボード5と温度演算ボード6を備え、指令信号の入力装置としてキーボード8を付属している。また、本実施例の温度計測装置にはビデオレコーダ7が付属し、ビデオカメラ1の出力をビデオレコーダ7で記録し、後の適当な時刻に再生してパソコン装置2に供給することができる。
本実施例の装置では、現状において映像で観察するために付設されているカラーカメラをそのまま利用することができる。
【0016】
本実施例の温度計測装置は、たとえば図2に示すように、TIG溶接の溶接状態と温度変化を観察するために利用することができる。
TIG溶接では、タングステン電極11の先端から溶接母材に向かってアーク12が発生し、母材が溶融して溶融池13が生成する。溶融池13の成長状態が溶接品質に大きく影響するので、溶接条件により溶融池がどのように変化するかは高品質の溶接を行うために知っておきたい重要なファクターとなる。特に溶接メカニズムを解明しようとする場合に、溶融池の端部における温度状態、また溶融池中の溶融金属の動きが大きな問題となる。特に、溶融金属の流れに従って温度がどのように変化するかは大きな関心事である。
【0017】
本実施例の温度計測装置は、表示装置3を介して、通常のカラー画像を見ると共に、たとえば溶接の進行中に移動する溶融池の端点を画像処理により自動的に追跡して、その点における温度を算出して温度変化の状況を見ることができる。
指定する特徴点を画像中から抽出するためには、特徴点の特性に従って異なる抽出アルゴリズムが用いられるが、このような画像処理は既に十分の技術蓄積がなされていて、大抵のものを高速かつ確実に検出することができるので、常用されるものを活用すればよい。
【0018】
こうして検出された特徴点における光検出素子のカラー信号出力を用いて、2色温度測定法により特徴点の温度を算出する。
黒体からの熱放射は、図3の温度をパラメータとした熱放射曲線図すなわち分光分布特性に示すように、温度に対して1対1に対応し、温度が高くなるに従って放射量が増大して輝度が高くなり、最大の放射量を示す波長が短くなって色が赤色から青白い色に変わる。したがって、分光分布曲線を特定することにより温度を知ることができる。分光分布曲線を特定する方法に、所定の2つの波長における放射強度を測定してその比を取ると温度に対して一意の関数になることを利用する2色温度法がある。
実際の物体は表面の放射率や測定系との間に介在する物質の透過率の分だけ黒体放射からの偏差を有するが、2色温度法は、2個の波長における分光放射の比を取るため、測定に使用する波長において物体の放射率や透過率が等しい場合にはこれらの効果が相殺され、放射率や透過率の影響を受けずに温度を算定することができるという利点がある。
【0019】
本実施例の温度計測装置では、ビデオカメラの3原色センサを用いて特定波長の放射量を検出する。
しかし、カラービデオカメラは人に画像の色を再現して示す必要があるから、カメラの光検出素子は、図4に示すように、人の目に存在すると見られる3原色に対応する色覚センサと似せた波長感度特性を持っている。光検出素子の分光特性は、たとえば、R素子は590nm、G素子は530nm、B素子は460nmをそれぞれピークとし、正規曲線に近い形をして、幅を持った感度分布を有する。したがって、単一波長の光のみを選択的に取り込むようにはなっておらず、上に述べたような特定波長の放射量を直接測定することはできない。
【0020】
このため、本実施例の温度計測装置では、RGBの信号がそれぞれ異なる波長を中心とした一定の分光特性に基づいて取得した入射光の積分値であることを利用して、2色計測法による温度算出を近似的に行っている。
そこで、最も簡単には、黒体炉や標準電球などを利用して実際のカラービデオカメラの2色検出信号出力の比を検定して、図5のような検定グラフを作成し、実測値を検定グラフで換算して表面温度を求めることができる。もちろん、実際の演算はコンピュータで行うため、検定グラフは記憶装置に表や関数の形で格納しておいて、算出された出力比に対して検索や補間計算により対応する温度を算出する。
こうして推定された、画像中に指定した特徴点の温度は、数値やグラフでディスプレー上に表示する。対象物の映像の外にグラフ領域を設定し指定点の温度の経時変化を表示するようにしてもよい。
【0021】
また、溶接中の溶融金属がどのように動くかは溶接機構を理解し溶接条件の最適化を図る上で重要な情報となる。そこで、図2に表示したように、溶融池13に浮遊するジルコニア微粉末などのトレーサ14を用いて、溶接進行中の溶融金属の流れ観察することがある。このとき、トレーサ14の近傍における温度の状態を把握することにより知見が広がり正確な解析ができるようになる。
本実施例の温度計測装置は、ビデオカメラのフレーム毎に画像処理を行うことができ、常時画像中のトレーサ14の位置を検出することができる。なお、トレーサ14の上の温度を観察してもあまり意味はなく、トレーサ14の近傍における溶湯の温度に意味があるので、検出されたトレーサ14の位置に適当なバイアスを加えて溶湯部分の位置を指定し、その部分に対応する画素の出力を使って温度算定をする。
算定結果は、数値やグラフの形でディスプレー上に表示する。
【0022】
また、ビデオカメラが取得した映像は、ビデオレコーダ7に記録しておいて、適宜、出力線をパソコン2に接続して再生し、この再生信号を用いて画像処理装置5で特徴点を抽出し、この特徴点に対して所定の位置関係にある対象点における温度を算定して温度解析を行うことができる。このように外部記録装置を活用して解析する場合は、撮影に同時に解析をする必要がない上、何度でも同じ映像について解析を行うことができ、しかも解析条件を変えて色々な方面から解析することができるという利点を有する。
ここで、ビデオレコーダ7に代えて、パソコン2に装備したハードディスクやDVDなどの大容量外部記憶装置を利用して、一旦パソコンに入力した信号を記録するようにしてもよい。
さらに、カラービデオカメラ1として高速撮影カメラを使うこともできる。高速カメラで取った映像はビデオレコーダ7等に格納して、低速で再生して温度算出する。すると、高速現象を低速化して正確に観察することができる。
【0023】
なお、特徴点を抽出して1点の温度変化を観察する代りに、画像の全面に亘って、あるいは指定した領域について、画素ごとの温度を算定して統合し、等温線図や色相や明度を使った色分け図の形で、温度分布図を表示できるようにしてもよい。温度分布は刻々と演算更新して、分布図も時間が経過するにつれて書き換えるようにする。このような温度分布図を併用できる温度計測装置は、全体の温度状態の中で特定点の温度の状態を把握することができるので、より的確な解析が可能となり好ましい。
上記においては、本実施例の温度計測装置をTIG溶接の解析に利用したものについて説明したが、高温状態の温度計測を必要とする分野一般に最適に適用できることは言うまでもない。特に800℃から3000℃程度の温度領域に適用しやすく、たとえば熱プラントや鋳造工程などにおける要求に応えることができる。
上記実施例では、パソコンに装置を組み込んで利用しているが、独立の電子装置としてもよく、また大きな制御装置などに組み込んでもよい。また、画像処理装置や温度演算装置は電子回路であってもよいが、コンピュータプログラムであってもよい。コンピュータプログラムである場合は、これをCD−ROMやDVDに記録して頒布することができる。
【0024】
【発明の効果】
以上説明した通り、本発明の温度計測装置と方法が提供されたことにより、一般用のあるいは工業用のカラービデオカメラを利用して、取得された画像を処理して特定の点を追跡しながら温度計測をすることができるので、安価に装置を構成することができ、また、この装置あるいは方法を利用することにより工程の解析が容易になって技術の発達に寄与することができる。
【図面の簡単な説明】
【図1】本発明の温度計測装置の1実施例の構成を説明するブロック図である。
【図2】本実施例の温度計測装置でTIG溶接を観察するときの構成を示す概念図である。
【図3】黒体放射の温度による変化を示すグラフである。
【図4】本実施例において利用するカラービデオカメラのRGB素子の分光特性を示すグラフである。
【図5】黒体温度と放射強度比の関係を示すグラフである。
【符号の説明】
1 カラービデオカメラ
2 パソコン
3 ディスプレー
4 IOボード
5 画像処理ボード
6 温度演算ボード
7 ビデオレコーダ
8 キーボード
11 タングステン電極
12 アーク
13 溶融池
14 トレーサ

Claims (6)

  1. カラービデオカメラと画像処理機構と温度演算機構と画像表示機構を備え、該カラービデオカメラがトレーサを表面に浮遊させた溶融金属を撮影してその映像出力に基づいて該画像表示機構に動画像を表示するとともに、前記画像処理機構は前記トレーサを該画像中から検出し、前記温度演算機構は前記溶融金属表面において該トレーサの近傍点における前記映像出力のR(赤)信号、G(緑)信号、B(青)信号の相互の比に基づいて該トレーサの近傍点に関する温度を算出して、前記画像表示機構が該温度の情報を表示することを特徴とする溶融金属の温度計測装置。
  2. 前記R信号、G信号、B信号のうち選択した2色の比に基づいて該対象点に関する温度を算出することを特徴とする請求項1記載の温度計測装置。
  3. 画像記憶機構を備えて、前記カラービデオカメラの出力信号を記録し、撮影後に信号を再生して画像処理および温度算出を行い画像表示することを特徴とする請求項1または2記載の温度計測装置。
  4. 前記カラービデオカメラは各画素毎に3個のセンサを備える3板式カメラであって、センサの種類毎に較正した出力特性に基づいて温度算出を行うことを特徴とする請求項1から3のいずれかに記載の温度計測装置。
  5. 前記温度計測装置は各点において算出した温度に基づいてさらに温度水準を等温線、色相または色の濃さで表現した温度分布を画像表示することを特徴とする請求項1から4のいずれかに記載の温度計測装置。
  6. トレーサを表面に浮遊させた溶融金属を撮影したカラービデオカメラの映像出力をR(赤)信号、G(緑)信号、B(青)信号毎に入力し、該映像出力に基づいて動画像を表示するとともに、該画像中から前記トレーサを検出し、該トレーサの近傍点におけるR(赤)信号、G(緑)信号、B(青)信号の相互の比を使用して2色温度測定法に基づいて該トレーサの近傍点における温度を算出して画像表示することを特徴とする溶融金属の温度計測方法。
JP2003043740A 2003-02-21 2003-02-21 温度計測装置および方法 Expired - Fee Related JP3691039B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003043740A JP3691039B2 (ja) 2003-02-21 2003-02-21 温度計測装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003043740A JP3691039B2 (ja) 2003-02-21 2003-02-21 温度計測装置および方法

Publications (2)

Publication Number Publication Date
JP2004251810A JP2004251810A (ja) 2004-09-09
JP3691039B2 true JP3691039B2 (ja) 2005-08-31

Family

ID=33026658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003043740A Expired - Fee Related JP3691039B2 (ja) 2003-02-21 2003-02-21 温度計測装置および方法

Country Status (1)

Country Link
JP (1) JP3691039B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006292438A (ja) * 2005-04-06 2006-10-26 Hamamatsu Photonics Kk 温度検出装置
JP2006292439A (ja) * 2005-04-06 2006-10-26 Hamamatsu Photonics Kk 温度検出装置
JP5515080B2 (ja) * 2010-03-09 2014-06-11 株式会社神鋼エンジニアリング&メンテナンス 移動物体の温度測定装置
JP2012247381A (ja) * 2011-05-31 2012-12-13 Ihi Corp 溶接部の温度測定装置
JP2013152194A (ja) * 2012-01-26 2013-08-08 Buriizu:Kk 赤外線カメラ及び赤外線放射源の温度検出方法
JP6318853B2 (ja) * 2014-05-26 2018-05-09 株式会社Ihi 温度較正方法及び温度較正装置
CN106840422A (zh) * 2016-08-25 2017-06-13 南京铁道职业技术学院 铁路列车车厢温度显示提示装置
CN107717168A (zh) * 2017-09-29 2018-02-23 合肥埃科光电科技有限公司 一种实时热成像红外回流焊系统及检测方法
JP2021000648A (ja) * 2019-06-21 2021-01-07 東洋機械金属株式会社 温度範囲判別手段を備えたダイカストマシン、及び、温度範囲判別手段を備えたダイカストマシンの運転方法

Also Published As

Publication number Publication date
JP2004251810A (ja) 2004-09-09

Similar Documents

Publication Publication Date Title
US10630914B2 (en) Thermal imaging camera with graphical temperature plot
US11022546B2 (en) Optical gas imaging systems and methods
US11641441B2 (en) Optical gas imaging systems and method compatible with uncooled thermal imaging cameras
CN205157051U (zh) 红外传感器组件
JP3691039B2 (ja) 温度計測装置および方法
EP2741491B1 (en) Camera and method for thermal image noise reduction using post processing techniques
US20130155248A1 (en) Thermal imaging camera for infrared rephotography
CN202471261U (zh) Ccd测温装置
JP4058254B2 (ja) イメージセンサの欠陥ピクセル補正装置及びその方法
US9696210B2 (en) Extended temperature range mapping process of a furnace enclosure using various device settings
JPH09178566A (ja) 熱画像表示方法および表示装置
CN104620075A (zh) 多被摄体的距离测量装置以及方法
WO2000042400A1 (en) Surface and particle imaging pyrometer and method
JP4332656B2 (ja) 欠陥検査方法および欠陥検査装置
CN106796142B (zh) 红外线摄像装置、光圈控制方法及光圈控制程序
US9664568B2 (en) Extended temperature mapping process of a furnace enclosure with multi-spectral image-capturing device
JP2003344166A (ja) 温度計測用炉内監視システム
JPH08327573A (ja) 熱分析装置
SE522328C2 (sv) System för avbildning och övervakning av olika våg längdsområden
JPS6142807B2 (ja)
JP2001157214A (ja) 撮像システム
JP2001272278A (ja) 撮像システム及びそれを用いた温度計測方法
JP2001318002A (ja) 高炉羽口レースウエイ温度分布測定装置
JP2003166880A (ja) 温度計測手段を有する撮像装置
JP2747426B2 (ja) 温度表示ビデオカメラ

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050301

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050427

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050405

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050614

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080624

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090624

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100624

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110624

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees