JP3672970B2 - 非接触画像計測システム - Google Patents

非接触画像計測システム Download PDF

Info

Publication number
JP3672970B2
JP3672970B2 JP14680995A JP14680995A JP3672970B2 JP 3672970 B2 JP3672970 B2 JP 3672970B2 JP 14680995 A JP14680995 A JP 14680995A JP 14680995 A JP14680995 A JP 14680995A JP 3672970 B2 JP3672970 B2 JP 3672970B2
Authority
JP
Japan
Prior art keywords
image
measurement
measurement target
stage
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP14680995A
Other languages
English (en)
Other versions
JPH08313217A (ja
Inventor
浩一 小松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Priority to JP14680995A priority Critical patent/JP3672970B2/ja
Publication of JPH08313217A publication Critical patent/JPH08313217A/ja
Application granted granted Critical
Publication of JP3672970B2 publication Critical patent/JP3672970B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【産業上の利用分野】
この発明は、CCDカメラ等の撮像装置を駆動手段によって三次元方向に駆動して被測定対象を撮像すると共に、撮像された画像を表示手段で観察しながら測定を行う非接触画像計測システムに関する。
【0002】
【従来の技術】
顕微鏡及び非接触画像測定機等の非接触画像計測システムでは、通常、被測定対象であるワークを対物レンズを介してCCDカメラで撮像し、この撮像された画像をモニタで観察しながら計測したい箇所のエッジ等を指定して、幅、径、長さ等の測定を行っている。
しかし、レンズの倍率とCCDの受光面積との関係により、モニタに表示されるワークの画像はワーク全体の一部分でしかない場合が多い。このため、ワークの測定したい部分を映し出すには、ワークに対するカメラの位置を適当に移動し、測定したい位置を見つけ出さなければならない。特に、高倍率のレンズを用いた測定では、こうした作業は手間がかかる。
そこで、例えば、ズームレンズ,パワーターレット等の対物レンズを用いて一旦低倍率にして大まかな位置を見つけ出してから高倍率に変えて測定する箇所をモニタに映し出したり、あるいは対物レンズの内側から可視域のレーザ光等を照射させることによってカメラの位置をワークへ合わせたりする方法が採用されている。
【0003】
【発明が解決しようとする課題】
しかしながら、上述した従来の非接触画像計測システムのうち、前者の場合においては、どんなに低倍率のレンズを用いたとしても、ステージ全体を映し出すことはできず、やはりステージをある程度適当に操作し、測定したい位置を見つけ出さなければならない。また、後者の場合においては、カメラの位置を知ることはできても、やはりステージをある程度適当に移動させて、測定したい位置を見つけ出さなければならない。このため、こうした作業を容易にすることが望まれる。
【0004】
この発明は、このような問題点に鑑みなされたもので、測定したい部分を容易に映し出すことができる非接触画像計測システムを提供することを目的とする。
【0006】
【課題を解決するための手段】
この発明に係る非接触画像計測システムは、ワーク座標系に配置された被測定対象を撮像する撮像手段と、前記ワーク座標系における前記撮像手段の位置を変化させる駆動手段と、前記撮像手段で撮像された前記被測定対象の画像を記憶する記憶手段と、前記撮像手段で撮像された前記被測定対象の画像を表示する表示手段と、前記駆動手段を制御して前記撮像手段で撮像される視野の水平成分及び垂直成分を移動ピッチとして前記撮像手段を順次移動させて前記被測定対象の全体にわたって前記被測定対象の複数の画像を前記記憶手段に取り込む処理を測定に先立て実行する機能を有すると共に前記表示手段に表示された前記被測定対象の画像から所定の計測値を求めるための処理を実行する計測処理手段と、前記記憶手段に記憶された前記被測定対象の全体にわたる複数の画像を合成して前記被測定対象の任意の拡大率のステージ画像を生成し、この生成されたステージ画像を前記表示手段の表示画面の少なくとも一部に表示させる手段と、前記表示手段に表示された前記被測定対象のステージ画像のうちの任意の位置を指定するための位置指定手段と、この位置指定手段で指定された前記被測定対象のステージ画像における位置に対応する前記ワーク座標系の位置を算出する位置算出手段と、この位置算出手段で算出された位置に前記撮像手段が位置するように前記駆動手段を制御する手段とを備え、前記計測処理手段が、前記位置算出手段で算出された位置に前記駆動手段によって移動された前記撮像手段で撮像された前記被測定対象の画像から所定の計測値を求めるための処理を実行するものであることを特徴とする。
【0009】
また、この発明に係る一実施形態に係る非接触画像計測システムは、前記表示手段が、1つの表示画面上に第1のウィンドウと第2のウィンドウとを表示し、前記第1のウィンドウ内に前記撮像装置で撮像された前記被測定対象の画像を表示し、前記第2のウィンドウ内に前記被測定対象のステージ画像を表示するものであることを特徴とする。
【0010】
【作用】
この発明の非接触画像計測システムによれば、表示画面中に被測定対象のステージ画像と、撮像手段によって実際に撮像している部分の拡大画像とを同時に表示させ、前記被測定対象のステージ画像中の任意の位置を指定可能にすると共に、この位置指定に応答して前記被測定対象のステージ画像における位置に対応するワーク座標系の位置を算出することにより、前記被測定対象における指定位置に前記撮像手段を移動させるので、被測定対象の所望する位置を極めて簡単な操作で表示画面中に表示させることができる。
【0013】
更に、この発明の非接触画像計測システムによれば、第1及び第2のウィンドウを用いて、各ウィンドウ内に被測定対象のステージ画像と、撮像手段によって実際に撮像している部分の拡大画像とを表示することにより、各画像が重ならずに、位置指定及び測定操作を容易に行うことができる。
【0014】
【実施例】
以下、図面を参照して、この発明の実施例について説明する。
図1は、この発明の一実施例に係る非接触画像計測システムの構成を示す図である。
【0015】
このシステムは、非接触画像計測型の三次元測定機1と、この三次元測定機1を駆動制御すると共に、必要なデータ処理を実行するコンピュータシステム2と、計測結果をプリントアウトするプリンタ3とにより構成されている。
三次元測定機1は、次のように構成されている。即ち、架台11上には、ワーク12を載置する測定テーブル13が装着されており、この測定テーブル13は、図示しないY軸駆動機構によってY軸方向に駆動される。架台11の両側縁中央部には上方に延びる支持アーム14,15が固定されており、この支持アーム14,15の両上端部を連結するようにX軸ガイド16が固定されている。このX軸ガイド16には、撮像ユニット17が支持されている。撮像ユニット17は、図示しないX軸駆動機構によってX軸ガイド16に沿って駆動される。撮像ユニット17の下端部には、CCDカメラ18が測定テーブル13と対向するように装着されている。また、撮像ユニット17の内部には、図示しない照明装置、レンズ交換機構及びフォーカシング機構の他、CCDカメラ18のZ軸方向の位置を移動させるZ軸駆動機構が内蔵されている。
コンピュータシステム2は、コンピュータ本体21、キーボード22、ジョイスティックボックス23、マウス24及びCRTディスプレイ25を備えて構成されている。
【0016】
コンピュータ本体21は、CPU、ROM、RAM及びハードディスク装置等から構成され、ソフトウェアとの結合によって、図2に示すような各種の機能を実現する。即ち、モニタ画像ウィンドウ生成部31及びステージ画像ウィンドウ生成部32は、CRTディスプレイ25の表示画面上に、例えば図3に示すような、モニタ画像ウィンドウ41(第1のウィンドウ)と、ステージ画像ウィンドウ42(第2のウィンドウ)とを生成する。モニタ画像ウィンドウ41には、CCDカメラ18が現在撮像しているワーク12の一部を示すモニタ画像が表示され、ステージ画像ウィンドウ42には、CCDカメラ18でワーク12を全体に亘って撮像して得られた全体画像であるステージ画像が表示される。CCDカメラ18から取り込まれたモニタ画像とステージ画像とは、それぞれ画像メモリ33の異なる記憶領域に格納される。ステージ画像は、ワーク12の全体画像であるため情報量が多い。このため、画像メモリ33から読み出されたステージ画像は、画像処理部34で適宜圧縮されてステージ画像ウィンドウ42内に表示される。圧縮の手法としては、例えば走査を1行おきに行う飛び越し走査を行ったり、多値画像を2値化する等の処理を行えばよい。
【0017】
一方、マウス24から供給されるx方向パルスPxとy方向パルスPyとは、マウスドライバ35でカウントされる。これによりマウスドライバ35からは、カーソルの位置情報x,yが出力される。カーソル生成部36は、マウスドライバ35から出力されるカーソルの位置情報x,yに基づいて、図3に示すような、マウス座標系(表示画面の座標系)における位置x,yに表示するカーソル43を生成する。
【0018】
表示画面生成部37は、モニタ画像ウィンドウ生成部31で生成されたモニタ画像ウィンドウ41と、ステージ画像ウィンドウ生成部32で生成されたステージ画像ウィンドウ42とを表示画面上で重ならないように合成すると共に、カーソル生成部36で生成されたカーソル43を表示画面上に配置した表示画面を生成し、CRTディスプレイ25に供給する。
【0019】
一方、マウスドライバ35は、カーソルの位置情報x,yを出力する他に、マウス24のクリック信号Sを検出する。このクリック信号Sとカーソル位置情報x,yとは、コマンド識別部38に供給されている。コマンド識別部38は、表示画面上の図示しない種々のコマンドボックス上にカーソル43が位置した状態でマウス24のクリック信号Sが検出されたときに、起動すべきコマンドを識別する。計測処理/位置算出部39は、コマンド識別部38で起動されたコマンドに基づいて、画像処理部34を起動して、画像メモリ33内のモニタ画像に対し、エッジ検出用のツールを生成したり、2値化処理、エッジ検出等の各処理を施して、所定の計測値を算出する。また、計測処理/位置算出部39は、この計測処理に先だって、駆動制御部40を制御して、ワーク12の全体に亘るステージ画像の取り込みのための処理を実行したり、ステージ画像ウィンドウ42上の任意の位置が指定されたときに、マウス座標系における指定位置から実際のワーク座標系における指定位置を算出し、駆動制御部40を制御して、CCDカメラ18を指定位置に移動させる。
【0020】
次に、このように構成された非接触画像計測システムの動作について説明する。
なお、ここでは、説明を簡単にするため、システムの機械座標系の原点及び基準軸と、ワーク座標系の原点及び基準軸とを事前の操作で一致させているものとする。また、ワーク座標系はX,Y,Z、マウス座標系はx,y,zで表示する。
先ず、測定を開始する前に、ワーク12の任意の位置に手動又はオートフォーカス処理により、CCDカメラ18のピントを合わせる。
次に、マウス24の操作により、図示しない“ステージ画像取り込み”ボタンをクリックすると、計測処理/位置算出部39のステージ画像取り込み処理が起動される。
【0021】
図4は、ステージ画像取り込み処理を示すフローチャートである。
先ず、予め合焦された位置Zにおいて、現状の対物レンズの倍率Lからモニタに映る視野の水平成分ΔX及び垂直成分ΔYを計算する(S1)。次に、ステージを最も左上の初期位置(ワーク座標系の原点位置)に移動させ(S2)、その位置でワーク12を撮像し(S3)、撮像された画像をそのときのステージ座標X1 ,Y1 ,Z及びレンズ倍率Lと共に画像メモリ33にセーブする(S4)。続いて、そこが横方向(X方向)一杯の位置であるか否かを判定する(S5)。判定の結果、横方向一杯の位置でなければ、モニタの視野の水平成分ΔXだけステージを横(右)方向に移動させ(S6)、その位置で再び画像の取り込みを行う(S3,S4)。以下、セーブする情報は、ステージ座標X,Yのみでよい。一方、横方向一杯の位置であれば、更にそこが縦方向(Y方向)一杯の位置であるか否かを判定する(S7)。判定の結果、縦方向一杯の位置でなければ、モニタの視野の垂直成分ΔYだけステージを縦(下)方向に移動させ(S8)、その位置でワーク12を撮像し(S3)、撮像された画像をそのときのステージ座標Xn ,Yn と共にセーブする(S4)。次回横方向のステージの移動は、前回と逆方向に行われる(S6)。一方、縦方向一杯の位置であれば、ステージ画像ウィンドウを生成する(S9)。
【0022】
以上、ステージが縦横の両方向一杯の終了位置に移動されるまで、上述したステージ画像の取り込みを繰り返すことにより、ワーク12の全体画像が、画像メモリ33に取り込まれる。なお、ステージ画像が横方向及び縦方向一杯の位置であるかどうかの判定は、例えばマシン的に予め決定されているカメラ位置とステージ位置、大きさの情報と現状使われているレンズによる校正後の一画素寸法及び光軸の位置のズレ量(オフセット値)等から計算により予めワーク12の範囲を計測処理/位置算出部39に与えておく方法を用いて行えば良い。
【0023】
図5は、6枚のステージ画像を取り込んだときのステージ画像ウィンドウの一例を示したものである。
ステージ画像ウィンドウ42の内部の表示領域44には、ステージ座標X,Y,Z及びレンズ倍率Lに基づいて、ワーク12の全体画像が表示される。
次に、マウス24の操作によって、表示領域44の所定の位置が指定されたとき、CCDカメラ18をワーク12の指定位置に移動させる処理について説明する。
【0024】
図6は、計測処理/位置算出部39におけるCCDカメラ18の移動処理を示すフローチャートである。
先ず、マウス24の操作により、図3(a)に示すように、ワーク12の測定したい部分にカーソル43を移動させ、マウス24の所定のボタンをクリックすると(S11)、カーソル43のマウス座標系に基づく位置P=(x,y)が求められる(S12)。続いて、それがステージ画像ウィンドウ42を表示した表示範囲内であるか否かを判定する(S13)。判定の結果、表示範囲内であれば、マウス座標系に基づく位置P=(x,y)に対応したワーク座標系に基づく位置(X,Y)が求められる(S14)。即ち、ステージ画像ウィンドウ42のマウス座標系における原点位置P0 を(x0 ,y0 )とすると、ワーク座標系における指定位置P=(X,Y)はX=α(x−x0 ),Y=β(y−y0 )によって求められる。なお、ここでα,βは、マウス座標系の単位長さに対するワーク座標系の単位長さを示す係数である。
【0025】
次に、計測処理/位置算出部39は、CCDカメラ18の中心がワーク座標系のX,Yに位置するようにステージを移動させ(S15)、その位置でワーク12を撮像する(S16)。
これにより、図3(b)に示すようにワーク12の測定したい部分P′がモニタ画像ウィンドウ41の表示領域45の中心となるように、モニタ画像ウィンドウ41にワーク12が映し出されることになる。
【0026】
この状態で、例えば孔46の中心位置や直径を知りたい場合には、図7に示すように、この孔46のエッジを横切るように複数のツール47を立て、これに沿ってエッジ検出及び中心、径の算出等を行えばよい。また、図7に示すように、この測定結果をステージ画像ウィンドウ42の対応する位置に表示させることにより、測定した箇所を容易に確認することが可能になる。
【0027】
更に、この実施例によれば、ステージ画像ウィンドウ42に表示されるステージ画像は、画像メモリ33に保存されているので、必要に応じて、ステージ画像を拡大/縮小させて、集中的に測定したい部分のみを拡大表示させることにより、更に操作性が向上する。また、一度にいろいろな大きさ(拡大率)のステージ画像ウィンドウ42を複数表示させるようにしてもよい。更に、ステージ画像ウィンドウ42のみを表示画面の一部に表示させ、モニタ画像は表示画面の他の部分に一杯に表示させるようにしても良い。
【0028】
なお、以上の実施例では、ワークの全体画像がCCDカメラから撮像されたものである場合について説明したが、ワークの全体画像はCADシステムから与えられたワークを示すCADデータにより構成されたものでもよい。この場合には、ワーク座標系の原点及び軸と、CAD上の基準座標系の原点及び軸とを一致させておくことにより、上述した実施例と同様の効果を得ることができる。
【0029】
【発明の効果】
以上述べたように、この発明によれば、表示画面中に被測定対象のステージ画像と、撮像手段によって実際に撮像している部分の拡大画像とを同時に表示させ、前記被測定対象のステージ画像中の任意の位置を指定可能にすると共に、この位置指定に応答して前記被測定対象における指定位置に前記撮像手段を移動させるので、当該指定位置の拡大画像を表示画像中に表示させることができる。即ち、被測定対象の所望する位置を極めて簡単な操作で見つけ出すことができる。
【図面の簡単な説明】
【図1】 この発明の一実施例に係る非接触画像計測システムの構成を示す図である。
【図2】 同システムの機能ブロック図である。
【図3】 同実施例における表示画面の一例を示す図である。
【図4】 同実施例におけるステージ画像取り込み処理を示すフローチャートである。
【図5】 同実施例におけるステージ画像ウィンドウの一例を示す図である。
【図6】 計測処理/位置算出部におけるCCDカメラの移動処理を示すフローチャートである。
【図7】 同実施例における表示画面の一例を示す図である。
【符号の説明】
1…三次元測定機、2…コンピュータシステム、3…プリンタ、11…架台、12…ワーク、13…測定テーブル、14,15…支持アーム、16…X軸ガード、17…撮像ユニット、18…CCDカメラ、21…コンピュータ本体、22…キーボード、23…ジョイスティックボックス、24…マウス、25…CRTディスプレイ、31…モニタ画像ウィンドウ生成部、32…ステージ画像ウィンドウ生成部、33…画像メモリ、34…画像処理部、35…マウスドライバ、36…カーソル生成部、37…表示画面生成部、38…コマンド識別部、39…計測処理/位置算出部、40…駆動制御部、41…モニタ画像ウィンドウ、42…ステージ画像ウィンドウ、43…カーソル、44,45…表示領域、46…孔、47…ツール。

Claims (2)

  1. ワーク座標系に配置された被測定対象を撮像する撮像手段と、
    前記ワーク座標系における前記撮像手段の位置を変化させる駆動手段と、
    前記撮像手段で撮像された前記被測定対象の画像を記憶する記憶手段と、
    前記撮像手段で撮像された前記被測定対象の画像を表示する表示手段と、
    前記駆動手段を制御して前記撮像手段で撮像される視野の水平成分及び垂直成分を移動ピッチとして前記撮像手段を順次移動させて前記被測定対象の全体にわたって前記被測定対象の複数の画像を前記記憶手段に取り込む処理を測定に先立って実行する機能を有すると共に前記表示手段に表示された前記被測定対象の画像から所定の計測値を求めるための処理を実行する計測処理手段と、
    前記記憶手段に記憶された前記被測定対象の全体にわたる複数の画像を合成して前記被測定対象の任意の拡大率のステージ画像を生成し、この生成されたステージ画像を前記表示手段の表示画面の少なくとも一部に表示させる手段と、
    前記表示手段に表示された前記被測定対象のステージ画像のうちの任意の位置を指定するための位置指定手段と、
    この位置指定手段で指定された前記被測定対象のステージ画像における位置に対応する前記ワーク座標系の位置を算出する位置算出手段と、
    この位置算出手段で算出された位置に前記撮像手段が位置するように前記駆動手段を制御する手段とを備え
    前記計測処理手段は、前記位置算出手段で算出された位置に前記駆動手段によって移動された前記撮像手段で撮像された前記被測定対象の画像から所定の計測値を求めるための処理を実行するものである
    ことを特徴とする非接触画像計測システム。
  2. 前記表示手段は、1つの表示画面上に第1のウィンドウと第2のウィンドウとを表示し、前記第1のウィンドウ内に前記撮像手段で撮像された前記被測定対象の画像を表示し、前記第2のウィンドウ内に前記被測定対象のステージ画像を表示するものであることを特徴とする請求項1記載の非接触画像計測システム。
JP14680995A 1995-05-22 1995-05-22 非接触画像計測システム Expired - Fee Related JP3672970B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP14680995A JP3672970B2 (ja) 1995-05-22 1995-05-22 非接触画像計測システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14680995A JP3672970B2 (ja) 1995-05-22 1995-05-22 非接触画像計測システム

Publications (2)

Publication Number Publication Date
JPH08313217A JPH08313217A (ja) 1996-11-29
JP3672970B2 true JP3672970B2 (ja) 2005-07-20

Family

ID=15416023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14680995A Expired - Fee Related JP3672970B2 (ja) 1995-05-22 1995-05-22 非接触画像計測システム

Country Status (1)

Country Link
JP (1) JP3672970B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4053642B2 (ja) * 1998-01-12 2008-02-27 株式会社ミツトヨ 座標系設定方法及び画像測定装置
US7420588B2 (en) 1999-06-09 2008-09-02 Mitutoyo Corporation Measuring method, measuring system and storage medium
JP2001289614A (ja) 2000-01-31 2001-10-19 Omron Corp 変位センサ
EP1128656A3 (en) 2000-02-21 2002-01-09 Fujitsu Limited Image photographing system having data management function, data management device and storage medium
JP5416234B2 (ja) * 2012-02-02 2014-02-12 東京エレクトロン株式会社 被撮像物の移動方法及びこの方法を用いるプローブ装置
JP5923824B2 (ja) 2012-02-21 2016-05-25 株式会社ミツトヨ 画像処理装置
JP5977556B2 (ja) 2012-03-27 2016-08-24 株式会社ミツトヨ 硬さ試験機
JP6278512B2 (ja) * 2014-03-13 2018-02-14 国立研究開発法人産業技術総合研究所 情報処理方法、情報処理システム、情報処理装置、およびプログラム
JP5938503B1 (ja) * 2015-08-24 2016-06-22 新東エスプレシジョン株式会社 測定装置
JP7365108B2 (ja) * 2018-06-05 2023-10-19 株式会社ディスコ 処理装置

Also Published As

Publication number Publication date
JPH08313217A (ja) 1996-11-29

Similar Documents

Publication Publication Date Title
JP3962104B2 (ja) 赤外顕微鏡を作動する方法および赤外線データを取得する装置
JP3596753B2 (ja) 画像測定装置用パートプログラム生成装置及び方法
JP6844871B2 (ja) 焦点調節方法およびその装置
JP3672970B2 (ja) 非接触画像計測システム
KR102496895B1 (ko) 시료 위치 맞춤 방법 및 하전 입자 빔 장치
US20030039334A1 (en) Part program generating apparatus and program for image measuring apparatus
JP4932202B2 (ja) 画像測定装置用パートプログラム生成装置、画像測定装置用パートプログラム生成方法、及び画像測定装置用パートプログラム生成用プログラム
JP2003287508A (ja) 透過電子顕微鏡による試料観察方法
JP2000162504A (ja) 拡大観察装置
KR100508994B1 (ko) 광학현미경의 분해능 이하의 측정이 가능한미소치수측정방법 및 장치
JPS6334093A (ja) 視覚装置
KR100284080B1 (ko) 광학식 치수/형상/표면조도 측정장치
JP6979885B2 (ja) 3d形状のオートトレース方法及び測定機
JPH05333271A (ja) 3次元物体の認識方法および装置
JP2004012192A (ja) 測定顕微鏡装置、その表示方法、及びその表示プログラム
JP3595014B2 (ja) エッジ検出方法及びこれを用いた非接触画像計測システム
JP2822314B2 (ja) レーザ加工装置
JP2003315015A (ja) 測定顕微鏡
JP3203507B2 (ja) レーザ加工装置
JP2817092B2 (ja) レーザ加工装置
JP2887656B2 (ja) レーザ加工装置
JPH11295045A (ja) 検査装置
JP3203508B2 (ja) レーザ加工装置
JP2003004666A (ja) X線透視撮影装置
JP3650205B2 (ja) 非接触画像計測システム及びエッジ追跡測定方法

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041005

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041206

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20041213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050421

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110428

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees