JPH08247719A - エッジ検出方法及びこれを用いた非接触画像計測システム - Google Patents

エッジ検出方法及びこれを用いた非接触画像計測システム

Info

Publication number
JPH08247719A
JPH08247719A JP7821895A JP7821895A JPH08247719A JP H08247719 A JPH08247719 A JP H08247719A JP 7821895 A JP7821895 A JP 7821895A JP 7821895 A JP7821895 A JP 7821895A JP H08247719 A JPH08247719 A JP H08247719A
Authority
JP
Japan
Prior art keywords
edge
measured
tool
image
pointer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7821895A
Other languages
English (en)
Other versions
JP3595014B2 (ja
Inventor
Koichi Komatsu
浩一 小松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Original Assignee
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp, Mitsutoyo Kiko Co Ltd filed Critical Mitutoyo Corp
Priority to JP7821895A priority Critical patent/JP3595014B2/ja
Publication of JPH08247719A publication Critical patent/JPH08247719A/ja
Application granted granted Critical
Publication of JP3595014B2 publication Critical patent/JP3595014B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【目的】 エッジ検出のための操作を簡単化して操作性
を大幅に向上させる。 【構成】 検出すべきエッジを含む被測定画像上で指定
された点の位置を記憶し、この記憶された位置を中心と
して予め設定された複数の方向に延びる一定の長さのツ
ールを被測定画像に設定する。設定された複数のツール
のそれぞれについてツールに沿ったエッジ強度を測定す
る。各ツールに沿ったエッジ強度のうち、最も大きいエ
ッジ強度が得られたツールを用いて被測定画像のエッジ
を検出する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、CCDカメラ等の撮像
手段で被測定対象を撮像すると共に、被測定対象の画像
に含まれるエッジを検出するエッジ検出方法及び検出さ
れたエッジに基づいて必要な計測情報を抽出する非接触
画像計測システム及びエッジ検出方法に関する。
【0002】
【従来の技術】従来、この種の非接触画像計測システム
は、接触測定では困難なICのリードフレームのような
薄板の測定や配線パターン等の測定に使用されている。
非接触画像計測を行う場合には、被測定対象(ワーク)
を測定テーブルにセットしたのち、CCDカメラ等の撮
像装置をワークの測定したい箇所に移動させ、フォーカ
ス調整を行ってCRTディスプレイ上にワークの拡大画
像を表示させる。そして、測定する箇所をマウスのカー
ソルやウィンドウで指示し、画像処理技術に基づいて画
像のエッジ部分を抽出して所望する計測値を演算処理に
より求めていく。
【0003】図12は、従来のエッジ検出オペレーショ
ンを説明するための図である。先ず、同図(a)に示す
ように、被測定対象の画像情報61のエッジ検出を行う
部分にツール62をセットする。ツール62は、例えば
マウス等の入力手段によって画面上に表示されたポイン
タをエッジ63を横切るように移動させながら、始点指
定→ドラッギング→終点指定の順に操作を行って設定す
る。
【0004】次に、同図(b)に示すように、ツール6
2上のエッジ位置64をポインタによって指定する。こ
れはエッジのティーチングと呼ばれ、ツール62上の濃
度のスライスレベルやエッジ強度のスライスレベル等の
各種エッジ検出用パラメータを算出しセットするために
行われる。これらのパラメータに基づいて、同図(c)
に示すように、ツール62に沿ったエッジ検出が実行さ
れる。ティーチングによって得られたエッジ検出用パラ
メータは、例えばCNC(Computer Numerical Contro
l)のパートプログラム等に組み込まれ、2回目以降の
自動測定時のエッジ検出の基準として用いられる。
【0005】
【発明が解決しようとする課題】しかしながら、上述し
た従来の非接触画像計測システムのエッジ検出方法で
は、エッジ検出のために3段階の操作を行わなくてはな
らないため、操作が面倒であるという問題がある。特
に、図12(d),(e)に示すように、円の直径やエ
ッジ間の幅や角度等を測定する場合、複数箇所のエッジ
位置について、同様のエッジ検出操作を繰り返さなくて
はならず、操作が極めて煩雑である。
【0006】本発明はこのような問題点を解決するため
になされたもので、エッジ検出のための操作を簡単化し
て操作性を大幅に向上させることができるエッジ検出方
法及びこれを用いた非接触画像計測システムを提供する
ことを目的とする。
【0007】
【課題を解決するための手段】本発明に係るエッジ検出
方法は、検出すべきエッジを含む被測定画像上で指定さ
れた点の位置を記憶するステップと、このステップで記
憶された位置を中心として予め設定された複数の方向に
延びる一定の長さのツールを前記被測定画像に設定する
ステップと、このステップで設定された複数のツールの
それぞれについて前記ツールに沿ったエッジ強度を測定
するステップと、このステップで測定された各ツールに
沿ったエッジ強度のうち、最も大きいエッジ強度が得ら
れたツールを用いて前記被測定画像のエッジを検出する
ステップとを備えたことを特徴とする。
【0008】また、この発明のエッジ検出方法は、前記
最も大きいエッジ強度が得られたツールを用いて検出さ
れたエッジからエッジ検出のためのパラメータを算出し
記憶するステップを更に備えるようにしてもよい。
【0009】また、本発明に係る非接触画像計測システ
ムは、被測定対象を撮像する撮像手段と、この撮像手段
で撮像された前記被測定対象の画像を表示する表示手段
と、この表示手段に前記被測定対象の画像に重ねてポイ
ンタを表示させる表示制御手段と、前記ポインタの位置
を移動させると共に前記ポインタで示された位置のデー
タの入力指示を与える入力手段と、この入力手段によっ
て入力指示が与えられたときの前記ポインタの位置のデ
ータを記憶する記憶手段と、この記憶手段に記憶された
位置を中心として予め設定された複数の方向に延びる一
定の長さのツールを設定し、これらのツールのそれぞれ
について前記ツールに沿ったエッジ強度を測定すると共
に、前記測定された各ツールに沿ったエッジ強度のうち
最も大きいエッジ強度が得られたツールを用いて前記被
測定画像のエッジを検出し、この検出されたエッジを用
いて必要な計測情報を算出する演算手段とを備えたこと
を特徴とする。
【0010】また、前記演算手段は、更に、最も大きい
エッジ強度が得られたツールを用いて検出されたエッジ
からエッジ検出のためのパラメータを算出し前記記憶手
段に格納するものでもよい。
【0011】
【作用】本発明のエッジ検出方法によれば、オペレータ
が被測定画像上の測定したいエッジ位置を指定するとこ
の位置が記憶され、この位置を中心として予め設定され
た複数の方向に延びる一定の長さのツールが前記被測定
画像に設定され、これらのツールのそれぞれについてエ
ッジ強度が測定される。このエッジ強度は、エッジに対
して最適方向のツールが最も大きな値となる。従って、
エッジ強度が最も大きなツールを用いて前記被測定画像
のエッジを検出することにより、最適な方向でエッジ位
置を求めることができる。この場合、オペレータは、エ
ッジ位置の指定操作のみを行えばよく、操作が極めて簡
単になる。
【0012】なお、エッジ位置の検出と共に、最も大き
いエッジ強度が得られたツールを用いてスライスレベル
等のエッジ検出用パラメータを算出し、記憶することに
より、以後このパラメータを用いて自動計測を行うこと
ができる。
【0013】また、本発明の非接触画像計測システムで
は、演算手段が前述した方法により被測定対象の画像の
エッジを検出するので、必要な計測情報を効率良く抽出
することができる。
【0014】
【実施例】以下、添付の図面を参照して本発明の実施例
について説明する。図1は、本発明の実施例に係る非接
触画像計測システムの全体構成を示す斜視図である。こ
のシステムは、非接触画像計測型の三次元測定機1と、
この三次元測定機1を駆動制御すると共に、必要なデー
タ処理を実行するコンピュータシステム2と、計測結果
をプリントアウトするプリンタ3とにより構成されてい
る。
【0015】三次元測定機1は、次のように構成されて
いる。即ち、架台11上には、ワーク12を載置する測
定テーブル13が装着されており、この測定テーブル1
3は、図示しないY軸駆動機構によってY軸方向に駆動
される。架台11の両側縁中央部には上方に延びる支持
アーム14,15が固定されており、この支持アーム1
4,15の両上端部を連結するようにX軸ガイド16が
固定されている。このX軸ガイド16には、撮像ユニッ
ト17が支持されている。撮像ユニット17は、図示し
ないX軸駆動機構によってX軸ガイド16に沿って駆動
される。撮像ユニット17の下端部には、CCDカメラ
18が測定テーブル13と対向するように装着されてい
る。また、撮像ユニット17の内部には、図示しない照
明装置及びフォーカシング機構の他、CCDカメラ18
のZ軸方向の位置を移動させるZ軸駆動機構が内蔵され
ている。
【0016】コンピュータシステム2は、コンピュータ
本体21、キーボード22、ジョイスティックボックス
23、マウス24及びCRTディスプレイ25を備えて
構成されている。コンピュータ本体21は、例えば図2
に示すように構成されている。即ち、CCDカメラ18
から入力される画像情報は、インタフェース(以下、I
/Fと呼ぶ)31を介して多値画像メモリ32に格納さ
れる。多値画像メモリ32に格納された多値画像情報
は、表示制御部33を介してCRTディスプレイ25に
表示される。一方、マウス24から入力される位置情報
は、I/F34を介してCPU35に入力される。CP
U35は、プログラムメモリ36に格納されたプログラ
ムに従って、マウス24で指定された位置にポインタを
表示させると共に、マウス24からのクリック情報に基
づいてエッジ検出のための必要な演算処理を実行する。
ワークメモリ37は、マウス24によって指定された位
置データやCPU35で算出されたエッジ検出用パラメ
ータ等を記憶する。
【0017】次に、このように構成された非接触画像計
測システムにおけるエッジ検出手順について説明する。
なお、エッジ検出は、システムがマニュアルモード、テ
ィーチングモード及びリピートモードを有する場合、各
モードで実行されるが、ここでは、ティーチングモード
の例を説明する。図3は、このエッジ検出のためのCP
U35の処理の手順を示すフローチャート、図4は、こ
の処理を説明するためCRTディスプレイ25に表示画
像を示す図である。図4に示すワーク12の画像情報4
1には、検出しようとするエッジ42が含まれている。
ポインタ43は、マウス24によってその表示位置が変
化する。マウス24等を操作して検出したいエッジ42
の近傍にポインタ43を移動してマウス24をクリック
操作すると、図3の処理が起動される。CPU35は、
先ず、クリックされたときのポインタの位置(x,y)
をワークメモリ37に書き込む(S1)。次に、後述す
るツールの傾きθ及びエッジ強度の最大値ESmax をリ
セットする(S2)。
【0018】続いて、CPU35は、位置(x,y)を
中心として、角度θで一定の長さLのツールをセットす
る(S3)。図5にθ=0°のツール44が示されてい
る。ツール44の長さLは、他のエッジを検出しない程
度の長さ、例えば100ピクセル程度に予め設定してお
く。このツール44上を矢印方向に沿って、エッジ強度
ESを測定する。エッジ強度ESは、例えば図6に示す
ように、2次元の微分フィルタ45を用いたフィルタリ
ングにより、その移動平均を算出することによって求め
ることができる。微分フィルタ45は、大きい程、精度
が良いが、処理効率等も勘案して、例えば5×5画素程
度に設定する。図7に、5×5の微分フィルタの一例を
示す。ツール44に沿って、この微分フィルタ45を移
動させながら、各位置でのエッジ強度を求めると、図8
のようなエッジ強度のグラフが求められる。このグラフ
の最大ピーク値を求めるエッジ強度ESとする。
【0019】次にCPU35は、求められたエッジ強度
ESの絶対値が最大値ESmax より大きいかどうかを判
定し(S5)、もし、大きい場合には、求められたエッ
ジ強度ESを最大値ESmax とすると共に、そのときの
ツール44の角度θを最適角度θT とする(S6)。続
いて、θをΔθだけ変化させ(S6)、θが180°を
超えない範囲で、ステップS3〜S7を繰り返す(S
8)。なお、θを360°の範囲で変化させるようにし
てもよい。この場合には、エッジの極性(暗→明、又は
明→暗)も考慮に入れたエッジ検出が可能である。これ
により、図9に示すように、ツール44の傾きθを0°
から180°まで、Δθずつ変化させながら、それぞれ
の角度θでのエッジ強度ESが求められる。そのうち、
図10に示すように、エッジ強度として最大値が得られ
たツール44のエッジ強度ESと傾きθT がワークメモ
リ37に記憶されることになる。この傾きθT は、エッ
ジ42の傾きに対してほぼ90°の角度をなす最適傾き
となる。
【0020】CPU35は、この得られたツール44を
再度画像情報41にセットし(S9)、エッジのティー
チングを実行する(S10)。即ち、例えば図11に示
すように、ツール44に沿った濃度レベルのグラフを微
分して、その微分値のピーク位置Pをエッジ位置と認識
し、その位置における濃度レベルの値、若しくは、濃度
補間曲線とピーク位置Pとの交差位置の濃度レベルを濃
度のスライスレベルThpとする。また、例えば、この
ツール44に沿って求められた図8のようなエッジ強度
のグラフの第1ピークと第2ピークの間の予め設定され
た割合の位置をエッジ強度のスライスレベルThsとす
る。このほか、エッジの極性等を求めるようにしてもよ
い。これらは、エッジ検出用パラメータとしてワークメ
モリ37に記憶され、リピートモードにおけるエッジ検
出の際に、繰り返し読み出されて、エッジ位置の検出、
エッジ判定処理等に使用される。
【0021】このように、本実施例のシステムによれ
ば、最初に検出すべきエッジの箇所を指定するだけで、
最適なツール44が測定対象画像に設定され、エッジ検
出が行われると共に、リピートモードでのエッジ検出に
必要なパラメータ等も抽出されるので、操作性が大幅に
向上する。例えば、図12(d)に示す円の直径測定の
場合、及び同図(e)に示すエッジ間の幅測定の場合
は、共に3回のマウスのクリック操作だけで計測のため
の必要なエッジ検出が行われる。なお、求められた最適
方向のツールからエッジ位置を求める方法やエッジ強度
を求める方法等は、他の周知の方法を用いることができ
る。また、エッジ検出用パラメータとして、上述したも
のの他に、ピークレベルからの割合で指定する相対スラ
イスレベルを算出するようにしてもよい。
【0022】
【発明の効果】以上述べたように、本発明によれば、オ
ペレータが被測定画像上の測定したいエッジ位置を指定
すると、その位置を中心として予め設定された複数の方
向に延びる一定の長さのツールが前記被測定画像に設定
され、これらのツールのそれぞれについてエッジ強度が
測定され、このエッジ強度が最も大きなツールを用いて
前記被測定画像のエッジが検出されるので、エッジ検出
のための操作が極めて簡単になるという効果を奏する。
【図面の簡単な説明】
【図1】 本発明の実施例に係る非接触画像計測システ
ムの構成を示す斜視図である。
【図2】 同システムにおけるコンピュータ本体のブロ
ック図である。
【図3】 同システムにおけるエッジ検出処理のフロー
チャートである。
【図4】 同システムにおける表示画面を示す図であ
る。
【図5】 同システムにおけるツールの生成例を示す図
である。
【図6】 同システムにおけるエッジ強度測定手順を説
明するための図である。
【図7】 同エッジ強度測定に使用される微分フィルタ
の例を示す図である。
【図8】 同エッジ強度のグラフを示す図である。
【図9】 同システムにおけるツールの設定方向を説明
するための図である。
【図10】 同システムにおける最適ツールの選択結果
を示す図である。
【図11】 同システムにおけるエッジ位置の決定方法
を説明するための図である。
【図12】 従来のシステムにおけるエッジ検出手順を
説明するための図である。
【符号の説明】
1…三次元測定機、2…コンピュータシステム、3…プ
リンタ、11…架台、12…ワーク、13…測定テーブ
ル、14,15…支持アーム、16…X軸ガイド、17
…撮像ユニット、18…CCDカメラ、21…コンピュ
ータ本体、22…キーボード、23…ジョイスティック
ボックス、24…マウス、25…CRTディスプレイ、
31,34…インタフェース、32…多値画像メモリ、
33…表示制御部、35…CPU、36…プログラムメ
モリ、37…ワークメモリ、41,61…画像情報、4
2,63…エッジ、43…ポインタ、44,62…ツー
ル。

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 検出すべきエッジを含む被測定画像上で
    指定された点の位置を記憶するステップと、 このステップで記憶された位置を中心として予め設定さ
    れた複数の方向に延びる一定の長さのツールを前記被測
    定画像に設定するステップと、 このステップで設定された複数のツールのそれぞれにつ
    いて前記ツールに沿ったエッジ強度を測定するステップ
    と、 このステップで測定された各ツールに沿ったエッジ強度
    のうち、最も大きいエッジ強度が得られたツールを用い
    て前記被測定画像のエッジを検出するステップとを備え
    たことを特徴とするエッジ検出方法。
  2. 【請求項2】 前記最も大きいエッジ強度が得られたツ
    ールを用いて検出されたエッジからエッジ検出のための
    パラメータを算出し記憶するステップを更に備えたこと
    を特徴とする請求項1記載のエッジ検出方法。
  3. 【請求項3】 被測定対象を撮像する撮像手段と、 この撮像手段で撮像された前記被測定対象の画像を表示
    する表示手段と、 この表示手段に前記被測定対象の画像に重ねてポインタ
    を表示させる表示制御手段と、 前記ポインタの位置を移動させると共に前記ポインタで
    示された位置のデータの入力指示を与える入力手段と、 この入力手段によって入力指示が与えられたときの前記
    ポインタの位置のデータを記憶する記憶手段と、 この記憶手段に記憶された位置を中心として予め設定さ
    れた複数の方向に延びる一定の長さのツールを設定し、
    これらのツールのそれぞれについて前記ツールに沿った
    エッジ強度を測定すると共に、前記測定された各ツール
    に沿ったエッジ強度のうち最も大きいエッジ強度が得ら
    れたツールを用いて前記被測定画像のエッジを検出し、
    この検出されたエッジを用いて必要な計測情報を算出す
    る演算手段とを備えたことを特徴とする非接触画像計測
    システム。
  4. 【請求項4】 前記演算手段は、最も大きいエッジ強度
    が得られたツールを用いて検出されたエッジからエッジ
    検出のためのパラメータを算出し前記記憶手段に格納す
    るものであることを特徴とする請求項3記載の非接触画
    像計測システム。
JP7821895A 1995-03-09 1995-03-09 エッジ検出方法及びこれを用いた非接触画像計測システム Expired - Fee Related JP3595014B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7821895A JP3595014B2 (ja) 1995-03-09 1995-03-09 エッジ検出方法及びこれを用いた非接触画像計測システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7821895A JP3595014B2 (ja) 1995-03-09 1995-03-09 エッジ検出方法及びこれを用いた非接触画像計測システム

Publications (2)

Publication Number Publication Date
JPH08247719A true JPH08247719A (ja) 1996-09-27
JP3595014B2 JP3595014B2 (ja) 2004-12-02

Family

ID=13655916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7821895A Expired - Fee Related JP3595014B2 (ja) 1995-03-09 1995-03-09 エッジ検出方法及びこれを用いた非接触画像計測システム

Country Status (1)

Country Link
JP (1) JP3595014B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6600808B2 (en) 2001-08-21 2003-07-29 Mitutoyo Corporation Part program generating apparatus and program for image measuring apparatus
US6968080B2 (en) 2000-05-10 2005-11-22 Mitutoyo Corporation Method and apparatus for generating part programs for use in image-measuring instruments, and image-measuring instrument and method of displaying measured results therefrom
EP2387000A1 (en) 2010-05-11 2011-11-16 Mitutoyo Corporation Image measuring apparatus, program, and teaching method of image measuring apparatus
EP2557538A2 (en) 2011-08-11 2013-02-13 Mitutoyo Corporation Image measurement apparatus and image measurement method
US9140541B2 (en) 2010-08-19 2015-09-22 Mitutoyo Corporation Image measuring apparatus and image measuring method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10656780B2 (en) 2018-01-12 2020-05-19 Mitutoyo Corporation Position specifying method and program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6968080B2 (en) 2000-05-10 2005-11-22 Mitutoyo Corporation Method and apparatus for generating part programs for use in image-measuring instruments, and image-measuring instrument and method of displaying measured results therefrom
US6600808B2 (en) 2001-08-21 2003-07-29 Mitutoyo Corporation Part program generating apparatus and program for image measuring apparatus
EP2387000A1 (en) 2010-05-11 2011-11-16 Mitutoyo Corporation Image measuring apparatus, program, and teaching method of image measuring apparatus
US8538165B2 (en) 2010-05-11 2013-09-17 Mitutoyo Corporation Image measuring apparatus, program, and teaching method of image measuring apparatus
US9140541B2 (en) 2010-08-19 2015-09-22 Mitutoyo Corporation Image measuring apparatus and image measuring method
DE102011110956B4 (de) 2010-08-19 2018-07-26 Mitutoyo Corporation Bildmessvorrichtung und Bildmessverfahren
EP2557538A2 (en) 2011-08-11 2013-02-13 Mitutoyo Corporation Image measurement apparatus and image measurement method
US8995773B2 (en) 2011-08-11 2015-03-31 Mitutoyo Corporation Image measurement apparatus and method of measuring works using edge detection tools

Also Published As

Publication number Publication date
JP3595014B2 (ja) 2004-12-02

Similar Documents

Publication Publication Date Title
JP3596753B2 (ja) 画像測定装置用パートプログラム生成装置及び方法
JP3608920B2 (ja) 非接触画像計測システム
US7394926B2 (en) Magnified machine vision user interface
JP2006127517A (ja) 機械視覚検査方法およびそのためのユーザーインターフェース
JP3853620B2 (ja) 画像測定装置用パートプログラム生成装置及びプログラム
JP3887807B2 (ja) 画像計測装置
JP3595014B2 (ja) エッジ検出方法及びこれを用いた非接触画像計測システム
JP3672970B2 (ja) 非接触画像計測システム
JP3958815B2 (ja) Nc工作機械における工具位置測定方法
KR100293698B1 (ko) 플라즈마디스플레이패널의패턴검사기및그검사방법
JP3645643B2 (ja) エッジ検出方式
JPH09250909A (ja) 非接触画像計測方法及びシステム
JP3650205B2 (ja) 非接触画像計測システム及びエッジ追跡測定方法
JP2978808B2 (ja) 画像測定装置
JP3853507B2 (ja) 線幅測定方法及び装置
JP3595015B2 (ja) 画像の重心位置検出方法
JP3608932B2 (ja) 画像測定方法及び装置
JPH09259289A (ja) エッジ姿勢認識式の測定方法および装置
JP2937918B2 (ja) 画像測定装置
JP3853500B2 (ja) エッジ検出方法及び画像測定装置
JP5577508B2 (ja) 画像測定装置及びその駆動制御方法
JP3922942B2 (ja) 画像測定装置、画像測定方法及び画像測定用プログラム
JP2004239761A (ja) 画像測定装置及びエッジ追跡測定プログラム生成用プログラム
JPH10141928A (ja) 非接触画像計測システム
JP2888368B2 (ja) 位置測定装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040902

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100910

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130910

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees