JP4053642B2 - Coordinate system setting method and image measuring apparatus - Google Patents

Coordinate system setting method and image measuring apparatus Download PDF

Info

Publication number
JP4053642B2
JP4053642B2 JP00433198A JP433198A JP4053642B2 JP 4053642 B2 JP4053642 B2 JP 4053642B2 JP 00433198 A JP00433198 A JP 00433198A JP 433198 A JP433198 A JP 433198A JP 4053642 B2 JP4053642 B2 JP 4053642B2
Authority
JP
Japan
Prior art keywords
image
work
coordinate system
window
geometric shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP00433198A
Other languages
Japanese (ja)
Other versions
JPH11203473A (en
Inventor
幸三 有我
浩一 小松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Priority to JP00433198A priority Critical patent/JP4053642B2/en
Publication of JPH11203473A publication Critical patent/JPH11203473A/en
Application granted granted Critical
Publication of JP4053642B2 publication Critical patent/JP4053642B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Control By Computers (AREA)
  • Control Of Position Or Direction (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、非接触三次元測定機等の画像測定装置に関し、特にワークを撮像して得られたワーク画像に対して座標系を設定する座標系設定方法及び画像測定装置に関する。
【0002】
【従来の技術】
従来のCNC(Computer Numerical Control)三次元測定機や手動操作式三次元測定機では、被測定対象であるワークを撮像して得られたワーク画像中にワーク座標系を設定するするためには、まず座標系を決定する幾何形状を測定して、更にその測定結果が座標軸の中心を決定するのか、X軸を決定するのか、又はY軸を決定するのか、等を指定する必要がある。
【0003】
例えば、角を有するいわゆる角物ワークに座標系を設定する場合は、
▲1▼X軸を一致させたい端面上のいずれか2箇所についてエッジ検出処理を実行して上記端面に直線を当てはめ、この直線をX軸に設定するか、又は直線測定ツールにより、上記端面について連続的にエッジ点を求めて直線を求め、この直線をX軸に設定する。
▲2▼もう一方の端面のどこか1箇所のエッジ点を求め、その点を通り且つ▲1▼で設定したX軸と直交する線をY軸に設定する。
という操作を行う。
【0004】
また、例えば座標系の基準となる2つの穴が形成されたワークにそれらの穴を基準として座標系を設定する場合には、
▲1▼2つの穴をそれぞれ穴測定ツールを用いて測定してその中心点の位置を求め、各穴の中心点を通る直線をX軸に設定する。
▲2▼どちらか一方の穴の中心を座標系の原点に一致させる。
という操作を実行する。
【0005】
【発明が解決しようとする課題】
このように、従来の画像測定機の座標系設定方法は、ワーク画像に対して座標系を設定する操作が煩雑であり時間のかかる作業であった。
【0006】
本発明は、このような点に鑑みなされたもので、ワーク画像に対する座標系の設定作業を容易にすることができる座標系設定方法及び画像測定装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
本発明に係る座標系設定方法は、ワークを撮像して得られたワーク画像を表示する画像ウィンドウと前記ワークの図面データをグラフィックス表示するグラフィックスウィンドウとを表示し、前記画像ウィンドウ内で前記ワーク画像の少なくとも2点が指示されるように幾何形状を指示入力すると共に、前記グラフィックスウィンドウ内で前記ワーク画像内の指示された幾何形状に対応する前記図面データ上の幾何形状を指示入力し、前記画像ウィンドウ内で指示された幾何形状の機械座標系における位置座標と前記グラフィックウィンドウ内で指示された幾何形状の図面データ座標系における位置座標とに基づいて、前記図面データ座標系に対する前記機械座標系のずれ量を算出し、この算出されたずれ量を吸収するように前記画像ウィンドウ内のワーク画像にワーク座標系を設定するようにしたことを特徴とする。
【0009】
本発明に係る画像測定装置は、ワークを撮像して得られたワーク画像を表示する画像ウィンドウと前記ワークの図面データをグラフィックス表示するグラフィックスウィンドウとを表示する表示手段と、前記画像ウィンドウ内で前記ワーク画像の少なくとも2点が指示されるように幾何形状を指示入力すると共に、前記グラフィックスウィンドウ内で前記ワーク画像内の指示された幾何形状に対応する前記図面データ上の幾何形状を指示入力するための入力手段と、前記画像ウィンドウ内で指示された幾何形状の機械座標系における位置座標と前記グラフィックウィンドウ内で指示された幾何形状の図面データ座標系における位置座標とに基づいて、前記図面データ座標系に対する前記機械座標系のずれ量を算出し、この算出されたずれ量を吸収するように前記画像ウィンドウ内のワーク画像にワーク座標系を設定する演算手段とを備えたことを特徴とする。
【0011】
本発明の座標設定方法及び画像測定装置によれば、画像ウィンドウにワーク画像が表示されると共に、グラフィックスウィンドウに図面データがグラフィックス表示され、ワーク画像上で、少なくとも2点が指示されるように幾何形状が指示されると共に、図面データ上でそれに対応する幾何形状が指示されると、両幾何形状のずれ量に基づいてワーク座標系が図面データ座標系に適合するように設定されるので、作業者はワーク座標を設定するに際して、2つのウィンドウ内で対応する幾何形状を指示するだけの操作を行えば良く、ワーク座標系の座標設定作業が極めて簡単になる。
【0013】
なお、上記画像測定装置において、前記画像ウィンドウに表示されるワーク画像の位置を移動させるためのステージ移動手段を更に設け、表示手段が演算手段で設定されたワーク座標系を示す2本の直交する基準軸とこれら基準軸の両端の移動方向を示す矢印とを前記画像ウィンドウ内にワーク画像に重ねて表示し、前記ステージ移動手段が前記各基準軸の両端に表示された矢印に対する指示入力に基づいて、前記基準軸と矢印とで示す向きにステージを移動させるものであると、機械座標系とワーク座標系とが合っていない場合でも、ワーク座標系に沿ってワーク画像を移動させることが可能になるので、測定操作を極めて効率よく行うことが可能になる。
【0014】
また、表示手段は、演算手段で設定されたワーク座標系が画像ウィンドウ内で水平垂直方向に位置するようにワーク画像を回転移動させて画像ウィンドウ内に表示するものであると、ワーク座標系そのものを水平垂直方向に向けることができるので、更に測定作業を効率的に行うことが可能になる。
【0015】
【発明の実施の形態】
以下、図面を参照してこの発明の好ましい実施の形態について説明する。
図1は、この発明の一実施例に係るCNC画像測定装置の全体構成を示す斜視図である。
この装置は、非接触画像計測型の測定機本体1と、この測定機本体1を駆動制御すると共に必要な測定データ処理を実行するコンピュータシステム2と、測定機本体1をマニュアル操作するための指令入力部3と、計測結果をプリントアウトするプリンタ4とにより構成されている。
【0016】
測定機本体1は、次のように構成されている。即ち、架台11上には、被測定対象であるワーク12を載置する測定テーブル13が装着されており、この測定テーブル13は、図示しないY軸駆動機構によってY軸方向に駆動される。架台11の後端部には上方に延びるフレーム14が固定されており、このフレーム14の上部から前面に張り出したカバー15の内部には、測定テーブル13を上部から臨むように図示しないX軸及びZ軸駆動機構に駆動されるCCDカメラ16が取り付けられている。CCDカメラ16の下端には、ワーク12に照明光を照射するためのリング状の照明装置17が備えられている。
【0017】
コンピュータシステム2は、コンピュータ本体21、キーボード22、マウス23及びCRTディスプレイ24を備えて構成されている。
コンピュータ本体21を中心とするこのシステムは、例えば図2に示すように構成されている。即ち、CCDカメラ16で捉えたワーク12の画像信号は、AD変換部31で多値画像データに変換され、多値画像メモリ32に格納される。多値画像メモリ32に格納された多値画像データは、表示制御部33の動作によってCRTディスプレイ24に表示される。一方、キーボード22及びマウス23からのオペレータの指令は、インタフェース(I/F)34を介してCPU35に伝えられる。CPU35は、前記オペレータの指令又はプログラムメモリ36に格納されたプログラムに従ってステージ移動等の各種の処理を実行する。ワークメモリ37は、CPU35の各種処理のための作業領域を提供する。
【0018】
また、CCDカメラ16のX軸方向位置及びZ軸方向位置を検出するためのX軸エンコーダ41及びZ軸エンコーダ43、並びにテーブル13のY軸方向位置を検出するためのY軸エンコーダ42が設けられ、これらエンコーダ41〜43からの出力はCPU35に取り込まれる。CPU35は、取り込まれた各軸位置の情報と前述したオペレータの指令に基づいて、X軸駆動系44及びZ軸駆動系46を介してCCDカメラ16をX軸及びZ軸方向に駆動し、Y軸駆動系45を介してテーブル13をY軸方向に駆動する。これにより、ステージ移動操作が実現される。更に、照明制御部39は、CPU35で生成された指令値に基づいてアナログ量の指令電圧を生成し照明装置17に印加する。
【0019】
図3は、この画像測定装置の測定時のCRTディスプレイ24の表示画面を示す図である。
表示画面は、カラービデオウィンドウ(画像ウィンドウ)51、グラフィックスウィンドウ52、カウンタウィンドウ53、ファンクションウィンドウ54、照明・ステージウィンドウ55及び測定ウィンドウ56から構成されている。カラービデオウィンドウ51には、CCDカメラ16で撮像されたワーク12のカラー画像、即ちワーク画像57が表示される。グラフィックスウィンドウ52には、CCDカメラ16で撮像されるワーク12に対応した設計図面データ58、具体的にはIGES又はDXFフォーマット等の標準フォーマットによるCADデータに基づいて生成されたグラフィクスイメージが表示される。カウンタウィンドウ53には、ステージ座標におけるCCDカメラ16の撮像範囲の中心座標(X,Y,Z)が表示される。ファンクションウィンドウ54には、各種測定処理及び測定値算出するためのマイクロプログラムを起動するアイコンが配置されている。照明・ステージウィンドウ55は、照明装置17やステージに関する各種設定操作のためのウィンドウである。測定ウィンドウ56は、ファンクションウィンドウ54で選択された測定マイクロプログラムに沿った測定操作を行うためのウィンドウである。
【0020】
次に、このように構成された画像測定装置のワーク座標系の設定操作について説明する。
(1)CADデータを用いてワーク座標系を設定する方法
図4はCADデータを用いたワーク座標系の設定手順を示すフローチャート、図5〜図7は同設定手順に沿った表示画面を示す図である。
まず、CADデータをワークメモリ37に読み込んでグラフィックスウィンドウ52に表示する(S1)。次に、ワーク画像57上で任意の幾何形状(穴や端面、矩形等)を測定する(S2)。このとき、穴ならば2つの穴、線ならば1本というように、最低2点が指定できるように幾何形状を測定する。図5の例では、ワーク画像57上の中心孔の中心位置を測定している。次に、図5に示すように、上記ワーク画像57上で測定した幾何形状がグラフィックスウィンドウ52の図面データ58のどの部分に対応するのかをマウスのポインタ63等で指定する(S3)。図示の例では、穴の中心点を指示しているので1点しか指定できない。従って、図6に示すように、この操作をもう一つの別の幾何形状(穴)についても行う(S4,S2,S3)。
【0021】
そして、指定された2点のワーク画像57上における座標値及び設計座標系(CADデータの座標系)における座標値から機械座標系と設計座標系とのずれ量、即ち平行移動量及び回転量が求められる(S5)。
この処理を具体的に説明する。例えばいま、マウスのポインタ63によって指定されるマウス座標(u,v)と装置の機械座標(x,y)とが下記数1のように対応付けられるものとする。なお、ここでα,βは、それぞれx,y方向の拡大・縮小率、(u0,v0)はマウス座標の原点、(Δx,Δy)はステージ移動によって変化する機械座標系とマウス座標系とのずれ量である。
【0022】
【数1】
x=α(u−u0)+Δx
y=β(v−v0)+Δy
【0023】
ここで、ワーク画像57上から求められた機械座標系における第1及び第2点の座標値をそれぞれ(x1,y1),(x2,y2)、グラフィックスウィンドウ52で指定された設計座標系における第1及び第2点の座標値をそれぞれ(U1,V1),(U2,V2)とすると、
【0024】
【数2】

Figure 0004053642
【0025】
より、回転角θ及び平行移動量ΔU,ΔVが求められ、これに基づいて、ワーク座標系(X,Y)が、下記数3のように設定される(S6)。
【0026】
【数3】
Figure 0004053642
【0027】
また、求められたワーク座標系(X,Y)に基づいて、図7に示すように、カラービデオウィンドウ51にワーク座標系を表すX軸線61及びY軸線62を表示する(S7)。このX軸線61及びY軸線62は、測定操作をし易くするために、その交差部を常にカラービデオウィンドウ51の中央部に位置するように配置し、各軸の方向が分かるように、各軸61,62を交差部を中心にθだけ回転させる。各軸61,62の交点部がカラービデオウィンドウ51の中心部に配置されるので、この交点部に測定部位を配置することにより、測定位置の位置決めを容易に行うことができる。
【0028】
これらX軸線61及びY軸線62の各両端には、各軸方向に互いに逆方向を向く矢印型の移動指示用アイコン61a,61b,62a,62bが設けられている。いま図8に示すように、これらのアイコン61a,61b,62a,62bのうちの一つをマウス23のポインタ63によってクリックすると、ステージに対するCCDカメラ16の位置、又はCCDカメラ16に対するステージの位置がクリックしたアイコンの矢印で示す方向に移動する。このとき、移動する方向は機械座標系の軸方向ではなく、ワーク座標系の軸方向となる。また、移動ピッチとは、設定操作によって予め任意の値に設定される。マウス23のクリックボタンを押し続けると、上述したピッチでのステージ移動動作を繰り返す。
【0029】
図9は、この処理を実現するCPU35のフローチャートである。例えば移動指示用アイコン61aのクリックイベントが発生すると、予め設定されたピッチがPであるとすると、X軸駆動系44及びY軸駆動系45を制御してCCDカメラ16及び測定テーブルをそれぞれ機械座標系でx軸方向に−Pcosθ、y軸方向に−Psinθだけ移動させる(S11)。そして、タイマーを起動して一定時間だけ待ち(S12)、マウス23のクリックボタンが押し続けになっているかどうかを判定する(S13)。もし、押し続けである場合には、再度、CCDカメラ16を設定距離だけ移動させる(S11)。なお、他の移動指示用アイコン61b,62a,62bがクリックされた場合も、これと同様の処理により、指定された方向に指定されたピッチでCCDカメラ16(X軸方向)及び測定テーブル13(Y軸方向)を駆動することになる。
【0030】
このようなステージ移動操作によれば、オペレータはCRTディスプレイ24の表示画面、特にビデオウィンドウ51という限定された範囲のみを見ながらステージ移動に関する全ての操作を行うことができるので、作業性が極めて良好になる。しかも、この例のようにビデオウィンドウ51には、X軸線61とY軸線62とがそれぞれ表示されているので、例えば測定したい円の中心部をX軸線61又はY軸線62にまず合わせ、しかる後にこれら各軸方向に沿ってステージに対する撮像範囲を移動させるようにすれば、位置合わせが極めて容易であり、その間にマウスのポインタ63を移動させる範囲は、ビデオウィンドウ51内に限られるので、目線が動く範囲が狭く、この結果、操作時の疲労度が少なくなる。また、一定ピッチで配置されたワーク12やワーク12内の一定ピッチで配置された孔等を測定する場合、ステージ移動のピッチを予めこれらの配置ピッチと合わせておくと、1クリック操作だけで次の測定ポイントをビデオウィンドウ51の中心に配置することができるという利点もある。
【0031】
(2)マウス23を使用してワーク画像57上にダイレクトに座標系を設定する方法
図10は、マウス23を用いて上記よりも簡便に座標系を設定する方法を示すフローチャートであり、図11は、この方法を説明するためのカラービデオウィンドウ51の表示内容を示す図である。
まず、図11(a)に示すように、ワーク画像57上で座標系の原点にしたい位置にマウス23のポインタ63を合わせてクリックすると、その位置の原点座標が記憶される(S21)。次に、図11(b)に示すように、指定した原点位置からマウス23のポインタ63をドラッグさせると、カラービデオウィンドウ51上には、原点位置からポインタ63の位置に合わせて延びるX軸線71及びY軸線72が表示される(S22)。これらのX軸線71及びY軸線72は、マウスのポインタ63の動きに合わせて、原点位置を中心として回転させることができる。図11(c)のように、座標系の回転角度の調整が終了したら、その位置でマウス23をクリックするか、又はボタンを押したままドラッグ操作をしている場合には、ボタンがリリースされたことをもって、ワーク座標系を確定する(S23,S24)。
【0032】
マウス操作により座標系を設定するこの方法は、幾何形状を測定して座標系を設定する先の実施例と比べ、設定精度は劣るが、先の実施例よりも簡便に座標系を設定することができるので、例えばパートプログラムを実行させるためのワーク座標の設定操作等には十分に使用することができる。パートプログラムの中で改めて座標系設定のための測定を行えば良いからである。
【0033】
また、もし先の実施例のようにCADデータが与えられていれば、設定されたワーク座標系とCADデータの座標系とのずれ量を求めることができる。このずれ量が分かっていれば、測定したい箇所をCADデータ側の幾何形状で指定することもでき、更に測定操作が簡単になる。
【0034】
なお、以上の実施例では、カラービデオウィンドウ51のワーク画像57はそのままにして、設定されたワーク座標系の各軸をワーク画像57に合わせて回転させて表示するようにしたが、設計座標系や機械座標系に対するワーク座標系の回転量θが求められたら、図12に示すように、その回転量θだけワーク画像57を回転させて表示するようにしても良い。画像データを回転させる場合には、実際には画素として得られていない位置の画素の濃度については、周囲の画素から濃度補間計算により求めればよい。また、CCDカメラ16をθだけ回転させるようにすれば、画像データの回転処理は不要になる。
【0035】
【発明の効果】
以上述べたようにこの発明によれば、画像ウィンドウとグラフィックスウィンドウで対応する幾何形状を指示したり、又は入力手段による原点と基準軸の指示によりワーク座標系を設定することができるので、ワーク座標系の座標設定作業が極めて簡単になり、測定の作業効率が向上するという効果を奏する。
【図面の簡単な説明】
【図1】 本発明の一実施例に係るCNC画像測定装置の斜視図である。
【図2】 同装置におけるコンピュータシステム及びその周辺の構成を示すブロック図である。
【図3】 同装置におけるCRTディスプレイの表示画面を示す図である。
【図4】 同装置におけるCADデータを使用したワーク座標系の設定方法のフローチャートである。
【図5】 同ワーク座標系の設定方法を説明するための図である。
【図6】 同ワーク座標系の設定方法を説明するための図である。
【図7】 同ワーク座標系の設定方法を説明するための図である。
【図8】 ワーク座標系設定後のステージ移動方法を説明するための図である。
【図9】 同ステージ移動方法のフローチャートである。
【図10】 本発明の他の実施例に係るワーク座標系の設定方法のフローチャートである。
【図11】 同ワーク座標系の設定方法を説明するための図である。
【図12】 ワーク画像を回転させた例を示す図である。
【符号の説明】
1…測定機本体、2…コンピュータシステム、3…指令入力部、4…プリンタ、11…架台、12…ワーク、13…測定テーブル、14…フレーム、15…カバー、16…CCDカメラ、17…照明装置、21…コンピュータ本体、22…キーボード、23…マウス、24…CRTディスプレイ、31…AD変換部、32…多値画像メモリ、33…表示制御部、34…インタフェース、35…CPU、36…プログラムメモリ、37…ワークメモリ、39…照明制御部、41…X軸エンコーダ、42…Y軸エンコーダ、43…Z軸エンコーダ、44…X軸駆動系、45…Y軸駆動系、46…Z軸駆動系。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image measuring apparatus such as a non-contact three-dimensional measuring machine, and more particularly to a coordinate system setting method and an image measuring apparatus for setting a coordinate system for a work image obtained by imaging a work.
[0002]
[Prior art]
In a conventional CNC (Computer Numerical Control) coordinate measuring machine or a manually operated coordinate measuring machine, in order to set a workpiece coordinate system in a workpiece image obtained by imaging a workpiece to be measured, First, it is necessary to measure the geometric shape that determines the coordinate system, and further specify whether the measurement result determines the center of the coordinate axis, the X axis, the Y axis, or the like.
[0003]
For example, when setting the coordinate system for a so-called corner workpiece having a corner,
(1) Edge detection processing is executed for any two places on the end face where the X axis is to be matched, and a straight line is applied to the end face, and this straight line is set to the X axis, or the end face is measured using a straight line measurement tool. Edge points are continuously obtained to obtain a straight line, and this straight line is set on the X axis.
(2) An edge point at one location on the other end face is obtained, and a line passing through that point and orthogonal to the X axis set in (1) is set as the Y axis.
Do the operation.
[0004]
For example, when setting a coordinate system on the basis of those holes in a work in which two holes serving as a reference of the coordinate system are formed,
{Circle around (1)} Two holes are measured using a hole measuring tool to determine the position of the center point, and a straight line passing through the center point of each hole is set on the X axis.
(2) Make the center of one of the holes coincide with the origin of the coordinate system.
Perform the operation.
[0005]
[Problems to be solved by the invention]
As described above, the conventional coordinate system setting method of the image measuring machine is a complicated and time-consuming operation to set the coordinate system for the work image.
[0006]
SUMMARY An advantage of some aspects of the invention is that it provides a coordinate system setting method and an image measurement apparatus that can facilitate a coordinate system setting operation for a work image.
[0007]
[Means for Solving the Problems]
Engaging Ru coordinate system setting method according to the present invention displays the graphics window for graphics display image window and the drawing data of the workpiece which displays the work image obtained by imaging the work, in the image window And instructing and inputting a geometric shape so that at least two points of the work image are indicated, and specifying a geometric shape on the drawing data corresponding to the indicated geometric shape in the work image in the graphics window. Based on the position coordinates in the machine coordinate system of the geometric shape designated in the image window and the position coordinates in the drawing data coordinate system of the geometric shape designated in the graphic window A displacement amount of the machine coordinate system is calculated, and the image window is absorbed so as to absorb the calculated displacement amount. Characterized in that so as to set the work coordinate system in the work image in the window.
[0009]
Engaging Ru images measuring apparatus of the present invention includes display means for displaying the graphics window for graphics display image window and the drawing data of the workpiece which displays the work image obtained by imaging the workpiece, the image A geometric shape is instructed so that at least two points of the work image are indicated in the window, and a geometric shape on the drawing data corresponding to the indicated geometric shape in the work image in the graphics window On the basis of the input means for inputting and indicating the position coordinate in the machine coordinate system of the geometric shape instructed in the image window and the position coordinate in the drawing data coordinate system of the geometric shape instructed in the graphic window , Calculating a shift amount of the machine coordinate system with respect to the drawing data coordinate system, and calculating the calculated shift amount Further comprising a calculating means for setting a workpiece coordinate system in the work image in the image window so as to yield and wherein.
[0011]
According to coordinate setting method and image measuring apparatus of the present invention, together with the workpiece image displayed in the image window, the drawing data is displayed graphics in the graphics window on the workpiece image, at least two points is indicated When the geometric shape is designated and the corresponding geometric shape is designated on the drawing data, the work coordinate system is set to match the drawing data coordinate system based on the deviation amount of both geometric shapes. Therefore, when setting the workpiece coordinates, the operator only needs to perform an operation of indicating the corresponding geometric shapes in the two windows, and the coordinate setting operation of the workpiece coordinate system becomes extremely simple.
[0013]
Incidentally, in the above-outs image measuring apparatus, further provided with a stage moving means for moving the position of the workpiece image displayed on the image window, the display means two showing a workpiece coordinate system set by the operation means Orthogonal reference axes and arrows indicating the movement directions of both ends of these reference axes are displayed in the image window so as to overlap the workpiece image, and the stage moving means inputs instructions to the arrows displayed on both ends of each reference axis. If the stage is moved in the direction indicated by the reference axis and the arrow based on the above, the workpiece image is moved along the workpiece coordinate system even when the machine coordinate system and the workpiece coordinate system are not aligned. Therefore, the measurement operation can be performed very efficiently.
[0014]
Further, the display means is such that the work image is rotated and displayed in the image window so that the work coordinate system set by the computing means is positioned in the horizontal and vertical directions in the image window. Can be directed in the horizontal and vertical directions, so that the measurement work can be performed more efficiently.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Preferred embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a perspective view showing the overall configuration of a CNC image measuring apparatus according to an embodiment of the present invention.
This apparatus includes a non-contact image measurement type measuring machine main body 1, a computer system 2 that drives and controls the measuring machine main body 1 and executes necessary measurement data processing, and a command for manually operating the measuring machine main body 1. The input unit 3 and a printer 4 that prints out measurement results are included.
[0016]
The measuring machine main body 1 is configured as follows. That is, a measurement table 13 on which a workpiece 12 to be measured is placed is mounted on the gantry 11, and this measurement table 13 is driven in the Y-axis direction by a Y-axis drive mechanism (not shown). A frame 14 extending upward is fixed to the rear end portion of the gantry 11, and an X axis (not shown) and a measurement table 13 are faced inside the cover 15 protruding from the upper part of the frame 14 to the front surface. A CCD camera 16 driven by a Z-axis drive mechanism is attached. A ring-shaped illumination device 17 for irradiating the workpiece 12 with illumination light is provided at the lower end of the CCD camera 16.
[0017]
The computer system 2 includes a computer main body 21, a keyboard 22, a mouse 23, and a CRT display 24.
This system centering on the computer main body 21 is configured, for example, as shown in FIG. That is, the image signal of the workpiece 12 captured by the CCD camera 16 is converted into multi-value image data by the AD converter 31 and stored in the multi-value image memory 32. The multi-value image data stored in the multi-value image memory 32 is displayed on the CRT display 24 by the operation of the display control unit 33. On the other hand, operator commands from the keyboard 22 and mouse 23 are transmitted to the CPU 35 via an interface (I / F) 34. The CPU 35 executes various processes such as stage movement in accordance with the operator's command or a program stored in the program memory 36. The work memory 37 provides a work area for various processes of the CPU 35.
[0018]
Further, an X-axis encoder 41 and a Z-axis encoder 43 for detecting the X-axis direction position and the Z-axis direction position of the CCD camera 16 and a Y-axis encoder 42 for detecting the Y-axis direction position of the table 13 are provided. The outputs from the encoders 41 to 43 are taken into the CPU 35. The CPU 35 drives the CCD camera 16 in the X-axis and Z-axis directions via the X-axis drive system 44 and the Z-axis drive system 46 based on the captured information on each axis position and the above-described operator command, and Y The table 13 is driven in the Y-axis direction via the shaft drive system 45. Thereby, a stage moving operation is realized. Further, the illumination control unit 39 generates an analog command voltage based on the command value generated by the CPU 35 and applies it to the illumination device 17.
[0019]
FIG. 3 is a diagram showing a display screen of the CRT display 24 at the time of measurement by this image measuring apparatus.
The display screen includes a color video window (image window) 51, a graphics window 52, a counter window 53, a function window 54, an illumination / stage window 55, and a measurement window 56. In the color video window 51, a color image of the work 12 captured by the CCD camera 16, that is, a work image 57 is displayed. The graphics window 52 displays a graphic image generated based on design drawing data 58 corresponding to the work 12 imaged by the CCD camera 16, specifically, CAD data in a standard format such as IGES or DXF format. The The counter window 53 displays the center coordinates (X, Y, Z) of the imaging range of the CCD camera 16 in stage coordinates. In the function window 54, icons for starting various measurement processes and a microprogram for calculating a measurement value are arranged. The illumination / stage window 55 is a window for various setting operations relating to the illumination device 17 and the stage. The measurement window 56 is a window for performing a measurement operation according to the measurement microprogram selected in the function window 54.
[0020]
Next, the setting operation of the workpiece coordinate system of the image measuring apparatus configured as described above will be described.
(1) Method for Setting Work Coordinate System Using CAD Data FIG. 4 is a flowchart showing a work coordinate system setting procedure using CAD data, and FIGS. 5 to 7 are diagrams showing display screens according to the setting procedure. It is.
First, CAD data is read into the work memory 37 and displayed on the graphics window 52 (S1). Next, an arbitrary geometric shape (hole, end face, rectangle, etc.) is measured on the work image 57 (S2). At this time, the geometric shape is measured so that at least two points can be designated, such as two holes for holes and one for lines. In the example of FIG. 5, the center position of the center hole on the workpiece image 57 is measured. Next, as shown in FIG. 5, the portion of the drawing data 58 of the graphics window 52 corresponding to the geometric shape measured on the work image 57 is designated by the mouse pointer 63 or the like (S3). In the illustrated example, since the center point of the hole is indicated, only one point can be specified. Therefore, as shown in FIG. 6, this operation is performed for another geometric shape (hole) (S4, S2, S3).
[0021]
Then, based on the coordinate values of the two designated work images 57 and the coordinate values in the design coordinate system (CAD data coordinate system), the shift amount between the machine coordinate system and the design coordinate system, that is, the translation amount and the rotation amount are obtained. It is calculated (S5).
This process will be specifically described. For example, it is assumed that the mouse coordinates (u, v) designated by the mouse pointer 63 and the machine coordinates (x, y) of the apparatus are associated as shown in the following equation (1). Here, α and β are enlargement / reduction ratios in the x and y directions, (u0, v0) is the origin of mouse coordinates, and (Δx, Δy) is a machine coordinate system and a mouse coordinate system that change as the stage moves. The amount of deviation.
[0022]
[Expression 1]
x = α (u−u0) + Δx
y = β (v−v0) + Δy
[0023]
Here, the coordinate values of the first and second points in the machine coordinate system obtained from the work image 57 are (x1, y1), (x2, y2), respectively, in the design coordinate system designated by the graphics window 52. If the coordinate values of the first and second points are (U1, V1) and (U2, V2), respectively,
[0024]
[Expression 2]
Figure 0004053642
[0025]
Thus, the rotation angle θ and the parallel movement amounts ΔU and ΔV are obtained, and based on this, the workpiece coordinate system (X, Y) is set as shown in the following equation 3 (S6).
[0026]
[Equation 3]
Figure 0004053642
[0027]
Further, based on the obtained work coordinate system (X, Y), as shown in FIG. 7, an X-axis line 61 and a Y-axis line 62 representing the work coordinate system are displayed in the color video window 51 (S7). The X-axis line 61 and the Y-axis line 62 are arranged so that the intersection is always located at the center of the color video window 51 in order to facilitate the measurement operation, so that the direction of each axis can be understood. 61 and 62 are rotated by θ around the intersection. Since the intersection of the axes 61 and 62 is arranged at the center of the color video window 51, the measurement position can be easily positioned by arranging the measurement part at this intersection.
[0028]
At both ends of the X-axis line 61 and the Y-axis line 62, arrow-shaped movement instruction icons 61a, 61b, 62a, and 62b that are opposite to each other in the axial direction are provided. As shown in FIG. 8, when one of these icons 61a, 61b, 62a, 62b is clicked with the pointer 63 of the mouse 23, the position of the CCD camera 16 relative to the stage or the position of the stage relative to the CCD camera 16 is determined. Move in the direction indicated by the arrow of the clicked icon. At this time, the moving direction is not the axial direction of the machine coordinate system but the axial direction of the workpiece coordinate system. The moving pitch is set to an arbitrary value in advance by a setting operation. If the click button of the mouse 23 is kept pressed, the stage moving operation at the above pitch is repeated.
[0029]
FIG. 9 is a flowchart of the CPU 35 for realizing this process. For example, when a click event of the movement instruction icon 61a occurs, assuming that the preset pitch is P, the X-axis drive system 44 and the Y-axis drive system 45 are controlled so that the CCD camera 16 and the measurement table are respectively machine coordinates. The system is moved by -Pcosθ in the x-axis direction and -Psinθ in the y-axis direction (S11). Then, the timer is started and waits for a predetermined time (S12), and it is determined whether or not the click button of the mouse 23 is kept pressed (S13). If the button is held down, the CCD camera 16 is moved again by a set distance (S11). Even when the other movement instruction icons 61b, 62a, and 62b are clicked, the CCD camera 16 (X-axis direction) and the measurement table 13 (with the specified pitch in the specified direction are processed by the same process. Drive in the Y-axis direction).
[0030]
According to such a stage moving operation, the operator can perform all operations related to moving the stage while looking at only a limited range of the display screen of the CRT display 24, particularly the video window 51, so that workability is extremely good. become. Moreover, since the X-axis line 61 and the Y-axis line 62 are displayed in the video window 51 as in this example, for example, the center of the circle to be measured is first aligned with the X-axis line 61 or the Y-axis line 62, and then If the imaging range with respect to the stage is moved along these axial directions, positioning is very easy, and the range in which the mouse pointer 63 is moved during that time is limited within the video window 51. The range of movement is narrow, which results in less fatigue during operation. Further, when measuring workpieces 12 arranged at a constant pitch, holes arranged at a constant pitch in the workpiece 12, and the like, if the pitch of stage movement is matched with these arrangement pitches in advance, the next operation can be performed with just one click. There is also an advantage that the measurement points can be arranged at the center of the video window 51.
[0031]
(2) Method for Directly Setting Coordinate System on Work Image 57 Using Mouse 23 FIG. 10 is a flowchart showing a method for setting a coordinate system more easily than the above using the mouse 23. FIG. These are the figures which show the display content of the color video window 51 for demonstrating this method.
First, as shown in FIG. 11A, when the pointer 63 of the mouse 23 is placed on the work image 57 at the position where the origin of the coordinate system is desired and clicked, the origin coordinate at that position is stored (S21). Next, as shown in FIG. 11B, when the pointer 63 of the mouse 23 is dragged from the designated origin position, an X-axis line 71 extending on the color video window 51 in accordance with the position of the pointer 63 from the origin position. And the Y-axis line 72 are displayed (S22). These X axis line 71 and Y axis line 72 can be rotated around the origin position in accordance with the movement of the pointer 63 of the mouse. When the adjustment of the rotation angle of the coordinate system is finished as shown in FIG. 11C, the button is released when the mouse 23 is clicked at that position or when the drag operation is performed while the button is held down. As a result, the work coordinate system is determined (S23, S24).
[0032]
This method of setting the coordinate system by operating the mouse is less accurate than the previous embodiment in which the geometric system is measured and the coordinate system is set, but the coordinate system is set more easily than in the previous embodiment. Therefore, it can be sufficiently used for, for example, a work coordinate setting operation for executing a part program. This is because the measurement for setting the coordinate system may be performed again in the part program.
[0033]
If CAD data is given as in the previous embodiment, the amount of deviation between the set work coordinate system and the CAD data coordinate system can be obtained. If this amount of deviation is known, the location to be measured can be specified by the geometric shape on the CAD data side, and the measurement operation is further simplified.
[0034]
In the above embodiment, the work image 57 of the color video window 51 is left as it is, and each axis of the set work coordinate system is rotated according to the work image 57 and displayed. If the rotation amount θ of the workpiece coordinate system with respect to the machine coordinate system is obtained, the workpiece image 57 may be rotated and displayed by the rotation amount θ as shown in FIG. In the case of rotating the image data, the density of a pixel at a position that is not actually obtained as a pixel may be obtained from surrounding pixels by density interpolation calculation. Further, if the CCD camera 16 is rotated by θ, the image data rotation process becomes unnecessary.
[0035]
【The invention's effect】
As described above, according to the present invention, the work coordinate system can be set by designating the corresponding geometric shape in the image window and the graphics window, or by designating the origin and the reference axis by the input means. The coordinate setting work of the coordinate system is extremely simplified, and the measurement work efficiency is improved.
[Brief description of the drawings]
FIG. 1 is a perspective view of a CNC image measuring apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of a computer system and its peripherals in the apparatus.
FIG. 3 is a view showing a display screen of a CRT display in the apparatus.
FIG. 4 is a flowchart of a work coordinate system setting method using CAD data in the apparatus.
FIG. 5 is a diagram for explaining a method for setting the workpiece coordinate system.
FIG. 6 is a diagram for explaining a method for setting the workpiece coordinate system.
FIG. 7 is a diagram for explaining a method for setting the workpiece coordinate system.
FIG. 8 is a diagram for explaining a stage moving method after setting a workpiece coordinate system.
FIG. 9 is a flowchart of the stage moving method.
FIG. 10 is a flowchart of a work coordinate system setting method according to another embodiment of the present invention.
FIG. 11 is a diagram for explaining a method for setting the work coordinate system;
FIG. 12 is a diagram illustrating an example in which a work image is rotated.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Measuring machine main body, 2 ... Computer system, 3 ... Command input part, 4 ... Printer, 11 ... Mount, 12 ... Workpiece, 13 ... Measurement table, 14 ... Frame, 15 ... Cover, 16 ... CCD camera, 17 ... Illumination Device: 21 ... Computer body, 22 ... Keyboard, 23 ... Mouse, 24 ... CRT display, 31 ... AD conversion unit, 32 ... Multi-value image memory, 33 ... Display control unit, 34 ... Interface, 35 ... CPU, 36 ... Program Memory, 37 ... Work memory, 39 ... Light control unit, 41 ... X-axis encoder, 42 ... Y-axis encoder, 43 ... Z-axis encoder, 44 ... X-axis drive system, 45 ... Y-axis drive system, 46 ... Z-axis drive system.

Claims (4)

ワークを撮像して得られたワーク画像を表示する画像ウィンドウと前記ワークの図面データをグラフィックス表示するグラフィックスウィンドウとを表示し、
前記画像ウィンドウ内で前記ワーク画像の少なくとも2点が指示されるように幾何形状を指示入力すると共に、
前記グラフィックスウィンドウ内で前記ワーク画像内の指示された幾何形状に対応する前記図面データ上の幾何形状を指示入力し、
前記画像ウィンドウ内で指示された幾何形状の機械座標系における位置座標と前記グラフィックウィンドウ内で指示された幾何形状の図面データ座標系における位置座標とに基づいて、前記図面データ座標系に対する前記機械座標系のずれ量を算出し、
この算出されたずれ量を吸収するように前記画像ウィンドウ内のワーク画像にワーク座標系を設定する
ようにしたことを特徴とする座標系設定方法。
An image window for displaying a work image obtained by imaging the work and a graphics window for displaying the drawing data of the work in graphics are displayed.
Instructing and inputting a geometric shape so that at least two points of the work image are indicated in the image window,
Instructing and inputting a geometric shape on the drawing data corresponding to the designated geometric shape in the work image in the graphics window,
The machine coordinates relative to the drawing data coordinate system based on the position coordinates in the machine coordinate system of the geometric shape designated in the image window and the position coordinates in the drawing data coordinate system of the geometric shape designated in the graphic window Calculate the amount of deviation of the system,
A coordinate system setting method, characterized in that a work coordinate system is set for a work image in the image window so as to absorb the calculated shift amount.
ワークを撮像して得られたワーク画像を表示する画像ウィンドウと前記ワークの図面データをグラフィックス表示するグラフィックスウィンドウとを表示する表示手段と、
前記画像ウィンドウ内で前記ワーク画像の少なくとも2点が指示されるように幾何形状を指示入力すると共に、前記グラフィックスウィンドウ内で前記ワーク画像内の指示された幾何形状に対応する前記図面データ上の幾何形状を指示入力するための入力手段と、
前記画像ウィンドウ内で指示された幾何形状の機械座標系における位置座標と前記グラフィックウィンドウ内で指示された幾何形状の図面データ座標系における位置座標とに基づいて、前記図面データ座標系に対する前記機械座標系のずれ量を算出し、この算出されたずれ量を吸収するように前記画像ウィンドウ内のワーク画像にワーク座標系を設定する演算手段と
を備えたことを特徴とする画像測定装置。
Display means for displaying an image window for displaying a work image obtained by imaging a work, and a graphics window for graphically displaying drawing data of the work;
The geometric shape is instructed and input so that at least two points of the work image are indicated in the image window, and the drawing data corresponding to the indicated geometric shape in the work image in the graphics window is displayed. An input means for inputting a geometric shape;
The machine coordinates relative to the drawing data coordinate system based on the position coordinates in the machine coordinate system of the geometric shape designated in the image window and the position coordinates in the drawing data coordinate system of the geometric shape designated in the graphic window An image measuring apparatus comprising: an arithmetic unit that calculates a shift amount of the system and sets a work coordinate system for the work image in the image window so as to absorb the calculated shift amount.
前記画像ウィンドウに表示されるワーク画像の位置を移動させるためのステージ移動手段を更に備え、
前記表示手段は、前記演算手段で設定されたワーク座標系を示す2本の直交する基準軸とこれら基準軸の両端の移動方向を示す矢印とを前記画像ウィンドウ内に前記ワーク画像に重ねて表示するものであり、
前記ステージ移動手段は、前記各基準軸の両端に表示された矢印に対する指示入力に基づいて、前記基準軸と矢印とで示す向きにステージを移動させるものである
ことを特徴とする請求項記載の画像測定装置。
A stage moving means for moving the position of the work image displayed in the image window;
The display means displays two orthogonal reference axes indicating the work coordinate system set by the calculation means and arrows indicating the movement directions of both ends of the reference axes in the image window so as to overlap the work image. Is what
The stage moving means, on the basis of the instruction input to the arrow that appears across each reference axis, according to claim 2, wherein a is for moving the stage in the direction shown by the arrow and the reference axis Image measuring device.
前記表示手段は、前記演算手段で設定されたワーク座標系が前記画像ウィンドウ内で水平垂直方向に位置するように前記ワーク画像を回転移動させて前記画像ウィンドウ内に表示するものである
ことを特徴とする請求項2又は3記載の画像測定装置。
The display means rotates and displays the work image so that the work coordinate system set by the computing means is positioned in the horizontal and vertical directions in the image window. The image measuring device according to claim 2 or 3 .
JP00433198A 1998-01-12 1998-01-12 Coordinate system setting method and image measuring apparatus Expired - Fee Related JP4053642B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP00433198A JP4053642B2 (en) 1998-01-12 1998-01-12 Coordinate system setting method and image measuring apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00433198A JP4053642B2 (en) 1998-01-12 1998-01-12 Coordinate system setting method and image measuring apparatus

Publications (2)

Publication Number Publication Date
JPH11203473A JPH11203473A (en) 1999-07-30
JP4053642B2 true JP4053642B2 (en) 2008-02-27

Family

ID=11581476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00433198A Expired - Fee Related JP4053642B2 (en) 1998-01-12 1998-01-12 Coordinate system setting method and image measuring apparatus

Country Status (1)

Country Link
JP (1) JP4053642B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4798758B2 (en) * 2005-08-26 2011-10-19 アイシン・エィ・ダブリュ工業株式会社 Method for measuring position of set block in torque converter
JP5746651B2 (en) * 2012-03-26 2015-07-08 東日本電信電話株式会社 Numerical calculation device
CN113510696A (en) * 2021-04-23 2021-10-19 知守科技(杭州)有限公司 Method, device and system for constructing manipulator workpiece coordinate system and storage medium

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58120109A (en) * 1982-01-12 1983-07-16 Mitsubishi Electric Corp Coordinate measuring system for numerically controlled machine tool
JPS60252914A (en) * 1984-05-30 1985-12-13 Fanuc Ltd Conversion system between visual sensor coordinate information and robot reference coordinate information
JPS61235714A (en) * 1985-04-11 1986-10-21 Nippon Kogaku Kk <Nikon> Driving device by work coordinate system
JPS62157979A (en) * 1985-12-28 1987-07-13 Fanuc Ltd Coordinate value conversion confirming system in visual sensor
JPH0726809B2 (en) * 1987-09-25 1995-03-29 株式会社新潟鐵工所 Workpiece position coordinate correction method
JPH0225977A (en) * 1988-07-15 1990-01-29 Fanuc Ltd Drawing coordinate system and scale setting method
JPH02199582A (en) * 1989-01-30 1990-08-07 Omron Tateisi Electron Co Image processor
JPH03142618A (en) * 1989-10-30 1991-06-18 Mutoh Ind Ltd Input device for cad
JPH03213244A (en) * 1990-01-19 1991-09-18 Komatsu Ltd Positioning device for flat plate workpiece work machine
JPH03217092A (en) * 1990-01-22 1991-09-24 Matsushita Electric Ind Co Ltd Regulating method for mounting data
JPH0648460B2 (en) * 1990-06-12 1994-06-22 スーパーソフトウェア株式会社 Coordinate scale display method
JPH07113531B2 (en) * 1990-11-06 1995-12-06 株式会社ミツトヨ Coordinate conversion method of measuring device
JP3286041B2 (en) * 1993-10-05 2002-05-27 株式会社ミツトヨ Non-contact image measurement system
JP2992432B2 (en) * 1993-11-01 1999-12-20 株式会社東京精密 Measurement coordinate setting method and apparatus for three-dimensional coordinate measuring machine
JPH0816642A (en) * 1994-06-28 1996-01-19 Kubota Corp Pointer input controller for cad
JP3672970B2 (en) * 1995-05-22 2005-07-20 株式会社ミツトヨ Non-contact image measurement system
JPH0969116A (en) * 1995-08-31 1997-03-11 Toshiba Corp Cad device

Also Published As

Publication number Publication date
JPH11203473A (en) 1999-07-30

Similar Documents

Publication Publication Date Title
EP3875230A1 (en) External input device, robot system, control method for robot system, control program, and recording medium
US6968080B2 (en) Method and apparatus for generating part programs for use in image-measuring instruments, and image-measuring instrument and method of displaying measured results therefrom
JP3608920B2 (en) Non-contact image measurement system
US20070242073A1 (en) Robot simulation apparatus
JP2016173703A (en) Method of supporting input operation using touch display unit
JP3853620B2 (en) Part program generation device and program for image measurement device
JP3286041B2 (en) Non-contact image measurement system
JP4053642B2 (en) Coordinate system setting method and image measuring apparatus
JP2007071835A (en) Device, method, and program for generating part program for image measuring device
JP2016024046A (en) Image measurement apparatus
JP3608932B2 (en) Image measuring method and apparatus
JP3595014B2 (en) Edge detection method and non-contact image measurement system using the same
JP3853658B2 (en) Image measuring apparatus and image measuring program
JP2937918B2 (en) Image measuring device
US20230066114A1 (en) Image analysis device, control device, mechanical system, image analysis method, and computer program for image analysis
JP2978808B2 (en) Image measuring device
JP3853507B2 (en) Line width measuring method and apparatus
JP3853638B2 (en) Image measuring apparatus, image measuring method, and image measuring program
JP3922942B2 (en) Image measuring apparatus, image measuring method, and image measuring program
JPH09250909A (en) Method and system for measuring image without contact
JP2592952B2 (en) Inspection support device
JPH0660164A (en) Three-dimensional shape processing system
JP3650205B2 (en) Non-contact image measurement system and edge tracking measurement method
US20070182759A1 (en) Graphics processing apparatus, method and program storage medium thereof
JP6687229B2 (en) Image measuring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070814

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees