JP5172428B2 - ステレオビジョンプローブシステムの包括的校正方法 - Google Patents
ステレオビジョンプローブシステムの包括的校正方法 Download PDFInfo
- Publication number
- JP5172428B2 JP5172428B2 JP2008091022A JP2008091022A JP5172428B2 JP 5172428 B2 JP5172428 B2 JP 5172428B2 JP 2008091022 A JP2008091022 A JP 2008091022A JP 2008091022 A JP2008091022 A JP 2008091022A JP 5172428 B2 JP5172428 B2 JP 5172428B2
- Authority
- JP
- Japan
- Prior art keywords
- probe
- calibration
- probe tip
- level
- stereo vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
- G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
- G01B21/042—Calibration or calibration artifacts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Manufacturing & Machinery (AREA)
- Length Measuring Devices By Optical Means (AREA)
- A Measuring Device Byusing Mechanical Method (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Description
手動操作型のタッチプローブシステムでは、ロボットアーム式のように動作制御系に沿って座標位置検出ゲージ等を設置する構成が利用できない。このため、手動操作されるプローブを用いる場合には、三角法システム(三角法演算によってプローブの座標位置を遠隔測定するシステム)を備えたステレオビジョンプローブシステム(あるいはマルチビューシステム)が利用されている。
このシステムでは、被測定物に対して複数(少なくとも二つ)の視点にカメラ(光学的カメラまたは他の輻射センサ)を配置して三角法システムを構成する。測定にあたっては、プローブ本体にマーカとなる視覚的パターンを形成しておき、このマーカを各カメラで撮影する。そして、得られた各画像から三角法演算を行い、各マーカの三次元空間内での座標位置を演算する。こうして得られたプローブ先端の座標位置に基づいて、プローブ先端に接触する被測定物の表面の座標位置を測定することができる。
(a)フレーム歪み誤差は、測定システムに設定される測定位置座標フレームに関する歪みであり、システムの機械的な設定によって、あるいは測定結果の演算途上などでの誤った推定などによっても発生する。
(b)プローブ形状誤差は、プローブ先端位置とマーカ位置との間の誤差あるいは歪みであり、製造上の原因のほか稼働途上での変形などによっても生じる可能性がある。
特許文献2の校正方法を簡略にまとめると以下の通りである。
(i)恒久的に取り付けられた光源ないしリフレクタの位置がその画像により各カメラに登録され、画像内でのそれらの位置がカメラ固定座標系に関する座標として与えられる。
(ii)相互の離隔距離が既知の少なくとも二つのポイントの位置がこのポイントに当接するプローブツールを保持することにより登録され、このポイントの位置がプローブツールの光源ないしリフレクタの観察像から演算される。
こうして得られたデータに基づき、カメラフレームの正確な長さスケールが設定可能であり、カメラの光学特性が数学的にモデル化され、カメラレンズを介して生じる画像歪みが補償される。これにより、フレーム歪み誤差は校正ないし補償され、所定の範囲内に収められる。
特許文献3では、手術用のプローブないし装置の一部(例えばプローブ先端)の、その本体上のエネルギー放射手段(例えばマーカ)に対する位置誤差を判定しており、この校正方法を簡略にまとめると以下の通りである。
(i)その上に配されたエネルギー放射手段を有する本体の位置と向きとを、基準フレームに対する複数の向きと位置の中から、その一部(例えば先端部)が基準フレームに対して略定位置にある状態で演算する。
(ii)物体の一部(例えば先端部)の位置をこれら演算された位置および向きから演算する。
(iii)これら演算された位置を平均する。
(iv)上記一部の位置をその物理的測定結果から照射手段の物理的位置に関して決定する。
(v)演算された平均位置と物理的に測定された位置とを比較して誤差を得る。
このように、特許文献3では、プローブ形状誤差判定時のフレーム歪み誤差の影響を低減ないし防止するため、別の複数の固定照射手段を有するローカル基準フレームを、本体照射手段が撮像されるのと同時に撮像する工程を採用する。これにより、カメラフレーム全体に対してではなく、追加された固定照射手段に対する本体照射手段の位置および向きを演算することにより、フレーム歪み誤差の影響を大幅に回避できる。
特許文献2には、フレーム歪み誤差を校正する方法が開示されている。しかし、特許文献2では、カメラフレーム誤差に影響する潜在的なプローブ形状誤差や、フレーム歪みの校正方法についてはほとんど開示されていない。
このように、プローブ形状誤差からフレーム歪み誤差までを効率的かつ包括的に校正する方法は従来なかった。このため、これらのプローブ形状誤差およびフレーム歪み誤差に対して、固定基準照射手段などを用いることで、別々に校正しているのが現状であった。
(A)少なくとも3つのプローブマーカを有するマーカパターンと前記マーカパターンに対して固定されるプローブチップとを含む手動タッチプローブを設ける工程。
(B)異なる撮像視点に設置されかつ撮影視界が前記プローブマーカのある位置で交差する少なくとも二つのカメラを含み、前記少なくとも二つの各視点からの少なくとも二つの前記プローブマーカの画像を含む三角法画像セットを用いて前記プローブマーカの第1レベル三次元座標を決定する三角法システムを設ける工程。
(C)前記交差する撮影視界中の少なくとも一つの撮像位置に、他のプローブチップ位置決め基準物との間の既知の幾何学的関係と既知の座標関係との少なくとも一つを有する複数のプローブチップ位置決め基準物を有する基準対象物を設ける工程。
(D)前記少なくとも二つの各視点からの少なくとも二つの前記プローブマーカの各画像を含む前記三角法画像セットに基づき、前記プローブマーカの三次元座標を決定するのに利用可能な三角法形状特性を与える工程。
(E)前記交差する撮影視界中の前記少なくとも一つの撮像位置での前記基準対象物に対して位置決めされた複数の前記プローブチップ位置決め基準物のそれぞれの第1レベル三次元座標を推定する工程。
(F)選択された前記プローブチップ位置決め基準物の間の前記既知の幾何学的関係と前記既知の座標関係との少なくとも一つと、前記選択されたプローブチップ位置決め基準物の前記推定された第1レベル三次元座標に基づく対応関係との比較に基づき、前記第1レベル三次元座標に含まれる誤差および未知数の少なくとも一つの第1フェーズのフレーム歪み特性を決定する工程。
(G)前記与えられた三角法形状特性に対応する部分と、前記第1フェーズフレーム歪み特性と次フェーズフレーム歪み特性との一つを含む直近フェーズフレーム歪み特性に対応する部分とを含む最終フレーム形状校正量を与える工程。
(H)プローブチップ位置校正量を与える工程。
(E1)前記プローブチップを並進に対して前記プローブチップ位置決め基準物に拘束し、前記手動タッチプローブと前記マーカパターンの少なくとも4つの向きを与え、前記少なくとも4つの向きのそれぞれにつき前記マーカパターンのマーカパターン基準点について前記第1レベル三次元座標を決定する工程。
(E2)前記少なくとも4つの向きに対応する少なくとも4つの前記マーカパターン基準点での前記第1レベル三次元座標に基づき前記プローブチップ位置決め基準物の前記第1レベル三次元座標位置が前記少なくとも4つのマーカパターン基準点の前記第1レベル三次元座標位置のそれぞれと略等距離になるように前記プローブチップ位置決め基準物の前記第1レベル三次元座標を推定する工程。
(E1a)対応する三角法画像のセットを取得する工程。
(E1b)前記与えられた三角法形状特性を適用することを含め、前記向きにつき前記マーカパターン内の少なくとも3つの前記プローブマーカの第1レベル三次元座標を決定する工程。
(E1c)前記マーカパターン内の少なくとも3つの前記プローブマーカの前記第1レベル三次元座標を分析して前記向きにつき前記マーカパターンの前記マーカパターン基準点について第1レベル三次元座標を決定する工程。
(H1)プローブチップ位置決め基準物の少なくとも1つにつき、この基準物での前記手動タッチプローブの少なくとも4つの向きのそれぞれにつき、前記向きでの前記マーカパターンに対応する前記マーカパターン基準点につき校正済み三次元座標を決定し、かつ前記向きでの前記マーカパターンに対応する校正済みローカル座標系(LCS)を決定する工程。
(H2)前記少なくとも1つのプローブチップ位置決め基準物につき、前記プローブチップ位置決め基準物での前記手動タッチプローブの前記少なくとも4つの向きに対応する少なくとも4つのマーカパターン基準点の前記校正済み三次元座標に基づき、前記少なくとも4つのマーカパターン基準点の前記校正済み三次元座標が前記プローブチップ位置決め基準物の前記校正済み三次元座標と略等距離にあるようにその校正済み三次元座標を推定し、前記プローブチップ位置決め基準物での前記手動タッチプローブの前記少なくとも4つの向きのそれぞれにつき、前記LCS内で表される前記マーカパターン基準点の前記校正済み三次元座標から前記向きに対応して前記LCS内で表される前記基準物の前記校正済み三次元座標に延びるプローブチップ位置ベクトルを決定する工程。
(H3)前記決定されたプローブチップ位置ベクトルに基づき、前記プローブチップ位置校正量を決定する工程。
本発明は、三角法演算に必要な画像セット(例えば同じ対象物に対して、三角法演算に適した少なくとも二つの視点において、それぞれ撮影された少なくとも二つの各画像)が確保できるステレオビジョンあるいはマルチビューシステムであれば適用可能である。
例えば、このような画像セットは、既知の位置関係で配置された複数(二つ以上)のカメラにより撮影することができる。あるいは、単一のカメラであっても、既知の位置関係で配置された少なくとも二つの視点から撮影すれば、結果として前述した画像セットを得ることができる。
本発明において、校正画像中の唯一の関連性を有する対象はタッチプローブ上のマーカ(プローブマーカ)ないし照射手段を含む。フレーム歪み校正操作はチップを有するタッチプローブの利用に従属する反復した校正工程を含む。にもかかわらず、フレーム歪み校正操作は、タッチプローブあるいはチップの任意のプローブ形状誤差から独立、ないしこれにより影響されない。プローブチップ位置校正操作はフレーム歪みの校正の結果に従属し、同様に画像中で唯一必要とされる対象がタッチプローブ上のマーカであるような校正画像を用いる。
同じプローブチップが包括的校正工程全体にわたって用いられる場合、プローブチップ位置の校正で用いられる画像はフレーム歪み校正操作で用いられるのと同一の画像セットであるとの事実から顕著な効率性が得られる。なお、ここで用いられるフレーム歪みとの用語は座標系フレームを指し、物理的あるいは機械的なフレームではない。
当然ながら、様々なタイプの誤差用の別個の校正工程あるいはプローブ本体に含まれるマーカに加え、固定マーカ構造を採用したこと等、先行技術のシステムにおける特徴は、多くの用途においてシステムのコスト増あるいは複雑さにつながる。デスクトップシステムにおいては、使いやすさが最も重要な要素である。これは、このようなシステムは最も単純な校正対象と最も単純かつ最もわかりやすい操作とを享受しつつ最良の校正結果を求める、比較的技術に熟練していないないしパートタイムのユーザにより用いられることが意図される可能性があるからである。
従って、デスクトップシステムにおいては、単純かつ効率の良い校正が産業用および医学システムなどの先行技術システムにおけるよりも比較的高い重要性を有する。このため、本発明の包括的校正方法およびシステムの適用が非常に効果的といえる。
ただし、本発明の利用形態は、これら可搬式またはデスクトップ型のシステムに限定されるものではない。
校正治具としては、複数のプローブチップを位置決め可能な基準物(例えば視認基準点ないし機械的拘束手段)を有するものが利用できる。このような校正治具は、可搬式とすることが望ましい。
図1ないし図4Cには本発明の第1実施形態が示されている。
図1において、ステレオビジョンプローブシステム120は、二つのカメラを用いてプローブ位置の遠隔測定を行う典型的なステレオビジョンプローブシステムである。
具体的には、ステレオビジョンプローブシステム120は、共通の支持フレーム125に支持された二つのマルチビューカメラ130A,130Bと、これらのカメラで撮影されるタッチプローブ140とを有し、これらのカメラおよびタッチプローブ140は三角法演算を行うために平面形状が三角形となるように配置されている。
マーカ151A〜151Eのそれぞれは、赤外線LED、その他の光源、あるいは他のタイプのマーカ素子であり、自己発光または放射するものあるいは放射を受けて反射するものなど、マルチビューカメラにより確実に撮像可能なマーカであればよい。
タッチプローブ140は、先端にプローブチップ144を有するスタイラス142が設置される。スタイラス142およびプローブチップ144は、タッチプローブ140に対して交換可能ないし置換可能である。
マルチビューカメラ130A,130Bは、視界範囲131A,131Bを有し、この範囲内に対応するマーカ151A〜151Eを収める。そして、視界範囲131A,131Bを撮影した視界画像132A,132Bには対応するマーカ151A〜151Eが現れるようになっている。
視界範囲131A,131Bはタッチプローブ140の位置で互いに交差し、ステレオビジョンプローブシステム120の測定範囲を規定する。
一般的に、公知の幾何学的三角法を用いて、カメラの既知の位置および向きと組み合わせて、画像内のマーカの位置に基づき作業範囲内のマーカの座標を決定することができる。このような三角法演算による位置計測の精度は、前述した通り、フレーム歪み誤差(例えば、カメラ位置および向きの間の推定された関係における歪みと並んで光学歪みによる誤差)により低下する可能性がある。
各基準物RF1〜RF4は機械的拘束子、例えば円錐状凹部ないしその他の運動拘束子を有し、プローブ140の本体が機械的拘束子を中心として回転されつつ、プローブチップ144の並進を防止するよう作用する。なお、尖ったプローブチップが用いられ、基準物には基準点(fiducial)などがマークされるようにしてもよい。ユーザは、プローブ140の本体を回転するのに先立って、この尖ったプローブチップを基準点により示される拘束位置に手動で位置決めかつ拘束する。
具体例として、8つの基準物による立体構造(例えば立方体の各角部に一つ)を利用可能である。一般的に、校正基準物の数を増やすことで、校正の複雑さや処理時間が増えることにはなるが、校正の信頼性を増すことができる。
タッチプローブ240は、図1のタッチプローブ140と類似であるが、下記の点で相違する。
図2において、タッチプローブ240は、プローブチップ244を含むスタイラス242を有するとともに、本体の表面にマーカパターン250を有する。マーカパターン250は、5つの独立したマーカ251A〜251Eを有する。
タッチプローブ240に生じている第2の問題として、製造時にプローブチップ244がその名目ないし理想位置からずれている。図2において、スタイラス242およびプローブチップ244は、本来はタッチプローブ240の本体の中心線に沿った軸線上に配置されるべきである。しかし、ここではスタイラス242およびプローブチップ244が偏っており、正規の軸線上に揃って配置されていない。
特に、図2において直交するXLCS−YCLS−ZLCS軸は、少なくとも3つのマーカの任意のセットの三次元座標に公知の数学的技術である主成分分析(PCA)を適用することで設定できる。
なお、一般的に、より多くのマーカを用いた場合、より良い再現性および精度が得られる。このために、タッチプローブ240には5よりも多くのマーカ(例えば7ないし9のマーカ)を設けるようにしてもよい。
PCA技術とは、多次元データセットを低減するための公知の直交直線変形技術である。
プローブ校正に従来用いられたものを含む多くの他の直線変形とは異なり、PCAは基礎ベクトルの固定セットを有しない。その基礎ベクトルはデータセットに依存する。従って、これは予想できない形で変形されるマーカパターンを特性付けることに良く適する。本実施形態においては、基礎ベクトルは対応するLCSの直交軸と同一直線上にある。
PCAの工程は、一般的に、各次元(例えばX次元平均など)の経験上の平均を演算し、各次元につき平均からの偏差を演算し、三次元全ての偏差に基づき対角化された共分散行列を見出すことを含む。この対角化された共分散行列の固有ベクトルが基礎ベクトルであり、これらはLCSの直交軸と同一直線上にある。
図3において、タッチプローブ(例えばタッチプローブ140)の先端(例えばチップ144)を包括的な基準物(例えば基準物RF4)に拘束しつつ、複数方向に向いたタッチプローブについてマーカ測定画像が撮像されるようにタッチプローブの本体が回転される。
図3では、プローブが一連の4つの向き(向き1〜4)を通じて回転される測定手順を示す。各向きにつき、三角法画像が取得される。続いて、各向きにつき、三角法画像が公知の方法により分析され、グローバル座標系、すなわちタッチプローブ測定システムの全体座標系での見かけ上の三次元座標が決定される。これにより、向き1でのマーカ位置CLD1、向き2でのマーカ位置CLD2等の「雲状の分布」(cloud)が測定され記憶されることになる。
なお、本発明に基づく包括的校正方法において、特定の段階ないし反復中にLCSの軸を規定するのが有用でない場合、LCSの原点にほぼ等価なマーカパターン基準点をより簡易な数学的処理により見出すことも可能である。例えば、本発明に基づく包括的校正方法の適用にあたっては、初期段階でのマーカパターン基準点として、マーカパターンの三次元(3D)重心を用いてもよい。
従って、本発明の包括的校正方法では、複数の基準物(例えば、図1に示される基準物RF1〜RF4)につき上述されたプロセスがまず繰り返され、各基準物(例えばRF1〜RF4)の対応する球体中心および推定ないし測定された位置が決定される。
一般的に、フレーム歪み校正は基準物の全体座標系における推定・測定位置の間の幾何学的関係を既知の基準物の幾何学的関係とほぼ一致するようにする。本発明にかかる包括的校正方法のこの側面のより完全な説明が図4A〜図4Cを参照して以下に詳述される。
一般に、位置ベクトルPV1〜PV4が分析(例えば、平均化される、または最小二乗法の適用により置換される)されてもよく、図2に関して上述されたように校正済みプローブチップ位置ベクトルPVが示される。しかしながら、本発明にかかる包括的校正方法の初期段階(利用可能なフレーム歪み校正を決定する前)に、フレーム歪み誤差が、マーカ座標の推定ないし測定の結果得られる円形あてはめに混入し、さらに位置ベクトルPVと基準物RFnの付随する位置推定に混入することが認識されるべきである。
従って、本発明にかかる包括的校正方法の各種の実施形態において、雲(例えば雲CLD1〜CLD4)中のマーカの座標からフレーム歪み誤差を除去するため、関連付けられたLCSおよび位置ベクトル(例えば位置ベクトルPV1〜PV4)および得られるプローブチップ位置校正ベクトルPVを決定する前に、初期ないしその後のフレーム歪み校正が一般的に適用される。
図4A〜図4Cには、本実施形態で実行される校正処理ルーチン400(400A〜400C)が示されている。
次に、少なくとも二つの各視界(例えばカメラ130A,130B)からの画像に基づきプローブマーカの第1レベルの三次元座標を決定可能な三角法システム(例えばステレオビジョンプローブシステム120)を設ける(ブロック410)。第1レベル座標は、ある程度のレベルのフレーム歪み誤差を含むかもしれない決定済み座標を意味する。
次に、基準物間(例えば基準物RFn)に既知の幾何学的関係を有する複数のプローブチップ位置決め基準物を有する基準対象(例えば校正治具160)を設ける(ブロック415)。
本実施形態では、第1レベルの三次元座標がマーカパターン内の各プローブマーカについて分析され、第1レベルの三次元座標が現在の向きのマーカパターン基準点(例えば図3の向き1の基準点C1)につき決定される(ブロック435)。この分析は、上述のようにPCAないし重心計算などを含んでよい。
校正治具160の基準物は少なくとも4つの向きにそれぞれ設定される。現在の基準物が校正に用いられる最後の基準物であるか否かを判定する(ブロック445)。最後の基準物でない場合、ルーチンはブロック420に戻り、上述の動作を繰り返す。最後の基準物である場合、次の処理(ブロック450)に進む。
この後、処理はポイントAから図4Bへと続く。
次に、正確な次フェーズフレーム歪み特性(例えば第2ないし第3フェーズ特性)が決定されるべきか否かが判定される(ブロック460)。この判定は、ブロック455の操作でなされた比較結果、あるいは得られた第1フェーズのフレーム歪み特性が顕著なフレーム歪み誤差(例えば、所定の閾値よりも大きな座標誤差)を示すか否かの判断に基づく。もし、より正確な次フェーズフレーム歪み特性が必要と判定されれば、続く処理(ブロック465,470,475)の操作が実行される。
必要がなければ処理は後述するブロック480にジャンプする。
続いて、基準物間の既知の幾何学的関係と、基準物の推定された次レベル座標に基づく対応する幾何学的関係との比較に基づき、次フェーズのフレーム歪み特性が次レベルの三次元座標に含まれる歪みについて判定される(ブロック475)。次レベルフレーム歪み特性を判定する手順は、ブロック450の操作で用いられたものと同様であって良く、下記により詳細に示される。ルーチンはその後判定ブロック460に戻る。
ここで、直近フェーズのフレーム歪み特性(例えば、第1ないし第2フェーズ特性など)に基づいて、最終フレーム歪み校正量が判定され、記憶される(ブロック480)。最終フレーム歪み校正量は、直近フェーズのフレーム歪み特性と同一形式(例えば同一のパラメータセット)をとるものとすることができる。但し、最終フレーム歪み校正量は、ルックアップテーブルないしその他の直近フェーズのフレーム歪み特性から導出される形式であってもよい。
この後、処理はポイントBから図4Cに続く。
図4Cにおいて、まず、第1のまたは次の基準物に対応して、マーカパターン中のマーカの校正済み座標がプローブの当該基準点における少なくとも4つの向きについてフレーム歪み校正を適用することで決定される(ブロック491)。校正済み座標は、最終カメラ歪み校正に基づき(ないし略同一の座標精度を示す直近フェーズのフレーム歪み特性に基づき)、座標がフレーム歪み誤差に関して補正されることを意味する。
続いて、現在の基準物につき、ブロック492の操作で少なくとも4つの向きにつき決定されたマーカパターンの基準点の校正済み座標に基づき、その校正済み座標が推定される。この際、現在の基準物の校正済み座標と基準点の各校正済み座標とがほぼ等距離にあるように推定される(ブロック493)。各LCS内の基準点はLCSの原点であってよい。しかしながら、各LCS内で同一座標を有する限り、別の基準点が用いられてもよい。
続いて、現在の基準物がプローブチップ位置校正で分析されるべき最後の基準物であるか否かに関する判定がなされる(ブロック495)。この判定は、ブロック494の操作で決定されるプローブチップ位置ベクトルを比較し、その対応するチップ位置が相互に、統計的ないしそのチップ位置間の距離において顕著な程度に変化するか否かを判定すればよい。しかし、単に、全ての利用可能な基準位置を用いて判定されてもよい。いずれの場合であっても、もし現在の基準物がプローブチップ校正に用いられる最後の基準物でない場合、処理はブロック491に戻る。
それ以外の場合、処理はブロック496に続く。
ルーチン400においては、ブロック405〜445の操作により、校正ルーチンを通じて用いられる画像データが与えられる。また、ブロック405〜480の操作により、フレーム歪み校正(フレーム歪み誤差の校正)が行われる。さらに、ブロック491〜496の操作により、プローブチップ位置校正(プローブ形状誤差の校正)が行われる。
さらに、プローブチップ位置校正操作(例えば、ブロック491〜496の操作)は、フレーム歪み校正の結果に従属し、画像内の唯一の関連する対象がタッチプローブ上のマーカである校正画像セットを同様に用いる。
このように、同じプローブチップが包括的校正方法の工程全体にわたって用いられる場合、プローブチップ位置校正で用いられる画像としては、フレーム歪み校正操作で用いられるのと同一の画像セットを利用することができ、顕著な効率性が得られる。
ブロック450,470に関し、これらの操作には、各基準物につきマーカの雲の基準点(例えばPCAないし重心計算などにより決定されるマーカ雲CLD1〜CLD4の基準点C1〜C4)に球体(例えば球体310)をあてはめる工程を含んでよい。このような各球体の中心は、対応する基準物の位置の推定結果を示し、これは拘束されたプローブチップの実際の位置と一致する。
一方、球体は各マーカの雲の特定のマーカ(例えばマーカ151A)の位置にあてはめられてもよい。すなわち、この場合、この特定のマーカがマーカの雲の基準点となる。一般に、これにより統計的に決定された基準点(例えばPCAないし重心計算により決定された基準点C1〜C4)よりも正確性の低い基準物(およびプローブチップ)の推定結果が示される。しかしながら、別個の球体がマーカパターンの各独立のマーカにあてはめられた場合、かつこれらの球体の中心の平均ないしその他の有意な統計ないし幾何学的表現が基準物(例えばプローブチップ)の推定結果として用いられる場合、同様な精度を得ることが可能である。
前述したルーチン400のブロック455,475に関し、これらの操作は、基準物間の既知の幾何学的関係と基準物の推定された次レベル座標に基づく対応する幾何学的関係との比較に基づき、第1ないし次レベルの三次元座標に含まれるスケール歪みについての第1ないし次フェーズのフレーム歪みの特性判定を含む。ここで、フレーム歪み特性の最終結果は、システムの測定ボリューム内のフレーム歪み誤差を特性付けあるいは補償するスケーリングパラメータのセットであり、これにより推定・測定位置が真の位置に可能な限り近づけられる。校正治具160などの治具によりフレーム歪み特性あるいはスケーリングパラメータ判定を支配する真の基準寸法ないし関係が示される。
下記の各式中で、4つの各基準物RF1〜RF4でのあてはめ球体の中心の現在レベル座標は、それぞれ(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)および(x4,y4,z4)とする。さらに、基準物RF1〜RF4の間の既知の真の距離d1〜d6は以下のように定義される。すなわち、d1=RF1からRF2までの距離、d2=RF2からRF3までの距離、d3=RF1からRF3までの距離、d4=RF1からRF4までの距離、d5=RF2からRF4までの距離、d6=RF3からRF4までの距離である。
前述した4つの基準物を有する校正治具160においては以下の方程式が成立する。しかしながら、より多くの制約式(すなわち様々な基準物間の既知の距離)が存在する場合を除き、より多くの基準物を有する校正治具を用いても類似の方法が実施可能である。
当然ながら、3つのパラメータ[a2、b2,c2]Tを解くのに6つ全ての方程式が必要なわけではなく、例えば4つの方程式で十分である。従って、校正治具160の既知の距離のいくつかは、用いられる基準物RF1〜RF4の座標全てが行列方程式の左側にある限りで無視することが出来る。しかしながら、より多くの制約式(より多くの距離)を用いることで、潜在的な測定誤差ないし不正確さを平均することになり、校正結果をよりロバストかつより正確なものとなる。
より複雑なフレーム歪み誤差が、非線形誤差モデルに基づくスケーリングパラメータを用いてモデル化され補正されてもよい。
以下の方程式は、適切に配された十分な数の基準物を有する校正治具を用いて21の非線形スケーリングパラメータを見出す実施形態に関する。特に、関連するモデルはx,yおよびz軸に沿った非線形歪みを式4により仮定する。
3つのパラメータの場合と同様に、上述の方程式と、対応する十分な数の適切に配された基準物(例えば上述の9つの基準物を有する治具)とに基づき、公知の方法により非線形スケーリングパラメータa〜uを見出す一次方程式のシステムを設定することが可能である。
上述の3つのパラメータの場合と対称的に、各全体座標系の軸に個別に最小二乗法を適用可能とするには、9つの基準物治具につき既知の基準物座標を登録するのに用いられる治具座標系が全体座標系に対して適切に登録される必要がある。この登録は物理的登録を通じて、あるいは、予備的な三角法測定を通じて適切な座標変換を決定すること、ないしこの二つの組み合わせにより実行可能である。
校正治具160に類似の校正治具と、式1〜式3に関する説明に類似の直線スケーリングパラメータを用いて、ルーチン400に類似のルーチンに基づく実際の実施形態のテストを行った結果、この方法はブロック465〜475に対応する操作をおよそ10回反復した後に収束し、正確かつ安定した包括的校正結果が得られた。
例えば、第1プローブチップがフレーム歪み校正(例えばブロック405〜480の操作)のために用いられても良く、実際の測定を行うのに用いられる第2の(異なる)プローブチップがプローブチップ位置校正(例えばブロック491〜496の操作)を行うためタッチプローブ本体に実装されてもよい。このような場合、第2プローブチップの並進が拘束されている間に追加の校正画像が少なくとも4つの向きにつき取得されなくてはならず、またこれらの追加校正画像はプローブチップ位置校正操作(例えばブロック491〜496の操作)中に用いられなくてはならない。
さらに、第2プローブチップ位置校正操作はフレーム歪み校正の結果(例えば、ブロック405〜480の操作の結果)に従属し、同様に画像中で唯一必要とされる対象がタッチプローブ上のマーカである校正画像のセットを用いることができる。
このように、本発明にかかる包括的校正方法は、追加画像が第2プローブチップのプローブチップ位置校正につき必要とされる場合であっても維持される。
図5において、包括的校正システム500、ステレオビジョンプローブシステム520、可搬式の校正治具560は、それぞれ前述した第1実施形態の包括的校正システム100、ステレオビジョンプローブシステム120、可搬式の校正治具160に相当するものである。
本実施形態において、要素5xx(500番台の符号が付された要素)は、それぞれ前述した第1実施形態の要素1xx(100番台の符号が付された要素)に対応あるいは相当するものであり、簡略化のため重複する説明は省略する。例えば、本実施形態のタッチプローブ540は、前記第1実施形態のタッチプローブ140に相当するものであり、マーカパターン150と同様なマーカパターン550(マーカ151A〜151Eを含む)を備えている。
本実施形態において、可搬式の校正治具560は、位置を入れ替えて利用されるものであり、図5に実線で表示された第1撮像位置におかれた校正治具560’、あるいは破線で表示された第2撮像位置におかれた校正治具560”として使用される。
これらの基準物RF1〜RF5は、校正治具560が第1撮像位置(560’)にあるときに第1撮像位置におかれた基準物RF1’〜RF5’となり、校正治具560が第2撮像位置(560”)にあるときに第2撮像位置におかれた基準物RF1”〜RF5”となる。
図5において、第1撮像位置にある基準物RF1’〜RF5’および第2撮像位置にあるRF1”〜RF5”で示されるように、校正治具560の向きは少なくとも二つの撮像位置において大きく異なるものとされる。具体的には、基準物RF1〜RF5が、各カメラ530A,530Bによる視界範囲531A,531Bおよび視界画像532A,532Bにおいて、幅広く分布するように設定することが好ましい。校正処理中にこのような向きにすることで、校正治具560を校正治具160の代わりに用いることができる。
校正処理ルーチン600は、基本的に図4A〜図4Cの校正処理ルーチン400と類似し、同様に理解可能である。校正処理ルーチン600と校正処理ルーチン400との相違は、現在の校正処理状況に基づき現在の三角法幾何特性(current triangulation geometry characterization)を判定する工程を有する点である。なお、符号4xx,6xxで類似的に表されるブロック(例えば、ブロック420とブロック620)は、対応あるいは相当するものである。
次に、少なくとも二つの視点(例えばカメラ530A,530B)からの画像に基づきプローブマーカの第1レベルの三次元座標を決定可能なマルチビュー三角法システム(例えばステレオビジョンプローブシステム520)が設けられる(ブロック610)。
次に、基準物間(例えば基準物RFn)に公知の幾何学的関係を有する複数のプローブチップ位置決め基準物を有する基準対象物(例えば校正治具560)が設けられる(ブロック615)。
続いて、基準対象物が第1の/次の画像位置(例えば、校正治具560’,560”に対応する各画像位置)で拘束される(ブロック616)。
次に、プローブチップ(例えばプローブチップ544)が第1のまたは次の基準物の並進に対して拘束される(ブロック620)。
さらに、タッチプローブが第1のまたは次の方向に向けられ、三角法画像が取得される(ブロック625)。
次に、現在の基準物が現在撮像位置での校正処理に用いられる最後の基準物であるか否かが判定される(ブロック627)。これが最後の基準物でない場合、処理はブロック620に戻る。これが最後の基準物である場合、処理はブロック628に続く。
基準対象物が単純な線形基準対象物(例えば、校正治具560に類似の)である場合、少なくとも1つの、好ましくは2つの撮像位置が設けられ、基準対象物が公知の距離関係を有する少なくとも2つの基準物を示すことになる。基準対象物が二次元ないし三次元分布基準物(例えば、図1に示される校正治具160と類似の)を示す場合、上述のように単一の撮像位置で十分である。
前述した第1実施形態の校正処理ルーチン400のブロック430では、マルチビュー三角法システムの記憶装置から、以前に記憶された三角法幾何特性を呼び出すことにより、三角法幾何特性が黙示的に与えられる。しかしながら、マルチビュー三角法システムの三角法形状が、十分に既知でない、あるいは安定しない場合、さらには校正結果に最高レベルの精度が要求される場合、現在の校正処理および操作状況下(例えば、任意の物理的設定外乱、相当程度の温度変化など)で取得される三角法画像の分析に基づいて三角法幾何特性を得ることが有利である。現在の三角法幾何特性は、以後の測定に用いられる実際の三角法画像に対応するのが最も好ましく、より小さな測定誤差ないし不確定性を示す。
これらにより現在の三角法幾何特性が決定された時点で、処理はブロック630Bに続く。
ブロック630Bで第1レベル三次元座標を決定する方法は、前記第1実施形態の校正処理ルーチン400のブロック430で用いられた第1レベル三次元座標の決定方法と同様であってよく、三角法幾何学的特性がそのまま利用される。
次に、各基準対象物撮像位置の各基準物での各向きにつき、マーカパターン中の各プローブマーカの第1レベル三次元座標が分析され、マーカパターンの基準点につき第1レベル三次元座標が決定される(ブロック635)このような第1レベル三次元座標の決定は、例えば、ルーチン400のブロック435で述べた方式が採用できる。
この後、処理はポイントAから図6Bへと続く。
続いて、基準物間の公知の幾何学的関係と、基準物の推定された第1レベル座標に基づく対応する幾何学的関係との比較に基づき、第1フェーズのフレーム歪み特性が第1レベルの三次元座標に含まれる歪みについて判定される(ブロック655)。なお、フレーム歪みとの用語は座標系フレームを指し、物理的なフレームではない。フレーム歪み特性はルーチン400のブロック455について上述されたフレーム歪み特性と類似ないし同一であってよく、類似の方法(例えば、式1〜式3,式4〜式5に関して上述したのと類似の方法)で判定可能である。しかしながら、ブロック630Aでの操作によって、呼び出された「非現在」の三角法幾何特性を用いるときに存在しうる各種フレーム歪み誤差源をなくす現在の三角法幾何特性が与えられてもよい。
まず、各撮像位置での各基準物に対応して、第1フェーズ(ないし直近フェーズ)フレーム歪み特性をマーカパターン中のマーカに適用が行われる(ブロック665)。
このブロック665の処理は、例えばルーチン400のブロック465で述べたものと同様に、マーカパターン基準点につき次レベル座標を決定する処理か、またはブロック635で先に決定されたマーカパターン基準点座標に直接適用することに基づき、基準物でのプローブの少なくとも4つの向きに対応するマーカパターン基準点につき次レベル座標が決定される処理とされる。
例えば、後者のオプションは、直近のフレーム歪み特性が線形項(linear terms)のみからなる場合(例えば、図7に関してさらに以下に記載されるように一つ以上の一次スケーリング係数の場合)に十分およびあるいは好ましく、前者のオプションは、フレーム歪み特性が非線形項を含む場合に好ましい。このように、本実施形態では、次レベル座標は、第1ないし直近のフェーズのカメラフレームないしスケーリング歪み特性に基づき、座標が少なくとも部分的にフレーム歪み誤差に関して補正されることを意味する。当然ながら、第1ないし直近のフェーズのフレーム歪み特性はブロック625での操作で得られる三角法画像データから判定される三次元位置にも適用可能である。新たな三角法画像を取得する必要はない。
次に、基準物間の公知の幾何学的関係と、基準物の推定された次レベル座標に基づく対応する幾何学的関係との比較に基づき、次フェーズのフレーム歪み特性が次レベルの三次元座標に含まれる幾何学的誤差ないし未知数について判定される(ブロック675)。
処理はその後判定ブロック660に戻る。
本実施形態において、最終フレーム形状校正量は、現在の三角法形状特性と直近フェーズのフレーム歪み特性とを含む形式をとる。しかしながら、最終フレーム形状歪み校正量は、ルックアップテーブルないしその他の現在の三角法形状特性あるいは直近フェーズのフレーム歪み特性から導出される形式をとってもよい。
この後、処理はポイントBから図6Cに続く。
図6Cにおいて、まず、少なくとも一つの撮像位置での第1の/次の基準物に対応して、またその撮像位置での基準物での少なくとも4つの向きのそれぞれにつき、マーカパターン基準点の校正済み座標と対応するマーカパターンの校正済みローカル座標系(LCSs)が、最終フレーム形状校正量に基づき決定される(ブロック692)。例えば、図2に関して上述されたように、LCSはPCAによって設定されてもよい。
別の処理として、直近フェーズのフレーム歪み特性に対応するフレーム形状校正量の一部を適用して各対応マーカパターンの基準点の直近レベル座標を直接調節し、基準点の校正済み座標を得ることによりなされてもよい。同様に、上述の各対応するマーカパターン中のマーカの校正済み座標に基づく校正済みLCSを決定するのに代えて、校正されないLCSを各対応するマーカパターンの直近レベル座標に基づき決定してもよく、直近フレーム歪み特性に対応するフレーム形状校正量の一部を適用してこのLCSを直接調整し、校正済みLCSを与えてもよい。このような処理は、直近フェーズのフレーム歪み特性が線形項のみを含む場合に十分ないし好ましい。
従って、ブロック693,694,695,696に関する説明は省略する。
図7は、図6Bに示される操作を実行するのに利用可能なあるブロックの特定の実施形態を示すフローダイアグラムである。
図7において、処理はポイントAからブロック650’、ブロック655’へと続く。
ブロック650’は、図6Bのブロック650と同一であり、重複する説明は省略する。
ブロック655’は、図6Bのブロック655に対応するものである。
例えば、第1実施形態のルーチン400で用いられるように、図6Aのブロック630Aでの操作によって、呼び出された非現在三角法幾何特性を用いるときに存在しうる各種フレーム歪み誤差源をなくす現在三角法幾何特性が与えられてもよい。
これにより、現在の三角法形状特性を用いるとき、より小さい、ないしより予想可能な残余誤差が残る可能性があり、より単純なフレーム歪み特性を決定するのに十分あるいは好ましい。加えて、現在の三角法形状特性が図8に関して以下で説明される相対指向分析などの方法により与えられる場合、このような方法は相対的に対称的な誤差分布を本来的に示す。ブロック655’の操作はこれらの仮定に基づく。
ブロック655’では、第1フェーズカメラフレームスケーリングパラメータ特性が第1レベルの三次元座標に含まれる幾何学的誤差ないし未知数について決定され、この特性の一部は各座標軸に沿って同一の一次(線形)スケーリング成分を示す。この特性は、1次(線形)スケーリング成分が各座標軸に沿って同一であるという制約を除き、基準物間の公知の幾何学的関係と、基準物の推定された第1レベル座標に基づく対応する幾何学的関係とを、式1〜3および式4〜5に関連して上述された原理に基づき比較することに基づく。
これに対し、カメラフレームスケーリングパラメータ特性を、推定される基準物座標を基準物間の真の、ないし既知の距離にできるだけ近づけることができる単一のスケーリングパラメータ(例えば係数)から構成することで十分あるいは好ましい。このようなスケーリング係数は、a=b=cとの制約を除き、式1〜式3で説明されたのと類似の方法により決定可能である。このような場合、前述した式3は類似の下記式6のように単純化される。
これらの基準物間の距離d1,d2は既知であり、d1=RF1’からRF5’までの距離、d2=RF1”からRF5”までの距離で与えられる。
これらは、二つの各撮像位置(それぞれ基準物上の符号の「’」または「”」記号により示される)に二つの基準物RF1,RF5を有する校正治具を用いる校正処理に適切である。当然ながら、距離d1,d2は等しい。これらは、撮像位置が異なるものの、元は同じ校正治具560上の基準物RF1,RF5の距離だからである。しかしながら、より多くの制約式(すなわち様々な基準物間の公知の距離)の存在を除き、類似の方法を、より多くの基準物および公知の距離を有する校正治具を用いても実施可能であり、これによって、より正確なスケーリング係数の平均に寄与することが出来る。このような場合、一般的に異なる基準物の対の間は異なる距離(d1,d2など)となろう。
これらのブロックは、それぞれ図6Bのブロック660〜680の対応し、一般にその関連する開示内容に基づき理解可能である。但し、相違点として、図6Bのブロック660〜680で参照される一般的なフレーム歪み特性の各撮像位置が、ブロック660’〜680’ではカメラフレームスケーリングパラメータ特性に限定され、ブロック655’で説明したように、この特性の一部が各座標軸にそって同じ一次(線形)スケーリング成分を示すことである。従って、ブロック660’〜680’のさらなる説明は省略する。
ブロック680’の後、処理はポイントBから図6Cに続く。
図8において、図6Aのブロック628から、操作はブロック631に続き、少なくとも5つの各二次元三角法座標セット(例えば、サブピクセル解像度を有する画像ピクセル座標)が少なくとも5つの各プローブマーカ位置に対応して決定される。
すなわち、単一の二次元三角法座標セットは、マルチビュー三角法システムにより与えられる同時(ないしほぼ同時)三角法画像の対応するセットの各画像中で決定される名目上同時点での同一に撮像された同一のプローブマーカの画像座標を含む。従って、5つの三角法座標セットが三角法画像の単一のセット中の5つの各プローブマーカ、ないし5つの三角法画像セット中の(測定ボリューム中の)5つの各位置での単一のプローブマーカに基づき決定可能である。
この分析は、Horn, B.K.P、”相対指向(Relative Orientation)”International Journal of Computer Vision 4巻1頁、1990年1月などに記載されるような公知の相対指向分析を含む。簡潔に述べると、各種実施形態において、相対指向分析は異なるカメラから共有撮像ボリューム中の同一ポイントへの光角度を考慮する。このような”同一ポイント”はつなぎポイント(tie points)ないしランドマークポイントと呼ぶことができる。
少なくとも5つのこのようなランドマークポイントの三角法画像に関連付けられた光方向を分析することにより、異なるカメラの相対位置と向きとを決定可能であり、対応する三角法形状特性が示される。
その後、この三角法形状を、これらカメラにより与えられた三角法画像セット中で撮像されたポイントの三次元座標を決定するのに用いることができる。
追加情報がない場合、これらの三次元座標は異なるカメラ位置間の基線の長さに関連するスケール要因(scale factor)を有する。当然ながら、異なるカメラ位置間の基線、および関連するスケール要因は、名目上の設計および/又はマルチビュー三角法システムの設定に基づき、初期段階でほぼ既知である。しかしながら、もしこの基線長が正確に既知でない場合、得られる三次元座標のスケール要因は正確にわからない。
前述した図6A〜図6C,図7,図8のそれぞれの説明は、ある操作が最小のプローブマーカ位置、三角法画像セットなどを設けること、あるいは分析することに基づくことを示している。当然ながら、一般的に、これらの操作がより多くの各撮像位置のプローブマーカ位置を設けて分析する場合には、得られる校正処理精度は、一般的に向上するであろう。
また、図6A〜図6C,図7の説明は、ある操作が向き、プローブマーカ、基準物などの各撮像位置(撮像位置での仮想的な設置)を設けること、あるいは分析することに基づくことを示している。
しかしながら、特に有利な実施形態においては、ルーチン400ないし600で得られる各基準物でのプローブの各向きに対応する各三角法画像セットが分析されて、プローブチップの対応する校正済み測定位置が決定される。これにより、各基準物につき、各プローブの向きに対応する測定位置の各セットを決定可能となる。
一般的に、特定の基準物につき分析される向きの数、および分析される基準物の数は、反復性および/又は所望レベルの精度判定の信頼性が得られるように選択可能である。したがって、上述されたこの検証方法の実施形態は一例にすぎず、限定的ではない。
CLD1-CLD4…マーカ位置の雲
PV1〜PV4…プローブチップ位置ベクトル
RF1〜RF4…基準物
RF1’〜RF5’…第1撮像位置におかれた基準物
RF1”〜RF5”…第2撮像位置におかれた基準物
S…球体中心
a〜u…非線形スケーリングパラメータ
d1〜d6…基準物の距離
100…包括的校正システム
120…ステレオビジョンプローブシステム
125…支持フレーム
130A,130B…マルチビューカメラ
131A,131B…視界範囲
132A,132B…視界画像
140…タッチプローブ
142…スタイラス
144…プローブチップ
150…マーカパターン
151A〜151E…プローブマーカ
160…校正治具
240…タッチプローブ
242…スタイラス
244…プローブチップ
250…マーカパターン
251A〜251E…プローブマーカ
310…球体
400A〜400C…校正処理ルーチン
500…包括的校正システム
520…ステレオビジョンプローブシステム
530A,530B…マルチビューカメラ
531A,531B…視界範囲
532A,532B…視界画像
540…タッチプローブ
550…マーカパターン
560’…第1撮像位置におかれた校正治具
560”…第2撮像位置におかれた校正治具
600A〜600C…校正処理ルーチン
Claims (17)
- ステレオビジョンプローブシステムの包括的校正方法であって、
(A)少なくとも3つのプローブマーカを有するマーカパターンと前記マーカパターンに対して固定されるプローブチップとを含む手動タッチプローブを設ける工程と、
(B)異なる撮像視点に設置されかつ撮影視界が前記プローブマーカのある位置で交差する少なくとも二つのカメラを含み、前記少なくとも二つの各視点からの少なくとも二つの前記プローブマーカの画像を含む三角法画像セットを用いて前記プローブマーカの第1レベル三次元座標を決定する三角法システムを設ける工程と、
(C)前記交差する撮影視界中の少なくとも一つの撮像位置に、他のプローブチップ位置決め基準物との間の既知の幾何学的関係と既知の座標関係との少なくとも一つを有する複数のプローブチップ位置決め基準物を有する基準対象物を設ける工程と、
(D)前記少なくとも二つの各視点からの少なくとも二つの前記プローブマーカの画像を含む前記三角法画像セットに基づき、前記プローブマーカの三次元座標を決定するのに利用可能な三角法形状特性を与える工程と、
(E)前記交差する撮影視界中の前記少なくとも一つの撮像位置での前記基準対象物に対して位置決めされた複数の前記プローブチップ位置決め基準物のそれぞれの第1レベル三次元座標を推定する工程と、
(F)選択された前記プローブチップ位置決め基準物の間の前記既知の幾何学的関係と前記既知の座標関係との少なくとも一つと、前記選択されたプローブチップ位置決め基準物の前記推定された第1レベル三次元座標に基づく対応関係との比較に基づき、前記第1レベル三次元座標に含まれる誤差および未知数の少なくとも一つの第1フェーズのフレーム歪み特性を決定する工程と、
(G)前記与えられた三角法形状特性に対応する部分と、前記第1フェーズフレーム歪み特性と次フェーズフレーム歪み特性との一つを含む直近フェーズフレーム歪み特性に対応する部分とを含む最終フレーム形状校正量を与える工程と、
(H)プローブチップ位置校正量を与える工程と、
を有し、
前記推定工程(E)は、各プローブチップ位置決め基準物について、
(E1)前記プローブチップを並進に対して前記プローブチップ位置決め基準物に拘束し、前記手動タッチプローブと前記マーカパターンの少なくとも4つの向きを与え、前記少なくとも4つの向きのそれぞれにつき前記マーカパターンのマーカパターン基準点について前記第1レベル三次元座標を決定する工程と、
(E2)前記少なくとも4つの向きに対応する少なくとも4つの前記マーカパターン基準点での前記第1レベル三次元座標に基づき前記プローブチップ位置決め基準物の前記第1レベル三次元座標位置が前記少なくとも4つのマーカパターン基準点の前記第1レベル三次元座標位置のそれぞれと略等距離になるように前記プローブチップ位置決め基準物の前記第1レベル三次元座標を推定する工程と、を有し、
前記第1レベル三次元座標を決定する工程(E1)は、
(E1a)対応する三角法画像のセットを取得する工程と、
(E1b)前記与えられた三角法形状特性を適用することを含め、前記向きにつき前記マーカパターン内の少なくとも3つの前記プローブマーカの第1レベル三次元座標を決定する工程と、
(E1c)前記マーカパターン内の少なくとも3つの前記プローブマーカの前記第1レベル三次元座標を分析して前記向きにつき前記マーカパターンの前記マーカパターン基準点について第1レベル三次元座標を決定する工程と、
を有し、
前記プローブチップ位置校正量を与える工程(H)は、各プローブチップ位置決め基準物について、
(H1)プローブチップ位置決め基準物の少なくとも1つにつき、この基準物での前記手動タッチプローブの少なくとも4つの向きのそれぞれにつき、前記向きでの前記マーカパターンに対応する前記マーカパターン基準点につき校正済み三次元座標を決定し、かつ前記向きでの前記マーカパターンに対応する校正済みローカル座標系(LCS)を決定する工程と、
(H2)前記少なくとも1つのプローブチップ位置決め基準物につき、前記プローブチップ位置決め基準物での前記手動タッチプローブの前記少なくとも4つの向きに対応する少なくとも4つのマーカパターン基準点の前記校正済み三次元座標に基づき、前記少なくとも4つのマーカパターン基準点の前記校正済み三次元座標が前記プローブチップ位置決め基準物の前記校正済み三次元座標と略等距離にあるようにその校正済み三次元座標を推定し、前記プローブチップ位置決め基準物での前記手動タッチプローブの前記少なくとも4つの向きのそれぞれにつき、前記LCS内で表される前記マーカパターン基準点の前記校正済み三次元座標から前記向きに対応して前記LCS内で表される前記基準物の前記校正済み三次元座標に延びるプローブチップ位置ベクトルを決定する工程と、
(H3)前記決定されたプローブチップ位置ベクトルに基づき、前記プローブチップ位置校正量を決定する工程と、
を有することを特徴とするステレオビジョンプローブシステムの包括的校正方法。 - 請求項1に記載のステレオビジョンプローブシステムの包括的校正方法であって、
前記工程(D)中で前記三角法形状特性を得る工程は、前記三角法システムについて記憶された三角法形状特性を呼び出す工程を含み、工程(G)中で与えられた三角法形状特性に対応する部分を含む最終フレーム形状校正量を得る工程は、前記先に記憶された三角法形状特性を前記三角法システムにつき保持する工程を含むことを特徴とするステレオビジョンプローブシステムの包括的校正方法。 - 請求項2に記載のステレオビジョンプローブシステムの包括的校正方法であって、
前記工程(F)中で、前記第1フェーズフレーム歪み特性は、前記第1レベル三次元座標に含まれる誤差を特性付ける非線形スケーリング部を含むことを特徴とするステレオビジョンプローブシステムの包括的校正方法。 - 請求項2に記載のステレオビジョンプローブシステムの包括的校正方法であって、
前記少なくとも一つの撮像位置での前記複数のプローブチップ位置決め基準物のそれぞれに対応して、前記第1フェーズフレーム歪み特性を適用して前記少なくとも4つのマーカパターン基準点の次レベル三次元座標を推定することを含み、前記基準物での前記手動タッチプローブの少なくとも4つの向きに対応する前記少なくとも4つのマーカパターン基準点の次レベル三次元座標を決定し、
前記少なくとも一つの撮像位置の前記複数のプローブチップ位置決め基準物のそれぞれに対応して、前記プローブチップ位置決め基準物の前記次レベル三次元座標位置が前記少なくとも4つのマーカパターン基準点の前記次レベル三次元座標位置のそれぞれと略等距離になるように前記少なくとも4つの向きに対応する少なくとも4つの前記マーカパターン基準点の前記次レベル三次元座標に基づき前記プローブチップ位置決め基準物の次レベル三次元座標を推定し、
前記選択されたプローブチップ位置決め基準物の間の前記既知の幾何学的関係と前記既知の座標関係との少なくとも一方と、前記選択されたプローブチップ位置決め基準物の前記推定された次レベル三次元座標に基づく対応関係との比較に基づき、次レベル三次元座標に含まれる誤差および未知数の少なくとも一つの次フェーズフレーム歪み特性を決定し、
前記工程(G)中で、前記直近フェーズフレーム歪み特性は前記次フェーズフレーム歪み特性を含むことを特徴とするステレオビジョンプローブシステムの包括的校正方法。 - 請求項4に記載のステレオビジョンプローブシステムの包括的校正方法であって、
前記少なくとも4つのマーカパターン基準点の前記次レベル三次元座標を決定する工程は、前記第1フェーズフレーム歪み特性を適用して前記対応するマーカパターン中の少なくとも3つのプローブマーカの前記次レベル三次元座標を推定する工程と、前記対応するマーカパターン中の前記少なくとも3つのプローブマーカの前記次レベル三次元座標に基づき前記少なくとも4つのマーカパターン基準点のそれぞれの前記次レベル三次元座標を決定する工程と、を含むことを特徴とするステレオビジョンプローブシステムの包括的校正方法。 - 請求項1に記載のステレオビジョンプローブシステムの包括的校正方法であって、工程(D)中、前記三角法形状特性を得る工程は、現在の校正処理状況に基づき、前記三角法システムを操作することによって得られる少なくとも一つの現在の三角法画像セットに基づき、現在の三角法形状特性を得る工程を含むことを特徴とするステレオビジョンプローブシステムの包括的校正方法。
- 請求項6に記載のステレオビジョンプローブシステムの包括的校正方法であって、
前記少なくとも一つの撮像位置での前記複数のプローブチップ位置決め基準物のそれぞれに対応して、前記第1フェーズフレーム歪み特性を適用して前記少なくとも4つのマーカパターン基準点の次レベル三次元座標を推定することを含み、前記基準物での前記手動タッチプローブの少なくとも4つの向きに対応する前記少なくとも4つのマーカパターン基準点の次レベル三次元座標を決定し、
前記少なくとも一つの撮像位置の前記複数のプローブチップ位置決め基準物のそれぞれに対応して、前記プローブチップ位置決め基準物の前記次レベル三次元座標位置が前記少なくとも4つのマーカパターン基準点の前記次レベル三次元座標位置のそれぞれと略等距離になるように前記少なくとも4つの向きに対応する少なくとも4つの前記マーカパターン基準点の前記次レベル三次元座標に基づき前記プローブチップ位置決め基準物の次レベル三次元座標を推定し、
前記選択されたプローブチップ位置決め基準物の間の前記既知の幾何学的関係と前記既知の座標関係との少なくとも一方と、前記選択されたプローブチップ位置決め基準物の前記推定された次レベル三次元座標に基づく対応関係との比較に基づき、次レベル三次元座標に含まれる誤差および未知数の少なくとも一つの次フェーズフレーム歪み特性を決定し、
前記工程(G)中で、前記直近フェーズフレーム歪み特性は前記次フェーズフレーム歪み特性を含むことを特徴とするステレオビジョンプローブシステムの包括的校正方法。 - 請求項6に記載のステレオビジョンプローブシステムの包括的校正方法であって、
前記工程(D)中で、前記現在の三角法形状特性が基礎とする前記少なくとも一つの現在の三角法画像セットは、工程(E1a)の操作中に得られる少なくとも一つの三角法画像セットを含むことを特徴とするステレオビジョンプローブシステムの包括的校正方法。 - 請求項6に記載のステレオビジョンプローブシステムの包括的校正方法であって、
前記工程(G)中で、前記直近フェーズフレーム歪み特性は前記第1フェーズフレーム歪み特性を含むことを特徴とするステレオビジョンプローブシステムの包括的校正方法。 - 請求項9に記載のステレオビジョンプローブシステムの包括的校正方法であって、
前記第1フェーズフレーム歪み特性は、3つの三次元軸にそって同じ第1次スケーリング成分を与える部分を含むことを特徴とするステレオビジョンプローブシステムの包括的校正方法。 - 請求項10に記載のステレオビジョンプローブシステムの包括的校正方法であって、
前記第1フェーズフレーム歪み特性は非線形スケーリングを与える部分を含まないことを特徴とするステレオビジョンプローブシステムの包括的校正方法。 - 請求項11に記載のステレオビジョンプローブシステムの包括的校正方法であって、
前記工程(D)中、前記現在の三角法形状特性を得る工程は、前記少なくとも一つの現在の三角法画像セット中に設けられる少なくとも5つの各プローブマーカに対応する少なくとも5つの各二次元三角法座標セットに基づく相対向き分析を実行する工程を含むことを特徴とするステレオビジョンプローブシステムの包括的校正方法。 - 請求項1に記載のステレオビジョンプローブシステムの包括的校正方法であって、
前記工程(C)中、前記複数のプローブチップ位置決め基準物は少なくとも4つの同一平面上にないプローブチップ位置決め基準物を含むことを特徴とするステレオビジョンプローブシステムの包括的校正方法。 - 請求項1に記載のステレオビジョンプローブシステムの包括的校正方法であって、
前記工程(C)中、前記複数のプローブチップ位置決め基準物は少なくとも2つの同一平面上にないプローブチップ位置決め基準物を含み、前記少なくとも一つの撮像位置は少なくとも二つの撮像位置を含むことを特徴とするステレオビジョンプローブシステムの包括的校正方法。 - 請求項1に記載のステレオビジョンプローブシステムの包括的校正方法であって、
(I)前記最終フレーム形状校正量と前記プローブチップ位置校正量とに基づき、そのプローブチップを各第1プローブチップ位置決め基準物での並進に対し拘束しつつ前記手動タッチプローブのM向きに対応する三角法画像のMセットに基づくM測定位置の各第1セットを決定する工程と、
(J)前記最終フレーム形状校正量と前記プローブチップ位置校正量とに基づき、そのプローブチップを各第2プローブチップ位置決め基準物での並進に対し拘束しつつ前記手動タッチプローブのN向きに対応する三角法画像のNセットに基づくN測定位置の各第2セットを決定する工程と、
(K)M測定位置の前記各第1セットの複数の要素の各一つからN測定位置の前記各第2セットの複数の要素の各一つへの距離を含む測定距離セットを決定する工程と、
(L)前記三角法システムの反復性と精度との少なくとも一つを前記測定距離のセットに基づき特性付ける工程と、
を備えたことを特徴とするステレオビジョンプローブシステムの包括的校正方法。 - 請求項15に記載のステレオビジョンプローブシステムの包括的校正方法であって、
前記工程(K)は前記各第1セットの前記M測定位置の一つから前記各第2セットの前記N測定位置の一つまでの距離を含む測定距離のセットを得るよう行われることを特徴とするステレオビジョンプローブシステムの包括的校正方法。 - 請求項15に記載のステレオビジョンプローブシステムの包括的校正方法であって、
前記三角法画像のMセットおよびNセットは、前記工程(E1a)の操作中に得られる三角法画像セットを含むことを特徴とするステレオビジョンプローブシステムの包括的校正方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/694,837 | 2007-03-30 | ||
US11/694,837 US20080243416A1 (en) | 2007-03-30 | 2007-03-30 | Global calibration for stereo vision probe |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008256692A JP2008256692A (ja) | 2008-10-23 |
JP5172428B2 true JP5172428B2 (ja) | 2013-03-27 |
Family
ID=39795794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008091022A Active JP5172428B2 (ja) | 2007-03-30 | 2008-03-31 | ステレオビジョンプローブシステムの包括的校正方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20080243416A1 (ja) |
JP (1) | JP5172428B2 (ja) |
CN (1) | CN101329164B (ja) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7869026B2 (en) * | 2007-12-21 | 2011-01-11 | United Technologies Corp. | Targeted artifacts and methods for evaluating 3-D coordinate system measurement accuracy of optical 3-D measuring systems using such targeted artifacts |
CN103026299B (zh) * | 2010-02-26 | 2016-01-20 | 密克罗尼克麦达塔公司 | 用于执行图案对准的方法和装置 |
EP2381214B1 (en) * | 2010-04-22 | 2020-06-10 | Metronor A/S | Optical measurement system |
JP5158386B2 (ja) * | 2010-06-22 | 2013-03-06 | 株式会社アイティーティー | 単一カメラによる画像計測処理装置,画像計測処理方法および画像計測処理プログラム |
KR20120011653A (ko) * | 2010-07-29 | 2012-02-08 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
KR20120070129A (ko) * | 2010-12-21 | 2012-06-29 | 한국전자통신연구원 | 입체 영상 촬영 장치 및 그 방법 |
US8712577B2 (en) * | 2011-02-23 | 2014-04-29 | GM Global Technology Operations LLC | Electronic system and method for compensating the dimensional accuracy of a 4-axis CNC machining system using global and local offsets |
US9147249B2 (en) * | 2012-10-23 | 2015-09-29 | Electronics And Telecommunications Research Institute | Apparatus and method for calibrating depth image based on relationship between depth sensor and color camera |
JP6325896B2 (ja) * | 2014-03-28 | 2018-05-16 | 株式会社キーエンス | 光学式座標測定装置 |
JP6325897B2 (ja) * | 2014-04-18 | 2018-05-16 | 株式会社キーエンス | 光学式座標測定装置およびプローブ |
JP6002275B2 (ja) * | 2014-04-30 | 2016-10-05 | シナノケンシ株式会社 | 計測装置 |
JP6321441B2 (ja) * | 2014-05-07 | 2018-05-09 | 株式会社ミツトヨ | 三次元測定システム、三次元測定方法、および、被測定体 |
JP6316663B2 (ja) * | 2014-05-30 | 2018-04-25 | 株式会社キーエンス | 座標測定装置 |
DE102014012710A1 (de) | 2014-08-27 | 2016-03-03 | Steinbichler Optotechnik Gmbh | Verfahren und Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts |
EP3265010B1 (en) * | 2015-03-05 | 2022-11-02 | Think Surgical, Inc. | Methods for locating and tracking a tool axis |
WO2017039663A1 (en) * | 2015-09-03 | 2017-03-09 | Siemens Healthcare Gmbh | Multi-view, multi-source registration of moving anatomies and devices |
JP6309938B2 (ja) * | 2015-11-24 | 2018-04-11 | 大豊精機株式会社 | 3次元位置計測システム、3次元位置計測用プローブ、及びキャリブレータ |
JP6293110B2 (ja) * | 2015-12-07 | 2018-03-14 | 株式会社Hielero | 点群データ取得システム及びその方法 |
CN106127722B (zh) * | 2016-05-03 | 2019-02-19 | 深圳视觉龙智能传感器有限公司 | 多相机的标定及对位贴合方法 |
US20170339335A1 (en) * | 2016-05-20 | 2017-11-23 | Optofidelity Oy | Finger camera offset measurement |
CN106248028A (zh) * | 2016-08-08 | 2016-12-21 | 苏州天准科技股份有限公司 | 基于线性运动台的深度传感器标定方法以及对应的装置 |
CN106248014A (zh) * | 2016-08-23 | 2016-12-21 | 中国人民解放军信息工程大学 | 一种基于单相片的三维坐标测量方法及装置 |
JP2018031754A (ja) * | 2016-08-26 | 2018-03-01 | 株式会社ミツトヨ | 三次元測定装置及び座標補正方法 |
DE102016118616B4 (de) * | 2016-09-30 | 2018-11-22 | Carl Zeiss Industrielle Messtechnik Gmbh | Messvorrichtung für ein optisches Messsystem |
US10922836B2 (en) * | 2016-11-15 | 2021-02-16 | Carl Zeiss Industrielle Messtechnik Gmbh | Method and system for determining a 3D position of an object in space |
CN107550576A (zh) * | 2017-10-26 | 2018-01-09 | 上海逸动医学科技有限公司 | 空间定位装置及定位方法、矫正器、矫正方法 |
WO2019090487A1 (zh) * | 2017-11-07 | 2019-05-16 | 大连理工大学 | 数控机床高动态大范围任意轮廓误差单目六维测量方法 |
WO2019163288A1 (ja) * | 2018-02-26 | 2019-08-29 | ヤマハファインテック株式会社 | 位置決め装置及び位置決め方法 |
CH715610A1 (fr) * | 2018-12-04 | 2020-06-15 | Watch Out S A | Système et procédés de mesure du profil d'une pièce. |
CN109341746B (zh) * | 2018-12-10 | 2020-11-17 | 中国航空工业集团公司北京长城计量测试技术研究所 | 一种多系统协同测量校准用立体标准器 |
CN109557438B (zh) * | 2018-12-14 | 2024-02-27 | 北京天智航医疗科技股份有限公司 | 探针误差检测装置 |
CN110830696B (zh) * | 2019-11-26 | 2021-03-12 | 成都立鑫新技术科技有限公司 | 一种双目视觉测量技术的校准方法 |
CN111127561B (zh) * | 2019-12-05 | 2023-03-24 | 农芯(南京)智慧农业研究院有限公司 | 一种多视角图像标定装置及方法 |
KR102677248B1 (ko) * | 2021-11-16 | 2024-06-21 | 주식회사 디지트랙 | 광학식 위치추적 장치 |
CN115868961A (zh) * | 2022-11-28 | 2023-03-31 | 杭州柳叶刀机器人有限公司 | 探针尖端点位置校准装置、方法及电子设备 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06147830A (ja) * | 1992-11-11 | 1994-05-27 | Mitsubishi Electric Corp | 3次元位置測定装置及び3次元位置測定結果補正方法 |
NO302055B1 (no) * | 1993-05-24 | 1998-01-12 | Metronor As | Fremgangsmåte og system for geometrimåling |
US5724264A (en) * | 1993-07-16 | 1998-03-03 | Immersion Human Interface Corp. | Method and apparatus for tracking the position and orientation of a stylus and for digitizing a 3-D object |
NO301999B1 (no) * | 1995-10-12 | 1998-01-05 | Metronor As | Kombinasjon av laser tracker og kamerabasert koordinatmåling |
US5828770A (en) * | 1996-02-20 | 1998-10-27 | Northern Digital Inc. | System for determining the spatial position and angular orientation of an object |
CA2356271A1 (en) * | 1998-12-23 | 2000-07-06 | Image Guided Technologies, Inc. | A hybrid 3-d probe tracked by multiple sensors |
US6112423A (en) * | 1999-01-15 | 2000-09-05 | Brown & Sharpe Manufacturing Co. | Apparatus and method for calibrating a probe assembly of a measuring machine |
US6199024B1 (en) * | 1999-09-07 | 2001-03-06 | Nextel Ltd. | Calibration process for shape measurement |
US6497134B1 (en) * | 2000-03-15 | 2002-12-24 | Image Guided Technologies, Inc. | Calibration of an instrument |
US20020100884A1 (en) * | 2001-01-29 | 2002-08-01 | Maddock Brian L.W. | Digital 3-D model production method and apparatus |
JP2002310641A (ja) * | 2001-04-19 | 2002-10-23 | Kanto Auto Works Ltd | 三次元形状計測機の座標系のキャリブレーション方法 |
BE1014137A6 (nl) * | 2001-04-24 | 2003-05-06 | Krypton Electronic Eng Nv | Werkwijze en inrichting voor de verificatie en identificatie van een meetinrichting. |
US20040144760A1 (en) * | 2002-05-17 | 2004-07-29 | Cahill Steven P. | Method and system for marking a workpiece such as a semiconductor wafer and laser marker for use therein |
CN1256070C (zh) * | 2004-03-11 | 2006-05-17 | 上海交通大学 | 机器人全膝关节置换术中的边缘定位方法 |
-
2007
- 2007-03-30 US US11/694,837 patent/US20080243416A1/en not_active Abandoned
-
2008
- 2008-03-31 JP JP2008091022A patent/JP5172428B2/ja active Active
- 2008-03-31 CN CN2008101446777A patent/CN101329164B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN101329164A (zh) | 2008-12-24 |
CN101329164B (zh) | 2011-07-13 |
JP2008256692A (ja) | 2008-10-23 |
US20080243416A1 (en) | 2008-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5172428B2 (ja) | ステレオビジョンプローブシステムの包括的校正方法 | |
EP1975556B1 (en) | Global calibration for stereo vision probe | |
KR102086940B1 (ko) | 3차원 비접촉 스캐닝 시스템의 현장 교정 | |
US9928595B2 (en) | Devices, systems, and methods for high-resolution multi-view camera calibration | |
Strobl et al. | More accurate pinhole camera calibration with imperfect planar target | |
EP2733457B1 (en) | Position and orientation calibration method and apparatus | |
JP5746477B2 (ja) | モデル生成装置、3次元計測装置、それらの制御方法及びプログラム | |
JP5036260B2 (ja) | 位置姿勢算出方法及び装置 | |
JP5270670B2 (ja) | 2次元画像による3次元組立て検査 | |
JP4224260B2 (ja) | キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート | |
CN111243002A (zh) | 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法 | |
Albarelli et al. | Robust camera calibration using inaccurate targets | |
US20120224033A1 (en) | Three-dimensional measurement method | |
CN109272555B (zh) | 一种rgb-d相机的外部参数获得及标定方法 | |
JP2008261755A (ja) | 情報処理装置、情報処理方法 | |
WO2023201578A1 (zh) | 单目激光散斑投影系统的外参数标定方法和装置 | |
CN110415286B (zh) | 一种多飞行时间深度相机系统的外参标定方法 | |
JP7216775B2 (ja) | ロボットアームの座標系校正装置及び校正方法 | |
JP2015031601A (ja) | 3次元計測装置及び方法並びにプログラム | |
KR20190130407A (ko) | 전방위 카메라의 캘리브레이션을 위한 장치 및 방법 | |
Yamauchi et al. | Calibration of a structured light system by observing planar object from unknown viewpoints | |
KR102285337B1 (ko) | 엑스선 장치의 캘리브레이션 방법 및 장치 | |
CN112116665A (zh) | 一种结构光传感器标定方法 | |
Skalski et al. | Metrological analysis of microsoft kinect in the context of object localization | |
JP2021038939A (ja) | キャリブレーション装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121023 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5172428 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |