JP2023549658A - 物体表面の高精度な位置決め方法およびシステム - Google Patents

物体表面の高精度な位置決め方法およびシステム Download PDF

Info

Publication number
JP2023549658A
JP2023549658A JP2023524731A JP2023524731A JP2023549658A JP 2023549658 A JP2023549658 A JP 2023549658A JP 2023524731 A JP2023524731 A JP 2023524731A JP 2023524731 A JP2023524731 A JP 2023524731A JP 2023549658 A JP2023549658 A JP 2023549658A
Authority
JP
Japan
Prior art keywords
mark
image
real
object surface
marks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023524731A
Other languages
English (en)
Inventor
ヤン，シア
キン，ジュンユウ
グォ，グイソン
ザン，シアオゥ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Publication of JP2023549658A publication Critical patent/JP2023549658A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/46—Analysis of texture based on statistical description of texture using random fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、物体表面の高精度な位置決め方法およびシステムを開示し、該方法は、物体表面に所定の分布密度を有するマークを付けるステップと、マーク付き物体を撮影し、画像中のマークに番号を付けるステップと、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立するステップと、測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出するステップと、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算するステップと、を含む。該システムは、マーク作成モジュール、番号付けモジュール、マーク位置関係モジュール、測定対象画像モジュール、および物理量計算モジュールを備える。本発明により、１台のカメラで物体表面の特徴または作成されたテクスチャ特徴を捉えることができ、物体の２次元並進、３次元並進、２次元回転角度などのパラメータを高精度に測定することが可能になる。本発明は、測定技術の分野で広く適用することができる。【選択図】図１

Description

本発明は、測定技術の分野に関し、特に物体表面の高精度な位置決め方法およびシステムに関する。
測定の分野では、物体表面を高精度に位置決めすることが重要なコンテンツである。物体表面を高精度に位置決めすることで、該物体の変位または回転を高精度に直接測定することができ、そして、精密機器、精密装置、または高精度兵器などに高精度の変位または回転角度データを提供することができる。このような技術は、ロボット、航空宇宙機器、光電セオドライト、レーダー、ＣＮＣ工作機械、様々な産業用自動化装置などの分野で広く利用でき、防衛、航空宇宙、精密製造、自動化産業などの産業にとって非常に重要である。
現在、物体表面を高精度に位置決めする主な方法の多くは、グレーティングに依存する必要がある。グレーティング測定技術は、モアレ縞を利用して精密な測定を行う技術である。その測定原理は、２つの回折格子が重なるとモアレ縞が発生し、モアレ縞により２つの回折格子の相対的な微小変位が増幅され、そのモアレ縞に関わる情報を測定することで、回折格子に対する高精度な位置決めが可能になり、それによって変位または角度に対する高精度な測定を達成することである。エンコーダ測定技術は、小型、高精度、強い干渉防止能力という利点があるが、材料とプロセスに対する要求が非常に高く、製造しにくい。高精度エンコーダの製造を行った後でも、実際の適用では、グレーティング測定技術は依然として多くの要因によって制限され、マザーボードエラーとコードディスクのラインエラーなどのエンコーダ光学部の影響、ベアリングと構造などの機械部の影響、発光源と受信ユニットなどの電気部の影響、エンコーダ使用時の信号遅延の影響など様々な要因で実際の測定精度に大きな影響がある。
上記技術的課題を解決するために、本発明の目的は、物体表面を高精度に位置決めする方法およびシステムを提供することであり、このアルゴリズムは半教師あり学習方法であり、１台のカメラによって物体表面の特徴または生成されたテクスチャ特徴を捉えることができ、物体の２次元移動、３次元移動、２次元回転角度などのパラメータを高精度に測定することが可能になる。
本発明で用いられる第一技術的解決手段は、物体表面の高精度な位置決め方法であって、それは、
物体表面に所定の分布密度を有するマークを付けて、マーク付き物体を取得するステップと、
そのマークは、以下の設定に従う必要がある、
１、物体表面をイメージングした後、画像内の異なるマークの背景画像が、画像からマークを迅速かつ確実に検出および識別することができる程度の識別度があることを保証する、
２、マークは、物体表面に特定の分布密度を達成する必要があり、それにより、カメラが測定される表面の任意の部分を撮像する際に、イメージング視野内に少なくとも１つの完全なマークが存在することが確保される。
マーク付き物体を撮影し、画像中のマークに番号を付けて、番号付きマークの表面画像を取得するステップと、
３つの異なる命名方法があり、実際の状況に応じて選択することができる、
１、マーク自体の画像特徴情報に基づいて命名と番号付けを行う、
２、マーク周辺のランダムなテクスチャ画像情報に基づいて命名と番号付けを行う、
３、マーク自体の情報とその周辺のテクスチャ画像情報を合わせた情報に基づいて命名と番号付けを行う。
番号付きマークの画像に基づいて、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立するステップと、
測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出して測定対象マークを取得するステップと、
測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算するステップと、を含む。
さらに、物体表面に所定の分布密度を有するマークを付けて、マーク付き物体を取得する前記ステップは、具体的には、
所定スタイルのマークを使用して、マーク作成方法によって表面にマーキングしてマーク付き物体を取得するステップを含む、
所定スタイルのマークには、線分、点、円、四角、十字、およびそれらを組み合わせた形状を含む、
前記マーク作成方法は、レーザー彫刻、印刷、およびエッチングを含む、
前記マークの彫刻間隔は、画像フレームの半分以下である。
さらに、マーク付き物体を撮影し、画像中のマークに番号を付けて、番号付きマークの表面画像を取得する前記ステップは、具体的には、
マーク付き物体表面を撮像し、表面画像を取得するステップと、
閾値分割によって表面画像を処理し、表面画像内のすべてのマークのターゲット中心を検出するステップと、
ターゲット中心を基準として、予め設定されたピクセルサイズの画像を、対応するマークのマーク特徴画像として切り取るステップと、
主成分分析法を用いてマーク特徴画像とマーク番号との対応関係を確立し、マーク特徴画像を低次元にダウンスケールし、主成分行列の最初の１０主成分を、該マークを表す１次元ベクトルとし、固有番号を決定するステップと、
番号付きマークを有する表面画像を取得するステップと、を含む。
さらに、番号付きマークの画像に基づいて、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立する前記ステップは、具体的には、
画像スティッチング方法によって番号付きマークを持つ画像に対して画像スティッチングを行い、完全な表面画像を取得するステップと、
完全な表面画像を参照画像とし、参照画像の画像ピクセル座標と実際の物体表面座標との間の関係を確立するステップと、
参照画像上のマークを識別および位置決めし、かつ、参照画像のピクセル座標と実際の物体表面の座標との間の関係に基づいて、各マークと物体表面の座標との間の対応関係を決定するステップと、を含む。
さらに、測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出して測定対象マークを取得する前記ステップは、具体的には、
変換式に従って、物体表面上の各マークの中心点の正確な位置を決定するステップと、
物体表面のリアルタイム撮像を行い、測定対象のリアルタイム画像を取得するステップと、
測定対象のリアルタイム画像に対してマーク検出を行い、ベクトル比較に基づいて測定対象のリアルタイム画像内のマークに対応するマーク番号を確認するステップと、を含む。
さらに、前記変換式は、以下のとおりである、
式中、ｓはカメラ座標系における中心点のｚ座標、（ｕ，ｖ）は中心画像座標、（ｆｘ，ｆｙ）はカメラの等価焦点距離、（ｃｘ，ｃｙ）は画像主点、ｒｉｊ（ｉ，ｊ＝１，２，３）は回転行列Ｒ要素、ｔｉ（ｉ＝１，２，３）は並進ベクトル、（ｘｗ，ｙｗ，ｚｗ）はマーク中心に対応する物体表面の３次元点座標を表す。
さらに、測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算する前記ステップは、具体的には、
前記マーク番号に従って、参照画像上のリアルタイム画像中心に対応する座標を取得するステップと、
参照画像のピクセル座標と物体表面パラメータとの対応関係、および参照画像上のリアルタイム画像の中心の座標に従って、リアルタイム画像の中心に対応する物体表面点を決定するステップと、
リアルタイム画像の中心に対応する物体表面点に基づいて、測定対象の現在のリアルタイム画像に対応する物体表面の位置を取得するステップと、を含み、
測定対象の現在のリアルタイム画像に対応する前記物体表面の位置は、１次元座標、２次元座標、３次元座標、１次元回転角度、および２次元回転角度を含む。
さらに、測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算する前記ステップは、具体的には、以下を含む、
式中、θは測定対象となる回転体の回転角度、ｙ０は回転体の外面の周方向原点、ｙｃは回転体の外面のマーク中心座標点、Ｌは回転体の外面の周方向長さである。
さらに、前記２次元回転角度の計算式は、以下のとおりである、
式中、画像中心の座標は（u，v）で、測定対象球面に対応するワールド座標は（ｘｗ，ｙｗ，ｚｗ）であり、αは測定対象球の経度、βは測定対象球の緯度である。
本発明で用いられる第二技術的解決手段は、物体表面の高精度な位置決めシステムであって、
物体表面に所定の分布密度を有するマークを作成し、マーク付き物体を取得するためのマーク作成モジュールと、
マーク付き物体を撮影し、画像中のマークに番号を付けて、番号付きマークの表面画像を取得するための番号付けモジュールと、
番号付きマークの画像に基づいて、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立するためのマーク位置関係モジュールと、
測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出して測定対象マークを取得する測定対象画像モジュールと、
測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算するための物理量計算モジュールと、備える。
本発明の方法およびシステムの有益な効果は以下のとおりである、
本発明は、１台のカメラによって物体表面の特徴または作成されたテクスチャ特徴を捉えることができ、物体の２次元並進、３次元並進、２次元回転角度などのパラメータを高精度に測定することが可能になる。完成したマークを測定することにより、各マークの測定対象物体に対する実際の位置を高精度で求め、そしてマークの実際の位置（理論位置ではなく）に従って物体表面の位置決めおよび測定を行うことにより、マークの加工誤差、取り付け誤差などの要因が測定精度に影響することが回避され、また、本発明では情報リングを作成および設置する必要がなく、コード化マークの高精度加工と作成を必要とせず、方法はより簡単で経済的である。
本発明における物体表面の高精度な位置決め方法のステップを示すフローチャートである。
本発明における物体表面の高精度な位置決めシステムの構造ブロック図である。
本発明の具体的な実施例によるカメライメージングの概略図である。
本発明の具体的な実施例によるマーク作成の概略図である。
本発明の具体的な実施例による命名および番号付けの概略図である。
本発明の具体的な実施例による物理量計算の概略図である。
以下は、添付の図面および特定の実施例を参照して本発明をさらに詳細に説明する。以下の実施例におけるステップの番号については、説明を容易にするために設定され、ステップ間の順序を限定するものではなく、実施例において各ステップが実行される順序は、すべて当業者の理解に従って適応的に調整することができる。
本発明は、シングルラインアレイカメラで円形テーブルの側面を走査してイメージングし、円形テーブルの表面に明らかかつランダムな自然テクスチャがないことを例として、本発明の実施形態をさらに詳細に説明する。
図１に示すとおり、本発明は、物体表面の高精度な位置決め方法を提供し、該方法は、
Ｓ１、物体表面に所定の分布密度を有するマークを付けて、マーク付き物体を取得するステップと、
具体的には、図４に示すとおり、レーザー彫刻の技術により、ランダムなテクスチャで作成された物体表面に線分形式のマークを彫刻し、線分の間隔は画像フレームの半分以下であるため、測定対象表面をイメージングする際に画像内に少なくとも１つの完全なマークが存在することを保証する。
Ｓ２、マーク付き物体を撮影し、画像中のマークに番号を付けて、番号付きマークの表面画像を取得するステップと、
具体的には、物体表面の全てのマークをイメージングし、次に全ての画像を閾値分割によってマークを検出し、重心法を用いてマーク画像の座標を決定する。マークの中心を参照点として特定の範囲（例えば２００×２００ピクセル）の画像を該マークに対応する特徴画像として切り取る（テクスチャ情報のランダム性のため、各マークの特徴画像は異なる）。最後に、主成分分析法（ＰＣＡ）でマークの特徴画像を区別して番号を付け、番号の概略図は図５に示すとおりである。
Ｓ３、番号付きマークの画像に基づいて、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立するステップと、
具体的には、図３に示すとおり、表面に明らかかつランダムな自然テクスチャがない円形テーブルの場合、まず、測定対象の円形テーブルの表面に金属塗料をスプレーし、金属粒子の大きさは画像ピクセルの物理解像度に従って決定し、物体表面がイメージングされた後に散乱した形状のランダムパターンを生成するようにする。その後、円形テーブルの側面の各部分に対してある程度重ね合わせてイメージングし、かつ、画像スティッチング技術を使用して円形テーブルの全体画像を得て、これを参照画像とする。そして、参照画像の画像ピクセル座標と円形テーブル表面の局所領域の２次元座標との対応関係を確定する。
物体表面上の各マークの座標は、３座標測定器またはステレオビジョン測定技術を使用して直接測定でき、各マークと物体表面の座標との対応関係を決定する。
Ｓ４、測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出して測定対象マークを取得するステップと、
Ｓ５、測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算するステップと、を含む。
具体的には、物理量計算について図６を参照する。
さらに、本方法の好ましい実施例として、マーク付き物体を撮影し、画像中のマークに番号を付けて、番号付きマークの表面画像を取得する前記ステップＳ２は、具体的には、
Ｓ２１、マーク付き物体表面を撮像し、表面画像を取得するステップと、
Ｓ２２、閾値分割によって表面画像を処理し、表面画像内のすべてのマークのターゲット中心を検出するステップと、
具体的には、閾値によって画像を二値化する、
式中、ｆ（ｘ，ｙ）は画像のグレースケール値、ｘ，ｙはピクセル座標、Ｔｈは閾値である。続いて、グレースケール値が２５５のピクセルに対して領域成長を実行し、かつ、ターゲットの面積に応じてターゲットを確認し、現在のピクセル周囲にあるピクセル値が２５５の点の数が閾値Ｔｓより小さければ、現在の点はターゲットでない。逆にピクセル値が２５５の点の数が閾値Ｔｓより大きければ、現在の点がターゲットとして確定する、
確認されたターゲットの重心を位置決めしてターゲット中心を取得し、重心はピクセル値が２５５の各点の座標の中心である、
式中、ｎは現在のターゲットにおけるピクセル値が２５５の点の数、（ｘｉ，ｙｉ）は各点の画像座標である。
Ｓ２３、ターゲット中心を基準として、予め設定されたピクセルサイズの画像を、対応するマークのマーク特徴画像として切り取るステップと、
具体的には、ターゲットの中心を参照点として、２００×２００ピクセルの大きさの画像を該マークの特徴画像として切り取り、特徴画像によって異なるマークを識別することができる。
Ｓ２４、主成分分析法を用いてマーク特徴画像とマーク番号との対応関係を確立し、マーク特徴画像を低次元にダウンスケールし、主成分行列の最初の１０主成分を、該マークを表す１次元ベクトルとし、固有番号を決定するステップと、
具体的には、主成分分析法により、マーク特徴画像とマーク番号との間の対応関係を確立し、２００×２００ピクセルサイズのマーク特徴画像を１０成分で表される１次元ベクトルにダウンスケールし、該１次元ベクトルをマークの変位番号とする。
Ｓ２５、番号付きマークを有する表面画像を取得するステップと、を含む。
さらに、本方法の好ましい実施例として、前記ステップＳ２４は、具体的には、
Ｓ２４１、２００×２００行列の各行ベクトル（各変数）から該行ベクトルの平均値を減算することにより、新しい行ベクトルの平均値が０になり、新しいデータセット行列Ｘを取得するステップと、
Ｓ２４２、Ｘの共分散行列を求め、かつ、共分散行列の固有値λと単位固有ベクトルｅを求めるステップと、
Ｓ２４３、単位固有ベクトルを固有値の降順で行列に並べて変換行列Ｐを得て、ＰＸにより主成分行列を計算するステップと、
Ｓ２４４、特徴画像を特定の１０次元にダウンスケールし、主成分行列の最初の１０個の主成分を直接取得する。画像を表示する対象次元に一定の要件がない場合、特徴値を用いて分散寄与率と分散の累積寄与率を計算し、分散の累積寄与率が最も大きい上位１０主成分を、該マークを表す１次元ベクトルとし、このベクトルをマークの特徴情報として固有番号を決定することができる。
さらに、本方法の好ましい実施例として、番号付きマークの画像に基づいて、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立する前記ステップは、具体的には、
Ｓ３１、画像スティッチング方法によって番号付きマークを持つ画像に対して画像スティッチングを行い、完全な表面画像を取得するステップと、
Ｓ３２、完全な表面画像を参照画像とし、参照画像の画像ピクセル座標と実際の物体表面座標との間の関係を確立するステップと、
Ｓ３３、参照画像上のマークを識別および位置決めし、かつ、参照画像のピクセル座標と実際の物体表面の座標との間の関係に基づいて、各マークと物体表面の座標との間の対応関係を決定するステップと、を含む。
具体的には、円形テーブルの表面の局所領域がほぼ平面であると仮定すると、像面点と物体表面の局所領域上の２次元点との関係は、次のように表すことができる、
式中、ａ、ｂ、ｃ、ｄ、ｅ、ｆは２つの平面間の変形を表す６つのパラメータであり、（ｕ，ｖ）は画像のピクセル座標、（ｘ，ｙ）は円形テーブルの表面の近似平面上の座標である。変形パラメータは、物体表面の制御点（ｕｉ，ｖｉ）を画像対応点（ｘｉ，ｙｉ）と組み合わせることによって以下の方程式で計算することができる、
参照画像ｖの方向を回転体の回転高さ方向に対応させ、参照画像ｕの方向を回転体の回転角度に対応させ、円形テーブルの表面点を対応する回転高さと回転角度で表すと（θ，ｈ）となり、画像座標（ｕ，ｖ）と円柱側面座標（θ，ｈ）の対応関係は、以下のとおりである、
式中、ａ，ｂはスケールパラメータであり、カメラキャリブレーションによって取得することができ、または物体表面の制御点（θｉ，ｈｉ）と画像の対応点（ｕｉ，ｖｉ）を組み合わせて次の式によって計算して取得することができる、
参照画像上の各マークを識別および位置決めし、かつ、参照画像のピクセル座標と実際の物体表面座標の関係に基づいて、各マークと物体表面座標との対応関係を決定する。
さらに、本方法の好ましい実施例として、測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出して測定対象マークを取得する前記ステップは、具体的には、
Ｓ４１、変換式に従って、物体表面上の各マークの中心点の正確な位置を決定するステップと、
具体的には、各マークの中心点に対応する円形テーブルの表面の正確な位置、例えば２次元または３次元座標を測定によって取得する。ここで、円形テーブル座標系におけるマーク中心の２次元座標（ｘｃ，ｙｃ）および３次元座標（ｘｗ，ｙｗ，ｚｗ）は、２次元または３次元座標測定器によって直接測定することができる。また３次元スキャナーを使用して、マーク点および円形テーブル表面の他の部分の３次元点群をスキャンして、円形テーブル座標系に対するマーク点の３次元座標（ｘｗ，ｙｗ，ｚｗ）を取得する。
画像測定技術を使用して、マーク中心点に対応する円形テーブル表面の位置をイメージングパラメータに従って決定することができ、マーク中心の画像座標を（ｕ，ｖ）とすると、ワールド座標（ｘｗ，ｙｗ，ｚｗ）との変換式は、以下のとおりである、
上式に示すとおり、右側の第一行列はカメラ内部パラメータ行列であり、第二行列はカメラ外部パラメータ行列である。カメラの内部パラメータ行列と外部パラメータ行列は、張正友キャリブレーション方法などのカメラキャリブレーション方法によって取得することができる。上式の（ｘｗ，ｙｗ，ｚｗ）を使用して、マーク中心に対応する円形テーブル表面の３次元点座標を表す。ｓはカメラ座標系における中心点のＺ座標、（ｕ，ｖ）は中心画像座標、（ｆｘ，ｆｙ）はカメラの等価焦点距離、（ｃｘ，ｃｙ）は画像主点、ｒｉｊ（ｉ，ｊ＝１，２，３）は回転行列Ｒ要素、ｔｉ（ｉ＝１，２，３）は並進ベクトル、（ｘｗ，ｙｗ，ｚｗ）はマーク中心に対応する物体表面の３次元点座標を表す。
Ｓ４２、物体表面のリアルタイム撮像を行い、測定対象のリアルタイム画像を取得するステップと、
Ｓ４３、測定対象のリアルタイム画像に対してマーク検出を行い、ベクトル比較に基づいて測定対象のリアルタイム画像内のマークに対応するマーク番号を確認するステップと、を含む。
具体的には、円形テーブルの表面をリアルタイムでイメージングし、リアルタイム画像上でマークを検出および位置決めし（検出処理はＳ３と同じ）、現在のマークに対応するマーク番号を確認し、かつ、参照画像上のリアルタイム画像の中心に対応する座標を計算する。具体的なステップは以下のとおりである、
マークの検出と確認：現在マークの特徴画像をＰＣＡダウンスケール基準に従ってダウンスケールし、１０成分の１次元ベクトルを取得し、該ベクトルを参照画像内の全てのマークの１次元ベクトルと個別に比較し、参照画像で最も類似度が高いマーク番号を現在のマーク番号とする。２つのベクトル｛ａｉ｝，｛ｂｉ｝の類似度Ｃは、次式で表される、
マークの位置決めに従って参照画像上のリアルタイム画像の中心の位置を決定し、リアルタイム画像上で検出されたマークの座標をリアルタイム画像上の（ｕｒ，ｖｒ）とし、マークベクトルの類似度により参照画像上のｎ番目のマークと判定し、参照画像上のｎ番目のマーク（中心）の座標を（ｘｎ，ｙｎ）とすると、該マークに従って参照画像上のリアルタイム画像の中心の座標（ｕｃ，ｖｃ）を取得する、
式中、ｗｉｄｔｈとｈｅｉｇｈｔは、それぞれリアルタイム画像のピクセル幅と高さである。
さらに、本方法の好ましい実施例として、測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算する前記ステップは、具体的には、
Ｓ５１、前記マーク番号に従って、参照画像上のリアルタイム画像中心に対応する座標を取得するステップと、
Ｓ５２、参照画像のピクセル座標と物体表面パラメータとの対応関係、および参照画像上のリアルタイム画像の中心の座標に従って、リアルタイム画像の中心に対応する物体表面点を決定するステップと、
Ｓ５３、リアルタイム画像の中心に対応する物体表面点に基づいて、測定対象の現在のリアルタイム画像に対応する物体表面の位置を取得するステップと、を含む、
具体的には、参照画像上のリアルタイム画像の中心の座標（ｕｃ，ｖｃ）を取得した後、参照画像のピクセル座標と物体表面パラメータとの対応関係に従って、リアルタイム画像の中心に対応する物体表面点を決定することができる。
物体表面が平面の場合、リアルタイム画像の中心（ｕｃ，ｖｃ）に対応する物体表面の２次元座標（ｘｃ，ｙｃ）は、次のように表すことができる、
物体表面の２次元座標（ｘｃ，ｙｃ）に従って、リアルタイム画像の中心に対応する点の変位などのパラメータを直接計算することができる。
円形テーブルの場合、参照画像ｖの方向は円形テーブルの回転軸の高さ方向に対応し、参照画像ｕの方向は円形テーブルの回転角度に対応し、リアルタイム画像の中心（ｕｃ，ｖｃ）に対応する物体表面点（θｃ，ｈｃ）は、次のように表される、
測定対象となる現在のリアルタイム画像に対応する前記物体表面の位置は、１次元座標、２次元座標、３次元座標、１次元回転角度、および２次元回転角度を含む。
リアルタイム画像の中心（ｕｃ，ｖｃ）に対応する物体表面点（θｃ，ｈｃ）に従って、１次元角度と２次元角度の変化を計算することができる、
画像位置と物体の１次元回転角度との対応関係：円形テーブルの円周をＬ、円形テーブルの軸方向をｘ方向、円形テーブルの円周方向をｙ方向とし、画像中心のピクセル座標を（ｕ，ｖ）、それに対応する物体表面の２次元座標を（ｘｃ，ｙｃ）とすると、この点に対応する回転角度は、次のように表される、
式中、θは測定対象となる回転体の回転角度、ｙ０は回転体の外面の周方向原点、ｙｃは回転体の外面のマーク中心座標点、Ｌは回転体の外面の周方向長さである。
画像位置と球面の２次元回転角度（緯度経度）との対応関係：画像中心座標を（ｕ、ｖ）とし、それに対応する球面上のワールド座標を（ｘｗ，ｙｗ，ｚｗ）とし、世界座標系が球体の中心を原点とすると仮定すると、緯度と経度は、次のようになる、
式中、画像中心座標（ｕ，ｖ）は、測定対象となる球面上のワールド座標（ｘｗ，ｙｗ，ｚｗ）に対応し、αは測定対象となる球の経度、βは測定対象となる球の緯度である。
１次元角度変化：２回のリアルタイムイメージング中の画像中心に対応する物体の１次元角度変化は、以下のように計算される、
２次元角度変化：２回のリアルタイムイメージング中の画像中心に対応する球面の２次元角度変化は（原点が球体の中心にあり、球体の半径がｒであると仮定）、以下のように計算される、
本発明は、以下の利点を有する、
１、スケールとマークの理論的な位置に基づいて測定するグレーティング技術とイメージングエンコーダ技術に比べ、本発明の測定基準は、測定対象物体表面におけるマークの実際の位置である。本発明は、加工後のランダムテクスチャ情報とマークを測定することにより、測定対象物体に対する各マークの実際の位置を高精度に求め、続いて、マークの実際の位置（理論位置ではなく）に従って物体表面の位置決めと測定を行い、それによってマークの加工誤差、取り付け誤差などの要因が測定精度に与える影響が回避される。この測定は、高精度と優れた信頼性を備えるだけでなく、加工技術とデバイス材料への要求を大幅に低減させる。
２、情報リング識別の技術に比べ、本発明は、情報リングの作成と設置を必要とせず、高精度な加工とコード化マークの作成を必要とせず、物体表面に直接ランダムな散乱情報とマーク（スプレー、貼り付け）を行うことができ、この方法はよりシンプルで経済的である。
３、円柱の測定にしか使えない情報リングに比べ、円柱側面の１次元変位を測定することによって回転角度を測定する。本発明は、円形テーブル（両側面および上下面）、円錐、円板、およびあらゆる不規則な回転体の表面変位と回転角度の測定に直接適用することができる。
４、情報リング認識とデュアルカメラの測定技術に比べ、それが採用するトラバーサル探索型の画像位置決め方法の効率が低く、リアルタイムの迅速な測定に使用しにくい。本発明は、画像位置決め時に参照画像の全てのピクセルをトラバースする必要がなく、マークを直接検出および識別して画像を位置決めする方法を提供し、その実行効率が高く、リアルタイム性能がよく、シンプルで信頼性が高いという利点を有する。
５、イメージング式エンコーダと情報リングマークに用いられる単一マークのコーディング測定方法に比べ、本発明は、コードのない単純なパターン（ドット、ライン、クロスなど）を使用し、コード化マーキングとも互換性があり、このようにしてマークの加工と作成をより簡単かつ便利にして高精度な処理要求から完全に解放するだけでなく、カメラの撮影範囲が狭くなり、より高い測定精度が得られる。
６、デュアルカメラに比べ、本発明は、１台のカメラで物体表面上のマークポイントに対する識別および位置決めを達成でき、測定プロセス全体をよりシンプルかつ効率的になる。
７、１次元並進と１次元回転角度しか高精度に測定できない従来技術に対して、本発明はこれを前提に、２次元並進、３次元並進、２次元回転角度などのパラメータの測定にも利用できる。
図２に示すとおり、物体表面の高精度な位置決めシステムであって、
物体表面に所定の分布密度を有するマークを作成し、マーク付き物体を取得するためのマーク作成モジュールと、
マーク付き物体を撮影し、画像中のマークに番号を付けて、番号付きマークの表面画像を取得するための番号付けモジュールと、
番号付きマークの画像に基づいて、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立するためのマーク位置関係モジュールと、
測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出して測定対象マークを取得する測定対象モジュールと、
測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算するための物理量計算モジュールと、備える。
上記方法の実施例における内容は、すべて本システムの実施例に適用可能であり、本システムの実施例において具体的に達成される機能は、上記方法の実施例と同様であり、かつ、達成される有益な効果も上記方法の実施例において達成されるものと同じである。
以上、本発明の好ましい実施例を具体的に説明したが、本発明の創作は前記実施例に限定されるものではなく、当業者にとって、本発明の精神に違反することなく、様々な同等の変形または置換が可能であり、これらの同等の変形または置換は全て本出願の特許請求の範囲に含まれる。

Claims (10)

  1. 物体表面の高精度な位置決め方法であって、
    物体表面に所定の分布密度を有するマークを付けて、マーク付き物体を取得するステップと、
    マーク付き物体を撮影し、画像中のマークに番号を付けて、番号付きマークの表面画像を取得するステップと、
    番号付きマークの画像に基づいて、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立するステップと、
    測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出して測定対象マークを取得するステップと、
    測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算するステップと、を含むことを特徴とする物体表面の高精度な位置決め方法。
  2. 物体表面に所定の分布密度を有するマークを付けて、マーク付き物体を取得する前記ステップは、具体的には、
    所定スタイルのマークを使用して、マーク作成方法によって表面にマーキングしてマーク付き物体を取得するステップを含む、
    前記所定スタイルのマークには、線分、点、円、四角、十字、およびそれらを組み合わせた形状を含む、
    前記マーク作成方法は、レーザー彫刻、印刷、およびエッチングを含む、
    前記マークの彫刻間隔は、画像フレームの半分以下である、ことを特徴とする請求項１に記載の物体表面の高精度な位置決め方法。
  3. マーク付き物体を撮影し、画像中のマークに番号を付けて、番号付きマークの表面画像を取得する前記ステップは、具体的には、
    マーク付き物体表面を撮像し、表面画像を取得するステップと、
    閾値分割によって表面画像を処理し、表面画像内のすべてのマークのターゲット中心を検出するステップと、
    ターゲット中心を基準として、予め設定されたピクセルサイズの画像を、対応するマークのマーク特徴画像として切り取るステップと、
    主成分分析法を用いてマーク特徴画像とマーク番号との対応関係を確立し、マーク特徴画像を低次元にダウンスケールし、主成分行列の最初の１０主成分を、該マークを表す１次元ベクトルとし、固有番号を決定するステップと、
    番号付きマークを有する表面画像を取得するステップと、を含むことを特徴とする請求項２に記載の物体表面の高精度な位置決め方法。
  4. 番号付きマークの画像に基づいて、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立する前記ステップは、具体的には、
    画像スティッチング方法によって番号付きマークを持つ画像に対して画像スティッチングを行い、完全な表面画像を取得するステップと、
    完全な表面画像を参照画像とし、参照画像の画像ピクセル座標と実際の物体表面座標との間の関係を確立するステップと、
    参照画像上のマークを識別および位置決めし、かつ、参照画像のピクセル座標と実際の物体表面の座標との間の関係に基づいて、各マークと物体表面の座標との間の対応関係を決定するステップと、を含むことを特徴とする請求項３に記載の物体表面の高精度な位置決め方法。
  5. 測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出して測定対象マークを取得する前記ステップは、具体的には、
    変換式に従って、物体表面上の各マークの中心点の正確な位置を決定するステップと、
    物体表面のリアルタイムイメージングを行い、測定対象のリアルタイム画像を取得するステップと、
    測定対象のリアルタイム画像に対してマーク検出を行い、ベクトル比較に基づいて測定対象のリアルタイム画像内のマークに対応するマーク番号を確認するステップと、を含むことを特徴とする請求項４に記載の物体表面の高精度な位置決め方法。
  6. 前記変換式は、以下のとおりである、
    式中、ｓはカメラ座標系における中心点のｚ座標、（ｕ，ｖ）は中心画像座標、（ｆｘ，ｆｙ）はカメラの等価焦点距離、（ｃｘ，ｃｙ）は画像主点、ｒｉｊ（ｉ，ｊ＝１，２，３）は回転行列Ｒ要素、ｔｉ（ｉ＝１，２，３）は並進ベクトル、（ｘｗ，ｙｗ，ｚｗ）はマーク中心に対応する物体表面の３次元点座標を表す、ことを特徴とする請求項５に記載の物体表面の高精度な位置決め方法。
  7. 測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算する前記ステップは、具体的には、
    前記マーク番号に従って、参照画像上のリアルタイム画像中心に対応する座標を取得するステップと、
    参照画像のピクセル座標と物体表面パラメータとの対応関係、および参照画像上のリアルタイム画像の中心の座標に従って、リアルタイム画像の中心に対応する物体表面点を決定するステップと、
    リアルタイム画像の中心に対応する物体表面点に基づいて、測定対象の現在のリアルタイム画像に対応する物体表面の位置を取得するステップと、を含み、
    測定対象の現在のリアルタイム画像に対応する前記物体表面の位置は、１次元座標、２次元座標、３次元座標、１次元回転角度、および２次元回転角度を含む、ことを特徴とする請求項６に記載の物体表面の高精度な位置決め方法。
  8. 前記１次元回転角度の計算式は、以下のとおりである、
    式中、θは測定対象となる回転体の回転角度、ｙ０は回転体の外面の周方向原点、ｙｃは回転体の外面のマーク中心座標点、Ｌは回転体の外面の周方向長さである、ことを特徴とする請求項７に記載の物体表面の高精度な位置決め方法。
  9. 前記２次元回転角度の計算式は、以下のとおりである、
    式中、画像中心の座標は（u，v）で、測定対象球面に対応するワールド座標は（ｘｗ，ｙｗ，ｚｗ）であり、αは測定対象球の経度、βは測定対象球の緯度である、ことを特徴とする請求項８に記載の物体表面の高精度な位置決め方法。
  10. 物体表面の高精度な位置決めシステムであって、
    物体表面に所定の分布密度を有するマークを作成し、マーク付き物体を取得するためのマーク作成モジュールと、
    マーク付き物体を撮影し、画像中のマークに番号を付けて、番号付きマークの表面画像を取得するための番号付けモジュールと、
    番号付きマークの画像に基づいて、物体表面における各マークの相対位置情報を取得し、かつ、マーク番号とマーク位置情報との対応関係を確立するためのマーク位置関係モジュールと、
    測定対象のリアルタイム画像を取得して測定対象のリアルタイム画像内のマークを検出して測定対象マークを取得する測定対象画像モジュールと、
    測定対象のリアルタイム画像における測定対象マークの位置、および該マークに対応する物体表面の位置情報に基づいて、現在の測定対象のリアルタイム画像に対応する物体表面の位置を計算するための物理量計算モジュールと、備えることを特徴とする物体表面の高精度な位置決めシステム。
JP2023524731A 2021-10-13 2021-11-25 物体表面の高精度な位置決め方法およびシステム Pending JP2023549658A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202111193896.6 2021-10-13
CN202111193896.6A CN113989368A (zh) 2021-10-13 2021-10-13 一种物体表面高精度定位方法及系统
PCT/CN2021/133252 WO2023060717A1 (zh) 2021-10-13 2021-11-25 一种物体表面高精度定位方法及系统

Publications (1)

Publication Number Publication Date
JP2023549658A true JP2023549658A (ja) 2023-11-29

Family

ID=79738409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023524731A Pending JP2023549658A (ja) 2021-10-13 2021-11-25 物体表面の高精度な位置決め方法およびシステム

Country Status (3)

Country Link
JP (1) JP2023549658A (ja)
CN (1) CN113989368A (ja)
WO (1) WO2023060717A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631227A (zh) * 2022-10-28 2023-01-20 中山大学 一种物体表面旋转角高精度测量方法及其系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9171484B2 (en) * 2008-03-06 2015-10-27 Immersion Corporation Determining location and orientation of an object positioned on a surface
JP2011209064A (ja) * 2010-03-29 2011-10-20 Fuji Xerox Co Ltd 物品認識装置及びこれを用いた物品処理装置
CN103616016B (zh) * 2013-11-29 2015-12-30 大连理工大学 基于点线组合特征的位姿视觉测量方法
CN104880176B (zh) * 2015-04-15 2017-04-12 大连理工大学 基于先验知识模型优化的运动物位姿测量方法
CN105631901A (zh) * 2016-02-22 2016-06-01 上海乐相科技有限公司 一种确定待测对象的运动信息的方法及装置
CN110555879B (zh) * 2018-05-31 2023-09-08 京东方科技集团股份有限公司 一种空间定位方法、其装置、其系统及计算机可读介质

Also Published As

Publication number Publication date
CN113989368A (zh) 2022-01-28
WO2023060717A1 (zh) 2023-04-20

Similar Documents

Publication Publication Date Title
CN106595528B (zh) 一种基于数字散斑的远心显微双目立体视觉测量方法
CN110763204B (zh) 一种平面编码靶标及其位姿测量方法
Yang et al. Robust and accurate surface measurement using structured light
Luna et al. Calibration of line-scan cameras
CN107167073A (zh) 一种线阵结构光三维快速测量装置及其测量方法
CN109373912B (zh) 一种基于双目视觉的非接触式六自由度位移测量方法
CN110672020A (zh) 一种基于单目视觉的立木高度测量方法
CN106500625B (zh) 一种远心立体视觉测量方法
CN110695982A (zh) 一种基于三维视觉的机械臂手眼标定方法和装置
CN111637851B (zh) 一种基于Aruco码的平面旋转角度视觉测量方法及装置
CN113119129A (zh) 一种基于标准球的单目测距定位方法
JP7353757B2 (ja) アーチファクトを測定するための方法
CN111829439B (zh) 一种高精度平移测量方法及装置
Beraldin et al. Performance evaluation of three active vision systems built at the national research council of canada
JP2023549658A (ja) 物体表面の高精度な位置決め方法およびシステム
Kohut et al. A structure's deflection measurement and monitoring system supported by a vision system
CN111612071A (zh) 一种从曲面零件阴影图生成深度图的深度学习方法
Sun et al. Calibration Method for a Multi-line Structured Laser Light Vision System.
TWI577972B (zh) A Method for Accuracy Correction of High Precision Encoder
CN114322840B (zh) 一种3d扫描系统校准方法、装置及数据处理方法
Kim et al. Distortion Correction using Virtual PCG Pattern for Precise Stereo-based Large-scale 3D Measurement
Goldstein et al. Design of a close-up stereo vision based sheet metal inspection system
Zhu et al. ANALYSIS AND DESIGN OF A NOVEL TARGET CODING METHOD FOR A PORTABLE COORDINATE MEASUREMENT SYSTEM
Heo et al. Large free form measurement using slit beam
Yu et al. Optical-probe-imaging-based stereo cameras 3D coordinate measuring system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240530