JP2024507044A - 物体の3次元姿勢を決定するための方法 - Google Patents
物体の3次元姿勢を決定するための方法 Download PDFInfo
- Publication number
- JP2024507044A JP2024507044A JP2023539380A JP2023539380A JP2024507044A JP 2024507044 A JP2024507044 A JP 2024507044A JP 2023539380 A JP2023539380 A JP 2023539380A JP 2023539380 A JP2023539380 A JP 2023539380A JP 2024507044 A JP2024507044 A JP 2024507044A
- Authority
- JP
- Japan
- Prior art keywords
- target marker
- target
- module
- gripper
- marker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title description 22
- 239000003550 marker Substances 0.000 claims abstract description 147
- 230000003287 optical effect Effects 0.000 description 26
- 230000036544 posture Effects 0.000 description 10
- 230000007935 neutral effect Effects 0.000 description 6
- 239000000969 carrier Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 239000013077 target material Substances 0.000 description 2
- 238000007794 visualization technique Methods 0.000 description 2
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40543—Identification and location, position of components, objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Toxicology (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Abstract
本発明は、物体(4)の3次元姿勢を決定するためのターゲットマーカ(1)を提供し、ターゲットマーカ(1)は、所定の数の符号化モジュール(2)を有する。本発明によると、ターゲットマーカ(1)の符号化モジュール(2)は、少なくともターゲットマーカ(1)のサイズを含む群から選択される、物体(4)の物体パラメータ、並びに/又は少なくともグリッパの把持姿勢、グリッパの幾何学的形状、及びグリッパ力を含む群からの所定の物体(4)を把持するための把持パラメータを定義する特定の情報を含む文字列を符号化する、定義されたモジュールパターン(10)で存在する。
Description
本発明は、物体の3次元姿勢を決定するためのターゲットマーカに関する。
構成要素へのターゲットマーカの取り付けは、従来技術、例えば独国特許出願公開第10 2016 011 653(A1)号から既知であり、この独国特許は、単純な幾何学的形状で作製されたターゲットマーカを使用してターゲット点の位置を測定することができるロボットシステムについて説明する。このシステムは、ターゲットマーカがロボット座標系における既知の第1のターゲットマーカ位置に位置するときに、撮像画像に含まれるターゲットマーカの画像の特徴サイズを基準データとして記憶し、アーム先端部に対する第1のターゲットマーカ位置をツール中心位置として記憶する。このシステムは、ターゲットマーカが第2のターゲットマーカ位置に配置されたときの撮像画像から得られた特徴サイズを基準データの特徴サイズと比較してアーム先端部を移動させ、移動後のアーム先端部の位置に対応する第2のロボット位置及びツール中心点の位置に基づいて、ロボット座標系における第2のターゲットマーカ位置を算出する。
欧州特許出願公開第2 523 017(A1)号は、極座標において測定する走査機能を備えたデバイスのための較正方法を開示しており、この較正方法では、単純な幾何学的形状のマーカの形態の角度ターゲットマーカを使用して、光学センサユニットで角度ターゲットマーカを検出することによって空間における構成要素の位置を決定する。
更に、国際公開第2020/102 761(A1)号は、人体の視覚化方法を開示しており、この視覚化方法では、患者の身体に2次元コードを付けることによって患者の身体を測定することができる。これは、患者に対する医療器具の位置決めに関する。2次元コードとしては、2Dバーコード、QRコード、AprilTagが既知である。
これまで、かかるターゲットマーカは、検出され、作業が行われる物体(構成要素)上のこれらの点を認識し、これらの点から、それぞれの物体の3次元姿勢、すなわち、位置及び傾き(並進自由度及び回転自由度)を導出し、ロボットで利用できるようにする、光学センサユニットなど検出デバイスを備えたロボット用の単なる識別マーカであった。3次元姿勢は、センサユニットの以前に実行された較正を考慮して、ターゲットマーカの事前に既知の幾何学的形状をターゲットマーカの記録画像と比較することによって決定される。把持プロセスを実行するために、ターゲットマーカに対する把持姿勢が教示されなければならない。これらの把持姿勢は物体固有である。つまり、異なる構成要素の数が増加するにつれて、セットアップに要する労力が増加する。
この従来技術から進んで、本発明の目的は、ロボットに対する物体の3次元姿勢の改善された決定を可能にする、改善されたターゲットマーカを提供することである。
この目的は、請求項1に記載の特徴を有するターゲットマーカによって達成される。
ターゲットマーカの更なる発展は、従属請求項に記載されている。
物体の3次元姿勢を決定するためのターゲットマーカの第1の実施形態は、所定の数の符号化モジュールを有する。本発明によると、ターゲットマーカの符号化モジュールは、物体の物体パラメータを定義し、少なくともターゲットマーカのサイズを含む群から選択された特定の情報を含む所定の長さの文字列を符号化する、定義されたモジュールパターンで存在する。合わせて又は代替的に、特定の情報は、所定の物体を把持するための把持パラメータを定義し、これらのパラメータは、グリッパの少なくとも1つの把持姿勢、グリッパの幾何学的形状、及びグリッパ力を含む群から選択される。
したがって、本発明によるターゲットマーカに関する符号化された特定の情報は、物体パラメータ又は把持パラメータのいずれかを含み得る。あるいは、特定の情報は、物体パラメータと把持パラメータとの組み合わせを含む。
本明細書における「3次元姿勢」は、3つの並進自由度の値を指し、また、3つの回転自由度の値も指し、これらは、ロボット又はロボットアームに対する物体の位置及び傾斜、すなわち角度方向である。
本明細書で使用される場合、「文字列」は、単に数字若しくは文字、又は両方の組み合わせからなり得る英数字のシーケンスを指す。文字列は連続的に付番され得、文字列の各位置は、割り当てられた特定の情報であり得る。
本明細書における「ターゲットマーカのサイズ」は、モジュールパターンのグリッド寸法を意味する。
ターゲットマーカにコード化され得る特定の情報は、物体特有の方法で所望に応じて拡張され得る。ターゲットマーカ自体が、物体の認識及び/又は把持に必要な全ての情報をもたらすので、先行技術で必要とされるように把持姿勢を事前に教示する必要はない。したがって、物体は、事前に既知である必要はないが、ターゲットマーカに符号化された情報を使用して認識され、把持され得る。モジュールパターンは、所定の長さの符号化された文字列を示し、所定の位置において特定の情報を符号化することができる。有利なことに、本発明によるターゲットマーカは、ターゲットマーカのサイズを事前に把握することなく、物体の3次元姿勢、すなわち、物体の位置、角度方向、及び幾何学的形状を空間内で絶対的に認識することを可能にする。モジュールパターンのサイズ情報は、ターゲットマーカから直接推定することができる。ターゲットマーカの物理的サイズ、すなわち、モジュールのグリッド寸法が符号化され、これにより、外寸のクエリ又は必要なサイズ情報の事前の教示なしで、様々なサイズのターゲットマーカを用いて物体の位置又はその姿勢を特定することが可能になる。これは、2Dコード形態のターゲットマーカが多数の様々なコードサイズで物体に取り付けられ、物体の数又はモジュールサイズが事前に定まっていない場合に特に有用であり、物体認識が著しく容易になる。
更に、物体の様々な把持パラメータは、物体の改善された把持のためにターゲットマーカに符号化される。グリッパの把持姿勢はまた、物体を把持するためにグリッパを開くべき程度を示す寸法及び向きを含む。更に、物体上のターゲットマーカの位置に基づいて、物体の把持点に対するオフセットが、相対的な把持姿勢として符号化され得るか、又は閉鎖力が記憶され得る。把持は、任意のグリッパ、好ましくはロボット又はロボットアームの吸引グリッパ又はジョーグリッパなど特殊なグリッパを用いて行われ得る。グリッパに関する更なる情報、例えば、使用されるグリッパのタイプは、グリッパの幾何学的形状に記憶され得、これもまた符号化され得る。したがって、把持される物体は、把持プロセスに必要なパラメータを既に有するので、これらのパラメータが事前に教示される必要はない。したがって、把持プロセスはターゲットマーカによる支援を受ける。
本発明によるターゲットマーカは、ECC200、QRコードとして、又はAprilTagとしても設計され得る。これらの形式は、様々な物体情報の符号化に最適な基盤を提供する。良好な視認性を実現するために、ターゲットマーカは、ダイレクトマーキングとして、又はキャリアに取り付けられ得る。ダイレクトマーキングは、ターゲットマーカを構成要素の上又は中に直接印刷する、フライス加工する、又はレーザ加工することができる、連続生産構成要素にとって特に有利である。例えば、ターゲットマーカを担持するステッカ又はねじ込み式プレートなどキャリア上のコードのバージョンは、とりわけ商品キャリアに適している。
本発明によるターゲットマーカの更なる実施形態では、モジュールパターンは、識別番号を用いた連続付番に符号化され、その結果として、一意の識別IDが提供される。このようにして、コードに記憶されていなくても、更なる情報が各ターゲットマーカに明確に割り当てられ得る。例えば、把持パラメータは、ターゲットマーカに直接符号化され得ないが、外部に記憶されたテーブル又はデータベース(例えば、クラウド内)で利用可能であり、識別番号を介してリンクされ得る。このことは、把持プロセスにおいてある程度の柔軟性を必要とする物体にとって特に有利である。ターゲットマーカは、次いで、IDを決定し、次いで、データベースからモジュールサイズ又は他の把持パラメータを読み出すのに十分である。単なる数値コーディングもターゲットマーカに使用可能であり、識別IDにはX文字、「モジュールサイズ」情報にはY文字、「相対把持姿勢」情報にはZ文字などが用いられる。より多くの情報、すなわち、より多くの文字がターゲットマーカに記憶される場合、モジュールパターン又は符号化モジュールの数は増加する必要がある。それにより、(符号化モジュールに対して)12×12のターゲットマーカは、小数点以下10桁を符号化することができる。より高い情報密度には、対応してより多数の符号化モジュールが必要である。
本発明によるターゲットマーカの更に別の実施形態では、ターゲットマーカの形状は正方形又は円形である。更に、モジュールパターン又は符号化モジュールの形状は、正方形又は円形であり得る。とりわけ円形符号化モジュール又はモジュールパターンでは、コードモジュールの中心の精密決定が容易になり、位置決定に必要な計算時間が短縮される。
本発明によるターゲットマーカの好ましい実施形態では、ターゲットマーカは、符号化モジュールが配置される背景を有し得る。この背景は、光学的に中立的な背景であることが好ましい。ここで「中立的」とは、符号化モジュールが高コントラストで目立ち得、したがって光学センサユニットによって容易に検出され得るような背景であることを意味する。例えば、背景は、黒色符号化モジュールが存在する白色表面であり得る。これにより、ターゲットマーカは、所定の長さの文字列に対応する明暗パターンを特定する。対象材料に導入されたターゲットマーカの場合、これは、例えばフライス加工された背景の前の隆起した符号化モジュールによって表され得る。
本発明によるターゲットマーカの更に別の実施形態では、符号化モジュールは再帰反射性である。これはまた、背景又はターゲットマーカ全体に適用され得る。キャッツアイ原理に対応する再帰反射構成は、照明が光学センサユニットに組み込まれていると、より大きな作動距離を実現することができるという利点を提供する。これは、照明によって放出された光が入射角に関係なく反射されて光学センサユニットに戻るためである。
したがって、本発明によるターゲットマーカを使用し、ターゲットマーカを所定の物体上に配置して行う、物体の3次元姿勢の決定は、データ処理ユニットに動作可能に結合された、物体検出用の光学センサユニットを使用して実行される。光学センサユニットは、較正済みの2Dカメラであり得、2Dカメラの各画素には、空間内の画像光線が割り当てられ、その結果、画像点と空間内の物理的物体との間で割り当てが行われ得、物体へと移動するロボットの座標系及びカメラが互いに位置合わせされる。以下のステップが実行される。
-光学センサユニットを提供するステップであって、光学センサユニットは、物体が光学センサユニットの検出範囲内にあるように、物体の前に位置決めされる、ステップ、
-物体上のターゲットマーカを検出するために光学センサユニットを使用するステップ、
-データ処理ユニットによってターゲットマーカのモジュールパターンの中心を決定し、ターゲットマーカを読み出し、それによって特定の情報を読み出すステップ、
-データ処理ユニット内の特定の情報に基づいて、物体上のターゲットマーカの仮想3次元姿勢を決定するステップ、
-モジュールパターンの中心が、決定したモジュールパターンの中心と一致するまで、ターゲットマーカの仮想3次元姿勢を連続的に変化させ、それによってターゲットマーカの3次元姿勢を決定するステップ
-光学センサユニットを提供するステップであって、光学センサユニットは、物体が光学センサユニットの検出範囲内にあるように、物体の前に位置決めされる、ステップ、
-物体上のターゲットマーカを検出するために光学センサユニットを使用するステップ、
-データ処理ユニットによってターゲットマーカのモジュールパターンの中心を決定し、ターゲットマーカを読み出し、それによって特定の情報を読み出すステップ、
-データ処理ユニット内の特定の情報に基づいて、物体上のターゲットマーカの仮想3次元姿勢を決定するステップ、
-モジュールパターンの中心が、決定したモジュールパターンの中心と一致するまで、ターゲットマーカの仮想3次元姿勢を連続的に変化させ、それによってターゲットマーカの3次元姿勢を決定するステップ
ターゲットマーカの他の実施形態、並びにこれらの実施形態及び他の実施形態に関連する利点のいくつかは、添付の図面を参照して以下の詳細な説明から明らかになり、理解が深まるであろう。図面は、本発明の一実施形態の概略図にすぎない。
図面には、以下が示されている。
本発明によるターゲットマーカ、及び
空間内の物体上の本発明によるターゲットマーカの概略配置。
図1は、光学的に中立的な背景3に複数の符号化モジュール2を備えるターゲットマーカ1を示す。符号化モジュール2は、ある特定の情報を符号化形式で伝達するように配置される。ターゲットマーカ1に符号化され得る特定の情報は、例えばターゲットマーカ1のサイズなど物体パラメータ、又は例えばグリッパの把持姿勢、グリッパの幾何学的形状、及びグリッパ力など把持パラメータのいずれかを含む。あるいは、特定の情報は、物体パラメータと把持パラメータとの組み合わせを含む。
図1では、ターゲットマーカ1のサイズ情報のみが、示されるターゲットマーカ1に符号化され、物体4の把持パラメータは符号化されない。
図1では、ターゲットマーカ1のサイズ情報のみが、示されるターゲットマーカ1に符号化され、物体4の把持パラメータは符号化されない。
ターゲットマーカ1の符号化モジュール2は、モジュールパターン10(図1では破線で例示的に輪郭が描かれている)で組み合わされており、それぞれ10進数の10個の数字「1~10」を符号化し、これらの10個の数字「1~10」には、例えば以下の意味を割り当てることができる。
例えば、数字「1」及び「2」は、ターゲットサブタイプ、例えば、位置特定される物体のタイプを示し得るか、又はターゲットマーカ1内に符号化された情報の内部処理を容易にする追加情報を提供する。
数字「3」及び「4」は、モジュール間隔(グリッド寸法)に関する情報を提供するために使用される。モジュール間隔は、例えば、10進数の2個の数字によって指定され、このように、例えば、(X+1)*0.5(Xはミリメートルを表す)によって、ミリメートルにマッピングされる。したがって、0.5mm~50mmの範囲は、X=0...99によって符号化され得る。
この例における数字「5」~「10」は、ターゲット識別子(ID)を符号化するために使用される。これらの小数点以下5桁を用いて、数百万個のターゲットマーカの一意のIDを生成することができる。サブタイプが省略される場合、1億個の一意のターゲットマーカが小数点以下8桁で生成され得る。より多くの符号化モジュールを備えたターゲットマーカは、更に多くの一意のターゲットマーカを生成する可能性を提供する。
図2では、物体4は空間5内に配置されている。ターゲットマーカ1は物体4に取り付けられており、それによって、光学センサシステム6によって認識され、このシステムに接続されたデータ処理ユニット7によって評価され得る。取り付けられたターゲットマーカ1は単独で、空間5内でのターゲットマーカ1の3次元姿勢及び把持パラメータ4を認識するのに十分である。空間次元又は他の空間固有のパラメータは不要である。グリッパの把持位置は、図2にフラグの形式で示されている把持点8によって与えられ得る。把持点8は、物体4を把持するために良好な把持点を表し、対応する相対姿勢でターゲットマーカ1に符号化される。
1 ターゲットマーカ
2 符号化モジュール
3 背景
4 物体
5 空間
6 光学センサユニット
7 データ処理ユニット
8 把持点
10 モジュールパターン
2 符号化モジュール
3 背景
4 物体
5 空間
6 光学センサユニット
7 データ処理ユニット
8 把持点
10 モジュールパターン
本発明は、物体の3次元姿勢を決定するための方法に関する。
構成要素へのターゲットマーカの取り付けは、従来技術、例えば独国特許出願公開第10 2016 011 653(A1)号から既知であり、この独国特許は、単純な幾何学的形状で作製されたターゲットマーカを使用してターゲット点の位置を測定することができるロボットシステムについて説明する。このシステムは、ターゲットマーカがロボット座標系における既知の第1のターゲットマーカ位置に位置するときに、撮像画像に含まれるターゲットマーカの画像の特徴サイズを基準データとして記憶し、アーム先端部に対する第1のターゲットマーカ位置をツール中心位置として記憶する。このシステムは、ターゲットマーカが第2のターゲットマーカ位置に配置されたときの撮像画像から得られた特徴サイズを基準データの特徴サイズと比較してアーム先端部を移動させ、移動後のアーム先端部の位置に対応する第2のロボット位置及びツール中心点の位置に基づいて、ロボット座標系における第2のターゲットマーカ位置を算出する。識別マーカの形態のターゲットマーカは、米国特許出願公開第2015/224 650(A1)号及び同第2020/125 872(A1)号に更に記載されている。
欧州特許出願公開第2 523 017(A1)号は、極座標において測定する走査機能を備えたデバイスのための較正方法を開示しており、この較正方法では、単純な幾何学的形状のマーカの形態の角度ターゲットマーカを使用して、光学センサユニットで角度ターゲットマーカを検出することによって空間における構成要素の位置を決定する。
更に、国際公開第2020/102 761(A1)号は、人体の視覚化方法を開示しており、この視覚化方法では、患者の身体に2次元コードを付けることによって患者の身体を測定することができる。これは、患者に対する医療器具の位置決めに関する。2次元コードとしては、2Dバーコード、QRコード、AprilTagが既知である。
これまで、かかるターゲットマーカは、検出され、作業が行われる物体(構成要素)上のこれらの点を認識し、これらの点から、それぞれの物体の3次元姿勢、すなわち、位置及び傾き(並進自由度及び回転自由度)を導出し、ロボットで利用できるようにする、光学センサユニットなど検出デバイスを備えたロボット用の単なる識別マーカであった。3次元姿勢は、センサユニットの以前に実行された較正を考慮して、ターゲットマーカの事前に既知の幾何学的形状をターゲットマーカの記録画像と比較することによって決定される。把持プロセスを実行するために、ターゲットマーカに対する把持姿勢が教示されなければならない。これらの把持姿勢は物体固有である。つまり、異なる構成要素の数が増加するにつれて、セットアップに要する労力が増加する。
この従来技術から進んで、本発明の目的は、ロボットに対する物体の3次元姿勢の改善された決定を可能にする、改善された方法を提供することである。
この目的は、請求項1に記載の特徴を有する方法によって達成される。
本方法の更なる発展は、従属請求項に記載されている。
物体の3次元姿勢を決定するための方法の第1の実施形態は、物体を捕捉するための光学センサユニットを使用し、センサユニットは、データ処理ユニットに接続されており、本方法は、
-物体の3次元姿勢を決定するためのターゲットマーカを提供するステップを含み、ターゲットマーカは、物体の物体パラメータを定義し、少なくともターゲットマーカのサイズを含む群から選択された特定の情報を含む所定の長さの文字列を符号化する、定義されたモジュールパターンで存在する、所定の数の符号化モジュールを有する。合わせて又は代替的に、特定の情報は、所定の物体を把持するための把持パラメータを定義し、これらのパラメータは、グリッパの少なくとも1つの把持姿勢、グリッパの幾何学的形状、及びグリッパ力を含む群から選択される。
-物体の3次元姿勢を決定するためのターゲットマーカを提供するステップを含み、ターゲットマーカは、物体の物体パラメータを定義し、少なくともターゲットマーカのサイズを含む群から選択された特定の情報を含む所定の長さの文字列を符号化する、定義されたモジュールパターンで存在する、所定の数の符号化モジュールを有する。合わせて又は代替的に、特定の情報は、所定の物体を把持するための把持パラメータを定義し、これらのパラメータは、グリッパの少なくとも1つの把持姿勢、グリッパの幾何学的形状、及びグリッパ力を含む群から選択される。
更に以下のステップを含む。
-ターゲットマーカを物体上に配置するステップ、
-物体が光学センサユニットの検出範囲内にあるように光学センサユニットを物体の前に位置決めし、光学センサユニットによって、物体上のターゲットマーカを検出するステップ、
-データ処理ユニットによってターゲットマーカのモジュールパターンの中心を決定し、特定の情報を読み出すステップ、
-データ処理ユニット内の特定の情報に基づいて、物体上のターゲットマーカの仮想3次元姿勢を決定するステップ、
-モジュールパターンの中心が、決定したモジュールパターンの中心と一致するまで、ターゲットマーカの仮想3次元姿勢を連続的に変化させ、それによってターゲットマーカの実際の3次元姿勢を決定するステップ。
-ターゲットマーカを物体上に配置するステップ、
-物体が光学センサユニットの検出範囲内にあるように光学センサユニットを物体の前に位置決めし、光学センサユニットによって、物体上のターゲットマーカを検出するステップ、
-データ処理ユニットによってターゲットマーカのモジュールパターンの中心を決定し、特定の情報を読み出すステップ、
-データ処理ユニット内の特定の情報に基づいて、物体上のターゲットマーカの仮想3次元姿勢を決定するステップ、
-モジュールパターンの中心が、決定したモジュールパターンの中心と一致するまで、ターゲットマーカの仮想3次元姿勢を連続的に変化させ、それによってターゲットマーカの実際の3次元姿勢を決定するステップ。
したがって、本発明によるターゲットマーカに関する符号化された特定の情報は、物体パラメータ又は把持パラメータのいずれかを含み得る。あるいは、特定の情報は、物体パラメータと把持パラメータとの組み合わせを含む。したがって、当該ターゲットマーカを使用し、ターゲットマーカを所定の物体上に配置して行う、物体の3次元姿勢の決定は、データ処理ユニットに動作可能に結合された、物体捕捉用の光学センサユニットを使用して実行される。光学センサユニットは、較正済みの2Dカメラであり得、2Dカメラの各画素には、空間内の画像光線が割り当てられ、その結果、画像点と空間内の物理的物体との間で割り当てが行われ得、物体へと移動するロボットの座標系及びカメラが互いに位置合わせされる。
本明細書における「3次元姿勢」は、3つの並進自由度の値を指し、また、3つの回転自由度の値も指し、これらは、ロボット又はロボットアームに対する物体の位置及び傾斜、すなわち角度方向である。
本明細書で使用される場合、「文字列」は、単に数字若しくは文字、又は両方の組み合わせからなり得る英数字のシーケンスを指す。文字列は連続的に付番され得、文字列の各位置は、割り当てられた特定の情報であり得る。
本明細書における「ターゲットマーカのサイズ」は、モジュールパターンのグリッド寸法を意味する。
ターゲットマーカにコード化され得る特定の情報は、物体特有の方法で所望に応じて拡張され得る。ターゲットマーカ自体が、物体の認識及び/又は把持に必要な全ての情報をもたらすので、先行技術で必要とされるように把持姿勢を事前に教示する必要はない。したがって、物体は、事前に既知である必要はないが、ターゲットマーカに符号化された情報を使用して認識され、把持され得る。モジュールパターンは、所定の長さの符号化された文字列を示し、所定の位置において特定の情報を符号化することができる。有利なことに、本発明によるターゲットマーカは、ターゲットマーカのサイズを事前に把握することなく、物体の3次元姿勢、すなわち、物体の位置、角度方向、及び幾何学的形状を空間内で絶対的に認識することを可能にする。モジュールパターンのサイズ情報は、ターゲットマーカから直接推定することができる。ターゲットマーカの物理的サイズ、すなわち、モジュールのグリッド寸法が符号化され、これにより、外寸のクエリ又は必要なサイズ情報の事前の教示なしで、様々なサイズのターゲットマーカを用いて物体の位置又はその姿勢を特定することが可能になる。これは、2Dコード形態のターゲットマーカが多数の様々なコードサイズで物体に取り付けられ、物体の数又はモジュールサイズが事前に定まっていない場合に特に有用であり、物体認識が著しく容易になる。
更に、物体の様々な把持パラメータは、物体の改善された把持のためにターゲットマーカに符号化される。グリッパの把持姿勢はまた、物体を把持するためにグリッパを開くべき程度を示す寸法及び向きを含む。更に、物体上のターゲットマーカの位置に基づいて、物体の把持点に対するオフセットが、相対的な把持姿勢として符号化され得るか、又は閉鎖力が記憶され得る。把持は、任意のグリッパ、好ましくはロボット又はロボットアームの吸引グリッパ又はジョーグリッパなど特殊なグリッパを用いて行われ得る。グリッパに関する更なる情報、例えば、使用されるグリッパのタイプは、グリッパの幾何学的形状に記憶され得、これもまた符号化され得る。したがって、把持される物体は、把持プロセスに必要なパラメータを既に有するので、これらのパラメータが事前に教示される必要はない。したがって、把持プロセスはターゲットマーカによる支援を受ける。
ターゲットマーカは、ECC200、QRコードとして、又はAprilTagとしても設計され得る。これらの形式は、様々な物体情報の符号化に最適な基盤を提供する。良好な視認性を実現するために、ターゲットマーカは、ダイレクトマーキングとして、又はキャリアに取り付けられ得る。ダイレクトマーキングは、ターゲットマーカを構成要素の上又は中に直接印刷する、フライス加工する、又はレーザ加工することができる、連続生産構成要素にとって特に有利である。例えば、ターゲットマーカを担持するステッカ又はねじ込み式プレートなどキャリア上のコードのバージョンは、とりわけ商品キャリアに適している。
本発明による方法の更なる実施形態では、ターゲットマーカのモジュールパターンは、識別番号を用いた連続付番に符号化され、その結果として、一意の識別IDが提供される。このようにして、コードに記憶されていなくても、更なる情報が各ターゲットマーカに明確に割り当てられ得る。例えば、把持パラメータは、ターゲットマーカに直接符号化され得ないが、外部に記憶されたテーブル又はデータベース(例えば、クラウド内)で利用可能であり、識別番号を介してリンクされ得る。このことは、把持プロセスにおいてある程度の柔軟性を必要とする物体にとって特に有利である。ターゲットマーカは、次いで、IDを決定し、次いで、データベースからモジュールサイズ又は他の把持パラメータを読み出すのに十分である。単なる数値コーディングもターゲットマーカに使用可能であり、識別IDにはX文字、「モジュールサイズ」情報にはY文字、「相対把持姿勢」情報にはZ文字などが用いられる。より多くの情報、すなわち、より多くの文字がターゲットマーカに記憶される場合、モジュールパターン又は符号化モジュールの数は増加する必要がある。それにより、(符号化モジュールに対して)12×12のターゲットマーカは、小数点以下10桁を符号化することができる。より高い情報密度には、対応してより多数の符号化モジュールが必要である。
本発明による方法の更に別の実施形態では、ターゲットマーカの形状は正方形又は円形である。更に、モジュールパターン又は符号化モジュールの形状は、正方形又は円形であり得る。とりわけ円形符号化モジュール又はモジュールパターンでは、コードモジュールの中心の精密決定が容易になり、位置決定に必要な計算時間が短縮される。
本発明による方法の好ましい実施形態では、ターゲットマーカは、符号化モジュールが配置される背景を有し得る。この背景は、光学的に中立的な背景であることが好ましい。ここで「中立的」とは、符号化モジュールが高コントラストで目立ち得、したがって光学センサユニットによって容易に検出され得るような背景であることを意味する。例えば、背景は、黒色符号化モジュールが存在する白色表面であり得る。これにより、ターゲットマーカは、所定の長さの文字列に対応する明暗パターンを特定する。対象材料に導入されたターゲットマーカの場合、これは、例えばフライス加工された背景の前の隆起した符号化モジュールによって表され得る。
本発明による方法の更に別の実施形態では、符号化モジュールは再帰反射性である。これはまた、背景又はターゲットマーカ全体に適用され得る。キャッツアイ原理に対応する再帰反射構成は、照明が光学センサユニットに組み込まれていると、より大きな作動距離を実現することができるという利点を提供する。これは、照明によって放出された光が入射角に関係なく反射されて光学センサユニットに戻るためである。
ターゲットマーカを用いる方法の他の実施形態、並びにこれらの実施形態及び他の実施形態に関連する利点のいくつかは、添付の図面を参照して以下の詳細な説明から明らかになり、理解が深まるであろう。図面は、本発明の一実施形態の概略図にすぎない。
図面には、以下が示されている。
ターゲットマーカ、及び
空間内の物体上のターゲットマーカの概略配置。
図1は、光学的に中立的な背景3に複数の符号化モジュール2を備えるターゲットマーカ1を示す。符号化モジュール2は、ある特定の情報を符号化形式で伝達するように配置される。ターゲットマーカ1に符号化され得る特定の情報は、例えばターゲットマーカ1のサイズなど物体パラメータ、又は例えばグリッパの把持姿勢、グリッパの幾何学的形状、及びグリッパ力など把持パラメータのいずれかを含む。あるいは、特定の情報は、物体パラメータと把持パラメータとの組み合わせを含む。
図1では、ターゲットマーカ1のサイズ情報のみが、示されるターゲットマーカ1に符号化され、物体4の把持パラメータは符号化されない。
ターゲットマーカ1の符号化モジュール2は、モジュールパターン10(図1では破線で例示的に輪郭が描かれている)で組み合わされており、それぞれ10進数の10個の数字「1~10」を符号化し、これらの10個の数字「1~10」には、例えば以下の意味を割り当てることができる。
例えば、数字「1」及び「2」は、ターゲットサブタイプ、例えば、位置特定される物体のタイプを示し得るか、又はターゲットマーカ1内に符号化された情報の内部処理を容易にする追加情報を提供する。
数字「3」及び「4」は、モジュール間隔(グリッド寸法)に関する情報を提供するために使用される。モジュール間隔は、例えば、10進数の2個の数字によって指定され、このように、例えば、(X+1)*0.5(Xはミリメートルを表す)によって、ミリメートルにマッピングされる。したがって、0.5mm~50mmの範囲は、X=0...99によって符号化され得る。
この例における数字「5」~「10」は、ターゲット識別子(ID)を符号化するために使用される。これらの小数点以下5桁を用いて、数百万個のターゲットマーカの一意のIDを生成することができる。サブタイプが省略される場合、1億個の一意のターゲットマーカが小数点以下8桁で生成され得る。より多くの符号化モジュールを備えたターゲットマーカは、更に多くの一意のターゲットマーカを生成する可能性を提供する。
図2では、物体4は空間5内に配置されている。ターゲットマーカ1は物体4に取り付けられており、それによって、光学センサシステム6によって認識され、このシステムに接続されたデータ処理ユニット7によって評価され得る。取り付けられたターゲットマーカ1は単独で、空間5内でのターゲットマーカ1の3次元姿勢及び把持パラメータ4を認識するのに十分である。空間次元又は他の空間固有のパラメータは不要である。グリッパの把持位置は、図2にフラグの形式で示されている把持点8によって与えられ得る。把持点8は、物体4を把持するために良好な把持点を表し、対応する相対姿勢でターゲットマーカ1に符号化される。
1 ターゲットマーカ
2 符号化モジュール
3 背景
4 物体
5 空間
6 光学センサユニット
7 データ処理ユニット
8 把持点
10 モジュールパターン
2 符号化モジュール
3 背景
4 物体
5 空間
6 光学センサユニット
7 データ処理ユニット
8 把持点
10 モジュールパターン
Claims (5)
- 物体(4)の3次元姿勢を決定するためのターゲットマーカ(1)であって、前記ターゲットマーカ(1)は、所定の数の符号化モジュール(2)を備え、
前記ターゲットマーカ(1)の前記符号化モジュール(2)は、
-少なくとも前記ターゲットマーカ(1)のサイズを含む群から選択される、前記物体(4)の物体パラメータ、
並びに/又は
-グリッパの少なくとも1つの把持姿勢、グリッパの幾何学的形状、及びグリッパ力を含む群からの、前記所定の物体(4)を把持するための把持パラメータを定義する特定の情報を含む文字列を符号化する、定義されたモジュールパターン(10)で存在することを特徴とする、ターゲットマーカ(1)。 - 前記モジュールパターン(10)は、連続付番で符号化され、前記付番は一意の識別子(ID)の形態であることを特徴とする、
請求項1に記載のターゲットマーカ(1)。 - -前記ターゲットマーカ(1)の形状は、正方形又は円形である、並びに/又は
-前記モジュールパターン(10)及び/若しくは前記符号化モジュール(2)の形状は、正方形又は円形であることを特徴とする、
請求項1又は2に記載のターゲットマーカ(1)。 - 前記ターゲットマーカ(1)は、前記符号化モジュール(2)が配置される背景(3)を有することを特徴とする、
請求項1~3のうちの少なくとも一項に記載のターゲットマーカ(1)。 - 前記ターゲットマーカ(1)の前記符号化モジュール(2)及び/又は前記背景(3)は再帰反射性であることを特徴とする、
請求項4に記載のターゲットマーカ(1)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020134898.3 | 2020-12-23 | ||
DE102020134898.3A DE102020134898A1 (de) | 2020-12-23 | 2020-12-23 | Zielmarke zur Bestimmung einer dreidimensionalen Pose eines Objekts |
PCT/EP2021/087143 WO2022136467A1 (de) | 2020-12-23 | 2021-12-21 | Zielmarke zur bestimmung einer dreidimensionalen pose eines objekts |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024507044A true JP2024507044A (ja) | 2024-02-16 |
Family
ID=79686925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023539380A Pending JP2024507044A (ja) | 2020-12-23 | 2021-12-21 | 物体の3次元姿勢を決定するための方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20240078698A1 (ja) |
EP (1) | EP4268127A1 (ja) |
JP (1) | JP2024507044A (ja) |
KR (1) | KR20230119217A (ja) |
CN (1) | CN116802643A (ja) |
DE (1) | DE102020134898A1 (ja) |
WO (1) | WO2022136467A1 (ja) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6317953B1 (en) | 1981-05-11 | 2001-11-20 | Lmi-Diffracto | Vision target based assembly |
US6017125A (en) | 1997-09-12 | 2000-01-25 | The Regents Of The University Of California | Bar coded retroreflective target |
GB0113116D0 (en) | 2001-05-31 | 2001-07-18 | Bae Systems Plc | Photogrammetry targets |
DE102010034875A1 (de) | 2010-07-16 | 2012-01-19 | Felix Heide | Positionskennzeichen |
EP2523017A1 (de) | 2011-05-13 | 2012-11-14 | Hexagon Technology Center GmbH | Kalibrierverfahren für ein Gerät mit Scanfunktionalität |
US9259844B2 (en) * | 2014-02-12 | 2016-02-16 | General Electric Company | Vision-guided electromagnetic robotic system |
DE102015212352A1 (de) | 2015-07-01 | 2017-01-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren, Anordnung und Computerprogrammprodukt zur Lageerfassung eines zu untersuchenden Objekts |
JP6126183B2 (ja) | 2015-10-05 | 2017-05-10 | ファナック株式会社 | ターゲットマークを撮像するカメラを備えたロボットシステム |
US10878260B2 (en) * | 2018-10-17 | 2020-12-29 | Aurora Flight Sciences Corporation | Micro-fiducial for machine vision |
US11287874B2 (en) | 2018-11-17 | 2022-03-29 | Novarad Corporation | Using optical codes with augmented reality displays |
-
2020
- 2020-12-23 DE DE102020134898.3A patent/DE102020134898A1/de active Pending
-
2021
- 2021-12-21 EP EP21844275.4A patent/EP4268127A1/de active Pending
- 2021-12-21 JP JP2023539380A patent/JP2024507044A/ja active Pending
- 2021-12-21 CN CN202180091610.5A patent/CN116802643A/zh active Pending
- 2021-12-21 KR KR1020237024280A patent/KR20230119217A/ko active Search and Examination
- 2021-12-21 WO PCT/EP2021/087143 patent/WO2022136467A1/de active Application Filing
- 2021-12-21 US US18/268,657 patent/US20240078698A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240078698A1 (en) | 2024-03-07 |
DE102020134898A1 (de) | 2022-06-23 |
WO2022136467A1 (de) | 2022-06-30 |
CN116802643A (zh) | 2023-09-22 |
EP4268127A1 (de) | 2023-11-01 |
KR20230119217A (ko) | 2023-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7927014B2 (en) | X-ray diagnostic imaging system with a plurality of coded markers | |
CA2272357C (en) | A system for determining the spatial position of a target | |
CN1199054C (zh) | 用于测定物体的空间位置和取向的系统 | |
US8082064B2 (en) | Robotic arm and control system | |
US20070057946A1 (en) | Method and system for the three-dimensional surface reconstruction of an object | |
US20110254922A1 (en) | Imaging system using markers | |
US9107613B2 (en) | Handheld scanning device | |
EP1043642A3 (en) | Robot system having image processing function | |
CN205989122U (zh) | 一种3d动态聚焦激光打标机 | |
EP3589575B1 (en) | A vehicle provided with an arrangement for determining a three dimensional representation of a movable member | |
JP6275622B2 (ja) | 走行面上の複数の製品の位置と三次元的な形状を非接触で検出する方法およびスキャナ | |
US7184151B2 (en) | Method for identifying measuring points in an optical measuring system | |
US11815345B2 (en) | Device for orientation and position detection of markings in three-dimensional space | |
CN109410282B (zh) | 一种输液杆的检测跟踪方法和装置 | |
CN114224489B (zh) | 用于手术机器人的轨迹跟踪系统及利用该系统的跟踪方法 | |
KR20040010091A (ko) | 광학식 마커를 이용한 3차원 측정 데이터 자동 정렬장치및 그 방법 | |
JP2024507044A (ja) | 物体の3次元姿勢を決定するための方法 | |
CN101981407A (zh) | 底盘测量系统以及确定底盘测量系统的测量头的位置参量的方法 | |
ATE99070T1 (de) | Verfahren zur erkennung der raeumlichen lage und orientierung vorher bekannter koerper. | |
JP2012066321A (ja) | ロボットシステムおよびロボット組立システム | |
ATE307531T1 (de) | Reproduzierbare positions- oder haltungserkennung von verformbaren körpern | |
WO1997031336A1 (en) | Automation methodology for 3d image metrology systems | |
Chen et al. | High-precise monocular positioning with infrared LED visual target | |
WO2022168617A1 (ja) | ワーク検出装置、ワーク検出方法、ワーク検出システム及びワーク検出プログラム | |
US20230269455A1 (en) | Device and method for detecting the orientation and position of markings in three-dimensional space |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20230810 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240619 |