JP7340069B1 - マーカ位置登録プログラム、マーカ位置登録装置、マーカ位置登録方法及びその方法に用いるマーカ - Google Patents

マーカ位置登録プログラム、マーカ位置登録装置、マーカ位置登録方法及びその方法に用いるマーカ Download PDF

Info

Publication number
JP7340069B1
JP7340069B1 JP2022093872A JP2022093872A JP7340069B1 JP 7340069 B1 JP7340069 B1 JP 7340069B1 JP 2022093872 A JP2022093872 A JP 2022093872A JP 2022093872 A JP2022093872 A JP 2022093872A JP 7340069 B1 JP7340069 B1 JP 7340069B1
Authority
JP
Japan
Prior art keywords
marker
coordinate system
specific position
robot
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022093872A
Other languages
English (en)
Other versions
JP2023180509A (ja
Inventor
誠人 池口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daihen Corp
Original Assignee
Daihen Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daihen Corp filed Critical Daihen Corp
Priority to JP2022093872A priority Critical patent/JP7340069B1/ja
Priority to CN202310347507.3A priority patent/CN117213359A/zh
Priority to EP23166437.6A priority patent/EP4289565A1/en
Priority to KR1020230044828A priority patent/KR20230169836A/ko
Priority to TW112113379A priority patent/TW202348378A/zh
Priority to US18/137,086 priority patent/US20230405827A1/en
Application granted granted Critical
Publication of JP7340069B1 publication Critical patent/JP7340069B1/ja
Publication of JP2023180509A publication Critical patent/JP2023180509A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37068—Setting reference coordinate frame
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39022—Transform between measuring and manipulator coordinate system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Numerical Control (AREA)
  • Manipulator (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)

Abstract

【課題】マーカの位置を登録する際に、座標系の軸方向を誤って登録することを防止することができるマーカ位置登録プログラムを提供する。【解決手段】マーカ位置登録プログラムは、コンピュータを、産業用ロボットの特定箇所がマーカの特定の位置を指し示しめしているときの当該特定箇所に対応するロボット座標系の座標を、マーカに付与されている特定の位置を特定するための位置識別子に対応付けて入力させる入力フォームを表示させる表示制御部１１１、入力フォームに入力された内容に基づいて、ロボット座標系における特定の位置を登録する登録部１１２、として機能させる。【選択図】図３

Description

本発明は、マーカ位置登録プログラム、マーカ位置登録装置、マーカ位置登録方法及びその方法に用いるマーカに関する。
カメラで撮影した画像に基づいてロボットの動作計画を行う場合、カメラの座標系とロボットの座標系との相関を導出し、カメラ座標系とロボット座標系との位置関係をキャリブレーションする必要がある。
下記特許文献１には、ＡＲデバイスで検出したロボット座標系特定用マーカ上にマーカ座標系を設定し、その設定したマーカ座標系に基づいてロボットの座標系を特定し、ＡＲデバイスに表示されているロボットと現実のロボットとの位置関係をキャリブレーションする方法が開示されている。
特開２０２１－６２４６３号公報
特許文献１の方法では、ロボット座標系特定用マーカ上にマーカ座標系を設定する際に、ロボットを動かし、ロボットのツールでロボット座標系特定用マーカの原点、Ｘ方向点、Ｙ方向点をタッチアップ（原点座標系設定）する作業が必要になる。
しかし、この作業を行うためには、ＡＲデバイスに表示されているロボット座標系特定用マーカ上のどの方向が、ロボット座標系の各軸に対応しているのかを把握している必要がある。したがって、例えば、作業者の理解があいまいな場合には、ロボット座標系でのＸＹ方向を指定する際に、間違った方向を指定してマーカ座標系を設定してしまう可能性がある。この場合、ロボットを正しく動作させることができない。
そこで、本発明は、マーカの位置を登録する際に、座標系の軸方向を誤って登録することを防止することができるマーカ位置登録プログラム、マーカ位置登録装置、マーカ位置登録方法及びその方法に用いるマーカを提供することを目的とする。
本発明の一態様に係るマーカ位置登録プログラムは、コンピュータを、産業用ロボットの特定箇所がマーカの特定の位置を指し示しめしているときの当該特定箇所に対応するロボット座標系の座標を、マーカに付与されている特定の位置を特定するための位置識別子に対応付けて入力させる入力フォームを表示させる表示制御部、入力フォームに入力された内容に基づいて、ロボット座標系における上記特定の位置を登録する登録部、として機能させる。
この態様によれば、マーカの特定の位置を指し示しめしている産業用ロボットの特定箇所に対応するロボット座標系の座標を、その指し示しめしている特定の位置に付与された位置識別子に対応付けて入力させることができ、入力されたマーカの位置識別子とそのコーナー識別子に対応する特定の位置のロボット座標系の座標とを対応付けて登録することができる。これにより、作業者がロボット座標系の軸方向を意識することなく、マーカに付与された位置識別子に従ってマーカの特定の位置を入力し、その特定の位置のロボット座標系の座標を入力することで、ロボット座標系におけるマーカの位置を登録できるようになる。つまり、マーカの位置を登録する際に、座標系の軸方向を誤って登録することを防止することが可能となる。
上記態様において、マーカには、当該マーカを特定するためのマーカ識別子がさらに付与され、入力フォームには、位置識別子に対応付けてマーカ識別子を入力する項目がさらに設けられてもよい。
この態様によれば、マーカに付与されたマーカ識別子を、そのマーカに付与された位置識別子に対応付けて入力させ、登録することができるため、マーカ識別子を誤って入力し、登録してしまうことを抑止することが可能となる。
上記態様において、産業用ロボットの作業領域及びマーカを含む画像を撮影する撮影部、撮影部により撮影される画像に基づいて、登録部により上記特定の位置が登録されたマーカを検出する検出部、撮影部を基準にするカメラ座標系及び検出されたマーカを基準にするマーカ座標系それぞれにおける、検出されたマーカの特定の位置に基づいて、カメラ座標系とマーカ座標系との座標を変換するための変換式を算定する算定部、として上記コンピュータをさらに機能させてもよい。
この態様によれば、特定の位置に対応するロボット座標系の座標を登録したマーカが撮影画像内で検出された場合に、その検出されたマーカにおけるカメラ座標系及びマーカ座標系それぞれの特定の位置の座標を用い、カメラ座標系とマーカ座標系との座標を変換するための変換式を算定することができる。この変換式を用いることで、マーカとロボットとの位置関係を調整するキャリブレーションを容易に実施することが可能となる。
上記態様において、特定の位置は、単一のマーカにある三つ以上の箇所それぞれに対応する位置であってもよい。
この態様によれば、作業に用いるマーカを一つにすることができるため、マーカの管理負担を軽減することが可能となる。
上記態様において、特定の位置は、複数のマーカにおける複数の箇所それぞれに対応する位置であってもよい。
この態様によれば、特定の位置を複数のマーカに分散して設定することができるため、マーカを置く位置を調整する等し、特定の位置間の距離を容易に変更することが可能になる。座標変換時の誤差は、変換する際の基準点の間隔を広げると低減する傾向にあるため、例えば、マーカを配置する間隔を広げ、特定の位置間の距離を大きくすることで、特定の位置を基準にする座標変換の誤差を小さくすることが可能となる。
本発明の他の態様に係るマーカ位置登録装置は、産業用ロボットの特定箇所がマーカの特定の位置を指し示しめしているときの当該特定箇所に対応するロボット座標系の座標を、マーカに付与されている特定の位置を特定するための位置識別子に対応付けて入力させる入力フォームを表示させる表示制御部と、入力フォームに入力された内容に基づいて、ロボット座標系における特定の位置を登録する登録部と、を備える。
この態様によれば、マーカの特定の位置を指し示しめしている産業用ロボットの特定箇所に対応するロボット座標系の座標を、その指し示しめしている特定の位置に付与された位置識別子に対応付けて入力させることができ、入力されたマーカの位置識別子とその位置識別子に対応する特定の位置のロボット座標系の座標とを対応付けて登録することができる。これにより、作業者がロボット座標系の軸方向を意識することなく、マーカに付与された位置識別子に従ってマーカの特定の位置を入力し、その特定の位置のロボット座標系の座標を入力することで、ロボット座標系におけるマーカの位置を登録できるようになる。つまり、マーカの位置を登録する際に、座標系の軸方向を誤って登録することを防止することが可能となる。
本発明の他の態様に係るマーカ位置登録方法は、プロセッサにより実行される方法であって、産業用ロボットの特定箇所がマーカの特定の位置を指し示しめしているときの当該特定箇所に対応するロボット座標系の座標を、マーカに付与されている特定の位置を特定するための位置識別子に対応付けて入力させる入力フォームを表示させるステップと、入力フォームに入力された内容に基づいて、ロボット座標系における特定の位置を登録するステップと、を含む。
この態様によれば、マーカの特定の位置を指し示しめしている産業用ロボットの特定箇所に対応するロボット座標系の座標を、その指し示しめしている特定の位置に付与された位置識別子に対応付けて入力させることができ、入力されたマーカの位置識別子とその位置識別子に対応する特定の位置のロボット座標系の座標とを対応付けて登録することができる。これにより、作業者がロボット座標系の軸方向を意識することなく、マーカに付与された位置識別子に従ってマーカの特定の位置を入力し、その特定の位置のロボット座標系の座標を入力することで、ロボット座標系におけるマーカの位置を登録できるようになる。つまり、マーカの位置を登録する際に、座標系の軸方向を誤って登録することを防止することが可能となる。
本発明の他の態様に係るマーカは、上記マーカ位置登録方法に用いるマーカである。
この態様によれば、マーカのコーナー位置を登録する際に、マーカに付与されたコーナー識別子に従ってマーカのコーナー位置を入力させることができるため、座標系の軸方向を誤って登録することを防止することが可能となる。
本発明によれば、マーカの位置を登録する際に、座標系の軸方向を誤って登録することを防止することができるマーカ位置登録プログラム、マーカ位置登録装置、マーカ位置登録方法及びその方法に用いるマーカを提供することができる。
実施形態に係るマーカ位置登録プログラムをインストールした撮影装置を含む溶接ロボットシステムの構成を例示する図である。 実施形態に係るマーカの一例を示す図である。 撮影装置の機能的な構成を例示する図である。 入力フォームの一例を示す図である。 入力フォームにデータを入力する際の具体例を説明するための模式図である。 実施形態に係るマーカ位置登録プログラムをインストールした撮影装置の動作を説明するためのフローチャートである。 変形例に係るマーカの一例を示す図である。
添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。また、図面は模式的なものであるため、各構成要素の寸法や比率は実際のものとは相違する。
図１は、実施形態に係るマーカ位置登録プログラムをインストールした撮影装置（マーカ位置登録装置）１を含む溶接ロボットシステム１００の構成を例示する図である。溶接ロボットシステム１００は、例えば、撮影装置１と、ロボット制御装置２と、マニピュレータ３とを備える。撮影装置１とロボット制御装置２とは、例えばネットワークＮａを介して接続され、ロボット制御装置２とマニピュレータ３とは、例えば通信ケーブルＮｂを介して接続される。ネットワークＮａは、無線であっても、有線（通信ケーブルを含む）であってもよい。なお、溶接ロボットシステム１００に、ティーチペンダントを含めてもよい。ティーチペンダントは、作業者がマニピュレータ３の動作を教示する際に用いる操作装置であり、ロボット制御装置２に接続して使用することができる。
マニピュレータ３は、ロボット制御装置２において設定される施工条件に従ってアーク溶接を行う溶接ロボットである。マニピュレータ３は、例えば、工場の床面等に固定されるベース部材上に設けられる多関節アーム３１と、多関節アーム３１の先端に連結される溶接トーチ３２とを有する。多関節アーム３１の先端には、溶接トーチ３２に替えてツール等を連結することもできる。
ロボット制御装置２は、マニピュレータ３の動作を制御する制御ユニットであり、例えば、制御部２１、記憶部２２、通信部２３及び溶接電源部２４を含む。
制御部２１は、例えば、プロセッサであり、プロセッサが記憶部２２に記憶されている作業プログラムを実行することで、マニピュレータ３及び溶接電源部２４を制御する。
通信部２３は、ネットワークＮａを介して接続される撮影装置１との通信を制御することや、通信ケーブルＮｂを介して接続されるマニピュレータ３との通信を制御する。
溶接電源部２４は、例えば、溶接ワイヤの先端とワークとの間にアークを発生させるために、予め定められた溶接の施工条件に従って、溶接電流及び溶接電圧等をマニピュレータ３に供給する。溶接の施工条件には、例えば、溶接条件、溶接開始位置、溶接終了位置、溶接距離及び溶接トーチの姿勢等のデータ項目が含まれる。溶接条件には、例えば、溶接電流、溶接電圧、溶接速度、ワイヤ送給速度及びワークの厚さ等のデータ項目が含まれる。溶接電源部２４は、ロボット制御装置２と別個に備えることとしてもよい。
撮影装置１は、例えば、デジタルカメラ付きのタブレット端末を用いることができるが、これに限定されず、デジタルカメラ付きの可搬型端末であってよい。可搬型端末には、例えば、ＡＲデバイス、スマートフォン、携帯情報端末（ＰＤＡ）、ノートＰＣ（パーソナルコンピュータ）等の持ち運び可能な端末を含むことができる。
撮影装置１は、例えば、制御部１１、記憶部１２、通信部１３、撮影部１４、座標取得部１５、表示部１６を含む。
制御部１１は、例えば、プロセッサであり、プロセッサが記憶部１２に記憶されているマーカ位置登録プログラム等のプログラムを実行することにより、撮影装置１の各部を制御する。
記憶部１２は、各種のプログラム及びデータを記憶する。各種のプログラムには、例えば、実施形態に係るマーカ位置登録プログラム等が含まれる。各種のデータには、例えば、マーカに関するマーカ情報や、マーカの配置に関するマーカ配置情報等が含まれる。マーカ情報及びマーカ配置情報について、以下に説明する。
マーカ情報には、例えば、マーカを特定するためのマーカＩＤ及び識別画像、マーカのサイズに関するサイズ情報（例えば四角形の各辺の長さや各頂点の角度）、並びにマーカの形状に関する形状情報（例えば正方形や長方形）等を含むことができる。マーカの詳細については後述する。
マーカ配置情報には、例えば、マーカＩＤごとに、そのＩＤのマーカに設けられる特定の位置（例えばマーカの四つのコーナー位置）ごとのロボット座標系上の位置情報等を含むことができる。なお、マーカ配置情報を、マーカ情報に含めて管理してもよい。
通信部１３は、ネットワークＮａを介して接続されるロボット制御装置２との通信を制御する。
撮影部１４は、例えば、レンズ及び撮像素子（イメージセンサ）を含むデジタルカメラであり、レンズで受光した被写体の光を電気信号（デジタル画像データ）に変換する。デジタルカメラは、二次元カメラ又は三次元カメラのいずれであってもよい。本実施形態に係る撮影部１４は、例示的に、マニピュレータ３の作業領域及びマーカを含む画像を撮影する。
図２に、本実施形態に係るマーカの一例を示す。同図に示すマーカＭの上部中央付近には、マーカを特定するためのマーカＩＤ（マーカ識別子）として“１”が付与され、マーカＭの四つのコーナー付近には、コーナー位置を特定するためのコーナーＮＯ（コーナー識別子）として“０”～“３”までの番号が付与されている。また、マーカＭの周縁部の内側には、マーカごとに模様や形状が異なる識別画像が付与されている。
なお、マーカは、図２に示すマーカに限定されず、撮影部１４に認識させることができるものであればよい。マーカとして、例えばＡＲマーカを用いることが好ましい。ＡＲマーカを用いることで、ＡＲマーカを認識したときに、そのＡＲマーカを基準にするカメラ座標系を、実際の映像に重ね合わせて表示させること等が簡易に実現できるようになる。また、マーカ識別子は、マーカＩＤに限定されず、例えば、番号や画像、形状又はそれらの組み合わせであってもよい。さらに、コーナー識別子は、コーナーＮＯに限定されず、例えば、記号や色、形状又はそれらの組み合わせであってもよい。
図１に示す座標取得部１５は、被写体に対応する座標データを取得する。被写体に対応する座標データは、例えば、距離計測センサにより取得することができる。距離計測センサとして、例えば、ＬｉＤＡＲ（Light Detection and Ranging）センサ、ミリ波センサ、超音波センサ等を用いることができる。なお、被写体に対応する座標データを、被写体を異なる複数の位置から撮影した複数の画像に基づいて算定し、取得することにしてもよい。
表示部１６は、例えば、タッチパネルを有するディスプレイであり、撮影部１４による被写体の映像を表示するとともに、作業者による操作指示等の入力を受け付ける。表示部１６は、例えばタッチパネルを有するディスプレイ装置として、撮影装置１とは別個に備えることとしてもよい。
図３は、本発明に係る撮影装置１の機能的な構成を例示する図である。撮影装置１は、機能的な構成として、例えば、表示制御部１１１と、登録部１１２と、カメラ座標系設定部１１３と、検出部１１４と、マーカ座標系設定部１１５と、算定部１１６とを有する。各部について、以下に順次説明する。
表示制御部１１１は、表示部１６に表示させる内容を制御する。表示部１６に表示させる内容として、例えば、入力フォームがある。
図４に、入力フォームの一例を示す。同図の入力フォームＦには、作業者が入力する入力項目として、例示的に、マーカＩＤ、コーナーＮＯ、Ｘ座標、Ｙ座標及びＺ座標が設けられている。入力フォームＦのマーカＩＤには、マーカＭに付与されているＩＤを入力する。入力フォームＦのコーナーＮＯには、マニュピレータ３の多関節アーム３１の先端に連結されるツールの先端（特定箇所）が指し示すマーカＭのコーナー位置に付与されている番号を入力する。入力フォームＦのＸ座標、Ｙ座標及びＺ座標には、ツールの先端に対応するロボット座標系の各座標を入力する。なお、入力フォームＦのＸ座標、Ｙ座標及びＺ座標に入力する座標は、ロボット座標系の座標であることには限定されず、座標取得部１５により取得される座標データの座標系と異なる座標系であればよい。
図４に加え、図５も参照しながら、具体的に説明する。図５に示すマーカＭは、図２のマーカＭと同じものである。この場合、マーカＭに付与されているＩＤ“１”を、例えば、図４の入力フォームＦの一行目のマーカＩＤに入力する。続いて、図５のツール３２ｔの先端は、マーカＭのコーナー番号“０”に対応するコーナー位置を指し示している。したがって、マーカに付与されているコーナー番号“０”を、図４の入力フォームＦの一行目のコーナーＮＯに入力する。続いて、図５のティーチペンダントＴＰには、ツール３２ｔの先端に対応するロボット座標系の座標として、“５０，５０，５０”が表示されている。したがって、図４の入力フォームＦの一行目のＸ座標、Ｙ座標及びＺ座標のそれぞれに、“５０”を入力する。
図３に示す登録部１１２は、入力フォームＦに入力された内容に基づいて、ロボット座標系におけるマーカＭの位置に関する情報を生成し、上述したマーカ配置情報に登録する。これにより、カメラ座標系のマーカＭの位置とロボット座標系のマーカＭの位置とを対応付けることが可能になる。
ここで、マーカＭにある四つのコーナー位置のうち、三つ以上のコーナー位置に関する情報を入力フォームＦに入力して、マーカ配置情報に登録することが好ましいが、これに限定されない。例えば、マーカＭにある一つのコーナー位置に関する情報を登録し、その登録した一つのコーナー位置に関する情報と、そのマーカＭに対応するマーカ情報に含まれるサイズ情報及び形状情報とに基づいて、他の三つのコーナー位置を算出し、マーカ配置情報に登録してもよい。
カメラ座標系設定部１１３は、三次元のカメラ座標系を設定する。カメラ座標系は、撮影部１４を基準にして設定する座標系であり、例えば、撮影部１４のレンズの中心等を原点にして三次元のカメラ座標系を設定することができる。
検出部１１４は、撮影部１４により撮影される画像の中から、マーカ配置情報に登録されているマーカを検出する。例えば、撮影画像からマーカに付与されている識別画像の模様若しくは形状、又はマーカの形状等を認識し、認識した内容に基づいて特定されたマーカがマーカ配置情報に登録されている場合に、そのマーカを登録済みのマーカとして検出してもよい。
マーカ座標系設定部１１５は、検出部１１４により検出されたマーカを基準にして三次元のマーカ座標系を設定する。例えば、マーカの特定の一点（基準点）を原点にして三次元のマーカ座標系を設定してもよい。検出されたマーカが複数存在する場合には、例えば、基準にするマーカを作業者が任意に選択してマーカ座標系を設定してもよいし、撮影画像の中心に最も近い位置にあるマーカを基準にしてマーカ座標系を設定してもよい。マーカの特定の一点は、例えば、マーカの中心位置であってもよいし、作業者がタッチパネル上で選択した位置であってもよい。
算定部１１６は、検出部１１４により検出されたマーカのカメラ座標系及びマーカ座標系それぞれにおけるコーナー位置に基づいて、カメラ座標系とマーカ座標系との座標を変換するための変換式を算定する。以下に、具体的に説明する。
まず、マーカＭのコーナーＮＯ“０”、“１”、“２”の各座標に基づいてカメラ座標系Ａ及びマーカ座標系Ｂをそれぞれ以下（１）のように定義する。ここで、コーナーＮＯ“０”のカメラ座標系の座標を（ｘ0、ｙ0、ｚ0）とし、同マーカ座標系の座標を（ｘ'0、ｙ'0、ｚ'0）とする。コーナーＮＯ“１”のカメラ座標系の座標を（ｘ1、ｙ1、ｚ1）とし、同マーカ座標系の座標を（ｘ'1、ｙ'1、ｚ'1）とする。コーナーＮＯ“２”のカメラ座標系の座標を（ｘ2、ｙ2、ｚ2）とし、同マーカ座標系の座標を（ｘ'2、ｙ'2、ｚ'2）とする。
Figure 0007340069000002
上記（１）のカメラ座標系Ａ及びマーカ座標系Ｂを用いてカメラ座標系とマーカ座標系との変換行列（Ａ０、Ｂ０、Ｍｔ）を算出する。この変換行列を構成する座標Ａ０、座標Ｂ０及び回転行列Ｍｔを、それぞれ以下（２）のように定義する。
Figure 0007340069000003
上記（２）のＶAは、以下（３）のように算出する。
Figure 0007340069000004
上記（３）のｖｅｃＡ0、ｖｅｃＡ1及びｖｅｃＡ2は、それぞれ以下（４）のように算出する。
Figure 0007340069000005
上記（２）のＶBは、以下（５）のように算出する。
Figure 0007340069000006
上記（５）のｖｅｃＢ0、ｖｅｃＢ1及びｖｅｃＢ2は、それぞれ以下（６）のように算出する。
Figure 0007340069000007
上記（１）から（６）に基づいて、座標取得部１５により取得されたカメラ座標系の点ｐAを、マーカ座標系の点ｐBに変換するための変換式は、以下（７）のように表すことができる。
Figure 0007340069000008
同様に、カメラ座標系の位置ベクトルの点ｖAを、マーカ座標系の位置ベクトルの点ｖBに変換するための変換式は、以下（８）のように表すことができる。
Figure 0007340069000009
同様に、マーカ座標系の点ｐBを、カメラ座標系の点ｐAに変換するための変換式は、以下（９）のように表すことができる。
Figure 0007340069000010
同様に、マーカ座標系の位置ベクトルの点ｖBを、カメラ座標系の位置ベクトルの点ｖAに変換するための変換式は、以下（１０）のように表すことができる。
Figure 0007340069000011
上記（７）から（１０）の変換式により、カメラ座標系とマーカ座標系とを対応付けることができ、マーカ配置情報により、マーカ座標系とロボット座標系とを対応付けることができる。これにより、カメラ座標系とロボット座標系とを対応付けることも可能となる。
上記（７）から（１０）の変換式を利用して、例えば、表示部１６にマニピュレータ３のモデルをＡＲ表示させることや、マニピュレータ３の動作を表示部１６上でシミュレーションすることを行うことができる。
図６を参照して、実施形態に係るマーカ位置登録プログラムをインストールした撮影装置１の動作の一例について説明する。
最初に、撮影装置１の制御部１１は、例えば、図４に示す入力フォームを表示部１６に表示させる（ステップＳ１０１）。入力フォームを表示させるトリガーは、例えば、作業者の操作指示であってもよいし、ティーチペンダントＴＰを接続するロボット制御装置２からの表示指示であってもよい。
続いて、撮影装置１の制御部１１は、入力フォームに入力された内容に基づいて、ロボット座標系におけるマーカＭのコーナー位置に関する情報を登録する（ステップＳ１０２）。
続いて、撮影装置１の撮影部１４は、マニピュレータ３の作業領域及びマーカＭを含む画像を撮影する（ステップＳ１０３）。
続いて、撮影装置１の制御部１１は、上記ステップＳ１０２で登録されたマーカＭを、上記ステップＳ１０３で撮影されている画像から検出する（ステップＳ１０４）。
続いて、撮影装置１の制御部１１は、上記ステップＳ１０４で検出されたマーカＭのカメラ座標系及びマーカ座標系それぞれにおけるコーナー位置に基づいて、カメラ座標系とマーカ座標系との座標を変換するための変換式を算定する（ステップＳ１０５）。
続いて、撮影装置１の制御部１１は、上記ステップＳ１０５で算定された変換式を用いて表示部１６にマニピュレータ３のモデルをＡＲ表示させることや、そのモデルを用いてマニピュレータ３の動作をシミュレーションする（ステップＳ１０６）。そして、本動作を終了する。
上述したように、実施形態に係るマーカ位置登録プログラムをインストールした撮影装置１によれば、マーカＭのコーナー位置を指し示しめしているマニュピレータ３のツール３２ｔの先端に対応するロボット座標系の座標を、その指し示しめしているコーナー位置に付与されたコーナーＮＯに対応付けて入力させることができ、入力されたマーカＭのコーナーＮＯとそのコーナーＮＯに対応するコーナー位置のロボット座標系の座標とを対応付けて登録することができる。
これにより、作業者がロボット座標系の軸方向を意識することなく、マーカＭに付与されたコーナーＮＯに従ってマーカＭのコーナー位置を入力フォームＦに入力し、そのコーナー位置のロボット座標系の座標を入力フォームＦに入力することで、ロボット座標系におけるマーカＭの位置を登録することができる。つまり、マーカＭの位置を登録する際に、ロボット座標系の軸方向を誤って登録することを防止することが可能となる。
また、マーカＭにはマーカＩＤがさらに付与され、入力フォームＦにはコーナーＮＯに対応付けてマーカＩＤを入力する項目がさらに設けられているため、マーカＭに付与されたマーカＩＤを、そのマーカＭに付与されたコーナーＮＯに対応付けて入力フォームＦに入力させ、登録することができる。これにより、マーカＩＤを誤って入力し、登録してしまうことを抑止することが可能となる。
さらに、マーカ配置情報に登録したマーカＭを撮影画像内で検出した場合に、そのマーカＭのカメラ座標系及びマーカ座標系それぞれのコーナー位置の座標を用い、カメラ座標系とマーカ座標系との座標を変換する変換式を算定することができる。そして、その変換式を用いることで、マーカＭとマニピュレータ３との位置関係を調整するキャリブレーションを容易に実施することが可能となる。
[変形例]
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。
例えば、上述した実施形態では、単一のマーカＭにあるコーナーそれぞれに対応するロボット座標系の位置を登録し、その登録した位置を基準にして変換式を算定しているが、これに限定されない。例えば、複数のマーカにおける複数のコーナーそれぞれに対応するロボット座標系の位置を登録し、その登録した位置を基準にして変換式を算定してもよい。
これにより、コーナー位置を複数のマーカＭに分散して設定することができるため、マーカＭを置く位置を調整する等し、コーナー位置間の距離を変更することが可能になる。座標変換時の誤差は、変換する際の基準点の間隔を広げると低減する傾向にあるため、マーカＭを配置する間隔を広げ、コーナー位置間の距離を大きくすることで、コーナー位置を基準にする座標変換の誤差を小さくすることが可能となる。
また、上述した実施形態では、図１に示す撮影部１４、座標取得部１５及び表示部１６を一つの装置に備える場合について説明したが、これに限定されず、例えば、撮影部１４、座標取得部１５及び表示部１６をそれぞれ撮影装置１とは別個の装置に分散して備えることとしてもよい。
また、上述した実施形態では、マーカの「コーナー位置」に「コーナー識別子」を付与し、「コーナー位置」を指し示すツール３２ｔの先端に対応するロボット座標系の座標を入力フォームＦに入力しているが、これに限定されない。マーカの「特定の位置」にその位置を特定する「位置識別子」を付与し、「特定の位置」を指し示すツール３２ｔの先端に対応するロボット座標系の座標を入力フォームＦに入力できればよい。
図７を参照して、具体的に説明する。同図に示すマーカＭａの周縁部の内側に付与されている識別画像Ｉには、マーカを特定するためのマーカ識別子として“１０”が付与され、マーカＭａの三つの特定の位置（×印の位置）付近には、特定の位置を特定するための位置識別子として“１”～“３”までの番号が付与されている。
また、上述した実施形態では、溶接ロボットを用いて説明したが、これに限定されない。例えば、ピッキング等を行うハンドリングロボットを含む産業用ロボットに本発明を適用することができる。
１…撮影装置、２…ロボット制御装置、３…マニピュレータ、１１…制御部、１２…記憶部、１３…通信部、１４…撮影部、１５…座標取得部、１６…表示部、２１…制御部、２２…記憶部、２３…通信部、２４…溶接電源部、３１…多関節アーム、３２…溶接トーチ、３２ｔ…ツール、１００…溶接ロボットシステム、１１１…表示制御部、１１２…登録部、１１３…カメラ座標系設定部、１１４…検出部、１１５…マーカ座標系設定部、１１６…算定部

Claims (6)

  1. コンピュータを、
    産業用ロボットの特定箇所がマーカの特定の位置を指し示しているときの当該特定箇所に対応するロボット座標系の座標を、前記マーカに付与されている前記特定の位置を特定するための位置識別子に対応付けて入力させる入力フォームを表示させる表示制御部、
    前記入力フォームに入力された内容に基づいて、前記ロボット座標系における前記特定の位置を登録する登録部、
    として機能させ、
    前記マーカには、当該マーカを特定するためのマーカ識別子がさらに付与され、
    前記入力フォームには、前記位置識別子に対応付けて前記マーカ識別子を入力する項目がさらに設けられている、
    マーカ位置登録プログラム。
  2. 前記産業用ロボットの作業領域及び前記マーカを含む画像を撮影する撮影部、
    前記撮影部により撮影される画像に基づいて、前記登録部により前記特定の位置が登録された前記マーカを検出する検出部、
    前記撮影部を基準にするカメラ座標系及び検出された前記マーカを基準にするマーカ座標系それぞれにおける、検出された前記マーカの特定の位置に基づいて、カメラ座標系とマーカ座標系との座標を変換するための変換式を算定する算定部、
    として前記コンピュータをさらに機能させる、
    請求項１記載のマーカ位置登録プログラム。
  3. 前記特定の位置は、単一のマーカにある三つ以上の箇所それぞれに対応する位置である、
    請求項１記載のマーカ位置登録プログラム。
  4. 前記特定の位置は、複数のマーカにおける複数の箇所それぞれに対応する位置である、
    請求項１記載のマーカ位置登録プログラム。
  5. 産業用ロボットの特定箇所がマーカの特定の位置を指し示しているときの当該特定箇所に対応するロボット座標系の座標を、前記マーカに付与されている前記特定の位置を特定するための位置識別子に対応付けて入力させる入力フォームを表示させる表示制御部と、
    前記入力フォームに入力された内容に基づいて、前記ロボット座標系における前記特定の位置を登録する登録部と、
    を備え、
    前記マーカには、当該マーカを特定するためのマーカ識別子がさらに付与され、
    前記入力フォームには、前記位置識別子に対応付けて前記マーカ識別子を入力する項目がさらに設けられている、
    マーカ位置登録装置。
  6. プロセッサにより実行される方法であって、
    産業用ロボットの特定箇所がマーカの特定の位置を指し示しているときの当該特定箇所に対応するロボット座標系の座標を、前記マーカに付与されている前記特定の位置を特定するための位置識別子に対応付けて入力させる入力フォームを表示させるステップと、
    前記入力フォームに入力された内容に基づいて、前記ロボット座標系における前記特定の位置を登録するステップと、
    を含み、
    前記マーカには、当該マーカを特定するためのマーカ識別子がさらに付与され、
    前記入力フォームには、前記位置識別子に対応付けて前記マーカ識別子を入力する項目がさらに設けられている、
    マーカ位置登録方法。
JP2022093872A 2022-06-09 2022-06-09 マーカ位置登録プログラム、マーカ位置登録装置、マーカ位置登録方法及びその方法に用いるマーカ Active JP7340069B1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2022093872A JP7340069B1 (ja) 2022-06-09 2022-06-09 マーカ位置登録プログラム、マーカ位置登録装置、マーカ位置登録方法及びその方法に用いるマーカ
CN202310347507.3A CN117213359A (zh) 2022-06-09 2023-04-03 非易失性的计算机可读取介质、标记位置登记装置、方法以及其中使用的标记
EP23166437.6A EP4289565A1 (en) 2022-06-09 2023-04-04 Device, method and program for marker position registration and corresponding marker
KR1020230044828A KR20230169836A (ko) 2022-06-09 2023-04-05 마커 위치 등록 프로그램을 기록한 비일시적인 컴퓨터 판독 가능 매체, 마커 위치 등록 장치, 마커 위치 등록 방법 및 그 방법에 이용하는 마커
TW112113379A TW202348378A (zh) 2022-06-09 2023-04-11 非易失性的電腦可讀取媒體、標記位置登記裝置、方法以及其中使用的標記
US18/137,086 US20230405827A1 (en) 2022-06-09 2023-04-20 Non-transitory computer readable medium recording thereon marker position registration program, marker position registration device, marker position registration method, and marker for use in the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022093872A JP7340069B1 (ja) 2022-06-09 2022-06-09 マーカ位置登録プログラム、マーカ位置登録装置、マーカ位置登録方法及びその方法に用いるマーカ

Publications (2)

Publication Number Publication Date
JP7340069B1 true JP7340069B1 (ja) 2023-09-06
JP2023180509A JP2023180509A (ja) 2023-12-21

Family

ID=85873638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022093872A Active JP7340069B1 (ja) 2022-06-09 2022-06-09 マーカ位置登録プログラム、マーカ位置登録装置、マーカ位置登録方法及びその方法に用いるマーカ

Country Status (6)

Country Link
US (1) US20230405827A1 (ja)
EP (1) EP4289565A1 (ja)
JP (1) JP7340069B1 (ja)
KR (1) KR20230169836A (ja)
CN (1) CN117213359A (ja)
TW (1) TW202348378A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012187651A (ja) 2011-03-09 2012-10-04 Omron Corp 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置
JP5272617B2 (ja) 2008-09-26 2013-08-28 株式会社Ｉｈｉ ロボット装置及びロボット装置の制御方法
JP2014180720A (ja) 2013-03-19 2014-09-29 Yaskawa Electric Corp ロボットシステム及びキャリブレーション方法
JP2018176404A (ja) 2017-04-21 2018-11-15 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP2020011339A5 (ja) 2018-07-18 2021-08-26 ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2959043B2 (ja) * 1990-05-09 1999-10-06 オムロン株式会社 画像処理装置
JP7237483B2 (ja) 2018-07-18 2023-03-13 キヤノン株式会社 ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法
WO2020192882A1 (en) * 2019-03-25 2020-10-01 Abb Schweiz Ag Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system
JP7359633B2 (ja) * 2019-10-17 2023-10-11 ファナック株式会社 ロボットシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5272617B2 (ja) 2008-09-26 2013-08-28 株式会社Ｉｈｉ ロボット装置及びロボット装置の制御方法
JP2012187651A (ja) 2011-03-09 2012-10-04 Omron Corp 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置
JP2014180720A (ja) 2013-03-19 2014-09-29 Yaskawa Electric Corp ロボットシステム及びキャリブレーション方法
JP2018176404A (ja) 2017-04-21 2018-11-15 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP2020011339A5 (ja) 2018-07-18 2021-08-26 ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法

Also Published As

Publication number Publication date
TW202348378A (zh) 2023-12-16
KR20230169836A (ko) 2023-12-18
CN117213359A (zh) 2023-12-12
EP4289565A1 (en) 2023-12-13
JP2023180509A (ja) 2023-12-21
US20230405827A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
US20200368918A1 (en) Robot system
US9199379B2 (en) Robot system display device
US20090234502A1 (en) Apparatus for determining pickup pose of robot arm with camera
JP7340069B1 (ja) マーカ位置登録プログラム、マーカ位置登録装置、マーカ位置登録方法及びその方法に用いるマーカ
EP4177015A1 (en) Robot teaching system
EP4169676A1 (en) Robot teaching method and robot working method
JP2024025076A (ja) マーカ位置登録装置、マーカ位置登録プログラム及びマーカ位置登録方法
JP2024025074A (ja) マーカ位置登録装置、マーカ位置登録プログラム及びマーカ位置登録方法
JP7228070B1 (ja) 点群データ合成装置、点群データ合成プログラム、点群データ合成方法及び点群データ合成システム
JPH07129231A (ja) 非接触点教示装置
TWI818717B (zh) 作業程式作成系統以及作業程式作成方法
WO2024047808A1 (ja) ロボット座標系に搬送装置座標系を設定する装置、及び方法
KR102679017B1 (ko) 점군 데이터 합성 장치, 점군 데이터 합성 프로그램을 기록한 비일시적인 컴퓨터 판독 가능 매체, 점군 데이터 합성 방법 및 점군 데이터 합성 시스템
EP4166267A1 (en) Welding line detection system
WO2023040897A1 (zh) 一种手术机器人的空间注册位姿计算方法和系统
JP2023069274A (ja) 座標系変換システム及び座標系変換方法
JP2023017440A (ja) 画像処理装置
JP2024044796A (ja) 画像生成装置
JP2023017437A (ja) 画像処理装置、及びロボット配置方法
JP2023119466A (ja) 画像処理装置
JP2024044795A (ja) 情報処理装置
CN117519469A (zh) 一种应用于人机交互的空间交互装置及方法
CN116086311A (zh) 标志检测装置以及机器人示教系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230612

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230825

R150 Certificate of patent or registration of utility model

Ref document number: 7340069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150