JP6598814B2 - 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法 - Google Patents

情報処理装置、情報処理方法、プログラム、システム、および物品製造方法 Download PDF

Info

Publication number
JP6598814B2
JP6598814B2 JP2017075607A JP2017075607A JP6598814B2 JP 6598814 B2 JP6598814 B2 JP 6598814B2 JP 2017075607 A JP2017075607 A JP 2017075607A JP 2017075607 A JP2017075607 A JP 2017075607A JP 6598814 B2 JP6598814 B2 JP 6598814B2
Authority
JP
Japan
Prior art keywords
information
symmetry
gripping
posture
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017075607A
Other languages
English (en)
Other versions
JP2018176311A (ja
Inventor
潤 庭山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017075607A priority Critical patent/JP6598814B2/ja
Priority to EP18162477.6A priority patent/EP3385038A1/en
Priority to US15/944,618 priority patent/US20180290300A1/en
Publication of JP2018176311A publication Critical patent/JP2018176311A/ja
Application granted granted Critical
Publication of JP6598814B2 publication Critical patent/JP6598814B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1687Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1653Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40053Pick 3-D object from pile of objects
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40583Detect relative position or orientation between gripper and currently handled object
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45063Pick and place manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理装置、情報処理方法、プログラム、システム、および物品製造方法に関する。
工場などの生産ラインにおいて、バラ積みされた物体の中から一個体をビジョンシステムを用いて特定し、その位置および姿勢(以下、「位置・姿勢」とも記す)を計測して、ロボットに取り付けたハンド(把持部)により把持を行う技術が近年開発されている。バラ積みされたワークは多様な姿勢をとることになるため、このビジョンシステムにおいて、ワークの3次元空間内での位置とともに3軸姿勢も求めることが行われている。これに加えて、認識したワークに対して、ハンドがどのような位置、姿勢に基づいてアプローチして把持を行うかを教示しておき、ワークとハンドとの位置・姿勢に基づきハンドを動作させることで、バラ積み中の任意の位置・姿勢の物体のピッキングを行う。ここで、位置・姿勢を認識したワークに対し、予め設定しておいた把持方法でハンドが把持可能であるかどうかを判定する必要がある(把持可否判定)。なぜなら、ワークを把持するためのハンドの位置・姿勢(把持位置姿勢)は、3次元空間においてハンドが取り得ない位置・姿勢であったり、認識したワークとは別の物体と干渉する位置・姿勢であったりする可能性を持っているからである。様々な位置・姿勢を取りうるワークに対し、ユーザが設定した把持位置姿勢でハンドが把持できるかどうかの判定は、ワークの形状や山積みの状態によるところが大きい。
そのため、予め生産ラインと同じようなバラ積み状態を作った上でワークの位置・姿勢の認識から把持可否判定まで実施し、把持可否判定の結果を受けて把持方法の最適化のための検討を事前に実施しておくことが望ましい。そのような事前検討(ワーク把持テスト)を効率的に実施するために、ワークの認識結果と把持可否判定結果を画面に表示する技術が知られている。ここでは、ユーザは画面に表示された情報を参考にすることで、ハンドの把持方法の改善、或いはワークの計測条件の改善を実施できる。図27は画面表示の一例である。図28にワークに対するハンドの把持位置姿勢の教示例を示す。把持位置姿勢の教示方法としては、実際に計測空間内にワークとロボットを配置した上で、予めワークの認識位置姿勢の情報とロボットの駆動によるハンドの把持位置姿勢の情報とを取得しておく方法が知られている。
図28のように予め把持位置姿勢を教示してある前提で、図27の画面2701においてワークの認識結果及びハンドの把持可否判定結果を確認する。画面2701上で、計測に関する諸パラメータを設定した上でテスト開始ボタン2702を押下することでワークの認識処理が実施される。ワークの位置・姿勢が特定されると、予め教示した把持情報を用いてハンドの把持位置姿勢が特定され、把持可否判定が実施される。ワークの位置・姿勢、ハンドの把持位置姿勢、及び把持可否判定結果は、撮影画像2703に重畳表示される。ユーザは重畳表示されるワーク形状モデル2705とハンド形状モデル2706により、どのワークが認識され、ハンドがどのようにワークを把持するのかを確認することができる。また、認識結果一覧2704には、ワークの位置・姿勢推定の評価値等の順番で、認識したワークごとの位置・姿勢とハンドの把持可否判定結果が表示される。ユーザは認識結果一覧2704に表示される内容を参考に、把持方法の改善や計測パラメータの改善を実施することができる。
ここで、把持しようとする物体が形状の対称性をもっている場合は、認識した物体の姿勢に対し、対称軸について回転もしくは並進させたとしても物体の見え方が変わらない。このような物体については、認識した姿勢に対するハンドの把持位置姿勢が一意的に決まらないため、図27に示したように、認識した姿勢ごとに一意的にハンドの把持位置姿勢を表示することができなくなる。物体がハンドの位置・姿勢に関して自由度を持つ場合にその情報を画面に表示する技術としては、特許文献1に示されるように、自由度をもつ方向を矢印等で画面上に重畳表示する方法が知られている。
特表2015−524560号公報
しかしながら、特許文献1の方法では、自由度を持つ方向について表示するが、当該自由度における把持部の複数の位置・姿勢のそれぞれで物体を把持可能であるかの情報は表示しない。そのため、ユーザは、把持部の位置・姿勢が自由度をもっていることは知ることができるが、当該自由度における把持部の把持可能な各位置・姿勢は知ることができない。本発明は、例えば、物体を把持するのに把持部の位置・姿勢に自由度を有する当該物体に対する当該把持部による把持の可否の判定に有利な情報処理装置を提供することを目的とする。
上記課題に鑑み、本発明の一側面としての情報処理装置は、把持部による物体の把持の可否を判定する情報処理装置であって、前記把持部により把持されるべき物体に対する前記把持部の位置および姿勢の少なくとも一方の情報としての第1情報と、前記物体の対称性の情報としての第2情報と、前記把持部により把持されるべき前記物体の位置および姿勢の少なくとも一方の情報としての第3情報とを得、前記第1ないし第3情報に基づいて、前記把持部により把持されるべき前記物体に対して前記対称性に基づいてとりうる前記把持部の位置および姿勢の少なくとも一方の複数のそれぞれに関して前記可否の判定を行う処理部を有し、前記処理部は、前記把持部の位置および姿勢の少なくとも一方の複数のそれぞれに関する前記判定の結果を表示部に表示させる
本発明によれば、例えば、物体を把持するのに把持部の位置・姿勢に自由度を有する当該物体に対する当該把持部による把持の可否の判定に有利な情報処理装置を提供することができる。
発明の概念及び第1実施形態の情報処理装置を示した図。 第1実施形態におけるワークモデルとハンドモデルを示す図。 第1実施形態における回転対称性と並進対称性を説明する図。 第1実施形態における対称性情報を入力する画面の例を示す図。 第1実施形態における相対把持位置姿勢の登録方法の例を説明する図。 第1実施形態の自由度情報提示部とハンド位置姿勢指定部の例を示す図。 第1実施形態におけるワーク認識テスト画面の例を示す図。 第1実施形態における処理手順を示す図。 第1実施形態の自由度情報提示部における表示方法の例を説明する図。 第1実施形態の自由度情報提示部及びハンド位置姿勢指定部の変形例の図。 第2実施形態におけるワークモデルと自由度情報提示部を示す図。 第2実施形態における対称性情報を入力する画面の例を示す図。 第2実施形態における処理手順を示す図。 第4実施形態の自由度情報提示部とハンド位置姿勢指定部の例の図。 第4実施形態の変形例における処理手順を示す図。 第5実施形態におけるワークモデルを示す図。 第5実施形態の自由度情報提示部とハンド位置姿勢指定部の例を示す図。 第6実施形態におけるワークモデルを示す図。 第6実施形態における処理手順を示す図。 第6実施形態における対称性情報を入力する画面の例を示す図。 第6実施形態の自由度情報提示部とハンド位置姿勢指定部の例を示す図。 第7実施形態におけるワークモデルを示す図。 第7実施形態における処理手順を示す図。 第7実施形態の自由度情報提示部とハンド位置姿勢指定部の例を示す図。 本願発明にかかる情報処理装置のハードウェア構成を示す図。 ロボットアームを含む制御システムを示す図。 従来のワーク認識結果及び把持可否判定結果の確認画面を示した図。 ハンドの把持位置姿勢の教示例を示した図。
発明の考え方は、図1(a)に示すように、把持部(ハンド)による、少なくとも一部が形状の対称性を持つ物体(ワーク)の把持可否を判定する処理部が、物体、把持部などの情報に基づいて、複数の場合に対する把持可否の判定を行う。前記情報には、物体の一部を把持するために教示された該一部に対する把持部の位置および姿勢の情報としての第1情報、前記一部の対称性の情報としての第2情報がある。また、把持部により把持されるべき物体の位置および姿勢の情報としての第3情報、把持部により把持されるべき物体の周りにある物体の配置の情報としての第4情報がある。前記複数の場合は、例えばハンドが自由度をもつ範囲内でハンドが取り得る把持姿勢が複数存在する場合に係わり、把持部により把持されるべき物体に対して前記対称性に基づいてとりうる把持部の複数の位置および姿勢に関する。物体の対称性の情報、把持部の把持位置姿勢の情報、把持されるべき物体の情報、把持されるべき物体の周りの環境の情報などは入力として処理部に入れることができる。判定結果は、表示部などに出力することができる。これにより、例えば、把持部(ハンド)の把持位置姿勢が自由度をもつような形状の物体(ワーク)について、把持可否判定の結果、そのときの把持位置姿勢の情報などをユーザが画面上で容易に確認できる情報処理装置などを実現することができる。
以下に、本発明の実施形態を添付の図面に基づいて詳細に説明する。本発明に係る実施形態を説明するのに先立ち、各実施形態に示す情報処理装置が実装されるハードウェア構成について、図25を用いて説明する。図25は、情報処理装置のハードウェア構成図である。同図において、CPU2501は、バス2500を介して接続する各デバイスを統括的に制御する。オペレーティングシステム(OS)をはじめ、各実施形態に係る処理プログラム、デバイスドライバ等はROM2302に記憶されており、ランダムアクセスメモリ(RAM)2503に一時記憶され、CPU2501によって適宜実行される。また、入力I/F2504は、外部の装置(センサ、走査装置など)から、情報処理装置で処理可能な形式の入力信号を入力する。また、出力I/F2505は、外部の装置(例えばロボットコントローラ)が処理可能な形式の出力信号を出力する。
<第1実施形態>
第1実施形態では、対称回数が十分に大きな値となる回転対称性をもつ形状(回転体形状)を含むワークについて、ハンドの把持可否判定結果及びハンド把持位置姿勢を取得して、表示する方法について説明する。具体的には、予め教示しておいた、ワーク内の形状の回転対称性を持つ箇所についてのハンド把持位置姿勢の情報を用いて、教示した把持位置姿勢を回転対称軸周りに回転させた場合の各回転角度における把持可否判定結果を画面上に表示する。また、ユーザが指定した回転角度に対応した姿勢で、ハンドモデルを画面上に重畳表示する。
図1(b)は第1実施形態の情報処理装置の図である。本実施形態の情報処理装置100は、図1(b)に示すように、モデル情報保持部101、ワークの位置・姿勢の算出部102、対称性情報設定部103、把持教示部104、ハンド把持位置姿勢情報保持部105、把持可否判定部106、表示部107を含む。ハンド把持位置姿勢情報保持部は、以下の説明ではハンド情報保持部と略す。表示部107はさらに、自由度情報提示部108、ハンド位置姿勢指定部109、モデル表示部110を含む。また、情報処理装置100は撮像装置111に接続されているが、撮像装置111を含めて一体として情報処理装置として構成しても良い。
以下、情報処理装置100の各部について説明する。
モデル情報保持部101は、バラ積みされているワークの3次元形状モデルと、認識したワークを保持するハンドの3次元形状モデルを保持する。これらの3次元形状モデルには、例えば、ワーク及びハンドの3次元形状を複数ポリゴンの組み合わせにより近似表現したポリゴンモデルを用いることができる。各ポリゴンは、表面上の位置(3次元座標)と、面を近似するポリゴンを構成するための各点の連結情報によって構成される。
なお、ポリゴンは三角形で構成されるのが一般的であるが、四角形や五角形であっても良い。その他、表面点の3次元座標とその連結情報により物体形状を近似表現できるポリゴンモデルであれば如何なるものでもよい。或いは、3次元形状モデルとして、CADデータのように、B−Rep(Boundary−Representation)表現と呼ばれる、区分されたパラメータ曲面の集合で形状を表現したモデルであってもよい。その他、ワーク及びハンドの3次元形状を表現可能なモデルであれば如何なるものであってもよい。
ワークモデルには予め重心位置等を基準とした座標系(ワーク座標系)が設定されているとする。図2(a)に本実施形態で取り扱うワーク201のモデル形状とワーク座標系を示す。また、ハンドモデルには予め重心位置等を基準とした座標系(ハンド座標系)が設定されているものとする。図2(b)に本実施形態で取り扱うハンド202のモデル形状とハンド座標系を示す。図2(b)におけるハンド形状は、二指のハンドを開いた状態の形状を表したものである。ハンドモデルはワーク形状に応じて把持に適したものを利用すればよい。例えば、二指ではなく三指の開閉ハンドを用いる場合や吸着式のハンドを用いる場合においても、利用するハンド形状に合わせた3次元形状モデルを入力すればよい。
モデル情報保持部101は、メモリやハードディスクなどで構成されるが、記憶媒体等からワークモデル及びハンドモデルを取得してもかまわない。保持されるワークモデルは、対称性情報設定部103、把持教示部104、表示部107内のモデル表示部110に入力される。また、保持されるハンドモデルは、把持教示部104、モデル表示部110に入力される。
ワーク位置姿勢算出部102は、バラ積みされた多数のワークの中から一個体を検出するとともに、検出したワークの位置・姿勢を撮像装置111における座標系(センサ座標系)で算出する。本実施形態では、撮像装置111により距離画像及び濃淡画像を取得可能である。まず、取得した距離画像及び濃淡画像に対して事前学習した分類木を用いた投票を行うことで、バラ積み中からワーク一個体の検出及びおおまかな位置・姿勢を算出する。その後、算出したおおまかな位置・姿勢から、ワークの3次元形状モデルを距離画像及び濃淡画像にフィットするように位置・姿勢を補正することで、ワークの高精度な位置・姿勢を算出する。ただし、センサ座標系におけるワークの位置・姿勢の算出方法は他の方法であってもかまわない。例えば、前段の一個体の検出において、多数の姿勢から観測した画像とのパターンマッチングを行ってもよい。或いは、後段の高精度な位置・姿勢の算出において、距離画像のみ或いは濃淡画像のみを用いてフィッティングを行ってもよい。その他、バラ積み中から把持対象となる一個体を発見し、その位置・姿勢を算出できる方法であれば、ここで述べた以外のいかなる方法であってもよい。
ワーク位置姿勢算出部102は、算出したセンサ座標系におけるワークの位置・姿勢について、事前にキャリブレーションにより求めておいた「撮像装置・ロボット間の位置姿勢」を用いて、ロボット座標系におけるワークの位置・姿勢へ変換することができる。ワーク位置姿勢算出部102で算出されたワークの位置・姿勢の情報は、ハンド情報保持部105に入力される。
対称性情報設定部103は、ワーク形状の対称性についての情報を設定する。具体的には、モデル情報保持部101から取得したワークモデルについて、形状の対称性をもつ箇所の対称軸の情報と、対称性の属性の情報と、対称性の回数の情報と、形状の対称性をもつ範囲の情報を設定する。ここで、対称軸の情報は、軸の原点を表す3次元座標と、軸の方向を表す3次元ベクトルの組み合わせで構成される。対称性の属性とは、図3(a)に示される実線矢印の方向に対称性をもつような回転対称性、もしくは図3(b)に示される実線矢印の方向に対称性をもつような並進対称性を指す。ここで、回転対称性とは、事前に設定したハンドの把持位置姿勢を対称軸周りに回転させても、ハンド視点での局所的な領域においてワークの位置・姿勢が同じように見えているような関係を指す。また、並進対称性とは、事前に設定したハンドの把持位置姿勢を対称軸に沿った方向に並進させても、ハンド視点での局所的な領域においてワークの位置・姿勢が同じように見えているような関係を指す。
対称性の回数とは、対称軸について対称性が維持される回転角度もしくは並進距離から決まる値である。例えば、円錐形状や円柱形状は、対称軸に対して回転対称な形状であるが、対称軸周りにこれらの形状を微小に回転させてもハンド視点からのワークの見えが変化しないため、これらは無限大(無数)の対称性の回数をもつ。一方、角錐形状や角柱形状も回転対称な形状であるが、360/N度(Nは2以上の整数)回転させると自らと重なる形状であるため、これらの形状の対称性の回数はNとなる。形状の対称性をもつ範囲とは、ワークの形状の一部が対称性を持っている場合に、対称性をもつ領域を指定するための情報である。例えば、回転対称な形状のワークの場合は、対称軸周りの角度の範囲が指定され、並進対称な形状のワークの場合は、対称軸に沿った方向の長さの範囲が指定される。対称性情報設定部103で設定された情報(対称性情報)は、ワークモデル情報、ハンドモデル情報と合わせてハンド情報保持部105に入力される。
対称性情報設定部103における対称軸の情報の設定方法としては、まずワークモデルを仮想的な3次元空間上に表示し、ワークモデルに登録されているワーク座標系を並進移動もしくは回転移動させた座標系(対称形状座標系)を生成する。そして対称形状座標系のX、Y、Z軸のいずれかをワークの対称軸として登録する方法を用いるものとする。この場合の対称形状座標系の生成は、不図示のGUIに表示されたワークモデル及びワーク座標系を確認しながら不図示の操作部でワーク座標系からの移動量の情報を与えるようなユーザ操作によって実施される。図4に、対称性情報を設定するGUIの例を示す。図4においては、画面上でワーク座標系からの移動量を、図中のX、Y、Z各軸についての並進移動量と回転移動量で指定することで、対称形状座標系を設定できる。また、このGUI400を用いて、指定した対称形状座標系X’、Y’、Z’軸のうち、対称軸として登録する軸を指定することもできる。さらに、対称性の属性について、回転対称か並進対称のどちらかを選択でき、選択した対称軸の対称回数や、対称形状の範囲を指定することもできる。対称回数については、無限回数か有限回数かを選択でき、有限回数を選択した場合には、さらに具体的な対称回数を入力することができる。
また、対称形状の範囲の指定方法としては、対称性の属性が回転対称の場合には、対称軸周りの或る角度を基準とした回転角度の範囲を開始角度と終了角度で指定できる。対称性の属性が並進対称の場合には、対称軸方向の長さの範囲を対称軸における開始座標と終了座標で指定できる。上記の諸パラメータを設定後、登録ボタンを押下することで、対称性情報が登録される。このとき登録される対称性情報には、固有のID(対称性情報ID)が割り振られ、対称性情報は対称性情報IDに紐づけられて管理される。対称性情報IDは画面上で指定することもでき、ユーザは登録する対称性情報に任意の対称性情報IDを割り振ることができる。ここで、1つの対称形状座標系について登録できる対称軸や対称軸に紐づく情報は1つだけとは限らず、ワークの形状によっては2つまで設定することができる。例えば、図4ではZ’軸方向のみを対称軸として設定しているが、ワークの形状によっては、X’軸もしくはY’軸を対称軸に追加することもでき、それぞれの対称軸についての対称回数や、対称形状の範囲も設定することができる。
図4で示したGUI400においては、仮想的な3次元空間401にワークモデル201、ワークモデル201のワーク座標系、設定した対称形状座標系、及び対称形状の範囲を表示することができ、ユーザはこれらを確認しながら対称性情報を設定できる。なお、図4では、1つの対称形状座標系を指定してから、それに紐づく対称性情報を指定しているが、設定できる対称性情報の数は1つに限らず、複数設定しても構わない。その場合、一度必要な情報を入力してから登録ボタンを押下して、その後、対称性情報IDを変更した上で画面上を操作して情報を変更し、登録ボタンを押下することで、複数の把持情報を登録することができる。本実施形態では、対称性情報を入力するための専用画面を用い、ユーザが必要な情報を入力することで対称性情報を設定する方法を説明した。しかし、これに限らず、必要な情報が記載されたデータファイルを予め用意しておき、これを読み込むことで対称性情報を設定しても良い。対称軸を設定する別の方法としては、上記の方法以外に、軸の原点座標やベクトル成分の値をユーザが直接入力することで設定しても構わない。また、ワーク座標系において対称軸を特定できるのであれば、対称軸は任意の軸であって構わない。さらに、対称軸として設定される情報は、対称軸の原点と対称軸の方向の情報に限らず、2組の3次元座標を対称軸ベクトルの始点と終点として設定してもよい。
また、本実施形態では、ユーザ操作により対称形状座標系をユーザ操作により実施する方法を用いるが、それに限らず、ワークモデルの形状情報から直接対象軸を推定しても構わない。例えば、平面、B−Spline曲面、トーラス曲面、円柱、円錐、円といったいずれかの属性を持つ解析曲面を輪郭線で切り取ったトリム曲面の集合であるワークモデルを用い、各解析曲面における固有の対称軸を算出しておく。ここで、固有の対称軸とは、例えば、解析曲面が回転対称であればその解析曲面における回転中心軸を指す。
次に、ワークモデルを構成する解析曲面に対応する対称軸ごとに、他の対称軸との始点の距離の類似度、軸の方向の類似度を算出する。例えば、解析曲面の数がMであるとして、そのうちの解析曲面F(i=1〜M)の対称軸について、モデル座標系における始点位置が3次元座標p、方向が三次元ベクトルnで表されるとする。一方、Fとは異なる解析曲面F(j=1〜M)について、モデル座標系における始点位置が3次元座標p、方向が三次元ベクトルnで表されるとする。このとき、2軸間の始点間距離をd、Fの始点をFの対称軸へ投影した際のFの対称軸の始点との距離をdとすると、距離の類似度αijは以下のように定義できる。
αij=1/||d−d||
このとき、d=||p−p||、d=||(p−p)・n||である。
また、FとFの対称軸の方向の類似度βijは以下のように定義できる。
βij=||n・n||
次に、αij、βijについて、事前に設定した閾値以上であるかどうか判断し、閾値以上である場合はFijの表面積Sを求め、その総和をFの評価値Vとして算出する。この処理をM回繰り返し実施し、最も評価値の高い対称軸を抽出する。
把持教示部104は、モデル情報保持部101で保持されているワークモデルのワーク座標系とハンドモデルのハンド座標系に基づき、ワークの把持を行う際のワークとハンドとの相対位置姿勢(相対把持位置姿勢)を登録する。相対把持位置姿勢の登録には、例えば図5に示すように、ワークモデル201及びハンドモデル202を仮想空間上で操作して把持の際の幾何関係と同様に配置し、そのときの相対位置姿勢を取得する。或いは、実環境に配置したワークの位置・姿勢をビジョンシステムで認識後、ハンドがそのワークを把持できる位置姿勢にロボットアームを移動させ、そのときのハンドの位置姿勢を取得することで両者の相対位置姿勢を算出してもよい。その他、把持時のワークとハンドとの相対位置姿勢を決定できる方法であれば、相対把持位置姿勢の登録はいかなる方法で実施してもよい。ここで、一度に登録される把持情報は1つであり、登録される把持情報には固有のID(把持ID)が割り振られ、それぞれ管理される。
ハンド情報保持部105は、入力されたワークの位置・姿勢の情報と相対把持位置姿勢の情報とワークの対称性情報を用いて、ワークの形状の対称性を考慮したハンド把持位置姿勢の情報を算出して保持する。ここで算出されるハンド把持位置姿勢は、認識したワークの位置・姿勢に対して1対1の関係ではなく、把持IDごとに、対称軸について対称回数の分だけの把持位置姿勢が算出される。例えば、ワークが回転対称な形状であり、かつ対称回数がNで、対称形状の範囲が対称軸周りに360度である場合は、次のようになる。ワークの位置・姿勢と把持情報から求めたハンド把持位置姿勢(基準把持位置姿勢)について、対称軸周りに360/N度ずつ回転させた位置姿勢が算出される。このとき算出される位置姿勢の数は、基準把持位置姿勢を含めて計N姿勢である。算出された把持位置姿勢は、対称性情報のうち、対称軸の情報に紐づけられて登録される。
把持可否判定部106は、ハンド情報保持部105から入力された各ハンド把持位置姿勢(場合)について、把持可能であるか否かの判定処理を行う。把持の可否を判定する項目は、例えば3次元空間中のハンド姿勢の制約や、認識したワーク以外の物体とハンドとの干渉の有無である。把持可否判定部106における判定結果は、判定に用いられたハンド把持位置姿勢と1対1に紐づけられて保持される。
把持可否判定部106は、表示部107内の自由度情報提示部108またはハンド位置姿勢指定部109から入力された情報に従って、ハンド情報保持部105で算出されたすべての把持位置姿勢のうちの一部についてのみ把持可否判定を実施することもできる。
表示部107は、画面上にワークモデルやハンドモデルを重畳表示する。また、ハンド把持位置姿勢の自由度について、自由度をもつ範囲と、その自由度におけるパラメータに対する把持可否判定結果を表示する。表示部107はさらに、重畳表示するハンドモデルの位置姿勢を指定する。このような表示部107の機能は、表示部107に含まれる自由度情報提示部108、ハンド位置姿勢指定部109、モデル表示部110によって実現される。
自由度情報提示部108は、ワークの持つ形状の対称性によって生じるハンド把持位置姿勢の自由度について、自由度をもつ範囲と、その自由度におけるパラメータに対する把持可否判定結果を画面上に表示する。具体的には、対称性情報のうち、対称性をもつ範囲の情報と、対称性をもつ範囲内で算出された把持位置姿勢における把持可否判定結果を1つの表示器を用いて表示する。図6は、回転対称なワークで、かつ対称回数が無限大(無数)で360度の範囲で対称性をもつ場合についての自由度提示用表示器の例である。図6において、ハンド把持位置姿勢の自由度は、対称軸周りの回転角の基準を0度とした場合に−180度から180度の範囲で1次元的な表示器601に表現される。また、表示器601で表現されている回転角ごとの把持可否判定結果は、把持可能な場合と把持不可な場合のそれぞれに対応した色(図6では前者を白色で示し、後者を黒色で示す)を用いて表示器の中で表現される。この表示器601によって、ユーザは、登録した把持情報においてハンド把持位置姿勢の自由度をもつ範囲、及び各把持位置姿勢における把持可否判定結果を容易に把握することができる。なお、把持可否判定結果を表現するのは色の違いに限らず、2次元的なグラフで表現してもよく、例えば横軸の値を回転角度、縦軸の値を把持可否判定結果(1もしくは0の2値での表現)に対応させて表現しても構わない。
また、自由度情報提示部108では、対称回数が無限大の対称性をもつワークなどについて、近似値を用いて対称回数の制限を行うなど、ハンド情報保持部10で算出された把持位置姿勢のうちの、把持可否判定を実施する位置姿勢を選択することができる。その場合、自由度情報提示部108で選択された把持位置姿勢の情報は、把持可否判定部106に送られる。
ハンド位置姿勢指定部109は、自由度情報提示部108において提示されたハンドの把持位置姿勢の自由度についてパラメータを指定することにより、モデル表示部110で表示させるハンドモデルの把持位置姿勢を指定する。図6において、表示させるハンドの把持位置姿勢指定用の表示器602を示す。表示器602では、表示器601と同様に対称軸周りの回転角が1次元的に表現されており、可動な部分である可動部分のスライダー603を左右に移動させることで、表示器601で表現された対称軸周りの回転角度に対応する把持位置姿勢を指定することができる。指定するハンドの把持位置姿勢は、任意のタイミングで変更することが可能である。なお、図6においては、ハンド位置姿勢指定部109は自由度情報提示部108とは別の表示器として示しているが、両者の機能を合わせて1つの表示器として表現してもよい。例えば、表示器602におけるスライダー603を表示器601内に設けてもよい。
また、ハンド位置姿勢指定部109では、ハンドの把持位置姿勢の自由度が2つ以上ある場合には、指定したパラメータに従属する把持位置姿勢を選択することができる。その場合、ハンド位置姿勢指定部109で選択された把持位置姿勢の情報は、把持可否判定部106に送られる。
モデル表示部110は、認識したワークの位置・姿勢でワークモデルを重畳表示するとともに、ハンド位置姿勢指定部109で指定されたハンドの把持位置姿勢でハンドモデルを画面上に重畳表示する。図7に、ワーク認識テストで用いる表示部である画面700における、第3表示部分である撮影画像表示画面702の例を示す。ワーク認識テスト画面700においては、ワーク計測に関するパラメータを設定後にテスト開始ボタンを押下することで、バラ積み状態のワークの撮像から把持可否判定までの一連の処理が実施される。また、第1表示部分である認識結果一覧701においては、ワークの位置・姿勢推定の評価値等の順番で、認識したワークごとの位置・姿勢とハンドの把持可否判定結果が表示される。ここで、認識結果一覧に表示される結果のうち、どれか1つの行を指定することで、指定したワークに対応する認識結果が撮影画像表示画面702に反映される。撮影画像表示画面702では、認識結果一覧701で指定されたワークの位置・姿勢でワークモデル201が重畳表示される。撮影画像表示画面702では、その他に、第2表示部分である表示器602で指定されたハンドの把持位置姿勢でハンドモデルが重畳表示される。
ここで、表示されるハンドモデルの色は、第1表示部分である表示器601で表示されている把持可否判定結果を反映しても良い。ユーザは表示するワークの位置・姿勢を認識結果一覧701から選択し、表示するハンドの把持位置姿勢を指定する。ユーザはそのように操作することで、ワークがどの位置・姿勢で認識され、そのワークを把持するハンドの位置姿勢がどのような自由度をもち、さらに想定される把持位置姿勢における把持可否判定結果がどうであるのかを容易に確認できる。把持可否判定結果はワークの位置・姿勢によっても変わるため、ユーザは認識結果一覧701に表示されている行の選択を切り替えることで、ワークごとの把持可否判定結果を確認することができる。ユーザは様々な位置・姿勢のワークについてのハンド把持位置姿勢の把持可否判定結果を確認することで、設定したハンド把持方法が、バラ積み状態のワークの把持に十分適しているかどうかを判断することができる。表示器602においてスライダー603を左右に動かした場合、スライダー603によって新たに指定された対称軸周りの回転角度が撮影画像表示画面702中で表示されているハンドモデル202の姿勢に反映される。つまり、スライダー603を動かすと、撮影画像表示画面中のハンドモデル202の姿勢が切り替わっていくように見える。また、スライダー603で選択した把持位置姿勢における把持可否判定結果が表示されており、ユーザは把持可否判定結果の詳細を確認することができる。
撮像装置111は、ワークの位置・姿勢を認識するために必要な計測情報を取得するセンサである。例えば、2次元画像を撮影するカメラでもよいし、各画素が奥行きの情報を持つ距離画像を撮影する距離センサでもよいし、これらを併用してもよい。距離センサとしては、対象に照射したレーザ光やスリット光の反射光をカメラで撮影し、三角測量により距離を計測する方式のほか、光の飛行時間を利用するTime−of−flight方式がある。また、ステレオカメラで撮影する画像から三角測量により距離を計算する方式も利用できる。その他、ワークの位置・姿勢を認識するのに必要な情報を取得できればいかなるセンサであってもよい。なお、撮像装置111は、ワークに対して上方または横方などに固定されていても良いし、またロボットハンドなどに備えつけられていてもよい。本実施形態では、距離画像及び濃淡画像をともに取得可能なセンサを利用するものとする。上述のとおり、撮像装置111が取得した計測情報はワーク位置姿勢算出部102に入力される。
図8は、本実施形態におけるワーク認識テスト用画面に必要な情報を算出する処理手順を示すフローチャートである。
(ステップS801)
ステップS801において、モデル情報保持部101は、ワークモデルとハンドモデルをそれぞれ取得し、保持する。
(ステップS802)
ステップS802において、対称性情報設定部103は、入力されるワークモデルの情報をもとにワークの形状の対称性の情報を設定する。ステップS802で設定される対称性の情報とは、対称軸の情報と、対称性の属性の情報と、対称性の回数の情報と、形状の対称性をもつ範囲の情報である。ワーク201のように、対称回数が無限大と分類される形状を有する場合は、情報処理装置100で処理可能な範囲において、できる限り大きな対称回数となるように設定することが望ましい。しかしながら、情報処理装置100の性能上、対称回数に無視できない程度の制約が生じる場合は、対称回数を有限の値に近似して設定しても良い。ワーク201のように回転対称な形状を有する場合は、対称軸周りの回転角について、回転角度の微小な差に起因するハンドの把持位置姿勢の違いが後述の把持可否判定結果に影響を及ぼさないような角度の差分Δθを予め設定しておく。このΔθを用いると、ワーク201が対称軸周りに回転角度360度の範囲で形状の対称性を有する場合には、対称回数をN=360/Δθと近似的に算出することができる。以下、ワーク201の対称回数を、選択手段により、上記式で表現されるNに離散度を用いて近似して設定したとして説明する。
(ステップS803)
ステップS803において、把持教示部104は、入力されるワークモデルとハンドモデルの情報をもとに、ワークとハンドの相対位置姿勢を表す6自由度パラメータを設定する。ここで、ワーク座標系からハンド座標系への姿勢変換を行う3×3の回転行列、位置変換を行う3列の並進ベクトルをそれぞれRWH、tWHとする。このとき、ワーク座標系X=[X,Y,Zからハンド座標系X=[X,Y,Zへの変換は、4×4行列TWHを用いて以下のように表すことができる。
’=[X,Y,Z,1],X’=[X,Y,Z,1]
Figure 0006598814
以降、TWHを相対把持位置姿勢、RWHを相対把持姿勢、tWHを相対把持位置、とそれぞれ呼称する場合がある。
上述の通り、一度に登録される把持情報は1つであり、把持情報には把持時のワークとハンドの相対位置姿勢の情報が含まれる。一度に登録される把持情報には把持IDが割り振られる。ステップS803においては、把持情報の登録処理は一度だけとは限らず、ワークとハンドの相対位置姿勢を変えながら、把持情報を複数回登録しても良い。その場合、登録される把持情報にはそれぞれ固有の把持IDが割り振られる。
(ステップS804)
ステップS804において、ワーク位置姿勢算出部102は、撮像装置111で取得した情報を入力として、バラ積みされた多数のワークの中から一個体を検出する。また、これとともに、検出したワークのロボット座標系における位置・姿勢を表す6つのパラメータを算出する。ここで算出した6つのパラメータに基づくロボット座標系からワーク座標系への座標変換において、姿勢を表す3つのパラメータで表現される3×3の回転行列をRRW、位置を表す3つのパラメータで表現される3列の並進ベクトルをtRWとする。このとき、ロボット座標系X=[X,Y,Zからワーク座標系X=[X,Y,Zへの変換は、4×4行列TRWを用いて以下のように表すことができる。
’=TRW
ここで、X’、X’は以下のとおりである。
’=[X,Y,Z,1]、X’=[X,Y,Z,1]
Figure 0006598814
以降、TRWを認識位置姿勢、RRWを認識姿勢、tRWを認識位置、とそれぞれ呼称する場合がある。
(ステップS805)
ステップS805において、ハンド情報保持部105は、次の算出を行う。即ち、ステップS802で設定のワーク形状の対称性情報と、ステップS803で設定のハンドの相対把持位置姿勢の情報と、ステップS804で算出のワークの認識位置姿勢の情報を入力として、ワーク形状の対称性を考慮したハンドの把持位置姿勢を算出する。
まず、ワークの認識位置姿勢について、相対把持位置姿勢の関係を満足しながらハンドで把持する位置姿勢(基準把持位置姿勢)を算出する。基準把持位置姿勢を表す4×4行列をTRHとすると、TRHは以下により算出することができる。
RH=TRWWH
ここで、3×3の回転行列をRRH、3列の並進ベクトルをtRHとしてTRHは以下のように表現される。
Figure 0006598814
以降では、tRHをハンドの基準把持位置、RRHをハンドの基準把持姿勢、とそれぞれ呼称する場合がある。
次に、ハンドの基準把持位置姿勢をもとに、ワークの形状の対称性を考慮した把持位置姿勢を算出する。具体的には、基準把持位置姿勢のハンドが把持する対象であるワークの対称軸に対して対称となるような姿勢を求める。ワーク座標系X=[X,Y,ZからステップS802において設定した対称形状座標系X=[X,Y,Zへの変換を、4×4行列を用いて以下のように表す。
’=TWS
ここで、X’、X’は以下のとおりである。
’=[X,Y,Z,1]、X’=[X,Y,Z,1]
Figure 0006598814
また、対称形状座標系からハンド座標系への変換は、4×4行列TSHとすると、以下のように表すことができる。
SH=TWS −1WH
ここで、3×3の回転行列をRSH、3列の並進ベクトルをtSHとしてTSHは以下のように表現される。
Figure 0006598814
さらに、対称形状座標系におけるワークの位置・姿勢は、4×4行列TRSとすると、以下のように表すことができる。
RS=TRWWS
ここで、3×3の回転行列をRRS、3列の並進ベクトルをtRSとしてTRSは以下のように表現される。
Figure 0006598814
このとき、上述のTRHは、TRSとTSHを用いて以下のように表現することもできる。
RH=TRSSH
ワーク201のように、回転対称で対称回数がN=360/Δθで表せるような形状のワークである場合、まず対称形状座標系における認識姿勢RRSを対称軸周りにΔθ×iだけ回転させた姿勢(回転姿勢)を求める。ここで、iは1からN−1までの整数である。次に、求めた回転姿勢に対して基準把持位置姿勢の関係にあるハンドの姿勢(対称把持姿勢)RRH_iを、回転姿勢のワークを把持するための把持姿勢として求める。対称把持姿勢RRH_iは、以下の式を用いて算出できる。
RH_i=RRSSH
ここで、Rは、対称軸周りにΔθ×iだけ回転を行う3×3の回転行列である。よって、ワークの対称軸周りにΔθ×iだけ回転したハンドの把持位置姿勢(対称把持位置姿勢)は、以下のように表すことができる。
Figure 0006598814
ステップS805においては、対称把持位置姿勢を算出する処理を、iの値が1からN−1までの計N−1回繰り返し実行する。つまり、対称把持位置姿勢が計N−1姿勢だけ算出されることになる。
(ステップS806)
ステップS806において、把持可否判定部106は、ステップS805で算出されたすべてのハンド把持位置姿勢について、ワークを把持可能であるかどうかの判定を実施する。具体的には、ハンドの基準把持位置姿勢と対称把持位置姿勢についての把持可否判定を実施する。上述の通り、把持の可否を判定する項目は、例えば3次元空間中のハンド姿勢の制約や、認識したワーク以外の周辺物体(パレット、近接ワーク)とハンドとの干渉の有無である。ハンドの把持位置姿勢の制約の判定には、例えば判定の対象となる位置姿勢におけるハンド座標系Z軸について、ハンドの基準位置姿勢におけるハンド座標系Z軸とのなす角度により判定する方法を用いる。この角度が所定値以上である場合には姿勢に無理があるものとして把持不可、所定値未満の場合には把持可能と判定する。或いは、把持位置までロボットを制御可能か、ロボットコントローラにより判定を行い、その結果を用いても良い。干渉の有無については、例えばワークの認識結果に基づいて仮想的にバラ積み状態のワーク及びパレットを含めた3次元空間を再現し、把持位置におけるハンドが周辺物体と干渉するかを判定する。ここで干渉が発生する場合には把持不可、発生しない場合には把持可能と判定する。これらの判定により、いずれの項目においても把持可能と判定された場合には把持可能な把持位置姿勢、いずれか1つの項目において把持不可と判定された場合には把持不可な把持位置姿勢と判定する。
(ステップS807)
ステップS807において、自由度情報提示部108は、ワークのもつ形状の対称性によって生じるハンド把持位置姿勢の自由度について、自由度をもつ範囲と、その自由度におけるパラメータに対する把持可否判定結果を画面上に表示する。ワーク201のように、回転対称で対称回数が無限大であり、かつ形状の対称性をもつ範囲が対称軸周りに360度である場合、360度の範囲内で、把持可否判定を実施したハンド把持位置姿勢についての把持可否判定結果を連続的に表示する。ワーク201の場合は、把持可否判定を実施した把持位置姿勢と対称軸周りの回転角度が1対1の関係にあるため、図6における表示器601のように、1次元的に表現した対称軸周りの回転角度に把持可否判定結果を反映させることができる。ワーク201の対称回数はN=360/Δθと近似できるため、N回分の把持可否判定結果が反映される。ここで、対称把持位置姿勢は実際には対称軸周りにΔθだけの角度で離散的に算出された位置・姿勢であるが、表示器601上では連続的に把持可否判定結果を表示させてもよい。
例えば、図9に示すように、表示器601上で表現される対称軸周りの角度のうち、θ=Δθ×iに対応する対称把持位置姿勢の把持可否判定を反映させる場合、次のようにする。即ち、θを中心とした、Δθの範囲内はθと同様の把持可否判定結果であると想定して表示器601上に反映させる。θからΔθだけ対称軸周りに回転させたθi+1についても同様に把持可否判定結果を反映させると、表示器601上では把持可否判定結果が対称軸周りの回転軸に対して連続的に表現される。ここで、θから−Δθだけ対称軸周りに回転させたθi―1において、把持可否判定結果がθにおける把持可否判定結果とは異なる場合は、表示器601上ではθとθi−1の中間にあたる回転角度において把持可否判定が切り替わったように表現される。なお、把持対称位置姿勢における把持可否判定結果と同様の結果であると想定する回転角度の範囲は、必ずしも対称把持位置姿勢における回転角度を中心とする必要はない。
つまり、対称把持位置姿勢における回転角度を含む、Δθの範囲内であればよい。また、表示器601上では、対称軸周りの回転角度を表示しても良い。例えば、ステップS805において算出した把持位置姿勢のうち、ハンドの初期位置姿勢を回転角度の基準として、基準から正方向に180度、負方向に180度の回転角度に対称把持位置姿勢を割りつけて表示してもよい。回転角度の基準のその他の決定方法としては、ステップS805で算出したハンド把持位置姿勢のハンド座標系Z軸について、ハンドの基準把持位置姿勢におけるハンド座標系Z軸とのなす角度が最も小さい把持位置姿勢における回転角度を基準としても良い。また、基準とする回転角度については0度としてもよいし、回転角度の範囲が360度であれば中間の180度としてもかまわない。
(ステップS808)
ステップS808において、ハンド位置姿勢指定部109は、自由度情報提示部108によってユーザに提示されたハンド把持位置姿勢のうち、モデル表示部110に表示するハンド把持位置姿勢をユーザの操作により指定する。ワーク201の場合は、対称軸周りの回転角度を指定することで、表示するハンドの把持位置姿勢を指定することができる。ここで、ハンド位置姿勢指定部109で指定できる位置・姿勢は、ステップS805で算出した把持位置姿勢であるため、対称回数N=360/Δθだけの数の回転角度を指定できる。
(ステップS809)
ステップS809は、ステップS808において指定されたハンド把持位置姿勢と、認識したワークの位置姿勢を画面上に重畳表示する。
以上、第1実施形態においては、対称回数が無限大の回転対称性をもつ形状(回転体形状)を含むワークについて、ハンドの把持可否判定結果及びハンドの把持位置姿勢を表示する方法について説明した。ユーザはこの方法を用いることにより、形状の対称性をもつワークについて、想定されるハンドの把持位置姿勢のうちどの程度の位置姿勢が把持可能であるかを容易に確認することができる。設定した把持方法で把持可能な位置姿勢が少ない場合、ユーザは把持方法を再設定した上でワーク認識テストを実施し、把持可否判定結果を確認する、という一連の作業を行うことで、把持方法の最適化を図ることができる。
(変形例1)
第1実施形態では、自由度情報提示部108について、対称軸周りの回転角度を1次元的に表現した表示器を用いたが、その変形例として、図10(a)に示すように、回転角度を円周上に表現した表示器1001を用いても構わない。また、ハンド位置姿勢指定部109についても、表示するハンドの把持位置姿勢に対応する対称軸周りの回転角度をスライダーの操作により指定するスライダーバーを表示器として用いたが、図10(b)に示すような表示器を用いても構わない。図10(b)における表示器1002は、回転角度をノブの回転によって指定する表示器である。さらに、図10(c)に示すように、表示器1001と表示器1002を一体化させた表示器1003を用いても構わない。
(変形例2)
第1実施形態では、ステップS802において、対称軸周りの対称回数をN=360/Δθで近似して設定したが、それ以外の方法を用いても良い。例えば、対称回数の設定を上記の式で求めたNよりも大きな値に設定しておき、その後、算出したハンドの把持位置姿勢のうちの一部をN姿勢分だけ選択して干渉判定を実施する処理を実施しても良い。具体的には、ステップS805でハンドの把持位置姿勢を算出後、自由度情報提示部108で把持可否判定を実施する把持位置姿勢を選択し、選択された把持位置姿勢について把持可否判定部106で把持可否判定を実施する。ここで、N通りの把持位置姿勢を選択する方法としては、例えば対称軸周りの回転角度が相対的にΔθずつ回転しているような把持位置姿勢を選択するのが望ましい。
<第2実施形態>
第2実施形態では、対称回数が有限の回転対称性をもつ形状を含むワークについてのハンドの把持可否判定結果及びハンド把持位置姿勢を表示する方法について説明する。図11(a)に、本実施形態で取り扱うワークのモデル形状とワーク座標系、及び対称形状座標系を示す。図11(a)に示すワーク1101は、対称回数が有限の回転対称性をもつ形状を有している。以下、第1実施形態との相違点について重点的に説明し、第1実施形態と同様の部分については説明を省略する。本実施形態でも、図1に示した構成を有する情報処理装置100を用いる。また、本実施形態におけるワーク認識テスト用画面に必要な情報を算出する処理手順については図8と同様であるが、ステップS802においては図11(a)に示した対称形状座標系を設定し、Z’軸を対称軸として登録するものとする。また、その他の対称性情報として登録する情報は、対称性の属性が回転対称、対称回数が6、対称性を持つ範囲がZ’軸周りに360度であるものとする。
図1の情報処理装置100の中で、第1実施形態と相違点があるのは自由度情報提示部108である。図11(b)に、本実施形態における自由度情報提示部の例としての表示器1102を示す。本実施形態においてはN=6であるため、表示器1102においては、対称軸周りの回転軸周りに基準把持位置姿勢を60度ずつ回転させて算出した計6つの把持位置姿勢に対応する回転角度における把持可否判定結果を離散的に表示する。第1実施形態におけるワーク201とは異なり、ワーク1101については、或る把持位置姿勢から60度より小さい角度だけ回転させた把持位置姿勢は、元の把持位置姿勢に対する対称性を持っていないため、連続的に把持可否判定結果を表示することができない。よって、そのような有限の対称回数をもつワークについては、把持可否判定結果についても回転角度について離散的に表示する。
<第3実施形態>
第3実施形態では、並進対称性をもつ形状を含むワークについてのハンドの把持可否判定結果及びハンド把持位置姿勢を表示する方法について説明する。本実施形態では、図12に示すワーク1201を用いて説明する。ワーク1201においては、対称形状座標系のZ’軸に沿った方向に対称回数が無限大の並進対称性をもっている。つまり、Z’に沿ってハンドの把持位置姿勢を微小に並進させても、ハンド視点からのワークの見えが変化しない。
以下、第1実施形態との相違点について重点的に説明し、第1実施形態と同様の部分については説明を省略する。本実施形態でも、図1に示した構成を有する情報処理装置100を用いる。また、本実施形態におけるワーク認識テスト用画面に必要な情報を算出する処理手順については図8と同様である。ただし、ステップS802において設定する対称性情報の内容と、ステップS805において算出される対称把持位置姿勢の算出方法と、ステップS807で提示される自由度情報の内容が一部異なる。
(ステップS802)
ステップS802では、対称性の属性を並進対称として登録し、対称軸に沿った方向に対称性を持つ範囲を指定する点が第1実施形態と異なる。図12に、ステップS802において対称性情報を設定するために用いるGUIの例を示す。図12におけるGUI400は、第1実施形態において用いたものと同じものであるが、設定する内容の一部が第1実施形態とは異なる。本実施形態においては、対称性の属性として並進対称であることを設定し、さらに、対称軸であるZ’軸について沿った方向に対称性をもつ範囲を設定する。ここで、対称回数が無限大と分類される形状を有する場合は、情報処理装置100で処理可能な範囲において、できるだけ大きな対称回数となるように設定することが望ましい。
しかしながら、情報処理装置100の性能上、対称回数に無視できない程度の制約が生じる場合は、対称回数を有限の値に近似して設定しても良い。ワーク1201のように並進対称な形状を有する場合は、対称軸に沿った方向の微小な並進距離に起因するハンド位置姿勢の違いが把持可否判定結果に影響を及ぼさないような並進距離ΔLを予め設定しておく。このΔLを用いると、ワーク1201が対処軸に沿ってLの範囲で形状の対称性を有する場合には、対称回数をN=L/ΔLと近似的に算出することができる。以下、ワーク1201の対称回数を上記式で表現されるNに近似して設定したとして説明する。
(ステップS805)
ステップS805では、ハンドの基準把持位置姿勢を算出後の、対称把持位置姿勢を算出する方法が第1実施形態とは異なる。本実施形態では、ハンドの基準把持位置姿勢を算出後に、まず対称形状座標系におけるワークの認識位置tRSを対称軸に沿った方向にΔL×iだけ並進させた位置(並進位置)を求める。ここで、iは1からN−1までの整数である。次に、求めた並進位置に対して相対把持位置姿勢の関係にあるハンドの位置(対称把持位置)tRH_iを、並進位置のワークを把持するための把持位置として求める。対称把持位置tRH_iは、以下の式を用いて算出できる。
RH_i=RRS(tSH+t)+tSH
ここで、tは、対称軸に沿ってΔL×iだけ並進を行うベクトルである。よって、ワークの対称軸に沿ってΔL×iだけ並進させたハンドの把持位置姿勢は、以下のように表すことができる。
Figure 0006598814
(ステップS807)
ステップ807によって提示されるハンド把持位置姿勢の自由度については、対称軸に沿った方向にハンドがとりうる位置姿勢の範囲と、そのときの把持可否判定結果が提示される。画面上に表示される表示器としては第1実施形態と同じものを用いるが、表示される自由度が並進対称性に関する情報である点が第1実施形態とは異なる。
(変形例)
第3実施形態では、ステップS802において、対称軸に沿った方向の位置姿勢の対称回数をN=L/ΔLで近似して設定したが、それ以外の方法を用いても良い。例えば、対称回数の設定を上記の式で求めたNよりも大きな値に設定しておき、その後、算出したハンドの把持位置姿勢のうちの一部をN姿勢分だけ選択して干渉判定を実施する処理を実施しても良い。具体的には、ステップS805でハンドの把持位置姿勢を算出後、自由度情報提示部108で把持可否判定を実施する把持位置姿勢を選択し、選択された把持位置姿勢について把持可否判定部106で把持可否判定を実施する。ここで、N通りの把持位置姿勢を選択する方法としては、例えば対称軸に沿った方向の並進位置が相対的にΔLずつ並進しているような把持位置姿勢を選択するのが望ましい。
<第4実施形態>
第4実施形態では、回転対称性と並進対称性を同時にもつワークについてのハンドの把持可否判定結果及びハンド把持位置姿勢を表示する方法について説明する。本実施形態で用いるワークは、第3実施形態と同じワーク1201とする。ワーク1201は、形状の中に円筒の形状を有している。円筒形状は、円筒の同軸の方向に対称軸を持っており、対称軸については回転対称性と並進対称性を併せ持っている。このような形状の場合、ハンドの把持位置姿勢は2つの自由度をもつことになり、2つの自由度についてのパラメータを指定しないとハンドの把持位置姿勢を決定することができない。例えば、対称軸周りの回転角度を指定したとしても、未指定である対称軸に沿った方向の自由度は残ったままであるし、逆に対称軸に沿った方向の並進位置を指定したとしても、対称軸周りの自由度は残ったままである。
以下、第1実施形態との相違点について重点的に説明し、第1実施形態と同様の部分については説明を省略する。本実施形態でも、図1に示した構成を有する情報処理装置100を用いる。本実施形態において、ハンド位置姿勢指定部は2つの自由度のパラメータを指定することができる点が第1実施形態と異なる。図13は、本実施形態におけるワーク認識テスト用画面に必要な情報を算出する処理手順を示すフローチャートである。図13に示した処理のうち、ステップS1301、S1303、S1304、S1306、S1310は、それぞれ第1実施形態のステップS801、S803、S804、S806、S809と同じ処理であるため説明を省略する。
(ステップS1302)
ステップS1302では、ワーク1201について、回転対称と並進対称の両方の対称性属性を登録する。図12に示すようなGUI400を用いる場合、回転対称性に関する情報と、並進対称性に関する情報を個別に登録する。このときの対称形状座標系、対称軸は両方の対称性について同じものを設定してよいが、対称回数及び形状の対称性を有する範囲はそれぞれの対称性に対応した値を登録する必要がある。
第1実施形態、第3実施形態においても述べたように、ワークが対称回数が無限大と分類される形状を有する場合はできる限り大きな対称回数となるように値を設定することが望ましい。しかしながら、情報処理装置の性能上対称回数に無視できない程度の制約が生じる場合は、対称回数を有限の値に近似して設定しても良い。本実施形態においては、回転対称性の対称回数をN=360/Δθ、並進対称性の対称回数をM=L/ΔLと近似した値を用いて設定したとして説明する。
(ステップS1305)
ステップS1305では、ステップS802において設定された回転対称性の情報と、並進対称性の情報に対応した把持位置姿勢が算出される。ここで、1つの把持位置姿勢を算出するためのパラメータとしては、回転対称性についてのパラメータである対称軸周りの回転角度の情報と、並進対称性についてのパラメータである対称軸に沿った方向の並進位置の情報の両方が必要となる。第1実施形態で示した通り、対称軸周りに回転角Δθ×iだけ回転させたハンドの把持位置姿勢は、次のように表せる。
RH_i=RRSSH
ここで、Rは、対称軸周りにΔθ×iだけ回転を行う3×3の回転行列である。一方、第3実施形態で示した通り、対称軸に沿ってΔL×jだけ並進させたハンドの把持位置は、次のように表せる。
RH_j=RRS(tSH+t)+tSH
ここで、tは、対称軸に沿ってΔL×jだけ並進を行うベクトルである。
よって、対称軸周りにΔ×iだけ回転させ、さらに対称軸に沿ってΔL×jだけ並進させたハンドの把持位置姿勢は、以下のように表すことができる。
Figure 0006598814
回転対称性の対称回数がM、並進対称性の対称回数がNの場合、iは0からM−1までの整数を取り得、jは0からN−1までの整数を取り得る。このとき、ステップS1305で算出される把持位置姿勢の総数は基準把持位置姿勢を含めてM×Nとなる。
(ステップS1307)
ステップS1307では、ハンド位置姿勢指定部109は、ワーク形状の2つの対称性によって生じるハンド把持位置姿勢の2つの自由度のうち、どちらか一方についてのパラメータを指定する。本実施形態においては、ステップS1307で指定可能なパラメータは、対称軸周りの回転角度か対称軸に沿った方向の並進位置のいずれかである。図14の表示器1401は、スライダー1402の操作により、対称軸周りの回転角度を指定する場合の例である。この場合、表示器1401を用いて対称軸周りの回転角度を指定することにより、ステップS1308以降の処理で並進対称性に関する自由度情報を提示し、画面に表示するハンド把持位置姿勢を指定することが可能となる。
(ステップS1308)
ステップS1308では、自由度情報提示部108は、ステップS1307において指定されたパラメータに従属する、もう一方の自由度に関する情報を提示する。本実施形態においては、ステップS1307において指定された対称軸周りの回転角度に従属した、未指定の対称軸に沿った方向にハンドがとりうる位置姿勢の範囲と、そのときの把持可否判定結果が提示される。図14における表示器1403は、対称軸に沿った方向の並進位置の範囲と、選択手段により選択された各位置におけるハンドの把持可否判定結果を提示する表示器の例である。表示器1403に表示される情報の内容は、表示器1401を用いて指定した対称軸周りの回転角度に従属しているため、スライダー1402を用いて指定する回転角度を変更した場合は、変更後の回転角度に従属した情報に表示が更新される。
(ステップS1309)
ステップS1309では、ハンド位置姿勢指定部109は、自由度情報提示部108によって提示されたユーザに提示されたハンド姿勢のうち、モデル表示部110に表示するハンド姿勢を指定する。本実施形態においては、対称軸に沿った方向の並進位置を指定することで、表示するハンドの把持位置姿勢を指定することができる。図14における表示器1404は、スライダー1405を操作することで、対称軸に沿った方向の並進位置を指定することができる表示器の例である。ここで、表示器1404を用いて指定できる並進位置は、表示器1401を用いて指定した回転角度に従属している。従って、表示器1401を用いて指定する回転角度を変更した場合は、表示器1404で指定できる並進位置も変更後の回転角度に従属したものに変更される。
以上、第4実施形態においては、形状の対称性を2つもつ形状を含むワークについて、ハンドの把持可否判定結果及びハンドの把持位置姿勢を表示する方法について説明した。本実施形態では、回転対称性のパラメータ(回転角度)に並進対称性のパラメータ(並進位置)を従属させて、ハンドの把持位置姿勢の自由度情報と把持可否判定結果を提示し、表示する位置姿勢を指定する場合を説明した。しかし、2つのパラメータの従属関係は逆でもよい。つまり、並進位置に回転角度を従属させても構わない。さらに、従属させる対称性を切り替えられる仕組みを設けても構わない。
(変形例1)
第4実施形態では、画面上に表示する可能性のあるハンド姿勢の全てについての把持可否判定を、ハンド位置姿勢指定部109によって自由度についてのパラメータを指定する前に実施した。ステップS1305において算出されるハンドの位置姿勢の数は、ワークの形状の対称性が1つである場合と比較して多くなるため、把持可否判定時間もハンドの位置姿勢の数に比例して多くの時間を要することになる。ハンドが把持位置姿勢の自由度を持っている範囲のうち、ユーザが一部のハンドの位置姿勢の把持可否判定結果のみを確認したい場合には、確認不要な位置姿勢まで事前に把持可否判定を実施していることになる。そこで、第4実施形態の変形例として、ハンド位置姿勢指定部18で2つの自由度のうちのどちらか一方についてのパラメータを指定した後に、指定されたパラメータの値に従属する把持位置姿勢のみについて把持可否判定を実施する。
図15は、本変形例におけるワーク認識テスト用画面に必要な情報を算出する処理手順を示すフローチャートである。図15に示した処理は、大まかには第4実施形態におけるステップS1306とステップS1307を入れ替えた手順であるということができる。ただし、ステップS1306は算出してある全ての把持位置姿勢について把持可否判定を実施するのに対し、ステップS1507では、ステップS1506で指定したパラメータに従属する把持位置姿勢についてのみ把持可否判定を実施する点で相違がある。ステップS1506において、ハンド位置姿勢指定部109は、一方の自由度についてのパラメータを指定することで、指定されたパラメータに従属する位置姿勢を把持可否判定の対象として選択する。選択された位置姿勢の情報は、把持可否判定部106に送られ、ステップS1507において、把持可否判定部106は選択された位置姿勢についての把持可否判定を実施する。本変形例では、ハンド位置姿勢指定部109でハンドの位置姿勢が指定されるたびに、指定されたパラメータに従属する姿勢の把持可否判定を実施する。よって、ステップS1508で自由度についての情報を提示するまでにかかる時間が第4実施形態よりも長くなる傾向にある。しかしながら、ユーザが一部のハンド姿勢についてのみ把持可否判定結果を確認したい場合には、確認不要な姿勢の把持可否判定時間を省略することができるため、処理時間全体では第4実施形態よりも時間短縮を期待することができる。
(変形例2)
第4実施形態では、ステップS1302において、回転対称性の対称回数をN=360/Δθ、並進対称性の対称回数をM=L/ΔLで近似して設定したが、それ以外の方法を用いても良い。例えば、対称回数の設定を上記の式で求めたN及びMよりも大きな値に設定しておく。次に、算出したハンドの把持位置姿勢のうち、回転角度をN通り、並進位置をM通りだけ選択すると、N×M通りの位置姿勢が把持可否判定の対象として選択されることになる。その後、選択された位置姿勢についてのみ把持可否判定を実施する。具体的には、ステップS1305においてハンドの把持位置姿勢を算出後、自由度情報提示部108で把持可否判定を実施する把持位置姿勢を選択し、選択された把持位置姿勢について把持可否判定部106で把持可否判定を実施する。
ここで、N通りの回転角度を選択する方法としては、例えば対称軸周りの回転角度が相対的にΔθずつ回転しているような回転角度を選択するのが望ましい。また、M通りの並進位置を選択する方法としては、例えば対称軸に沿った方向の並進位置が相対的にΔLずつ並進しているような並進位置を選択するのが望ましい。
<第5実施形態>
第4実施形態では、同一の対称軸について異なる対称性を有するワークについてのハンドの把持可否判定結果及び把持位置姿勢を表示する方法を説明した。第5実施形態では、形状の対称性を2つもち、かつそれぞれの対称性が同一の対称形状座標系における異なる対称軸に紐づいているようなワークについてのハンドの把持可否判定結果及び把持位置姿勢を表示する方法について説明する。本実施形態では、例えば図16に示すような正六角柱形状のように、同一の対称軸座標系のX’軸方向とZ’軸方向について回転対称性をもつワーク1601を想定している。
以下、第4実施形態との相違点について重点的に説明し、第4実施形態と同様の部分については説明を省略する。本実施形態でも、図1に示した構成を有する情報処理装置100を用いる。本実施形態における処理フローは、第4実施形態と同様に図13を用いて説明する。ただし、本実施形態における処理内容のうち、ステップS1301、ステップS1303、ステップS1304、ステップS1306は第4実施形態と同様であるため、説明を省略する。
(ステップS1302)
ステップ1302では対称性情報を設定するが、同一の対称形状座標系において複数の対称軸を指定する点で第4実施形態とは異なる。例えば図16に示すようにワーク1601の対称形状座標系を設定し、X’軸とZ’軸についてどちらも回転対称性をもつ対称軸として指定し、対称回数についてはそれぞれ2、6と設定する。
(ステップS1305)
ステップS1305では、ステップS802において設定された2つの対称軸の回転対称性の情報に対応した把持位置姿勢が算出される。ここで、1つの把持位置姿勢を算出するためのパラメータとしては、回転対称性についてのパラメータである対称軸X’周りの回転角度の情報と、対称軸Z’周りの回転角度の情報の両方が必要となる。対称軸X’周りに一度に回転させる角度は、対称回数が2なので180度である。一方、対称軸Z’周りに一度に回転させる角度は、対称回数が6なので60度である。対称軸X’周りに180×i度、対称軸Z’周りに60×j度だけ回転させたハンドの把持姿勢は、次のように表せる。
RH_ij=RRSSH
ここで、Riは対称軸X’軸周りに180×i度だけ回転を行う3×3の回転行列であり、Rは対称軸Z’軸周りに60×j度だけ回転を行う3×3の回転行列である。また、iは0もしくは1のいずれかであり、jは0から5までのいずれかの整数である。
よって、対称軸X’周りに180×i度、対称軸Z’周りに60×j度だけ回転させたときのハンド把持位置姿勢は、以下のように表すことができる。
Figure 0006598814
このとき、ステップS1305で算出される把持位置姿勢の総通は基準把持位置姿勢を含めて12となる。
(ステップS1307)
ステップS1307では、ハンド位置姿勢指定部109は、ワーク形状の2つの対称性によって生じる把持位置姿勢の2つの自由度のうち、どちらか一方についてのパラメータを指定する。本実施形態においては、ステップS1307で指定可能なパラメータは、上述の対称軸X’周りの回転角度か対称軸Z’周りの回転角度のいずれかである。本実施形態においては、図17に示すような表示器1701において対称軸X’周りの回転角度を指定できるものとし、表示器1701では0度もしくは180度を指定できるものとする。この指定により、ステップS1308以降の処理で並進対称性に関する自由度情報を提示し、画面に表示する把持位置姿勢を指定することが可能となる。
(ステップS1308)
ステップS1308では、自由度情報提示部108は、ステップS1307において指定されたパラメータに従属する、もう一方の自由度に関する情報を提示する。本実施形態においては、ステップS1307において指定された対称軸周りの回転角度に従属した、もう一方の対称軸周りにハンドがとりうる姿勢の範囲と、そのときの把持可否判定結果が提示される。本実施形態では、表示器1701で指定した対称軸X‘周りの回転角度に従属した対称軸Z’周りの回転角度と、その角度における把持可否判定結果が表示器1702に表示される。表示器1703で表示される情報の内容は、表示器1701を用いて指定した対称軸周りの回転角度に従属しているため、表示器1701で指定する回転角度を変更した場合は、変更後の回転角度に従属した情報に表示が更新される。
(ステップS1309)
ステップS1309では、ハンド位置姿勢指定部109は、自由度情報提示部108によって提示されたユーザに提示されたハンド姿勢のうち、モデル表示部110に表示するハンド姿勢を指定する。本実施形態においては、対称軸Z’周りの回転角度を指定することで、表示するハンドの把持位置姿勢を指定することができる。図17における表示器1703は、スライダー1704を操作することで、対称軸Z’周りの回転角度を指定することができる表示器の例である。ここで、表示器1703を用いて指定できる対称軸Z’周りの回転角度は、表示器1701を用いて指定した対称軸X’周りの回転角度に従属している。よって、表示器1701を用いて指定する対称軸X’周りの回転角度を変更した場合は、表示器1703で指定できる対称軸Z’周りの回転角度も変更される。
以上、第5実施形態においては、形状の対称性を2つもち、かつそれぞれの対称性が同一の対称形状座標系における異なる対称軸に紐づいているようなワークについて、ハンドの把持可否判定結果及び把持位置姿勢を表示する方法について説明した。本実施形態では、対称軸X’周りの回転角度に対称軸Z’周りの回転角度を従属させて、把持位置姿勢の自由度情報と把持可否判定結果を提示し、表示するハンド姿勢を指定する場合を説明したが、2つのパラメータの従属関係は逆でもよい。つまり、対称軸Z’周りの回転角度に対称軸X’周りの回転角度を従属させても構わない。さらに、従属させる回転角度が紐づく対称軸を切り替えられる仕組みを設けても構わない。
(変形例)
第5実施形態では、第4実施形態と同様に、画面上に表示する可能性のあるハンド姿勢の全てについての把持可否判定を、ハンド位置姿勢指定部109によって自由度についてのパラメータを指定する前に実施した。この方法においては、把持可否判定結果をユーザが確認する必要のない姿勢までも事前に把持可否判定を実施していることになる。そこで、第5実施形態の変形例として、ハンド位置姿勢指定部18で2つの自由度のうちのどちらか一方についてのパラメータを指定した後に、指定されたパラメータの値に従属するハンド姿勢のみについて把持可否判定を実施するような処理を実施しても良い。このときの処理フローは、第4実施形態の変形例と同様に図15に示すようなフローチャートに従う。
<第6実施形態>
第6実施形態では、1つのワークの中で形状の対称性を2つもち、かつそれぞれの対称性が異なる対称形状座標系に紐づいているようなワークについてのハンドの把持可否判定結果及び把持位置姿勢を表示する方法について説明する。図18(a)に本実施形態で取り扱うワーク1801を示す。ワーク1801は、第1の対称形状座標系におけるZ’軸周りに対称回数が無限大の回転対称性を有している。また、第1の対称座標系におけるY’軸の方向からワーク1801を見た場合に、ワーク1801の断面は正方向の形状をしている。図18(b)は、第1の対称形状座標系における−Y’軸方向からワーク1801を見た場合に観測できるワーク1801の断面を示している。ここで、第1の対称形状座標系の原点をX’方向に並進させ、ワーク1801の断面の正方形の中心に第2の対称形状座標系を設定した場合、断面形状においては第2の対称形状座標系のY”軸周りに対称回数が4回の回転対称性をもつことになる。
より一般化すると、第2の対称形状座標系は、第1の対称形状座標系との相対的な位置姿勢関係に基づいて定義される座標系である。具体的には、ワーク1801におけるX’Z’平面をZ’軸周りに回転させた平面によって形成される断面の法線方向をY”軸、Z’と同じ軸をZ”、Y”軸及びZ”に垂直な軸をX”軸とした座標系として定義することができる。ワーク1801は、第1の対称形状座標系のZ’軸周りに対称回数が無限大の回転対称性を持つため、第2の対称形状座標系を定義できる数も無限大存在することになる。本実施形態では、第1の対称形状座標系における回転対称性の対称回数をN=360/Δθと近似し、第2の対称形状座標をN通り算出した上で、第2の対称形状座標系に紐づく把持位置姿勢を算出する。ここで、Δθとは、対称軸周りの回転角について、回転角度の微小な差に起因する把持位置姿勢の違いが後述の把持可否判定結果に影響を及ぼさないような角度の差分である。
以下、第4実施形態との相違点について重点的に説明し、第4実施形態と同様の部分については説明を省略する。本実施形態でも、図1に示した構成を有する情報処理装置100を用いる。図19は、本実施形態におけるワーク認識テスト用画面に必要な情報を算出する処理手順を示すフローチャートである。図19に示した処理のうち、ステップS1901、S1904、S1905、S1907、S1911は、それぞれ第4実施形態におけるステップS1301、S1303、S1304、S1306、S1310と同じ処理であるため説明を省略する。
(ステップS1902)
ステップS1902では、ワーク1801についての2つの回転対称性の情報を設定する。上述の第1の対称形状座標系に紐づく対称性情報の設定方法は、第4実施形態における設定方法と同様である。一方、第2の対称形状座標系を定義するには第1の対称形状座標系の対称性の情報が必要となる。本実施形態では、第1の対称形状座標系と第2の対称形状座標系を1つずつ設定した上で、第1の対称形状座標系と第2の対称形状座標系との相対的な位置姿勢情報を算出する。図20に、第2の対称形状座標系に紐づく対称性情報を設定するGUIの例を示す。図20のGUI2000では、これまで説明してきた対称性情報に加え、設定しようとしている対称性情報を従属させる対称性情報IDを指定できる。本実施形態では、第2の対称形状座標系に紐づく対称性情報を、第1の対称形状座標系に紐づく対称性情報に従属させる必要がある。したがって、GUI2000を用いて、例えば従属させる対称性情報IDを指定するフラグをチェックボックス等でONにした上で、第1の対称形状座標系に紐づく対称性情報IDをリスト中から指定する。従属させる対称性情報を指定した上で登録ボタンを押下すると、第1の対称形状座標系と第2の対称形状座標系との相対的な位置姿勢情報が算出される。
(ステップS1903)
ステップS1903では、ステップS1902で設定した第2の対称形状座標系に紐づく対称性情報と、ステップS1902で算出した第1の対称形状座標系と第2の対称形状座標系との相対的な位置姿勢情報を用いて、新たな対称形状座標系を算出する。また、ステップS1902で設定した第2の対称形状座標系に紐づく対称性情報を、第1の対称形状座標系の対称軸周りの回転角度とともに新たに算出した対称形状座標系に紐づけて、固有の対称性情報IDを割り振って登録する。
ステップS1903において算出される座標系は、第2の対称形状座標系を、第1の対称形状座標系における対称軸周りに回転させた座標系である。例えばワーク1801の場合は、第2の対称形状座標系を第1の対称形状座標系における対称軸周りにΔθ×iだけ回転させた座標系を算出する。ただし、iは1からN−1までの値をとる整数である。新たに算出された座標系については、第1の対称形状座標系における対称軸周りの回転角度と、第2の対称形状座標系に紐づけて設定していた対称性情報を新たに紐づけ、固有の対称性情報IDを割り振って登録する。第2の対称形状座標系に紐づけて設定していた対称性情報とは、従属させる対称性情報IDと、対称性属性と、対称軸と、対称回数と、対称形状の範囲である。ステップS1903までの処理が完了した段階では、第1の対称形状座標系に紐づく対称性情報に対し、合計N通りの対称形状座標系及び対称性情報が従属して登録されている状態となる。
(ステップS1906)
ステップS1906では、ステップS1905までに設定した対称軸について、それぞれの対称軸のもつ回転対称性の情報に対応した把持位置姿勢が算出される。まず第1の対称形状座標系について、対称軸周りにΔθずつ回転させた把持位置姿勢がN通り算出される。このとき算出されるN通りの把持位置姿勢は、対称軸周りの回転角度によって、第1の対称形状座標系に従属しているN通りの対称形状座標系にそれぞれ対応付けられる。次に、対応付けられた把持位置姿勢について、対応する対称形状座標系の対称軸周りに90度(360/4)ずつ回転させた把持位置姿勢が4通り算出される。このとき算出される把持位置姿勢は、対応する対称形状座標系が紐づけられているものと同じ対称性情報IDに紐づけられて登録される。ステップS1906においては、合計で4×N通りの把持位置姿勢が算出されることになる。
(ステップS1908)
ステップS1908では、ハンド位置姿勢指定部109は、第1の対称形状座標系の対称軸周りの回転角度を指定する。本実施形態においては、図21の表示器2101を用いて、スライダー2102の操作によって回転角度を指定する。ステップS1908で回転角度を指定することにより、ステップS1909以降で第1の対称形状座標系に従属する対称形状座標系及び対称性情報に関する自由度情報を提示し、画面に表示するハンド把持位置姿勢を指定することが可能となる。
(ステップS1909)
ステップS1909では、自由度情報提示部108は、ステップS1908において指定された第1の対称形状座標系の対称軸周りの回転角度に対応する対称形状座標系及び対称性情報を選択する。そして、選択された対称性情報における対称軸周りでハンドが取り得る位置姿勢の範囲と、そのときの把持可否判定結果が提示される。図21における表示器2103は、表示器2101で指定された回転角度に対応する対称性情報における対称軸周りの回転角度と、その角度における把持可否判定結果を示している。表示器2103で表示される情報の内容は、表示器2101を用いて指定した第1の対称形状座標系における対称軸周りの回転角度に従属している。そのため、表示器2101で指定する回転角度を変更した場合は、変更後の回転角度に従属した情報に表示が更新される。
(ステップS1910)
ステップS1910では、ハンド位置姿勢指定部109は、自由度情報提示部108によってユーザに提示された把持位置姿勢のうち、モデル表示部110に表示する把持位置姿勢を指定する。本実施形態においては、図21における表示器2104中のスライダー2105を操作することで、表示器2101で指定された第1の対称形状座標系の対称軸周りの回転角度に従属する対称軸の回転角度を指定することができる。ここで、表示器2101を用いて指定する第1の対称形状座標系の対称軸周りの回転角度を変更した場合は、従属する対称軸が変更されるため、表示器2104で指定できる把持位置姿勢も変更される。
(変形例)
第6実施形態では、第4実施形態、第5実施形態と同様に、画面上に表示する可能性のあるハンドの把持位置姿勢の全てについての把持可否判定を、ハンド位置姿勢指定部109によって自由度についてのパラメータを指定する前に実施した。この方法においては、把持可否判定結果をユーザが確認する必要のない姿勢までも事前に把持可否判定を実施していることになる。そこで、第6実施形態の変形例として、ハンド位置姿勢指定部109で第1の対称形状座標系の対称軸周りの回転角度を指定した後に、従属する対称形状座標系の対称軸周りの把持位置姿勢のみについて把持可否判定を実施するような処理を実施しても良い。このときの処理フローは、図19のフローチャートにおいてステップS1907とステップS1908を入れ替えたフローとなる。
<第7実施形態>
第7実施形態では、1つのワークの中で形状の対称性を3つもつようなワークについてのハンドの把持可否判定結果及びハンド把持位置姿勢を表示する方法について説明する。図22(a)に本実施形態で取り扱うワーク2201を示す。ワーク2201は、第1の対称形状座標系におけるZ’軸周りに対称回数が4の回転対称性を有している。また、第1の対称座標系におけるY’軸の方向からワーク2201を見た場合には、ワーク2201のX’Z’断面は円形状をしている。また、この円形状はY’方向に高さ方向をもつ円柱形状の断面である。図18(b)は、第1の対称形状座標系における−Y’軸方向からワーク2201のX’Z’断面を見た場合に観測できるワーク2201の断面を示している。ここで、第1の対称形状座標系の原点をX’方向に並進させ、ワーク2201のX’Z’断面の正方形の中心に第2の対称形状座標系を設定した場合、断面形状においては第2の対称形状座標系のY”軸周りに対称回数が無限大の回転対称性をもつことになる。さらに、第2の対称形状座標系においては、Y”軸方向に対称回数が無限大の並進対称性を同時にもつことになる。
より一般化すると、第2の対称形状座標系は、第1の対称形状座標系との相対的な位置姿勢関係に基づいて定義される座標系である。具体的には、ワーク2201におけるX’Z’平面をZ’軸周りに回転させた平面によって形成される断面の法線方向をY”軸、Z’と同じ軸をZ”、Y”軸及びZ”に垂直な軸をX”軸とした座標系として定義することができる。ワーク2201は、第1の対称形状座標系のZ’軸周りに対称回数が4の回転対称性を持つため、第2の対称形状座標系を定義できる数も4通り存在することになる。本実施形態では、第2の対称形状座標を4通り算出した上で、第2の対称形状座標系に紐づく把持位置姿勢を算出する。ここで、第2の対称形状座標系における回転対称性の対称形状の範囲が対称軸周りに360度で、並進対称性の対称形状の範囲が対称軸に沿った方向にLであるとすると、対称回数と並進対称性の対称回数はそれぞれN=360/Δθ、M=L/ΔLと近似できる。ただし、Δθとは、対称軸周りの回転角について、回転角度の微小な差に起因する把持位置姿勢の違いが後述の把持可否判定結果に影響を及ぼさないような角度の差分のことを指す。また、ΔLとは、対称軸に沿った方向の微小な並進距離に起因するハンド位置姿勢の違いが把持可否判定結果に影響を及ぼさないような並進距離のことを指す。
以下、第6実施形態との相違点について重点的に説明し、第6実施形態と同様の部分については説明を省略する。本実施形態でも、図1に示した構成を有する情報処理装置100を用いる。図23は、本実施形態におけるワーク認識テスト用画面に必要な情報を算出する処理手順を示すフローチャートである。図23に示した処理のうち、ステップS2301、S2304、S2305、S2307、S2312は、それぞれ第4実施形態におけるステップS1901、S1904、S1905、S1907、S1911と同じ処理であるため説明を省略する。
(ステップS2302)
ステップS2302では、ワーク2201についての3つの対称性情報を設定する。上述の第1の対称形状座標系に紐づく対称性情報の設定方法は、第6実施形態における設定方法と同様である。第2の対称形状座標系に紐づく対称性情報についてもほぼ第6実施形態と同様であるが、第2の対称形状座標系に紐づく対称性情報として、対称軸周りの回転対称性に加えて、対称軸に沿った方向の並進対称性についても設定する点が第6実施形態と異なる。つまり、第2の対称形状座標系に紐づく対称性情報が2つ設定されることになるので、これらの2つの対称性情報を設定する際には、ともに従属させる対称性情報として第1の対称形状座標系に紐づく対称性情報を指定する。ステップS2302で第2の対称形状座標系に紐づく対称性情報を設定することにより、第1の対称形状座標系と第2の対称形状座標系との相対的な位置姿勢情報が算出される。なお、本実施形態において設定される対称回数や、対称形状の範囲の情報は上述のとおりである。
(ステップS2303)
ステップS2303では、ステップS2302で設定した第2の対称形状座標系に紐づく対称性情報と、ステップS2302で算出した第1の対称形状座標系と第2の対称形状座標系との相対的な位置姿勢情報を用いて、新たな対称形状座標系を算出する。ステップS2302で設定した第2の対称形状座標系に紐づく対称性情報は、第1の対称形状座標系の対称軸周りの回転角度とともに新たに算出した対称形状座標系に紐づけて、固有の対称性情報IDを割り振って登録する。ここで、第2の対称形状座標系に紐づく対称性情報は、回転対称性に関する情報と並進対称性に関する情報の2つの対称性情報を指している。つまり、ステップS2303では、第6実施形態のステップ1903で1つの対称性情報のみについて実施した処理を、回転対称性と並進対称性の2つの対称性情報について実施することになる。
(ステップS2306)
ステップS2306では、ステップS2305までに設定した対称軸について、それぞれの対称軸のもつ対称性情報に対応した把持位置姿勢が算出される。まず第1の対称形状座標系について、対称軸周りに90度ずつ回転させた把持位置姿勢が基準把持位置姿勢を合わせて計4通り算出される。このとき算出される4通りの把持位置姿勢は、対称軸周りの回転角度によって、第1の対称形状座標系に従属している4通りの対称形状座標系にそれぞれ対応付けられる。次に、対応付けられた把持位置姿勢について、対応する対称形状座標系の対称軸周りに回転させた把持位置姿勢と、対称軸に沿った方向に並進させた把持位置姿勢をそれぞれ算出する。対称軸周りの回転角度はΔθ×iとし、対称軸に沿った方向の並進距離はΔL×jとする。このとき算出される把持位置姿勢は、対称軸周りにはN通り、対称軸に沿った方向にはM通りの姿勢が算出され、対応する対称形状座標系が紐づけられているものと同じ対称性情報IDに紐づけられて登録される。ステップS2306においては、合計で4×N×M通りの把持位置姿勢が算出されることになる。
(ステップS2308)
ステップS2308では、ハンド位置姿勢指定部109は、第1の対称形状座標系の対称軸周りの回転角度を指定する。本実施形態においては、図24の表示器2401を用いて、スライダー2402の操作によって回転角度を指定する。
(ステップS2309)
ステップS2309では、自由度情報提示部108は、ステップS1908において指定された第1の対称形状座標系の対称軸周りの回転角度に対応する対称形状座標系及び対称性情報を選択する。そして、さらにその対称性情報に紐づけられている対称軸周りの回転角、もしくは対称軸に沿った方向の並進位置を指定する。本実施形態においては、ハンドの把持位置姿勢は3つの自由度をもつため、表示するハンドの位置姿勢を決定するためには3つのパラメータを指定する必要がある。ステップS2308、ステップS2309はそのうちの2つのパラメータをそれぞれ指定している。本実施形態においては、図24の表示器2403を用い、スライダー2404の操作によって第1の対称形状座標系の対称軸周りの回転角度に対応する対称形状座標系の対称軸周りの回転角度を指定する。
(ステップS2310)
ステップS2310では、自由度情報提示部108は、ステップS2308とステップS2309で指定されたパラメータに従属する対称性について、ハンドが取り得る位置姿勢の範囲と、そのときの把持可否判定結果が提示される。図24における表示器2405は、第1の対称形状座標系の対称軸周りの回転角度に対応する対称形状座標系の対称軸に沿った方向の並進位置と、その位置における把持可否判定結果を示している。
(ステップS2311)
ステップS2311では、ハンド位置姿勢指定部109は、自由度情報提示部108によってユーザに提示された把持位置姿勢のうち、モデル表示部110に表示する把持位置姿勢を指定する。本実施形態においては、図24における表示器2406中のスライダー2407を操作することで、表示するハンドの把持位置姿勢を指定することができる。ここで、表示器2401、表示器2403を用いて指定するパラメータを変更した場合は、従属する対称軸及びパラメータが変更されるため、表示器2406で指定できる把持位置姿勢も変更される。
以上、第7実施形態においては、1つのワークの中で形状の対称性を3つもつようなワークについてのハンドの把持可否判定結果及びハンド把持位置姿勢を表示する方法について説明した。本実施形態では、第1の対称形状座標系における対称軸周りの回転角度に対応した対称形状座標系について設定された対称軸について、回転対称性のパラメータ(回転角度)に並進対称性のパラメータ(並進位置)従属させた例を示した。しかし、両者の従属関係は逆でもよい。つまり、並進位置に回転角度を従属させても構わない。さらに、従属させる対称性を切り替えられる仕組みを設けても構わない。
(変形例1)
第7実施形態では、第6実施形態と同様に、画面上に表示する可能性のあるハンドの把持位置姿勢の全てについての把持可否判定を、ハンド位置姿勢指定部109によって自由度についてのパラメータを指定する前に実施した。この方法においては、把持可否判定結果をユーザが確認する必要のない姿勢までも事前に把持可否判定を実施していることになる。そこで、第7実施形態の変形例として、ハンド位置姿勢指定部109で第1の対称形状座標系の対称軸周りの回転角度を指定した後に、従属する対称形状座標系の対称軸周りの把持位置姿勢のみについて把持可否判定を実施するような処理を実施しても良い。このときの処理フローは、図23のフローチャートにおいてステップS2307とステップS2308を入れ替えたフローとしても良いが、次のようにしてもよい。即ち、ステップS2306の次にステップS2308とステップS2309を実施し、その後にステップS2307を実施しても構わない。
(変形例2)
第7実施形態では、ステップS2302において、第1の対称形状座標系に従属する対称形状座標系における回転対称性の対称回数をN=360/Δθ、並進対称性の対称回数をM=L/ΔLで近似して設定したが、それ以外の方法を用いても良い。例えば、対称回数の設定を上記の式で求めたN及びMよりも大きな値に設定しておく。次に、算出したハンドの把持位置姿勢のうち、回転角度をN通り、並進位置をM通りだけ選択すると、第1の対称座標系における対称軸周りの対称回数が4であることから、合計で4×N×M通りの位置姿勢が把持可否判定の対象として選択されることになる。その後、選択された位置姿勢についてのみ把持可否判定を実施する。具体的には、ステップS2306においてハンドの把持位置姿勢を算出後、自由度情報提示部108で把持可否判定を実施する把持位置姿勢を選択し、選択された把持位置姿勢について把持可否判定部106で把持可否判定を実施する。ここで、N通りの回転角度を選択する方法としては、例えば対称軸周りの回転角度が相対的にΔθずつ回転しているような回転角度を選択するのが望ましい。また、M通りの並進位置を選択する方法としては、例えば対称軸に沿った方向の並進位置が相対的にΔLずつ並進しているような並進位置を選択するのが望ましい。
<第8実施形態>
上述の情報処理装置は、ロボットアームと連携した状態で使用されうる。本実施形態では、一例として、図26のようにロボットアーム2610(把持装置)に備え付けられて使用される制御システムについて説明する。計測装置2600は、支持台2690に置かれた被計測物(物体ないしワーク)2605にパターン光を投影して撮像し、画像を取得する。そして、計測装置2600の制御部が、又は、計測装置2600の制御部から画像データを取得した制御部2670が、被計測物2605の位置及び姿勢を求め、計測結果である位置及び姿勢の情報を制御部2670が取得する。制御部2670は、上述した本発明の情報処理装置を備えており、これにより操作者は、各場合についてハンド把持可否を確認でき、これに基づいて、どのワークを如何なる把持姿勢のハンドで把持するかを決定する。或いは、情報処理装置は外部に設けられており、これから制御部2670に指令を出力する様にしてもよい。
その後、制御部2670は、上記決定された位置及び姿勢の情報に基づいて、ロボットアーム2610に駆動指令を送ってロボットアーム2610を制御する。ロボットアーム2610は先端のロボットハンド(把持部)で被計測物2605を保持して、並進や回転などの移動をさせる。さらに、ロボットアーム2610によって被計測物2605を他の部品に組み付けることにより、複数の部品で構成された物品、例えば電子回路基板や機械などを製造することができる。また、移動された被計測物2605を加工することにより、物品製造を行うことができる。制御部2670は、CPUなどの演算装置やメモリなどの記憶装置を有する。なお、ロボットを制御する制御部を制御部2670の外部に設けても良い。また、計測装置2600により計測された計測データや得られた画像をディスプレイなどの表示部2680に表示してもよい。この表示部2680は、上記ハンド把持可否の確認及び把持の決定を行う際にも用いることができる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 情報処理装置
106 処理部(把持可否判定部)
201 物体(ワーク)
202 把持部(ハンド)

Claims (18)

  1. 把持部による物体の把持の可否を判定する情報処理装置であって、
    前記把持部により把持されるべき物体対する前記把持部の位置および姿勢の少なくとも一方の情報としての第1情報と、前記物体の対称性の情報としての第2情報と、前記把持部により把持されるべき前記物体の位置および姿勢の少なくとも一方の情報としての第3情報と得、前記第1ないし第情報に基づいて、前記把持部により把持されるべき前記物体に対して前記対称性に基づいてとりうる前記把持部の置および姿勢の少なくとも一方の複数のそれぞれに関して前記可否の判定を行う処理部を有し、
    前記処理部は、前記把持部の位置および姿勢の少なくとも一方の複数のそれぞれに関する前記判定の結果を表示部に表示させることを特徴とする情報処理装置。
  2. 前記第1情報は、前記物体の一部を把持するために教示された該一部に対する前記把持部の位置の情報であり、
    前記第2情報は、前記一部の対称性の情報であることを特徴とする請求項1に記載の情報処理装置。
  3. 前記処理部は、前記把持部の位置および姿勢の少なくとも一方の複数のうちの1つの位置および姿勢の少なくとも一方の指定を行うための第2表と、前記指定を行われた前記1つの位置および姿勢の少なくとも一方をとる前記把持部と前記把持部により把持されるべき前記物体とを表示するための第3表とを前記表示部にさせることを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記第2表は、前記複数の位置および姿勢の少なくとも一方に係る複数の自由度のそれぞれに関して前記指定を行うための表であることを特徴とする請求項3に記載の情報処理装置。
  5. 前記第2表は、前記対称性に係る軸の周りの回転の自由度に関して前記1つの位置および姿勢の少なくとも一方の指定を行うための表であることを特徴とする請求項3に記載の情報処理装置。
  6. 前記第2表は、前記対称性に係る軸に沿った並進の自由度に関して前記1つの位置および姿勢の少なくとも一方の指定を行うための表であることを特徴とする請求項3に記載の情報処理装置。
  7. 前記処理部は、前記自由度においてとりうる前記複数の位置および姿勢の少なくとも一方が無数にある場合であっても、その場合を近似して前記自由度において前記複数の位置および姿勢の少なくとも一方が離散的にあるものとして前記判定の結果を前記表示部に表示させることを特徴とする請求項5または6に記載の情報処理装置。
  8. 前記処理部は、前記複数の位置および姿勢の少なくとも一方が複数の自由度を有し、かつ特定の1の自由度の他の自由度において位置および姿勢の少なくとも一方が指定されている場合、前記特定の1の自由度において前記判定の結果を前記表示部に表示させることを特徴とする請求項ないし7のうち何れか一項に記載の情報処理装置。
  9. 前記処理部は、前記複数の位置および姿勢の少なくとも一方が複数の自由度を有している場合、前記複数の自由度において前記判定の結果を前記表示部に表示させることを特徴とする請求項ないし7のうち何れか一項に記載の情報処理装置。
  10. 前記第2表示は、前記1つの位置および姿勢の少なくとも一方の指定を行うための可動部分を有することを特徴とする請求項3に記載の情報処理装置。
  11. 前記可動部分は、特定の自由度においてとりうる前記複数の位置および姿勢の少なくとも一方が無数にある場合であっても、その場合を近似して前記自由度において前記複数の位置および姿勢の少なくとも一方が離散的にあるものとして、離散的に可動な部分であることを特徴とする請求項10に記載の情報処理装置。
  12. 前記可動部分は、前記複数の位置および姿勢の少なくとも一方が複数の自由度を有し、かつ特定の1の自由度の他の自由度において位置および姿勢の少なくとも一方が指定されている場合に、前記特定の1の自由度において前記1つの位置および姿勢の少なくとも一方の指定を行うための可動部分であることを特徴とする請求項10に記載の情報処理装置。
  13. 前記判定の結果を表示する表示部を有することを特徴とする請求項1ないし12のうち何れか一項に記載の情報処理装置。
  14. 前記処理部は、前記把持部により把持されるべき前記物体の周りにある物体の配置の情報としての第4情報を得て、前記第1ないし第4情報に基づいて、前記可否の判定を行うことを特徴とする請求項1ないし13のうち何れか一項に記載の情報処理装置。
  15. 把持部による物体の把持の可否を判定する情報処理方法であって、
    前記把持部により把持されるべき物体対する前記把持部の位置および姿勢の少なくとも一方の情報としての第1情報と、前記物体の対称性の情報としての第2情報と、前記把持部により把持されるべき前記物体の位置および姿勢の少なくとも一方の情報としての第3情報と得、前記第1ないし第情報に基づいて、前記把持部により把持されるべき前記物体に対して前記対称性に基づいてとりうる前記把持部位置および姿勢の少なくとも一方の複数のそれぞれに関して前記可否の判定を行
    前記把持部の位置および姿勢の少なくとも一方の複数のそれぞれに関する前記判定の結果を表示部に表示させることを特徴とする情報処理方法。
  16. 請求項15に記載の情報処理方法をコンピュータに実行させることを特徴とするプログラム。
  17. 把持部により把持されるべき物体の位置および姿勢の少なくとも一方の情報を得る請求項1ないし1のうち何れか一項に記載の情報処理装置と、
    前記情報処理装置により得られた前記情報に基づいて前記物体を把持して移動させるロボットと、
    を有することを特徴とするシステム。
  18. 求項1ないし1のうち何れか一項に記載の情報処理装置により得られた、把持部により把持されるべき物体の位置および姿勢の少なくとも一方の情報に基づいて前記物体を把持して移動させる工程と、
    前記工程で移動させられた前記物体の処理を行う工程と、
    を有し、前記処理を行われた前記物体から物品を製造することを特徴とする物品製造方法。
JP2017075607A 2017-04-05 2017-04-05 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法 Expired - Fee Related JP6598814B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017075607A JP6598814B2 (ja) 2017-04-05 2017-04-05 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
EP18162477.6A EP3385038A1 (en) 2017-04-05 2018-03-19 Information processing apparatus, information processing method, storage medium, system, and article manufacturing method
US15/944,618 US20180290300A1 (en) 2017-04-05 2018-04-03 Information processing apparatus, information processing method, storage medium, system, and article manufacturing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017075607A JP6598814B2 (ja) 2017-04-05 2017-04-05 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法

Publications (2)

Publication Number Publication Date
JP2018176311A JP2018176311A (ja) 2018-11-15
JP6598814B2 true JP6598814B2 (ja) 2019-10-30

Family

ID=61899030

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017075607A Expired - Fee Related JP6598814B2 (ja) 2017-04-05 2017-04-05 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法

Country Status (3)

Country Link
US (1) US20180290300A1 (ja)
EP (1) EP3385038A1 (ja)
JP (1) JP6598814B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3646995A1 (de) 2018-10-29 2020-05-06 Siemens Aktiengesellschaft Vollautomatisierte montage und kontaktierung elektrischer bauteile
JP7205752B2 (ja) * 2018-11-09 2023-01-17 オムロン株式会社 ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
JP7204513B2 (ja) * 2019-02-13 2023-01-16 株式会社東芝 制御装置及びプログラム
WO2020188646A1 (ja) * 2019-03-15 2020-09-24 オムロン株式会社 パラメータ調整装置、パラメータ調整方法及びプログラム
EP3831546A4 (en) * 2019-03-15 2022-03-23 OMRON Corporation GRIP POSITION AND ORIENTATION REGISTRATION DEVICE, GRIP POSITION AND ORIENTATION REGISTRATION METHOD, AND PROGRAM
WO2021053750A1 (ja) * 2019-09-18 2021-03-25 株式会社Fuji 作業ロボットおよび作業システム
JP2021091056A (ja) * 2019-12-12 2021-06-17 株式会社キーエンス 測定装置
CN114061580B (zh) * 2020-05-22 2023-12-29 梅卡曼德(北京)机器人科技有限公司 基于对称程度的机器人抓取方法、装置、电子设备及介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5471355B2 (ja) * 2009-11-24 2014-04-16 オムロン株式会社 3次元視覚センサ
KR101453234B1 (ko) * 2010-11-17 2014-10-22 미쓰비시덴키 가부시키가이샤 워크 취출 장치
US9393017B2 (en) * 2011-02-15 2016-07-19 Intuitive Surgical Operations, Inc. Methods and systems for detecting staple cartridge misfire or failure
JP5852364B2 (ja) * 2011-08-26 2016-02-03 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6267700B2 (ja) 2012-07-18 2018-01-24 クレアフォーム・インコーポレイテッドCreaform Inc. 3d走査および位置決めのインターフェース
JP6410022B2 (ja) * 2013-09-06 2018-10-24 パナソニックIpマネジメント株式会社 マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路
JP6429450B2 (ja) * 2013-10-31 2018-11-28 キヤノン株式会社 情報処理装置、情報処理方法
JP5788460B2 (ja) * 2013-11-05 2015-09-30 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
JP6036662B2 (ja) * 2013-11-22 2016-11-30 三菱電機株式会社 ロボットシミュレーション装置、プログラム、記録媒体及び方法
JP2016013590A (ja) * 2014-07-01 2016-01-28 セイコーエプソン株式会社 教示装置、及びロボットシステム
JP6529302B2 (ja) * 2015-03-24 2019-06-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6298035B2 (ja) * 2015-12-17 2018-03-20 ファナック株式会社 モデル生成装置、位置姿勢算出装置、およびハンドリングロボット装置
JP6734402B2 (ja) * 2017-01-12 2020-08-05 株式会社Fuji 作業機

Also Published As

Publication number Publication date
US20180290300A1 (en) 2018-10-11
EP3385038A1 (en) 2018-10-10
JP2018176311A (ja) 2018-11-15

Similar Documents

Publication Publication Date Title
JP6598814B2 (ja) 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
EP3550470B1 (en) Object recognition processing apparatus and method, and object picking apparatus and method
US10551821B2 (en) Robot, robot control apparatus and robot system
JP6415026B2 (ja) 干渉判定装置、干渉判定方法、コンピュータプログラム
JP5977544B2 (ja) 情報処理装置、情報処理方法
JP6429450B2 (ja) 情報処理装置、情報処理方法
JP4309439B2 (ja) 対象物取出装置
JP5281414B2 (ja) ワーク自動把持のための方法及びシステム
JP6892286B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP6703812B2 (ja) 3次元物体検査装置
JP2015199155A (ja) 情報処理装置および情報処理方法、プログラム
WO2009113339A1 (ja) 動作教示システム及び動作教示方法
JP2016181183A (ja) 情報処理装置、情報処理方法、プログラム
JP2004295223A (ja) 画像処理装置及びロボットシステム
WO2020190166A1 (ru) Способ и система захвата объекта с помощью роботизированного устройства
JP6632656B2 (ja) 干渉判定装置、干渉判定方法、コンピュータプログラム
JP2018091656A (ja) 情報処理装置、計測装置、システム、算出方法、プログラムおよび物品の製造方法
Dharmara et al. Robotic assembly of threaded fasteners in a non-structured environment
Nagata et al. Picking up an indicated object in a complex environment
WO2021039775A1 (ja) 画像処理装置、撮像装置、ロボット及びロボットシステム
JP2018144159A (ja) ロボット設定装置、ロボットシステム、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN111745639B (zh) 信息处理方法及装置、物体检测装置以及机器人系统
JP7066671B2 (ja) 干渉判定装置、干渉判定方法、プログラム及びシステム
Zhang et al. Vision-guided robot alignment for scalable, flexible assembly automation
WO2022123850A1 (ja) 制御装置、制御方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180531

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20181204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191001

R151 Written notification of patent or utility model registration

Ref document number: 6598814

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees