JP7166206B2 - ハンドリング装置、制御装置、およびプログラム - Google Patents

ハンドリング装置、制御装置、およびプログラム Download PDF

Info

Publication number
JP7166206B2
JP7166206B2 JP2019047137A JP2019047137A JP7166206B2 JP 7166206 B2 JP7166206 B2 JP 7166206B2 JP 2019047137 A JP2019047137 A JP 2019047137A JP 2019047137 A JP2019047137 A JP 2019047137A JP 7166206 B2 JP7166206 B2 JP 7166206B2
Authority
JP
Japan
Prior art keywords
holding
curvature
suction
unit
determines
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019047137A
Other languages
English (en)
Other versions
JP2020032523A (ja
Inventor
和馬 古茂田
昭人 小川
征司 十倉
春菜 衛藤
平 姜
淳 菅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Publication of JP2020032523A publication Critical patent/JP2020032523A/ja
Application granted granted Critical
Publication of JP7166206B2 publication Critical patent/JP7166206B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/0052Gripping heads and other end effectors multiple gripper units or multiple end effectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/06Gripping heads and other end effectors with vacuum or magnetic holding means
    • B25J15/0616Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90Devices for picking-up and depositing articles or materials
    • B65G47/91Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • B65G47/917Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers control arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39558Vacuum hand has selective gripper area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)

Description

本発明の実施形態は、ハンドリング装置、制御装置、およびプログラムに関する。
物流現場における移載動作の自動化には、多種多様な形状や大きさ、重さを有した物体を保持して搬送できることが求められる。このような多種多様な物体に対して各物体に応じた専用ハンドを用意することはコスト的に難しい。このため、1つのハンドリング装置により多種多様な物体を保持することが期待されている。しかしながら、例えば非平面を有する物体を保持する場合、物体を安定して保持することが難しい場合があった。
特開2015-112664号公報 特開2017-19100号公報
本発明が解決しようとする課題は、物体保持の安定性の向上を図ることができるハンドリング装置、制御装置、およびプログラムを提供することである。
実施形態のハンドリング装置は、保持部と、制御部とを持つ。前記保持部は、物体を吸着保持可能な複数の吸着部を有して前記物体を保持可能である。前記制御部は、前記物体の表面が第1方向に第1曲率を有するとともに前記第1方向とは異なる第2方向に前記第1曲率よりも大きな第2曲率を有する場合、前記複数の吸着部に含まれる少なくとも2つの吸着部前記第1方向に並べるように前記保持部の保持姿勢を決定する。前記制御部は、前記物体の表面の平均曲率およびガウス曲率に基づき、前記少なくとも2つの吸着部を並べる前記第1方向を決定する。
第1の実施形態のハンドリング装置を含む搬送システムを示す図。 第1の実施形態の保持部を示す斜視図。 第1の実施形態の複数の吸着部の配置レイアウトを示す下面図。 第1の実施形態の物体に対する保持部の保持方法の一例を示す図。 第1の実施形態の物体に対する保持部の保持方法の別の一例を示す図。 第1の実施形態の物体に対する保持部の保持方法のいくつかの例を示す図。 第1の実施形態の搬送システムのシステム構成を示すブロック図。 第1の実施形態の入力マスク画像および深度画像の一例を示す図。 第1の実施形態の深度画像を説明するための図。 第1の実施形態の深度画像の平滑化処理の流れを示す図。 第1の実施形態の深度画像の欠損箇所の穴埋め処理の流れを示す図。 第1の実施形態の深度画像の欠損箇所の穴埋め処理の一例を示す図。 第1の実施形態の物体の表面の2次曲面を求めるためのモデルを示す図。 第1の実施形態の各種曲率と形状モデルとの関係を示す図。 第1の実施形態の形状モデルに設定される優先度を示す図。 第1の実施形態の保持可能領域のいくつかの例を示す図。 第1の実施形態の出力マスク画像の一例を示す図。 第1の実施形態の保持計画生成部の処理の流れを示すフローチャート。 第2の実施形態の保持部を示す正面図。 第2の実施形態の形状モデルに設定される優先度を示す図。
以下、実施形態のハンドリング装置、制御装置、およびプログラムを、図面を参照して説明する。なお以下の説明では、同一または類似の機能を有する構成に同一の符号を付す。そして、それら構成の重複する説明は省略する場合がある。本願でいう「XXに基づく」とは、「少なくともXXに基づく」ことを意味し、XXに加えて別の要素に基づく場合も含む。また、「XXに基づく」とは、XXを直接に用いる場合に限定されず、XXに対して演算や加工が行われたものに基づく場合も含む。「XX」は、任意の要素(例えば、任意の情報)である。
(第1の実施形態)
図1から図18を参照して、第1の実施形態について説明する。図1は、本実施形態のハンドリング装置10を含む搬送システム1を示す図である。搬送システム1は、例えば、物流用のハンドリングシステム(ピッキングシステム)である。搬送システム1は、移動元S1に位置する物体(保持対象物、搬送対象物、ワーク)Oを、移動先S2に移動させる。
移動元S1および移動先S2は、例えば、トートやオリコン、ビンのようなコンテナ、各種のコンベア、または各種のパレットであるが、これらに限定されない。移動元S1では、多種多様な形状や大きさ、重さを有した物体Oがランダムに積載されている。本実施形態では、保持対象の物体Oは、5cm角のような小さなものから、30cm角のような大きなものまで様々である。また、物体Oは、数十gのような軽いものから数kgのような重いものまで様々である。ただし、物体Oの大きさや重さは、上記例に限定されない。
なお、ハンドリング装置10および搬送システム1は、物流用のハンドリングシステムに限定されず、産業用ロボットシステムやその他のシステムなどにも広く適用可能である。本明細書でいう「ハンドリング装置」および「搬送システム」は、物体の搬送を主目的とした装置やシステムに限定されず、製品組立や別の目的の一部として物体の搬送(移動)を伴う装置やシステムでもよい。
まず、搬送システム1の全体構成について説明する。
図1に示すように、搬送システム1は、例えば、ハンドリング装置10、第1検出器11、第2検出器(深度センサ)12、および管理装置13を含む。
ハンドリング装置(保持装置、搬送装置)10は、例えばロボット装置であり、移動元S1に位置する物体Oを保持し、保持した物体Oを移動先S2に移動させる。ハンドリング装置10は、有線または無線で管理装置13と通信可能である。ハンドリング装置10については詳しく後述する。
第1検出器11および第2検出器12は、移動元S1の近くに配置されたカメラまたは各種センサである。第1検出器11は、物体Oの画像データを取得する。「画像データ」は、移動元S1に位置する物体Oの外形形状を示す情報の一例である。一方で、第2検出器12は、物体Oの距離画像データを取得する。「距離画像データ」は、移動元S1の上方に設定された任意の基準面から物体Oの表面までの距離(深さ)を示す情報の一例である。
第1検出器11および第2検出器12より検出された情報は、管理装置13に出力される。第1検出器11および第2検出器12の少なくとも一方は、ハンドリング装置10の一部として設けられてもよい。この場合、第1検出器11および第2検出器12により検出された情報は、ハンドリング装置10の制御部300(後述)に直接出力されてもよい。
管理装置(上位制御部)13は、搬送システム1の全体の管理および制御を行う。例えば、管理装置13は、第1検出器11および第2検出器12により検出された情報を取得し、取得した情報をハンドリング装置10に出力する。
次に、ハンドリング装置10について説明する。
図1に示すように、ハンドリング装置10は、例えば、移動機構100、保持部200、および制御部(制御装置)300を含む。
移動機構100は、保持部200を所望の位置に移動させる機構である。移動機構100は、保持部200の姿勢を変更可能である。例えば、移動機構100は、6軸の垂直多関節ロボットアームであり、複数のアーム部材101と、複数のアーム部材101を回動可能に連結した複数の回動部102とを含む。ただし、移動機構100は、3軸の直交ロボットアームでもよいし、その他の構成により保持部200を所望の位置に移動させる機構でもよい。例えば、移動機構100は、回転翼により保持部200を持ち上げて移動させる飛行体(例えばドローン)でもよい。
保持部200は、移動元S1に位置する物体Oを保持する保持機構である。保持部200は、後述する回動部202を介して移動機構100に連結されている。例えば、保持部200は、吸引装置203と、吸引装置203に連通した複数の吸着部205とを有し、吸着により物体Oを保持する。ただし、保持部200は、挟持により物体Oを保持する保持部でもよいし、その他の機構により物体Oを保持する保持部でもよい。本実施形態では、保持部200が複数の吸着部205を有する例について説明する。吸着部205は、物体Oに付着して物体Oを保持する「付着部」の一例である。保持部200が挟持により物体Oを保持する例については、第2の実施形態として後述する。
図2は、本実施形態の保持部200を示す斜視図である。保持部200は、例えば、ベース201、回動部202、吸引装置203、複数の切換弁204、および複数の吸着部205(例えば吸着パッド)を有する。
ベース201は、例えば立方体状の外形を有し、保持部200の外郭を形成している。ベース201は、回動部202を介して移動機構100に連結されている。ベース201は、箱状に形成されてもよく、フレームのみで構成されてもよい。
回動部202は、ベース201と移動機構100との間に設けられ、移動機構100に対してベース201を回動可能に連結している。回動部202は、移動機構100に対して保持部200のベース201を、図中のA方向およびその反対方向に回動させることができる。なお、回動部202は、保持部200の一部としてではなく、移動機構100の一部として設けられてもよい。
吸引装置203は、ベース201の内側に設けられている。吸引装置203は、例えば真空ポンプである。吸引装置203は、ホースなどを介して複数の吸着部205の各々と連通している。吸引装置203が駆動されることで、各吸着部205内の圧力が大気圧よりも低くなり、吸着部205により物体Oが吸着保持される。
複数の切換弁204は、複数の吸着部205に対して1対1で設けられている。各切換弁204は、対応する吸着部205と吸引装置203と連通させる第1状態と、吸着部205と吸引装置203との間の連通を遮断するとともに吸着部205をハンドリング装置10の外部(大気圧空間)に連通させる第2状態との間で切り替え可能である。ハンドリング装置10は、物体Oが比較的小さい場合、複数の吸着部205のなかから選択された1つまたは少数の吸着部205のみを、保持に用いる吸着部205(以下、「有効吸着部205E」と称する)として機能させる。なお、以下に説明するいくつかの図では、有効吸着部205Eにハッチングを施すことで、有効吸着部205Eと、それ以外の吸着部205とを区別して図示している。
複数の吸着部205の各々は、例えばベローズ(伸縮部)205aを含み、伸縮可能な構造を有する。複数の吸着部205は、ベース201の一端部において、互いに並べて配置されている。吸着部205は、移動元S1に位置する最小の物体よりも小さい外形を持つ。ハンドリング装置10は、物体Oが比較的小さくて軽い場合、複数の吸着部205のなかから選択された1つ以上の有効吸着部205Eのみを用いて物体Oを吸着保持する。本実施形態は、移動元S1に5cm角の物体Oが置かれ得る例であり、吸着部205は、例えば直径が4cmの円形状である。
一方で、個々の吸着部205が単体で吸着保持できる物体Oの重量には上限がある。ハンドリング装置10は、物体Oが比較的大きくて重い場合、複数の吸着部205のなかで2つ以上の有効吸着部205を併せて使用することで、重い物体Oを吸着保持する。本実施形態では、1つの吸着部205で吸着保持できる重量は、例えば約2kgである。本実施形態では、保持部200は、5つの吸着部205を備えることで、最大約10kgの物体Oまで保持することができる。
図3は、本実施形態の複数の吸着部205の配置レイアウトを示す下面図である。上述したように、本実施形態の保持部200は、5つの吸着部205を有する。5つの吸着部205は、保持部200の略中心に配置された1つの吸着部205と、保持部200の4つの角部に対応するように、上記吸着部205の周囲に分かれて配置された4つの吸着部205とを含む。これら4つの吸着部205は、上述した回動部202が回動することで、回動部202の中心軸の周りをA方向およびその反対方向に回動可能である。
次に、制御部300について説明する。制御部300は、ハンドリング装置10の全体動作を制御する。ここではまず、制御部300が有するいくつかの機能の概要について説明する。
制御部300は、第1の機能として、物体Oの表面の形状を、物体Oの表面の曲率によって複数の種別(平面、曲面、球面、波状、段差、凹凸、突起、…)に分類する。そして、制御部300は、分類された物体Oの表面の形状に基づき、物体Oに対する保持部200の保持方法(例えば、物体Oに対する吸着部205の当て方)を変更する。
図4および図5は、物体Oに対する保持部200の保持方法の例を示す図である。例えば、図4は、物体Oの表面が円柱形状である場合を示す。図5は、物体Oの表面が球形状である場合を示す。制御部330は、物体Oの表面が円柱形状である場合と、物体Oの表面が球形状である場合とで、物体Oに対する保持部200の保持方法を異ならせる。例えば、物体Oの表面が円柱状である場合、制御部300は、物体Oに対して複数(例えば2つ)の吸着部205を当接させて物体Oを保持させる。一方で、物体Oの表面が球体状である場合、制御部300は、物体Oの頂点部分に吸着部205を1つだけ当接させて物体Oを保持させる。
制御部300、第2の機能として、物体Oの表面の曲率が複数の方向で互いに異なる場合、曲率が相対的に小さい方向に複数の吸着部205を並べるように保持部200の保持姿勢を決定する。例えば、図4に示す例では、制御部300は、物体Oの円柱形状の表面に対して、円柱形状の稜線部分Rに沿って複数の吸着部205を並べるように、保持部200の保持姿勢を決定する。
次に、上述した第1の機能についてもう少し詳しく説明する。
図6は、物体Oに対する保持部200の保持方法のいくつかの例を示す図である。制御部300は、非平面を有した物体Oに対して、物体Oの表面の曲率に基づいて分類された物体Oの表面の形状に応じて、次のような保持方法を決定する。例えば、制御部300は、物体Oの表面が円柱形状である場合(図6中の(a))、物体Oの稜線方向に複数の吸着部205を並べる。制御部300は、物体Oの表面が球体状である場合(図6中の(b))、物体Oの頂点部分を1つの吸着部205により吸着保持する。制御部300は、物体Oの表面が波状形状である場合(図6中の(c))、吸着部205を当接させることが難しい凹となる領域を避け、上側に凸となる領域を複数の吸着部205で吸着保持する。
また、制御部300は、物体Oの表面が平面と曲面の組み合わせである場合(図6中の(d))、平面と曲面との境界を避け、平面または曲面を複数の吸着部205により吸着保持する。保持計画生成部330aは、物体Oの表面において複数の平面の間に段差(高さが離散的な場所)がある場合(図6中の(e))、上記段差を避け、複数の平面のいずれかを複数の吸着部205により吸着保持する。制御部300は、物体Oが多孔質体である場合(図6中の(f))、閾値を超える大きな穴が開いた領域は避け、閾値以下の小さな穴しか無い領域を複数の吸着部205により吸着保持する。
図7は、搬送システム1のシステム構成を示すブロック図である。制御部300は、例えば、情報取得部310、画像解析部320、計画部330、動作制御部340、および記憶部350を含む。
制御部300の各機能部(例えば、情報取得部310、画像解析部320、計画部330、および動作制御部340)の全部または一部は、例えばCPU(Central Processing Unit)またはGPU(Graphics Processing Unit)のような1つ以上のプロセッサが記憶部350に記憶されたプログラムを実行することにより実現される。ただし、これら機能部の全部または一部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、PLD(Programmable Logic Device)などのハードウェア(例えば回路部;circuity)により実現されてもよい。また、上記機能部の全部または一部は、ソフトウェア機能部とハードウェアとの組み合わせで実現されてもよい。記憶部350は、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read-Only Memory)、ROM(read-only memory)、またはRAM(random access memory)などにより実現される。
情報取得部310は、第1検出器11および第2検出器12により検出された情報を、管理装置13から取得する。本明細書で言う「取得」とは、送信リクエストを発信することで情報を取得する場合に限定されず、受け身で受信することで情報を取得する場合も含む。情報取得部310は、第1検出器11および第2検出器12から取得した情報を画像解析部320に出力する。
画像解析部320は、第1検出器11および第2検出器12により検出された情報に基づき、計画部330の情報処理に用いられる各種情報を生成する。例えば、画像解析部320は、画像データおよび距離画像データに基づき、計画部330に対する入力情報である入力マスク画像401および深度画像402(図8参照)を生成する。入力マスク画像401および深度画像402の内容については後述する。なお、第1検出器11および第2検出器12から入力マスク画像401および深度画像402に相当する情報が直接得られる場合は、画像解析部320は省略されてもよい。
計画部330は、例えば、保持計画生成部330aと、移動計画生成部330bとを有する。保持計画生成部330aは、移動元S1に位置する物体Oを保持部200により保持するための保持計画を生成する。移動計画生成部330bは、保持部200により保持された物体Oを移動機構100により移動元S1から移動先S2に移動させるための移動計画を生成する。
まず、保持計画生成部330aについて説明する。保持計画生成部330aは、前処理部331、曲率・傾斜量算出部332(以下、「曲率算出部332」と称する)、評価領域設定部333、表面形状判別部334、スコア付与部335、保持可能領域決定部336、および保持姿勢決定部337を有する。
前処理部331について説明する。前処理部331には、画像解析部320により生成された入力マスク画像401および深度画像402が入力される。深度画像402は、高周波ノイズが乗っている場合や、撮影不良による飛び値やデータ欠損が含まれている。このため、前処理部331は、深度画像402の欠損部分の穴埋めを行い、さらに深度画像402の平滑化処理を行うこと高周波ノイズおよび飛び値を除去する。
図8は、前処理部331に入力される入力マスク画像401および深度画像(深さマップ)402の一例を示す図である。入力マスク画像401は、物体Oの表面の情報を「0」と「1」で示したマスク画像である。すなわち、「1」が入力されたマスは、物体Oの表面が存在することを示す。「0」が入力されたマスは、物体Oの表面が存在しないことを示す。一方で、深度画像402は、1から255諧調で物体Oの表面の高さ位置を表現した画像である。入力マスク画像401のマスと深度画像402のマスは、1対1の関係で対応している。
図9は、深度画像402を説明するための図である。図9中の(a)は、物体Oの表面に対して設定された座標基準面411(例えば水平面に沿う面)を示す。図9中の(b)は、座標基準面411に対する物体Oの表面の深度または高度(以下、これらを纏めて「深度」と称する)を示す。深度画像402は、物体Oの表面の高さ位置を示す情報であり、座標基準面411に対する各マスの高さ位置が数値化された情報である。深度画像402は、座標基準面411に対する各マスの高さ位置が255諧調で分けられている。深度画像402は、例えば第2検出器12により検出された距離画像データに基づき得られる。なお、第2検出器12によって情報が取得できなかった箇所は、データの欠損とみなされ、データの欠損の該当箇所には「0」が情報として与えられている。
図10は、前処理部331による深度画像402の平滑化処理の流れを示す図である。前処理部331は、入力された深度画像402に対して、深度画像402のデータの欠損箇所を穴埋めする穴埋め処理を行う。この穴埋め処理については、図11および図12を参照して後述する。次に、前処理部331は、穴埋め処理されたデータに対して、メディアンフィルタを用いた平滑化を行い、さらにガウシアンフィルタを用いた平滑化を行う。これにより、深度画像402に含まれる高周波ノイズおよび飛び値が除去される。
図11は、深度画像402のデータ欠損箇所の穴埋め処理の流れを示す図である。穴埋め処理は、穴埋め往路の処理(S11)、穴埋め復路の処理(S12)、および入力マスク画像401と深度画像402との重畳処理(S13)を含む。
図12は、深度画像402のデータ欠損箇所の穴埋め処理の一例を示す図である。データ欠損の穴埋めは、例えば、データ欠損箇所の近傍の値の平均値を、データ欠損箇所のマスに代入することで行われる。本実施形態に関する一例では、3×3行列の9マスを1つの単位とする。あるデータ欠損箇所の穴埋めには、そのデータ欠損箇所が左上の隅に位置する3×3行列の残り8マスうち、0以外の値が入ったマスの平均値が用いられる。図示する例では、3×3行列において左上の隅以外にもデータ欠損箇所がある場合には、そのデータ欠損箇所も上記平均値により穴埋めされる。
図12中の(a)に示す穴埋め往路の処理では、深度画像402の左上のマスを起点として始め、起点から1マスずつ右横にずれながら、深度画像402で「0」が入力されている箇所に対して上記データ欠損の穴埋め処理を行う。そして、1行の処理が完了すると1つ下の行に移動して同じ処理を繰り返す。
上記穴埋め往路の処理が完了すると、次に、図12中の(b)に示す穴埋め復路の処理が行われる。穴埋め復路の処理は、深度画像402の右下のマスを起点として始め、起点から1マスずつ左横にずれながら、深度画像402で「0」が入力されている箇所に対して上記データ欠損の穴埋め処理を行う。そして、1行の処理が完了すると1つ上の行に移動して同じ処理を繰り返す。このような穴埋め復路の処理を行うことで、穴埋め往路の処理でデータ欠損の穴埋めができないマス(例えば、左上の隅のマス)に対しても穴埋め処理を行うことができる。
次に、前処理部331は、穴埋め往路の処理と穴埋め復路の処理が完了すると、図12中の(c)に示す入力マスク画像401と深度画像402との重畳処理を行う。この重畳処理では、入力マスク画像401と、穴埋めが行われた深度画像402とが比較され、深度画像402のマスのなかで、入力マスク画像401で「1」が入力されているマスに対応するマスの値はそのまま残され、入力マスク画像401で「0」が入力されているマスに対応するマスの値は削除される。これにより、深度画像402において実際の物体Oの表面に対応しない不要な値が削除される。前処理部331により前処理が行われた画像は、曲率算出部332に出力される。
次に、曲率算出部332について説明する。曲率算出部332は、前処理が行われた深度画像402に基づき物体Oの表面の局所の2次曲面を求め、物体Oの表面の局所の各種曲率(平均曲率、ガウス曲率、最大曲率、最小曲率)および傾斜量を算出する。
図13は、物体Oの表面の局所の2次曲面を求めるためのモデルを示す図である。図13中の(a)は、上記モデルを3次元的に示す。図13中の(b)は、上記モデルに対応するXY平面上のグリッドを示す。図中のNは、物体Oの表面の局所の法線ベクトルである。図中のθは、鉛直方向に対する上記法線ベクトルの傾き角度である。図中のφは、Y方向に対する最小曲率(Kmin)が存在する方向の傾き角度である。図中のグリッドは、吸着部205のスケールを考慮したステップ幅(D,D)で離散化されている。例えば、吸着部205の直径が4cmである場合、点P1と点P3との間の距離は4cmであり、点P1と点P7との間の距離は4cmである。
図13において、注目点である点P5を中心とする周囲8点を覆う2次曲面は、点P1から点P9の深度(点P1から点P9に対応する深度画像402上の値)Z~Zに基づき求まる。点P5の各種曲率(平均曲率、ガウス曲率、最大曲率、最小曲率)および傾斜量は、次の式により計算される。
Figure 0007166206000001
ここで、式(1)の係数a~fは、下記の式により計算される。
Figure 0007166206000002
Figure 0007166206000003
Figure 0007166206000004
Figure 0007166206000005
Figure 0007166206000006
Figure 0007166206000007
ここで、Z~Zは、点P1~点P9の深度を示す。
式(2)~(7)の係数が決定されると、平均曲率(K)およびガウス曲率(K)は、次式により求まる。
Figure 0007166206000008
Figure 0007166206000009
さらに、平均曲率およびガウス曲率に基づき、最大曲率(Kmax)および最小曲率(Kmin)は、次式により求まる。
Figure 0007166206000010
Figure 0007166206000011
2次曲面の最大傾斜量S(S,S)は、Z~Zを用いて次式により求まる。
Figure 0007166206000012
Figure 0007166206000013
物体Oの表面の局所の最小傾斜量は、上記式で得られた最大傾斜量Sを90度回転させることにより得られる。最小傾斜量は、物体Oの表面において曲率が最も小さい方向である。この方向に複数の吸着部205を並べることで、複数の吸着部205が物体Oの表面から離れることを抑制しつつ複数の吸着部205で物体Oを吸着保持可能になる。曲率算出部332により算出された各種曲率および傾斜量を示す情報は、評価領域設定部333、表面形状判別部334、および保持可能領域決定部336に出力される。
次に、評価領域設定部333について説明する。評価領域設定部333は、物体Oの表面に対して1つ以上の評価対象領域501を設定する。評価対象領域501は、後述する表面形状判別部334により物品Oの表面の形状が分類される1単位の領域である。評価領域設定部333は、物体Oの表面が円柱形状や球形状の場合(図6中の(a),(b)の場合)、物体Oの表面に対して1つの評価対象領域501を設定する。
一方で、評価領域設定部333は、物体Oの表面が波状形状や、平面と曲面の組み合わせ形状、複数の平面の間に段差がある形状、大きな穴が開いた領域と小さな穴が開いた領域とを含む形状などの場合(図6中の(c),(d),(e),(f)の場合)、1つの物体Oの表面に2つ以上の評価対象領域501を設定する。例えば、評価領域設定部333は、物体Oの表面が波状形状の場合、凸の領域と、凹の領域とにそれぞれ別の評価対象領域501を設定する。評価領域設定部333は、物体Oの表面が平面と曲面の組み合わせである場合、平面と曲面とにそれぞれ別の評価対象領域501を設定する。評価領域設定部333は、物体Oの表面が複数の平面の間に段差を有する場合、複数の平面にそれぞれ別の評価対象領域501を設定する。評価領域設定部333は、大きな穴が開いた領域と小さな穴が開いた領域とを含む場合、大きな穴が開いた領域と小さな穴が開いた領域とにそれぞれ別の評価対象領域501を設定する。
評価領域設定部333は、例えば、曲率算出部332により算出された各種曲率および傾斜量、深度画像402(深度情報)のうち少なくとも1つに基づき、1つの物体Oの表面を2つ以上の評価対象領域501に切り分け、1つの物体Oの表面に対して2つ以上の評価対象領域501を設定する。
例えば、物体Oが凹凸を含んだ波状の表面を有する場合、凸形状の頂点や凹形状の底でのガウス曲率と平均曲率はゼロ(臍点)になる。評価領域設定部333は、ガウス曲率または平均曲率がゼロになる点(臍点)からの等高線に基づき、前記ゼロになる点(臍点)からの高さが、第1閾値高さ未満の領域を領域A、第1閾値高さ以上で第2閾値高さ未満の領域を領域B、…という形で区切ることで、2つ以上の領域を分離する。
また、評価領域設定部333は、ある点における接ベクトルがその点の主方向と一致する線である曲率線を算出し、算出した曲率線で囲われた閉曲線または開曲線によって2つ以上の領域を分離してもよい。なお、領域を分離する際には、曲面と平面の各領域を跨がないように、例えば領域の高さに閾値が設けられる、または、曲率線による領域と臍点の正負との関係などを用いて形状が分離される。
これにより、評価領域設定部333は、物体Oの表面が平面と曲面の組み合わせ形状である場合(図6中の(d))、平面と曲面との境界を跨ぐ評価対象領域501は設定せず、平面と曲面とにそれぞれ評価対象領域501を設定する。また、評価領域設定部333は、物体Oの表面において複数の平面の間に段差がある形状である場合(図6中の(e))、複数の平面の間の段差を跨ぐ評価対象領域501は設定せず、複数の平面にそれぞれ評価対象領域501を設定する。また、評価領域設定部333は、物体Oが多孔質体である場合(図6中の(f))、閾値を超える大きな穴が開いた領域と閾値以下の小さな穴しか無い領域とを跨ぐ評価対象領域501は設定せず、閾値を超える大きな穴が開いた領域と、閾値以下の小さな穴しか無い領域とにそれぞれ評価対象領域501を設定する。そして、これら評価対象領域501は、後述するスコア付与部335により付与されたスコアに基づいて優先度が決定され、保持部200により保持される領域が決定される。
次に、表面形状判別部334について説明する。表面形状判別部334は、例えば、曲率算出部332により算出された物体Oの曲率の正負を示す情報に基づき、評価対象領域501における表面の形状を分類する。表面形状判別部334は、物体Oの表面に2つ以上の評価対象領域501が設定される場合、評価対象領域501ごとに表面の形状を分類する。
本実施形態では、表面形状判別部334は、曲率算出部332により算出された物体Oの表面の局所の各種曲率、最大傾斜量、および最小傾斜量を、評価対象領域501の全域で統計処理することで、各種曲率、最大傾斜量、および最小傾斜量の評価対象領域501での中央値をそれぞれ算出する。中央値は、統計処理により得られる、各種曲率、最大傾斜量、および最小傾斜量の評価対象領域501での代表値の一例である。
表面形状判別部334は、評価対象領域501で求められた各種曲率の中央値の正負または0といった情報に基づいて、物体Oの表面を平面または曲面などに分類する。本実施形態では、表面形状判別部334は、評価対象領域501で求められた曲率の変曲点および極値それぞれの中央値に基づき、物体Oの表面の形状が複数の形状モデルのなかでどの形状モデルに該当するかを判別する。なお以下の説明にでは、「曲率」というと、評価対象領域501で求められた曲率の中央値を意味する。
図14は、各種曲率と形状モデルとの関係を示す図である。本実施形態では、表面形状判別部334は、評価対象領域501の表面のガウス曲率(K)、平均曲率(K)、最大曲率(Kmax)、および最小曲率(Kmin)に基づき、物体Oの表面の形状(評価対象領域501の形状)を、(a)鞍形状、(b)平面、(c)上側に凸の円柱形状、(d)下側に凸の円柱形状、(e)上側に凸の球形状、(f)下側に凸の球形状に分類する。例えば、平面は、平均曲率およびガウス曲率がいずれも0、または最大曲率および最小曲率がいずれも0の形状である。曲面は、平均曲率とガウス曲率、または最大曲率と最小曲率との正負によって、円柱形状やドーム状、鞍状やお椀状に分類される。実際の計算結果は、理想的な値にはならないため、閾値を設けて表面形状が判別される。表面形状判別部334により分類された形状モデルを示す情報、および評価対象領域501で求められた各種曲率および傾斜量の中央値などを示す情報は、スコア付与部335、保持可能領域決定部336、および保持姿勢決定部337に出力される。
次に、スコア付与部335について説明する。スコア付与部335は、物体Oの表面のどの部分を優先して保持するかという優先度を示すスコアを物体Oの表面(評価対象領域501)に対して付与する。スコア付与部335は、例えば、表面形状判別部334により分類された形状モデルに基づき、物体Oの表面に対してスコアを付与する。スコア付与部335は、物体Oの表面に複数の評価対象領域501が設定される場合、評価対象領域501ごとにスコアを付与する。
図15は、各形状モデルに設定される優先度(スコアの高低)を示す図である。図15に示すように、平面に対して最も高いスコアが付与され、次いで、上側に凸となる形状モデルに対して高いスコアが付与され、一方で、下側に凸となる形状モデルに対して低いスコアが付与される。これにより、物体Oに対して吸着部205を上方から当てる際には、物体Oのなかで表面の高い場所や平面が存在する領域に吸着部205を優先して当てることができる。
なお、スコア付与部335は、表面形状判別部334により分類された形状モデルに代えて、物体Oの表面(評価対象領域501の表面)の各種曲率または傾斜量に基づいて、スコアを付与してもよい。すなわち、平均曲率とガウス曲率、または最大曲率と最小曲率を用いることで、物体Oの表面がどの程度の曲率を有しているか、またどのような向きに曲がっているかが分かる。これを利用して、スコア付与部335は、例えば、曲率が0または0以上の領域に、高いスコアを付与してもよい。これにより、物体Oの表面のなかで稜線のある領域や峰のある高い領域に吸着部205を優先して当てることができる。
上述した処理に加えて、スコア付与部335は、例えば物体Oの表面の曲率が小さいほど、物体Oの表面に対して高いスコアを付与してもよい。これにより、曲面のなかでも緩やかな曲面に吸着部205を優先して当てることができる。
スコア付与部335は、複数の評価対象領域501のなかで、最も高いスコア(または閾値以上のスコア)が付与された評価対象領域501を示す情報を保持可能領域決定部336に出力する。これにより、制御部300は、複数の評価対象領域501がある場合、そのなかで最も高いスコア(または閾値以上のスコア)が付与された評価対象領域501内に、保持部200により物体Oを保持させる保持可能領域601を設定することができる。
次に、保持可能領域決定部336について説明する。保持可能領域決定部336は、物体Oの表面の形状に応じて、評価対象領域501内の一部または全部の領域を保持可能領域601として設定する。保持可能領域601は、物体Oの表面のなかで少なくとも1つ(可能であれば2つ以上)の吸着部205が物体Oを吸着保持可能な領域である。保持可能領域決定部336は、吸着部205の伸縮可能距離(例えばベローズ205aの伸縮可能距離)と、物体Oの表面の曲率とに基づき、保持可能領域601を決定する。
例えば、保持可能領域決定部336は、最も高い点(例えば稜線)からの吸着部205のベローズ205aが押し込める量と、2つ以上の吸着部205が並ぶ方向における物体Oの曲率とに基づき、物体Oの表面に対して2つ以上の吸着部205が当接可能であるか、1つの吸着部205のみが当接可能であるかを判定し、その判定結果に基づき保持可能領域601を設定する。
図16は、保持可能領域601のいくつかの例を示す図である。図16中の(a)は、物体Oの表面が平面を有する場合である。この場合、保持可能領域決定部336は、全ての吸着部205が物体Oを吸着保持可能な広い保持可能領域601を設定する。図16中の(b)は、物体Oの表面が所定値以下の小さな曲率を有する場合である。この場合、保持可能領域決定部336は、全ての吸着部205が物体Oを吸着保持可能な狭い保持可能領域601を設定する。図16中の(c)は、物体Oの表面が所定値を超える大きな曲率を有する場合である。この場合、保持可能領域決定部336は、保持部200が有する一部の吸着部205が物体Oを吸着保持可能なより保持可能領域601を設定する。この場合、保持可能領域601は、物体Oの表面のなかで曲率が小さい方向(稜線部分R)に沿って細長く設定される。
本実施形態では、保持可能領域決定部336は、物体Oの表面に複数の評価対象領域501が存在する場合、複数の評価対象領域501のなかで、曲率がゼロまたは正の値である評価対象領域501(すなわち、平面または上側に凸となる領域)内に優先して保持可能領域601を設定することで、その領域を保持部200に保持させる。
本実施形態では、保持可能領域決定部336は、物体Oの表面に曲率が不連続に変化する不連続位置が存在する場合、複数の吸着部205が前記不連続位置を跨がないように保持部200の保持位置を決定する。この場合、曲率とは、曲率算出部332により算出された物体Oの表面の局所の曲率を意味する。不連続位置とは、例えば、物体Oの表面が平面と曲面の組み合わせである場合(図6中の(d))における平面と曲面との境界や、物体Oの表面において複数の平面の間に段差(高さが離散的な場所)がある場合(図6中の(e))における段差である。
図17は、保持可能領域決定部336により出力される出力情報である出力マスク画像701の一例を示す。出力マスク画像701は、保持可能領域601に対応するマスに「1」が入力されており、保持可能領域601を外れたマスに「0」が入力されている。保持可能領域決定部336は、生成した出力マスク画像701を、保持姿勢決定部337および動作制御部340に出力する。
次に、保持姿勢決定部337について説明する。保持姿勢決定部337は、物体Oに対する保持部200の保持姿勢を決定する。保持姿勢決定部337は、物体Oの表面が第1方向に第1曲率を有するとともに第1方向とは異なる第2方向に第1曲率よりも大きな第2曲率を有する場合、保持部200が有する少なくとも2つの吸着部205(例えば、なるべく多くの吸着部205)を、第1方向に並べるように保持部200の保持姿勢を決定する。上記第1方向は、例えば、物体Oの表面において曲率が最も小さい方向(最小曲率が存在する方向)である。
例えば、保持姿勢決定部337は、保持可能領域601の最小傾斜量に基づき、保持部200の保持姿勢を決定する。「保持可能領域601の最小傾斜量」とは、例えば、曲率算出部332により算出された物体Oの表面の局所の最小傾斜量が保持可能領域601(または評価対象領域501)で統計処理されることで求められた最小傾斜量の中央値である。保持姿勢決定部337は、保持可能領域601において最小傾斜量が存在する方向に、保持部200が有する少なくとも2つの吸着部205(例えば、なるべく多くの吸着部205)を並べるように保持部200の保持姿勢を決定する。保持姿勢決定部337は、決定した保持部200の保持姿勢を示す情報を、動作制御部340に出力する。
本実施形態では、保持姿勢決定部337は、物体Oの表面の曲率の変曲点および極値に基づき分類される形状モデル(平面、円柱、球、鞍形状、…)に基づき、保持部200に含まれる少なくとも2つの吸着部205を並べる前記第1方向を決定する。すなわち、保持姿勢決定部337は、物体Oの表面形状が円柱形状である場合、円柱形状の稜線に沿う方向に、保持部200に含まれる少なくとも2つの吸着部205を並べる。
本実施形態では、保持姿勢決定部337は、物体Oの表面の曲率の正負を示す情報に基づき、物体Oに対する保持部200の保持方法を変更する。例えば、物体Oの表面が円柱形状である場合、保持姿勢決定部337は、円柱形状の稜線に沿って複数の吸着部205を並べ、物体Oに対して複数の吸着部205を当接させて物体Oを保持させる。一方で、物体Oの表面が球体状である場合、保持姿勢決定部337は、物体Oの頂点部分に1つの吸着部205を当接させて物体Oを保持させる。
次に、移動計画生成部330bについて説明する。移動計画生成部330bは、物体Oの移動元S1および移動先S2に関する情報に基づき、保持部200で保持した物体Oを移動元S1から移動先S2に移動させる移動計画を生成する。本実施形態では、移動計画生成部330bは、保持計画生成部330aにより決定された保持可能領域601および保持部200の保持姿勢などにも基づき、上記移動計画を生成する。
次に、動作制御部340について説明する。動作制御部340は、計画部330により計画された保持計画および移動計画に基づき、保持部200および移動機構100を制御する。例えば、動作制御部340は、保持計画生成部330aにより生成された保持計画に基づき移動機構100および保持部200を制御し、保持計画生成部330aにより決定された保持部200の保持姿勢で物体Oを保持する。動作制御部340は、移動計画生成部330bにより生成された移動計画に基づき移動機構100および保持部200を制御し、物体Oを移動先S2に移動させる。
次に、保持計画生成部330aの処理の流れについて説明する。図18は、保持計画生成部330aの処理の流れを示すフローチャートである。まず、前処理部331は、入力された深度画像402に対して、データ欠損の穴埋め処理および平滑化処理を行う(S101)。次に、曲率算出部332は、物体Oの局所的な曲率および傾斜量を算出する(S102)。次に、評価領域設定部333は、物体Oに対して2つ以上の評価対象領域501が設定されるべきか判定する(S103)。
物体Oに対して設定される評価対象領域501が1つである場合(S103:NO)、表面形状判別部334は、局所的な各種曲率、最大傾斜量、および最小傾斜量を、評価対象領域501で統計処理することで、評価対象領域501における各種曲率、最大傾斜量、および最小傾斜量それぞれの中央値を求める(S104)。そして、表面形状判別部334は、評価対象領域501における各種曲率、最大傾斜量、および最小傾斜量の中央値に基づき、物体Oの表面の形状を判別する(S105)。次に、保持可能領域決定部336は、評価対象領域501で求められた各種曲率、最大傾斜量、および最小傾斜量それぞれの中央値と、吸着部205の伸縮可能距離とに基づき、評価対象領域501内に保持可能領域601を設定する。また、保持姿勢決定部337は、評価対象領域501で求められた各種曲率、最大傾斜量、および最小傾斜量それぞれの中央値に基づき、保持部200の保持姿勢を決定する(S106)。
一方で、1つの物体Oに対して設定される評価対象領域501が2つ以上ある場合(S103:YES)、表面形状判別部334は、局所的な各種曲率、最大傾斜量、および最小傾斜量を、評価対象領域501ごとに統計処理することで、評価対象領域501ごとの各種曲率、最大傾斜量、および最小傾斜量それぞれの中央値を求める(S111)。そして、表面形状判別部334は、評価対象領域501ごとに求められた各種曲率、最大傾斜量、および最小傾斜量それぞれの中央値に基づき、物体Oの表面の形状を判別する(例えば形状モデルに分類する)(S112)。次に、スコア付与部335は、複数の評価対象領域501に対してスコアを付与し、最も高いスコア(または閾値以上のスコア)が付与された評価対象領域501を示す情報を保持可能領域決定部336に出力する(S113)。保持可能領域決定部336は、最も高いスコア(または閾値以上のスコア)が付与された評価対象領域501における各種曲率、最大傾斜量、および最小傾斜量の中央値と、吸着部205の伸縮可能距離とに基づき、評価対象領域501内に保持可能領域601を設定する。また、保持姿勢決定部337は、評価対象領域501における各種曲率、最大傾斜量、および最小傾斜量の中央値に基づき、保持部200の保持姿勢を決定する(S106)。
以上のような構成によれば、物体保持の安定性の向上を図ることができる。すなわち、本実施形態では、制御部300は、物体Oの表面の曲率が小さい方向に、保持部200が有する少なくとも2つの吸着部205を並べるように保持部200の保持姿勢を決定する。このような構成によれば、曲率が小さい方向に並べられた複数の吸着部205により、物体Oを安定して保持することができる。これにより、物体保持の安定性の向上を図ることができる。
本実施形態では、制御部300は、物体Oの表面の曲率の変曲点および極値に基づき分類される形状モデルに基づき、保持部200の少なくとも2つの吸着部205を並べる方向を決定する。このような構成によれば、物体Oの表面の曲率が特定の方向において変化しない形状(例えば円柱形状)では、分類された形状モデルに基づき、曲率が変化しない方向に保持部200の少なくとも2つの吸着部205を並べることができる。これにより、物体保持の安定性のさらなる向上を図ることができる。
本実施形態では、制御部300は、物体Oの表面に複数の評価対象領域501が存在する場合、複数の評価対象領域501のなかで、曲率がゼロまたは正の値である評価対象領域501を優先して保持部に保持させる。このような構成によれば、平面または上側に凸となる曲面に吸着部205を当てることができる。これにより、物体保持の安定性のさらなる向上を図ることができる。
(変形例)
本変形例は、移動元S1に置かれた複数の物体Oのなかで、物体Oの表面の曲率に基づき優先して取り出すべき物体Oが選択される点で、上記実施形態とは異なる。なお以下に説明する構成以外は、第1の実施形態と同様である。
本変形例では、評価領域設定部333は、複数の物体Oのそれぞれに評価対象領域501を設定する。表面形状判別部334は、曲率算出部332により算出された各種曲率および傾斜量などを、複数の物体Oの評価対象領域501ごとに統計化処理し、各種曲率および傾斜量それぞれの中央値を求める。保持可能領域決定部336は、複数の物体Oのなかで、評価対象領域501ごとに求められた曲率の中央値がゼロまたは正の値である評価対象領域501を有する物体Oを優先して前記保持部に保持させるように、保持可能領域601を設定する。このような構成によれば、平面または上側に凸となる曲面に吸着部205を当てることができる。これにより、物体保持の安定性のさらなる向上を図ることができる。なお、評価対象領域501には、第1の実施形態で説明したようなスコアが付与されてもよい。
(第2の実施形態)
次に、第2の実施形態について説明する。第2の実施形態は、物体Oを吸着保持する複数の吸着部205に代えて、物体Oを挟持する一対の挟持部801を有する点で第1の実施形態とは異なる。なお以下に説明する構成以外は、第1の実施形態と同様である。
図19は、第2の実施形態の保持部200を示す正面図である。本実施形態では、保持部200は、一対の挟持部801と、一対の挟持部801を駆動する駆動機構802とを有する。一対の挟持部801は、物体Oを挟持することで物体Oを保持する。挟持部801は、物体Oに付着して物体Oを保持する「付着部」の一例である。駆動機構802は、不図示のモータまたはシリンダなどのアクチュエータを含み、一対の挟持部801を、互いに離れる方向と、互いに近付ける方向とに駆動する。
図20は、第2の実施形態において、各形状モデルに設定される優先度(スコアの高低)を示す図である。本実施形態では、最大曲率が負、または最大曲率と最小曲率とが負の場合、すなわち物体Oの表面の形状が谷形状またはお椀形状の場合に、高いスコアが付与される。すなわち、下側に凸となる形状モデルにより高いスコアが付与され、次いで、上側に凸となる形状モデルに高いスコアが付与され、一方で、平面に低いスコアが付与される。これにより、物体Oを一対の挟持部801で挟持する際には、物体Oをより確実に保持することができる。
本実施形態では、保持姿勢決定部337は、物体Oの表面が第1方向に第1曲率を有するとともに第1方向とは異なる第2方向に第1曲率よりも大きな第2曲率を有する場合、保持部200が持つ一対の挟持部801を、第2方向に並べるように保持部200の保持姿勢を決定する。本実施形態では、前記第2方向は、物体Oの表面において曲率が最も大きい方向(最大曲率が存在する方向)である。
このような構成によれば、第1の実施形態と同様に、物体保持の安定性を向上させることができる。
以上、いくつかの実施形態について説明したが、実施形態は上記例に限定されない。例えば、第1の実施形態の変形例は、第2の実施形態と組み合わされて実施されてもよい。また、制御部300の機能の一部または全部は、例えば、ネットワーク上のサーバ装置である管理装置13に設けられてもよい。上記実施形態では、各種曲率や傾斜量が評価対象領域501ごとに統計処理され、各種曲率や傾斜量の中央値が求められる例について説明した。ただし、形状の分類に用いられる代表値は、中央値に限定されず、統計処理の結果求められる他の代表値でもよい。
以上説明した少なくともひとつの実施形態によれば、ハンドリング装置の制御部は、物体の表面が第1方向に第1曲率を有するとともに第1方向とは異なる第2方向に第1曲率よりも大きな第2曲率を有する場合、第1方向と第2方向とのうちいずれかである所定方向に、複数の付着部に含まれる少なくとも2つの付着部を並べるように保持部の保持姿勢を決定する。これにより、物体保持の安定性を向上させることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1…搬送システム、10…ハンドリング装置、100…移動機構、200…保持部、300…制御部(制御装置)、205…吸着部(付着部)、501…評価対象領域、601…保持可能領域、801…挟持部(付着部)、O…物体。

Claims (10)

  1. 物体を吸着保持可能な複数の吸着部を有して前記物体を保持可能な保持部と、
    前記物体の表面が第1方向に第1曲率を有するとともに前記第1方向とは異なる第2方向に前記第1曲率よりも大きな第2曲率を有する場合、前記複数の吸着部に含まれる少なくとも2つの吸着部前記第1方向に並べるように前記保持部の保持姿勢を決定する制御部と、
    を備え、
    前記制御部は、前記物体の表面の平均曲率およびガウス曲率に基づき、前記少なくとも2つの吸着部を並べる前記第1方向を決定する、
    ンドリング装置。
  2. 前記第1方向は、前記物体の表面において曲率が最も小さい方向である、
    請求項に記載のハンドリング装置。
  3. 前記制御部は、前記物体の曲率の正負を示す情報に基づき前記物体の表面の形状を分類し、分類された形状に基づき前記物体に対する前記保持部の保持方法を変更する、
    請求項1または請求項2に記載のハンドリング装置。
  4. 前記制御部は、前記物体の曲率の正負を示す情報に基づき、前記物体の表面の形状を、平面、円柱、球、鞍形状を含む複数の形状のいずれかに分類する、
    請求項に記載のハンドリング装置。
  5. 物体を吸着保持可能な複数の吸着部を有して前記物体を保持可能な保持部と、
    前記物体の表面が第1方向に第1曲率を有するとともに前記第1方向とは異なる第2方向に前記第1曲率よりも大きな第2曲率を有する場合、前記複数の吸着部に含まれる少なくとも2つの吸着部を前記第1方向に並べるように前記保持部の保持姿勢を決定する制御部と、
    を備え、
    前記制御部は、前記物体の表面に複数の評価対象領域が存在する場合、前記複数の評価対象領域のなかで、曲率がゼロまたは正の値である評価対象領域を優先して前記保持部に保持させる、
    ンドリング装置。
  6. 物体を吸着保持可能な複数の吸着部を有して前記物体を保持可能な保持部と、
    前記物体の表面が第1方向に第1曲率を有するとともに前記第1方向とは異なる第2方向に前記第1曲率よりも大きな第2曲率を有する場合、前記複数の吸着部に含まれる少なくとも2つの吸着部を前記第1方向に並べるように前記保持部の保持姿勢を決定する制御部と、
    を備え、
    前記制御部は、複数の物体が存在する場合、前記複数の物体のなかで、曲率がゼロまたは正の値である評価対象領域を有する物体を優先して前記保持部に保持させる、
    ンドリング装置。
  7. 物体を吸着保持可能な複数の吸着部を有して前記物体を保持可能な保持部と、
    前記物体の表面が第1方向に第1曲率を有するとともに前記第1方向とは異なる第2方向に前記第1曲率よりも大きな第2曲率を有する場合、前記複数の吸着部に含まれる少なくとも2つの吸着部を前記第1方向に並べるように前記保持部の保持姿勢を決定する制御部と、
    を備え、
    前記複数の吸着部の各々は、伸縮可能な構造を有し、
    前記制御部は、前記複数の吸着部の各々の伸縮可能距離と、前記物体の表面の曲率とに基づき、前記物体の表面のなかで前記保持部により保持可能な保持可能領域を決定する、
    ンドリング装置。
  8. 物体を吸着保持可能な複数の吸着部を有して前記物体を保持可能な保持部と、
    前記物体の表面が第1方向に第1曲率を有するとともに前記第1方向とは異なる第2方向に前記第1曲率よりも大きな第2曲率を有する場合、前記複数の吸着部に含まれる少なくとも2つの吸着部を前記第1方向に並べるように前記保持部の保持姿勢を決定する制御部と、
    を備え、
    前記制御部は、前記物体の表面に曲率が不連続に変化する不連続位置が存在する場合、前記複数の吸着部が前記不連続位置を跨がないように前記保持部の保持位置を決定する、
    ンドリング装置。
  9. 物体を吸着保持可能な複数の吸着部を有して前記物体を保持可能な保持部を備えたハンドリング装置に用いられる制御装置であって、
    前記物体の表面が第1方向に第1曲率を有するとともに前記第1方向とは異なる第2方向に前記第1曲率よりも大きな第2曲率を有する場合、前記複数の吸着部に含まれる少なくとも2つの吸着部前記第1方向に並べるように前記保持部の保持姿勢を決定する決定部、
    を備え、
    前記決定部は、前記物体の表面の平均曲率およびガウス曲率に基づき、前記少なくとも2つの吸着部を並べる前記第1方向を決定する、
    制御装置。
  10. 物体を吸着保持可能な複数の吸着部を有して前記物体を保持可能な保持部を備えたハンドリング装置の制御に関して、
    コンピュータに
    前記物体の表面が第1方向に第1曲率を有するとともに前記第1方向とは異なる第2方向に前記第1曲率よりも大きな第2曲率を有する場合、前記複数の吸着部に含まれる少なくとも2つの吸着部前記第1方向に並べるように前記保持部の保持姿勢を決定する決定部を実現させ、
    前記決定部は、前記物体の表面の平均曲率およびガウス曲率に基づき、前記少なくとも2つの吸着部を並べる前記第1方向を決定する、
    プログラム。
JP2019047137A 2018-08-28 2019-03-14 ハンドリング装置、制御装置、およびプログラム Active JP7166206B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018159653 2018-08-28
JP2018159653 2018-08-28

Publications (2)

Publication Number Publication Date
JP2020032523A JP2020032523A (ja) 2020-03-05
JP7166206B2 true JP7166206B2 (ja) 2022-11-07

Family

ID=65628653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019047137A Active JP7166206B2 (ja) 2018-08-28 2019-03-14 ハンドリング装置、制御装置、およびプログラム

Country Status (2)

Country Link
EP (1) EP3617936B1 (ja)
JP (1) JP7166206B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021146452A (ja) 2020-03-19 2021-09-27 株式会社東芝 ハンドリング装置、制御装置、および制御プログラム
US11911801B2 (en) * 2020-12-11 2024-02-27 Intelligrated Headquarters, Llc Methods, apparatuses, and systems for automatically performing sorting operations
EP4338865A1 (en) * 2021-05-10 2024-03-20 Amada Co., Ltd. Control data creation device and control data creation method
CN113459135B (zh) * 2021-07-08 2023-04-07 哈尔滨东安华孚机械制造有限公司 一种缸盖装配线用夹持装置及工作方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004188533A (ja) 2002-12-10 2004-07-08 Toyota Motor Corp 対象物の取扱い推定方法および取扱い推定装置
JP2006130580A (ja) 2004-11-02 2006-05-25 Toyota Motor Corp ロボットによる任意形状物体の把持方法
JP2011017611A (ja) 2009-07-09 2011-01-27 National Institute Of Advanced Industrial Science & Technology 3次元曲面認識方法及びマニピュレーションシステム
US20160221187A1 (en) 2013-03-15 2016-08-04 Industrial Perception, Inc. Object Pickup Strategies for a Robotic Device
JP2017019060A (ja) 2015-07-13 2017-01-26 三菱重工業株式会社 吸着装置、把持装置および搬送方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004188533A (ja) 2002-12-10 2004-07-08 Toyota Motor Corp 対象物の取扱い推定方法および取扱い推定装置
JP2006130580A (ja) 2004-11-02 2006-05-25 Toyota Motor Corp ロボットによる任意形状物体の把持方法
JP2011017611A (ja) 2009-07-09 2011-01-27 National Institute Of Advanced Industrial Science & Technology 3次元曲面認識方法及びマニピュレーションシステム
US20160221187A1 (en) 2013-03-15 2016-08-04 Industrial Perception, Inc. Object Pickup Strategies for a Robotic Device
JP2017019060A (ja) 2015-07-13 2017-01-26 三菱重工業株式会社 吸着装置、把持装置および搬送方法

Also Published As

Publication number Publication date
EP3617936B1 (en) 2024-05-08
EP3617936A1 (en) 2020-03-04
JP2020032523A (ja) 2020-03-05

Similar Documents

Publication Publication Date Title
JP7166206B2 (ja) ハンドリング装置、制御装置、およびプログラム
JP7000213B2 (ja) 保持装置、搬送システム、コントローラ、および保持方法
CN112589791B (zh) 具有基于壁的打包机制的机器人系统及其操作方法
KR102408914B1 (ko) 오류 검출 및 동적 패킹 메커니즘을 구비한 로봇 시스템
KR102424718B1 (ko) 동적 패킹 메커니즘을 구비한 로봇 시스템
KR102325417B1 (ko) 패킹 메커니즘을 구비한 로봇 시스템
JP7154886B2 (ja) ハンドリング装置、制御装置及びプログラム
WO2018092860A1 (ja) 干渉回避装置
KR101781709B1 (ko) 간섭 체크 장치
JP7315499B2 (ja) ハンドリング装置、制御装置及びプログラム
JP6758903B2 (ja) 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
JP2024052998A (ja) ハンドリング装置
JP7264247B2 (ja) 情報処理装置及び情報処理方法
JP7028092B2 (ja) 把持姿勢評価装置及び把持姿勢評価プログラム
CN111498213B (zh) 具有动态打包机制的机器人系统
US20240139941A1 (en) Handling system, control device, handling method, and storage medium
US20240190667A1 (en) Handling system, control device, and control method
EP4098409A1 (en) Handling system, transport system, control device, program, and handling method
WO2024122475A1 (ja) ロボットの制御システム、ロボットの制御プログラム
JP2017209750A (ja) 機能装置ならびにその制御装置および制御方法
JP2021013969A (ja) 荷役装置、荷役システムおよびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221025

R150 Certificate of patent or registration of utility model

Ref document number: 7166206

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150