JP7410270B2 - ロボット動作計画方法、経路計画方法、把持方法及びその装置 - Google Patents

ロボット動作計画方法、経路計画方法、把持方法及びその装置 Download PDF

Info

Publication number
JP7410270B2
JP7410270B2 JP2022506756A JP2022506756A JP7410270B2 JP 7410270 B2 JP7410270 B2 JP 7410270B2 JP 2022506756 A JP2022506756 A JP 2022506756A JP 2022506756 A JP2022506756 A JP 2022506756A JP 7410270 B2 JP7410270 B2 JP 7410270B2
Authority
JP
Japan
Prior art keywords
collision
robot
degree
model
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022506756A
Other languages
English (en)
Other versions
JP2022543115A (ja
Inventor
李璽
朱渓女
丁有爽
邵天蘭
段文傑
劉氷
王正
Original Assignee
梅▲か▼曼徳(北京)机器人科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 梅▲か▼曼徳(北京)机器人科技有限公司 filed Critical 梅▲か▼曼徳(北京)机器人科技有限公司
Publication of JP2022543115A publication Critical patent/JP2022543115A/ja
Application granted granted Critical
Publication of JP7410270B2 publication Critical patent/JP7410270B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/06Gripping heads and other end effectors with vacuum or magnetic holding means
    • B25J15/0616Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/06Gripping heads and other end effectors with vacuum or magnetic holding means
    • B25J15/0616Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
    • B25J15/0683Details of suction cup structure, e.g. grooves or ridges
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1653Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39536Planning of hand motion, grasping
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40442Voxel map, 3-D grid map

Description

本願はコンピュータ技術分野に関し、特にロボット動作計画方法、経路計画方法、把持方法及びその装置に関する。
産業インテリジェンスの発達に伴い、人間の代わりにロボットを使用して物体(例えば産業用部品、産業用ボックス)を操作(例えば把持、移動、配置等)することがますます普及している。ロボットが操作しているとき、通常、物体をある状態から他の状態に変換する必要があり、この過程で、ロボットが把持する物体と他の物体との衝突を回避し、且つロボットを効率よくスムーズに動作させ、危険の発生を回避する。
関連技術において、実体であるロボットアームにセンサーを取り付けることによってリアルタイムな衝突検出を実行する。しかしながら、このような方法ではロボットの動作には一時停止が発生しやすいので、産業の自動化の実現に影響を及ぼす。
本願の目的は、上記の技術的問題の一つを少なくともある程度で解決することにある。
このため、本願の第1の目的は、ロボット動作計画方法を提供することにある。
本願の第2の目的は、衝突度検出に基づくロボット経路計画方法を提供することにある。
本願の第3の目的は、衝突度検出に基づくロボット把持方法を提供することにある。
本願の第4の目的は、ロボット動作計画装置を提供することにある。
本願の第5の目的は、衝突度検出に基づくロボット経路計画装置を提供することにある。
本願の第6の目的は、衝突度検出に基づくロボット把持装置を提供することにある。
本願の第7の目的は、電子機器を提供することにある。
本願の第8の目的は、コンピュータ可読記憶媒体を提供することにある。
上記の目的を達成するために、本願の第1の態様の実施例は、物体の衝突度を検出するロボット動作計画方法を提供し、前記方法は、前記物体が位置する実際のシーンの空間モデルをロードすることと、前記物体と前記空間モデル内の衝突対象に対して衝突検出を実行することと、前記物体の衝突感度、衝突対象の衝突感度に応じて対応する衝突検出の結果に応じた、ロボットが前記物体を操作することによって形成される前記ロボットの動作計画スキームを決定することと、を含む。
本願の一実施例において、前記物体と前記空間モデル内の衝突対象に対して衝突検出を実行することは、前記物体の衝突モデルと衝突対象の対象モデルとの重なり合い程度を決定することと、重なり合い程度及び前記空間モデル内の各モデル解像度に基づき対応する衝突対象の衝突度を決定することと、を含む。
本願の一実施例において、前記衝突モデルは、前記空間モデルに第1の解像度で前記物体が占める空間を分割することによって形成される小さな立方体の集合を含み、対象モデルは、前記空間モデルに第2の解像度で対応する衝突対象が占める空間を分割することによって形成される小さな立方体の集合を含む。
本願の一実施例において、重なり合い程度及び前記空間モデル内の各モデル解像度に基づき衝突対象の衝突度を決定することは、前記衝突モデルと対象モデルの間で重なり合う立方体の集合を決定することと、対応する重なり合う立方体の集合内の各小さな立方体が対応するモデル表面からの距離に応じて各小さな立方体の深さの重みを決定し、さらに、重なり合い程度を組み合わせて前記衝突モデルと対象モデルとの衝突度を決定することと、を含み、重なり合い程度は対応する重なり合う立方体の集合内の小さな立方体の数である。
本願の一実施例において、衝突対象は、動作計画スキームにおける前記物体への前記ロボットの把持操作の完成から配置操作までの各移動経路上で前記物体が占める空間と重なり合う複数の対象を含み、及び/又は衝突対象は前記物体の把持操作中の前記ロボットの操作末端にある治具を含み、及び/又は衝突対象は前記ロボットの配置操作中の前記物体を配置するときの接触物を含む。
本願の実施例によるロボット動作計画方法は、ロボットが操作対象物体を操作する場合、物体が位置する実際のシーンの空間モデルを組み合わせ、物体と該空間モデル内の衝突対象に対して衝突検出を実行し、物体の衝突感度、衝突対象の衝突感度に基づき対応する衝突検出の結果に応じた、ロボットが物体を操作することによって形成されるロボットの動作計画スキームを決定し、それにより、ロボットは、対応する物体を操作する際に、該動作計画スキームに従って動作可能であり、ロボットが該物体を操作する過程において、ロボットの動作過程中の一時停止現象を回避し、ロボット動作をスムーズにさせ、ロボット産業操作のインテリジェンスを向上させる。
上記の目的を達成するために、本願の第2の態様の実施例は、衝突度検出に基づくロボット経路計画方法を提供し、前記方法は、前記ロボットが物体の把持操作を完成する場合、衝突度の検出に基づいて前記ロボットの移動経路を計画し、移動経路計画結果に対応する移動経路を離散化するとともに、離散化された各離散軌跡点を送信して前記ロボットを移動させることと、前記ロボットの移動速度に応じて各離散軌跡点に対応するロボット移動時点を決定し、各移動時点で前記物体に対して衝突検出を実行することと、ある時点で衝突度が前記物体の衝突感度より高いと、危険の発生を防止するように、前記ロボットの移動を停止することと、を含む。
本願の一実施例において、各移動時点で前記物体に対して衝突検出を実行することは、各移動時点で前記物体と位置する実際のシーンに対応する空間モデル内の衝突対象に対して衝突検出を実行することを含み、前記空間モデルは各移動時点での対応する時間の実際のシーン状況に対応し、ある時点で衝突度が前記物体の衝突感度より高いと、前記ロボットの移動を停止することは、ある時点で衝突度が前記物体の衝突感度又は衝突対象の衝突感度より高いと、前記ロボットの移動を停止することを含む。
本願の実施例による衝突度検出に基づくロボット経路計画方法は、ロボットが物体の把持操作を完成する場合、衝突度の検出に基づいてロボットの移動経路を計画し、移動経路計画結果に対応する移動経路を離散化するとともに、離散化された各離散軌跡点を送信してロボットを移動させることと、ロボット移動速度に応じて各離散軌跡点に対応するロボット移動時点を決定し、各移動時点で物体に対して衝突検出を実行することと、ある時点で衝突度が物体の衝突感度より高いと、危険の発生を防止するように、ロボットの移動を停止することと、を含む。
これにより、ロボットのスムーズな動作を確保する場合で、衝突度検出の方法に基づいてロボットの各移動時点で物体に対して衝突検出を実行し、対応する移動時点に対応する衝突度が物体の衝突感度より高いと判定されると、ロボットの移動の停止を制御し、ロボット操作の安全性を確保し、操作対象物体の完全を確保することで、ロボットのスムーズな動作を確保しながら、ロボットのインテリジェンスを更に向上させる。
上記の目的を達成するために、本願の第3の態様実施例は、衝突度検出に基づくロボット把持方法を提供し、前記方法は、前記ロボットの操作末端にある治具、及び把持対象の物体に応じて、前記ロボットが前記物体を把持するすべての把持ポーズを計算することと、前記物体の第1の対称度、及び前記治具と前記物体との間の接触点集合の第2の対称度に応じて、把持ポーズから前記ロボットの現在のポーズと比較して変化程度が最小である目標ポーズを決定することと、前記治具に対して衝突度検出を実行し、さらに現在のポーズから前記目標ポーズまでの移動経路を決定し、前記移動経路の離散化した各軌跡点を前記ロボットに送信して把持操作を完成することと、を含む。
本願の一実施例において、前記対称度は角度値であり、前記物体が前記第1の対称度に対応する角度値で回転した後、回転前と重なり合い、前記接触点集合が前記第2の対称度に対応する角度値で回転した後、回転前と重なり合う。
本願の一実施例において、前記治具は吸盤を含み、前記物体はボックスを含み、前記吸盤の面積が前記ボックスの被把持面の面積と異なると、前記前記ロボットの操作末端にある治具、及び把持対象の物体に応じて、前記ロボットが前記物体を把持するすべての把持ポーズを計算することは、前記吸盤の中心を前記被把持面の中心に位置合わせて、前記被把持面に吸着領域を決定すること、或いは前記吸盤の頂角を前記被把持面の頂角に位置合わせて、前記被把持面に吸着領域を決定すること、或いは前記吸盤の長辺を前記被把持面の長辺に位置合わせて、前記被把持面に吸着領域を決定すること、或いは前記吸盤の短辺を前記被把持面の短辺に位置合わせて、前記被把持面に吸着領域を決定することと、決定された吸着領域に応じて前記ロボットのすべての把持ポーズを計算することと、を含み、吸着領域は、前記ボックスの重心の前記被把持面上での正射影点を含む。
本願の一実施例において、前記目標ポーズは前記治具の位置及び姿勢を含み、前記姿勢は前記物体に面する前記治具の把持向きを含み、把持ポーズから前記ロボットの現在のポーズと比べて変化程度が最小である目標ポーズを決定した後、前記治具の変形能力に従って前記把持向きを調整して、前記把持向きと前記治具の現在の方向との間の差を減少することをさらに含む。
本願の実施例による衝突度検出に基づくロボット把持方法は、ロボットが把持対象物体を把持する場合、ロボットの操作末端にある治具、及び把持対象の物体を組み合わせ、ロボットが物体を把持するすべての把持ポーズを計算し、物体の第1の対称度、及び治具と物体との接触点集合の第2の対称度を組み合わせ、把持ポーズからロボットの現在のポーズと比べて変化程度が最小である目標ポーズを決定し、及び治具に対して衝突度検出を実行し、現在のポーズから目標ポーズまでの移動経路を決定し、さらに移動経路の離散化された各軌跡点をロボットに送信して把持操作を完成する。これにより、衝突度検出に基づいてロボットの把持経路の計画を実現し、衝突の発生を回避すると同時に、ロボットが得られた把持経路に基づいて物体をスムーズに把持することができ、ロボットのインテリジェンスを更に向上させる。
上記の目的を達成するために、本願の第4の態様の実施例は物体に対して衝突度検出を実行するロボット動作計画装置を提供し、前記装置は、前記物体が位置する実際のシーンの空間モデルをロードするためのロードモジュールと、前記物体と前記空間モデル内の衝突対象に対して衝突検出を実行するための第1の衝突検出モジュールと、前記物体の衝突感度、衝突対象の衝突感度に基づき対応する衝突検出の結果に応じた、ロボットが前記物体を操作することによって形成される前記ロボットの動作計画スキームを決定するための第1の決定モジュールと、を備える。
本願の一実施例において、前記第1の衝突検出モジュールは、前記物体の衝突モデルと衝突対象の対象モデルとの重なり合い程度を決定するための第1の決定ユニットと、重なり合い程度及び前記空間モデル内の各モデル解像度に基づき対応する衝突対象の衝突度を決定するための第2の決定ユニットと、を備える。
本願の一実施例において、前記衝突モデルは前記空間モデルに第1の解像度で前記物体が占める空間を分割することによって形成される小さな立方体の集合を含み、対象モデルは前記空間モデルに第2の解像度で対応する衝突対象が占める空間を分割することによって形成される小さな立方体の集合を含む。
本願の一実施例において、前記第2の決定ユニットは、前記衝突モデルと対象モデルの間で重なり合う立方体の集合を決定するための第1の決定サブユニットと、対応する重なり合う立方体の集合内の各小さな立方体が対応するモデル表面からの距離に応じて各小さな立方体の深さの重みを決定し、さらに重なり合い程度を組み合わせて前記衝突モデルと対象モデルとの衝突度を決定するための第2の決定サブユニットと、を備え、重なり合い程度は対応する重なり合う立方体の集合内の小さな立方体の数である。
本願の一実施例において、衝突対象は、動作計画スキームにおける前記物体への前記ロボットの把持操作の完成から配置操作までの各移動経路上で前記物体が占める空間と重なり合う複数の対象を含み、及び/又は衝突対象は前記物体の把持操作中の前記ロボットの操作末端にある治具を含み、及び/又は衝突対象は前記ロボットの配置操作中の前記物体を配置するときの接触物を含む。
本願の実施例によるロボット動作計画装置は、ロボットが操作対象物体を操作する場合、物体が位置する実際のシーンの空間モデルを組み合わせ、物体と該空間モデル内の衝突対象に対して衝突検出を実行し、物体の衝突感度、衝突対象の衝突感度に基づき対応する衝突検出の結果に応じた、ロボットが物体を操作することによって形成されるロボットの動作計画スキームを決定し、それにより、ロボットは、対応する物体を操作する際に、該動作計画スキームに従って動作可能であり、ロボットが該物体を操作する過程において、ロボットの動作過程中の一時停止現象を回避し、ロボット動作をスムーズにさせ、ロボット産業操作のインテリジェンスを向上させる。
上記の目的を達成するために、本願の第5の態様の実施例は衝突度検出に基づくロボット経路計画装置を提供し、前記装置は、前記ロボットが物体の把持操作を完成する場合、衝突度検出に基づいて前記ロボットの移動経路を計画し、移動経路計画結果に対応する移動経路を離散化するとともに、離散化された各離散軌跡点を送信して前記ロボットを移動させるための第1の制御モジュールと、前記ロボット移動速度に応じて各離散軌跡点に対応するロボット移動時点を決定し、各移動時点で前記物体に対して衝突検出を実行するための第2の衝突検出モジュールと、ある時点で衝突度が前記物体の衝突感度より高いと、危険の発生を防止するように、前記ロボットの移動を停止するための第2の制御モジュールと、を備える。
本願の一実施例において、前記第2の衝突検出モジュールは、具体的に、各移動時点で前記物体と位置する実際のシーンに対応する空間モデル内の衝突対象に対して衝突検出を実行するために使用され、前記空間モデルは各移動時点での対応する時間の実際のシーン状況に対応し、前記第2の制御モジュールは、具体的に、ある時点で衝突度が前記物体の衝突感度または衝突対象の衝突感度より高いと、前記ロボットの移動を停止するために使用される。
本願の実施例による衝突度検出に基づくロボット経路計画装置は、ロボットが物体の把持操作を完成する場合、衝突度の検出に基づいてロボットの移動経路を計画し、移動経路計画結果に対応する移動経路を離散化するとともに、離散化された各離散軌跡点を送信してロボットを移動させ、ロボット移動速度に応じて各離散軌跡点に対応するロボット移動時点を決定し、各移動時点で物体に対して衝突検出を行い、ある時点で衝突度が物体の衝突感度より高いと、危険の発生を防止するように、ロボットの移動を停止する。これにより、ロボットのスムーズな動作を確保する場合で、衝突度検出の方法に基づいてロボットの各移動時点で物体に対して衝突検出を実行し、対応する移動時点に対応する衝突度が物体の衝突感度より高いと判定されると、ロボットの移動の停止を制御し、ロボット操作の安全性を確保し、操作対象物体の完全を確保することで、ロボットのスムーズな動作を確保しながら、ロボットのインテリジェンスを更に向上させる。
上記の目的を達成するために、本願の第6の態様の実施例は衝突度検出に基づくロボット把持装置を提供し、前記装置は、前記ロボットの操作末端にある治具、及び把持対象の物体に応じて、前記ロボットが前記物体を把持するすべての把持ポーズを計算するための計算モジュールと、前記物体の第1の対称度、及び前記治具と前記物体との間の接触点集合の第2の対称度に応じて、把持ポーズから前記ロボットの現在のポーズと比較して変化程度が最小である目標ポーズを決定するための第2の決定モジュールと、前記治具に対して衝突度検出を実行し、さらに現在のポーズから前記目標ポーズまでの移動経路を決定し、前記移動経路の離散化した各軌跡点を前記ロボットに送信して把持操作を完成するための第3の制御モジュールと、を備える。
本願の一実施例において、前記対称度は角度値であり、前記物体が前記第1の対称度に対応する角度値で回転した後、回転前と重なり合い、前記接触点集合が前記第2の対称度に対応する角度値で回転した後、回転前と重なり合う。
本願の一実施例において、前記治具は吸盤を含み、前記物体はボックスを含み、前記吸盤の面積が前記ボックスの被把持面の面積と異なると、前記計算モジュールは、具体的に、前記吸盤の中心を前記被把持面の中心に位置合わせて、前記被把持面に吸着領域を決定すること、或いは前記吸盤の頂角を前記被把持面の頂角に位置合わせて、前記被把持面に吸着領域を決定すること、或いは前記吸盤の長辺を前記被把持面の長辺に位置合わせて、前記被把持面に吸着領域を決定すること、或いは前記吸盤の短辺を前記被把持面の短辺に位置合わせて、前記被把持面に吸着領域を決定することと、決定された吸着領域に応じて前記ロボットのすべての把持ポーズを計算することとに用いられ、吸着領域は、前記ボックスの重心の前記被把持面上での正射影点を含む。
本願の一実施例において、前記目標ポーズは前記治具の位置及び姿勢を含み、前記姿勢は前記物体に面する前記治具の把持向きを含み、前記装置は、前記第2の決定モジュールは把持ポーズから前記ロボットの現在のポーズと比べて変化程度が最小である目標ポーズを決定した後、前記治具の変形能力に従って前記把持向きを調整して、前記把持向きと前記治具の現在の方向との間の差を減少するための調整モジュールをさらに備える。
本願の実施例による衝突度検出に基づくロボット把持装置は、ロボットが把持対象物体を把持する場合、ロボットの操作末端にある治具、及び把持対象の物体を組み合わせ、ロボットが物体を把持するすべての把持ポーズを計算し、物体の第1の対称度、及び治具と物体との接触点集合の第2の対称度を組み合わせ、把持ポーズからロボットの現在のポーズと比べて変化程度が最小である目標ポーズを決定し、及び治具に対して衝突度検出を実行し、現在のポーズから目標ポーズまでの移動経路を決定し、さらに移動経路の離散化された各軌跡点をロボットに送信して把持操作を完成する。これにより、衝突度検出に基づいてロボットの把持経路の計画を実現し、衝突の発生を回避すると同時に、ロボットが得られた把持経路に基づいて物体をスムーズに把持することができ、ロボットのインテリジェンスを向上させる。
上記の目的を達成するために、本願の第7の態様の実施例は、電子機器を提供し、メモリ、プロセッサ及び前記メモリに記憶されて前記プロセッサに稼働できるコンピュータプログラムを含み、前記プロセッサは前記コンピュータプログラムを実行する際に、上記のロボット動作計画方法、或いは、上記の衝突度検出に基づくロボット経路計画方法、或いは、上記衝突度検出に基づくロボット把持方法を実現する。
上記の目的を達成するために、本願の第8の態様の実施例はコンピュータ可読記憶媒体を提供し、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行される時に、上記のロボット動作計画方法、或いは、上記の衝突度検出に基づくロボット経路計画方法、或いは、上記の衝突度検出に基づくロボット把持方法を実現する。
本願の付加の態様と利点を部分的に以下の説明から与え、部分的に以下の説明から明らかになるか、本願の実践を通じて了解することができる。
本願の上記及び/又は付加の態様及び利点について、図面を組み合わせた以下の実施例の説明から明らかになり、理解しやすくなる。
本願の実施例によるロボット動作計画方法を示すフローチャートである。 本願の実施例による移動経路の例を示す図である。 本願の実施例によるロボットを示す模式図である。 物体と空間モデル内の衝突対象に対して衝突検出を実行する具体的なフローチャートである。 本願の実施例による衝突度検出に基づくロボット経路計画方法を示すフローチャートである。 本願の実施例による衝突度検出に基づくロボット把持方法を示すフローチャートである。 不連続接触点集合の概略例図である。 連続接触点集合の概略例図である。 接触点集合の回転基準点の例図1である。 接触点集合の回転基準点の例図2である。 グリッパーの把持ポーズの例図である。 吸着領域は接触点集合を含む例図である。 本願の実施例によるロボット動作計画装置を示す構造模式図である。 本願の実施例による他のロボット動作計画装置を示す構造模式図である。 本願の実施例による衝突度検出に基づくロボット経路計画装置を示す構造模式図である。 本願の実施例による衝突度検出に基づくロボット把持装置を示す構造模式図である。 本願の実施例による他の衝突度検出に基づくロボット把持装置を示す構造模式図である。 本願の実施例による電子機器を示す構造模式図である。
以下、本願の実施例を詳細に説明し、前記実施例の例を図面に示し、最初から最終まで同様または類似の符号は同様または類似の素子または同様または類似の機能を有する素子を示す。以下、図面を参照して説明した実施例は例示なものであり、本願を解釈するために使用され、本願を制限するものとして理解されるべきではない。
以下、図面を参照して本願の実施例によるロボット動作計画方法、装置、電子機器及び記憶媒体を説明する。
第1の様態では、本願のロボット動作計画方法を紹介する。
いくつかの実施例において、ロボット動作計画は衝突度検出に基づいて、衝突度検出は、ロボットが操作するある物体(またはロボットのある箇所)に対して実行する、その位置する空間モデル内の衝突対象との間の衝突検出として定義され、衝突度検出は物体と衝突対象との間の衝突度を出力し、ロボットが物体に対して実行する様々な操作に対応するロボットの動作の参照として使用される。いくつかの実施例において、衝突度検出は仮想シーンでのシミュレーションに基づいて実行することができる。
図1は本願の実施例によるロボット動作計画方法を示すフローチャートである。説明する必要があることとして、本実施例のロボット動作計画方法の実行主体はロボット動作計画装置であり、該ロボット動作計画装置は電子機器に配置され、該電子機器は、ロボットと通信することでロボットが操作する物体(またはロボットそのもの)に対して衝突度検出を実行し、衝突検出結果に応じてロボットに対して動作計画を実行する。電子機器は、端末機器、サーバ等を含むことができるが、これらに制限されなく、本願はこれに対して限定しない。なお、いくつかの実施例において、ロボットは選択可能にロボットアームに関し、ロボットアームの形態について具体的に限定されなく、6軸ロボット、4軸ロボット、及び本願に言及されないロボットアーム等が行う本願の関連操作は、本発明の保護範囲内に含まれる。
選択可能に、図1aに示すように、該ロボット動作計画方法は、以下のステップを含み、
ステップ101において、物体が位置する実際のシーンの空間モデルをロードする。
ロボットが物体を操作するように制御する場合、操作対象物体とロボットの操作末端を固定することができ、電子機器によってロボットに対して動作計画を実行し、ロボットの動作計画スキームを取得する。計画は電子機器にインストールされたロボット動作シミュレーションプラットフォームを介して実行されることができる。いくつかの実施例において、動作計画スキームは把持スキーム、移動経路計画スキーム、配置スキームを含み、一部の実施例において、移動経路計画スキームは図1bに示すような複数の移動経路の選択スキームを含み、一部の実施例において、移動経路計画スキームは図1cに示すようなロボットの操作中のロボット姿勢設定スキームを含む。
いくつかの関連する実施例において、ロボットが物体に対して行う操作は物体に対する把持操作を含むことができ、他の関連する実施例において、操作は移動操作を含むことができ、別の関連実施例において、操作は配置操作を含むことができ、或いは、他のいくつかの実施例において、操作は把持、移動、配置の3つの任意の組み合わせを含む。
関連する操作を実行する前に、具体的に、操作対象の物体が位置する実際のシーンの空間モデルをロードすることができる。いくつかの実施例において、空間モデルは、具体的に関連する電子機器の仮想シーン内での実際のシーンを具体化したものであり、実空間の状況を記述する。いくかの選択可能な実施例において、空間モデルの具体的な形態はあるデータタイプであってもよく、或いは、いくかの選択可能な実施例において、空間モデルは、電子機器があるデータタイプをレンダリングして効果を示すものとして具体化することができる。一部の実施例において、空間モデルはセンサーによって収集された実際のシーンのデータに基づき確立される。
いくつかの実施例において、空間モデルは実際のシーン状況との高度な対応を維持できる。例えば、実際のシーンにはコンソール、ワークピース、ロボットが含まれると、空間モデルにはコンソール、ワークピース、ロボットも含まれ、実際のシーンには転送テーブル、ワークピース、ローディングテーブル、ロボットが含まれると、空間モデルには転送テーブル、ワークピース、ローディングテーブル、ロボットも含まれ、実際のシーンには転送テーブル、トレイ、ボックス、ロボットが含まれると、空間モデルには転送テーブル、トレイ、ボックス、ロボットも含まれ、実際のシーンには材料フレーム、小型物体、転送テーブル、ロボットが含まれると、空間モデルには材料フレーム、小型物体、転送テーブル、ロボットが含まれ、実際のシーンには転送テーブル、パッケージが含まれると、空間モデルには転送テーブル、パッケージも含まれるなどが挙げられる。実際のシーンの状況が変化すると、空間モデル内の対応する状況も変化する。いくつかの実施例において、変化する状況は、位置の変化、姿勢の変化、自体の形状の変化などの他のリストされない状況を含むことができる。いくつかの実施例において、ステップ101の空間モデルはロボット、操作対象物体を含んでもよい。
選択可能に、操作対象物体は、ボックス、産業用部品、小さなロジスティクスエンティティ、ロジスティクスパッケージ、検出器、接着剤銃、切削工具などのロボットが操作できる任意の物体であってもよく、関連物体に対して衝突検出を実行する。物体は、ひいてはロボットそのものの箇所であってもよいため、衝突を防止するためにロボットの各箇所に対して衝突検出を実行し、本願は操作対象物体を具体的に限定しない。
ある実施例において、空間モデルは二次元平面モデル、例えば実際には上面の角度からの平面、或いは実際には側面の角度からの平面であってもよい。対応する二次元次元はデカルト座標系の2つの軸方向で表すことができ、2つの軸で形成された平面は、例えばXOY、YOZ、XOZ平面である。
ある場合では、空間モデルは二次元平面モデルに基づいて時間の経過とともに変更でき、ある場合で、変更された内容は、対応する角度の実際のシーンで変更された内容と一致して対応し、ある場合で、変更された内容は、対応する角度の実際のシーンで変更された内容のうちの一部と一致して対応する。
ある実施例において、空間モデルは三次元立体モデルであってもよく、三次元立体モデルはデカルト座標系によって任意の実際の空間点を参照として説明することができる。
ある場合では、空間モデルは三次元立体モデルに基づいて時間の経過とともに変更でき、ある場合で、変更された内容は、実際のシーンで変更された内容と一致して対応し、ある場合で変更された内容は、実際のシーンで変更された内容の一部と一致して対応する。
選択可能に、操作対象物体が位置する実際のシーンの空間モデルは物体が位置する実際のシーンのシーン画像に基づいて予め確立される。
物体が位置する実際のシーンに基づいてシーン画像を確立するための例示的な実現方法は、視覚センサー(例えば三次元産業用カメラ、スマート産業用カメラ、高精度産業用カメラ)に基づいて該実際のシーンの画像を収集し、収集されたシーン画像に基づき、該実際のシーンの空間モデルを取得する。
選択可能に、視覚センサーに基づいて該実際のシーンの画像を収集し、収集されたシーン画像に基づき、該実際のシーンの点群データを取得することができ、該実際のシーンの点群データに基づき、該実際のシーンの三次元空間モデルを取得することができる。
ステップ102において、物体と空間モデル内の衝突対象に対して衝突検出を実行する。
いくつかの実施例において、衝突対象は、物体と衝突する可能性がある任意の他の物体を含む。
いくつかの実施例において、衝突検出は、物体と衝突対象との距離に基づいて実行される。
いくつかの実施例において、衝突検出は、仮想シーン内でシミュレーションされた物体と衝突対象との距離に基づいて実行される。
いくつかの実施例において、衝突検出はロボットの複数の動作計画スキームに基づいて実行される。説明的なものとして、動作計画スキームは移動スキームを含む。模式的な実施は、例えば図1bに示すように、ロボットが物体を把持して開始点から終了点まで移動する必要があると、仮に経路A、経路B、経路Cは動作計画スキームの全部の結果であると、物体が経路Aに沿って移動する時のスキーム、物体が経路Bに沿って移動する時のスキーム、物体が経路Cに沿って移動する時のスキームに基づいて、物体と図における障害物との衝突検出を行い、各衝突検出結果を取得し、衝突度検出を完成する。説明する必要があることとして、本実施例は、最も単純な場合のみを例示し、実際の場合で開始点から終了点までより多くの動作計画スキームが存在する可能性がある。他の幾つかの例示的な実施例において、動作計画スキームは、ロボットが経路に沿って移動する中の各関節、各部分の機械アーム及びその他の部分の姿勢変化スキームを含み、例示的に、一部の実施例では、ロボットは物体をある開始点(または初期点)から目標点(または最終点)まで移動することは、ロボットの各関節の異なる回転状態の組合わせによって実現でき、ロボットの構造模式図は、図1cに示すように、各関節は周囲の矢印で示された方向に従って回転を実現することができ、1つの組合わせでは各関節はそれぞれ1つの角度に対応することで、関節間の機械アームが1つの姿勢であり、複数の組合わせは複数の姿勢に対応し、周囲に障害物がある場合、組合わせた姿勢の一部は障害物と衝突することがある。
いくつかの実施例において、衝突対象は、物体の移動中の任意の障害物、或いはロボットの姿勢変化中の任意の障害物であってもよい。
説明的なものとして、動作計画スキームは把持スキームを含む。実際の操作には、ロボットは異なる把持強度で物体の各位置でクランプまたは吸引などによって把持操作を実行し、異なる把持スキームに対応する。さらに、把持強度の異なる各把持スキームに基づいて物体とロボットとの間の衝突検出を実行し、各スキームの衝突検出結果を取得し、それにより、衝突度検出を完成する。
説明的なものとして、動作計画スキームは配置スキームを含む。いくつかの実施例において、ロボットは異なる速度或いは異なる高度、姿勢で物体を置くため、物体とその接触物との衝突を引き起こし、異なる配置スキームに対応し、各配置スキームに基づき、物体と放置面との間の衝突検出を実行し、各衝突検出結果を取得し、それにより、衝突度検出を完成する。
いくつかの実施例において、衝突検出の結果は、物体と衝突対象との間に衝突があるかどうかを具現化することができ、或いは、いくつかの実施例において、衝突検出結果は、物体と衝突対象との間の衝突度として具現化されることができ、一部の実施例では衝突度がゼロである場合を含む可能性がある。
いくつかの実施例において、物体と衝突対象との間の衝突度は、物体と衝突対象との間の衝撃力として具現化されることができ、いくつかの実施例において、物体と衝突対象との間の衝突度は、空間モデル内の物体と衝突対象との間の重なり合い程度などとして具現化されることができ、一部の実施例では、重なり合い程度は、重なり合い面積として具現化され、他の一部の実施例では、重なり合い程度は重なり合い体積として具現化される。
ステップ103において、物体の衝突感度、衝突対象の衝突感度に基づき、対応する衝突検出の結果に応じた、ロボットが該物体を操作することによって形成されるロボットの動作計画スキームを決定する。
いくつかの実施例において、衝突感度は、対応する物体或いは衝突対象の衝突に対する許容度を測定するために使用される。
いくつかの実施例において、衝突感度が高いと、衝突の許容度が低いことを示し、衝突がない動作計画スキームをできる限り選択すべきであり、衝突感度が低いと、衝突の許容度が高いことを示し、一定の衝突がある動作計画スキームを選択することができる。いくつかの実施例において、衝突感度は高低の間の中間状態にあると、対応する許容できる動作スキームから、実際の状況を参考して、ビート、安定性、流暢さ、安全性等の他の要件を組み合わせて対応するスキームを優先的に選択することができる。
いくつかの実施例において、衝突感度は、対応する物体の衝撃力許容閾値として具現化されることができ、いくつかの実施例において、衝突感度は、対応する物体が耐えることができる重なり合い程度閾値等として具現化されることができ、一部の実施例では、重なり合い程度閾値は重なり合い面積として具現化され、他の一部の実施例では、重なり合い程度は重なり合い体積として具現化される。
いくつかの実施例において、動作計画スキームはロボットが該物体を操作する移動軌跡情報、移動速度情報、把持強度情報、配置姿勢情報、及びこれらの実施例にリストされていない他のロボット動作学関連情報等、並びに以上の情報の任意の組合わせを含む。或いは、動作計画スキームは、ロボットが関連操作を実行する過程における各部位の角度の決定、或いはその姿勢の決定を含む。
本願の実施例によるロボット動作計画方法は、ロボットが操作対象物体を操作する場合、物体が位置する実際のシーンの空間モデルを組み合わせ、物体と該空間モデル内の衝突対象に対して衝突検出を実行し、物体の衝突感度、衝突対象の衝突感度に基づき対応する衝突検出の結果に応じた、ロボットが物体を操作することによって形成されるロボットの動作計画スキームを決定し、それにより、ロボットは、対応する物体を操作する際に、該動作計画スキームに従って動作可能であり、ロボットが該物体を操作する過程において、ロボットの動作過程中の一時停止現象を回避し、ロボット動作をスムーズにさせ、ロボット産業操作のインテリジェンスを向上させる。
本願のいくつかの実施例において、物体の衝突モデルと衝突対象の対象モデルに基づいて衝突検出を実行することができ、本願のいくつかの実施例に含まれる衝突検出の具体的な実現形態は、例示的に、図2に示すようなステップに従って行うことができ、以下のステップを含むことができる。
ステップ201において、物体の衝突モデルと衝突対象の対象モデルとの重なり合い程度を決定する。
いくつかの実施例において、衝突モデル(及び/又は対象モデル)は、電子機器における仮想シーン内での物体の具現化形態であってもよく、物体(及び/又は衝突対象)の対応する状況を具現化し、いくつかの実施例において、衝突モデル(及び/又は対象モデル)は、形状、位置、姿勢、動作状態等の他の物体情報などの物体(及び/又は衝突対象)の任意の様態、及び任意の様態の組合わせを具現化することができる。
いくつかの実施例において、衝突モデル(及び/又は対象モデル)の具体的な形態はあるデータタイプであってもよく、或いは、いくかの選択可能な実施例において、衝突モデル(及び/又は対象モデル)は、電子機器があるデータタイプをレンダリングして効果を表示することを具現化することができる。
一部の実施例では、衝突モデル(及び/又は対象モデル)はセンサーによって収集された実際のシーンのデータに従って確立される。
ある実施例において、衝突モデル(及び/又は対象モデル)は二次元平面モデル、例えば実際には上面の角度からの平面、或いは実際には側面の角度からの平面であってもよい。対応する二次元次元はデカルト座標系の2つの軸方向で表すことができ、2つの軸で形成された平面は、例えばXOY、YOZ、XOZ平面である。
ある場合では、衝突モデル(及び/又は対象モデル)は二次元平面モデルに基づいて時間の経過とともに変更でき、ある場合で、変更された内容は、対応する角度で物体(及び/又は衝突対象)の変更された内容と一致して対応し、ある場合で、変更された内容は、対応する角度で物体(及び/又は衝突対象)の変更された内容のうちの一部と一致して対応する。
ある実施例において、衝突モデル(及び/又は対象モデル)は三次元立体モデルであってもよく、三次元立体モデルはデカルト座標系によって物体(及び/又は衝突対象)上の任意の実際点を参照として説明することができる。
ある場合では、衝突モデル(及び/又は対象モデル)は三次元立体モデルに基づいて時間の経過とともに変更でき、ある場合で、変更された内容は、モデル(及び/又は対象モデル)の変更された内容と一致して対応し、ある場合で、変更された内容は、モデル(及び/又は対象モデル)の変更された内容の一部と一致して対応する。
本願のいくつかの実施例において、衝突モデル(及び/又は対象モデル)は幾何学モデル、三角メッシュモデルを含む場合、物体の衝突モデルと衝突対象の対象モデルの表面で囲まれる空間占用状況を検出することができ、それにより、重なり合い程度を決定する。選択可能に、空間占用状況は重なり合い領域の面積或いは体積であってもよい。
いくつかの実施例において、物体の衝突モデル(及び/又は対象モデル)は八分木モデル等の他の同様のデータ形態であってもよく、さらに、いくつかの実施形態において、衝突モデルと対象モデルの表面で囲まれる空間占用状況を検出することができ、それにより、重なり合い程度を計算する。
空間で互いに占用する物体と衝突対象の両方が多いほど、対応する重なり合い程度が高くなる。
本願のいくつかの実施例において、衝突モデルには、空間モデル内の操作対象物体の状況と一致する小さな立方体の集合が含まれ、対象モデルには、空間モデル内の衝突対象の状況と一致する小さな立方体の集合が含まれる。
いくつかの実施例において、重なり合い程度の具体的な決定方法は、該物体の小さな立方体の集合内のそれぞれの小さな立方体に対して、衝突対象の小さな立方体の集合には、該小さな立方体と空間上で少なくとも1つの点で交差する対応する小さな立方体があるかどうかを判断し、あると、該物体の小さな立方体の集合内の該小さな立方体と衝突対象の小さな立方体の集合内の対応する小さな立方体との衝突があり、物体と衝突対象との間の衝突がある小さな立方体の数を統計し、小さな立方体の数に基づいて、両者の間の重なり合い程度を決定することを含む。
ステップ202において、重なり合い程度及び空間モデル内の各モデル解像度に基づき対応する衝突対象の衝突度を決定する。
いくつかの実施例において、衝突モデルは、空間モデル内である解像度で物体が占用する空間を分割することによって形成される画素集合を含み、対象モデルは、空間モデル内で他の解像度で対応する衝突対象が占用する空間を分割することによって形成される画素集合を含む。
いくつかの実施では、衝突度の具体的な決定方法は以下の通りであり、衝突モデルと対象モデルとの間の重なり合い画素集合を決定し、対応する重なり合い画素集合内の各画素が対応するモデル表面からの距離に応じて各画素の深さの重みを決定し、さらに重なり合い程度を組み合わせて衝突モデルと対象モデルとの衝突度を決定し、重なり合い程度は対応する重なり合い画素集合内の画素数である。
いくつかの実施では、衝突モデルには、空間モデル内で第1の解像度で物体が占用する空間を分割することによって形成される小さな立方体の集合が含まれ、対象モデルには、空間モデル内で第2の解像度で対応する衝突対象が占用する空間を分割することによって形成される小さな立方体の集合が含まれる。
いくつかの実施では、衝突度の具体的な決定方法は以下の通りであり、衝突モデルと対象モデルとの間の重なり合う立方体の集合を決定し、対応する重なり合う立方体の集合内の各小さな立方体が対応するモデル表面からの距離に応じて各小さな立方体の深さの重みを決定し、さらに重なり合い程度を組み合わせて衝突モデルと対象モデルとの衝突度を決定し、重なり合い程度は対応する重なり合う立方体の集合内の小さな立方体の数である。
理解できるのは、異なる使用シーンでは、ロボットは物体に対して異なる操作を実行することができ、その異なる操作に対応する衝突対象は、一般的に異なり、本願のいくつかの実施例において、ロボットが物体に対して実行する操作は移動操作を含む場合、上記衝突対象は、動作計画スキームにおける物体へのロボットの把持操作の完成から配置操作までの各移動経路上で物体が占用する空間と重なり合う複数の対象を含む。
本願の選択可能な実施例において、ロボットが物体に対する操作は把持操作を更に含む場合、上記衝突対象は物体の把持操作中のロボットの操作末端にある治具を更に含んでもよい。
本願の選択可能な実施例において、ロボットが物体に対して実行する操作は配置操作を更に含む場合、衝突対象は、ロボットの配置操作中の物体を配置するときの接触物を更に含むことができ、一部の実施例では、接触物は、物体が配置される瞬間に接触した事物を含み、例えば、ロボットによってこの操作の前に配置された、この配置された物体の下方或いは側方にある他の物体、或いはロボットによって配置されない、この配置された物体の下方或いは側方にある他の物体、或いは物体を配置するためのプラットフォーム等である。
或いは、衝突対象は、動作計画スキームにおけるロボットが関連操作を実行する際にロボットそのものの姿勢変化過程中にロボットの任意の箇所が占用する空間と重なり合う複数の対象を含んでもよい。
第2の様態では、本願の衝突度検出に基づくロボット経路計画方法を紹介する。
図3は本願の実施例による衝突度検出に基づくロボット経路計画方法を示すフローチャートである。説明する必要があることとして、本実施例の衝突度検出に基づくロボット経路計画方法の実行主体はロボット経路計画装置であり、いくつかの実施例において、該ロボット経路計画装置は電子機器に配置され、該電子機器はロボットと通信することでロボットに対して移動経路を計画する。
図3に示すように、該ロボット移動経路計画方法は以下のステップを含んでもよい。
ステップ301において、ロボットが物体の把持操作を完成する際に、衝突度検出に基づいてロボットに対して移動経路を計画し、移動経路計画結果に対応する移動経路を離散化すると同時に、離散化された各離散軌跡点を送信してロボットを移動させる。
本願の選択可能な実施例において、ロボットが物体の把持操作を完成する際に、衝突度検出に基づいてロボットに対して移動経路を計画して、ロボットの移動経路計画結果を取得することができ、次に、移動経路計画結果に対応する移動経路を離散化処理して、各離散軌跡点を取得する。
移動経路計画は移動スキーム計画を含んでもよい。模式的な実施例は、例えば図1bに示すように、ロボットが物体を把持して開始点から終了点まで移動する必要があると、仮に経路A、経路B、経路Cは移動スキーム計画の全部の結果であると、一部の実施例では、衝突度検出に基づいてロボットに対して移動経路を計画する具体的な過程は、物体が経路Aに沿って移動する時のスキーム、物体が経路Bに沿って移動する時のスキーム、物体が経路Cに沿って移動する時のスキームに基づいて、物体と移動過程中の衝突対象、例えば図1bにおける障害物との衝突検出を実行し、各衝突度を取得し、衝突度検出を完成することを含む。説明する必要があることとして、本実施例は、最も単純な場合のみを例示し、実際の場合で開始点から終了点までより多くの動作計画スキームが存在する可能性がある。
他の例示的な実施例において、移動経路計画は、ロボットがある経路に沿って移動する中の各関節、各部分の機械アーム及びその他の部分の姿勢変化スキームを含み、例示的に、一部の実施例では、ロボットは物体をある開始点(または初期点)から目標点(または最終点)まで移動することは、ロボットの各関節の異なる回転状態の組合わせによって実現でき、ロボットの構造模式図は、図1cに示すように、各関節は周囲の矢印で示された方向に従って回転を実現することができ、1つの組合わせでは各関節はそれぞれ1つの角度に対応することで、関節間の機械アームが1つの姿勢であり、複数の組合わせは複数の姿勢に対応し、一部の実施例では、複数の組合わせにおけるロボットの異なる姿勢に基づき、ロボットの各部位、例えば第1の関節、第2の関節、或いは第5の関節、第6の関節、或いは各関節の間の機械アームに対して、姿勢変化移動過程中の衝突対象との衝突検出を実行し、各衝突度を取得し、それにより、衝突度検出を完成する。
具体的な衝突検出の方法について、第1の態様によるロボット動作計画方法の実施例における関連説明を参照することができ、ここで繰り返して説明しない。
具体的な経路離散化過程において離散された離散点は経路の特徴点から選択することができ、従来技術におけるロボット動作学関連離散方法によって実現することができ、本願は繰り返して説明しない。
ステップ302において、ロボット移動速度に基づき各離散軌跡点に対応するロボット移動時点を決定し、各移動時点で物体に対して衝突検出を実行する。
いくつかの実施例において、各移動時点で物体と位置する実際のシーンに対応する空間モデル内の衝突対象に対して衝突検出を実行し、空間モデルは各移動時点での対応する時間の実際のシーン状況に対応する。
一部の実施例では、物体と空間モデル内の衝突対象に対して衝突検出を実行する関連説明について、第1の態様のロボット動作計画方法の実施例における関連説明を参照することができ、ここで繰り返して説明しない。
上記空間モデルの確立過程は第1の態様によるロボット動作計画方法の実施例における関連説明を参照することができ、ここで繰り返して説明しない。
ステップ303において、ある時点で衝突度が物体の衝突感度より高いと、ロボットの移動を停止し、危険の発生を防止する。
いくつかの実施例において、ある時点で衝突度が物体の衝突感度または衝突対象の衝突感度より高いと、ロボットの移動を停止する。
説明する必要があることとして、関連する実施例では、衝突度が衝突感度より高いことは、現在の衝突度に対して、対応する衝突感度の物体を受けることができず、対応する物体の完全、安全を確保するために、ロボットの移動を停止すると例示的に理解されることができる。
衝突感度の関連説明について、第1の態様によるロボット動作計画方法の実施例における関連説明を参照することができ、ここで繰り返して説明しない。
つまり、本実施例において、ロボットが物体に対して移動操作を実行する過程において、ロボットの各移動時点に対して、各移動時点で物体に対して衝突検出を実行し、衝突検出結果に基づいてロボットの移動操作過程を制御し、それにより、該衝突過程検出に基づいてロボットに対して移動経路を計画する方法を提供し、ロボットのインテリジェンスを向上させる。
本願の実施例による衝突度検出に基づくロボット経路計画方法は、ロボットが物体の把持操作を完成する場合、衝突度の検出に基づいてロボットの移動経路を計画し、移動経路計画結果に対応する移動経路を離散化するとともに、離散化された各離散軌跡点を送信してロボットを移動させ、ロボット移動速度に応じて各離散軌跡点に対応するロボット移動時点を決定し、各移動時点で物体に対して衝突検出を行い、ある時点で衝突度が物体の衝突感度より高いと、危険の発生を防止するように、ロボットの移動を停止する。これにより、ロボットのスムーズな動作を確保する場合で、衝突度検出の方法に基づいてロボットの各移動時点で物体に対して衝突検出を実行し、対応する移動時点に対応する衝突度が物体の衝突感度より高いと判定されると、ロボットの移動の停止を制御し、ロボット操作の安全性を確保し、操作対象物体の完全を確保することで、ロボットのスムーズな動作を確保しながら、ロボットのインテリジェンスを更に向上させる。
第3の様態では、本願の衝突度検出に基づくロボット把持方法を紹介する。
図4aは本願の実施例による衝突度検出に基づくロボット把持方法を示すフローチャートである。説明する必要があることとして、本実施例の衝突度検出に基づくロボット把持方法の実行主体は衝突度検出に基づくロボット把持装置であり、該衝突度検出に基づくロボット把持装置は電子機器に配置され、該電子機器はロボットと通信することでロボットに対して把持スキームを計画するために使用される。
図4aに示すように、該衝突度検出に基づくロボット把持方法は、以下のステップを含むことができる。
ステップ401において、ロボットの操作末端にある治具、及び把持対象の物体に基づき、ロボットが物体を把持するすべての把持ポーズを計算する。
説明的なものとして、実際の使用では、ロボットが把持操作を実行する必要があり、ロボットの操作末端(即ちロボット操作端の関節角)と治具を固定し、治具は物体を把持するために使用される。
いくつかの実施例において、上記治具はグリッパー、クランプ、或いは吸盤、或その組合わせ等であってもよく、物体を取ることにより、物体が、ロボットとともに関連移動、又は関連操作を実行することができる。
いくつかの具体的な実施例において、物体の実際の形状、実際のサイズ、実際の重量を参照することによって把持点(及び/又は把持強度)を決定し、対応する治具のタイプをマッチングする。
いくつかの実施例において、物体ポーズ、及び治具のタイプに応じてすべての把持ポーズを決定することができる。把持ポーズは把持位置及び姿勢である。
ステップ402において、物体の第1の対称度、及び治具と物体との接触点集合の第2の対称度に基づき、把持ポーズからロボットの現在のポーズと比べて変化程度が最小である目標ポーズを決定する。
一部の実施例では、物体(及び/又は接触点集合)は対称性があり、さらにロボットのすべての把持ポーズに異なる把持ポーズで同様な把持効果を達成する状況が含まれる。例示的な実施例は、図4fに示すように、グリッパーの2つの把持ポーズ、即ち把持指の左右の順序が異なり、どちらも2つの把持指を把持接触点AとBに落下させて、同じ把持効果を達成することができる。一部の好ましい実施例において、対称度に応じて、グリッパーの複数の把持ポーズから現在のポーズに近いか、または移動がよりスムーズな目標ポーズを選択して把持操作を実行し、ロボット動作のスムーズさに役に立ち、ロボットのインテリジェンスを向上させる。
いくつかの実施例において、対称度は対称性の程度を含み、1つの物体の本体がその所定の範囲を通過するある方向ベクトルに沿って鏡像を形成すると、それは対称性があると言われ、1つの対称的な物体の本体がその所定の範囲を通過する複数の方向ベクトルに沿って鏡像を形成できると、対称度が高いと言われ、単純な例示的な例は、例えば円、球であり、1つの対称的な物体の本体が個別の方向ベクトルに沿って鏡像を形成できると、対称度が低いと言われ、単純な例示的な例は例えば矩形、直方体であり、正三角形、正方形、正六角形などの辺が等しい多角形である場合、その本体が鏡像を形成するには参照できる方向ベクトルの数に従ってその対称度を対応的に決定する。
いくつかの実施例において、対称度は対称性の程度を含み、1つの物体の本体がその所定の範囲のある回転基準点に沿って0°または360°回転しなければ、回転前と重なり合わないと、その対称度が低いと言われ、1つの物体の本体がその所定の範囲のある回転基準点に沿ってどの角度で回転しても、回転前と重なり合うことができると、対称度が高いと言われ、1つの物体の本体がその所定の範囲のある回転基準点に沿った回転角度が小さいほど(0°以外)回転前と重なり合うことができると、対称度が高くなると言われる。好ましい実施例において、回転基準点は対応する範囲内の中心点を含み、選択可能に重心を含むことができる。一部の実施例では、回転基準点は対応する範囲の観察視角の平面の中心点であり、例示的に、例えば球の上面図に対応する円の中心、リングの軸方向の図の中心などであり、一部の実施例では、回転点は物体の三次元立体構造の中心点、例えば球の中心点、直方体の中心点である。
いくつかの実施例において、上記対称度は角度値として具現化され、さらに物体が第1の対称度に対応する角度値で回転した後回転前と重なり合い、接触点集合が第2の対称度に対応する角度値で回転した後回転前と重なり合う。
上記ポーズは位置及び姿勢を含む。
一部の実施例では、物体対称性はその質量分布対称性を含み、他の一部の実施例では、物体対称性は物体の形態対称性を含む。
理解できることとして、一部の実施例における接触点集合は連続的であってもよく、或いは、他の一部の実施例における接触点集合は不連続的であってもよい。以下に単純な例示的な実施例を挙げ、不連続接触点集合の例示的な実施例について、図4bにおける様々な各物体の対応する点A、点Bの構成状況を参照することができる。連続接触点集合の例示的な実施例について、図4cにおける各物体上の影強調表示部分を参照することができる。
一部の実施例では、接触点集合の対称度は、図4d-図4eに示すようなものであってもよい。図4dにおける接触点集合が回転基準点に沿って90°回転すると、回転前と重なり合うことができ、図4eにおける接触点集合が回転基準点に沿って180°回転すると、回転前と重なり合うことができ、これに対して、図4dに示すような接触点集合の対称度は図4eに示すような接触点集合の対称度より大きい。
いくつかの実施例において、物体の把持過程中に、ロボットの各関節角を最小に回転するために、ロボットが物体を把持するすべての把持ポーズを取得した後、物体の第1の対称度、及び治具と物体との接触点集合の第2の対称度を組み合わせ、すべての把持ポーズから、ロボットの現在のポーズと比べて変化程度が最小である目標ポーズを決定する。
ステップ403において、治具に対して衝突度検出を実行し、現在のポーズから目標ポーズまでの移動経路を決定し、さらに移動経路の離散化された各軌跡点をロボットに送信して把持操作を完成する。
本願の対応する実施例において、衝突度検出に基づいてロボット把持スキームを決定し、ロボットの現在のポーズと目標ポーズを取得した後、治具に対して衝突度検出を実行し、許容できる衝突度内で把持スキームを選択し、選択可能なスキームの数を増やし、選択可能なスキームにスムーズで実行可能な把持スキームが含まれる可能性が増加し、ロボットの移動のスムーズさをある程度向上させ、特異点の発生確率を低減し、ロボットのインテリジェンスを向上させ、なお、上記目標ポーズは対称度に基づいて決定されるため、これは、選択可能なスキームの数をさらに増加し、把持操作のために、ロボットがスムーズな移動に比較的役に立つ目標ポーズを選択するのを助け、ロボットの移動のスムーズさを更に改善させ、ロボットのインテリジェンスを更に向上させる。
空間モデルは治具が位置する実際のシーンに対応する空間モデルである。
一部の実施例では、治具に対して衝突度検出を実行し、現在のポーズから目標ポーズまでの移動経路を決定する具体的な実現方法は、ロボットの現在のポーズから目標ポーズまでの複数の候補移動経路を取得し、候補移動経路ごとに、治具に対して衝突度検出を実行し、各候補移動経路に対応する衝突検出結果を得、衝突検出結果からグリッパー(及び/又は被衝突対象)が受けることができる衝突度に対応する候補移動経路を現在のポーズから目標ポーズまでの移動経路として選択し、該移動経路をロボットに送信して把持操作を完成すること、である。
本願の一部の実施例では、上記治具は吸盤を含み、上記物体はボックスを含む。
一部の実施例では、吸盤はアレイ状で配布され、長方形領域の吸盤を形成する。
一部の実施例では、吸盤の面積とボックスの被把持面の面積が同等であるかどうかを判断することができ、吸盤の面積とボックスの被把持面の面積が異なると、上記ロボットの把持ポーズは以下のような方法によって決定されることができる。
吸盤の中心を被把持面の中心に位置合わせて、被把持面に吸着領域を決定する方法1、或いは吸盤の頂角を被把持面の頂角に位置合わせて、被把持面に吸着領域を決定する方法2、或いは、吸盤の長辺を被把持面の長辺に位置合わせ、被把持面に吸着領域を決定する方法3、或いは、吸盤の短辺を被把持面の短辺に位置合わせ、被把持面に吸着領域を決定する方法4がある。以上のように吸着領域を決定した後、決定された吸着領域に応じてロボットのすべての把持ポーズを計算し、吸着領域は被把持面上でのボックスの重心の正射影点を含む。
一部の実施例では、被把持面はボックスの上面を含み、或いは他の一部の実施例では、被把持面はボックスの側面を含む。
一部の実施例では、吸着領域は接触点集合を含み、例示的に図4gに示すようなものである。
一部の実施例では、吸盤はアレイ状で配布され、長方形領域の吸盤を形成し、吸盤の頂角は長方形領域の吸盤の頂角を含み、一部の実施例では、吸盤の長辺は長方形領域の吸盤の長辺を含み、一部の実施例では、吸盤の短辺は長方形領域の吸盤の短辺を含む。
一部の実施例では、吸盤はアレイ状で配布され、長方形領域の吸盤を形成し、吸盤の面積は被把持面より大きいと、吸盤の長辺は、長方形領域の吸盤の、長方形領域の吸盤の内部へ並進して一列の吸盤を横切る長辺を含み、吸盤の短辺は、長方形領域の吸盤の、長方形領域の吸盤の内部へ並進して一列の吸盤を横切る短辺を含み、吸盤の頂角は、並進した長辺と短辺がなす頂角を含む。無論、一部の実施例では、吸盤アレイの範囲で2列、ひいては複数列の吸盤を並進するように横切ることができる。一部の実施例では、長辺、短辺が横切る列数が異なってもよい。
一部の実施例では、上記目標ポーズは治具の位置及び姿勢を含むことができ、上記姿勢は、治具が物体に面する把持向きを含み、本願の一部の実施例では、治具は正面に物体に向けて把持操作を完成し、具体的に、治具は把持対象物体の把持面の法線方向に沿って物体を把持し、或いはいくつかの実施例において、ロボットの治具が把持対象の物体をより容易に把持させるために、治具を把持対象物体の把持面の法線方向からずらし、具体的に、把持ポーズからロボットの現在のポーズと比べて変化程度が最小である目標ポーズを決定した後、治具の変形能力に従って把持向きを調整して、把持向きと治具の現在の方向との間の差をさらに減少し、把持操作のために、ロボットがスムーズな移動に比較的役に立つ目標ポーズを選択するのを助け、ロボットの移動のスムーズさを更に改善させ、ロボットのインテリジェンスを更に向上させる。
本願の一部の実施例では、変形能力に基づく治具は把持対象物体に対して把持操作を実行することにより、ロボットは治具によって把持対象物体を把持する場合に、ロボットの治具の向きを把持表面の法線方向に厳密に位置合わせる必要がなく、目標ポーズを初期ポーズにより近くすることができ、ロボットのインテリジェンスを更に向上させる。
本願の実施例による衝突度検出に基づくロボット把持方法は、ロボットが把持対象物体を把持する場合、ロボットの操作末端にある治具、及び把持対象の物体を組み合わせ、ロボットが物体を把持するすべての把持ポーズを計算し、物体の第1の対称度、及び治具と物体との接触点集合の第2の対称度を組み合わせ、把持ポーズからロボットの現在のポーズと比べて変化程度が最小である目標ポーズを決定し、及び治具に対して衝突度検出を実行し、現在のポーズから目標ポーズまでの移動経路を決定し、さらに移動経路の離散化された各軌跡点をロボットに送信して把持操作を完成する。これにより、衝突度検出に基づいてロボットの把持経路の計画を実現し、衝突の発生を回避すると同時に、ロボットが得られた把持経路に基づいて物体をスムーズに把持することができ、ロボットのインテリジェンスを更に向上させる。
図5は本願の実施例によるロボット動作計画装置を示す構造模式図である。
図5に示すように、該ロボット動作計画装置は、物体に対して衝突度検出を実行し、該装置は、ロードモジュール510、第1の衝突検出モジュール520及び第1の決定モジュール530を備えてもよい。
ロードモジュール510は、物体が位置する実際のシーンの空間モデルをロードするために使用される。
第1の衝突検出モジュール520は、物体と空間モデル内の衝突対象に対して衝突検出を実行するために使用される。
第1の決定モジュール530は、物体の衝突感度、衝突対象の衝突感度に基づき、対応する衝突検出の結果に応じた、ロボットが物体を操作することによって形成されるロボットの動作計画スキームを決定するために使用される。
説明する必要があることとして、上記のロボット動作計画方法の実施例の解釈説明は該実施例のロボット動作計画装置にも適用され、ここで繰り返して説明しない。
本願の実施例によるロボット動作計画装置は、ロボットが操作対象物体を操作する場合、物体が位置する実際のシーンの空間モデルを組み合わせ、物体と該空間モデル内の衝突対象に対して衝突検出を実行し、物体の衝突感度、衝突対象の衝突感度に基づき対応する衝突検出の結果に応じた、ロボットが物体を操作することによって形成されるロボットの動作計画スキームを決定し、それにより、ロボットは、対応する物体を操作する際に、該動作計画スキームに従って動作可能であり、ロボットが該物体を操作する過程において、ロボットの動作過程中の一時停止現象を回避し、ロボット動作をスムーズにさせ、ロボット産業操作のインテリジェンスを向上させる。
本願の一実施例において、図5に示すような装置実施例に基づいて、図6に示すように、上記第1の衝突検出モジュール520は、
物体の衝突モデルと衝突対象の対象モデルとの重なり合い程度を決定するための第1の決定ユニット521と、
重なり合い程度及び空間モデル内の各モデル解像度に基づき対応する衝突対象の衝突度を決定するための第2の決定ユニット522と、を備える。
本願の一実施例において、衝突モデルは、空間モデル内で第1の解像度で物体が占用する空間を分割することによって形成される小さな立方体の集合を含み、対象モデルは、空間モデル内で第2の解像度で対応する衝突対象が占用する空間を分割することによって形成される小さな立方体の集合を含む。
本願の一実施例において、上記第2の決定ユニット522は、
衝突モデルと対象モデルの間の重なり合う立方体の集合を決定するための第1の決定サブユニット5221と、
対応する重なり合う立方体の集合内の各小さな立方体が対応するモデル表面からの距離に応じて各小さな立方体の深さの重みを決定し、重なり合い程度を組み合わせて衝突モデルと対象モデルとの衝突度を決定するための第2の決定サブユニット5222と、を備え、重なり合い程度は対応する重なり合う立方体の集合内の小さな立方体の数である。
本願の一実施例において、上記衝突対象は、物体へのロボットの把持操作の完成から配置操作までの各移動経路上で物体が占める空間と重なり合う複数の対象を含み、及び/又は衝突対象は物体の把持操作中のロボットの操作末端にある治具を含み、及び/又は衝突対象はロボットの配置操作中の配置された物体の接触物を含む。
図7は本願の実施例による衝突度検出に基づくロボット経路計画装置を示す構造模式図である。
図7に示すように、該衝突度検出に基づくロボット経路計画装置は第1の制御モジュール710、第2の衝突検出モジュール720及び第2の制御モジュール730を備えてもよい。
第1の制御モジュール710は、ロボットが物体の把持操作を完成する場合、衝突度検出に基づいてロボットに対して移動経路を計画し、移動経路計画結果に対応する移動経路を離散化するとともに、離散化された各離散軌跡点を送信してロボットを移動させるために使用される。
第2の衝突検出モジュール720は、ロボットの移動速度に応じて各離散軌跡点に対応するロボットの移動時点を決定し、各移動時点で物体に対して衝突検出を実行するために使用される。
第2の制御モジュール730は、ある時点で衝突度が物体の衝突感度より高いと、危険の発生を防止するように、ロボットの移動を停止するために使用される。
本願の一実施例において、上記第2の衝突検出モジュール720は、具体的に、各移動時点で物体と位置する実際のシーンに対応する空間モデル内の衝突対象に対して衝突検出を実行するために使用され、空間モデルは各移動時点での対応する時間の実際のシーン状況に対応する。
第2の制御モジュール730は、具体的に、ある時点で衝突度が物体の衝突感度または衝突対象の衝突感度より高いと、ロボットの移動を停止するために使用される。
説明する必要があることとして、上記の衝突度検出に基づくロボット経路計画方法実施例の解釈説明は該実施例の衝突度検出に基づくロボット経路計画装置にも適用され、ここで繰り返して説明しない。
本願の実施例による衝突度検出に基づくロボット経路計画装置は、ロボットが物体の把持操作を完成する場合、衝突度の検出に基づいてロボットの移動経路を計画し、移動経路計画結果に対応する移動経路を離散化するとともに、離散化された各離散軌跡点を送信してロボットを移動させることと、ロボット移動速度に応じて各離散軌跡点に対応するロボット移動時点を決定し、各移動時点で物体に対して衝突検出を実行することと、ある時点で衝突度が物体の衝突感度より高いと、危険の発生を防止するように、ロボットの移動を停止する。これにより、ロボットのスムーズな動作を確保する場合で、衝突度検出の方法に基づいてロボットの各移動時点で物体に対して衝突検出を実行し、対応する移動時点に対応する衝突度が物体の衝突感度より高いと判定されると、ロボットの移動の停止を制御し、ロボット操作の安全性を確保し、操作対象物体の完全を確保することで、ロボットのスムーズな動作を確保しながら、ロボットのインテリジェンスを更に向上させる。
図8は本願の実施例による衝突度検出に基づくロボット把持装置を示す構造模式図である。
図8に示すように、該衝突度検出に基づくロボット把持装置は、計算モジュール810、第2の決定モジュール820及び第3の制御モジュール830を備えてもよい。
計算モジュール810は、ロボットの操作末端にある治具、及び把持対象の物体に基づき、ロボットが物体を把持するすべての把持ポーズを計算するために使用される。
第2の決定モジュール820は、物体の第1の対称度、及び治具と物体との接触点集合の第2の対称度に基づき、把持ポーズからロボットの現在のポーズと比べて変化程度が最小である目標ポーズを決定するために使用される。
第3の制御モジュール830は、治具に対して衝突度検出を実行し、現在のポーズから目標ポーズまでの移動経路を決定し、さらに移動経路の離散化された各軌跡点をロボットに送信して把持操作を完成するために使用される。
本願の一実施例において、対称度は角度値であり、物体が第1の対称度に対応する角度値で回転した後回転前と重なり合い、接触点集合が第2の対称度に対応する角度値で回転した後回転前と重なり合う。
本願の一実施例において、治具は吸盤を含み、物体はボックスを含み、吸盤面積とボックスの被把持面の面積が異なると、計算モジュール810は、具体的に、吸盤の中心を被把持面の中心に位置合わせ、被把持面に吸着領域を決定すること、或いは吸盤の頂角を被把持面の頂角に位置合わせ、被把持面に吸着領域を決定すること、或いは吸盤の長辺を被把持面の長辺に位置合わせ、被把持面に吸着領域を決定すること、或いは吸盤の短辺を被把持面の短辺に位置合わせ、被把持面に吸着領域を決定することに使用される。決定された吸着領域に応じてロボットのすべての把持ポーズを計算し、吸着領域は被把持面上でのボックスの重心の正射影点を含む。
本願の一実施例において、目標ポーズは治具の位置及び姿勢を含み、姿勢は治具の物体に面する把持向きを含み、図8に示すような実施例に基づいて、図9に示すように、該装置は、
第2の決定モジュール820は把持ポーズからロボットの現在のポーズと比べて変化程度が最小である目標ポーズを決定した後、治具の変形能力従って把持向きを調整し、把持向きと治具の現在の方向との間の差を減少するための調整モジュール840をさらに備える。
説明する必要があることとして、上記の衝突度検出に基づくロボット把持方法の実施例の解釈説明は該実施例の衝突度検出に基づくロボット把持装置にも適用され、ここで繰り返して説明しない。
本願の実施例による衝突度検出に基づくロボット把持装置は、ロボットが把持対象物体を把持する場合、ロボットの操作末端にある治具、及び把持対象の物体を組み合わせ、ロボットが物体を把持するすべての把持ポーズを計算し、物体の第1の対称度、及び治具と物体との接触点集合の第2の対称度を組み合わせ、把持ポーズからロボットの現在のポーズと比べて変化程度が最小である目標ポーズを決定し、及び治具に対して衝突度検出を実行し、現在のポーズから目標ポーズまでの移動経路を決定し、さらに移動経路の離散化された各軌跡点をロボットに送信して把持操作を完成する。これにより、衝突度検出に基づいてロボットの把持経路の計画を実現し、衝突の発生を回避すると同時に、ロボットが得られた把持経路に基づいて物体をスムーズに把持することができ、ロボットのインテリジェンスをさらに向上させる。
図10は本願の実施例による電子機器を示す構造模式図である。該電子機器は、
メモリ1001、プロセッサ1002及びメモリ1001に記憶されてプロセッサ1002に稼働できるコンピュータプログラムを含む。
プロセッサ1002はプログラムを実行する際に上記実施例に言及されたロボット動作計画方法を実現する。
本願の一実施例において、上記プロセッサ1002はプログラムを実行する際に上記実施例による衝突度検出に基づくロボット経路計画方法を実現する。
本願の一実施例において、上記プロセッサ1002はプログラムを実行する際に上記実施例による衝突度検出に基づくロボット把持方法を実現する。
さらに、電子機器は、
メモリ1001とプロセッサ100との間の通信に使用される通信インターフェース1003を更に含む。
メモリ1001は、プロセッサ1002に稼働できるコンピュータプログラムを記憶するために使用される。
メモリ1001は高速RAMメモリを含む可能性があり、不揮発性メモリ(non-volatile memory)、例えば少なくとも1つのディスクメモリを含む可能性もある。
プロセッサ1002は、プログラムを実行する際に上記実施例による接着剤噴射軌跡情報決定方法を実現するために使用される。
メモリ1001、プロセッサ1002及び通信インターフェース1003が独立して実現される場合、通信インターフェース1003、メモリ1001及びプロセッサ1002はバスを介して互いに接続して相互間の通信を完成することができる。バスは業界標準アーキテクチャ(Industry Standard Architecture、ISAと略称)バス、外部デバイスの相互接続(Peripheral Component、PCIと略称)バスまたは拡張業界標準アーキテクチャ(Extended Industry Standard Architecture、EISAと略称)バス等であってもよい。バスはアドレスバス、データバス、制御バス等に分けられることができる。図示の便宜上で、図10には、太い線のみで示されるが、バスが1つまたはバスのタイプが1つしかないことを意味するものではない。
選択可能に、具体的な実現上で、メモリ1001、プロセッサ1002及び通信インターフェース1003が1枚のチップに集積して実現されると、メモリ1001、プロセッサ1002及び通信インターフェース1003は内部インターフェースを介して相互の通信を完成することができる。
プロセッサ1002は中央プロセッサ(Central Processing Unit、CPUと略称)、或いは特定用途向け集積回路(Application Specific Integrated Circuit、ASICと略称)であってもよいか、或いは本願の実施例を実施する1つまたは複数の集積回路にするように配置されてもよい。
本実施例はコンピュータ可読記憶媒体をさらに提供し、コンピュータプログラムが記憶され、該プログラムはプロセッサによって実行される際に、以上のようなロボット動作計画方法、或いは、衝突度検出に基づくロボット経路計画方法、或いは、衝突度検出に基づくロボット把持方法を実現する。
なお、本願の説明において、「第1」、「第2」という用語は、説明目的でのみ使用され、相対的な重要性を示したり暗示したり、示された技術的機能の数を暗黙的に示したりするものとして理解することはできない。それにより、「第1」、「第2」で定義された特徴には、少なくとも1つのこの特徴が明示的または暗黙的に含まれる場合がある。本願の説明では、「複数」は、特に明記しない限り、少なくとも2つ、例えば2つ、3つであるなどを意味する。
本明細書の説明では、「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」という参照用語などの説明は、該実施例又は例を組み合わせて説明した具体的な特徴、構造、材料又は特点が本発明の少なくとも1つの実施例又は例に含まれる。本明細書において、上記の用語の例示的な叙述は必ずしも同じ実施例又は例を指す必要がない。さらに、説明される具体的な特徴、構造、材料又は特点は任意の1つ又は複数の実施例又は例において適切な方式で結合することができる。なお、矛盾がない場合、当業者は、本明細書に記載されている異なる実施例又は例及び異なる実施例又は例の特徴を結合及び組み合わせることができる。
フローチャートに記載されている、またはここで他の方法で記載されている任意のプロセスまたは方法の説明は、特定の論理機能または過程を実現するためのステップの実行可能な命令の1つまたは複数のコードのモジュール、セグメントまたは部分を含むと理解されることができ、本願の好ましい実施形態の範囲は他の実現を含み、機能は、示されるまたは議論される順序から外れて、関する機能に応じて基本的に同時の形態で、または逆の順序で実行されることができ、本願の実施例の当業者によって理解されるべきである。
フローチャートに記載されている、またはここで他の方法で記載されている論理及び/又はステップは、例えば、論理機能を実現するための実行可能な命令の固定したシーケンスリストと見なされることができ、任意のコンピュータ可読媒体に具体的に実現されることができ、命令実行システム、装置または機器(コンピュータに基づくシステム、プロセッサを含むシステムまたは命令実行システム、装置または機器から命令を読み取って命令を実行することができるシステム)に使用され、またはこれらの命令実行システム、装置または機器を組み合わせて使用される。本明細書について、「コンピュータ可読媒体」は、プログラムを含み、記憶、通信、伝播又は送信し、命令実行システム、装置または機器に使用されるか、またはこれらの命令実行システム、装置または機器を組み合わせて使用される任意の装置であってもよい。コンピュータ可読媒体のより具体的な例(網羅的ではないリスト)は、1つまたは複数の配線を有する電気接続部(電子装置)、ポータブルコンピュータディスクケース(磁気装置)、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能および編集可能な読み取り専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバー装置、及びポータブルコンパクトディスク読み取り専用メモリ(CDROM)を含む。また、コンピュータ可読媒体は、ひいてはプログラムを印刷することができる紙または他の適切な媒体であってもよく、例えば紙または他の媒体を光学的にスキャンし、次に、編集し、解釈し、または必要に応じて他の適切な方法で処理することでプログラムを電子的に取得し、次に、コンピュータメモリに記憶される。
理解すべきであるものとして、本願の各部分はハードウェア、ソフトウェア、ファームウェアまたはそれらの組合わせによって実現されることができる。上記の実施形態において、複数のステップまたは方法は、メモリに記憶されて、且つ適切な命令実行システムにより実行されるソフトウェアまたはファームウェアによって実現されることができる。例えば、ハードウェアによって実現されると、他の実施形態と同様に、データ信号に対して論理機能を実現するための論理ゲート回路を有する離散論理回路、適切な組合わせ論理ゲート回路を有する専用集積回路、プログラマブルゲートアレイ(PGA)、フィールドプログラマブルゲートアレイ(FPGA)等の本分野での公知の技術のいずれかまたはそれらの組合わせによって実現されることができる。
当業者は、上記実施例の方法に載せられた全部または一部のステップの実現が、プログラムにより関連するハードウェアを命令することで完成されることができ、プログラムは1つのコンピュータ可読記憶媒体に記憶でき、該プログラムが実行される場合、方法実施例のステップのうちの1つまたはその組合わせを含むことを理解できる。
なお、本願の各実施例における各機能ユニットは1つの処理ユニットに集積されてもよいし、各ユニットは単独に物理的に存在してもよいし、2つ又は2つ以上のユニットは1つのモジュールに集積されてもよい。上記集積されたモジュールは、ハードウェアの形態で実現されてもよいし、ソフトウェア機能モジュールの形態で実現されてもよい。集積されたモジュールはソフトウェア機能モジュールの形態で実現するとともに独立した製品として販売又は使用される場合、1つのコンピュータ読み取り可能な記憶媒体に記憶されることができる。
上記で言及された記憶媒体は、読み取り専用メモリ、磁気ディスクまたは光ディスクなどであってもよい。以上で本願の実施例を示し、説明したが、上記実施例は例示的なものであり、本願を制限するためのものではなく、当業者は本願の範囲で上記実施例に対して変化、修正、置換及び変形を行うことができることを理解できる。
本開示は、2020年05月22日に提出された出願番号が202010440673.4で、発明名称が「ロボット動作計画方法、経路計画方法、把持方法及びその装置」の中国特許出願の優先権を主張し、そのすべての内容は援用によって本開示に組み込まれる。

Claims (10)

  1. 物体に対して衝突度検出を実行するロボット動作計画方法であって、前記方法は、
    前記物体が位置する実際のシーンの空間モデルをロードすることと、
    前記物体と前記空間モデル内の衝突対象に対して衝突検出を実行することと、
    前記物体の衝突感度、衝突対象の衝突感度に基づき対応する衝突検出の結果に応じた、ロボットが前記物体を操作することによって形成される前記ロボットの動作計画スキームを決定することと、を含み、
    前記物体と前記空間モデル内の衝突対象に対して衝突検出を実行することは、
    前記物体の衝突モデルと衝突対象の対象モデルとの重なり合い程度を決定することと、
    重なり合い程度及び前記空間モデル内の各モデル解像度に基づき対応する衝突対象の衝突度を決定することと、を含む、ことを特徴とするロボット動作計画方法。
  2. 前記衝突モデルは前記空間モデルに第1の解像度で前記物体が占める空間を分割することによって形成される小さな立方体の集合を含み、対象モデルは前記空間モデルに第2の解像度で対応する衝突対象が占める空間を分割することによって形成される小さな立方体の集合を含む、ことを特徴とする請求項1に記載の方法。
  3. 重なり合い程度及び前記空間モデル内の各モデル解像度に基づき衝突対象の衝突度を決定することは、
    前記衝突モデルと対象モデルとの間の重なり合う立方体の集合を決定することと、
    対応する重なり合う立方体の集合内の各小さな立方体が対応するモデル表面からの距離に応じて各小さな立方体の深さの重みを決定し、さらに重なり合い程度を組み合わせて前記衝突モデルと対象モデルとの衝突度を決定することであって、重なり合い程度は対応する重なり合う立方体の集合内の小さな立方体の数であることと、を含む、ことを特徴とする請求項2に記載の方法。
  4. 衝突対象は、動作計画スキームにおける前記物体への前記ロボットの把持操作の完成から配置操作までの各移動経路上で前記物体が占める空間と重なり合う複数の対象を含み、及び/又は、
    衝突対象は前記物体の把持操作中の前記ロボットの操作末端にある治具を含み、及び/又は、
    衝突対象は前記ロボットの配置操作中の前記物体を配置するときの接触物を含む、ことを特徴とする請求項1~3のいずれかに記載の方法。
  5. 衝突度検出に基づくロボット経路計画方法であって、前記方法は、
    前記ロボットが物体の把持操作を完成する場合、衝突度検出に基づいて前記ロボットの移動経路を計画し、移動経路計画結果に対応する移動経路を離散化するとともに、離散化された各離散軌跡点を送信して前記ロボットを移動させ、請求項1~4のいずれかに記載のロボット動作計画方法により衝突度検出を実行することと、
    ボット移動速度に応じて各離散軌跡点に対応するロボット移動時点を決定し、各移動時点で前記物体に対して衝突検出を実行することと、
    ある時点で衝突度が前記物体の衝突感度より高いと、危険の発生を防止するように、前記ロボットの移動を停止することと、を含む、ことを特徴とする衝突度検出に基づくロボット経路計画方法。
  6. 各移動時点で前記物体に対して衝突検出を実行することは、
    各移動時点で前記物体と位置する実際のシーンに対応する空間モデル内の衝突対象に対して衝突検出を実行することを含み、前記空間モデルは各移動時点での対応する時間の実際のシーン状況に対応し、
    ある時点で衝突度が前記物体の衝突感度より高いと、前記ロボットの移動を停止することは、
    ある時点で衝突度が前記物体の衝突感度または衝突対象の衝突感度より高いと、前記ロボットの移動を停止することを含む、ことを特徴とする請求項5に記載の方法。
  7. 物体に対して衝突度検出を実行するロボット動作計画装置であって、前記装置は、
    前記物体が位置する実際のシーンの空間モデルをロードするためのロードモジュールと、
    前記物体と前記空間モデル内の衝突対象に対して衝突検出を実行するための第1の衝突検出モジュールと、
    前記物体の衝突感度、衝突対象の衝突感度に基づき対応する衝突検出の結果に応じた、ロボットが前記物体を操作することによって形成される前記ロボットの動作計画スキームを決定するための第1の決定モジュールと、を備え、
    前記第1の衝突検出モジュールは、
    前記物体の衝突モデルと衝突対象の対象モデルとの重なり合い程度を決定するための第1の決定ユニットと、
    重なり合い程度及び前記空間モデル内の各モデル解像度に基づき対応する衝突対象の衝突度を決定するための第2の決定ユニットと、を備える、ことを特徴とするロボット動作計画装置。
  8. 衝突度検出に基づくロボット経路計画装置であって、前記装置は、
    前記ロボットが物体の把持操作を完成する場合、衝突度検出に基づいて前記ロボットの移動経路を計画し、移動経路計画結果に対応する移動経路を離散化するとともに、離散化された各離散軌跡点を送信して前記ロボットを移動させ、請求項1~4のいずれかに記載のロボット動作計画方法により衝突度検出を実行するための第1の制御モジュールと、
    ボット移動速度に応じて各離散軌跡点に対応するロボット移動時点を決定し、各移動時点で前記物体に対して衝突検出を実行するための第2の衝突検出モジュールと、
    ある時点で衝突度が前記物体の衝突感度より高いと、危険の発生を防止するように、前記ロボットの移動を停止するための第2の制御モジュールと、を備える、ことを特徴とする衝突度検出に基づくロボット経路計画装置。
  9. 電子機器であって、メモリ、プロセッサ及び前記メモリに記憶されて前記プロセッサに稼働できるコンピュータプログラムを含み、前記プロセッサは前記コンピュータプログラムを実行する際に、請求項1~4のいずれかに記載のロボット動作計画方法、或いは、請求項5~6のいずれかに記載の衝突度検出に基づくロボット経路計画方法を実現する、ことを特徴とする電子機器。
  10. コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される際に、請求項1~4のいずれかに記載のロボット動作計画方法、或いは、請求項5~6のいずれかに記載の衝突度検出に基づくロボット経路計画方法を実現する、ことを特徴とするコンピュータ可読記憶媒体。
JP2022506756A 2020-05-22 2020-10-20 ロボット動作計画方法、経路計画方法、把持方法及びその装置 Active JP7410270B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010440673.4 2020-05-22
CN202010440673.4A CN111504328B (zh) 2020-05-22 2020-05-22 机器人运动规划方法、路径规划方法、抓取方法及其装置
PCT/CN2020/122219 WO2021232669A1 (zh) 2020-05-22 2020-10-20 机器人运动规划方法、路径规划方法、抓取方法及其装置

Publications (2)

Publication Number Publication Date
JP2022543115A JP2022543115A (ja) 2022-10-07
JP7410270B2 true JP7410270B2 (ja) 2024-01-09

Family

ID=71878547

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022506756A Active JP7410270B2 (ja) 2020-05-22 2020-10-20 ロボット動作計画方法、経路計画方法、把持方法及びその装置

Country Status (6)

Country Link
US (1) US20220134559A1 (ja)
EP (1) EP4155675A1 (ja)
JP (1) JP7410270B2 (ja)
KR (1) KR20220025887A (ja)
CN (2) CN114061580B (ja)
WO (1) WO2021232669A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114061580B (zh) * 2020-05-22 2023-12-29 梅卡曼德(北京)机器人科技有限公司 基于对称程度的机器人抓取方法、装置、电子设备及介质
CN112025701B (zh) * 2020-08-11 2022-02-18 浙江大华技术股份有限公司 抓取物体的方法、装置、计算设备和存储介质
CN112258576A (zh) * 2020-10-16 2021-01-22 青岛滨海学院 一种基于图像处理的重叠细导线抓取系统及方法
CN112464410B (zh) * 2020-12-02 2021-11-16 熵智科技(深圳)有限公司 一种工件抓取顺序的确定方法、装置、计算机设备及介质
US20240058961A1 (en) 2021-01-12 2024-02-22 Kawasaki Jukogyo Kabushiki Kaisha Path generation device, path generation method, and path generation program
CN112802093B (zh) * 2021-02-05 2023-09-12 梅卡曼德(北京)机器人科技有限公司 对象抓取方法及装置
CN113246143A (zh) * 2021-06-25 2021-08-13 视比特(长沙)机器人科技有限公司 一种机械臂动态避障轨迹规划方法及装置
CN113741454B (zh) * 2021-08-31 2023-06-23 浙江大学 一种基于搜索的多智能体路径规划方法及系统
CN113954073B (zh) * 2021-11-08 2024-03-22 北京华航唯实机器人科技股份有限公司 机器人活动部件的轨迹分析方法及装置、机器人设备
CN114129263B (zh) * 2021-11-29 2023-07-25 武汉联影智融医疗科技有限公司 手术机器人路径规划方法、系统、设备及存储介质
CN114310892B (zh) * 2021-12-31 2024-05-03 梅卡曼德(北京)机器人科技有限公司 基于点云数据碰撞检测的物体抓取方法、装置和设备
CN114872043B (zh) * 2022-05-09 2023-11-17 苏州艾利特机器人有限公司 一种机器人碰撞检测方法、存储介质及电子设备
JP2024034216A (ja) * 2022-08-31 2024-03-13 オムロン株式会社 ロボットの動作経路を生成する装置、方法およびプログラム
KR102650464B1 (ko) * 2022-10-31 2024-03-25 한국철도기술연구원 자율 주행 로봇을 이용한 이미지 학습 기반 지도 업데이트 방법 및 이를 활용한 주행 모니터링 시스템
CN115576332B (zh) * 2022-12-07 2023-03-24 广东省科学院智能制造研究所 一种任务级多机器人协同运动规划系统与方法
CN117444989B (zh) * 2023-12-25 2024-03-22 常州微亿智造科技有限公司 一种用于路径规划的碰撞检测方法及装置
CN117562661B (zh) * 2024-01-15 2024-03-22 深圳惟德精准医疗科技有限公司 检测机械臂碰撞的方法及相关产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101512453A (zh) 2006-09-14 2009-08-19 Abb研究有限公司 避免工业机器人与物体之间碰撞的方法和设备
CN104850699A (zh) 2015-05-19 2015-08-19 天津市天锻压力机有限公司 冲压线搬运机器人防碰撞控制方法
WO2019215998A1 (ja) 2018-05-10 2019-11-14 パナソニックIpマネジメント株式会社 ロボットの制御方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH103308A (ja) * 1996-06-18 1998-01-06 Fanuc Ltd 産業用ロボットの干渉回避方法
CN102773858B (zh) * 2012-07-17 2015-06-03 北京航空航天大学 一种码垛机器人的避障方法
DE102013019450A1 (de) * 2013-11-21 2015-05-21 Daimler Ag Verfahren zum Vermeiden einer Kollision eines Roboters mit einem Objekt
JP6598090B2 (ja) * 2015-01-26 2019-10-30 デューク・ユニバーシティ 記憶媒体、ロボット動作を計画する方法、ロボット動作を計画するハードウェア、及びロボット
CN105598965B (zh) * 2015-11-26 2018-03-16 哈尔滨工业大学 基于立体视觉的机器人欠驱动手自主抓取方法
CN105945942A (zh) * 2016-04-05 2016-09-21 广东工业大学 一种机器人离线编程系统及方法
CN106166749B (zh) * 2016-06-29 2018-09-18 北京控制工程研究所 一种空间移动多臂机器人的移动轨迹规划方法
CN106166750B (zh) * 2016-09-27 2019-06-04 北京邮电大学 一种改进型d*机械臂动态避障路径规划方法
CN107253180B (zh) * 2017-01-22 2023-06-16 梅卡曼德(北京)机器人科技有限公司 一种基于工业机器人的物体姿态调整装置及姿态调整方法
CN106695802A (zh) * 2017-03-19 2017-05-24 北京工业大学 基于多自由度机械臂的改进式rrt*的避障运动规划方法
JP6598814B2 (ja) * 2017-04-05 2019-10-30 キヤノン株式会社 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
EP3612355A1 (de) * 2017-04-21 2020-02-26 Roboception GmbH Verfahren zur erstellung einer datenbank mit greiferposen, verfahren zum steuern eines roboters, computerlesbares speichermedium und handhabungssystem
WO2018218438A1 (zh) * 2017-05-27 2018-12-06 深圳配天智能技术研究院有限公司 一种机器人及调整机器人姿态的方法
CN107803831B (zh) * 2017-09-27 2019-12-31 杭州新松机器人自动化有限公司 一种aoaae层次包围盒碰撞检测方法
CN108196453B (zh) * 2018-01-24 2020-11-20 中南大学 一种机械臂运动规划群体智能计算方法
CN110411446B (zh) * 2018-04-28 2023-09-08 深圳果力智能科技有限公司 一种机器人的路径规划方法
JP7141665B2 (ja) * 2018-08-23 2022-09-26 リアルタイム ロボティクス, インコーポレーテッド ロボットの動作計画に役立つ衝突検出
US11312014B2 (en) * 2018-09-10 2022-04-26 Kindred Systems Inc. System and method for robotic gripping utilizing dynamic collision modeling for vacuum suction and finger control
CN109816730B (zh) * 2018-12-20 2021-08-17 先临三维科技股份有限公司 工件抓取方法、装置、计算机设备和存储介质
US10456915B1 (en) * 2019-01-25 2019-10-29 Mujin, Inc. Robotic system with enhanced scanning mechanism
CN109986560B (zh) * 2019-03-19 2023-02-14 埃夫特智能装备股份有限公司 一种面向多目标种类的机械臂自适应抓取方法
CN110340890A (zh) * 2019-06-27 2019-10-18 北京控制工程研究所 一种空间机械臂全局无碰轨迹规划系统
CN111015655B (zh) * 2019-12-18 2022-02-22 深圳市优必选科技股份有限公司 机械臂抓取方法、装置、计算机可读存储介质及机器人
CN114061580B (zh) * 2020-05-22 2023-12-29 梅卡曼德(北京)机器人科技有限公司 基于对称程度的机器人抓取方法、装置、电子设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101512453A (zh) 2006-09-14 2009-08-19 Abb研究有限公司 避免工业机器人与物体之间碰撞的方法和设备
CN104850699A (zh) 2015-05-19 2015-08-19 天津市天锻压力机有限公司 冲压线搬运机器人防碰撞控制方法
WO2019215998A1 (ja) 2018-05-10 2019-11-14 パナソニックIpマネジメント株式会社 ロボットの制御方法

Also Published As

Publication number Publication date
CN111504328A (zh) 2020-08-07
KR20220025887A (ko) 2022-03-03
CN114061580B (zh) 2023-12-29
CN111504328B (zh) 2022-07-08
EP4155675A1 (en) 2023-03-29
JP2022543115A (ja) 2022-10-07
US20220134559A1 (en) 2022-05-05
CN114061580A (zh) 2022-02-18
WO2021232669A1 (zh) 2021-11-25

Similar Documents

Publication Publication Date Title
JP7410270B2 (ja) ロボット動作計画方法、経路計画方法、把持方法及びその装置
CN108495738B (zh) 用于提供动态机器人控制系统的系统和方法
US8306661B2 (en) Method and system for establishing no-entry zone for robot
US20180290307A1 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
US20170326728A1 (en) Generating a grasp pose for grasping of an object by a grasping end effector of a robot
US11584004B2 (en) Autonomous object learning by robots triggered by remote operators
WO2018092860A1 (ja) 干渉回避装置
WO2018043525A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
Kaldestad et al. Collision avoidance with potential fields based on parallel processing of 3D-point cloud data on the GPU
JP5250858B2 (ja) 複数ロボットの衝突検知方法及びロボット装置
JP7454132B2 (ja) ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
JP7097799B2 (ja) 画像情報処理装置、把持システム、および画像情報処理方法
JP5561037B2 (ja) ロボット及びその制御方法
US11656923B2 (en) Systems and methods for inter-process communication within a robot
US20240051135A1 (en) Interference determination device, robot control system, and method for determining interference
EP3946825A1 (en) Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system
US11407117B1 (en) Robot centered augmented reality system
JP7415013B2 (ja) ロボットの構成部材の干渉を検出するロボット装置
WO2023100667A1 (ja) 把持装置及び把持方法
Ogrinc et al. Control and collision avoidance for two Kuka LWR robots operated with the Kinect sensor
WO2023187006A1 (en) Controlling a robotic manipulator for packing an object
TW202241662A (zh) 取物設備控制方法及系統與自動取物系統
JP2023524607A (ja) ロボット多面グリッパアセンブリ及びその操作方法
Tai et al. A control of two wheels driven redundant mobile manipulator using a monocular camera system
JPH0947991A (ja) 産業ロボット用視覚情報処理方法とその装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231221

R150 Certificate of patent or registration of utility model

Ref document number: 7410270

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150