JP7276318B2 - 制御装置、制御方法、および、プログラム - Google Patents

制御装置、制御方法、および、プログラム Download PDF

Info

Publication number
JP7276318B2
JP7276318B2 JP2020509717A JP2020509717A JP7276318B2 JP 7276318 B2 JP7276318 B2 JP 7276318B2 JP 2020509717 A JP2020509717 A JP 2020509717A JP 2020509717 A JP2020509717 A JP 2020509717A JP 7276318 B2 JP7276318 B2 JP 7276318B2
Authority
JP
Japan
Prior art keywords
contact
force
gripping
unit
grip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020509717A
Other languages
English (en)
Other versions
JPWO2019187546A1 (ja
Inventor
哲也 成田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019187546A1 publication Critical patent/JPWO2019187546A1/ja
Priority to JP2023073719A priority Critical patent/JP2023086924A/ja
Application granted granted Critical
Publication of JP7276318B2 publication Critical patent/JP7276318B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • B25J13/082Grasping-force detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • B25J13/082Grasping-force detectors
    • B25J13/083Grasping-force detectors fitted with slippage detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • B25J13/084Tactile sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085Force or torque sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control

Description

本開示は、制御装置、制御方法、および、プログラムに関する。
従来、物体を把持するための構造(例えばロボットハンドやグリッパーなど)を有する機械が各種提案されている。
例えば、下記特許文献1には、ロボットハンドの所定の関節部に配置されている複数の圧力検出素子を用いて、物体との接触を検出する技術が記載されている。
特開2009-66714号公報
しかしながら、特許文献1に記載の技術では、圧力検出素子によるセンシング結果のみを用いて、ロボットハンドと物体との接触時の接触力を算出する。このため、特許文献1に記載の技術では、当該接触力の算出の精度に関して改善の余地がある。
そこで、本開示では、接触部と物体とが接触した際の把持力を適切に制御することが可能な、新規かつ改良された制御装置、制御方法、および、プログラムを提案する。
本開示によれば、接触部に配置されている触覚センサによるセンシング結果と、前記接触部に配置されている力覚センサによるセンシング結果とに基づく、前記接触部と物体とが接触した際の接触力に応じて、前記接触部に関連する把持力を制御する把持制御部、を備える、制御装置が提供される。
また、本開示によれば、接触部に配置されている触覚センサによるセンシング結果と、前記接触部に配置されている力覚センサによるセンシング結果とに基づく、前記接触部と物体とが接触した際の接触力に応じて、プロセッサが、前記接触部に関連する把持力を制御すること、を含む、制御方法が提供される。
また、本開示によれば、コンピュータを、接触部に配置されている触覚センサによるセンシング結果と、前記接触部に配置されている力覚センサによるセンシング結果とに基づく、前記接触部と物体とが接触した際の接触力に応じて、前記接触部に関連する把持力を制御する把持制御部、として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、接触部と物体とが接触した際の把持力を適切に制御することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の第1の実施形態に係るロボット10の物理構成の例を示した図である。 第1の実施形態に係るロボット10の機能構成の例を示したブロック図である。 第1の実施形態に係る接触力特定部110の詳細な構成の一例を示したブロック図である。 第1の実施形態に係る処理の流れの例を示したフローチャートである。 本開示の第2の実施形態に係るロボット10の機能構成の例を示したブロック図である。 本開示の第3の実施形態に係るロボット10の機能構成の例を示したブロック図である。 本開示の第4の実施形態に係るロボット10の機能構成の例を示したブロック図である。 本開示の第5の実施形態に係るロボット10の機能構成の例を示したブロック図である。 本開示の第6の実施形態に係るロボット10の機能構成の例を示したブロック図である。 本開示の第7の実施形態に係るロボット10の機能構成の例を示したブロック図である。 本開示の第8の実施形態に係るロボット10の機能構成の例を示したブロック図である。 本開示の第9の実施形態に係るロボット10の機能構成の例を示したブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成要素を、必要に応じて把持部104aおよび把持部104bのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、把持部104aおよび把持部104bを特に区別する必要が無い場合には、単に把持部104と称する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.背景
2.第1の実施形態
3.第2の実施形態
4.第3の実施形態
5.第4の実施形態
6.第5の実施形態
7.第6の実施形態
8.第7の実施形態
9.第8の実施形態
10.第9の実施形態
11.変形例
<<1.背景>>
本開示は、一例として「2.第1の実施形態」~「10.第9の実施形態」において詳細に説明するように、多様な形態で実施され得る。まず、本開示の特徴を明確に示すために、本開示の各実施形態に係るロボット10を創作するに至った背景について説明する。
従来、ハンド部(例えば、ロボットハンドやグリッパーなど)を用いて物体を把持する技術が各種提案されている。このような技術では、ハンド部が物体を把持する際の把持力が適切に設定される必要がある。例えば、物体を滑り落とさず、かつ、当該物体を握りつぶさない範囲内の力が把持力として設定される必要がある。
なお、工場の組み立てラインなどで扱われる物体は、例えば、形状、質量、および、摩擦係数などが既知である場合が多いので、通常、当該物体に応じた適切な把持力を設定することが容易な場合が多い。一方で、例えば家庭や病院などの任意の環境内に位置する多種多様な物体に関しては、通常、個々の物体の形状、質量、または、摩擦係数が未知である場合が多いので、適切な把持力を設定することが困難である。
この課題を解決するために、例えば、圧力分布センサをハンド部の先端(指先)に配置し、そして、把持対象の物体と当該指先との相対的なズレ(以下では「滑り」とも称する)が発生した際に変化するCoP(Center Of Pressure)を計測し、そして、当該計測結果に基づいて把持力を増大させる技術が提案されている。
しかしながら、圧力分布センサの特性上、接触の状態やセンサの精度、空間分解能、および、ダイナミックレンジなどに制約があるので、この技術では、接触力の算出の精度が低い。そして、接触力の算出の精度が低いので、この技術では、滑りに関しても正確に検出し難い。
そこで、上記事情を一着眼点にして、各実施形態に係るロボット10を創作するに至った。各実施形態に係るロボット10は、把持部104に配置されている触覚センサ106によるセンシング結果と、把持部104に配置されている力覚センサ108によるセンシング結果とに基づいて、把持部104と物体とが接触した際の接触力を算出する。このように各実施形態によれば、触覚センサ106によるセンシング結果と、力覚センサ108によるセンシング結果との両方を用いるので、把持部104と物体との接触時の接触力をより精度高く算出することができる。
各実施形態に係るロボット10は、本開示に係る制御装置の一例である。各実施形態において、ロボット10は、電気的および/または磁気的な作用を用いて行動(例えば把持など)可能な装置(機械)であり得る。例えば、ロボット10は、移動式または固定式のマニピュレーション装置であってもよい。または、ロボット10は、ヒューマノイドロボット、ペットロボット、各種の産業用機械、乗り物(例えば、自動運転車、船舶、または、飛行体(例えばドローンなど))、または、玩具などであってもよい。以下、各実施形態の内容について順次詳細に説明する。
<<2.第1の実施形態>>
<2-1.物理構成>
次に、本開示に係る第1の実施形態について説明する。まず、第1の実施形態に係るロボット10の物理構成について、図1を参照して説明する。
図1に示したように、ロボット10は、少なくとも一つの把持部104と、把持部104を駆動するアクチュエータ130とを有し得る。また、図1に示したように、把持部104の表面の全体または一部には触覚センサ106が配置され得る。さらに、例えばアクチュエータ130の配置領域内に力覚センサ108が配置され得る。
{2-1-1.把持部104}
把持部104は、本開示に係る接触部の一例である。把持部104は、外部の物体(図1に示した例では物体20)を把持可能な構造を有する。図1に示した例では、把持部104がロボット指である例を示しているが、第1の実施形態はかかる例に限定されない。物体を把持可能な構造であれば、把持部104の構造は特に限定されない。例えば、ロボット10は、一以上のロボットアーム(図示省略)を有してもよい。この場合、把持部104は、ハンド部(例えばロボットハンド、グリッパー、または、エンドエフェクターなど)として、当該ロボットアームの先端に配置されていてもよい。または、ロボット10は、複数の脚部を有してもよい。この場合、把持部104は、当該複数の脚部のうちの一つの先端部(例えば足部など)として配置されていてもよい。
{2-1-2.触覚センサ106}
触覚センサ106は、物体との接触時に、当該物体との接触位置(例えば接触中心位置など)、および、個々の接触点(以下では、接触箇所と称する場合もある)の総数を測定可能なように構成され得る。例えば、触覚センサ106は、圧力分布センサ、1軸力センサアレイ、3軸力センサアレイ、Visionセンサ、または、レーザーを用いたセンサなどであってよい。ここで、圧力分布センサは、複数の圧力検出素子がArray上に配置されているセンサであり得る。そして、圧力分布センサは、当該複数の圧力検出素子の各々にかかる圧力を検出することにより、物体との接触をセンシングし得る。また、Visionセンサは、物体との接触により発生するセンサ表面の材料の変形をカメラにて計測することにより物体との接触をセンシングし得る。また、レーザーを用いたセンサは、センサ表面と物体との接触の有無を、レーザーを用いることによりセンシングし得る。
この触覚センサ106は、各接触点間の接触力強度比をさらに計測可能であってもよい。ここで、接触力は、物体と接触した点で発生する力であり得る。または、触覚センサ106は、各接触点における法線力、および/または、各接触点におけるせん断力の絶対値をさらに計測可能であってもよい。
さらに、触覚センサ106は、センシング結果(例えば、接触点の総数、各接触点の位置情報、および、各接触点間の接触力強度比など)を接触力特定部110および滑り検出部112へ伝達し得る。
{2-1-3.力覚センサ108}
力覚センサ108は、物体と把持部104とが接触した際の、把持部104の表面に付加される接触力(換言すれば、当該物体からの反力)の合力を測定可能なように構成され得る。または、力覚センサ108は、アクチュエータ130が発生する力、トルク、または、モーメントを測定可能なように構成されていてもよい。
例えば、力覚センサ108は、3軸力センサ、または、6軸力センサであってもよい。または、アクチュエータ130内にトルクセンサが配置されていてもよく、かつ、力覚センサ108は、当該トルクセンサであってもよい。この場合、力覚センサ108は、アクチュエータ130が発生するトルクを(アクチュエータ130の発生力として)測定し得る。
さらに、力覚センサ108は、センシング結果(力、トルク、または、モーメント)を接触力特定部110および把持制御部100へ伝達し得る。
{2-1-4.アクチュエータ130}
アクチュエータ130は、後述する把持制御部100の制御に従って、目標指令値に対応する力(またはトルク)を発生し得る。発生された力が把持部104に伝達されることにより、把持部104は動作し得る。例えば、把持部104が目標の把持力(換言すれば、アクチュエータ130が発生すべき力、モーメント、または、トルク)を発生可能なように、アクチュエータ130は、把持制御部100の制御に従って駆動する。
このアクチュエータ130は、図1に示したように、把持部104とロボット10の本体部(図示省略)との間に配置され得る。例えば、把持部104に連結するロボットアームをロボット10が有する場合には、アクチュエータ130は、当該ロボットアーム内に配置されていてもよい。
<2-2.機能構成>
以上、第1の実施形態に係るロボット10の物理構成について説明した。次に、第1の実施形態に係るロボット10の機能構成について、図2を参照して説明する。図2は、第1の実施形態に係るロボット10の機能構成の一例を示したブロック図である。図2に示したように、ロボット10は、把持制御部100、把持部104、触覚センサ106、力覚センサ108、接触力特定部110、および、滑り検出部112を有する。以下では、上記の説明と重複する内容については説明を省略する。
{2-2-1.接触力特定部110}
接触力特定部110は、本開示に係る接触力算出部の一例である。接触力特定部110は、例えばCPU(Central Processing Unit)やGPU(Graphics Processing Unit)などの処理回路を含んで構成され得る。さらに、接触力特定部110は、ROM(Read Only Memory)やRAM(Random Access Memory)などのメモリを含んで構成されてもよい。
接触力特定部110は、触覚センサ106によるセンシング結果と、力覚センサ108によるセンシング結果とに基づいて、把持部104と物体とが接触した際の接触力を算出する。例えば、接触力特定部110は、把持部104と物体とが一以上の点において接触した際に、触覚センサ106によるセンシング結果から特定される、個々の接触点に関する情報と、力覚センサ108によるセンシング結果とに基づいて、当該個々の接触点における接触力をそれぞれ算出する。後述するように、当該個々の接触点に関する情報は、例えば、接触点の総数、当該個々の接触点の位置情報、および、当該個々の接触点間の接触強度比を含む。
ここで、図3を参照して、接触力特定部110のより詳細な構成について説明する。図3は、接触力特定部110のより詳細な構成の一例を示したブロック図である。図3に示したように、接触力特定部110は、接触箇所数算出部150、接触位置算出部152、接触強度算出部154、および、接触力算出部156を有し得る。
{2-2-2.接触箇所数算出部150}
接触箇所数算出部150は、把持部104と物体とが一以上の点において接触したことが検出された際に、触覚センサ106によるセンシング結果に基づいて接触点(接触箇所)の総数を算出する。この際、例えば、接触箇所数算出部150は、触覚センサ106の種類に対応する算出方法と、触覚センサ106によるセンシング結果とに基づいて接触点の総数を算出する。
一例として、触覚センサ106が圧力分布センサを含んで構成されている場合には、接触箇所数算出部150は、まず、触覚センサ106によりセンシングされた圧力の極大点の数を特定(算出)したり、または、圧力分布の勾配が「0」に近づく個々の点を特定したりする。そして、接触箇所数算出部150は、これらの特定結果に基づいて接触点の総数を算出する。
または、触覚センサ106がVisionセンサを含んで構成されている場合には、接触箇所数算出部150は、まず、把持部104と物体との接触に基づく触覚センサ106の表面の変形量の変化を、触覚センサ106によるセンシング結果に基づいて特定する。そして、接触箇所数算出部150は、この特定結果に基づいて接触点の総数を算出する。
{2-2-3.接触位置算出部152}
接触位置算出部152は、該当の全ての接触点の各々(以下では「各接触点」と称する場合がある)の位置関係を、触覚センサ106によるセンシング結果に基づいて特定する。例えば、接触位置算出部152は、各接触点の位置情報(例えば、各接触点の中心位置の位置情報など)を、触覚センサ106によるセンシング結果に基づいて特定する。一例として、接触位置算出部152は、当該各接触点に関して、触覚センサ106上の当該接触点の相対位置の情報を当該接触点の位置情報として、触覚センサ106によるセンシング結果に基づいて特定する。ここで、各接触点の相対位置の情報は、触覚センサ106の端点を原点とした座標の形で表現されてもよい。但し、かかる例に限定されず、各接触点の相対位置の情報は、アクチュエータ130が発生するトルクまたはモーメントを算出可能な任意の他の位置を基準とした相対位置の情報と定められてもよい。
{2-2-4.接触強度算出部154}
接触強度算出部154は、該当の各接触点間の接触力強度比(例えば、ある接触点の接触強度を基準とした他の接触点の各々の接触強度比)を、触覚センサ106によるセンシング結果に基づいて算出する。このような算出方法のメリットとして以下が挙げられる。例えば、全体的にある係数分のゲインがかかるような誤差が所定のセンシング結果に含まれる場合(例えば温度特定等)では、各接触点間の接触力強度比を用いることによって当該ゲイン分が相殺され得るので、誤差の影響を最小限に抑えることができる。
{2-2-5.接触力算出部156}
接触力算出部156は、接触箇所数算出部150により算出された接触点の総数と、接触位置算出部152により特定された各接触点の位置情報と、接触強度算出部154により算出された各接触点間の接触力強度比と、力覚センサ108によるセンシング結果とに基づいて、各接触点における接触力をそれぞれ算出する。例えば、接触力算出部156は、把持部104と物体との接触力の合力(つまり、各接触点における接触力の合力)が特定可能であるか否かの判定結果に基づいて、接触箇所数算出部150による算出結果、接触位置算出部152による算出結果、および、接触強度算出部154による算出結果を用いて各接触点における接触力をそれぞれ算出する。
(2-2-5-1.算出例1)
一例として、把持部104と物体との接触力の合力が、力覚センサ108によるセンシング結果に基づいて特定可能である場合には、接触力算出部156は、以下の算出方法を用いて各接触点における接触力をそれぞれ算出する。なお、このような場合の具体例としては、力覚センサ108が3軸力センサを含んで構成されており、かつ、把持部104における物体を把持する面の反対側に当該3軸力センサが配置されている場合などが挙げられる。
‐接触点数が1つの場合
例えば、まず、接触力算出部156は、接触箇所数算出部150により算出された接触点の総数が1つ、2つ、または、3以上のいずれであるかを判定する。そして、当該接触点の総数が1つである場合には、接触力算出部156は、力覚センサ108によりセンシングされた合力自体を、該当の接触点における接触力として算出する。
‐接触点数が2つの場合
また、当該接触点の総数が2つである場合には、接触力算出部156は、まず、接触位置算出部152により特定された各接触点の位置情報に基づいて、所定の基準位置(例えば触覚センサ106の端点など)からの各接触点までの距離l1、および、l2を算出する。ここで、各接触点における接触力をF1およびF2、力覚センサ108によりセンシングされた接触力の合力をFallとそれぞれ定める。この場合、接触力算出部156は、以下の数式(1)および(2)から、F1およびF2をそれぞれ求める。
Figure 0007276318000001
なお、Fall、F1、および、F2の関係は、以下の数式(3)のような関係になり得る。
Figure 0007276318000002
‐接触点数が3以上の場合
次に、当該接触点の総数が3以上である場合における各接触点における接触力の算出方法について説明する。今、接触点の総数をN、各接触点における接触力をFi(i=1~N)、接触強度算出部154により算出された各接触点間の接触力強度比をαi(i=1~N)、力覚センサ108によりセンシングされた接触力の合力をFallとそれぞれ定める。この場合、接触力算出部156は、以下の数式(4)を用いて、Fiをそれぞれ算出する。
Figure 0007276318000003
なお、FallおよびFiの関係は、以下の数式(5)のような関係になり得る。
Figure 0007276318000004
(2-2-5-2.算出例2)
次に、把持部104と物体との接触力の合力が特定不能であり、かつ、アクチュエータ130の発生力(以下では、「τ」と記載する場合がある)を力覚センサ108により測定可能である場合における、接触力算出部156による接触力の算出方法について説明する。なお、このような場合の具体例としては、力覚センサ108がトルクセンサを含んで構成されており、かつ、アクチュエータ130内に当該トルクセンサが配置されている場合などが挙げられる。
‐接触点数が1つの場合
この場合、接触力算出部156は、例えば以下の算出方法を用いて各接触点における接触力をそれぞれ算出する。まず、接触力算出部156は、接触箇所数算出部150により算出された接触点の総数が1つ、または、2以上のいずれであるかを判定する。そして、当該接触点の総数が1つである場合には、接触力算出部156は、まず、接触位置算出部152により特定された各接触点の位置情報に基づいて、所定の基準位置(例えば触覚センサ106の端点など)からの該当の接触点までの距離l1を算出する。そして、接触力算出部156は、力覚センサ108によりセンシングされたアクチュエータ130の発生力(つまりτ)と、l1と、以下の数式(6)とを用いることにより、該当の接触点における接触力(F1)を算出する。
Figure 0007276318000005
‐接触点数が2以上の場合
次に、当該接触点の総数が2以上である場合における各接触点における接触力の算出方法について説明する。今、接触点の総数をN、各接触点における接触力をFi(i=1~N)、接触強度算出部154により算出された各接触点間の接触力強度比をαi(i=1~N)、所定の基準位置(例えば触覚センサ106の端点など)からの各接触点までの距離をli(i=1~N)、力覚センサ108によりセンシングされたアクチュエータ130の発生力をτとそれぞれ定める。この場合、接触力算出部156は、以下の数式(7)を用いて、Fiをそれぞれ算出する。
Figure 0007276318000006
なお、τおよびFiの関係は、以下の数式(8)のような関係である。
Figure 0007276318000007
(2-2-5-3.算出結果の伝達)
さらに、接触力算出部156は、算出した各接触点における接触力を把持制御部100へ伝達し得る。
{2-2-6.滑り検出部112}
滑り検出部112は、上記の処理回路を含んで構成され得る。また、滑り検出部112は、上記のメモリをさらに含んで構成されてもよい。滑り検出部112は、触覚センサ106によるセンシング結果に基づいて、把持部104と物体とが接触している間の、把持部104に対する当該物体の滑り量を検出する。例えば、滑り検出部112は、接触力特定部110により算出された個々の接触点における接触力と、触覚センサ106によるセンシング結果とに基づいて、当該物体の滑り量を検出する。
ここで、各実施形態において、「滑り」は、把持部104の表面と物体との相対運動(相対的なずれ)、および、当該相対運動が発生する前兆の現象を意味し得る。当該前兆の現象は、例えば、把持部104における当該物体との接触面の一部が滑る、または、剥離する現象(局所滑りと称する場合もある)である。例えば、滑り検出部112は、CoP移動の検出結果、接触領域の面積の変化の検出結果、または、接触位置の変化の検出結果などに基づいて、当該物体の滑り量(例えば当該前兆の現象など)を検出してもよい。
また、滑り検出部112は、検出結果(例えば、滑り量の検出結果、滑りの有無の検出結果、および/または、滑り依存変化量など)を把持制御部100へ伝達し得る。
{2-2-7.把持制御部100}
把持制御部100は、上記の処理回路を含んで構成され得る。また、把持制御部100は、上記のメモリをさらに含んで構成されてもよい。また、図2に示したように、把持制御部100は、把持力算出部102を有する。
把持制御部100は、後述する把持力算出部102により算出された目標の把持力(つまり、把持部104が当該物体を把持する力)に基づいて、把持部104の動きを制御する。例えば、把持制御部100は、把持部104の現在の把持力から、把持力算出部102により算出された目標の把持力へ近づけるように、アクチュエータ130の駆動を制御する。
また、把持制御部100は、力覚センサ108から逐次取得されるセンシング結果に基づいて、把持部104に対して公知のフィードバック制御を行い得る。
{2-2-8.把持力算出部102}
把持力算出部102は、接触力特定部110により算出された個々の接触点における接触力と、滑り検出部112により検出された把持対象の物体の滑り量とに基づいて、把持部104の目標の把持力を算出する。
例えば、滑りの発生が滑り検出部112により検出された場合には、把持力算出部102は、滑り検出部112により検出された滑り量に応じた、把持部104の現在の把持力よりも大きい値を目標の把持力として算出する。また、発生中の滑りが止まったことが滑り検出部112により検出された場合には、把持力算出部102は、把持部104の把持力が徐々に低下するように(現在以降の)把持部104の目標の把持力を算出する。
<2-3.処理の流れ>
以上、第1の実施形態に係るロボット10の機能構成について説明した。次に、第1の実施形態に係る処理の流れについて、図4を参照して説明する。図4は、第1の実施形態に係る処理の流れの一例を示したフローチャートである。以下では、ロボット10が対象の物体を把持する場面における処理の流れの例について説明する。
図4に示したように、まず、ロボット10の接触力特定部110は、把持部104が対象の物体と接触したか否かを、触覚センサ106によるセンシング結果に基づいて検出する(S101)。把持部104が対象の物体と接触していない場合は(S101:No)、接触力特定部110は、例えば所定の時間の経過後にS101の処理を繰り返す。
一方、把持部104が対象の物体と接触したことが検出された際には(S101:Yes)、接触力特定部110は、把持部104と当該物体との接触点の総数、各接触点の位置情報、および、各接触点間の接触強度比を触覚センサ106によるセンシング結果に基づいてそれぞれ算出する(S103)。
続いて、接触力特定部110は、S103における算出結果と、力覚センサ108によるセンシング結果(例えば直近のS101時点におけるセンシング結果)とに基づいて、各接触点における接触力をそれぞれ算出する(S105)。
続いて、滑り検出部112は、S105で算出された各接触点における接触力と、触覚センサ106によるセンシング結果(例えば直近のS101時点におけるセンシング結果)とに基づいて、把持部104に対する当該物体の滑り量を検出する(S107)。
続いて、把持力算出部102は、S105で算出された各接触点における接触力と、S107で検出された当該物体の滑り量とに基づいて、把持部104の目標の把持力を算出する。例えば、把持力算出部102は、各接触点における接触力と、検出された当該物体の滑り量とに基づいて、把持部104の把持力が目標の把持力に達するように、アクチュエータ130が発生すべき力を算出する(S109)。
その後、把持制御部100は、S109で算出された目標の把持力(または、アクチュエータ130が発生すべき力)に基づいて、アクチュエータ130の駆動を制御する(S111)。
<2-4.効果>
{2-4-1.効果1}
以上説明したように、第1の実施形態に係るロボット10は、把持部104に配置されている触覚センサ106によるセンシング結果と、把持部104に配置されている力覚センサ108によるセンシング結果とに基づいて、把持部104と物体とが接触した際の接触力を算出する。このように第1の実施形態によれば、触覚センサ106によるセンシング結果と、力覚センサ108によるセンシング結果との両方を用いるので、把持部104と物体との接触時の接触力をより精度高く算出することができる。例えば、把持部104と物体とが複数の接触点において接触した際の各接触点における接触力をより精度高く算出することができる。また、触覚センサ106のセンサ方式や配置に応じて、接触力の算出アルゴリズムをロバストに変更することも可能である。
{2-4-2.効果2}
さらに、第1の実施形態によれば、把持部104と物体との接触時の接触力を精度高く算出することができるので、把持部104に対する当該物体の滑り量をより精度高く検出することができる。例えば、接触力の大きさに応じて変動するような滑りをより精度高く検出することができる。そして、滑りの検出の精度が向上することにより、把持部104は、より小さい力で物体を把持することができるようになる。例えば柔軟な物体や壊れやすい物体などの、把持対象の物体からの反力が小さい場合であっても、把持部104は、該当の物体を安全に把持することができる。
{2-4-3.効果3}
また、把持部104と物体との接触時の接触力を精度高く算出することができるので、把持部104と物体との接触タイミングも、より正確に検出することができる。例えば、第1の実施形態によれば、触覚センサ106によるセンシング結果だけでなく、力覚センサ108によるセンシング結果を同時に使用するので、既存の技術と比較して接触感度(例えば、把持部104の先端(例えば指先)の接触感度など)が向上し得る。これにより、接触タイミングをより正確に検出することができる。
その結果、以下の3点の効果が得られる。第1に、把持部104は、該当の物体をより適切に把持することが可能になる。第2に、例えば滑り検出部112による滑り検出処理の開始タイミングを柔軟に調整することが可能となる。その結果、把持部104が物体を把持する期間以外の期間におけるロボット10の処理負荷を軽減させることも可能となる。
第3に、接触タイミングをより正確に検出することができるので、接触タイミングにおいてロボット10が制御を切り替えるような場面において、より正確なタイミングに制御を切り替えることができる。例えば、制御方式やパラメータ(例えば速度や力の目標値など)を接触タイミングにおいて変更するような場面(例えば、接触タイミングにおいて把持部104の開閉動作を一時停止するなど)において、ロボット10は、より正確なタイミングにこれらを変更することができる。このため、既存の技術と比較して、様々な状況に幅広く、かつ、より適切に対応可能になる。例えば、ロボット10は、物体を倒したり、移動させたりすることなく、当該物体を安全に把持することができる。また、人間や他のロボットから直接手渡しされた物体を把持するタスクを実行する場面などにおいて、把持タイミングをより適切に設定することができるので、ロボット10は、より適切にタスクを実行することができる。
{2-4-4.効果4}
また、第1の実施形態によれば、多点接触時であっても接触力をより正確に算出することができる。その結果、以下の3点の効果が得られる。第1に、把持対象の物体の形状が複雑な形状であっても、当該物体を破壊することなく、安全に把持することができる。第2に、把持対象の物体の形状が複雑な形状であっても当該物体の滑り量を適切に検出することができる。このため、ロボット10は、当該物体を滑り落とすことなく、安全に把持することができる。第3に、該当の全ての接触点のうちの一以上で滑りが発生した場合であっても、当該滑りを精度高く検出することができる。従って、該当の物体をより安全に把持することができる。
{2-4-5.効果5}
また、第1の実施形態によれば、例えば圧力分布センサやVisionセンサなどの、多様な種類のセンサを触覚センサ106として用いることができ、センサ方式の選択の幅が広い。このため、ロボット10の形態や、ロボット10に搭載されるセンサの形態に応じた適切な処理方法を選択可能である。
{2-4-6.効果6}
また、第1の実施形態によれば、触覚センサ106によりセンシング可能なエリア内であれば当該エリア内の任意の位置で物体が接触した場合であっても、各接触点における接触力を算出することができる。このため、把持部104が物体を把持する際に位置調整が不要になり得る。その結果、以下の3点の効果が得られる。第1に、対象の物体をより迅速に把持できるようになる。第2に、位置調整のためのセンサ(例えばカメラなど)をロボット10に追加搭載する必要がない。第3に、把持部104を支持する構造体の撓みなどによる誤差の許容範囲を、より大きくすることができる。このため、該当の構造体の強度を低下させることも可能となるので、ロボット10の軽量化や低コスト化が可能となる。
<<3.第2の実施形態>>
以上、第1の実施形態について説明した。次に、本開示に係る第2の実施形態について説明する。後述するように、第2の実施形態によれば、把持部104と物体との接触力の上限値をユーザーが指定することができる。なお、第2の実施形態に係るロボット10の物理構成は、図1に示した第1の実施形態と同様であってよい。また、後述する第3の実施形態~第9の実施形態に関しても、ロボット10の物理構成は、第1の実施形態と同様であってよい。以下では、第1の実施形態と異なる内容についてのみ説明することとし、同一の内容については説明を省略する。
<3-1.機能構成>
次に、第2の実施形態に係るロボット10の機能構成について、図5を参照して説明する。図5は、第2の実施形態に係るロボット10の機能構成の例を示したブロック図である。図5に示したように、第2の実施形態に係るロボット10は、図2に示した第1の実施形態と比較して、接触力閾値記憶部200をさらに有する。
{3-1-1.接触力閾値記憶部200}
接触力閾値記憶部200は、ユーザーにより予め指定された、把持部104と物体との接触時の接触力の上限値(以下では、「接触力の上限指定値」と称する)を記憶する。この接触力の上限指定値は、把持対象の物体の種類に依存しない、同一の値であり得る。
{3-1-2.把持力算出部102}
第2の実施形態に係る把持力算出部102は、接触力閾値記憶部200に記憶されている、接触力の上限指定値に基づいて、(現在以降の)把持部104の目標の把持力を算出する。例えば、把持力算出部102は、把持部104と物体との各接触点における接触力が、接触力閾値記憶部200に記憶されている、接触力の上限指定値以下になるように、アクチュエータ130が発生すべき力の上限値を算出する。
<3-2.効果>
以上説明したように、第2の実施形態によれば、把持部104と物体との接触力の上限値をユーザーが指定することができる。このため、ロボット10は、接触力が過大にならないように制御することができるので、例えば柔軟な物体や壊れやすい物体であっても、安全に把持することができる。さらに、ロボット10に実装されているアプリケーションや、その場の状況に応じて、把持強度を変更することができる。
なお、把持部104の把持強度を指定可能なユーザーインターフェースとロボット10とが例えば所定のネットワーク(インターネットや公衆網など)を介して連携可能なように構成されることが望ましい。かかる構成によれば、ユーザーは、所望の把持強度をより容易に指定することができる。
<<4.第3の実施形態>>
以上、第2の実施形態について説明した。次に、本開示に係る第3の実施形態について説明する。後述するように、第3の実施形態によれば、把持部104と物体との接触力の上限値を物体の種類ごとに適切に指定することができる。以下では、第2の実施形態と異なる内容についてのみ説明することとし、同一の内容については説明を省略する。
<4-1.機能構成>
図6は、第3の実施形態に係るロボット10の機能構成の例を示したブロック図である。図6に示したように、第3の実施形態に係るロボット10は、図5に示した第2の実施形態と比較して、物体認識部202をさらに有する。
{4-1-1.物体認識部202}
物体認識部202は、物体認識用のセンサ(例えばイメージセンサ(カメラ)や赤外線センサなど)を含んで構成され得る。物体認識部202は、ロボット10の周辺(例えば把持部104の可動範囲内など)に位置する各物体をセンシングし、そして、当該センシング結果に基づいて各物体の種類を認識する。
{4-1-2.接触力閾値記憶部200}
第3の実施形態に係る接触力閾値記憶部200は、例えばユーザーにより予め指定された、物体の種類ごとの、把持部104と当該物体との接触力の上限値を記憶する。
{4-1-3.把持力算出部102}
第3の実施形態に係る把持力算出部102は、物体認識部202により認識された、把持対象の物体の種類と、接触力閾値記憶部200に記憶されている該当の物体の接触力の上限値とに基づいて、把持部104の目標の把持力(または、アクチュエータ130が発生すべき力の上限値)を算出する。
<4-2.効果>
以上説明したように、第3の実施形態によれば、把持部104と物体との接触力の上限値を物体の種類ごとに適切に指定することができる。このため、ロボット10は、把持対象の物体の種類に応じた適切な力で当該物体を把持することができるので、より安全に把持することができる。また、第3の実施形態によれば、ユーザーは、接触力の上限値を、その都度指定する必要がなく、操作回数を削減することができる。
<<5.第4の実施形態>>
以上、第3の実施形態について説明した。次に、本開示に係る第4の実施形態について説明する。後述するように、第4の実施形態によれば、過去の把持経験に応じて、把持部104と物体との接触力の上限値を適切に指定することができる。以下では、第3の実施形態と異なる内容についてのみ説明することとし、同一の内容については説明を省略する。
<5-1.機能構成>
図7は、第4の実施形態に係るロボット10の機能構成の例を示したブロック図である。図7に示したように、第4の実施形態に係るロボット10は、図6に示した第3の実施形態と比較して、接触力上限特定部204をさらに有する。
{5-1-1.接触力閾値記憶部200}
第4の実施形態に係る接触力閾値記憶部200は、過去の把持時に物体認識部202により認識された該当の物体の種類と、当該把持時における該当の物体の状態(例えば破壊されたか否かなど)と、当該把持時における把持部104の把持力とを関連付けて記憶し得る。
さらに、物体の種類ごとに、把持部104と当該物体との接触時に当該物体が破壊されない範囲内の接触力の上限値が、これらの情報に基づいて予め特定され得る。この場合、接触力閾値記憶部200は、物体の種類ごとの当該物体が破壊されない範囲内の接触力の上限値をさらに記憶していてもよい。
{5-1-2.接触力上限特定部204}
接触力上限特定部204は、物体認識部202により認識された、把持対象の物体の種類と、接触力閾値記憶部200に記憶されている情報とに基づいて、当該把持対象の物体が破壊されない範囲内の接触力の上限値を特定する。
{5-1-3.把持力算出部102}
第4の実施形態に係る把持力算出部102は、接触力上限特定部204により特定された接触力の上限値と、接触力特定部110により特定された各接触点における接触力とに基づいて、把持部104の目標の把持力(または、アクチュエータ130が発生すべき力の上限値)を算出する。
<5-2.効果>
{5-2-1.効果1}
以上説明したように、第4の実施形態によれば、過去の把持経験に応じて、把持部104と物体との接触力の上限値を適切に指定することができる。例えば、ロボット10は、把持対象の物体の過去の把持成功時の接触力の上限値を、把持部104と当該物体との接触力の上限値として設定することができる。このため、ロボット10は、各物体をより確実に把持することができる。また、ロボット10は、物体を把持している間に、当該物体の把持可能性を判定することができる。例えば、当該物体の接触力の上限値を付加した場合であっても滑りが止まらないことが検出された場合には、ロボット10は、当該物体の摩擦係数が小さすぎるので当該物体の把持は不可能、または、困難であると判断することができる。
{5-2-2.効果2}
また、第4の実施形態によれば、接触力の上限値を定めるために人的作業が不要になる。例えば、接触力の上限値を定めるための調査やデータの収集などをユーザーが行う必要がないので、システムの導入が容易になる。
<<6.第5の実施形態>>
以上、第4の実施形態について説明した。次に、本開示に係る第5の実施形態について説明する。後述するように、第5の実施形態によれば、把持部104と物体との接触力の上限値、または、接触力の目標値をユーザーが容易に指定することができる。以下では、第1の実施形態と異なる内容についてのみ説明することとし、同一の内容については説明を省略する。
<6-1.機能構成>
図8は、第5の実施形態に係るロボット10の機能構成の例を示したブロック図である。図8に示したように、第5の実施形態に係るロボット10は、図2に示した第1の実施形態と比較して、入力部206をさらに有する。
{6-1-1.入力部206}
入力部206は、入力デバイス(例えばマウス、キーボード、または、タッチパネルなど)を含んで構成されてもよいし、または、音声入力装置(例えばマイクロフォンなど)を含んで構成されてもよい。入力部206は、ロボット10に対するユーザーの各種の入力を受け付ける。
(6-1-1-1.入力例1)
例えば、把持部104が物体を把持する前ごとに、入力部206は、ユーザーによる、接触力の上限値の入力を受け付けてもよい。一例として、ユーザーは、接触力の基準値に対する乗数を入力部206に対して入力してもよいし、または、予め準備されている、接触力の複数のレベルのうちのいずれかを入力部206に対して入力してもよい。これらの場合、入力部206に対する入力情報が把持制御部100へ伝達され、そして、把持制御部100は、当該入力情報に基づいて、実際の接触力の上限値を決定してもよい。
(6-1-1-2.入力例2)
または、入力部206は、ユーザーによる、接触力の目標値の入力を受け付けてもよい。この場合、把持力算出部102は、把持部104の現在の接触力が、入力された接触力の目標値と同一になるように、アクチュエータ130が発生すべき力(目標値)を算出し得る。
<6-2.効果>
{6-2-1.効果1}
以上説明したように、第5の実施形態によれば、把持部104と物体との接触力の上限値をユーザーが容易に指定することができる。例えば、ユーザーは、接触力の上限値をその都度(例えばリアルタイムに)指定することができる。その結果、ロボット10は、その場の状況変化やアプリケーションの変更に即座、かつ、ロバストに対応することができる。また、ユーザーは、接触力の上限値を直感的に入力することも可能である。
{6-2-2.効果2}
また、第5の実施形態によれば、把持部104と物体との接触力の目標値をユーザーが容易に指定することができる。例えば、ユーザーは、当該接触力の目標値をその都度(例えばリアルタイムに)指定することができる。また、物体に対して一定の接触力を付加するようなアプリケーションの利用時に関しても、ユーザーは、所望の接触力を指定することができる。
<<7.第6の実施形態>>
以上、第5の実施形態について説明した。次に、本開示に係る第6の実施形態について説明する。後述するように、第6の実施形態によれば、把持時の物体の状態に応じて、接触力の上限値を適切に調整することができる。以下では、第1の実施形態と異なる内容についてのみ説明することとし、同一の内容については説明を省略する。
<7-1.機能構成>
図9は、第6の実施形態に係るロボット10の機能構成の例を示したブロック図である。図9に示したように、第6の実施形態に係るロボット10は、図2に示した第1の実施形態と比較して、接触力上限特定部204、および、把持状態認識部208をさらに有する。
{7-1-1.把持状態認識部208}
把持状態認識部208は、把持状態の認識用のセンサ(例えばイメージセンサ(カメラ)や赤外線センサなど)を含んで構成され得る。把持状態認識部208は、把持部104が把持している物体をセンシングし、そして、当該センシング結果に基づいて当該物体の状態(例えば破壊されたか否かや、変形されたか否かなど)を例えばリアルタイムに認識し得る。
{7-1-2.接触力上限特定部204}
第6の実施形態に係る接触力上限特定部204は、把持状態認識部208による、対象の物体の状態の認識結果と、接触力特定部110により算出された、把持部104と当該物体との現在の接触力とに基づいて、把持部104と当該物体との接触力の上限値を例えばリアルタイムに算出する。
<7-2.効果>
以上説明したように、第6の実施形態によれば、把持中の物体の状態に応じて、接触力の上限値を適切に調整することができる。例えば、事前に予測不可能だった物体の変形や破壊が発生した場合であっても、ロボット10は、接触力の上限値をリアルタイムに調整することにより、これらの事象に対してリアルタイムに対応することができる。
なお、第6の実施形態に係るロボット10は、把持部104が把持中の物体(または、ロボット10自体)と外部環境(例えば人間や障害物など)とが接触しそうか否かを事前に認識してもよい。この場合、当該物体が当該接触によって滑り落ちる事態を回避するために、ロボット10は、滑り防止動作として、当該認識結果に基づいて接触力を調整してもよい。
<<8.第7の実施形態>>
以上、第6の実施形態について説明した。次に、本開示に係る第7の実施形態について説明する。後述するように、第7の実施形態によれば、把持部104と物体との接触の検出結果に応じて、滑り検出処理を行うか否かを適切に切り替えることができる。以下では、第1の実施形態と異なる内容についてのみ説明することとし、同一の内容については説明を省略する。
<8-1.機能構成>
図10は、第7の実施形態に係るロボット10の機能構成の例を示したブロック図である。図10に示したように、第7の実施形態に係るロボット10は、図2に示した第1の実施形態と比較して、接触検出部210をさらに有する。
{8-1-1.接触検出部210}
接触検出部210は、接触力特定部110による算出結果に基づいて、把持部104と物体との接触の有無を検出する。また、接触検出部210は、把持部104と物体との接触の開始を検出した際には、滑り検出部112に対して接触トリガを出力し得る。
{8-1-2.滑り検出部112}
第7の実施形態に係る滑り検出部112は、接触検出部210による検出結果に基づいて、滑り量の検出処理を行うか否かを決定する。例えば、把持部104と物体との接触が接触検出部210により検出されている間のみ、滑り検出部112は、滑り検出処理を行う。つまり、把持部104と物体との接触が接触検出部210により検出されていない間は、滑り検出部112は、滑り検出処理を行わない。例えば、滑り検出部112から接触トリガを受信した際にのみ、滑り検出部112は、滑り検出処理を開始してもよい。
<8-2.効果>
以上説明したように、第7の実施形態によれば、把持部104と物体との接触の検出結果に応じて、滑り検出処理を行うか否かを適切に切り替えることができる。
一般的に、滑り検出処理では、触覚センサ106全域内の各センサの値を処理する必要があるので、処理負荷が大きい。第7の実施形態によれば、把持部104と物体との接触が検出されている間のみ滑り検出処理を行うことも可能となるので、把持部104と物体との接触が検出されていない間の処理負荷を軽減することができる。その結果、メモリの使用量の削減や消費電力の削減が可能になる。
<<9.第8の実施形態>>
以上、第7の実施形態について説明した。次に、本開示に係る第8の実施形態について説明する。後述するように、第8の実施形態によれば、把持部104と物体との接触の前後で、実行する制御の種類、または、制御パラメータの値を適切に切り替えることができる。以下では、第1の実施形態と異なる内容についてのみ説明することとし、同一の内容については説明を省略する。
<9-1.機能構成>
図11は、第8の実施形態に係るロボット10の機能構成の例を示したブロック図である。図11に示したように、第8の実施形態に係るロボット10は、図2に示した第1の実施形態と比較して、接触検出部210および本体制御部212をさらに有する。
{9-1-1.接触検出部210}
第8の実施形態に係る接触検出部210は、把持部104と物体との接触の開始を検出した際には、把持制御部100および本体制御部212に対して接触トリガを出力し得る。
{9-1-2.本体制御部212}
本体制御部212は、接触検出部210による検出結果に基づいて、ロボット10の本体部(例えば、把持部104以外の部位に含まれる一以上の関節など)の動作を制御する。例えば、本体制御部212は、ロボット10の本体部に対して行う制御の種類、および、ロボット10の本体部に関する制御パラメータの両方またはいずれか一方を、把持部104と物体との接触が接触検出部210により検出されたか否かに応じて切り替える。ここで、当該制御の種類は、例えば、位置制御、または、力制御などを含み得る。また、当該制御パラメータは、例えば、機械インピーダンス、制御ゲイン、位置、力、速度、トルク、または、その他の指令値などを含み得る。また、当該制御パラメータは、これらのパラメータの上限値または下限値をさらに含んでもよい。
例えば、把持部104と物体との接触が接触検出部210により検出されるまでの間は、本体制御部212は、ロボット10の本体部に対して位置制御のみを行う。そして、接触検出部210による、把持部104と物体との接触の検出以後は、本体制御部212は、ロボット10の本体部に対して位置制御の代わりに力制御を行うように、制御の種類を切り替えてもよい。
または、把持部104と物体との接触が接触検出部210により検出されるまでの間は、本体制御部212は、ロボット10の本体部に関する制御パラメータの値を変更しない。そして、接触検出部210による、把持部104と物体との接触の検出以後は、本体制御部212は、ロボット10の本体部に関する制御パラメータの値を例えば当該検出結果に応じて切り替えてもよい。例えば、把持部104と物体との接触が検出された際に、本体制御部212は、急激な変化が抑制されながらロボット10の本体部が動くように、ロボット10の本体部に対する制御ゲインを下げてもよい。または、当該接触が検出された際に、本体制御部212は、ロボット10の本体部の動きがより柔軟になるように、ロボット10の本体部の機械インピーダンス設定値を変更してもよい。
または、本体制御部212は、ロボット10の本体部に対する制御の種類を力制御のまま変更せず、かつ、把持部104と物体との接触タイミングにおいてロボット10の本体部の機械インピーダンス設定(制御パラメータの一例)を変更してもよい。
{9-1-3.把持制御部100}
第8の実施形態に係る把持制御部100は、接触検出部210による検出結果に基づいて、把持部104の動作を制御する。例えば、把持制御部100は、把持部104に対して行う制御の種類、および、把持部104に関する制御パラメータの両方またはいずれか一方を、把持部104と物体との接触が接触検出部210により検出されたか否かに応じて切り替える。なお、当該制御の種類、および、当該制御パラメータの具体的な内容は、(本体制御部212に関連して)前述した内容とそれぞれ同様であり得る。
例えば、把持部104と物体との接触が接触検出部210により検出されるまでの間は、把持制御部100は、把持部104に対して位置制御のみを行う。そして、接触検出部210による、把持部104と物体との接触の検出以後は、把持制御部100は、把持部104に対して位置制御の代わりに力制御を行うように、制御の種類を切り替えてもよい。
<9-2.効果>
以上説明したように、第8の実施形態によれば、把持部104と物体との接触の前後で、実行する制御の種類、または、制御パラメータの値を適切に切り替えることができる。
<<10.第9の実施形態>>
以上、第8の実施形態について説明した。次に、本開示に係る第9の実施形態について説明する。後述するように、第9の実施形態によれば、触覚センサ106によるセンシング結果だけでなく、力覚センサ108によるセンシング結果も同時に用いて、把持部104に対する物体の滑り量を検出することができる。以下では、第1の実施形態と異なる内容についてのみ説明することとし、同一の内容については説明を省略する。
<10-1.機能構成>
図12は、第9の実施形態に係るロボット10の機能構成の例を示したブロック図である。図12に示したように、第9の実施形態では、図2に示した第1の実施形態と比較して、力覚センサ108と滑り検出部112とが接続されている点のみ異なる。
第9の実施形態に係る滑り検出部112は、接触力特定部110により算出された個々の接触点における接触力と、触覚センサ106によるセンシング結果と、力覚センサ108によるセンシング結果とに基づいて、把持部104と物体とが接触している間の当該物体の滑り量を検出する。
<<11.変形例>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
<11-1.変形例1>
例えば、第8の実施形態に係る本体制御部212は、第8の実施形態に係るロボット10のみが有する例に限定されない。他の任意の実施形態に係るロボット10も、本体制御部212を同様に有してもよい。
<11-2.変形例2>
別の変形例として、前述した各実施形態では、本開示に係る接触部が把持部104である例について説明したが、本開示はかかる例に限定されない。例えば、当該接触部は、必ずしも物体を把持可能な構成を有する例に限定されず、物体と接触可能な構成を有していればよい。一例として、ロボット10は、当該接触部を物体に対して押し付け可能であったり、または、引っ張り可能であったりし得る。例えば、当該接触部は、ロボット10が有する任意の部位(例えば胴体部、アーム部、または、脚部など)の表面であってもよい。
<11-3.変形例3>
別の変形例として、前述した各実施形態では、本開示に係る制御装置がロボット10である例について説明したが、本開示はかかる例に限定されず、当該制御装置は、ロボット10とは異なる装置であってもよい。例えば、当該制御装置は、サーバ、汎用PC(Personal Computer)、タブレット型端末、ゲーム機、スマートフォンなどの携帯電話、例えばHMD(Head Mounted Display)やスマートウォッチなどのウェアラブルデバイス、車載装置(カーナビゲーション装置など)、または、別のロボット(例えばヒューマノイドロボットやドローンなど)であってもよい。
この場合、当該制御装置が、上記の所定のネットワークを介してロボット10の行動を制御し得る。例えば、当該制御装置は、まず、触覚センサ106によるセンシング結果と、力覚センサ108によるセンシング結果とをロボット10から受信し、そして、これらのセンシング結果に基づいて、把持部104と物体とが接触した際の各接触点における接触力を算出し得る。
<11-4.変形例4>
また、前述した処理の流れにおける各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されたりしてもよい。
また、前述した各実施形態によれば、CPU、ROM、およびRAMなどのハードウェアを、前述した各実施形態に係るロボット10の各構成要素(例えば接触力特定部110、滑り検出部112、および、把持制御部100など)と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、当該コンピュータプログラムが記録された記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
接触部に配置されている触覚センサによるセンシング結果と、前記接触部に配置されている力覚センサによるセンシング結果とに基づく、前記接触部と物体とが接触した際の接触力に応じて、前記接触部に関連する把持力を制御する把持制御部、
を備える、制御装置。
(2)
前記接触部は、把持部であり、
前記把持制御部は、前記触覚センサによるセンシング結果から特定される、前記把持部と前記物体とが一以上の点において接触した際の個々の接触点に関する情報と、前記力覚センサによるセンシング結果とに基づいて算出された前記個々の接触点における接触力に応じて、前記把持部の把持力を制御する、前記(1)に記載の制御装置。
(3)
前記個々の接触点に関する情報は、前記個々の接触点の総数と、前記個々の接触点の位置関係を示す情報とを含む、前記(2)に記載の制御装置。
(4)
前記個々の接触点に関する情報は、前記個々の接触点間の接触強度比をさらに含む、前記(3)に記載の制御装置。
(5)
前記個々の接触点の位置関係を示す情報は、前記把持部内の前記個々の接触点の位置情報を含む、前記(4)に記載の制御装置。
(6)
前記把持制御部は、前記個々の接触点に関する情報と、前記力覚センサによるセンシング結果から特定される、前記把持部と前記物体との接触力の合力とに基づいて算出された前記個々の接触点における接触力に応じて、前記把持部の把持力を制御する、前記(4)または(5)に記載の制御装置。
(7)
前記把持部にはアクチュエータが連結されている、もしくは、前記把持部はアクチュエータを含み、
前記把持制御部は、前記個々の接触点に関する情報と、前記力覚センサによるセンシング結果から特定される前記アクチュエータの発生力とに基づいて算出された、前記把持部と前記物体とが一以上の点において接触した際の個々の接触点における接触力に応じて、前記把持部の把持力を制御する、前記(4)または(5)に記載の制御装置。
(8)
前記個々の接触点に関する情報と、前記力覚センサによるセンシング結果とに基づいて、前記個々の接触点における接触力を算出する接触力算出部をさらに備える、前記(4)~(7)のいずれか一項に記載の制御装置。
(9)
前記触覚センサによるセンシング結果に基づいて、前記把持部に対する前記物体の滑り量を検出する滑り検出部をさらに備える、前記(8)に記載の制御装置。
(10)
前記滑り検出部は、さらに、前記接触力算出部により算出された前記個々の接触点における接触力に基づいて、前記把持部に対する前記物体の滑り量を検出する、前記(9)に記載の制御装置。
(11)
前記滑り検出部は、さらに、前記力覚センサによるセンシング結果に基づいて、前記把持部に対する前記物体の滑り量を検出する、前記(10)に記載の制御装置。
(12)
さらに、前記滑り検出部は、前記把持部と前記物体との接触が検出されたか否かに基づいて、前記把持部に対する前記物体の滑り量を検出するか否かを決定する、前記(10)または(11)に記載の制御装置。
(13)
前記把持制御部は、前記接触力算出部により算出された前記個々の接触点における接触力と、前記滑り検出部により検出された滑り量とに応じて、前記把持部の把持力を制御する、前記(9)~(12)のいずれか一項に記載の制御装置。
(14)
前記把持制御部は、さらに、ユーザーにより指定された、前記把持部と前記物体との接触時の接触力の上限値に応じて、前記把持部の把持力を制御する、前記(13)に記載の制御装置。
(15)
前記把持制御部は、さらに、ユーザーにより指定された、前記物体に対する前記把持部の接触力の目標値に応じて、前記把持部の把持力を制御する、前記(13)または(14)に記載の制御装置。
(16)
前記把持制御部は、さらに、前記把持部が前記物体を過去に把持した際の前記物体の状態と前記把持部の把持力との関係性を示す情報に応じて、前記把持部の把持力を制御する、前記(13)~(15)のいずれか一項に記載の制御装置。
(17)
前記把持制御部は、さらに、前記把持部が前記物体に接触している間の前記物体の状態の認識結果に応じて、前記把持部の把持力を制御する、前記(13)~(16)のいずれか一項に記載の制御装置。
(18)
前記把持制御部は、さらに、前記把持部に対して行う制御の種類、または、前記把持部に関する制御パラメータを、前記把持部と前記物体との接触が検出されたか否かに応じて切り替える、前記(13)~(17)のいずれか一項に記載の制御装置。
(19)
接触部に配置されている触覚センサによるセンシング結果と、前記接触部に配置されている力覚センサによるセンシング結果とに基づく、前記接触部と物体とが接触した際の接触力に応じて、プロセッサが、前記接触部に関連する把持力を制御すること、
を含む、制御方法。
(20)
コンピュータを、
接触部に配置されている触覚センサによるセンシング結果と、前記接触部に配置されている力覚センサによるセンシング結果とに基づく、前記接触部と物体とが接触した際の接触力に応じて、前記接触部に関連する把持力を制御する把持制御部、
として機能させるためのプログラム。
10 ロボット
100 把持制御部
102 把持力算出部
104 把持部
106 触覚センサ
108 力覚センサ
110 接触力特定部
112 滑り検出部
130 アクチュエータ
150 接触箇所数算出部
152 接触位置算出部
154 接触強度算出部
156 接触力算出部
200 接触力閾値記憶部
202 物体認識部
204 接触力上限特定部
206 入力部
208 把持状態認識部
210 接触検出部
212 本体制御部

Claims (17)

  1. 把持部に配置されている触覚センサによるセンシング結果と、前記把持部に配置されている力覚センサによるセンシング結果とに基づく、前記把持部と物体とが接触した際の接触力に応じて、前記把持部に関連する把持力を制御する把持制御部、
    を備え
    前記把持制御部は、前記触覚センサによるセンシング結果から特定される、前記把持部と前記物体とが一以上の点において接触した際の個々の接触点に関する情報と、前記力覚センサによるセンシング結果とに基づいて算出された前記個々の接触点における接触力に応じて、前記把持部の把持力を制御し、
    前記個々の接触点に関する情報は、前記個々の接触点の総数と、前記個々の接触点の位置関係を示す情報と、前記個々の接触点間の接触強度比とを含む、
    制御装置。
  2. 前記個々の接触点の位置関係を示す情報は、前記把持部内の前記個々の接触点の位置情報を含む、請求項に記載の制御装置。
  3. 前記把持制御部は、前記個々の接触点に関する情報と、前記力覚センサによるセンシング結果から特定される、前記把持部と前記物体との接触力の合力とに基づいて算出された前記個々の接触点における接触力に応じて、前記把持部の把持力を制御する、請求項に記載の制御装置。
  4. 前記把持部にはアクチュエータが連結されている、もしくは、前記把持部はアクチュエータを含み、
    前記把持制御部は、前記個々の接触点に関する情報と、前記力覚センサによるセンシング結果から特定される前記アクチュエータの発生力とに基づいて算出された、前記把持部と前記物体とが一以上の点において接触した際の個々の接触点における接触力に応じて、前記把持部の把持力を制御する、請求項に記載の制御装置。
  5. 前記個々の接触点に関する情報と、前記力覚センサによるセンシング結果とに基づいて、前記個々の接触点における接触力を算出する接触力算出部をさらに備える、請求項に記載の制御装置。
  6. 前記触覚センサによるセンシング結果に基づいて、前記把持部に対する前記物体の滑り量を検出する滑り検出部をさらに備える、請求項に記載の制御装置。
  7. 前記滑り検出部は、さらに、前記接触力算出部により算出された前記個々の接触点における接触力に基づいて、前記把持部に対する前記物体の滑り量を検出する、請求項に記載の制御装置。
  8. 前記滑り検出部は、さらに、前記力覚センサによるセンシング結果に基づいて、前記把持部に対する前記物体の滑り量を検出する、請求項に記載の制御装置。
  9. さらに、前記滑り検出部は、前記把持部と前記物体との接触が検出されたか否かに基づいて、前記把持部に対する前記物体の滑り量を検出するか否かを決定する、請求項に記載の制御装置。
  10. 前記把持制御部は、前記接触力算出部により算出された前記個々の接触点における接触力と、前記滑り検出部により検出された滑り量とに応じて、前記把持部の把持力を制御する、請求項に記載の制御装置。
  11. 前記把持制御部は、さらに、ユーザーにより指定された、前記把持部と前記物体との接触時の接触力の上限値に応じて、前記把持部の把持力を制御する、請求項10に記載の制御装置。
  12. 前記把持制御部は、さらに、ユーザーにより指定された、前記物体に対する前記把持部の接触力の目標値に応じて、前記把持部の把持力を制御する、請求項10に記載の制御装置。
  13. 前記把持制御部は、さらに、前記把持部が前記物体を過去に把持した際の前記物体の状態と前記把持部の把持力との関係性を示す情報に応じて、前記把持部の把持力を制御する、請求項10に記載の制御装置。
  14. 前記把持制御部は、さらに、前記把持部が前記物体に接触している間の前記物体の状態の認識結果に応じて、前記把持部の把持力を制御する、請求項10に記載の制御装置。
  15. 前記把持制御部は、さらに、前記把持部に対して行う制御の種類、または、前記把持部に関する制御パラメータを、前記把持部と前記物体との接触が検出されたか否かに応じて切り替える、請求項10に記載の制御装置。
  16. 把持部に配置されている触覚センサによるセンシング結果と、前記把持部に配置されている力覚センサによるセンシング結果とに基づく、前記把持部と物体とが接触した際の接触力に応じて、プロセッサが、前記把持部に関連する把持力を制御すること
    前記プロセッサが、前記触覚センサによるセンシング結果から特定される、前記把持部と前記物体とが一以上の点において接触した際の個々の接触点に関する情報と、前記力覚センサによるセンシング結果とに基づいて算出された前記個々の接触点における接触力に応じて、前記把持部の把持力を制御することと、
    を含
    前記個々の接触点に関する情報は、前記個々の接触点の総数と、前記個々の接触点の位置関係を示す情報と、前記個々の接触点間の接触強度比とを含む、
    制御方法。
  17. コンピュータを、
    把持部に配置されている触覚センサによるセンシング結果と、前記把持部に配置されている力覚センサによるセンシング結果とに基づく、前記把持部と物体とが接触した際の接触力に応じて、前記把持部に関連する把持力を制御し、
    前記触覚センサによるセンシング結果から特定される、前記把持部と前記物体とが一以上の点において接触した際の個々の接触点に関する情報と、前記力覚センサによるセンシング結果とに基づいて算出された前記個々の接触点における接触力に応じて、前記把持部の把持力を制御し、
    前記個々の接触点に関する情報は、前記個々の接触点の総数と、前記個々の接触点の位置関係を示す情報と、前記個々の接触点間の接触強度比とを含む、
    把持制御部、
    として機能させるためのプログラム。
JP2020509717A 2018-03-27 2019-01-22 制御装置、制御方法、および、プログラム Active JP7276318B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023073719A JP2023086924A (ja) 2018-03-27 2023-04-27 制御方法、制御システム及びプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018059544 2018-03-27
JP2018059544 2018-03-27
PCT/JP2019/001901 WO2019187546A1 (ja) 2018-03-27 2019-01-22 制御装置、制御方法、および、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023073719A Division JP2023086924A (ja) 2018-03-27 2023-04-27 制御方法、制御システム及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019187546A1 JPWO2019187546A1 (ja) 2021-04-15
JP7276318B2 true JP7276318B2 (ja) 2023-05-18

Family

ID=68061124

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020509717A Active JP7276318B2 (ja) 2018-03-27 2019-01-22 制御装置、制御方法、および、プログラム
JP2023073719A Pending JP2023086924A (ja) 2018-03-27 2023-04-27 制御方法、制御システム及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023073719A Pending JP2023086924A (ja) 2018-03-27 2023-04-27 制御方法、制御システム及びプログラム

Country Status (6)

Country Link
US (1) US20210031377A1 (ja)
EP (1) EP3778153A4 (ja)
JP (2) JP7276318B2 (ja)
KR (1) KR102586779B1 (ja)
CN (1) CN111867791A (ja)
WO (1) WO2019187546A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7480600B2 (ja) * 2020-06-11 2024-05-10 セイコーエプソン株式会社 目標力上限値設定方法およびロボットシステム
IT202100008006A1 (it) * 2021-03-31 2022-10-01 Fondazione St Italiano Tecnologia Metodo di controllo di una pinza di presa
US20240042604A1 (en) * 2022-08-05 2024-02-08 Ghost Robotics Corporation Method to Improve Walking Performance of Quadrupeds Over Soft Surfaces

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006047145A (ja) 2004-08-05 2006-02-16 Hyogo Prefecture 計測システムおよび計測方法並びに把持装置制御システム
JP2007152528A (ja) 2005-12-08 2007-06-21 Ario Techno Kk 関節装置、関節装置を用いたフィンガーユニット、及び、ユニバーサルロボットハンド
JP2009034743A (ja) 2007-07-31 2009-02-19 Sony Corp 検出装置および方法、並びにプログラム
JP2009066714A (ja) 2007-09-13 2009-04-02 Sony Corp 制御装置および方法、プログラム並びに記録媒体
US20160136822A1 (en) 2014-11-18 2016-05-19 Hong Fu Jin Precision Industry (Shenzhen) Co., Ltd. Robotic finger structure

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06126684A (ja) * 1992-10-21 1994-05-10 Mitsubishi Electric Corp 物体把持装置及びその制御方法
US10850392B2 (en) * 2004-04-12 2020-12-01 Strider Labs, Inc. System and method for computing grasps for a robotic hand with a palm
JP4729723B2 (ja) * 2004-09-14 2011-07-20 国立大学法人 奈良先端科学技術大学院大学 触覚センサ、摩擦検査装置、把持装置及び滑り余裕計測方法
US8504205B2 (en) * 2011-03-17 2013-08-06 Harris Corporation Robotic grasping device with multi-force sensing at base of fingers
KR101294250B1 (ko) * 2012-02-17 2013-08-07 재단법인대구경북과학기술원 그리퍼 파지력 연산방법 및 그 장치
JP2014108466A (ja) * 2012-11-30 2014-06-12 Fanuc Ltd 力センサ付き電動ハンド
JP2014184027A (ja) * 2013-03-25 2014-10-02 Seiko Epson Corp 指アシスト装置
US9855663B1 (en) * 2016-06-17 2018-01-02 X Development Llc Automated digit interchange
CN115268753B (zh) * 2016-09-09 2023-08-22 森赛尔股份有限公司 用于检测和表征触摸传感器上的输入的系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006047145A (ja) 2004-08-05 2006-02-16 Hyogo Prefecture 計測システムおよび計測方法並びに把持装置制御システム
JP2007152528A (ja) 2005-12-08 2007-06-21 Ario Techno Kk 関節装置、関節装置を用いたフィンガーユニット、及び、ユニバーサルロボットハンド
JP2009034743A (ja) 2007-07-31 2009-02-19 Sony Corp 検出装置および方法、並びにプログラム
JP2009066714A (ja) 2007-09-13 2009-04-02 Sony Corp 制御装置および方法、プログラム並びに記録媒体
US20160136822A1 (en) 2014-11-18 2016-05-19 Hong Fu Jin Precision Industry (Shenzhen) Co., Ltd. Robotic finger structure

Also Published As

Publication number Publication date
EP3778153A4 (en) 2021-05-26
JP2023086924A (ja) 2023-06-22
JPWO2019187546A1 (ja) 2021-04-15
KR20200133337A (ko) 2020-11-27
CN111867791A (zh) 2020-10-30
WO2019187546A1 (ja) 2019-10-03
EP3778153A1 (en) 2021-02-17
KR102586779B1 (ko) 2023-10-11
US20210031377A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
JP2023086924A (ja) 制御方法、制御システム及びプログラム
US11090814B2 (en) Robot control method
KR101308373B1 (ko) 로봇 제어방법
US20200147787A1 (en) Working robot and control method for working robot
JP2009269127A (ja) 把持装置及びその制御方法
KR20150080050A (ko) 다관절로봇의 충돌 감지 장치 및 이를 이용한 충돌 감지 방법
CN112936278B (zh) 机器人的人机协作控制方法、装置和机器人
JP2010142909A (ja) ロボットの制御装置
JP2013223921A (ja) 力またはインピーダンス制御ロボットの作業空間安全動作
JPH08323678A (ja) 柔軟物体把持装置
Saen et al. Action-intention-based grasp control with fine finger-force adjustment using combined optical-mechanical tactile sensor
CN115003462A (zh) 机器人机械手碰撞时的力限制
JP6322949B2 (ja) ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
CN111037553A (zh) 控制装置
Konstantinova et al. Autonomous object handover using wrist tactile information
Franzel et al. Detection of collaboration and collision events during contact task execution
JP4600445B2 (ja) ロボットハンド装置
JP6322948B2 (ja) ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法、及びプログラム
JP2021084210A (ja) ロボット、エンドエフェクタ、システム、方法及びプログラム
JP4055703B2 (ja) ロボットハンド装置
JP2007007859A (ja) 多関節多指ハンドの物体把持方法
CN110883773B (zh) 一种用于二指机械手抓取操作的自适应控制方法
WO2023167003A1 (ja) 制御装置、制御方法、及び制御プログラム
JP2015074059A (ja) ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びプログラム
KR101970951B1 (ko) 로봇 매니퓰레이터 충돌 검출 장치 및 방법

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R151 Written notification of patent or utility model registration

Ref document number: 7276318

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151