JP7133017B2 - END EFFECTOR SELECTION METHOD AND SELECTION SYSTEM - Google Patents
END EFFECTOR SELECTION METHOD AND SELECTION SYSTEM Download PDFInfo
- Publication number
- JP7133017B2 JP7133017B2 JP2020531883A JP2020531883A JP7133017B2 JP 7133017 B2 JP7133017 B2 JP 7133017B2 JP 2020531883 A JP2020531883 A JP 2020531883A JP 2020531883 A JP2020531883 A JP 2020531883A JP 7133017 B2 JP7133017 B2 JP 7133017B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- end effector
- selection
- shape
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000012636 effector Substances 0.000 title claims description 167
- 238000010187 selection method Methods 0.000 title claims description 13
- 238000012790 confirmation Methods 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 24
- 238000010276 construction Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000032258 transport Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 210000000078 claw Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 102100032461 Transmembrane protein 33 Human genes 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000696 magnetic material Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/04—Gripping heads and other end effectors with provision for the remote detachment or exchange of the head or parts thereof
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Description
本明細書は、エンドエフェクタの選択方法および選択システムを開示する。 This specification discloses an end effector selection method and system.
従来より、ワークを把持するハンド(エンドエフェクタ)を備えるロボットにおいて、複数種類のハンドから作業対象のワークに応じた適切なハンドを選択する選択方法が提案されている。例えば、特許文献1には、作業対象のワークに関する情報とハンドに関する情報とに基づいて、ワークとハンドの適合性を評価し、より適切なハンドを自動で選択することが記載されている。
2. Description of the Related Art Conventionally, in robots equipped with hands (end effectors) for gripping workpieces, there have been proposed selection methods for selecting an appropriate hand from a plurality of types of hands according to the workpiece to be worked on. For example,
上述したようなハンドの自動選択において選択ミスが生じると、ロボットが適切にワークを把持することができず、作業ミスや誤動作が生じることになる。このように、ハンドの選択は、ロボットの作業性に大きな影響を及ぼすものであるから、より適切に選択できるようにさらなる改善が求められている。 If a selection error occurs in the automatic hand selection as described above, the robot cannot properly grip the workpiece, resulting in work errors or malfunctions. In this way, hand selection has a great influence on the operability of the robot, and further improvements are required so that the hand can be selected more appropriately.
本開示は、ワークを把持するエンドエフェクタの選択をより適切に行うことを主目的とする。 A main object of the present disclosure is to more appropriately select an end effector for gripping a workpiece.
本開示は、上述の主目的を達成するために以下の手段を採った。 The present disclosure has taken the following means to achieve the above-mentioned main objectives.
本開示のエンドエフェクタの選択方法は、ワークに対する作業を実行するロボットに交換可能に装着され、前記ワークを把持するエンドエフェクタの選択方法であって、前記ワークの形状および作業内容を含む情報を取得する取得ステップと、既知の作業における前記ワークの形状および作業内容と、当該作業で選択された前記エンドエフェクタの種類との関係を学習してモデルを構築する構築ステップと、前記ワークおよび作業内容の少なくともいずれかが新規な対象作業が実行される場合、前記対象作業における前記ワークの形状および作業内容と、前記モデルとに基づいて、複数種類の前記エンドエフェクタから前記対象作業に適した前記エンドエフェクタを選択する選択ステップと、を含むことを要旨とする。 An end effector selection method of the present disclosure is a method of selecting an end effector that is replaceably attached to a robot that performs work on a work and grips the work, and acquires information including the shape of the work and work details. a building step of building a model by learning the relationship between the shape of the workpiece, the work content in a known work, and the type of the end effector selected in the work, and the work and the work content When at least one of them is a new target work, the end effector suitable for the target work is selected from among a plurality of types of end effectors based on the shape and work content of the work in the target work and the model. and a selecting step of selecting .
本開示のエンドエフェクタの選択方法では、既知の作業におけるワークの形状および作業内容と、当該作業で選択されたエンドエフェクタの種類との関係を学習してモデルを構築する。そして、作業対象のワークおよび作業内容の少なくともいずれかが新規な対象作業が実行される場合、対象作業におけるワークの形状および作業内容と、構築したモデルとに基づいて、複数種類のエンドエフェクタから対象作業に適したエンドエフェクタを選択する。これにより、作業対象のワークや作業内容が新規な対象作業であっても、既知の作業の学習で構築したモデルを用いて、ワークの形状および作業内容を考慮したエンドエフェクタの選択をより適切に行うことができる。 In the end effector selection method of the present disclosure, a model is constructed by learning the relationship between the shape of a work piece and work content in a known work and the type of end effector selected for the work. Then, when at least one of the target work and work content is a new target work, multiple types of end effectors are used based on the shape of the work and the work content in the target work and the constructed model. Choose the right end effector for the job. As a result, even if the work to be performed or the work to be performed is new, the end effector can be selected more appropriately by considering the shape of the work and the work to be performed using a model constructed by learning from known work. It can be carried out.
次に、本開示を実施するための形態について図面を参照しながら説明する。 Next, embodiments for implementing the present disclosure will be described with reference to the drawings.
図1はロボットシステム10の構成の概略を示す構成図であり、図2はロボット20の構成の概略を示す構成図であり、図3はロボットシステム10の電気的な接続関係を示すブロック図である。なお、図1の左右方向がX軸方向であり、前後方向がY軸方向であり、上下方向がZ軸方向である。
FIG. 1 is a configuration diagram showing an outline of the configuration of the
ロボットシステム10は、ロボット20と、ロボット制御装置70と、管理装置80とを備える。ロボットシステム10は、例えばピックアンドプレースシステムとして構成されており、ワーク供給装置12により供給された機械部品や電子部品などのワークWをピッキング(保持)して、トレイ搬送装置14により搬送されたトレイT上に整列させてプレースする作業などが行われる。また、トレイT上に整列させたボルトなどのワークWに対し、ワッシャーなどの別のワークWをピッキングして、ボルトの軸部に挿入するようにプレースする作業なども行われる。なお、ロボットシステム10は、ピックアンドプレースシステムに限られず、ロボット20を用いてワークWに対して作業を行うものであれば、如何なる作業システムにも適用できる。
The
ロボット20は、5軸の垂直多関節アーム(以下、アームという)22を備える。アーム22は、6つのリンク31~36と、各リンクを回転または旋回可能に連結する5つの関節41~45とを有する。各関節41~45には、対応する関節を駆動するサーボモータ51~55と、対応するモータの回転位置を検出するエンコーダ61~65とが設けられている。
The
アーム22の先端のリンク36には、作業ツールとしての複数種のエンドエフェクタEが交換可能に装着されている。エンドエフェクタE1*は、磁性体からなるワークWを電磁石により吸着する電磁チャックであり、サイズや形状が異なる複数のタイプ(E11,E12,・・・)を有する。また、エンドエフェクタE2*は、ワークWの保持と保持の解除とを行うように開閉可能な一対のクランプ爪を有するメカニカルチャック(以下、メカチャックという)であり、クランプ爪のサイズや形状が異なる複数のタイプ(E21,E22,・・・)を有する。さらに、エンドエフェクタE3*は、ワークWを負圧によって吸着する吸着ノズルであり、吸着ノズルの径や長さが異なる複数のタイプ(E31,E32,・・・)を有する。先端のリンク36に装着されるエンドエフェクタEは、後述する自動選択処理により選択される。
A plurality of types of end effectors E as work tools are interchangeably attached to the
また、アーム22のリンク35には、カメラ24が取り付けられている。カメラ24は、ワーク供給装置12により供給された各ワークWの位置および姿勢を認識するために当該ワークWを撮像し、トレイ搬送装置14により搬送されたトレイTの位置を認識するために当該トレイTを撮像する。
A
アーム22の基端のリンク31は、作業台11に固定されている。作業台11には、ワーク供給装置12やトレイ搬送装置14などが配置されている。ワーク供給装置12は、本実施形態では、前後方向(Y軸方向)に離間して配置された駆動ローラおよび従動ローラに架け渡されたコンベアベルト12aを備える。コンベアベルト12aには複数のワークWがバラ置きされ、ワーク供給装置12は、駆動ローラを回転駆動することにより、コンベアベルト12a上の複数のワークWを後方から前方へ供給する。なお、ワーク供給装置として、コンベアベルト12aに代えて或いはコンベアベルト12aに併設して、ケース(部品箱)に収容された複数のワークをケースごと供給する供給装置が設けられてもよい。トレイ搬送装置14は、コンベアベルトにより構成され、ワークWの供給方向とは直交する方向(X軸方向)にトレイTを搬送し、略中央位置にて位置決め保持する。
A
ロボット制御装置70は、図示は省略するが、CPUやROM、HDD、RAM、入出力インタフェース、通信インタフェースなどを備える。ロボット制御装置70には、エンコーダ61~65などからの検知信号が入力される。また、ロボット制御装置70からは、ワーク供給装置12やトレイ搬送装置14、サーボモータ51~55、アクチュエータ56などへの制御信号が出力される。なお、アクチュエータ56は、ロボット20に装着されているエンドエフェクタEを駆動するためのものである。ロボット制御装置70は、ロボット20の各サーボモータ51~55を駆動制御することにより、ロボット20に、ワークWをピッキングさせたり、ピッキングさせたワークWをプレースさせたりする。
Although not shown, the
管理装置80は、図示は省略するが、CPUやROM、HDD、RAM、入出力インタフェース、通信インタフェースなどを備える。管理装置80には、カメラ24からの画像信号や入力装置88からの入力信号などが入力される。また、管理装置80からは、カメラ24への駆動信号や表示装置89への表示信号などが出力される。ここで、入力装置88は、例えばキーボードやマウスであり、表示装置89は、例えば液晶ディスプレイである。管理装置80は、ロボット制御装置70と通信可能に接続されており、互いに制御信号や各種情報のやり取りを行う。管理装置80は、ロボット制御装置70に制御信号を送信してアーム22(カメラ24)をワーク供給装置12により供給されたワークWの撮像ポイントへ移動させ、カメラ24を駆動してワークWを撮像し、撮像された画像を入力する。続いて、管理装置80は、入力した画像を処理して画像中のワークWを認識する。そして、管理装置80は、認識したワークWのうちピッキング可能なワークWを抽出して当該ワークWをピッキングするためのエンドエフェクタEの目標位置および目標姿勢を割り出し、ロボット制御装置70に送信する。
Although not shown, the
また、管理装置80およびロボット制御装置70では、ワークWの形状や作業内容に応じたエンドエフェクタEの自動選択が可能となっている。図4はエンドエフェクタの自動選択に関する機能を示すブロック図である。図4に示すように、管理装置80は、各種情報を入力する情報入力部80Aと、入力された情報からエンドエフェクタEの選択処理を行う選択処理部80Bとを有する。情報入力部80Aは、ワークWに関するワーク情報81aやワークWに対して行われる作業内容に関する作業情報81bを含む各種情報を入力する。ワーク情報81aは、ワークWの形状や寸法、種類などの情報を含み、例えばワークWの3次元CAD情報などが入力される。なお、カメラ24で撮像された画像を処理して得られたワークWの形状や寸法などがワーク情報81aとして入力されてもよい。また、作業情報81bは、ワークWをプレースする対象の対象形状や対象寸法、ワークWをトレイT上に整列させるのかボルトの軸に挿入するかなどの作業内容の情報を含む。なお、情報入力部80Aは、作業者により入力装置88を介して入力される作業指示などから作業情報81bを取得してもよい。
Further, the
選択処理部80Bは、パラメータ抽出部82と、作業DB83と、モデル構築部84と、スコア演算部85と、一覧表示部86と、候補決定部87とを有する。パラメータ抽出部82は、情報入力部80Aにより入力されたワーク情報81aや作業情報81bから特徴的なパラメータを抽出する。例えば、ワッシャーをボルトの軸に挿入する作業の場合、パラメータ抽出部82は、ワークWの形状(ワッシャー)やワッシャーの内外径の寸法、ボルトの軸径、作業内容(軸挿入)など、エンドエフェクタEの選択に必要な情報をパラメータとして抽出する。パラメータ抽出部82により抽出されたパラメータは、作業DB83に登録されると共にスコア演算部85に出力される。図5は作業DB83の一例を示す説明図である。図示するように、作業DB83は、既知の作業のワーク情報および作業情報と、当該作業で選択されたエンドエフェクタEの情報と、選択されたエンドエフェクタEの良否の判定結果(評価)とが対応付けて登録されている。既知の作業のワーク情報および作業情報には、パラメータ抽出部82により抽出されたパラメータが登録されるが、それら以外の情報が登録されてもよい。なお、良否の判定結果については後述する。
The
モデル構築部84は、エンドエフェクタEを自動選択するための選択モデルを構築する。このモデル構築部84は、作業DB83に登録された情報のうち特徴的なパラメータを用いた機械学習により、エンドエフェクタEの種類毎にグループ化して分類した選択モデルを構築する。機械学習は、例えば、判別分析やK近傍法などにより複数のグループに分類する公知の手法を用いて行えばよい。また、深層学習などが用いられてもよい。図6は選択モデルの一例を示す説明図である。図6では、図示の都合上、2つの特徴的なパラメータX,Yから3種類のエンドエフェクタE*1(△)、E*2(□),E*3(◇)が選択される選択モデルのイメージを示す。また、図6では、エンドエフェクタE*1(△)、E*2(□),E*3(◇)の各グループ(クラス)の値の重心などの代表値をそれぞれ代表値▲、■、◆で示し、各グループの境界の一例を点線で示す。
The
スコア演算部85は、パラメータ抽出部82からエンドエフェクタEの選択条件であるパラメータが入力されると、選択モデルにおけるエンドエフェクタEの各グループとの関連性を示す近似スコアを演算する。例えばスコア演算部85は、入力されたパラメータに基づく選択モデル上での該当位置(図6の◎)と、各グループの代表値▲、■、◆との間の距離としての近似スコアを演算する。このように新たな作業におけるワークWや作業内容が得られると、スコア演算部85により、既知の作業で選択された各種のエンドエフェクタEのそれぞれに対する近似スコアが演算される。一覧表示部86は、スコア演算部85による演算結果に基づいて、複数種類のエンドエフェクタEを近似スコアの高い順に表示装置89に一覧表示する。また、候補決定部87は、一覧表示されたエンドエフェクタEの中から作業者による入力装置88の操作により選択された一のエンドエフェクタEを候補に決定する。候補決定部87は、候補に決定したエンドエフェクタEの種類と、作業番号などの作業の識別情報とをロボット制御装置70に送信する。
The
ロボット制御装置70は、交換装着部71と、動作確認部72と、作業実行部73とを有する。交換装着部71は、候補決定部87で決定されたエンドエフェクタEを先端のリンク36に装着させる。なお、交換装着部71は、ロボット20がエンドエフェクタEを自動交換可能に構成されていれば自動で交換させ、自動交換可能でなければ作業者に交換指示を表示するなどして作業者に交換させる。動作確認部72は、候補決定部87で決定された候補のエンドエフェクタEを用いて、作業対象のワークWをピッキングさせるなどの動作の確認を行う。動作確認部72による動作の確認結果は、管理装置80に送信されて作業DB83に評価として登録される。作業実行部73は、動作確認部72による確認結果が良好とされたエンドエフェクタEを用いて実際の作業を行う。
The
次に、ロボットシステム10がこれらの機能を用いて、エンドエフェクタEの自動選択を行う際の処理を説明する。図7は自動選択処理の一例を示すフローチャートである。この処理は、管理装置80の上述した各機能により実行される。この処理が開始されると、管理装置80は、まず、ワークWの形状および作業内容の少なくともいずれかが新規な作業が開始されるタイミングであるか(S100)、ロボット制御装置70の動作確認部72から結果通知を受信したタイミングであるか(S105)、をそれぞれ判定する。
Next, the processing when the
管理装置80は、S100で新規な作業(対象作業)が開始されるタイミングであると判定すると、ワーク情報81aや作業情報81bを入力し(S110)、それらの情報から特徴的なパラメータを抽出すると共に(S115)、作業DB83に登録する(S120)。次に、管理装置80は、選択モデルを用いて新規な作業に対する各エンドエフェクタEの近似スコアを演算し(S125)、表示装置89にスコア順に一覧表示して(S130)、作業者によるエンドエフェクタEの候補の選択操作がなされるのを待つ(S135)。
When the
図8はエンドエフェクタの一覧表示画面89aの一例を示す説明図である。図示するように、各エンドエフェクタEがスコア順に並んで表示されると共にカーソルが指し示すエンドエフェクタEの概略図が表示されている。この一覧表示画面89aでは、作業者が入力装置88で上下操作を行う度にカーソルが上または下に移動すると共に概略図が表示されるエンドエフェクタEが変化する。また、作業者は、入力装置88で選択操作を行うと、一覧表示画面89aにおいてカーソルが指し示しているエンドエフェクタEを選択することができる。
FIG. 8 is an explanatory diagram showing an example of the end effector
管理装置80は、作業者による選択操作がなされると、選択されたエンドエフェクタEを候補に決定し(S140)、決定したエンドエフェクタEの種類と作業の識別情報とを含む候補決定通知をロボット制御装置70に送信して(S145)、自動選択処理を終了する。以下、管理装置80の自動選択処理の説明を中断して、ロボット制御装置70の処理を説明する。
When the operator performs a selection operation, the
図9はエンドエフェクタ確認処理の一例を示すフローチャートである。この処理は、ロボット制御装置70により実行される。この処理では、ロボット制御装置70は、まず、候補決定通知を受信したと判定するのを待ち(S200)、候補決定通知を受信したと判定すると、候補決定通知に含まれる種類のエンドエフェクタEに交換する(S205)。なお、S205では、ロボット20による自動交換または作業者による交換が行われる。次に、ロボット制御装置70は、エンドエフェクタEを用いたワークWのピッキングなどの動作確認を行う(S210)。S210では、ロボット制御装置70は、候補とされたエンドエフェクタEを用いて、作業対象のワークWのピッキングを行い、ワークWを正常にピッキングできるか否かを判定する。ロボット制御装置70は、ワークWをピッキングできなかったり、ピッキングしてもすぐにワークWが落下したりする場合には、ワークWを正常にピッキングできないと判定する。また、S210では、ロボット制御装置70は、ワークWのピッキングだけでなく、正常にプレースできるか否かを判定してもよい。
FIG. 9 is a flowchart showing an example of end effector confirmation processing. This processing is executed by the
そして、ロボット制御装置70は、動作確認の結果が良好であるか否かを判定し(S215)、良好であると判定すると、動作良好の旨の結果通知を管理装置80に送信する(S220)。この場合、候補のエンドエフェクタEを用いて作業することに支障はないから、ロボット制御装置70は、そのまま現在のエンドエフェクタEを用いて作業を開始して(S225)、エンドエフェクタ確認処理を終了する。一方、ロボット制御装置70は、動作確認の結果が不良であると判定すると、動作不良の旨の結果通知を管理装置80に送信して(S230)、S200に戻り処理を行う。この場合、候補のエンドエフェクタEを用いて作業を行うと、ワークWの落下などの作業ミスやワークWのピッキングのし直しなどが頻発して作業効率が低下するおそれがあるから、作業を開始することなく新たな候補決定通知を受信するまで待機することになる。
Then, the
このようにして、ロボット制御装置70から結果通知が管理装置80に送信されると、図7の自動選択処理のS105で管理装置80は結果通知を受信したと判定し、良否結果をパラメータに対応付けて作業DB83に登録する(S150)。S150では、結果通知における動作確認結果が良好であれば、良好の旨がジョブ番号に対応付けて登録され、結果通知における動作確認結果が不良であれば、不良の旨がジョブ番号に対応付けて登録される。また、管理装置80は、登録後の作業DB83に基づいて選択モデルを構築(更新)する(S155)。S155では、新たに良否結果が登録されたエンドエフェクタEとパラメータの関係を選択モデルに反映させることができるから、選択モデルの信頼性を向上させることができる。なお、図5の作業番号**2では、先に選択したエンドエフェクタE*2の確認結果が不良で、再選択したエンドエフェクタE*1の確認結果が良好であった場合を例示している。また、図6では、E*2(□)のエンドエフェクタEを選択した際の不良結果を×印を付加して示している。本実施形態では、動作確認結果が良好の結果と不良の結果とをいずれも反映させた選択モデルを構築するため、各グループの境界をより精度よく設定することが可能となる。そして、管理装置80は、動作確認結果が不良であるか否かを判定し(S160)、動作確認結果が不良でなく良好であると判定すると、そのまま自動選択処理を終了する。
In this way, when the result notification is transmitted from the
一方、管理装置80は、S160で動作確認結果が不良であると判定すると、S155で構築した選択モデルを用いて各エンドエフェクタEの近似スコアを再演算し(S165)、選択済みのエンドエフェクタEを除いてスコア順に一覧表示する(S170)。図8の例でスコア順1のエンドエフェクタE22が選択されたものの動作確認結果が不良であった場合、管理装置80は、選択済みのエンドエフェクタE22を除いた他のエンドエフェクタEを、再演算されたスコア順に一覧表示することになる。そして、管理装置80は、作業者によって選択されたエンドエフェクタEをロボット制御装置70に送信するS135~S145の処理を実行する。これにより、一旦選択したものの動作確認結果が不良であったエンドエフェクタEを除いた他のエンドエフェクタEの中から、適切なエンドエフェクタEを再選択させることができる。各エンドエフェクタEの近似スコアは、動作確認結果を反映して構築された選択モデルを用いて再演算されるから、各エンドエフェクタEをより適切に一覧表示した中から作業者に選択させることが可能となる。
On the other hand, if the
ここで、本実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。本実施形態のロボット20がロボットに相当し、エンドエフェクタEがエンドエフェクタに相当し、図7の自動選択処理のS110が取得ステップに相当し、同処理のS155が構築ステップに相当し、同処理のS115~S140が選択ステップに相当する。また、エンドエフェクタ確認処理のS210が確認ステップに相当する。また、図7の自動選択処理のS110を実行する情報入力部80Aが取得部に相当し、同処理のS155を実行するモデル構築部84が構築部に相当し、同処理のS115~S140を実行するパラメータ抽出部82とスコア演算部85と一覧表示部86と候補決定部87とが選択部に相当する。
Here, correspondence relationships between the components of the present embodiment and the components of the present disclosure will be clarified. The
以上説明したロボットシステム10は、作業におけるワークWの形状および作業内容と、構築した選択モデルとに基づいて、複数種類のエンドエフェクタEから新規な作業に適したエンドエフェクタEを選択する。これにより、既知の作業の学習で構築したモデルを用いて、ワークWの形状および作業内容を考慮したエンドエフェクタEの選択をより適切に行うことができる。
The
また、複数種類のエンドエフェクタについて近似スコアを算出してスコア順に表示装置89に一覧表示し、作業者による選択に従ってエンドエフェクタEを選択するから、スコア順に作業者の経験などによる判断を加えて、エンドエフェクタEの選択をさらに適切に行うことができる。
In addition, approximate scores are calculated for a plurality of types of end effectors and displayed on the
また、選択されたエンドエフェクタEの動作を確認し、その確認結果の良否を対応付けて選択モデルを構築するから、選択モデルの信頼性を高めて、エンドエフェクタEの選択の精度をより向上させることができる。 In addition, the operation of the selected end effector E is confirmed, and the quality of the confirmation result is correlated to construct the selection model. Therefore, the reliability of the selection model is increased, and the accuracy of the selection of the end effector E is further improved. be able to.
また、確認結果が不良であった場合、再構築された選択モデルを用いて、既に選択されたエンドエフェクタEを除いた複数種類のエンドエフェクタEから再選択を行うことができるから、再選択の精度をより向上させることができる。 In addition, if the confirmation result is unsatisfactory, the reconstructed selection model can be used to reselect from a plurality of types of end effectors E excluding the end effector E that has already been selected. Accuracy can be further improved.
なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。 It goes without saying that the present invention is not limited to the above-described embodiments, and can be implemented in various forms as long as they fall within the technical scope of the present invention.
例えば、上述した実施形態では、選択されたエンドエフェクタEの動作の確認結果が不良であった場合、更新された選択モデルを用いて近似スコアを再度演算した上でエンドエフェクタEの再選択を行うものとしたが、これに限られるものではない。例えば、近似スコアを再度演算することなく、前回の近似スコアを用いて、既に選択されたエンドエフェクタEを除いた中からエンドエフェクタEの再選択を行うものなどとしてもよい。 For example, in the above-described embodiment, if the operation confirmation result of the selected end effector E is unsatisfactory, the approximate score is calculated again using the updated selection model, and the end effector E is reselected. However, it is not limited to this. For example, without calculating the approximate score again, the previous approximate score may be used to reselect the end effector E from among the already selected end effectors E excluded.
上述した実施形態では、スコア順にエンドエフェクタEを一覧表示して作業者に選択させるものとしたが、これに限られず、スコア順に基づいて管理装置80が選択するものとしてもよい。図10は変形例の自動選択処理を示すフローチャートである。図10では、図7と同じ処理には同じステップ番号を付して説明を省略する。管理装置80は、S125で選択モデルを用いて近似スコアを演算すると、スコア順が最も上位のエンドエフェクタEを候補に決定する(S140a)。このため、図8の例では、エンドエフェクタE22が自動的に候補に決定されることになる。また、管理装置80は、ロボット制御装置70から受信した結果が不良であるとS160で判定すると、既に選択されたエンドエフェクタEを除いてスコア順が最も上位のエンドエフェクタEに決定する(S168)。このため、図8の例では、エンドエフェクタE21が自動的に候補に決定されることになる。なお、図10においても、図7と同様に、更新された選択モデルを用いて近似スコアを演算し直してから、S168の処理を実行するものとしてもよい。
In the above-described embodiment, the list of end effectors E is displayed in the order of scores, and the operator is allowed to select the end effectors. FIG. 10 is a flow chart showing the automatic selection process of the modification. In FIG. 10, the same step numbers are assigned to the same processes as in FIG. 7, and the description thereof is omitted. After calculating the approximate score using the selection model in S125, the
上述した実施形態では、候補に選択されたエンドエフェクタEの動作を確認することによりエンドエフェクタEの良否を判定してから作業を開始するものとしたが、これに限られず、エンドエフェクタEの良否を判定することなく作業を開始するものなどとしてもよい。その場合、確認結果が不良であった場合のエンドエフェクタEの再選択も行わないものとすればよい。ただし、ワークWの落下などの作業ミスやワークWのピッキングのし直しなどを防ぐために、候補に選択されたエンドエフェクタEの良否を作業開始前に判定するものが好ましい。 In the above-described embodiment, the operation of the end effector E selected as a candidate is checked to determine whether the end effector E is good or bad, and then work is started. It is also possible to start the work without judging. In that case, the end effector E may not be reselected if the confirmation result is unsatisfactory. However, in order to prevent work errors such as dropping of the work W and re-picking of the work W, it is preferable to determine the acceptability of the end effector E selected as a candidate before starting the work.
上述した実施形態では、特徴的なパラメータから選択モデルにおけるエンドエフェクタEの種類毎の近似スコアを演算し、近似スコアの高いエンドエフェクタEを優先的に選択するものなどとしたが、これに限られるものではない。既知の作業におけるワークWの形状および作業内容と、その作業で選択されたエンドエフェクタEとの関係を学習して構築された選択モデルを用いて、新規な作業のエンドエフェクタEを選択するものであれば如何なる処理でエンドエフェクタEを選択してもよい。 In the above-described embodiment, the approximation score for each type of end effector E in the selected model is calculated from the characteristic parameters, and the end effector E with the high approximation score is preferentially selected. not a thing An end effector E for a new job is selected using a selection model constructed by learning the relationship between the shape of the work W in a known job, the content of the job, and the end effector E selected for that job. Any processing may be used to select the end effector E.
上述した実施形態では、ワーク情報81aにワークWの形状以外に寸法や種類などを含むものとしたが、少なくともワークWの形状を含むものであればよい。また、作業情報81bにワークWをプレースする対象形状や対象寸法などを含むものとしたが、少なくともどのような作業を行うかの作業内容を含むものであればよい。
In the above-described embodiment, the
ここで、本開示のコンピュータによるエンドエフェクタの選択方法および選択システムは、以下のように構成してもよい。例えば、本開示のエンドエフェクタの選択方法において、前記選択ステップでは、前記対象作業における前記ワークの形状および作業内容と、前記モデルとに基づいて、複数種類の前記エンドエフェクタについて前記対象作業との関連性を示すスコアを算出してスコア順に一覧表示し、作業者による選択に従って前記エンドエフェクタを選択するものとしてもよい。こうすれば、エンドエフェクタのスコア順に、作業者の経験などによる判断を加えてエンドエフェクタを選択することも可能となるから、エンドエフェクタの選択をさらに適切に行うことができる。 Here, the computer-based end effector selection method and selection system of the present disclosure may be configured as follows. For example, in the end effector selection method of the present disclosure, in the selection step, based on the shape of the work and the work content in the target work and the model, the relationship between the plurality of types of end effectors and the target work is determined. It is also possible to calculate a score indicating the quality of the end effector, display a list in order of the score, and select the end effector according to the selection by the operator. In this way, it is possible to select the end effector in the order of the scores of the end effectors, and to add judgment based on the experience of the operator, etc., so that the end effector can be selected more appropriately.
本開示のエンドエフェクタの選択方法において、前記選択ステップでは、前記対象作業における前記ワークの形状および作業内容と、前記モデルとに基づいて、複数種類の前記エンドエフェクタについて前記対象作業との関連性を示すスコアを算出し、スコアの高い前記エンドエフェクタを優先的に選択するものとしてもよい。こうすれば、構築したモデルを用いた簡易な処理で、エンドエフェクタの選択をより適切に行うことができる。 In the end effector selection method of the present disclosure, in the selecting step, the relevance of the plurality of types of end effectors to the target work is determined based on the shape of the work and work content in the target work and the model. The score may be calculated, and the end effector with a high score may be preferentially selected. By doing so, it is possible to more appropriately select the end effector with a simple process using the constructed model.
本開示のエンドエフェクタの選択方法において、前記選択ステップで選択された前記エンドエフェクタによる前記ワークの把持動作の良否を確認する確認ステップを含み、前記構築ステップでは、前記確認ステップの確認結果が得られると、前記対象作業における前記ワークの形状および作業内容と、前記選択ステップで選択された前記エンドエフェクタの種類との関係に前記確認結果の良否を対応付けて前記モデルを構築するものとしてもよい。こうすれば、モデルの信頼性を高めることができるから、エンドエフェクタの選択の精度をより向上させることができる。 The end effector selection method of the present disclosure includes a confirmation step of confirming whether the end effector selected in the selection step is good or bad in gripping the workpiece, and in the construction step, confirmation results of the confirmation step are obtained. , and the model may be constructed by associating the quality of the confirmation result with the relationship between the shape of the workpiece and the content of the work in the target work and the type of the end effector selected in the selection step. By doing so, the reliability of the model can be improved, so the accuracy of the selection of the end effector can be further improved.
本開示のエンドエフェクタの選択方法において、前記選択ステップでは、前記確認ステップの確認結果が不良であった場合、既に選択された前記エンドエフェクタを除いた複数種類の前記エンドエフェクタから前記対象作業に適した前記エンドエフェクタを再選択するものとしてもよい。こうすれば、確認結果の良否を対応付けて構築されたモデルを用いてエンドエフェクタの再選択を行うことができるから、再選択の精度をより向上させることができる。 In the end effector selection method of the present disclosure, in the selection step, if the confirmation result of the confirmation step is unsatisfactory, a plurality of types of end effectors other than the end effector that has already been selected are selected. The end effector may be reselected. In this way, it is possible to reselect the end effector using a model constructed by associating the quality of the confirmation result, so that the accuracy of reselection can be further improved.
本開示のエンドエフェクタの選択システムは、ワークに対する作業を実行するロボットに交換可能に装着され、前記ワークを把持するエンドエフェクタの選択システムであって、前記ワークの形状および作業内容を含む情報を取得する取得部と、既知の作業における前記ワークの形状および作業内容と、当該作業で選択された前記エンドエフェクタの種類との関係を学習してモデルを構築する構築部と、作業対象のワークおよび作業内容の少なくともいずれかが新規な対象作業が実行される場合、前記対象作業における前記ワークの形状および作業内容と、前記モデルとに基づいて、複数種類の前記エンドエフェクタから前記対象作業に適した前記エンドエフェクタを選択する選択部と、を備えることを要旨とする。 An end effector selection system of the present disclosure is an end effector selection system that is replaceably attached to a robot that performs work on a work and that grips the work, and acquires information including the shape of the work and work details. a construction unit that builds a model by learning the relationship between the shape of the work and the work content in the known work and the type of the end effector selected in the work, and the work to be worked and the work When at least one of the contents of the target work is new, based on the shape and work content of the work in the target work and the model, the end effector suitable for the target work is selected from a plurality of types of end effectors. and a selection unit for selecting an end effector.
本開示のエンドエフェクタの選択システムは、上述した選択方法と同様に、作業対象のワークや作業内容が新規な対象作業であっても、既知の作業の学習で構築したモデルを用いて、ワークの形状および作業内容を考慮したエンドエフェクタの選択をより適切に行うことができる。なお、この選択システムにおいて、上述した選択方法の各ステップを実現するような機能を追加してもよい。 As in the selection method described above, the end effector selection system of the present disclosure uses a model constructed by learning a known work to select a work, even if the work to be performed or the work content is new. It is possible to more appropriately select the end effector considering the shape and work content. In addition, in this selection system, a function for realizing each step of the selection method described above may be added.
本発明は、ロボットシステムの製造産業などに利用可能である。 INDUSTRIAL APPLICABILITY The present invention is applicable to the robot system manufacturing industry and the like.
10 ロボットシステム、11 作業台、12 ワーク供給装置、12a コンベアベルト、14 トレイ搬送装置、20 ロボット、22 アーム、24 カメラ、31~36 リンク、41~45 関節、51~55 サーボモータ、56 アクチュエータ、61~65 エンコーダ、70 ロボット制御装置、71 交換装着部、72 動作確認部、73 作業実行部、80 管理装置、80A 情報入力部、80B 選択処理部、81a ワーク情報、81b 作業情報、82 パラメータ抽出部、83 作業DB、84 モデル構築部、85 スコア演算部、86 一覧表示部、87 候補決定部、88 入力装置、89 表示装置、89a 一覧表示画面、E,E1*~E3*,E11,E12,E21,E22,E31,E32 エンドエフェクタ、T トレイ、W ワーク。 10 robot system, 11 work table, 12 work supply device, 12a conveyor belt, 14 tray transfer device, 20 robot, 22 arm, 24 camera, 31 to 36 link, 41 to 45 joint, 51 to 55 servo motor, 56 actuator, 61 to 65 encoder, 70 robot control device, 71 exchange mounting unit, 72 operation confirmation unit, 73 work execution unit, 80 management device, 80A information input unit, 80B selection processing unit, 81a work information, 81b work information, 82 parameter extraction part, 83 work DB, 84 model construction part, 85 score calculation part, 86 list display part, 87 candidate determination part, 88 input device, 89 display device, 89a list display screen, E, E1* to E3*, E11, E12 , E21, E22, E31, E32 end effector, T tray, W workpiece.
Claims (4)
前記ワークの形状および作業内容を含む情報を取得する取得ステップと、
既知の作業における前記ワークの形状および作業内容と、当該作業で選択された前記エンドエフェクタの種類との関係を学習してモデルを構築する構築ステップと、
前記ワークおよび作業内容の少なくともいずれかが新規な対象作業が実行される場合、前記対象作業における前記ワークの形状および作業内容と、前記モデルとに基づいて、複数種類の前記エンドエフェクタから前記対象作業に適した前記エンドエフェクタを選択する選択ステップと、
前記選択ステップで選択された前記エンドエフェクタによる前記ワークの把持動作の良否を確認する確認ステップと、
を含み、
前記構築ステップでは、前記確認ステップの確認結果が得られると、前記対象作業における前記ワークの形状および作業内容と、前記選択ステップで選択された前記エンドエフェクタの種類との関係に前記確認結果の良否を対応付けて前記モデルを構築し、
前記選択ステップでは、前記確認ステップの確認結果が不良であった場合、既に選択された前記エンドエフェクタを除いた複数種類の前記エンドエフェクタから前記対象作業に適した前記エンドエフェクタを再選択する
エンドエフェクタの選択方法。 A method for selecting an end effector that is replaceably attached to a robot that performs work on a work and grips the work,
an acquisition step of acquiring information including the shape of the work and work content;
a construction step of building a model by learning the relationship between the shape of the workpiece and the content of the work in the known work and the type of the end effector selected in the work;
When at least one of the work and work content is a new target work to be executed, a plurality of types of end effectors are used based on the shape of the work and the work content in the target work and the model. a selecting step of selecting the end effector suitable for
a confirmation step of confirming whether the operation of gripping the workpiece by the end effector selected in the selection step is good;
including
In the construction step, when the confirmation result of the confirmation step is obtained, the relationship between the shape of the workpiece and the content of the work in the target work and the type of the end effector selected in the selection step determines whether the confirmation result is good or bad. to build the model by associating
In the selecting step, if the confirmation result of the confirming step is unsatisfactory, the end effector suitable for the target work is reselected from a plurality of types of end effectors excluding the already selected end effector.
How to choose an end effector.
前記選択ステップでは、前記対象作業における前記ワークの形状および作業内容と、前記モデルとに基づいて、複数種類の前記エンドエフェクタについて前記対象作業との関連性を示すスコアを算出してスコア順に一覧表示し、作業者による選択に従って前記エンドエフェクタを選択する
エンドエフェクタの選択方法。 A method for selecting an end effector according to claim 1, comprising:
In the selecting step, based on the shape of the work and the work content in the target work and the model, scores indicating the relevance of the plurality of types of end effectors to the target work are calculated and listed in the order of scores. and selecting the end effector according to selection by an operator.
前記選択ステップでは、前記対象作業における前記ワークの形状および作業内容と、前記モデルとに基づいて、複数種類の前記エンドエフェクタについて前記対象作業との関連性を示すスコアを算出し、スコアの高い前記エンドエフェクタを優先的に選択する
エンドエフェクタの選択方法。 A method for selecting an end effector according to claim 1, comprising:
In the selecting step, based on the shape of the work and the work content in the target work and the model, a score indicating the relevance of the plurality of types of end effectors to the target work is calculated, and Select end effector preferentially End effector selection method.
前記ワークの形状および作業内容を含む情報を取得する取得部と、
既知の作業における前記ワークの形状および作業内容と、当該作業で選択された前記エンドエフェクタの種類との関係を学習してモデルを構築する構築部と、
前記ワークおよび作業内容の少なくともいずれかが新規な対象作業が実行される場合、前記対象作業における前記ワークの形状および作業内容と、前記モデルとに基づいて、複数種類の前記エンドエフェクタから前記対象作業に適した前記エンドエフェクタを選択する選択部と、
前記選択部で選択された前記エンドエフェクタによる前記ワークの把持動作の良否を確認する確認部と、
を備え、
前記構築部は、前記確認部の確認結果が得られると、前記対象作業における前記ワークの形状および作業内容と、前記選択部で選択された前記エンドエフェクタの種類との関係に前記確認結果の良否を対応付けて前記モデルを構築し、
前記選択部は、前記確認部の確認結果が不良であった場合、既に選択された前記エンドエフェクタを除いた複数種類の前記エンドエフェクタから前記対象作業に適した前記エンドエフェクタを再選択する
エンドエフェクタの選択システム。 A selection system for an end effector that is replaceably attached to a robot that performs work on a work and grips the work,
an acquisition unit that acquires information including the shape of the work and work content;
a construction unit that builds a model by learning the relationship between the shape of the workpiece and the content of the work in the known work and the type of the end effector selected in the work;
When at least one of the work and work content is a new target work to be executed, a plurality of types of end effectors are used based on the shape of the work and the work content in the target work and the model. a selection unit that selects the end effector suitable for
a confirming unit for confirming whether the end effector selected by the selecting unit has performed a gripping operation of the workpiece;
with
When the confirmation result of the confirmation unit is obtained, the construction unit determines whether the confirmation result is good or bad based on the relationship between the shape of the workpiece and the work content in the target work and the type of the end effector selected by the selection unit. to build the model by associating
The selection unit reselects the end effector suitable for the target work from a plurality of types of end effectors excluding the already selected end effector when the confirmation result of the confirmation unit is unsatisfactory.
End effector selection system.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/027765 WO2020021643A1 (en) | 2018-07-24 | 2018-07-24 | End effector selection method and selection system |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020021643A1 JPWO2020021643A1 (en) | 2021-08-02 |
JP7133017B2 true JP7133017B2 (en) | 2022-09-07 |
Family
ID=69180973
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020531883A Active JP7133017B2 (en) | 2018-07-24 | 2018-07-24 | END EFFECTOR SELECTION METHOD AND SELECTION SYSTEM |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7133017B2 (en) |
WO (1) | WO2020021643A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI707753B (en) * | 2020-05-07 | 2020-10-21 | 鈦昇科技股份有限公司 | Automatic arm replacement mechanism |
DE202021103093U1 (en) * | 2021-06-08 | 2022-06-10 | Dürr Assembly Products GmbH | Apparatus for picking up elongated fasteners from a disordered store |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009117732A (en) | 2007-11-09 | 2009-05-28 | Panasonic Corp | Nozzle |
JP2009148845A (en) | 2007-12-19 | 2009-07-09 | Olympus Corp | Small-size production equipment |
JP2013052490A (en) | 2011-09-06 | 2013-03-21 | Mitsubishi Electric Corp | Workpiece takeout device |
JP2015044274A (en) | 2013-08-29 | 2015-03-12 | 三菱電機株式会社 | Component supply device, and program generation method of the component supply device |
WO2015178377A1 (en) | 2014-05-20 | 2015-11-26 | 株式会社日立製作所 | Assembly instruction device and method |
JP2017030135A (en) | 2015-07-31 | 2017-02-09 | ファナック株式会社 | Machine learning apparatus, robot system, and machine learning method for learning workpiece take-out motion |
US20170265392A1 (en) | 2014-08-26 | 2017-09-21 | Vineland Research and Innovations Centre Inc. | Mushroom Harvester |
JP6325174B1 (en) | 2017-04-04 | 2018-05-16 | 株式会社Mujin | Control device, picking system, distribution system, program, control method, and production method |
-
2018
- 2018-07-24 JP JP2020531883A patent/JP7133017B2/en active Active
- 2018-07-24 WO PCT/JP2018/027765 patent/WO2020021643A1/en active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009117732A (en) | 2007-11-09 | 2009-05-28 | Panasonic Corp | Nozzle |
JP2009148845A (en) | 2007-12-19 | 2009-07-09 | Olympus Corp | Small-size production equipment |
JP2013052490A (en) | 2011-09-06 | 2013-03-21 | Mitsubishi Electric Corp | Workpiece takeout device |
JP2015044274A (en) | 2013-08-29 | 2015-03-12 | 三菱電機株式会社 | Component supply device, and program generation method of the component supply device |
WO2015178377A1 (en) | 2014-05-20 | 2015-11-26 | 株式会社日立製作所 | Assembly instruction device and method |
US20170265392A1 (en) | 2014-08-26 | 2017-09-21 | Vineland Research and Innovations Centre Inc. | Mushroom Harvester |
JP2017030135A (en) | 2015-07-31 | 2017-02-09 | ファナック株式会社 | Machine learning apparatus, robot system, and machine learning method for learning workpiece take-out motion |
JP2017064910A (en) | 2015-07-31 | 2017-04-06 | ファナック株式会社 | Machine learning device for learning taking-out operation of workpiece, robot system, and machine learning method |
JP6325174B1 (en) | 2017-04-04 | 2018-05-16 | 株式会社Mujin | Control device, picking system, distribution system, program, control method, and production method |
Also Published As
Publication number | Publication date |
---|---|
WO2020021643A1 (en) | 2020-01-30 |
JPWO2020021643A1 (en) | 2021-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4174342B2 (en) | Work transfer device | |
CN110784708B (en) | Sensing system, operation system, method for displaying augmented reality image, method for storing augmented reality image, and program | |
CN108698228B (en) | Task creation device, work system, and control device for work robot | |
US20120165986A1 (en) | Robotic picking of parts from a parts holding bin | |
CN110871441B (en) | Sensing system, operating system, augmented reality image display method, and storage medium storing program | |
JP4862765B2 (en) | Surface inspection apparatus and surface inspection method | |
JP5272617B2 (en) | Robot apparatus and control method of robot apparatus | |
CN114286740B (en) | Work robot and work system | |
JP7197653B2 (en) | Image processing device | |
JP7133017B2 (en) | END EFFECTOR SELECTION METHOD AND SELECTION SYSTEM | |
JP5345869B2 (en) | Production system using parts kit | |
CN110405729B (en) | Robot control device | |
WO2018131108A1 (en) | Work machine and pick-up position selection method | |
EP2532490A2 (en) | Automatic working device | |
JP5198161B2 (en) | Handling apparatus and work handling method | |
CN111417496B (en) | Control device, work operation system, and control method | |
JP7373028B2 (en) | Simulation method, simulation system | |
JP2015003348A (en) | Robot control system, control device, robot, control method for robot control system and robot control method | |
CN111278612B (en) | Component transfer device | |
WO2023105637A1 (en) | Device and method for verifying operation of industrial machine | |
CN112010021B (en) | Workpiece conveying system, workpiece positioning system and positioning method thereof | |
JP7105281B2 (en) | work system | |
CN114800483B (en) | Robot control method and robot system | |
JP7440635B2 (en) | robot system | |
JPWO2018042590A1 (en) | Component mounting apparatus and position recognition method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220826 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7133017 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |