JP2024050513A - GRASPING SYSTEM AND MOTION CONTROL METHOD - Google Patents
GRASPING SYSTEM AND MOTION CONTROL METHOD Download PDFInfo
- Publication number
- JP2024050513A JP2024050513A JP2023168921A JP2023168921A JP2024050513A JP 2024050513 A JP2024050513 A JP 2024050513A JP 2023168921 A JP2023168921 A JP 2023168921A JP 2023168921 A JP2023168921 A JP 2023168921A JP 2024050513 A JP2024050513 A JP 2024050513A
- Authority
- JP
- Japan
- Prior art keywords
- ingredient
- gripping
- ingredients
- gripping member
- storage space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 42
- 238000003780 insertion Methods 0.000 claims abstract description 42
- 230000037431 insertion Effects 0.000 claims abstract description 42
- 230000007246 mechanism Effects 0.000 claims abstract description 20
- 230000008878 coupling Effects 0.000 claims abstract description 17
- 238000010168 coupling process Methods 0.000 claims abstract description 17
- 238000005859 coupling reaction Methods 0.000 claims abstract description 17
- 239000004615 ingredient Substances 0.000 description 445
- 238000003860 storage Methods 0.000 description 123
- 230000008569 process Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 30
- 239000011232 storage material Substances 0.000 description 23
- 239000000463 material Substances 0.000 description 21
- 238000003384 imaging method Methods 0.000 description 16
- 238000007790 scraping Methods 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 239000000853 adhesive Substances 0.000 description 10
- 230000001070 adhesive effect Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 7
- 238000007747 plating Methods 0.000 description 7
- 235000013305 food Nutrition 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000004308 accommodation Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000032258 transport Effects 0.000 description 4
- 240000008415 Lactuca sativa Species 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 235000012045 salad Nutrition 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000012029 potato salad Nutrition 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 235000012046 side dish Nutrition 0.000 description 2
- 240000005528 Arctium lappa Species 0.000 description 1
- 235000003130 Arctium lappa Nutrition 0.000 description 1
- 235000008078 Arctium minus Nutrition 0.000 description 1
- 244000061456 Solanum tuberosum Species 0.000 description 1
- 235000002595 Solanum tuberosum Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000004927 clay Substances 0.000 description 1
- 239000004567 concrete Substances 0.000 description 1
- 239000012611 container material Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000004570 mortar (masonry) Substances 0.000 description 1
- 235000012149 noodles Nutrition 0.000 description 1
- 239000011505 plaster Substances 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
【課題】ロボットによって対象物を把持する作業をより適切に行う。【解決手段】把持システムは、脱着機構と、制御手段と、を備える。前記脱着機構は、ロッドを有する第1結合部材と、挿通穴を有する第2結合部材とを備え、前記ロッドを前記挿通穴に挿通することで前記第1結合部材と前記第2結合部材を脱着可能とする。前記制御手段は、前記脱着機構を用いてロボットアームと把持部材とが連結された状態において、前記ロッドが前記挿通穴に挿通される方向とは異なる方向に前記把持部材が動くように、前記ロボットアームの動作を制御する。【選択図】図8[Problem] To more appropriately perform the task of gripping an object using a robot. [Solution] A gripping system includes an attachment/detachment mechanism and a control means. The attachment/detachment mechanism includes a first coupling member having a rod and a second coupling member having an insertion hole, and the first coupling member and the second coupling member can be detached by inserting the rod into the insertion hole. The control means controls the operation of the robot arm such that, in a state in which the robot arm and the gripping member are connected using the attachment/detachment mechanism, the gripping member moves in a direction different from the direction in which the rod is inserted into the insertion hole. [Selected Figure] Figure 8
Description
特許法第30条第2項適用申請有り (1)令和4年3月28日に、ベルサール飯田橋ファーストにて公開 Application for application of
特許法第30条第2項適用申請有り (2)令和4年2月24日に、マックスバリュ東海 長泉流通センターにて公開 Application for application of
特許法第30条第2項適用申請有り (3)令和4年1月19日に、https://connected-robotics.com/2022/01/19/hcj2022/にて公開 Application for application of
特許法第30条第2項適用申請有り (4)令和4年1月19日に、https://prtimes.jp/main/html/rd/p/000000039.000031342.htmlにて公開 Application for application of
特許法第30条第2項適用申請有り (5)令和4年2月15日に、国際ホテル・レストラン・ショー2022にて公開 Application for application of
特許法第30条第2項適用申請有り (6)令和4年2月15日に、テレビ東京 ワールドビジネスサテライトにて公開 Application for application of
特許法第30条第2項適用申請有り (7)令和4年2月28日に、https://robotstart.info/2022/02/28/moriyama_mikata-no146.htmlにて公開 Application for application of
特許法第30条第2項適用申請有り (8)令和4年3月15日に、ポテカル(POTATO CULTURE),2022年4月号(No.140)にて公開 Application for application of
特許法第30条第2項適用申請有り (9)令和4年3月22日に、https://www.youtube.com/watch?v=n2qFYK0DN4Mにて公開 Application for application of
特許法第30条第2項適用申請有り (10)令和4年6月7日に、FOOMA JAPAN 2022(国際食品工業展)にて公開 Application for application of
特許法第30条第2項適用申請有り (11)令和4年4月25日に、https://www.nb-shinbun.co.jp/challenge/64/にて公開 Application for application of
特許法第30条第2項適用申請有り (12)令和4年5月11日に、日本放送協会 おはBizにて公開 Application for application of
特許法第30条第2項適用申請有り (13)令和4年5月25日に、日本物流新聞 令和4年5月25日付刊行にて公開 Application for application of
特許法第30条第2項適用申請有り (14)令和4年6月8日に、日刊工業新聞 令和4年6月8日付刊行にて公開 Application for application of
特許法第30条第2項適用申請有り (15)令和4年6月9日に、https://www.businessinsider.jp/post-255224にて公開 Application for application of
特許法第30条第2項適用申請有り (16)令和4年6月11日に、株式会社TBSテレビ 情報7DAYSにて公開 Application for application of
特許法第30条第2項適用申請有り (17)令和4年7月4日に、https://xtech.nikkei.com/atcl/nxt/column/18/00138/070101076/にて公開Application for application of
特許法第30条第2項適用申請有り (18)令和4年7月8日に、https://xtech.nikkei.com/atcl/nxt/mag/rob/18/00004/00073/にて公開 Application for application of
特許法第30条第2項適用申請有り (19)令和4年7月10日に、日経Robotics2022年8月号(第85号),第14~20頁,株式会社日経ビーピーにて公開Application for application of
特許法第30条第2項適用申請有り (20)令和4年9月28日に、惣菜・デリカJAPAN(SDJ)-惣菜製造自動化・設備機器展にて公開Application for application of
特許法第30条第2項適用申請有り (21)令和4年8月29日に、https://connected-robotics.com/2022/08/29/sdi/にて公開Application for application of
特許法第30条第2項適用申請有り (22)令和4年8月29日に、https://prtimes.jp/main/html/rd/p/000000050.000031342.htmlにて公開 Application for application of
特許法第30条第2項適用申請有り (23)令和4年9月27日に、日刊工業新聞 令和4年9月27日付刊行にて公開Application for application of
特許法第30条第2項適用申請有り (24)令和4年9月7日に、https://www.youtube.com/watch?v=3OHHEAIvr7Iにて公開 Application for application of
特許法第30条第2項適用申請有り (25)令和4年6月1日に、https://www.youtube.com/watch?v=c-EPw_mWAbcにて公開Application for application of
特許法第30条第2項適用申請有り (26)令和4年6月10日に、https://www.youtube.com/watch?v=pAC_wIf0VVMにて公開Application for application of
特許法第30条第2項適用申請有り (27)令和4年6月15日に、https://www.youtube.com/watch?v=lVgexqZqO8wにて公開Application for application of
本発明は、把持システム、及び動作制御方法に関する。 The present invention relates to a gripping system and a motion control method.
近年、把持機能を備えたロボットにより、様々な作業が行われている。例えば、弁当の盛り付け作業をロボットが行う場合、バット等の容器に蓄えられた具材をロボットが所定量把持し、弁当容器の定められた領域に移送して解放(リリース)することで盛り付け作業が実現される。
このような、盛り付けを行うロボットに関する技術は、例えば、特許文献1に開示されている。
In recent years, robots equipped with a gripping function have been used to perform various tasks. For example, when a robot is used to arrange food in a lunch box, the robot grasps a predetermined amount of ingredients stored in a container such as a tray, transports the ingredients to a specified area on the lunch box, and releases them to arrange the food in the lunch box.
Such a technology relating to a plating robot is disclosed in, for example, Japanese Patent Application Laid-Open No. 2003-233696.
このようなロボットによる把持を行うに際し、例えば、脱着するための機構によって、ロボットのロボットアームに把持部材を脱着可能とする場合がある。この場合に、把持部材に対して想定外の力が作用すると把持部材が意図せず外れてしまう、という当業者であれば自明な課題があった。
このように、従来の技術では、ロボットによって対象物を把持する作業を適切に行うために、未だ改善の余地があった。
When such a robot is used for grasping, for example, a grasping member may be detachable from a robot arm of the robot by a mechanism for attachment and detachment. In this case, there is a problem that is obvious to those skilled in the art that the grasping member may be unintentionally detached if an unexpected force acts on the grasping member.
As described above, in the conventional technology, there is still room for improvement in order to properly perform the task of gripping an object by a robot.
本発明の課題は、ロボットによって対象物を把持する作業をより適切に行うことである。 The objective of the present invention is to enable a robot to more appropriately grasp an object.
上記課題を解決するため、本発明の一実施形態に係る把持システムは、
ロッドを有する第1結合部材と、挿通穴を有する第2結合部材とを備え、前記ロッドを前記挿通穴に挿通することで前記第1結合部材と前記第2結合部材を脱着可能とする脱着機構と、
前記脱着機構を用いてロボットアームと把持部材とが連結された状態において、前記ロッドが前記挿通穴に挿通される方向とは異なる方向に前記把持部材が動くように、前記ロボットアームの動作を制御する制御手段と、
を備えることを特徴とする。
In order to solve the above problem, a gripping system according to an embodiment of the present invention comprises:
a detachment mechanism including a first coupling member having a rod and a second coupling member having an insertion hole, the first coupling member and the second coupling member being detachable by inserting the rod into the insertion hole;
a control means for controlling an operation of the robot arm such that, in a state in which the robot arm and the gripping member are connected by the detachment mechanism, the gripping member moves in a direction different from a direction in which the rod is inserted into the insertion hole;
The present invention is characterized by comprising:
本発明によれば、ロボットによって対象物を把持する作業をより適切に行うことができる。 The present invention allows a robot to more appropriately grasp an object.
以下、本発明の実施形態について、図面を参照して説明する。
[実施形態]
[構成]
図1及び図2は、本発明に係る把持システム1全体の構成を示す模式図であり、図1は、把持システム1が複数並べられた状態を示す斜視図、図2は、把持システム1の主要部を拡大した斜視図である。
本実施形態における把持システム1は、材料を取り分ける把持システムに本発明を適用することを想定したものである。以下の説明においては、把持システム1が、材料として弁当に盛り付けられる総菜等の具材を把持し、この具材を弁当の容器に取り分ける場合を例に挙げて説明する。なお、以下の説明において、盛り付けられる具材の量として、重量を例に挙げて説明するが、本発明は、重量以外であっても、体積、かさ、質量等、各種呼称の物理量を対象に適用することが可能である。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
[Embodiment]
[composition]
1 and 2 are schematic diagrams showing the overall configuration of a
The
図1及び図2に示すように、把持システム1は、具材収容部10と、容器供給部20と、多関節ロボット30と、制御装置40と、遮蔽部50と、を備えている。なお、把持システム1に隣接して、弁当の容器を自動的に運搬するベルトコンベア2が設置されている。
As shown in Figures 1 and 2, the gripping
具材収容部10は、把持システム1において取り分けられる総菜等の具材を収容する収容空間10Aを備えている。この収容空間10Aは、例えば、具材収容部10自体により構成されてもよいし、具材収容部10に設置可能な大型のバットやトレー等の汎用の容器により構成されてもよい。そして、この収容空間10Aには、例えば、ポテトサラダ等の練りサラダのように粘性あるいは粘着性を有する具材を含む総菜が収容される。本実施形態において、具材収容部10には、1種類の具材が複数食分(例えば、数十~数百食分)収容されているものとする。そして、複数の把持システム1がそれぞれ異なる具材を1つの弁当の容器に盛り付けることで、弁当の盛り付け作業を完了させることができる。具材収容部10の収容空間10Aは、作業者が手作業によって、又は、多関節ロボット30が自動的に交換することが可能である。
The
容器供給部20は、把持システム1において、具材が盛り付けられる所定位置(図2中の盛り付け位置P1)に弁当の容器を供給する。容器供給部20には、弁当の容器が複数収容されており、把持システム1が動作を開始すると、容器を1つずつ盛り付け位置P1に供給する。また、盛り付け位置P1には、弁当の容器の重量を計測する重量センサ21が設置されており、盛り付け位置P1において具材が盛り付けられると、盛り付けられた具材の重量(すなわち、盛り付けによって増加した重量)を計測する。このとき計測された重量のデータは、制御装置40に出力される。そして、重量の計測が終了すると、容器供給部20に備えられた押し出し機構によって、弁当の容器がベルトコンベア2に搬出される。
The
多関節ロボット30は、例えば、水平多関節ロボットあるいは垂直多関節ロボット等によって構成され、盛り付けられる具材を把持可能なハンド31と、可動範囲において任意の位置にハンド31を移動させるロボットアーム32と、を備えている。
また、多関節ロボット30のハンド31を保持する関節には、ハンド31が把持部材31aにより把持した具材の物理量を取得する手段の一例として、把持した具材の重量を計測する重量センサ30Aが設置されている。また、多関節ロボット30のハンド31を保持する関節には、ハンド31が具材に接触したことを検出する手段の一例として、接触した具材からの反力(表面に接触されることで得られる力覚を含む)を計測する力センサ30Bが設置されている。重量センサ30Aによって計測された具材の重量(すなわち、把持された具材の重量)のデータや、力センサ30Bによって計測された具材からの反力(すなわち、具材への接触の検出結果)のデータは、制御装置40に出力される。
The articulated
A
更に、ハンド31を保持する関節は、ロボットアーム32に対してハンド31を捻り方向に回転させる軸を備えている。そのため、ハンド31が具材を把持する際に、ハンド31の向きを変化させることで、ハンド31が開閉する方向を調整することができる。これにより、ハンド31が容器の内壁面近傍に達した際に、収容空間10Aの内壁面と平行な方向にハンド31が開閉するようにハンド31の向きを変更することが可能となり、容器内壁面近傍の具材を把持し易くなる。
Furthermore, the joint that holds the
図3は、ハンド31の先端に設置される把持部材31aの形状例を示す模式図である。
なお、図3においては、一対で用いられる把持部材31aの一方のみが示されている。
図3に示すように、本実施形態における把持部材31aは、天板部と、主板部と、第1側板部と、第2側板部と、により構成されている。天板部は、長方形状の平面を有している。また、主板部は、天板部の有する平面を水平とした場合に、この平面の長手方向の一端から、この平面の長手方向の他端の鉛直下方の離間した位置に向かって傾斜して延在している。更に、第1側板部と第2側板部は、天板部を有する平面を水平とした場合に、この平面の短手方向の両端それぞれから鉛直下方に向かって延在している。
FIG. 3 is a schematic diagram showing an example of the shape of the gripping
In FIG. 3, only one of the pair of gripping
As shown in Fig. 3, the gripping
図4は、一対の把持部材31aの開閉について示す図である。図3に示す把持部材31aは、結合部材(図示を省略する)により、それぞれの主板部の内面が対向するようにハンド31に結合される。そして、把持動作を行うにあたって、図4(a)及び図4(b)に示すように開閉方向(ここでは、一対の把持部材31aそれぞれの主板部の内面が対向する方向)に沿って、開く動作及び閉じる動作を行う。そして、図3に示すような把持部材31aの形状により、ハンド31が一対の把持部材31aを閉じた場合に、把持部材31a同士が当接することで、少なくとも先端及び側板部が閉じた内面が具材を把持するための容器形状となる。
Figure 4 is a diagram showing the opening and closing of a pair of gripping
このような把持部材31aの形状の場合、練りサラダ等の具材に対して、把持部材31aの先端を表面から垂直に差し込み、所定の深さで一対の把持部材31aを閉じて具材を持ち上げることで、ほぼ一定量の具材を把持して収容空間10Aから取り出すことが可能となる。また、この把持により取り出した具材を、盛り付け位置P1の弁当の容器に解放することで、ほぼ一定量の具材を盛り付けることができる。
In the case of such a shape of the
ただし、仮に従来の技術をそのまま用いると、ポテトサラダのように粘性あるいは粘着性を有するものが具材である場合には、多関節ロボット30が把持や解放を行う際に、粘性あるいは粘着性が原因となり、具材が多関節ロボット30の把持部材31aに付着してしまう。そして、このような想定外の付着が発生すると、適正量を把持して解放するといった作業を適切に行うことが困難となる。
例えば、重量センサ30Aによって多関節ロボット30が把持している具材の量(ここでは、重量)を計測する際に、多関節ロボット30が実際に把持している具材の量に加えて、付着している具材の量まで計測されてしまうので、精度高く計測をすることが困難となる。あるいは、他の例として、把持部材31aの大きさや形状等に基づいて、把持する量を推定して把持を行う際に、推定に基づいて把持した具材に加えて、付着した具材も共に解放してしまう。
そこで、本実施形態では、後述の「除去動作」を行うことで、このような事態の発生を防止する。
However, if the conventional technology is used as is, when the ingredients are viscous or sticky, such as potato salad, the viscosity or stickiness of the ingredients will cause them to adhere to the gripping
For example, when the
Therefore, in this embodiment, the occurrence of such a situation is prevented by performing a "removal operation" described later.
また、一対の把持部材31aそれぞれの先端は平坦(先端が直線状の縁部を有する形状)であると共に、この先端は、収容空間10Aの底面と平行となるように設置される。これにより、把持部材31aは、後述するレベリング動作(具材の表面を平坦化する動作)に適した形状であると共に、レベリング動作を行い易い形態で設置することが可能となっている。
なお、以下の説明において、これら一対の把持部材31aのそれぞれを区別することなく説明する際は、単に「把持部材31a」と称する。
The tip of each of the pair of gripping
In the following description, when the pair of gripping
図1及び図2に戻り、制御装置40は、PC(Personal Computer)又はプログラマブルコントローラ等の情報処理装置によって構成され、各種プログラムを実行することにより、把持システム1全体を制御する。例えば、制御装置40は、容器供給部20が容器を供給する動作、及び多関節ロボット30が具材収容部10から具材を把持して盛り付ける動作等を制御する。
Returning to Figures 1 and 2, the
遮蔽部50は、把持システム1において、具材収容部10、容器供給部20及び多関節ロボット30が設置された領域の周囲及び情報を囲う板状部材によって構成されている。遮蔽部50を構成する板状部材は、ガラス又は樹脂等の透明な材料によって構成され、外部から把持システム1の稼動状況を視認することが可能となっている。また、遮蔽部50が構成する側壁の一部には、開閉可能な扉が設置されている。具材収容部10の収容空間10Aの交換、容器供給部20への容器の追加あるいは把持システム1のメンテナンス等が行われる場合、作業者は遮蔽部50の扉を開けて各種作業を行うことができる。
The shielding
[制御装置40のハードウェア構成]
図5は、制御装置40のハードウェア構成を示す模式図である。
図5に示すように、制御装置40は、CPU(Central Processing Unit)711と、ROM(Read Only Memory)712と、RAM(Random Access Memory)713と、バス714と、入力部715と、出力部716と、記憶部717と、通信部718と、ドライブ719と、を備えている。
[Hardware configuration of the control device 40]
FIG. 5 is a schematic diagram showing the hardware configuration of the
As shown in FIG. 5 , the
CPU711は、ROM712に記録されているプログラム、又は、記憶部717からRAM713にロードされたプログラムに従って各種の処理を実行する。
RAM713には、CPU711が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
The
CPU711、ROM712及びRAM713は、バス714を介して相互に接続されている。バス714には、入力部715、出力部716、記憶部717、通信部718及びドライブ719が接続されている。
The
入力部715は、マウスやキーボード等の入力装置を備え、制御装置40に対する各種情報の入力を受け付ける。なお、入力部715としてマイクを備え、作業者の音声入力によって各種情報の入力を受け付けることとしてもよい。
出力部716は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部717は、ハードディスクあるいはDRAM(Dynamic Random Access Memory)等で構成され、各サーバで管理される各種データを記憶する。
通信部718は、ネットワークを介して他の装置との間で行う通信を制御する。
The
The
The
The
ドライブ719には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア731が適宜装着される。ドライブ719によってリムーバブルメディア731から読み出されたプログラムは、必要に応じて記憶部717にインストールされる。
なお、上記ハードウェア構成は、制御装置40の基本的構成であり、一部のハードウェアを備えない構成としたり、付加的なハードウェアを備えたり、ハードウェアの実装形態を変更したりすることができる。
It should be noted that the above hardware configuration is the basic configuration of the
[機能的構成]
次に、制御装置40の機能的構成について説明する。
図6は、制御装置40の機能的構成を示すブロック図である。
図6に示すように、把持システム1の動作を制御するためのプログラムを実行することにより、制御装置40のCPU711においては、センサ情報取得部151と、具材状態判定部152と、具材量判定部153と、多関節ロボット制御部154と、容器供給制御部155と、記録制御部156と、が機能する。また、記憶部717には、パラメータ記憶部171と、履歴データベース(履歴DB)172と、が形成される。
[Functional configuration]
Next, the functional configuration of the
FIG. 6 is a block diagram showing the functional configuration of the
6, by executing a program for controlling the operation of the
パラメータ記憶部171には、把持システム1が動作する際に用いられる各種パラメータが記憶されている。例えば、パラメータ記憶部171には、具材収容部10の収容空間10Aの位置、容器供給部20から供給される弁当の容器の位置、弁当の容器内における具材を盛り付ける領域の位置、具材を把持する際のハンド31の具材への差し込み量と把持される具材の重量との関係(関数あるいはテーブル形式のデータ等)、多関節ロボット30の動作パターンを定義するパラメータ等が記憶される。本実施形態において、ハンド31の具材への差し込み量は、具材の重量(物理量)を推定する指標となっている。すなわち、ハンド31の具材への差し込み量と把持される具材の重量との関係から、把持された具材の実際の重量(目標とする把持重量)は、ハンド31の具材への差し込み量を基に推定される。
The
履歴DB172には、把持システム1が動作した際に取得される制御に関するパラメータ、あるいは把持システム1で取り分けられた具材の重量の計測データが記憶される。また、履歴DB172には、具材収容部10の収容空間10Aにおける具材の状態を示す具材状態マップも記憶される。
図7は、履歴DB172に記憶される具材状態マップについて説明するための図であって、具材収容部10の収容空間10Aを鉛直上方から俯瞰した図である。図7に示すように、本実施形態では、収容空間10Aを、複数の列(ここでは、A列~C列)と、複数の行(ここでは、第1行~第5行)で区分けした複数の領域(ここでは、領域A1~領域C5)として管理している。そして、後述の記録制御部156は、把持システム1が把持動作をした際に取得された具材の重量及び具材の反力の計測データや、後述の具材状態判定部152による判定結果や、把持システム1で取り分けられた具材の重量の計測データに基づいて、各領域の具材の状態を検出し、各領域を管理する番号(ここでは、領域A1~領域C5)に紐づけて記憶することで、具材状態マップを生成する。この場合、具材の状態とは、各領域における具材の残量や、後述の具材状態判定部152が判定した具材の深さや平坦度合である。
Figure 7 is a diagram for explaining the ingredient status map stored in the
また、収容空間10A内の具材が取り分けられた後に、収容空間10Aが新たに交換された場合には、予め定められた所定量の具材(例えば、収容空間10Aに対して充分な量の具材)が、所定の状態(例えば、平坦な状態)で収容されているものとして具材状態マップが更新される。
In addition, if the
なお、多関節ロボット30により、把持動作を実行する場合、例えば、図7に矢印で示すように、収容空間10Aを形成する内壁面に沿って、時計回りあるいは反時計回りの順に把持動作が行われる。例えば、領域A1、領域B1、領域C1、領域C2、・・・といった順に把持動作が行われる。あるいは、収容空間10A内の具材の状態によっては、例えば、収容空間10Aの内壁面に沿っていない領域(ここでは、領域B2、領域B3、及び領域B4)においても、適宜把持動作が行われる。
When the articulated
図6に戻り、センサ情報取得部151は、把持システム1に設置された各種センサによって検出された情報であるセンサ情報を取得する。例えば、センサ情報取得部151は、多関節ロボット30の関節に設置された重量センサ30Aによって計測された具材の重量のデータや、力センサ30Bによって計測された具材からの反力のデータや、容器供給部20の重量センサ21によって計測された具材の重量のデータを取得する。
Returning to FIG. 6, the sensor
具材状態判定部152は、力センサ30Bによって計測された具材からの反力のデータに基づいて、具材の状態を認識する。例えば、具材状態判定部152は、力センサ30Bによって計測された具材からの反力のデータから、収容空間10A内の具材の深さ(収容空間10A内の具材表面から収容空間10A底面までの深さ)、表面の平坦度合(表面がどの程度荒れているか)を認識する。本実施形態では、カメラを用いた画像解析で具材の状態を判定するといった手法ではなく、力センサ30Bを用いた反力に基づいて具材の状態を測定するといった手法を用いる。そのため、例えば、カメラの導入コストや管理コストを削減できると共に、カメラの死角等を考慮する必要がないので、多関節ロボット30と収容空間10Aの位置等の配置をより柔軟に選択することができる。また、具材から生じる湯気や、照明の影響を考慮する必要もない。
The ingredient
そして、具材状態判定部152は、具材の深さ及び表面の平坦度合を認識すると、これらが具材を把持するための条件に適合しているか否か(例えば、具材の深さ及び平坦度合が設定された閾値以上であるか否か)を判定する。なお、具材の表面の平坦度合は、例えば、表面が有する凹凸の大きさの絶対値等に基づいて定義することができ、具材の表面が平坦であるほど大きい値となるように定義することができる。また、具材の表面の部分毎に平坦度合を判定することとしてもよい。また、具材状態判定部152は、収容空間10A内の具材の状態が、一度の把持動作で規定量の具材を把持可能であるか否かを判定する。
The ingredient
具材量判定部153は、多関節ロボット30の重量センサ30Aによって計測された具材の重量のデータや、容器供給部20の重量センサ21によって計測された具材の重量のデータに基づいて、規定量の具材が把持されたか否か、及び、規定量の具材が弁当の容器に取り分けられたか否かを判定する。
The ingredient
多関節ロボット制御部154は、多関節ロボット30の動作を制御し、把持システム1において定義されている動作パターンに従って、具材を取り分けるための一連の動作を多関節ロボット30に実行させる。例えば、多関節ロボット制御部154は、多関節ロボット30のハンド31によって具材を把持する動作(把持動作)、把持した具材を弁当の容器に移送する動作(移送動作)、把持している具材を解放する動作(解放動作)、収容空間10A内の具材の表面を平坦にする動作(レベリング動作)、収容空間10A内の具材を寄せ集める動作(スクレイピング動作)等を多関節ロボット30に実行させる。
The articulated
また、他にも多関節ロボット制御部154は、把持部材31aに付着した具材を目標物となる他の具材に接触させた状態で把持部材31aを移動することにより、把持部材31aに付着した具材を他の具材に新たに付着させて除去する動作(除去動作)を多関節ロボット30に実行させる。
In addition, the articulated
図8は、これら各動作を実行する場合の、収容空間10A、ハンド31、把持部材31a、ロボットアーム32、及び具材の位置関係について示す図である。図10では、鉛直方向をZ方向と称し、このZ方向と直交する第1の水平方向(紙面と直交する方向)をY方向と称し、これらZ方向及びY方向のそれぞれと直交する第2の水平方向をX方向と称する。すなわち、Z方向、Y方向、及びX方向はそれぞれ互いに直行する方向である。
Figure 8 is a diagram showing the positional relationship of the
ハンド31は、ロボットアーム32の先端に配置される。また、把持部材31aは、結合部材により、このハンド31に結合されることで、ハンド31に支持される。そして、このハンド31及びこれに結合された把持部材31aは、多関節ロボット制御部154の制御するロボットアーム32の動作に従って、X方向、Y方向、及びZ方向の各方向における、可動範囲内に移動することが可能である。また、ハンド31は、不図示のアクチュエータによって、一対の把持部材31aをY方向に開閉することで、把持動作を実現する。
また、ハンド31及びこれに結合された把持部材31aは、Z方向を回転軸として回転することが可能である。
このような構成により、多関節ロボット制御部154は、各動作を実行する際に、ハンド31及び把持部材31aの、位置や向きを任意に変化させることができ、これにより各動作を適切に実行することが可能となる。
The
In addition, the
With this configuration, the articulated
また、本実施形態では、2つの結合部材により脱着機構が実現され、この脱着機構を用いて、把持部材31aが、ロボットアーム32先端のハンド31に連結される。
この脱着機構を実現するために、第1結合部材は、複数のロッドと、ベース部材を備えている。複数のロッドは、所定間隔で並べて設置され、結合時に第2結合部材と対向する方向(図10中の-x方向)にロッド先端部が突出した形状をしている。また、ベース部材は、この複数のロッドを保持すると共にハンド31の先端に配置される。
一方で、第2結合部材は、ベース部材と、磁石とを備えている。ベース部材は、第1結合部材のロッド間隔に合わせて設置された複数の挿通穴を有すると共に、把持部材31aの天板部に配置される。磁石は、挿通穴それぞれの内部における奥側の端部(ロッドが挿入される側とは逆の端部)に固定される。
そして、作業者が第1結合部材の各ロッドを、図中の-X方向(図中「差し込み方向」)に向けて、第2結合部材の各挿通穴に挿通することで、各ロッドの先端が各挿通穴内で磁石に磁力で吸着される。このような構造により、脱着機構は実現される。
In this embodiment, a detachment mechanism is realized by two connecting members, and the gripping
To realize this detachment mechanism, the first coupling member includes a plurality of rods and a base member. The rods are arranged at a predetermined interval and have a shape in which the tips of the rods protrude in a direction facing the second coupling member when coupled (the -x direction in FIG. 10). The base member holds the rods and is disposed at the tip of the
On the other hand, the second connecting member includes a base member and a magnet. The base member has a plurality of insertion holes arranged to match the rod spacing of the first connecting member, and is disposed on the top plate of the gripping
Then, when an operator inserts each rod of the first connecting member into each insertion hole of the second connecting member in the -X direction in the figure (the "insertion direction" in the figure), the tip of each rod is attracted by the magnetic force of the magnet in each insertion hole. With this structure, the attachment/detachment mechanism is realized.
また、この脱着機構においては、把持部材31aに対して、図10中のY方向(把持方向及び開放方向)及びZ方向(高さ方向)に力が作用する場合、各ロッドと各挿通穴との嵌め合い構造によって保持力が発揮される。また、把持部材31aに対して、図10中のX方向に力が作用する場合、図中の-X方向(図中「差し込み方向」)については、ロッドと磁石との当接力によって保持力が発揮されると共に、+X方向(図中「引抜き方向」)については、ロッドと磁石との磁力による吸着力によって保持力が発揮される。
In addition, in this attachment/detachment mechanism, when a force acts on the gripping
食品の取り分け作業等においては、定期的に把持部材31aを洗浄等するため、把持部材31aを高い頻度で脱着する必要がある。しかし、このような脱着機構であれば、ロッドの挿通穴に対する挿通と、磁石(永久磁石)による吸着作用で、作業で必要となる充分な保持力を実現することができる。また、このような脱着機構により、把持部材31aの脱着が容易なものとなる。
When serving food, etc., the gripping
図9(a)及び図9(b)は、把持動作における一連の動作の概念を示す模式図である。図示するように、収容空間10A内にはこれから把持動作の対象となる具材が収容されている。なお、図中及び以下の説明では、この収容されている具材を適宜「収容具材」と称する。
このような状態において、多関節ロボット30が把持動作を行い、把持部材31aにより具材を把持する。
9(a) and 9(b) are schematic diagrams showing the concept of a series of operations in a gripping operation. As shown in the figures, the ingredients to be gripped are contained in the
In this state, the articulated
まず図9(a)に示すように、多関節ロボット30は、把持部材31aを下降させることで、把持部材31aを収容具材に差し込む。そして、多関節ロボット30は、多関節ロボット制御部154の制御に基づく所定の深さまで把持部材31aを差し込むと、把持部材31aの下降を停止する。
First, as shown in FIG. 9(a), the articulated
次に図9(b)に示すように、多関節ロボット30は、収容具材に差し込まれた把持部材31a同士が当接するまで閉じる。これにより、多関節ロボット制御部154が推定した重量だけの具材を把持することができる。なお、図中及び以下の説明では、この収容されている具材を適宜「把持具材」と称する。
Next, as shown in FIG. 9(b), the articulated
図10(a)~図10(c)は、把持動作の後に行われる除去動作における一連の動作の概念を示す模式図である。図示するように、収容空間10A内には収容具材が収容されている。また、把持部材31aは、閉じた状態であり、把持具材の把持を継続している。さらに、把持部材31aの外面には、把持動作において収容具材に差し込まれたことに伴い、粘性あるいは粘着性を有する具材が付着している。なお、図中及び以下の説明では、この付着している具材を適宜「付着具材」と称する。
このような状態において、多関節ロボット30が除去動作を行い、把持部材31aに付着した具材を、把持部材31aから除去する。
10(a) to 10(c) are schematic diagrams showing the concept of a series of operations in a removal operation performed after a gripping operation. As shown in the figures, a storage material is stored in the
In this state, the articulated
まず図10(a)に示すように、多関節ロボット30は、把持動作を完了して把持具材を把持している状態の把持部材31aの先端と、把持動作をした領域に隣接する付近の領域の収容具材の表面とが同等の高さとなるまで、把持部材31aを上昇させる。
First, as shown in FIG. 10(a), the articulated
次に図10(b)に示すように、多関節ロボット30は、把持部材31aに付着した付着具材を目標物となる収容具材に接触させた状態で把持部材31aを移動することにより、把持部材31aに付着した付着具材を収容具材に新たに付着させて除去する。
この場合、把持部材31aの移動方向は適宜設定できるが、例えば、収容具材により形成される表面に対して平行な方向に把持部材31aを移動させる。本実施形態であれば、収容具材の表面は略水平面であるので、把持部材31aの天板部が水平となった状態及び図10(a)で上昇させた把持部材31aの高さを維持しつつ、水平方向に把持部材31aを移動させる。
このように、多関節ロボット30は、具材の特性である粘性あるいは粘着性を利用し、付着具材を収容具材に対してあたかも擦り付けるようにすることで、付着具材を把持部材31aから除去をする。
Next, as shown in FIG. 10(b), the articulated
In this case, the moving direction of the gripping
In this manner, the articulated
次に図10(c)に示すように、多関節ロボット30は、この擦り付けのための把持部材31aの移動が終了すると、把持部材31aを上昇させる。図示するように、擦り付けにより、付着具材は把持部材31aから除去され、付着具材は新たな収容具材の一部となり再利用される。また、擦り付けにより、把持動作を実行した箇所や、この箇所に隣接する付近の領域の収容具材の表面は平坦化する。
これにより除去動作は完了し、規定量の具材が把持されたか否かの判定が行われることになる。
Next, as shown in Fig. 10(c), when the movement of the gripping
This completes the removal operation, and a determination is then made as to whether or not a specified amount of ingredient has been grasped.
このように、本実施形態では、除去動作を行うことにより、把持部材31aに付着しており、適切な制御を妨げていた付着具材を除去することができる。そのため、例えば、多関節ロボット30が実際に把持している把持具材の量を精度高く検出することができる。他にも、例えば、実際に把持する具材の量や、実際に解放する具材の量を、ロボットの制御において推定していた量とすることができる。
すなわち、把持システム1によれば、ロボットによって具材を把持する作業をより適切に行うことができる。
In this manner, in this embodiment, by performing the removing operation, it is possible to remove the attached ingredients that are attached to the gripping
In other words, the gripping
また、図8を参照して上述したように、本実施形態では、第1結合部材と第2結合部材により実現される脱着機構により、把持部材31aをロボットアーム32先端のハンド31に結合している。ただし、除去動作における擦り付け時において、収容具材の抵抗力が大きかったりした場合に、脱着機構において想定外の力が把持部材31aに作用し、把持部材31aが意図せず外れてしまうおそれがある。
図8を再度参照して説明すると、擦り付け時の抵抗力が大きい場合に、脱着機構において、把持部材31aに対して、図中の-X方向(図中「差し込み方向」)に力が作用するのであれば、ロッドと磁石との当接力が更に増すことになるので、把持部材31aが外れることはない。一方で、擦り付け時の抵抗力が大きい場合に、把持部材31aに対して、図中の+X方向(図中「引抜き方向」)に力が作用した場合、その作用する力が、ロッドと磁石との磁力による吸着力による保持力を超えてしまい、把持部材31aが外れてしまうおそれがある。すなわち、図中の+X方向(図中「引抜き方向」)への移動での擦り付けや、X方向における往復運動で擦り付けを行うような場合には、把持部材31aが外れてしまうおそれがある。
そこで、多関節ロボット制御部154は、除去動作では、仮に擦り付け時の抵抗力が大きかったとしても把持部材31aが外れないように、図中+Y方向あるいは-Y方向への移動での擦り付け、あるいはY方向における往復運動での擦り付けを行うように、多関節ロボット30の動作を制御する。これにより、脱着機構において、図中の+X方向(図中「引抜き方向」)と直交するY方向に力が作用することになるので、図中の+X方向(図中「引抜き方向」)に力が作用して、把持部材31aが外れてしまうような事態を防止することができる。
8, in this embodiment, the gripping
8 again, if the resistance force during rubbing is large, and a force acts on the gripping
Therefore, in the removal operation, the articulated
また、この除去動作は、把持部材31aが移動することで実現される。そのため、付着具材を除去するために把持部材31aを他の部材に交換するような必要もない、という効果も奏する。
更に、この除去動作は、除去した付着具材を、収容空間10Aに戻して収容具材とすることで、次回以降の把持動作の対象とすることができる。すなわち、除去した除去具材を無駄にすることなく活用できる。
更に、この除去動作を行うことで、付着具材が除去された状態で把持具材の重量のみを精度高く計測できる。これにより、把持部材31aにより把持している把持具材の重量が適正であるか否かを正確に判定することができる。
In addition, this removing operation is realized by moving the gripping
Furthermore, in this removing operation, the removed adhesive material is returned to the
Furthermore, by performing this removing operation, the weight of the gripping material alone can be measured with high accuracy in a state in which the attached material has been removed, so that it is possible to accurately determine whether the weight of the gripping material gripped by the gripping
なお、除去動作において、擦り付けを行うために上昇させるべき高さ(収容具材表面と把持部材31aの先端との相対的な高さ)、擦り付けを行う際に把持部材31aを移動させる方向、移動範囲(ストローク)、移動回数、移動速度といったものについては、具材の性質(例えば、粘性あるいは粘着性の度合い)や具材の大きさや具材の形状や盛り付け作業に要求される早さ等を考慮して予め設定しておくことができる。
In addition, in the removal operation, the height to which the gripping
また、このように除去動作について様々な設定をする場合に、上記した「把持部材31aの天板部が水平となった状態及び図10(a)で上昇させた把持部材31aの高さを維持しつつ、水平方向に把持部材31aを移動させる。」という擦り付けの方法はあくまで一例に過ぎない。必ずしも水平方向に移動する必要はなく、他の方向へ移動するようにしてもよい。例えば、具材の特性である粘性あるいは粘着性に加え重力も考慮して鉛直方向に移動したり、水平方向と鉛直方向の動きを組み合わせたりしてもよい。あるいは、水平方向や鉛直方向以外の、他の方向に移動してもよい。
In addition, when various settings are made for the removal operation in this way, the above-mentioned rubbing method of "moving the gripping
他にも、ある方向に向かって移動するのではなく、例えば、把持部材31aの高さを維持しつつ、水平面上で鉛直方向を回転軸として把持部材31aを回転するように移動してもよい。この場合、例えば、把持部材31aの先端からはみ出て付着具材となってしまっている棒状(例えば、ごぼうサラダ)や線状(例えば、麺)の形状の具材を途中で切断して、除去するようなことができる。
In addition, instead of moving in a certain direction, for example, the gripping
他にも、例えば、除去動作を実行する際の把持部材31aの位置が、収容具材を収容する収容空間10Aの何れの位置であるかに基づいて、除去動作にて多関節ロボット30が把持部材31aを移動させる方向を決定するようにしてもよい。この点について、図7を再度参照して説明する。ここでは、把持部材31aを水平方向に移動させる場合を例にとる。
In another example, the direction in which the articulated
仮に把持動作を実行する際の把持部材31aの位置が領域A2であったとする。この場合、複数方向に移動をした方が擦り付けの効果が高いと想定して、把持部材31aを、領域A2を経由して領域A1と領域A3を往復するように移動させる。
あるいは、仮に把持動作を実行する際の把持部材31aの位置が領域B2であったとする。この場合、隣接する各領域で収容具材の表面の高さが均等となるように、把持部材31aを、領域B2と、領域B2と収容具材の表面の高さが大きく異なる領域とを往復するように移動させる。
Suppose that the position of the gripping
Alternatively, suppose that the position of the gripping
あるいは、仮に把持動作を実行する際の把持部材31aの位置が領域A1のように収納空間10Aの隅の位置であったとする。この場合、内壁面側の方向に把持部材31aを移動させて擦り付けを行うと、把持部材31a(あるいは、ハンド31)が、内壁面に衝突するおそれがある。そのため、このような場合は、把持部材31aを、領域A1と領域A2を往復するように移動させる。あるいは、把持部材31aを、領域A1と領域B1を往復するように移動させる。このように、内壁面側と逆の方向に把持部材31aを移動させることで、把持部材31aが収容空間10Aを形成する内壁面に衝突するようなことを防止できる。また、他にも、この場合には、把持部材31aを一旦収容具材の表面に接触しない高さまで上昇させた上、例えば、領域B2のような収容空間10Aの隅ではない位置に把持部材31aを移動させる。そして、移動先の領域を中心として、改めて擦り付けを行うようにしてもよい。このように、移動先の領域において擦り付けを行うことによっても、把持部材31aが収容空間10Aを形成する内壁面に衝突するようなことを防止できる。
Alternatively, suppose that the position of the gripping
なお、上述したように、ハンド31及びこれに結合された把持部材31aは、鉛直方向を回転軸として回転することが可能である。そのため、仮に把持部材31aが、所定の方向(例えば、把持における開閉方向)にだけ移動させることが望ましく、他の方向には移動させることが望ましくないという制限がある構造であったとしても、把持部材31aを回転させることによって任意の方向に対して擦り付けを実行することができる。
As described above, the
図11は、収容空間10A内の具材の状態例を示す模式図である。
また、図12は、レベリング動作の概念を示す模式図、図13は、スクレイピング動作の概念を示す模式図である。
図11に示すように、収容空間10A内の具材の表面の平坦度合が低い(荒れている)場合、図12に示すように、多関節ロボット30がレベリング動作を行い、把持部材31aによって表面を平坦化する。なお、レベリング動作を行う場合、把持部材31aの先端が平坦である(直線状の縁部を有する)ことを利用し、収容空間10Aの底面と把持部材31aの先端とが平行な状態を維持して、把持部材31aを収容空間10Aの底面から同一の高さで移動させることができる。また、レベリング動作において、把持部材31aの外面が平面であることを利用して、具材に把持部材31aの外面を押し付けて平坦化したり、把持部材31aの外面で具材表面をなでることで平坦化したりすることも可能である。
FIG. 11 is a schematic diagram showing an example of the state of ingredients in the
FIG. 12 is a schematic diagram showing the concept of a leveling operation, and FIG. 13 is a schematic diagram showing the concept of a scraping operation.
As shown in Fig. 11, when the flatness of the surface of the ingredient in the
また、図11に示すように、収容空間10A内の具材の深さが把持動作を行うために十分でない場合、図13に示すように、多関節ロボット30がスクレイピング動作を行い、把持部材31aによって具材を寄せ集めて、把持動作を行うために十分な深さとする。なお、図13に示すように、具材に把持部材31aの外面を押し当てて移動させることによって、具材を寄せ集めることの他、具材を把持部材31aで把持し、他の部分の具材の上に積み上げることで寄せ集めることとしてもよい。
Also, as shown in FIG. 11, if the depth of the ingredients in the
図6に戻り、容器供給制御部155は、容器供給部20を制御し、把持システム1において取り分けられる具材を盛り付けるための弁当の容器を所定のタイミングで盛り付け位置P1に供給させる。また、容器供給制御部155は、容器供給部20を制御し、具材が盛り付けられた弁当の容器をベルトコンベア2に搬出させる。
Returning to FIG. 6, the container
記録制御部156は、把持システム1が把持動作した際に取得された制御に関するパラメータ及び把持システム1で取り分けられた具材の重量の計測データを履歴DB172に記憶する。また、記録制御部156は、図7を参照して上述した、具材収容部10の収容空間10Aにおける具材の状態を示す具材状態マップを作成及び更新すると共に、この具材状態マップについても履歴DB172に記憶する。
The
[具材の具体的な把持方法]
本実施形態に係る把持システム1においては、具材及び使用される把持部材31aの種類に応じて、把持部材31aを具材に差し込む深さ(差し込み量)と、そのときに把持される具材の重量との関係が、予め把握されている。例えば、把持される具材の密度(単位深さあたりの重量を表すパラメータ)を予め計測しておき、具材の密度と把持部材31aを差し込む深さとの乗算値を要素とする関数によって、把持される重量を算出(推定)することができる。これにより、簡単な演算によって、把持される具材の重量を推定することができる。
[Specific method of holding ingredients]
In the
また、このように算出される重量をテーブル形式のデータとして保持しておくこともできる。更に、1回の把持動作で平坦度合いが低下する具材の表面の範囲が把握できるため、収容空間10A内の具材の表面において、把持動作毎に把持位置をずらすピッチが設定されている。また、予め設定された把持部材31aを差し込む深さ及びピッチに基づいて、具材の表面のいずれの位置からどのように具材を把持するかの基本的な動作パターンが設定されている。
The weight calculated in this manner can also be stored as data in table format. Furthermore, since it is possible to grasp the range of the surface of the ingredient where the flatness decreases with one gripping operation, a pitch is set for shifting the gripping position for each gripping operation on the surface of the ingredient in the
なお、上述したように、収容空間10A内の具材の表面の平坦度合が具材を把持するための条件に適合しない場合、レベリング動作が行われ、具材の表面が平坦化される。また、収容空間10A内の具材の深さが具材を把持するための条件に適合しない場合、スクレイピング動作が行われ、具材が寄せ集められる。
そして、具材の表面の平坦度合及び深さが具材を把持するための条件に適合している場合、基本的な動作パターンに従って、以下のように把持動作が行われる。
As described above, if the flatness of the surface of the ingredient in the
Then, if the flatness and depth of the surface of the ingredient meet the conditions for grasping the ingredient, the grasping operation is performed according to the basic operation pattern as follows.
図14は、ハンド31による把持動作の一例を示す模式図である。
図14に示すように、ハンド31が具材を把持する場合、(1)具材にアプローチする、(2)具材の表面を検出する、(3)把持部材31aを具材に差し込む、(4)把持部材31aを閉じる、(5)把持した具材の重量(物理量)を計測する、という手順で具材が把持される。把持した重量が規定量に適合する場合、弁当の容器に具材が移送されて解放される。なお、把持した重量が規定量に適合するとは、例えば、目標とする重量に対して、把持した具材の重量が所定誤差以内(±15%以内等)にあることをいう。ただし、把持部材31aに具材が粘着して解放されないケースを考慮し、把持した重量が規定量よりも多い場合の誤差を少ない場合の誤差よりも大きく設定することとしてもよい。一方、把持した重量が規定量に適合しない場合、更に、(6)収容空間10Aにおける把持した位置に具材を解放する(具材を戻す)、(7)把持した具材の重量が超過していた場合(例えば、把持した具材の重量が規定量の範囲の上限を超えている場合)には、前回よりも把持部材31aを具材に差し込む深さを浅く修正して具材を把持する、(8)把持した具材の重量が不足していた場合(例えば、把持した具材の重量が規定量の範囲の下限を下回っている場合)には、前回よりも把持部材31aを具材に差し込む深さを深く修正して具材を把持する、という手順で具材が再把持される。
FIG. 14 is a schematic diagram showing an example of a gripping operation by the
As shown in Fig. 14, when the
手順(2)で具材の表面を検出することは、力センサ30Bにより、多関節ロボット30のハンド31が具材に接触することで受ける反力を計測することで可能である。
また、手順(3)で具材に把持部材31aを差し込む場合、多関節ロボット30の制御パラメータ(関節の回転角度等)から差し込み量を算出したり、手順(2)で具材の表面を検出して差し込みを開始してからの経過時間から差し込み量を算出したりすることが可能である。
The surface of the ingredient can be detected in step (2) by using the
Furthermore, when inserting the gripping
また、手順(8)において、前回よりも把持部材31aを具材に深く差し込んだとしても、規定量の具材を把持できない場合(規定量を取るために必要な差し込み深さよりも、把持予定位置における具材の深さが浅い場合)等には、具材表面の複数箇所から具材を把持することにより、複数回で把持した合計の具材の量が規定量となるように制御することも可能である。この場合、例えば、具材の表面における複数箇所に把持部材31aを差し込む深さの合計(差し込み量の合計)が、一度で規定量の具材を把持する場合に把持部材31aを具材に差し込む深さと同一となるように制御することができる。また、例えば、2箇所目以降の把持を行う場合に、把持済みの具材を次の把持予定位置に一旦解放し、解放した具材が存在する具材の表面に対して、一度で規定量の具材を把持する場合に差し込む深さまで把持部材31aを具材に差し込み、規定量の具材を改めて一度で把持するように制御することも可能である。
In step (8), even if the gripping
なお、把持部材31aを具材に差し込む深さ(差し込み量)と、そのときに把持される具材の重量との関係については、具材の密度から算出(推定)することの他、把持部材31aを差し込んだ深さのデータと、そのときに把持された具材の重量を計測したデータとを機械学習し、機械学習によって生成された機械学習モデルを用いて、把持される重量を推定することとしてもよい。また、この機械学習の過程において具材の密度を算出し、算出した密度を用いて、把持部材31aを具材に差し込んだ深さ(差し込み量)から、把持された具材の重量を算出してもよい。
The relationship between the depth (insertion amount) at which the gripping
[動作]
次に、把持システム1の動作を説明する。
図15及び図16は、把持システム1が実行する具材取り分け処理の流れを示すフローチャートである。
[motion]
Next, the operation of the
15 and 16 are flowcharts showing the flow of the ingredient portioning process executed by the
具材取り分け処理が開始されると、図15のステップS1において、多関節ロボット制御部154は、具材を把持するためのデータ(動作パターンのデータ及びハンド31の差し込み量のデータ等)をパラメータ記憶部171から読み込むことで、具材を把持するための準備を行う。
When the ingredient portioning process is started, in step S1 of FIG. 15, the articulated
ステップS2において、多関節ロボット制御部154は、動作パターンのデータに従って、収容空間10Aへ、ハンド31を移送する。
In step S2, the articulated
ステップS3において、具材状態判定部152は、具材収容部10の収容空間10Aにおける具材の状態を示す具材状態マップを、履歴DB172から読み込むことで、収容空間10Aにおける具材の状態を認識する。具材状態判定部152は、その後も、センサ情報取得部151が取得した、力センサ30Bによって計測された具材からの反力のデータに基づいて、具材の状態の認識を継続する。
In step S3, the ingredient
ステップS4において、具材状態判定部152は、具材の表面の平坦度合が具材を把持するための条件に合致しているか否かの判定を行う。
具材の表面の平坦度合が具材を把持するための条件に適合していない場合、ステップS4においてNOと判定されて、処理はステップS5に移行する。
具材の表面の平坦度合が具材を把持するための条件に適合している場合、ステップS4においてYESと判定されて、処理はステップS6に移行する。
ステップS5において、多関節ロボット制御部154は、具材の表面を平坦化するためのレベリング動作を実行する。
In step S4, the ingredient
If the flatness of the surface of the ingredient does not meet the conditions for gripping the ingredient, the result of step S4 is NO, and the process proceeds to step S5.
If the flatness of the surface of the ingredient meets the conditions for gripping the ingredient, the answer is YES in step S4, and the process proceeds to step S6.
In step S5, the articulated
ステップS6において、具材状態判定部152は、収容空間10A内の具材の深さが具材を把持するための条件に適合しているか否かの判定を行う。
収容空間10A内の具材の深さが具材を把持するための条件に適合していない場合、ステップS6においてNOと判定されて、処理はステップS7に移行する。
収容空間10A内の具材の深さが具材を把持するための条件に適合している場合、ステップS6においてYESと判定されて、処理はステップS8に移行する。
ステップS7において、多関節ロボット制御部154は、具材を寄せ集めるスクレイピング動作を実行する。
In step S6, the ingredient
If the depth of the ingredient in the
If the depth of the ingredient within the
In step S7, the articulated
図16に遷移し、ステップS8において、具材状態判定部152は、一度の把持動作で規定量の具材を把持可能であるか否かの判定を行う。
一度の把持動作で規定量の具材を把持可能ではない場合、ステップS8においてNOと判定されて、処理はステップS9に移行する。
一度の把持動作で規定量の具材を把持可能である場合、ステップS8においてYESと判定されて、処理はステップS15に移行する。
Transitioning to FIG. 16, in step S8, the ingredient
If it is not possible to grasp the specified amount of ingredients in one grasping motion, the result is determined as NO in step S8, and the process proceeds to step S9.
If the specified amount of ingredients can be grasped in one grasping motion, the answer is YES in step S8, and the process proceeds to step S15.
ステップS9において、多関節ロボット制御部154は、具材に対して設定された深さまで把持部材31aを差し込む。
ステップS10において、多関節ロボット制御部154は、把持部材31aを閉じて具材を把持する。
ステップS11において、多関節ロボット制御部154は、他の位置(具材が平坦な位置)へハンド31を移送する。
In step S9, the articulated
In step S10, the articulated
In step S11, the articulated
ステップS12において、多関節ロボット制御部154は、具材に対して追加して把持する分に対応する深さまで把持部材31aを差し込む。
ステップS13において、多関節ロボット制御部154は、把持部材31aを閉じて具材を把持する。
ステップS13の後、処理はステップS16に移行する。
In step S12, the articulated
In step S13, the articulated
After step S13, the process proceeds to step S16.
ステップS14において、多関節ロボット制御部154は、具材に対して設定された深さまで把持部材31aを差し込む。
ステップS15において、多関節ロボット制御部154は、把持部材31aを閉じて具材を把持する。
In step S14, the articulated
In step S15, the articulated
ステップS16において、多関節ロボット制御部154は、除去動作を実行する。除去動作の詳細については、図10を参照して上述した通りである。
In step S16, the articulated
ステップS17において、具材量判定部153は、把持した具材の重量(物理量)を計測する。この計測は、少なくともステップS23まで継続して行われる。
ステップS18において、具材量判定部153は、規定量の具材が把持されているか否かの判定を行う。
規定量の具材が把持されていない場合、ステップS18においてNOと判定されて、処理はステップS19に移行する。
In step S17, the ingredient
In step S18, ingredient
If the specified amount of ingredients is not grasped, the result of step S18 is NO, and the process proceeds to step S19.
規定量の具材が把持されている場合、ステップS18においてYESと判定されて、処理はステップS22に移行する。
ステップS19において、多関節ロボット制御部154は、直前に把持した位置に具材を戻す。
If the specified amount of ingredients is grasped, the answer is YES in step S18, and the process proceeds to step S22.
In step S19, the articulated
ステップS20において、多関節ロボット制御部154は、修正された深さまで具材に対して把持部材31aを差し込む。
ステップS21において、多関節ロボット制御部154は、把持部材31aを閉じて具材を把持する。
In step S20, the articulated
In step S21, the articulated
ステップS22において、多関節ロボット制御部154は、除去動作を実行する。除去動作の詳細については、図10を参照して上述した通りである。
ステップS22の後、処理はステップS18に移行する。
In step S22, the articulated
After step S22, the process proceeds to step S18.
ステップS23において、多関節ロボット制御部154は、把持した具材を弁当の容器の位置に移送し、容器内の所定の領域に解放する。容器内の所定の領域に具材が解放されると、具材量判定部153によって、取り分けられた具材の量が規定量に適合するか否かが判定される。この判定結果は、弁当の容器と対応付けられて、後段の処理に引き継がれる。
In step S23, the articulated
ステップS24において、記録制御部156は、具材取り分け処理において取得された制御に関するパラメータ及び取り分けられた具材の重量の計測データ(履歴データ)を履歴DB172に記憶する。また、記録制御部156は、具材収容部10の収容空間10Aにおける具材の状態を示す具材状態マップを更新し、この更新後の具材状態マップも履歴DB172に記憶する。
In step S24, the
ステップS25において、多関節ロボット制御部154は、具材取り分け処理を終了する条件に適合したか否かの判定を行う。具材取り分け処理を終了する条件としては、予定された数の弁当の容器に具材を盛り付けたこと、あるいは、具材取り分け処理を終了させる操作が行われたこと等を定義することができる。
具材取り分け処理を終了する条件に適合していない場合、ステップS25においてNOと判定されて、図15に遷移し、処理はステップS2に移行する。
具材取り分け処理を終了する条件に適合している場合、ステップS25においてYESと判定されて、具材取り分け処理は終了する。
In step S25, the articulated
If the condition for terminating the ingredient portioning process is not met, a NO result is determined in step S25, the process transitions to FIG. 15, and the process proceeds to step S2.
If the condition for terminating the ingredient portioning process is met, a YES determination is made in step S25, and the ingredient portioning process ends.
以上のように、本実施形態に係る把持システム1は、除去動作を行うことにより、把持部材31aに付着しており、適切な制御を妨げていた付着具材を除去することができる。そのため、例えば、多関節ロボット30が実際に把持している把持具材の量を精度高く検出することができる。他にも、例えば、実際に把持する具材の量や、実際に解放する具材の量を、ロボットの制御において推定していた量とすることができる。
すなわち、把持システム1によれば、ロボットによって具材を把持する作業をより適切に行うことができる。
As described above, the gripping
In other words, the gripping
更に、把持システム1によれば、把持部材31aを具材に差し込む深さを基に、把持される具材の重量(物理量)を算出(推定)することができる。
そのため、多関節ロボット30によって同様の把持動作を行うことで、ばらつきが抑制された正確な量の具材を取り分けることが可能となる。
すなわち、把持システム1によれば、ロボットによって具材を取り分ける作業をより適切に行うことができる。
Furthermore, according to the
Therefore, by performing a similar gripping operation using the articulated
In other words, the gripping
また、把持システム1によれば、把持対象となる具材の表面の平坦度合を認識し、具材の表面の平坦度合が具材を把持するための条件に適合していない場合、具材の表面を平坦にするレベリング動作が実行される。
したがって、把持部材31aをより正確な差し込み量で具材に差し込むことができるため、具材をより適切に取り分けることができる。
In addition, according to the
Therefore, the gripping
また、把持システム1によれば、収容空間10A内の具材の量が減少した場合等、具材の深さが具材を把持するための条件に適合しない場合、収容空間10A内の具材を寄せ集めるスクレイピング動作が実行される。
そのため、具材が少ない状態であっても、具材を把持するために必要な深さに調整することができ、具材を有効活用できると共に、具材を供給する頻度を低下させることができる。
したがって、ロボットによって具材を取り分ける作業をより効率的に実行することが可能となる。
In addition, according to the
Therefore, even when there is only a small amount of ingredients, the depth can be adjusted to the depth required to grasp the ingredients, allowing the ingredients to be used effectively while reducing the frequency with which the ingredients need to be supplied.
This allows the robot to more efficiently separate the ingredients.
また、本実施形態に係る把持システム1によれば、一度で規定量の具材を把持できない場合、複数回の把持動作によって規定量の具材が把持される。
したがって、収容空間10A内の具材の量が減少した場合や一度の把持で規定量の具材を把持し難い具材を取り分ける場合等において、より柔軟な動作によって、必要な重量の具材を把持することが可能となる。
Furthermore, according to the
Therefore, in cases where the amount of ingredients in the
[変形例1]
上述の実施形態において、図10を参照して説明したように、除去動作では収容具材を目標物としており、この収容具材の表面に対して付着具材を擦り付けていたが、これに限られない。目標物は、必ずしも収容具材でなくともよく、他の物体を目標物として除去動作を行うようにしてもよい。
図17~図19のそれぞれは、収容具材以外の物体を目標物とする場合の除去動作の概念を示す模式図である。これらの図のそれぞれは、除去動作の擦り付けの際の概念を示すものであり、図10(b)に相当するものである。
[Modification 1]
In the above embodiment, as explained with reference to Fig. 10, the removal operation is performed by rubbing the adhesive material against the surface of the storage material, but this is not limited to this. The target does not necessarily have to be the storage material, and the removal operation may be performed with another object as the target.
Each of Figures 17 to 19 is a schematic diagram showing the concept of the removal operation when an object other than the storage material is the target. Each of these figures shows the concept of the removal operation when rubbing, and corresponds to Figure 10(b).
図17は、目標物を収容空間10Aの底面とする場合について示す。例えば、具材の取り分けが繰り返され、収容空間10Aの底面が露出した場合に、このように目標物を収容空間10Aの底面とする。この場合、多関節ロボット30は、把持部材31aに付着した付着具材を目標物となる収容空間10Aの底面に接触させた状態で把持部材31aを移動することにより、把持部材31aに付着した付着具材を収容空間10Aに新たに付着させて除去する。
この際に、把持部材31aの移動方向は適宜設定できるが、例えば、収容空間10Aの底面が略水平面であれば、例えば、把持部材31aの天板部が水平となった状態であって、収容空間10Aの底面に付着具材は接触するが把持部材31aは接触しない高さで上昇させた把持部材31aの高さを維持しつつ、水平方向に把持部材31aを移動させる。このようにしても、除去動作を実行することができる。本例は、例えば、具材の取り分けが繰り返され、目標物とするのに適切な収容具材が少なくなった場合に好適である。
17 shows a case where the target is the bottom surface of the
At this time, the moving direction of the gripping
図18は、目標物を収容空間10Aの内壁面とする場合について示す。例えば、具材が把持部材31aの先端付近の側面に付着する場合に、このように目標物を収容空間10Aの内壁面とする。この場合、多関節ロボット30は、把持部材31aに付着した付着具材を目標物となる収容空間10Aの内壁面に接触させた状態で把持部材31aを移動することにより、把持部材31aに付着した付着具材を収容空間10Aに新たに付着させて除去する。
この際に、把持部材31aの移動方向は適宜設定できるが、例えば、収容空間10Aの内壁面が略鉛直面であれば、把持部材31aの主板部が鉛直となった状態であって、収容空間10Aの内壁面に付着具材は接触するが把持部材31aは接触せず且つ把持部材31aと収容具材が接触しない高さで上昇させた把持部材31aの高さを維持しつつ、鉛直方向に把持部材31aを移動させる。このようにしても、除去動作を実行することができる。なお、この場合把持部材31aを回転させることにより、把持部材31aの各側面それぞれについて除去動作を行うとよい。本例は、例えば、把持動作を実行する際の把持部材31aの位置が領域A1のように収納空間10Aの隅の位置であり、隣接する領域に目標物とするのに適切な収容具材が少なくなった場合に好適である。
18 shows a case where the target is the inner wall surface of the
At this time, the moving direction of the gripping
図19は、目標物を収容空間10Aの内壁面に設置された除去用部材とする場合について示す。例えば、付着具材を擦り付けるに適した材料(例えば、弾性を有うするシリコンやゴム)及び形状(例えば、平板形状)からなる、いわゆるスクレイパーのような除去用部材を予め設置する場合に、このように目標物を除去用部材とする。収容空間10Aの内壁面とする。この場合、多関節ロボット30は、把持部材31aに付着した付着具材を目標物となる除去用部材に接触させた状態で把持部材31aを移動することにより、把持部材31aに付着した付着具材を除去用部材に新たに付着させて除去する。
この際に、把持部材31aの移動方向は適宜設定できるが、例えば、収容空間10Aの底面が略水平面であれば、例えば、把持部材31aの天板部が水平となった状態であって、除去用部材に付着具材は接触するが把持部材31aは接触しない高さで上昇させた把持部材31aの高さを維持しつつ、水平方向に把持部材31aを移動させる。このようにしても、除去動作を実行することができる。本例は、例えば、収容空間10Aの内部に除去用部材を取り付けるほどの空間的な余裕が存在するような場合に好適である。
19 shows a case where the target is a removal member installed on the inner wall surface of the
At this time, the moving direction of the gripping
このように、本変形例において、多関節ロボット30は、付着具材の特性である粘性あるいは粘着性を利用し、付着具材を収容具材以外の目標物に対してあたかも擦り付けるようにすることで、付着具材を把持部材31aから除去をする。
In this manner, in this modified example, the articulated
[変形例2]
上述の実施形態において、具材状態判定部152が具材の表面の状態を認識し、具材の表面の平坦度合が具材を把持するための条件に適合していない場合にレベリング動作が行われるものとしたが、これに限られない。
例えば、把持動作毎に具材の表面における把持位置をずらすピッチが設定されていることから、収容空間10A内の具材の表面全体から具材を把持した後(すなわち、所定回数の把持動作が行われる毎)に、レベリング動作を行うこととしてもよい。
[Modification 2]
In the above-described embodiment, the ingredient
For example, since a pitch is set for shifting the gripping position on the surface of the ingredient for each gripping operation, a leveling operation may be performed after the ingredient is gripped from the entire surface of the ingredient in the
この場合、力センサ30Bによって計測された具材からの反力(すなわち、具材への接触の検出結果)のデータ等によって具材の表面の状態を検出することなく、具材の表面を一定の平坦度合を有する状態に調整することができる。
なお、上述の実施形態におけるレベリング動作に対し、所定回数の把持動作が行われる毎のレベリング動作を併せて実行することとしてもよい。
In this case, the surface of the ingredient can be adjusted to have a certain degree of flatness without detecting the condition of the surface of the ingredient based on data such as the reaction force from the ingredient measured by
In addition to the leveling operation in the above embodiment, a leveling operation may be executed every time a predetermined number of gripping operations are performed.
[変形例3]
上述の実施形態において、具材状態判定部152が具材の深さを認識し、具材の深さが具材を把持するための条件に適合していない場合にスクレイピング動作が行われるものとしたが、これに限られない。
例えば、把持動作毎に具材の表面から取り出される具材の量(把持部材31aが差し込まれる深さ)が設定されていることから、収容空間10A内の具材の表面全体から具材を把持した後(すなわち、所定回数の把持動作が行われる毎)に、スクレイピング動作を行うこととしてもよい。
[Modification 3]
In the above-described embodiment, the ingredient
For example, since the amount of ingredient to be removed from the surface of the ingredient for each gripping operation (the depth to which the gripping
この場合、力センサ30Bによって計測された具材からの反力(すなわち、具材への接触の検出結果)のデータ等によって具材の深さを検出することなく、具材が一定の深さを有する状態に調整することができる。
なお、上述の実施形態におけるスクレイピング動作に対し、所定回数の把持動作が行われる毎のスクレイピング動作を併せて実行することとしてもよい。
In this case, the ingredients can be adjusted to have a constant depth without detecting the depth of the ingredients based on data such as the reaction force from the ingredients measured by
In addition, in addition to the scraping operation in the above embodiment, a scraping operation may be executed every time a predetermined number of gripping operations are performed.
[変形例4]
上述の実施形態において、具材状態判定部152は、力センサ30Bによって計測された具材からの反力(すなわち、具材への接触の検出結果)のデータに基づいて、具材の状態を判定するものとしたが、これに限られない。
[Modification 4]
In the above-described embodiment, the ingredient
カメラの設置コスト等が問題とならない場合には、カメラ(すなわち、撮像装置)によって撮影を行うことにより、具材の状態を判定するようにしてもよい。この場合、把持システム1において、多関節ロボット30のハンド31付近を撮影する撮像装置を設ける。そして、この撮像装置は、具材収容部10から具材を取り出す工程及び取り出した具材を弁当の容器に盛り付ける工程において、ハンド31付近の画像を含む撮影対象箇所の画像を逐次撮影する。このとき撮影された画像のデータは、制御装置40に出力される。なお、撮像装置に代えて、又は、撮像装置に加えて、多関節ロボット30の稼動範囲を撮影可能な撮像装置を把持システム1の所定箇所に備えておき、この撮像装置によって、ハンド31付近を含む撮影対象箇所の画像を撮影することとしてもよい。また、撮像装置等、把持システム1に設置される撮像装置をステレオカメラ等の立体形状を取得可能なものとしてもよい。ただし、2次元画像を撮影する撮像装置の撮像位置を変化させて取得した2つの2次元画像を基に、被写体の3次元形状を算出することも可能である。
If the installation cost of the camera is not an issue, the state of the ingredients may be determined by taking pictures using a camera (i.e., an imaging device). In this case, an imaging device that takes pictures of the vicinity of the
そして、制御装置40は、撮像装置を制御し、多関節ロボット30のハンド31付近の画像、具材収容部10の具材の画像あるいは弁当の容器の画像等を所定時間間隔で撮影させる。
また、具材状態判定部152は、撮像装置によって撮影された具材の画像に基づいて、具材の状態を判定する。例えば、具材状態判定部152は、撮像装置によって撮影された具材の画像から、収容空間10A内の具材の深さ(収容空間10A内の具材表面から収容空間10A底面までの深さ)、表面の平坦度合(表面がどの程度荒れているか)を認識する。この場合に、具材状態判定部152は、撮像装置によって撮影された具材の画像に加えて、更に力センサ30Bによって計測された具材からの反力(すなわち、具材への接触の検出結果)のデータにも基づいて、具材の状態を判定するようにしてもよい。
The
The ingredient
また、例えば、撮像装置として、被写体までの距離(深度)を測定する機能を備えたDepthカメラを用いることも可能である。
この場合、被写体を撮影することで、カラー画像と共に、各部の正確な深度情報を容易に取得することができる。
そのため、各部の深度情報によって、具材表面や収容空間10A等の立体的な形状を把握することが可能となる。
したがって、具材表面の平坦度合を判定し、レベリング動作の要否を決定したり、具材の深さを判定し、スクレイピング動作の要否を決定したりすることが可能となる。
Also, for example, a depth camera having a function for measuring the distance (depth) to a subject can be used as the imaging device.
In this case, by photographing the subject, accurate depth information for each part can be easily obtained along with a color image.
Therefore, the depth information of each part makes it possible to grasp the three-dimensional shape of the surface of the ingredient, the
Therefore, it is possible to determine the flatness of the surface of the ingredient and decide whether or not a leveling operation is required, and to determine the depth of the ingredient and decide whether or not a scraping operation is required.
[変形例5]
上述の実施形態において、多関節ロボット30が把持した具材の重量あるいは弁当の容器に取り分けられた具材の重量を重量センサ30A,21によって計測するものとしたが、これに限られない。
例えば、撮像装置によって撮像された具材の画像から、具材の体積を推定し、密度と推定された体積を乗算すること等により、具材の重量を算出することも可能である。
この場合、重量センサ30A,21を用いることなく、具材の重量を算出する手段を実装することができる。
[Modification 5]
In the above embodiment, the weight of the ingredients grasped by the articulated
For example, it is possible to estimate the volume of an ingredient from an image of the ingredient captured by an imaging device, and calculate the weight of the ingredient by multiplying the density by the estimated volume, etc.
In this case, a means for calculating the weight of the ingredient can be implemented without using the
[変形例6]
上述の実施形態において、レベリング動作を実行する場合、図12に示すように、収容空間10Aの底面と把持部材31aの先端とが平行な状態を維持して、把持部材31aを収容空間10Aの底面から同一の高さで移動させるものとして説明したが、これに限られない。
すなわち、レベリング動作を実行する場合、具材表面を平坦化可能な各種形態の動作を実行することができる。
図20は、レベリング動作の一例を示す模式図である。
図20に示すように、レベリング動作を実行する場合、具材の表面に把持部材31aの先端が接触する状態(図20(a)参照)で、把持部材31aを開閉させる動作(図20(b)参照)を実行し、把持部材31aが開閉動作する範囲の具材表面を平坦化(図20(c)参照)することが可能である。
この場合、一対の把持部材31aの中央に位置する具材の表面が平坦化されるため、次に具材を把持する予定の位置を確実に平坦化することができる。また、ハンド31自体を搬送する動作が必要ないため、レベリング動作に要する時間を短縮することができる。
[Modification 6]
In the above-described embodiment, when performing the leveling operation, as shown in FIG. 12, the bottom surface of the
That is, when performing the leveling operation, various types of operations capable of flattening the surface of the ingredient can be performed.
FIG. 20 is a schematic diagram showing an example of the leveling operation.
As shown in Figure 20, when performing a leveling operation, the tip of the gripping
In this case, the surface of the ingredient located at the center of the pair of gripping
[変形例7]
上述の実施形態において、スクレイピング動作を実行する場合、図13に示すように、具材に把持部材31aの外面を押し当てて移動させることによって、具材を寄せ集める例や、具材を把持部材31aで把持し、他の部分の具材の上に積み上げることで寄せ集める例について説明したが、これに限られない。
すなわち、スクレイピング動作を実行する場合、具材を寄せ集めることが可能な各種形態の動作を実行することができる。
例えば、一対の把持部材31aの少なくとも一方の形状を、具材を寄せ集めるために好適な形状(一例として、平板状等)とすることも可能である。この場合、スクレイピング動作を実行する際には、この把持部材31aをスクレイピング用のブレードとして機能させ、効率的に具材を寄せ集めることができる。
[Modification 7]
In the above-described embodiment, when performing a scraping operation, as shown in FIG. 13, an example has been described in which the ingredients are gathered together by pressing the outer surface of the gripping
That is, when performing a scraping operation, various types of operations capable of gathering ingredients can be performed.
For example, at least one of the pair of gripping
[変形例8]
上述の実施形態において、多関節ロボット30のハンド31が、把持部材31aを具材の物理量が所定量になると推定される深さまで具材収容部10の具材に差し込むことにより、目的とする量の具材を把持する例について説明したが、これに限られない。
すなわち、把持部材31aの開き具合を調整して具材に差し込むことで、把持部材31aが把持する具材の量を調整することも可能である。例えば、把持した具材の重量が超過していた場合(例えば、把持した具材の重量が規定量の範囲の上限を超えている場合)には、把持部材31aを具材に差し込む際の把持部材31aの開き具合を前回よりも狭く修正して具材を把持する、把持した具材の重量が不足していた場合(例えば、把持した具材の重量が規定量の範囲の下限を下回っている場合)には、把持部材31aを具材に差し込む際の把持部材31aの開き具合を前回よりも広く修正して具材を把持する、といったことが可能である。
これにより、把持部材31aを具材に差し込む深さ(差し込み量)を調整できない場合であっても、把持する具材の量を調整することが可能となる。
[Modification 8]
In the above-described embodiment, an example has been described in which the
That is, it is also possible to adjust the amount of ingredients gripped by the gripping
This makes it possible to adjust the amount of ingredient to be gripped even when the depth (insertion amount) of the gripping
[変形例9]
上述の実施形態において、具材を把持のし易さを反映させて、把持部材31aで具材を把持する際の動作を調整することとしてもよい。
例えば、把持部材31aで具材を把持する際に、具材の一部が把持部材31aから漏れて(逃げて)把持位置の周囲に移動するという現象が起こり得る。
発明者らの検証により、把持部材31aが具材を把持する位置(すなわち、収容空間10Aの内壁面や底面からの距離等)によって、具材の逃げ易さに相違が生じることが判明した。
特に壁際では、把持部材31aの向きが具材の逃げ易さに影響することが判明した。具体的には、把持部材31aから具材が漏れ易い方向に壁が存在する場合、具材は逃げ場所が無いため、逃げ易さが低下(すなわち、把持のし易さが向上)した。
このことを踏まえ、把持位置(すなわち、収容空間10Aの内壁面や底面からの距離)と把持部材31aの向きという2つ要素と、具材の逃げ易さ(又は取り込み易さ)というパラメータの関係性を機械学習によって取得し、その結果に応じて、把持部材31aが具材を把持する把持位置における把持部材31aを差し込む深さ(差し込み量)を調整することができる。例えば、具材が逃げ易い把持位置では、把持部材31aを具材に差し込む深さ(差し込み量)をより大きく設定する等の調整を行うことができる。
これにより、多関節ロボット30によって具材を把持する際に、状況に応じて、より適切な把持動作を行うことが可能となる。
[Modification 9]
In the above-described embodiment, the action of gripping the ingredient with the gripping
For example, when an ingredient is gripped by the gripping
The inventors' experiments revealed that the ease with which the ingredients escape varies depending on the position at which the gripping
It was found that the orientation of the gripping
In consideration of this, the relationship between the two elements of the gripping position (i.e., the distance from the inner wall surface or bottom surface of the
This enables the articulated
以上のように、本実施形態における把持システム1は、把持対象となる対象物を把持部材31aにより把持する多関節ロボット30と、多関節ロボット30の動作を制御する制御装置40と、を備える。
制御装置40は、
把持部材31aに付着した対象物を目標物に接触させた状態で把持部材31aを移動することにより、把持部材31aに付着した対象物を目標物に新たに付着させて除去する除去動作を多関節ロボット30に実行させる。
これにより、把持部材31aに付着しており、適切な制御を妨げていた対象物を除去することができる。そのため、例えば、ロボットが実際に把持している対象物の量を精度高く検出することができる。他にも、例えば、実際に把持する対象物の量や、実際に解放する対象物の量を、ロボットの制御において推定していた量とすることができる。
すなわち、把持システム1によれば、ロボットによって対象物を把持する作業をより適切に行うことができる。
また、この除去動作は、把持部材31aが移動することで実現される。そのため、付着した対象物を除去するために把持部材31aを他の部材に交換するような必要もない、という効果も奏する。
As described above, the gripping
The
By moving the gripping
This makes it possible to remove objects that are attached to the gripping
In other words, the gripping
In addition, this removal operation is realized by moving the gripping
制御装置40は、
除去動作において多関節ロボット30に、目標物により形成される表面に対して平行な方向に把持部材31aを移動させる。
これにより、対象物の特性である粘性あるいは粘着性を利用し、目標物に擦り付けるようにして除去をすることができる。
The
In the removal operation, the articulated
This makes it possible to utilize the viscosity or stickiness of the object and remove it by rubbing it against the target object.
目標物は、把持部材31aに付着している対象物ではなく、対象物を収容する収容空間10Aに収容されている他の対象物である。
これにより、除去した対象物を、収容空間10Aに戻して次回以降の把持動作の対象とすることができる。すなわち、除去した対象物を無駄にすることなく活用できる。
The target object is not an object attached to the gripping
This allows the removed object to be returned to the
目標物は、対象物を収容する収容空間10Aを有する容器である。
これにより、除去した対象物を、収容空間10Aに戻して次回以降の把持の対象とすることができる。すなわち、除去した対象物を無駄にすることなく活用できる。
The target is a container having a
This allows the removed object to be returned to the
制御装置40は、
把持部材31aの位置が、対象物を収容する収容空間10Aの何れの位置であるかに基づいて、除去動作にて多関節ロボット30が把持部材31aを移動させる方向を決定する。
これにより、除去動作に伴い、把持部材31aが収容空間10Aを形成する内壁面に衝突するようなことを防止できる。
The
The direction in which the articulated
This makes it possible to prevent the gripping
制御装置40は、
多関節ロボット30が対象物を把持部材31aにより把持している状態で除去動作を多関節ロボット30に実行させる。
これにより、把持において把持部材31aに収まりきらず、把持部材31aの先端等からはみ出した対象物を除去することができる。
The
The articulated
This makes it possible to remove the object that does not fit into the gripping
多関節ロボット30は、把持部材31aにより把持している対象物の物理量を計測するセンサを更に備え、
制御装置40は、
多関節ロボット30が除去動作を実行した後にセンサにより計測された物理量に基づいて、多関節ロボット30が把持部材31aにより把持している対象物の物理量が適正であるか否かを判定する。
これにより、付着していた対象物が除去された状態で、把持している対象物の物理量(例えば、重量)のみを精度高く計測できるので、把持部材31aにより把持している対象物の物理量が適正であるか否かを正確に判定することができる。
The articulated
The
After the articulated
This allows the physical quantity (e.g., weight) of the object being grasped to be measured with high accuracy after any attached object has been removed, making it possible to accurately determine whether the physical quantity of the object being grasped by the grasping
なお、上述の実施形態及び変形例は、本発明の実施形態の一例であり、本発明の機能を実現する種々の実施形態が本発明の範囲に含まれる。
例えば、上述の実施形態及び変形例において、総菜を取り分ける把持システムに本発明を適用する場合を例に挙げて説明したが、本発明は、種々の対象物を把持するシステムに適用することができる。例えば、練ったモルタル、コンクリート、漆喰、粘土等、粘性あるいは粘着性が高い材料を把持するシステムに本発明を適用することができる。本発明は、作業温度又は室温において中粘度以上(5000mPa・s)以上の粘度を有する対象物を把持する際に好適である。
また、上述の実施形態に記載された例を適宜組み合わせて、本発明を実施することが可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図6の機能的構成は例示に過ぎず、特に限定されない。すなわち、上述した一連の処理を全体として実行できる機能が把持システム1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図6の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
The above-described embodiment and modifications are merely examples of the present invention, and various embodiments that realize the functions of the present invention are included in the scope of the present invention.
For example, in the above embodiment and modified example, the present invention has been described as being applied to a gripping system for dispensing prepared foods, but the present invention can be applied to systems for gripping various objects. For example, the present invention can be applied to a system for gripping highly viscous or adhesive materials such as kneaded mortar, concrete, plaster, clay, etc. The present invention is suitable for gripping objects having a viscosity of medium viscosity or higher (5000 mPa·s) at working temperature or room temperature.
Furthermore, the examples described in the above-described embodiments can be appropriately combined to implement the present invention.
The above-described series of processes can be executed by hardware or software.
In other words, the functional configuration in Fig. 6 is merely an example and is not particularly limited. In other words, it is sufficient that the grasping
Furthermore, one functional block may be configured as a single piece of hardware, a single piece of software, or a combination of both.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When the series of processes is executed by software, the program constituting the software is installed into a computer or the like from a network or a recording medium.
The computer may be a computer built into dedicated hardware, or may be a computer capable of executing various functions by installing various programs, such as a general-purpose personal computer.
プログラムを記憶する記憶媒体は、装置本体とは別に配布されるリムーバブルメディア、あるいは、装置本体に予め組み込まれた記憶媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク、光ディスク、光磁気ディスクあるいはフラッシュメモリ等により構成される。光ディスクは、例えば、CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk),Blu-ray Disc(登録商標)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。フラッシュメモリは、例えば、USB(Universal Serial Bus)メモリあるいはSDカードにより構成される。また、装置本体に予め組み込まれた記憶媒体は、例えば、プログラムが記憶されているROMやハードディスク等で構成される。 The storage medium that stores the program is composed of removable media distributed separately from the device body, or storage media that is pre-installed in the device body. Removable media is composed of, for example, a magnetic disk, optical disk, magneto-optical disk, or flash memory. Optical disks are composed of, for example, CD-ROMs (Compact Disk-Read Only Memory), DVDs (Digital Versatile Disks), Blu-ray Discs (registered trademark), etc. Magneto-optical disks are composed of, for example, MDs (Mini-Disks), etc. Flash memory is composed of, for example, USB (Universal Serial Bus) memory or SD cards. Storage media pre-installed in the device body is composed of, for example, a ROM or hard disk in which the program is stored.
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
In this specification, the steps of describing a program to be recorded on a recording medium include not only processes that are performed chronologically according to the order, but also processes that are not necessarily performed chronologically but are executed in parallel or individually.
In addition, in this specification, the term "system" refers to an overall device that is composed of a plurality of devices, a plurality of means, etc.
上記実施形態は、本発明を適用した一例を示しており、本発明の技術的範囲を限定するものではない。すなわち、本発明は、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができ、上記実施形態以外の各種実施形態を取ることが可能である。本発明が取ることのできる各種実施形態及びその変形は、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 The above embodiment shows an example of the application of the present invention, and does not limit the technical scope of the present invention. In other words, the present invention can be modified in various ways, such as by omission or substitution, without departing from the gist of the present invention, and various embodiments other than the above embodiment can be adopted. The various embodiments and modifications that the present invention can adopt are included in the scope of the invention described in the claims and their equivalents.
1 把持システム、2 ベルトコンベア、10 具材収容部、10A 収容空間、20 容器供給部、21,30A 重量センサ、30 多関節ロボット、31 ハンド、31a 把持部材、32 ロボットアーム、40 制御装置、50 遮蔽部、151 センサ情報取得部、152 具材状態判定部、153 具材量判定部、154 多関節ロボット制御部、155 容器供給制御部、156 記録制御部、171 パラメータ記憶部、172 履歴データベース(履歴DB)、711 CPU、712 ROM、713 RAM、714 バス、715 入力部、716 出力部、717 記憶部、718 通信部、719 ドライブ、731 リムーバブルメディア 1 gripping system, 2 belt conveyor, 10 ingredient storage section, 10A storage space, 20 container supply section, 21, 30A weight sensor, 30 articulated robot, 31 hand, 31a gripping member, 32 robot arm, 40 control device, 50 shielding section, 151 sensor information acquisition section, 152 ingredient state determination section, 153 ingredient amount determination section, 154 articulated robot control section, 155 container supply control section, 156 recording control section, 171 parameter storage section, 172 history database (history DB), 711 CPU, 712 ROM, 713 RAM, 714 bus, 715 input section, 716 output section, 717 storage section, 718 communication section, 719 drive, 731 removable media
Claims (6)
前記脱着機構を用いてロボットアームと把持部材とが連結された状態において、前記ロッドが前記挿通穴に挿通される方向とは異なる方向に前記把持部材が動くように、前記ロボットアームの動作を制御する制御手段と、
を備えることを特徴とする把持システム。 a detachment mechanism including a first coupling member having a rod and a second coupling member having an insertion hole, the first coupling member and the second coupling member being detachable by inserting the rod into the insertion hole;
a control means for controlling an operation of the robot arm such that, in a state in which the robot arm and the gripping member are connected by the detachment mechanism, the gripping member moves in a direction different from a direction in which the rod is inserted into the insertion hole;
A gripping system comprising:
ことを特徴とする請求項1に記載の把持システム。 The gripping member grips a viscous or sticky object.
The gripping system of claim 1 .
前記ロッドが前記挿通穴に挿通される方向と、前記一対の把持部材の開閉方向とは、異なる方向である、
ことを特徴とする請求項1又は2に記載の把持システム。 The gripping members are a pair of gripping members that grip by opening and closing,
The direction in which the rod is inserted into the insertion hole and the opening and closing direction of the pair of gripping members are different directions.
3. A gripping system according to claim 1 or 2.
前記ロボットアームの先端に、前記第1結合部材または前記第2結合部材の他方が取り付けられる、
ことを特徴とする請求項3に記載の把持システム。 One of the first connecting member and the second connecting member is attached to a top plate portion of the gripping member,
The other of the first connecting member or the second connecting member is attached to a tip of the robot arm.
The gripping system of claim 3 .
前記複数組において、前記ロッドが前記挿通穴に挿通される方向は同じ方向である、
ことを特徴とする請求項1又は2に記載の把持システム。 a plurality of pairs each including the first coupling member and the second member into which the rod of the first coupling member is inserted into the insertion hole;
In the plurality of sets, the direction in which the rod is inserted into the insertion hole is the same.
3. A gripping system according to claim 1 or 2.
ロッドを有する第1結合部材と、挿通穴を有する第2結合部材とを備え、前記ロッドを前記挿通穴に挿通することで前記第1結合部材と前記第2結合部材を脱着可能とする脱着機構を用いて、ロボットアームと把持部材とが連結された状態において、
前記ロッドが前記挿通穴に挿通される方向とは異なる方向に前記把持部材が動くように、前記ロボットアームの動作を制御する制御ステップ、
を含むことを特徴とする動作制御方法。 A method for controlling a motion of a gripping system, comprising:
a first connecting member having a rod and a second connecting member having an insertion hole, the first connecting member and the second connecting member being detachable by inserting the rod into the insertion hole;
a control step of controlling the operation of the robot arm so that the gripping member moves in a direction different from a direction in which the rod is inserted into the insertion hole;
13. An operation control method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023168921A JP2024050513A (en) | 2022-09-29 | 2023-09-28 | GRASPING SYSTEM AND MOTION CONTROL METHOD |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022157194A JP7364284B1 (en) | 2022-09-29 | 2022-09-29 | Gripping system and control device |
JP2023168921A JP2024050513A (en) | 2022-09-29 | 2023-09-28 | GRASPING SYSTEM AND MOTION CONTROL METHOD |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022157194A Division JP7364284B1 (en) | 2022-09-29 | 2022-09-29 | Gripping system and control device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024050513A true JP2024050513A (en) | 2024-04-10 |
Family
ID=88328395
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022157194A Active JP7364284B1 (en) | 2022-09-29 | 2022-09-29 | Gripping system and control device |
JP2023168921A Pending JP2024050513A (en) | 2022-09-29 | 2023-09-28 | GRASPING SYSTEM AND MOTION CONTROL METHOD |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022157194A Active JP7364284B1 (en) | 2022-09-29 | 2022-09-29 | Gripping system and control device |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7364284B1 (en) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6379687B2 (en) * | 2014-06-02 | 2018-08-29 | セイコーエプソン株式会社 | Robot, robot system, control device, and control method |
EP3034250B1 (en) * | 2014-12-17 | 2017-05-31 | Thurne-Middleby Ltd. | Gripper device for picking up and releasing a group of food slices |
DE102015113220A1 (en) * | 2015-08-11 | 2017-02-16 | Weber Maschinenbau Gmbh Breidenbach | product gripper |
JP6673657B2 (en) * | 2015-09-10 | 2020-03-25 | 株式会社Fuji | Work transfer device and machine tool |
JP6525933B2 (en) * | 2016-10-11 | 2019-06-05 | ファナック株式会社 | Machine Tools |
JP7011284B2 (en) * | 2017-07-27 | 2022-01-26 | 株式会社オフィス エフエイ・コム | Robot hand |
JP2019126875A (en) * | 2018-01-24 | 2019-08-01 | 株式会社イシダ | Article transfer device |
JP7151983B2 (en) * | 2018-02-05 | 2022-10-12 | 株式会社イシダ | Article holding device |
JP7345826B2 (en) * | 2019-07-29 | 2023-09-19 | 株式会社イシダ | Goods movement system |
-
2022
- 2022-09-29 JP JP2022157194A patent/JP7364284B1/en active Active
-
2023
- 2023-09-28 JP JP2023168921A patent/JP2024050513A/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7364284B1 (en) | 2023-10-18 |
JP2024050359A (en) | 2024-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7228292B2 (en) | Control device | |
EP1864764B1 (en) | Robot simulation apparatus | |
US20200086437A1 (en) | Locating And Attaching Interchangeable Tools In-Situ | |
JP7018637B2 (en) | Automatic dishwashing system, automatic dishwashing method, automatic dishwashing program and storage media | |
JP7337958B2 (en) | Equipment handling sensitive products, especially packaging equipment | |
CA2849124A1 (en) | Method and device for edible printing on foodstuffs | |
JP2024050513A (en) | GRASPING SYSTEM AND MOTION CONTROL METHOD | |
US20200269434A1 (en) | Jawless gripper enhanced robotic kitchen system for food assembly | |
JP2024050356A (en) | Gripping system, gripping method, control device, and program | |
JP2024050358A (en) | Grip system and control device | |
JP7364282B1 (en) | Gripping system and control device | |
JP6680387B1 (en) | Robot control system, robot control method, and control program | |
EP3507063B1 (en) | A gripper device | |
JP7442224B1 (en) | Gripping system, grasping method, control device, and program | |
JP7341550B1 (en) | gripping system | |
JP7442225B1 (en) | Gripping system, grasping method, control device, and program | |
JP7442229B1 (en) | Gripping system, grasping method, control device, and program | |
JP7458116B1 (en) | Control device and robot system | |
JP7489685B1 (en) | Retention System | |
JP2021039034A (en) | Automated register for granule | |
WO2023176975A1 (en) | Food product apportioning device and program | |
JP2006194859A (en) | Automatic measuring apparatus, and automatic measuring filling apparatus | |
JP7269622B2 (en) | Dishwashing support device and control program | |
JP2023063175A (en) | system | |
EP3429806A1 (en) | A robot and a method of controlling a robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230928 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240416 |