JP7159273B2 - Holding devices, air vehicles, and transport systems - Google Patents
Holding devices, air vehicles, and transport systems Download PDFInfo
- Publication number
- JP7159273B2 JP7159273B2 JP2020209325A JP2020209325A JP7159273B2 JP 7159273 B2 JP7159273 B2 JP 7159273B2 JP 2020209325 A JP2020209325 A JP 2020209325A JP 2020209325 A JP2020209325 A JP 2020209325A JP 7159273 B2 JP7159273 B2 JP 7159273B2
- Authority
- JP
- Japan
- Prior art keywords
- suction
- sensor
- light
- light intensity
- adsorption
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001179 sorption measurement Methods 0.000 claims description 81
- 238000001514 detection method Methods 0.000 claims description 32
- 230000001133 acceleration Effects 0.000 claims description 22
- 238000009826 distribution Methods 0.000 claims description 21
- 230000007246 mechanism Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 5
- 230000014759 maintenance of location Effects 0.000 claims 1
- 239000000758 substrate Substances 0.000 description 40
- 230000032258 transport Effects 0.000 description 25
- 238000012545 processing Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 21
- 238000013459 approach Methods 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 12
- 238000000034 method Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 238000012546 transfer Methods 0.000 description 8
- 238000012423 maintenance Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000005484 gravity Effects 0.000 description 5
- HEZMWWAKWCSUCB-PHDIDXHHSA-N (3R,4R)-3,4-dihydroxycyclohexa-1,5-diene-1-carboxylic acid Chemical compound O[C@@H]1C=CC(C(O)=O)=C[C@H]1O HEZMWWAKWCSUCB-PHDIDXHHSA-N 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000002366 time-of-flight method Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Description
本発明の実施形態は、保持装置、飛行体、および搬送システムに関する。 Embodiments of the present invention relate to holding devices, air vehicles, and transport systems.
吸引装置および吸着部を備える保持装置が知られている。
ところで、保持装置は、吸着保持動作の信頼性の向上が期待されている。
Holding devices are known which comprise a suction device and a suction part.
By the way, the holding device is expected to improve the reliability of the sucking and holding operation.
本発明が解決しようとする課題は、吸着保持動作の信頼性の向上を図ることができる保持装置、飛行体、および搬送システムを提供することである。 The problem to be solved by the present invention is to provide a holding device, a flying object, and a transport system that can improve the reliability of the sucking and holding operation.
実施形態の保持装置は、吸引装置と、吸着部と、光量センサと、制御装置と、を持つ。前記吸引装置は、気体を吸引する。前記吸着部は、前記吸引装置に連通し、前記吸引装置の吸引により物体を吸着する。前記光量センサは、前記物体からの光量を二次元的に検出する。前記制御装置は、前記光量センサにより検出された情報に基づいて前記吸引装置を制御する。 A holding device according to an embodiment includes a suction device, a suction section, a light amount sensor, and a control device. The suction device sucks gas. The suction unit communicates with the suction device, and suctions an object by suction of the suction device. The light amount sensor two-dimensionally detects the light amount from the object. The control device controls the suction device based on information detected by the light amount sensor.
以下、実施形態の保持装置、飛行体、および搬送システムを、図面を参照して説明する。 Hereinafter, a holding device, an aircraft, and a carrier system according to embodiments will be described with reference to the drawings.
図面全体を通して同一または類似の構成要素に同一の参照符号を付して、重ねての説明を省略する。なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。また、本願でいう「ＸＸに基づく」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づく」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。 The same or similar components are denoted by the same reference numerals throughout the drawings, and repeated descriptions are omitted. Note that the drawings are schematic or conceptual, and the relationship between the thickness and width of each portion, the size ratio between portions, and the like are not necessarily the same as the actual ones. Also, even when the same parts are shown, the dimensions and ratios may be different depending on the drawing. In addition, "based on XX" in the present application means "based on at least XX", and includes cases based on other elements in addition to XX. Moreover, "based on XX" is not limited to the case of using XX directly, but also includes the case of being based on what has been calculated or processed with respect to XX. "XX" is an arbitrary element (for example, arbitrary information).
（第１の実施形態）
図１は、第１の実施形態に係る保持装置（保持機構ともいう）２０を用いた搬送システム（物体移載システムともいう）１の一例を示す概略図である。図１に示すように、搬送システム１は、飛行体１０、認識装置１２、飛行体制御装置１４、および搬送装置１６を備える。「搬送システム」または「物体移載システム」とは、物体Ｐを移動させるシステムを広く意味する。飛行体１０は、「移動機構」の一例である。飛行体制御装置１４は、「移動機構制御装置」の一例である。
(First embodiment)
FIG. 1 is a schematic diagram showing an example of a transport system (also referred to as an object transfer system) 1 using a holding device (also referred to as a holding mechanism) 20 according to the first embodiment. As shown in FIG. 1 , the
搬送システム１は、積載領域１８に載置された複数の物体Ｐを認識装置１２により認識する。飛行体制御装置１４は、認識装置１２による認識の結果に基づいて飛行体１０を制御する。これにより、飛行体１０が、移載対象の物体Ｐを保持し、物体Ｐを搬送装置１６上に運ぶ。逆に、飛行体１０は、搬送装置１６から積載領域１８へ物体Ｐを移載するように制御されてもよい。物体Ｐは、荷物、物品、ワーク、対象物、または移動対象物などと呼ばれてもよい。物体Ｐは、例えば、段ボール箱などに入れられた製品、パッケージされた製品、製品そのものなどであり得る。
The
まず、飛行体１０について説明する。
飛行体１０は、三次元空間上を自由に移動可能である。飛行体１０には、物体Ｐを保持するように構成された保持装置２０を有する。保持装置２０は、物体Ｐを保持可能な少なくとも１つの保持部を有する。保持装置２０は、保持部が飛行体１０に対して外側を向くように配置される。保持部は、例えば、吸着により物体Ｐを保持する吸着パッドを含む。また、保持部は、電磁石が発生する磁力により物体Ｐを磁気吸着するタイプであってもよい。保持装置２０については、後に詳細に説明する。
First, the
The
飛行体１０は、飛行するために回転翼（またはプロペラ）を備える。飛行体１０は、例えば、一定の高度を保つホバリングをすることができる。回転翼の回転関節部は、例えば、モータ、エンコーダおよび減速機などを含む。関節部は、１軸方向の回転に限定されず、２軸方向の回転が可能でもよい。飛行体１０は、モータの駆動により自身を三次元空間上の任意の位置に移動可能である。これにより、飛行体１０に設けられた保持装置２０を移動させることが可能である。飛行体１０は、例えば、いわゆるドローンである。飛行体１０は、有線式でも無線式でもよい。飛行体１０が無線式である場合、飛行体１０には、通常、飛行のための電力源としてバッテリーが搭載される。
次に、認識装置１２について説明する。
認識装置１２は、積載領域１８に載置された複数の物体Ｐを認識する。認識装置１２は、外部画像センサ１２ａ、および外部画像センサ１２ａに接続された計算機１２ｂを備える。「画像センサ」とは、対象からの光（例えば反射光で、可視光に限定されない）に基づいて対象の画像を取得するセンサを意味する。外部画像センサ１２ａは、例えば、積載領域１８に載置された複数の物体Ｐに対して直上または斜め上方に位置する。外部画像センサ１２ａは、位置が固定されていてもよく、移動可能であってもよい。外部画像センサ１２ａとして、距離画像センサまたは赤外線ドットパターン投影方式カメラなどの三次元位置計測可能なカメラを利用することができる。赤外線ドットパターン投影方式カメラは、赤外線のドットパターンを対象物に投影し、その状態で積載領域１８に載置された物体Ｐの赤外線画像を撮影する。赤外線画像を解析することで物体Ｐの３次元情報を得ることが可能である。赤外線ドットパターン投影方式カメラは、カラー画像またはモノクロ画像を撮影することができてもよい。また、外部画像センサ１２ａは、赤外線ドットパターン投影方式カメラに加えて、カラー画像またはモノクロ画像を取得するカメラなどの光学センサを含んでいてもよい。画像は、例えば、ｊｐｇ、ｇｉｆ、ｐｎｇやｂｍｐなどの一般的に用いられている形式の画像データとして取得されてもよい。
Next, the
The
図１に示される例では、３つの外部画像センサ１２ａが設けられているが、外部画像センサ１２ａは、１つでもよく、２つでもよく、４つ以上であってもよい。また、外部画像センサ１２ａの少なくとも１つは、飛行体１０に配置されていてもよい。飛行体１０に配置されている外部画像センサ１２ａによって取得された画像は、有線または無線で計算機１２ｂへ送信される。
Although three
計算機１２ｂは、外部画像センサ１２ａから出力される画像データに基づいて物体Ｐの３次元位置姿勢を算出する。「３次元位置姿勢」とは、物体Ｐの３次元空間上の位置および向きを意味し、物体Ｐの形状に関する情報を含んでもよい。算出された位置姿勢を示す位置姿勢情報は、飛行体制御装置１４へ出力される。飛行体制御装置１４は、位置姿勢情報に基づいて飛行体１０を制御する。計算機１２ｂは、例えば、ＣＰＵ（Central Processing Unit）、メモリ、および補助記憶装置を備える。計算機１２ｂの機能、例えば、物体Ｐの３次元位置姿勢を算出する機能は、例えば、ＣＰＵのような１つ以上のプロセッサがプログラムを実行することにより実現される。なお、計算機１２ｂの機能の一部または全部は、ＡＳＩＣ（Application Specific Integrated Circuits）、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）などのハードウェア（例えば、回路部；circuitry）を用いて実現されてもよい。
The
次に、搬送装置１６について説明する。
搬送装置１６は、飛行体１０により搬送装置１６上に移載された物体Ｐを搬送する。搬送装置１６は、例えば、ベルトコンベア１６ａおよび搬送制御装置１６ｂを備える。ベルトコンベア１６ａは、所定の方向に並べた複数のローラと、複数のローラに巻き付けたベルトと、を含む。ベルトコンベア１６ａは、複数のローラを回転することによりベルトを駆動し、物体Ｐを搬送する。搬送装置１６は、ベルトコンベア１６ａの代替として、ローラコンベアまたはソータを備えていてもよい。
Next, the conveying
The
搬送制御装置１６ｂは、ベルトコンベア１６ａの駆動を制御する。搬送制御装置１６ｂは、例えば、搬送速度および搬送方向を制御する。搬送制御装置１６ｂは、例えば、ＣＰＵ、メモリおよび補助記憶装置を備えたコンピュータである。搬送制御装置１６ｂは、予め設定されたプログラムをＣＰＵのようなプロセッサにより実行し、プログラムに従ってベルトコンベア１６ａの動作を制御する。なお、ベルトコンベア１６ａの動作は、作業者が搬送制御装置１６ｂを手動で操作することにより制御されてもよい。
The
積載領域１８は、物体Ｐが積載または載置される箇所である。積載領域１８は、カゴ台車、スチール台車、ボックスパレット、パレット、または棚などであってもよい。
The
次に、図２から図５を参照して保持装置２０について説明する。
図２から図４は、それぞれ保持装置２０を示す斜視図、正面図、および側面図である。図５は、図２のＦ５－Ｆ５線に沿う保持装置２０の断面図である。図２から図４に示すように、保持装置２０は、筐体２２、支持部材２４、吸着パッド（吸盤ともいう）２６、吸引装置２８、圧力センサ３０、切替弁３２、画像センサ基板３４、および画像センサ３６を備える。この例では、画像センサ３６の数は１つであるが、２つ以上であってもよい。また、吸着パッド２６は、複数設けられていてもよい。保持装置２０は、制御装置や電源部を内包することにより、自律的に単独で動作可能であってよい。吸着パッド２６は、「吸着部」の一例である。画像センサ３６は、「光量センサ」の一例である。「光量センサ」とは、入射光の光量を検出するセンサであり、カメラなどの画像センサを含む。画像センサ３６は、光量を二次元的に検出することができる。ここで、「二次元的に検出する」とは、互いに交差する２つの空間的方向によって規定される平面内において、各方向において少なくとも２点で検出を行うことを意味する。例えば、一般的なカメラでの撮影は二次元的な光量分布の検出を行うことに該当する。画像センサ３６による画像撮影は、「光量の二次元的な検出」の一例である。
Next, the holding
2 to 4 are a perspective view, a front view, and a side view, respectively, showing the holding
筐体２２は、長さ方向Ｘに延びる直方体形の形状を有し、吸引装置２８に加えて、後述する制御装置６０や電源部６２などの要素を収容する。なお、筐体２２の形状は直方体形に限定されず、円筒形状など内容物を収容することが可能な立体形状であればよい。筐体２２の一側には、飛行体１０の本体部に取り付ける取付部３８が設けられている。
The
支持部材２４は、取付部３８と反対側で筐体２２に設けられて長さ方向Ｘに延びた円筒状の部材である。支持部材２４の先端には吸着パッド２６が取り付けられている。図５に示されるように、支持部材２４の先端部２４ａでは、支持部材２４の内径が小さくなっており、空気穴２４ｂが形成されている。ここで、「空気穴」とは、当該穴の両側の間で（ここでは、筐体２２の内部と外部との間で）空気などの流体が通過可能な穴を意味する。また、支持部材２４の先端部２４ａでは、支持部材２４の外縁２４ｃが長さ方向Ｘに突出し、吸着パッド２６を取り囲む。さらに、吸着パッド２６を支持部材２４に固定するために、リング状の吸着パッド固定部材４０が設けられている。吸着パッド２６は、支持部材２４と吸着パッド固定部材４０とに挟まれて支持部材２４に対して固定される。なお、支持部材２４の形状は、円筒形に限定されない。空気穴２４ｂの形状も、円形に限定されない。また、筐体２２と支持部材２４との接続部の周りには、リング状の照明装置４２が設けられている。照明装置４２は、吸着パッド２６の外部に配置され、筐体２２から支持部材２４および吸着パッド２６へ向かって（または物体Ｐに向かって）光を照射する。照明装置４２は、例えばＬＥＤ（Light Emitting Diode）または蛍光灯である。なお、照明装置４２の位置は、上記例に限定されず、筐体２２上もしくは支持部材２４上の任意の場所または飛行体１０に設けられてもよい。
The
吸着パッド２６は、上記のとおり支持部材２４に取り付けられる。吸着パッド２６は、変形が可能なベローズ（蛇腹）形状を有する。ここで、「ベローズ形状」とは、山折りと谷折りとが交互に繰り返されることにより伸縮可能に形成されたひだ付きの筒状の形状を意味する。なお、吸着パッド２６の形状はベローズ形状に限定されず、物体Ｐの吸着が可能な任意の形状であってよい。吸着パッド２６は、物体Ｐの一面に吸着し、物体Ｐを保持することができる。吸着パッド２６は、物体Ｐの吸着時に変形することができる。吸着パッド２６は、空気などが通過可能な空洞２６ａを内部に有し、支持部材２４の空気穴２４ｂを通じて筐体２２内部の吸引装置２８に連通する。なお、本実施形態では、吸着パッド２６と支持部材２４とを合わせて「吸着ユニット２７」と称する。また、吸着パッド２６の空洞２６ａと、支持部材２４の空気穴２４ｂとを合わせて「空洞部２７ａ」と称する。
The
吸引装置２８は、筐体２２の内部に設けられる。吸引装置２８は、吸引装置２８から支持部材２４の方へ延びる第１チューブ５０と支持部材２４の空気穴２４ｂとを介して吸着パッド２６と連通する。第１チューブ５０は、支持部材２４が設けられた筐体２２の一面まで延びており、吸引装置２８と吸着パッド２６との間に流体（例えば気体）が流れる流路を形成する。吸引装置２８としては、例えば、真空ポンプが使用され得る。あるいは、加圧装置と真空発生器を組み合わせて負圧を発生させる吸引装置などが使用されてもよい。保持装置２０を飛行体１０に搭載することを考慮すると、吸引装置２８は小型であることが望ましい。第１チューブ５０は、吸引装置２８による吸引によってつぶれないことが望ましい。
A
圧力センサ３０は、第１チューブ５０に取り付けられている。圧力センサ３０は、第１チューブ５０の内部の気体の圧力を検出する。
A
切替弁３２は、第１チューブ５０から分岐して筐体２２の側面まで延びた第２チューブ５２の内部（例えば第２チューブ５２の先端）に設けられている。第２チューブ５２は、吸引装置２８と大気圧空間との間に気体が流れる流路を形成する。言い換えれば、吸着パッド２６に接続される第１チューブ５０と切替弁３２に接続される第２チューブ５２とは、合流して吸引装置２８に接続される。吸着パッド２６に接続される第１チューブ５０と切替弁３２に接続される第２チューブ５２とは、吸引装置２８内で連通している。切替弁３２は、後述する切替弁駆動回路６６により、弁が完全に開放されて第２チューブ５２の内部と大気圧空間とが連通する開状態と、弁が完全に閉鎖されて第２チューブ５２の内部と大気圧空間とが連通しない閉状態と、の間で切り替えられる。切替弁３２は、開状態および閉状態以外に、開状態と閉状態との間の弁が部分的に開放された状態で保持されることができてもよい。切替弁３２としては、例えば、電磁ソレノイドと遮断板部材とを組み合わせたものや電磁回転モータと流路遮断板部材を組み合わせたものが使用され得るが、開状態と閉状態とを切り替える弁の機能を果たすことができるものであれば任意の機構が使用されてよい。
The switching
画像センサ基板３４は、画像センサ３６の回路基板である。画像センサ基板３４は、複数の弾性部材４４を介して支持部材２４に支持される。画像センサ基板３４の主面（検出表面ともいう）上には、画像センサ３６が搭載される。画像センサ基板３４は、吸着パッド２６の後ろ側に配置される。ここで、「吸着パッドの後ろ側に配置される」とは、吸引方向において吸着パッド２６の下流に配置されることを意味する。すなわち、画像センサ基板３４は、支持部材２４の内部に配置される。ただし、画像センサ基板３４は、吸引方向において支持部材２４の上流で吸着パッド２６の内部に配置されてもよい。言い換えると、画像センサ基板３４および画像センサ３６は、筐体２２、支持部材２４、吸着パッド２６、および物体Ｐにより形成されることになる密閉空間の内部に位置する。すなわち、画像センサ基板３４および画像センサ３６は、吸着ユニット２７の内部に位置する。より具体的には、画像センサ基板３４および画像センサ３６は、吸着ユニット２７の空洞部２７ａに配置される。画像センサ基板３４は、例えば長方形状であるが、吸着パッド２６と吸引装置２８との間の流路が確保される限り、任意の形状であってよい。画像センサ基板３４の主面は、吸着パッド２６側を向いている。弾性部材４４は、弾性材料（例えばゴム）から成る４本の支柱であり、画像センサ基板３４を支持部材２４に接続する。なお、弾性部材４４の数や構成はこれに限定されない。
画像センサ３６は、画像センサ基板３４上に搭載される。画像センサ基板３４および画像センサ３６は、画像センサ３６が吸着パッド２６の空洞２６ａを通して外部から視認できる位置に設けられている。すなわち、画像センサ３６は、吸着パッド２６の空洞２６ａを通して吸着パッド２６の外部を撮影することのできる位置に設けられている。画像センサ３６は、例えば、パッシブ型の画像センサ（例えばカメラ）である。ここで、「パッシブ型のセンサ」とは、対象物への能動的な働きかけ（例えば対象への光照射）を行わず、対象物からの信号（例えば対象物からの反射光）などを読み取るセンサを意味する。画像センサ３６は、例えば、CCD素子やCMOS素子などの光を読み取る極小サイズの素子の集合体と、入射光を集光するレンズとを含む。撮影対象物からの光がレンズなどの光学系を通して素子上に像を結ぶ。画像センサ３６は、各素子上に結像した光の光量を検出し、電気信号に変換することができる。画像センサ３６は、この電気信号に基づいて画像データを生成する。また、例えば、得られた画像中の画像の明るさの不連続な変化を特定することにより、画像中の特徴部分が抽出され得る。具体的には、画像中の対象物のエッジなどを検出することにより、対象物の大きさ、面積、位置、重心などの特徴量を算出することが可能である。また、同様の画像処理により、対象物の表面上の特徴部（例えば模様や印字、ラベル、テープ、突起部、凹部など）の大きさや位置なども抽出することが可能である。このように、画像センサ３６により取得された画像データに基づき、対象物の特徴量を非接触で測定することが可能である。なお、こうした画像処理は、画像センサ３６が行ってもよく、後述する制御装置６０などが行ってもよい。
画像センサ３６は、物体Ｐが吸着パッド２６に近接していることを検出するために使用され得る。吸着パッド２６および画像センサ３６は、画像センサ基板３４の主面側に位置しており、画像センサ３６への物体Ｐの接近は、吸着パッド２６への物体Ｐの接近と見なすことができる。なお、画像センサ３６の配置は、図５に示される例に限定されるものではなく、種々の形態を取り得る。
The
図６に画像センサ３６の配置例を示す。画像センサ３６が画像センサ基板３４は、画角を確保するために、吸着パッド２６の吸着方向に対して略直交する平面内で吸着パッド２６の中央に設置されることが望ましい。図６では、画像センサ基板３４は、吸着パッド２６内の流路上に設置されている。画像センサ基板３４が流路を塞がないように、画像センサ基板３４の四隅が弾性部材４４により支持され、空気穴２４ｂを有する支持部材２４と画像センサ基板３４との間に距離が設けられている。吸引装置２８により外環境から吸着パッド２６内部へ吸引された空気は、空気穴２４ｂを通過した後、空気穴２４ｂと画像センサ基板３４との間の空間から弾性部材４４の間を通過して吸引装置２８の方へ向かう。なお、画像センサ基板３４の固定方法は、図６に示す構成に限定されず、流路が確保される任意の構成であってよい。また、吸着パッド２６の内部に配置された画像センサ３６からの配線などが吸着パッド２６の外部に延びる場合、例えば、吸着パッド２６内部（負圧が印加される閉空間）と外部（大気）とを連通させるような貫通孔が支持部材２４に設けられる。当該貫通孔に配線などが通されることにより、配線などが吸着パッド２６の内部から外部へ延びることができる。このような場合、貫通孔からの空気漏れを防止するために、接着剤などを塗布して貫通孔を埋めることが望ましい。
FIG. 6 shows an arrangement example of the
図７は、画像センサ３６を用いた吸着パッド２６と物体Ｐとの近接判定の一例を示す。図７中の（ａ）は、吸着パッド２６が物体Ｐから離れている状態を示し、図７中の（ｂ）は、図７中の（ａ）に示す状態において吸着パッド２６内部の画像センサ３６により取得される画像の概略図を示す。図７中の（ｃ）は、吸着パッド２６が物体Ｐに接近している状態を示し、図７中の（ｄ）は、図７中の（ｃ）に示す状態において画像センサ３６により取得される画像の概略図を示す。図７中の（ｅ）は、吸着パッド２６が物体Ｐに接触している状態を示し、図７中の（ｆ）は、図７中の（ｅ）に示す状態において画像センサ３６により取得される画像の概略図を示す。
FIG. 7 shows an example of proximity determination between the
図７に示すように、吸着パッド２６が物体Ｐに接近するにつれて、画像センサ３６の画角内で物体Ｐの占める面積の割合が増加する。すなわち、画像センサ３６により取得された画像全体に占める物体Ｐの面積の割合が増加する。これに基づき、吸着パッド２６と物体Ｐとの間の距離を見積もることが可能である。
具体的には、様々な大きさの物体Ｐに対して、物体Ｐの上空に飛行体１０が位置している場合の、吸着パッド２６と物体Ｐとの高さ方向の距離と、画像センサ３６の画像全体に占める物体Ｐの面積の割合との対応を列挙した参照テーブルが予め作成される。この参照テーブルは、制御装置６０または保持装置２０に予め記憶される。実際の移載時には、移載対象である物体Ｐの大きさが認識装置１２により見積もられる。制御装置６０は、認識装置１２により見積もられた物体Ｐの大きさと、画像センサ３６の画像全体に占める物体Ｐの面積の割合とに基づき、参照テーブルを参照して吸着パッド２６と物体Ｐとの距離を見積もることができる。
あるいは、第１タイミングにおいて認識装置１２により取得された吸着パッド２６と物体Ｐとの間の距離に関する情報と、略同じ第１タイミングにおける画像センサ３６の画像とが対応付けられる。また、第１タイミングと異なる第２タイミングにおいて認識装置１２により取得された吸着パッド２６と物体Ｐとの間の距離に関する情報と、略同じ第２タイミングにおける画像センサ３６の画像とが対応付けられる。制御装置６０は、これら２つの対応関係に基づき、吸着パッド２６と物体Ｐとの間の距離と画像センサ３６の画像全体に占める物体Ｐの面積の割合との関係を推定することができる。制御装置６０は、このように推定された関係に基づき（例えば外挿または内挿により）、任意のタイミングにおける画像センサ３６の画像全体に占める物体Ｐの面積の割合から吸着パッド２６と物体Ｐとの間の距離を見積もることができる。
なお、物体Ｐ全体の面積に代えて、物体Ｐの全部または一部の大きさ（例えば長さや幅）の変化、または物体Ｐの表面上の特徴部の大きさの変化に基づき、吸着パッド２６と物体Ｐとの間の距離が見積もられてもよい。
As shown in FIG. 7, as the
Specifically, for objects P of various sizes, when the flying
Alternatively, the information about the distance between the
Instead of the area of the entire object P, the
また、吸着パッド２６が物体Ｐに吸着した際に、吸着パッド２６内部が閉空間となり外光が吸着パッド２６により減衰または遮断されるため、画像センサ３６により検出される光量は吸着前後で変化する。このため、画像センサ３６により検出された光量の変化に基づいて、吸着パッド２６と物体Ｐとの吸着状態を判定することができる。画像センサ３６の有する光検出素子が受光した光量が第１の光量閾値以上である場合、吸着パッド２６は物体Ｐに吸着していない状態であると判定され得る。画像センサ３６の光検出素子が受光した光量が第２の光量閾値以下である場合、吸着パッド２６は物体Ｐに吸着している状態であると判定され得る。第２の光量閾値は、第１の光量閾値と略等しいまたは第１の光量閾値より小さい。
さらに、吸着パッド２６により物体Ｐが保持されている場合において、物体Ｐの保持状態が変化すると、吸着パッド２６内部の画像センサ３６により検出された光量が変化し得る。例えば、画像センサ３６により検出された光量が変化して第１の光量閾値以上になった場合、吸着パッド２６が保持している物体Ｐは存在しないと判定され得る。この場合、物体Ｐが落下したと判定することが可能である。このようにして、物体Ｐの運搬中における物体Ｐの落下を検知することも可能である。また、例えば、画像センサ３６により検出された光量の時間変化が大きい場合にも、物体Ｐの保持状態に何らかの変化が生じたと判定することが可能である。
Further, when the
Furthermore, when the object P is held by the
なお、本実施形態では画像センサ３６が１つだけ設けられているが、より広い視野を実現するために、または物体Ｐの立体視を可能にするために、２つ以上の画像センサが設けられてもよい。
Note that although only one
次に、図８を参照して、保持装置２０の制御について説明する。
図８は、保持装置２０の制御系を示すブロック図である。保持装置２０は、制御装置（制御部ともいう）６０、電源部６２、ＤＣＤＣコンバータ６４、切替弁駆動回路（切替弁ドライバ回路）６６、および吸引装置駆動回路（吸引装置ドライバ回路）６８をさらに備える。これらは、筐体２２の内部に収容される。なお、これらは筐体２２の外部に配置されてもよい。
Next, control of the holding
FIG. 8 is a block diagram showing the control system of the holding
制御装置６０は、吸引装置２８および切替弁３２を制御する。具体的には、制御装置６０は、吸引装置２８の駆動および停止を選択的に指示する駆動指令を吸引装置駆動回路６８へ送信する。同様に、制御装置６０は、切替弁３２の開状態と閉状態との切替などを指示する駆動指令を切替弁駆動回路６６へ送信する。
A
大気から流路に気体を供給して吸着パッド２６内部の圧力を大気圧と略等しくするためには、制御装置６０は、切替弁３２を開状態にし、第１チューブ５０内部と大気圧空間とを連通させる。一方、吸着パッド２６に気体を吸引させるためには、制御装置６０は、切替弁３２を閉状態にする。この状態で、吸引装置２８は、第１チューブ５０を通じて吸着パッド２６から気体を吸引する。
In order to supply gas from the atmosphere to the channel and make the pressure inside the
制御装置６０は、第１チューブ５０に設けられた圧力センサ３０によって検出された圧力に基づいて、吸引装置２８による吸引を継続するかどうかを決定する。例えば、圧力センサ３０により検出された第１チューブ５０内部の圧力が第１の圧力閾値よりも低い場合、制御装置６０は、第１チューブ５０内部の圧力が十分に低いと判定して、吸引装置２８の駆動を停止することができる。さらに、制御装置６０は、圧力センサ３０によって検出された圧力に基づいて、吸着パッド２６による物体Ｐの保持が成功したか否かを判定する。例えば、保持動作が行われた後に、圧力センサ３０により検出された圧力が第２の圧力閾値よりも高い場合、または保持動作の前後における圧力の変化が圧力変化閾値以下であった場合、制御装置６０は、物体Ｐの保持が失敗したと判定することができる。ここで、第１の圧力閾値は、第２の圧力閾値と略等しいまたは第１の圧力閾値より高い。なお、圧力センサ３０の代わりに、または圧力センサ３０に加えて、流量センサが設けられていてもよい。流量センサは、第１チューブ５０内部の気体の流量を検出し、制御装置６０は、流量センサによって検出された流量に基づいて、吸引装置２８による吸引を継続するかどうかを決定してもよい。
The
制御装置６０は、圧力センサ３０からのセンサ信号や、吸引装置２８および切替弁３２の駆動状態を表す情報などを上位コントローラ７０に無線または有線で送信する。上位コントローラ７０は、例えば、飛行体制御装置１４および／または飛行体１０内の制御装置６０を含む。保持装置２０は、ＩｏＴ（Internet of Things）デバイスとして利用されてもよい。
The
電源部６２は、例えば、充電式バッテリーである。電源部６２は、制御装置６０、圧力センサ３０、切替弁駆動回路６６、および吸引装置駆動回路６８に電力を供給する。ＤＣＤＣコンバータ６４は、電源部６２から供給される電力を変圧する。圧力センサ３０、切替弁駆動回路６６、および吸引装置駆動回路６８は、ＤＣＤＣコンバータ６４を介して電源部６２から電力を供給される。電源部６２は、保持装置２０が飛行体１０と共有してもよく、保持装置２０専用の電源部６２が設けられてもよい。
The
次に、図９を参照して、制御装置６０による保持装置２０の制御についてより詳細に説明する。
図９は、制御装置６０による保持装置２０の制御の詳細を示すブロック図である。図９に示すように、制御装置６０は、コマンド生成部７４、動作モード格納部７６、目標指令値生成部７８、駆動制御部８０、判定部８２、および信号処理部８４を含む。制御装置６０は、入力部７２からの入力を受け付けるとともに、駆動部８６への出力を行う。駆動部８６は、図８に示した切替弁駆動回路６６および吸引装置駆動回路６８を含む。
Next, the control of the holding
FIG. 9 is a block diagram showing details of control of the holding
入力部７２は、動作命令をコマンド生成部７４に送る。コマンド生成部７４は、動作命令に応じて各作業プロセスで必要となる動作手順を動作コマンドとして生成する。コマンド生成部７４は、実行される動作コマンドに応じた動作モード情報を動作モード格納部７６に送る。動作モード格納部７６は、動作モード情報を格納する。動作モード格納部７６は、移載対象となる物体Ｐの形状、重量、柔軟性などの属性データをさらに格納する。動作モードは、例えば、切替弁３２を開状態にする動作、切替弁３２を閉状態にする動作、吸引装置２８を駆動する動作、および吸引装置２８の駆動を停止する動作などである。また、画像センサ３６の検出結果に基づいて生成される動作コマンドが変更されてもよい。例えば、物体Ｐが他の物体と混在している場合に吸着パッド２６が誤って他の物体Ｐを吸着することなどを抑止するために、画像センサ３６により取得された画像と予め登録された物体Ｐの画像とがある程度一致している場合に吸着動作が開始されるようにコマンド生成部７４が動作コマンドを生成してもよい。
The
入力部７２からの動作命令は、保持装置２０の一連の動作に関する命令であり、例えばプログラムの形態で制御装置６０において保持される。動作命令は、入力部７２によりパネル表示された命令コマンドを作業者がタッチすることで生成されてもよいし、作業者の音声により生成されてもよい。入力部７２は、飛行体１０と一体であってもよいし、有線または無線で飛行体１０に命令を送信できるものでもよい。
The operation command from the
目標指令値生成部７８は、コマンド生成部７４から切替弁３２または吸引装置２８に対する動作コマンドを受け取る。目標指令値生成部７８は、切替弁３２または吸引装置２８の目標値を算出し、切替弁３２または吸引装置２８の駆動に関する目標指令値を生成する。
The target
駆動制御部８０は、目標指令値生成部７８から切替弁３２または吸引装置２８の目標指令値を受け取り、目標指令値に応じて切替弁３２または吸引装置２８を駆動するための駆動指示を生成する。
The
駆動部８６は、駆動制御部８０から切替弁３２または吸引装置２８の駆動指示を受け取り、切替弁３２または吸引装置２８の駆動出力を生成する。切替弁３２は、駆動部８６から駆動出力を受け取り、供給される気体の量や特性（負圧側と連通、大気圧と連通）を調整する。
The
吸引装置２８は、駆動部８６から駆動出力を受け取り、駆動出力に従って吸引を開始または停止する。
The
圧力センサ３０は、吸着パッド２６の吸引動作をセンシングし、センサ信号を生成する。センサ信号は、例えば電圧信号である。画像センサ３６は、画像センサ３６に入射した光の強度および波長などをセンシングし、これらに基づく画像データに対応するセンサ信号を生成する。センサ信号は、例えば電圧信号である。なお、本実施形態では、画像センサ３６により取得された画像データなどに基づいて制御装置６０が吸着パッド２６と物体Ｐとの距離の見積もりや吸着パッド２６と物体Ｐとの近接判定を行うが、制御装置６０の代わりに画像センサ３６がこのような見積もりや判定を行ってもよい。
The
信号処理部８４は、圧力センサ３０、および画像センサ３６からセンサ信号を受け取り、センサ信号に対して信号増幅およびアナログデジタル変換などを含む信号処理を行う。
The
判定部８２は、信号処理部８４から変換されたセンサ信号を受け取る。判定部８２は、センサ信号に応じて、気体供給の調整の必要性や物体Ｐの保持の有無を判定する。判定部８２は、判定結果に応じて、コマンド生成部７４から動作モード情報を受け取る。判定部８２は、動作モード情報に対応する切替弁３２の動作を動作モード格納部７６から抽出する。判定部８２は、切替弁３２の開状態と閉状態との切替えなどのコマンドを生成する。判定部８２は、コマンド生成部７４に対して目標値を修正する戻り値コマンドを生成する。戻り値コマンドにより、コマンド生成部７４は、現状の動作に適した対応処理動作を実行でき、保持装置２０の動作の信頼性および確実性を確保する。
The
上述した制御装置６０の機能の一部または全部は、飛行体制御装置１４により実現されてもよく、飛行体１０内の制御装置６０により実現されてもよい。
Some or all of the functions of the
次に、図１０を参照して、保持装置２０の動作例を説明する。
図１０は、保持装置２０の動作例を示す図である。図１０中の（ａ）は、吸着パッド２６が物体Ｐに接近する途中の状態を示し、図１０中の（ｂ）は、吸着パッド２６が物体Ｐに接触している状態を示し、図１０中の（ｃ）は、吸着パッド２６が物体Ｐを保持および運搬している状態を示す。図１０において、物体Ｐは、移載対象の物体であり、積載台Ｂ上に載置されている。
Next, an operation example of the holding
10A and 10B are diagrams showing an operation example of the holding
（１）接近
飛行体１０が、物体Ｐに向けて移動する。具体的には、飛行体１０は、物体Ｐの上方に移動し、その後に下降する。保持装置２０の画像センサ３６により取得された画像に基づき物体Ｐの接近が検出されると、制御装置６０は、物体Ｐを素早く吸着するために、吸引装置２８を予め駆動して吸着パッド２６内部の真空引きを開始する。制御装置６０は、画像センサ３６からの画像に基づいて見積もられた吸着パッド２６から物体Ｐまでの距離が距離閾値未満になった場合に、吸引装置２８を駆動する。
(1) Approach The flying
距離閾値は、画像センサ３６の画像内で物体Ｐの占める面積の変化から算出され得る。例えば、距離閾値は、物体Ｐが吸着パッド２６の吸着面に接触する直前に吸引装置２８の駆動が開始されるように設定される。距離閾値は、例えば、１０ｃｍから１ｍ程度である。距離閾値は、例えば、吸着パッド２６が物体Ｐに接触する１秒前から２秒前に吸引装置２８が駆動されるように設定される。距離閾値は、可変値であってもよく、可変値でなくてもよい。例えば、距離閾値は、飛行体１０の移動速度、すなわち、吸着パッド２６の移動速度に応じて調整され得る。具体的には、距離閾値は、飛行体１０の移動速度が速い場合には大きい値に設定され、飛行体１０の移動速度が遅い場合には小さい値に設定される。距離閾値は、移動速度に対して連続的に調整されてもよく、移動速度に対して段階的に調整されてもよい。飛行体１０の移動速度は、上位コントローラ７０から取得してもよく、第３の実施形態で後述するように保持装置２０内に設けられた加速度センサ９４から出力されるセンサ信号に基づいて算出されてもよい。
A distance threshold may be calculated from the change in area occupied by the object P within the image of the
（２）接触・吸着
制御装置６０は、画像センサ３６からのセンサ信号に基づいて吸着パッド２６への物体Ｐの接触を検知し、吸着動作を継続するとともに、圧力をモニタリングする。例えば、画像センサ３６により取得される画像の明るさが一定値を下回った場合、制御装置６０は、吸着パッド２６に物体Ｐが接触したと判定することができる。制御装置６０は、圧力が所定の圧力閾値（予め設定された真空度）より低くなった場合に、吸引装置２８の駆動を停止してもよい。通気性のない物体Ｐを吸着する場合は、吸引装置２８の駆動を停止しても吸着パッド２６の真空度が維持される時間は長い。一方、通気性のある物体Ｐを吸着する場合は、吸引装置２８の駆動を停止すると吸着パッド２６内部に空気が進入するので、吸着パッド２６の真空度が維持される時間は短い。このため、制御装置６０は、圧力をモニタリングしながら吸引装置２８を断続的に駆動する。
(2) Contact/Suction The
（３）運搬
制御装置６０は、真空度をモニタリングして吸引装置２８を断続的に駆動しながら、物体Ｐを運搬するために飛行体１０の移動を制御する。例えば、飛行体１０は、上昇し、その後に横方向に移動する。制御装置６０は、必要に応じて、画像センサ３６および圧力センサ３０から出力されるセンサ信号を含む情報を上位コントローラ７０に送信する。上位コントローラ７０は、保持装置２０から受け取った情報に基づいて保持状態を確認する。上位コントローラ７０は、移載作業全体のスケジュール管理や飛行体１０の動作管理などを行う。
(3) Carrying The
（４）解放
飛行体１０が物体Ｐを目的地（例えば図１に示した搬送装置１６）まで運搬すると、制御装置６０は、切替弁３２を開き、大気圧空間と吸着パッド２６を連通させる。これにより、吸着パッド２６内の真空が破壊され、物体Ｐは吸着パッド２６から解放される。このとき、吸引装置２８は停止している。物体Ｐが解放されたか否かは、必要に応じて、画像センサ３６および圧力センサ３０から出力されるセンサ信号に基づいて判定され得る。例えば、画像センサ３６により取得される画像の明るさが一定値を上回った場合、または圧力センサ３０により取得される圧力が一定値（例えば大気圧程度の値）まで増加した場合、制御装置６０は、物体Ｐが解放されたと判定することができる。
(4) Release When the flying
次に、図１１および図１２を参照して、飛行体１０による動作例について動作フローを用いてさらに詳細に説明する。
図１１は、飛行体１０による物体Ｐへの接近から物体Ｐの保持までの動作フローを示す。まず、飛行体１０は、飛行体制御装置１４の制御のもと、目標位置へ移動する（Ｓ１０１）。飛行体制御装置１４は、認識装置１２によって生成される物体Ｐの位置姿勢情報に基づいて、飛行体１０の移動を制御する。なお、作業者が、目視により物体Ｐを確認し、物体Ｐの位置姿勢情報を入力してもよい。
Next, with reference to FIGS. 11 and 12, an operation example of the flying
FIG. 11 shows an operation flow from approaching the object P by the flying
飛行体１０は、目標位置へ移動した後、物体Ｐに接近する（Ｓ１０２）。これに伴い、保持装置２０の吸着パッド２６が物体Ｐに接近する。次いで、制御装置６０が、吸着パッド２６が十分に物体Ｐに近接しているか否かを判定する（Ｓ１０３）。具体的には、制御装置６０は、画像センサ３６からのセンサ信号に基づいて、物体Ｐまでの距離が距離閾値以下になったか否かを判定する。吸着パッド２６が十分に物体Ｐに近接していないと判定された場合（Ｓ１０３：ＮＯ）、Ｓ１０２に戻り、制御装置６０は、物体Ｐにさらに接近するように飛行体１０に指示する。
After moving to the target position, the flying
制御装置６０が、吸着パッド２６が十分に物体Ｐに近接したと判定した場合（Ｓ１０３：ＹＥＳ）、制御装置６０は、吸引装置２８を駆動する（Ｓ１０４）。次いで、制御装置６０は、吸着パッド２６の真空度が目標の圧力値に到達したか否かを判定する（Ｓ１０５）。吸着パッド２６の真空度が目標の圧力値に到達したと判定された場合（Ｓ１０５：ＹＥＳ）、飛行体１０は、飛行体制御装置１４の制御のもと、物体Ｐの運搬を開始する。吸着パッド２６の真空度が目標の圧力値に到達していないと判定された場合（Ｓ１０５：ＮＯ）、制御装置６０は、物体Ｐにさらに接近するように飛行体１０に指示する（Ｓ１０２）。
When the
なお、制御装置６０は、吸着パッド２６が物体Ｐに接触したと判定した場合に初めて吸引装置２８を駆動してもよい。この場合において、圧力センサ３０により検出された吸着パッド２６内部の圧力が目標の圧力値に到達していないと判定された場合、飛行体制御装置１４は、物体Ｐから離れて上昇して位置を補正するように飛行体１０に指示する。その後、飛行体制御装置１４は、再度物体Ｐに接近するように飛行体１０に指示する。
Note that the
図１２は、飛行体１０による物体Ｐの運搬から解放までの動作フローを示す。飛行体１０は、飛行体制御装置１４の制御のもと、吸着パッド２６により物体Ｐを保持した状態で積載台Ｂから離脱する（Ｓ２０１）。飛行体１０が物体Ｐを保持したまま移動している間、制御装置６０は、吸引装置２８を断続的に駆動する（Ｓ２０２）。これにより、吸着パッド２６内部の圧力が目標の圧力値以下に保たれる。その後、飛行体１０が目標位置に移動する（Ｓ２０３）と、物体Ｐの解放動作が行われる（Ｓ２０４）。例えば、制御装置６０は、吸引装置２８を停止させ、切替弁３２を開く。次いで、制御装置６０は、圧力センサ３０からのセンサ信号に基づいて、吸着パッド２６内部の圧力が目標の圧力値に到達したか否かを判定する（Ｓ２０５）。吸着パッド２６内部の圧力が目標の圧力値に到達していないと判定された場合（Ｓ２０５：ＮＯ）、飛行体制御装置１４は、吸着パッド２６内部の圧力が目標の圧力値に到達するまで飛行体１０を移動させない。吸着パッド２６の真空度が目標の圧力値まで下がったこと（すなわち、吸着パッド２６内部の圧力が目標の圧力値以上になったこと）が確認された場合（Ｓ２０５：ＹＥＳ）、飛行体制御装置１４が飛行体１０を移動させる（Ｓ２０６）。なお、解放動作の確実性をより向上させるために、物体Ｐが解放されたか否かは、圧力センサ３０からのセンサ信号に加えて、画像センサ３６からのセンサ信号に基づいて判定されてもよい。例えば、画像センサ３６により取得される画像の明るさが一定値を上回った場合、制御装置６０は、物体Ｐが吸着パッド２６から解放されたと判定することができる。
FIG. 12 shows an operation flow from carrying the object P by the flying
次に、図１３から図１６を参照して、画像センサ３６の応用例について説明する。
図１３は、画像センサ３６の一応用例を示す。図１３中の（ａ）は、保持装置２０の長さ方向Ｘが鉛直方向に略一致する状態において、吸着パッド２６が積載台Ｂに載置された物体Ｐを上方から吸着しようとしている様子を示す。図１３中の（ｂ）は、図１３中の（ａ）の状態において画像センサ３６により取得される画像の概略図を示す。図１３中の（ｃ）は、保持装置２０の吸着面が物体Ｐの被吸着面と略平行となるように吸着パッド２６が傾けられている状態において、吸着パッド２６が積載台Ｂに載置された物体Ｐを上方から吸着しようとしている様子を示す。図１３中の（ｄ）は、図１３中の（ｃ）の状態において画像センサ３６により取得される画像の概略図を示す。
Next, application examples of the
FIG. 13 shows one application of the
図１３において、物体Ｐは、積載台Ｂに対して傾斜している。このように、吸着パッド２６の吸着面の位置姿勢と物体Ｐの被吸着面の位置姿勢との間に差異がある場合、吸着パッド２６の吸着面が物体Ｐの被吸着面に隙間なく接触するように、飛行体制御装置１４は、吸着パッド２６の位置姿勢を物体Ｐの位置姿勢に応じて補正しながら接近するように飛行体１０に指示することができる。具体的には、図１３中の（ａ）のように保持装置２０の長さ方向Ｘが鉛直方向に略一致する状態において、画像センサ３６により取得される画像は、図１３中の（ｂ）のように、物体ＰのエッジＥを含む。この場合、制御装置６０は、物体Ｐの被吸着面が吸着パッド２６の吸着面に対して傾いていると判定することができる。飛行体制御装置１４は、図１３中の（ｃ）および図１３中の（ｄ）に示すように、画像センサ３６から見てこのようなエッジＥが見えなくなるまで吸着パッド２６を鉛直方向に対して傾けるように飛行体１０に指示することができる。このように傾けられた吸着パッド２６の吸着面は、物体Ｐの被吸着面に対して略平行になり得る。ここで、吸着パッド２６の傾斜動作は、飛行体１０自体が傾くことにより行われてもよく、吸着パッド２６を飛行体１０に対して回動させるように構成された回動機構により行われてもよい。なお、物体ＰのエッジＥの代わりに、例えば、画像センサ３６により取得される画像において物体Ｐの２つの長辺Ｓ，Ｓが互いに略平行でない場合に、制御装置６０は、物体Ｐの被吸着面が吸着パッド２６の吸着面に対して傾いていると判定してもよい。あるいは、画像センサ３６の被写界深度が狭い状態で、物体Ｐの被吸着面の複数の部分に対して焦点合わせを行うことにより、物体Ｐの被吸着面が吸着パッド２６の吸着面に対して傾いているか否かを判定してもよい。また、こうした判定は、物体Ｐの表面上の特徴部に基づいて行われてもよい。さらに、搬送システム１では、認識装置１２の外部画像センサ１２ａなどを用いた画像認識処理などにより移載される物体Ｐの外形情報が取得されるので、上記の判定は、画像センサ３６により取得される画像に加えて、当該外形情報に基づいて行われてもよい。
In FIG. 13, the object P is tilted with respect to the loading platform B. As shown in FIG. In this way, when there is a difference between the position and orientation of the suction surface of the
図１４は、画像センサ３６の一応用例を示す。図１４中の（ａ）は、物体Ｐの角部分に対して吸着を行う吸着パッド２６の側面図である。図１４中の（ｂ）は、図１４中の（ａ）の状態における吸着パッド２６および物体Ｐの底面図である。図１４中の（ｃ）は、図１４中の（ａ）の状態において画像センサ３６により取得される画像の概略図を示す。
図１４中の（ａ）および図１４中の（ｂ）に示すように、物体Ｐの上面は、吸着パッド２６の吸着面より十分に広い。このため、保持装置２０が物体Ｐを適切な位置で保持していれば、画像センサ３６の画像は物体Ｐで占められるはずである。しかしながら、図１４中の（ａ）および図１４中の（ｂ）に示されるように吸着パッド２６の一部のみが物体Ｐに接触し吸着パッド２６の残りの部分が宙に浮いている状態では、画像センサ３６の画像は物体Ｐで占められない（図１４中の（ｃ）参照）。制御装置６０は、画像センサ３６の光検出素子が受光した光量が所定の光量閾値以上である場合、保持装置２０が物体Ｐを適切な位置で保持していないと判定することができる。この場合、飛行体制御装置１４は、保持動作をやり直すように飛行体１０に指示する。また、物体Ｐの保持中に画像センサ３６により検出された物体Ｐと、認識装置１２の外部画像センサ１２ａなどの画像認識処理などにより事前に検出された移載対象の物体Ｐとの間に相違がある場合に、制御装置６０は、保持装置２０が誤った物体（すなわち、移載対象の物体Ｐとは異なる物体）を保持していると判定することができる。例えば、移載対象の物体Ｐが細長い物体であることが認識装置１２により事前に認識されていた場合において、画像センサ３６からの画像が、細長い物体ではなく画像全体を占める物体を写している場合、制御装置６０は、保持装置２０が誤って別の物体を保持している可能性があると判定することができる。
FIG. 14 shows one application of
As shown in (a) in FIG. 14 and (b) in FIG. 14 , the upper surface of the object P is sufficiently wider than the suction surface of the
図１５は、画像センサ３６の一応用例を示す。図１５中の（ａ）は、凸部を有する物体Ｐに対して吸着を行う吸着パッド２６の側面図である。図１５中の（ｂ）は、図１５中の（ａ）の状態において画像センサ３６により取得される画像の概略図を示す。
図１５中の（ａ）に示すように、物体Ｐの上面に凸部が形成されていることにより、吸着パッド２６の吸着面と物体Ｐの被吸着面との間に隙間が生じている。このような場合、隙間から空気が吸着パッド２６内部へ流入し、吸着パッド２６内部の真空度が上がらないため、吸着力は低下する傾向にある。図１５中の（ｂ）に示すように、隙間から外光（例えば、照明装置４２による光または自然光）が吸着パッド２６内部に入射することにより、画像センサ３６により取得される画像では、光量分布（明暗度分布ともいう）に偏りが生じる。ここで、「光量分布」とは、画像における各画素の光量の大小を示す分布を意味する。「光量分布の偏り」とは、光量分布が不均一であることを意味し、例えば、画像の中心に関してまたは中心を通る直線に関して光量分布が非対称である場合などがある。このような光量分布の偏りが所定の範囲内である場合、制御装置６０は、吸着パッド２６の吸着面と物体Ｐの被吸着面との間に隙間が存在しないと判定して吸引装置２８を駆動することができる。一方、このような光量分布の偏りが所定の範囲を超えている場合、制御装置６０は、吸着パッド２６の吸着面と物体Ｐの被吸着面との間に隙間が存在すると判定することができる。この場合、飛行体制御装置１４は、物体Ｐから離れて上昇して位置を補正するように飛行体１０に指示する。その後、飛行体制御装置１４は、再度物体Ｐに接近して、隙間が生じないような場所で吸着を行うように飛行体１０に指示する。
FIG. 15 shows one application of
As shown in (a) of FIG. 15 , a gap is generated between the suction surface of the
図１６は、画像センサ３６の一応用例を示す。図１６中の（ａ）は、物体Ｐの重心が吸着パッド２６の近傍に位置している状態において、物体Ｐに対して吸着を行う吸着パッド２６の側面図である。図１６中の（ｂ）は、図１６中の（ａ）の状態において画像センサ３６により取得される画像の概略図を示す。図１６中の（ｃ）は、物体Ｐの重心が吸着パッド２６の位置と大きくずれている状態において、物体Ｐに対して吸着を行う吸着パッド２６の側面図である。図１６中の（ｄ）は、図１６中の（ｃ）の状態において画像センサ３６により取得される画像の概略図を示す。
図１６中の（ａ）では、物体Ｐが略水平に保持装置２０に保持されている。一方、図１６中の（ｂ）では、物体Ｐが水平面に対して傾いた状態で保持装置２０に保持されている。
ベローズ形状の吸着パッド２６では、物体Ｐを保持している状態で吸着パッド２６が収縮する。吸着パッド２６の素材がシリコン素材など透光性の材質である場合、吸着時の吸着パッド２６内部は一定の明るさに保たれる。図１６中の（ｂ）のように物体Ｐが水平面に対して傾いている場合、吸着パッド２６のベローズ形状において密になっている箇所と疎になっている箇所が生じる場合がある。この場合、ベローズ形状が密の箇所よりも疎の箇所からより多くの外光が吸着パッド２６内部に入光するため、画像センサ３６により取得される画像に光量分布の偏りが生じ得る。このため、物体Ｐを保持して持ち上げている状態で画像センサ３６により取得される画像に光量分布の偏りが生じている場合、制御装置６０は、保持されている物体Ｐが水平面に対して傾いていると判定することができる。また、制御装置６０は、画像センサ３６により検出された光量に基づいて、物体Ｐの傾斜の程度を算出することができる。この場合、傾斜した物体Ｐが外部環境と接触して破損するような事態を避けるために、飛行体制御装置１４は、一旦物体Ｐから離れて位置を補正した後再度物体Ｐに対して吸着を行うように飛行体１０に指示する。吸着位置の変更を行う場合、飛行体制御装置１４は、ベローズ形状が疎になっている方向、すなわち光量分布で明るい方向（物体Ｐの重心に近い側）へ吸着パッド２６が移動するように飛行体１０に指示する。算出された光量分布に基づいて物体Ｐの保持動作が再度行われることにより、保持装置２０が物体Ｐを安定して保持することが可能になる。なお、吸着パッド２６には光量変化をより検出しやすいように模様（例えば縦線や格子線など）を施してもよい。なお、外光は、照明装置４２による照明光でもよく、自然光でもよい。
FIG. 16 shows one application of
In (a) of FIG. 16, the object P is held by the holding
In the bellows-shaped
以上のような第１の実施形態の構成によれば、吸着保持動作の信頼性の向上を図ることができる。 According to the configuration of the first embodiment as described above, it is possible to improve the reliability of the suction holding operation.
物流業界では通信販売市場の拡大により、荷物の取扱量が急増する一方、少子高齢化を背景に不足する労働力の確保が課題となっている。現在、大型物流センターの建設が盛んに進められている。物流企業各社は、様々な作業に自動化機器を導入し、物流システムの自動化に取り組んでいる。 In the logistics industry, the expansion of the mail-order market has led to a rapid increase in the volume of packages handled. Construction of large-scale logistics centers is currently underway. Logistics companies have introduced automated equipment for various tasks and are working to automate their logistics systems.
荷物を別の場所へ移動する移載作業（荷降ろし、デパレタイジング、ピッキングなどとも呼ばれる）を行う装置として、据置型のマニピュレータが知られている。このようなマニピュレータでは、作業範囲が限定される。また、移動台車とマニピュレータを組み合わせた移動マニピュレータ機器も想定されるが、平面領域以外の作業場所へ移動する場合には階段などの立体的な障害物を乗り越える必要があることや、通路移動時に周囲環境との接触を防止するために環境側の通路幅を拡大するなどの対策を講じる必要があることにより、やはり作業範囲が限定される。 A stationary manipulator is known as a device that performs a transfer operation (also called unloading, depalletizing, picking, etc.) of moving a load to another location. Such manipulators have a limited working range. Mobile manipulator equipment that combines a mobile trolley and a manipulator is also envisioned. The scope of work is also limited by the need to take measures such as widening the passage width on the environment side to prevent contact with the environment.
上記のような事情のもと、空中を広範囲にわたって自由に移動できる飛行体（例えばドローン）の活用が期待されている。移載作業を行う飛行体を実現するためには、飛行体に適用可能な物体保持機構が必要となる。 Under the circumstances as described above, the utilization of flying objects (for example, drones) that can move freely in the air over a wide range is expected. In order to realize an aircraft that performs transfer work, an object holding mechanism that can be applied to the aircraft is required.
本実施形態に係る保持装置２０では、画像センサ３６は物体Ｐからの光量を二次元的に検出することができるので、物体Ｐの位置姿勢の検出、物体Ｐの落下の検知、適切な吸着領域の検出、および物体Ｐが吸着されていない状態の検出を可能にする。また、光量を一次元的に検出するセンサを使用する場合と比較して、二次元検出を行う光量センサを使用する場合、物体Ｐの形状の情報も取得することができるので、吸着が失敗した場合などにその後の位置修正の方向の決定が容易である。また、一次元検出を行う光量センサでは、物体Ｐが穴やメッシュ構造を有する場合などに誤判定を行う場合があるが、二次元検出を行う光量センサを使用すると、このような物体Ｐについても対象認識をより正確に行うことが可能である。
In the holding
また、本実施形態に係る保持装置２０は、吸引装置２８および電源部６２を含めてコンポーネント化されている。これにより、保持装置２０は、飛行体１０に容易に取り付けることができる。さらに、保持装置２０は、画像センサ３６を備え、画像センサ３６からのセンサ信号に基づいて保持部が物体Ｐに接触する直前に自律的に吸着動作を開始する。これにより、省エネルギー化を実現できる。さらに、真空系への予期せぬゴミ詰まりを抑制し、耐久性を向上させることが可能となる。なお、本実施形態に係る保持装置２０は、コンポーネント化されているため飛行体に限らず、マニピュレータや移動台車などにも容易に接続し、利用することが可能である。
Further, the holding
また、保持装置２０が画像センサ３６などを備えて一体型にコンポーネント化されている場合、センサ類の省配線化につながるとともに、チューブ配管長が短くなるため吸着動作の時間短縮が可能となる。吸引装置２８は、吸着パッド２６内部に加えて、チューブ内部全体からも気体を吸引する必要がある。チューブ配管長が短いと、その分吸引する必要のある体積が小さいため、吸着動作の時間短縮につながる。
Further, when the holding
搬送システム１では、画像認識処理により飛行体１０から最上段の物体Ｐの上面までの距離情報が取得され、飛行体１０は当該距離情報に基づいて降下するよう制御される。しかし、距離情報に誤検出があった場合、特に実際の距離よりも大きな距離が検出された場合には、飛行体１０の保持装置２０（具体的には吸着パッド２６）が物体Ｐを押し込んでしまい、物体Ｐの破損や変形を招くおそれがある。
In the
そこで上記のような構成を有する画像センサ３６を吸着パッド２６内部の画像センサ基板３４上に設けることにより、吸着パッド２６が物体Ｐに接触する前に飛行体１０の下降を停止することが可能になる。また、画像センサ３６で検出された画像に占める物体Ｐの面積割合の変化量から、飛行体１０の下降量を見積もることが可能となる。これにより、保持装置２０の過剰な押し込みによる物体Ｐの破損または変形を防止することができる。また、このような押し込みは保持装置２０の吸着パッド２６全体で均等に行われるので、画像センサ基板３４に配置された少なくとも１つの画像センサ３６を用いれば十分である。したがって、画像センサ３６を画像センサ基板３４の中央に少なくとも１つ配置することで、必要最小限のセンサで押し込み防止を図ることができる。
Therefore, by providing the
本実施形態では、画像センサ基板３４上に画像センサ３６が配置されている。これにより、認識装置１２による画像認識が失敗した場合に、吸着パッド２６により物体Ｐを保持して持ち上げて、持ち上げた状態での画像センサ３６の検出結果に基づいて物体Ｐとの吸着状態および傾斜を認識することが可能である。その結果、認識された物体Ｐの吸着情報および傾斜に基づいて吸着パッド２６による適切な保持態様を設定することが可能となり、当該設定された態様で物体Ｐを再度保持することができる。このようにして、移載対象の物体Ｐの誤認識が生じた場合でも、物体Ｐの落下またはエラーによる運転停止などを発生させることなく、移載作業を継続して実行することが可能になる。
In this embodiment, an
本実施形態では、制御装置６０は、画像センサ３６による光量分布の検出の結果が所定の条件を満たす場合に吸引を行うように吸引装置２８を制御する。このような構成によれば、光量分布に基づいて吸着の成否などを判定することができるので、吸着保持動作の信頼性を向上させることができる。
In this embodiment, the
また、本実施形態では、画像センサ３６は、吸着パッド２６の内部または後ろ側に配置されている。また、吸着パッド２６が空洞２６ａを有し、画像センサ３６は、空洞２６ａを通して外部から見える位置に配置されている。このような構成によれば、画像センサ３６が保持装置２０の内部から撮影を行うことが可能であるので、保持装置２０の小型化が可能である。その結果、吸着動作の信頼性が向上し得る。
Further, in this embodiment, the
また、本実施形態では、制御装置６０は、画像センサ３６により取得された情報に基づいて、物体Ｐが吸着パッド２６に近接していることが検出された場合に吸引を行うように吸引装置２８を制御する。このような構成によれば、さらなる省エネルギー化が可能となり、電源部６２のバッテリーのさらなる節約が可能となる。
Further, in the present embodiment, the
また、本実施形態では、制御装置６０は、画像センサ３６により取得された画像における物体Ｐおよび物体Ｐの表面上の特徴部の少なくとも一方の大きさの変化に基づいて物体Ｐまでの距離を見積もり、制御装置６０は、当該距離が距離閾値以下である場合に吸引を行うように吸引装置２８を制御する。このような構成によれば、吸着パッド２６が物体Ｐに接近して初めて吸引装置２８が駆動されるため、電源部６２のエネルギー消費を抑制することができる。このことは、飛行体１０の稼働時間の向上につながる。
In addition, in the present embodiment, the
また、本実施形態では、制御装置６０は、吸着パッド２６の移動速度が第１の速度である場合に距離閾値を第１の値に設定し、吸着パッド２６の移動速度が第１の速度より速い第２の速度である場合に距離閾値を第１の値より大きな第２の値に設定する。このような構成によれば、さらなる省エネルギー化が可能となり、電源部６２のバッテリーのさらなる節約が可能となる。
Further, in the present embodiment, the
また、本実施形態では、吸着パッド２６に照明光を照射する照明装置４２をさらに備え、制御装置６０は、照明装置４２が光を照射している状態で画像センサ３６により取得された光量分布の検出の結果が所定の条件を満たす場合に吸引を行うように吸引装置２８を制御する。このような構成によれば、光量分布に基づく吸着の成否などの判定がより確実かつ容易になる。
In addition, in the present embodiment, the
また、本実施形態では、画像センサ３６は、吸着パッド２６が物体Ｐに吸着する方向に対して略直交する平面内で吸着パッド２６の中央に配置されている。このような構成によれば、光量分布に基づく吸着の成否などの判定がより確実かつ容易になる。
Further, in the present embodiment, the
また、本実施形態に係る保持装置２０は、吸引装置２８と吸着パッド２６との間の流路と大気圧空間との連通が可能である第１の状態と流路と大気圧空間との連通が遮断された第２の状態と、を切り替える切替弁３２と、吸引装置２８および切替弁３２を駆動する駆動装置と、流路の内部の気体の圧力を検出する圧力センサ３０と、をさらに備える。このような構成によれば、吸着パッド２６内部の圧力を検出することが可能であるので、画像センサ３６による検出結果と併せて、保持状態などに関するより確実な情報を得ることができる。また、物体Ｐの運搬時に、吸着パッド２６の真空度（圧力値）を基に吸引装置２８の稼働状態の切り替えを実施することができる。このことも、電源部６２のエネルギー消費の抑制につながる。
Further, the holding
また、本実施形態では、制御装置６０は、圧力センサ３０によって検出された圧力が第１の圧力閾値よりも低い場合に吸引装置２８の駆動を停止し、圧力センサ３０によって検出された圧力が第２の圧力閾値よりも高い場合に吸引装置２８の駆動を開始し、第２の圧力閾値は、第１の圧力閾値と略等しいまたは第１の圧力閾値より高い。このような構成によれば、さらなる省エネルギー化が可能となり、電源部６２のバッテリーのさらなる節約が可能となる。
Further, in the present embodiment, the
また、本実施形態に係る保持装置２０は、吸着パッド２６を支持する支持部材２４をさらに備え、支持部材２４は、吸着パッド２６および吸引装置２８と連通する空気穴２４ｂを有し、画像センサ３６は、支持部材２４の空気穴２４ｂに対して吸引装置２８の方へ離間して配置されている。このような構成によれば、画像センサ３６および画像センサ基板３４が、吸着パッド２６と吸引装置２８との間の流路を塞がず、吸引装置２８による空気の吸引がスムーズに行われ得る。
Further, the holding
また、本実施形態では、画像センサ３６が支持部材２４に対して弾性部材４４により支持されている。このような構成によれば、飛行体１０や保持装置２０の振動に対して画像センサ３６に防振特性を付与することが可能である。
Further, in this embodiment, the
（第２の実施形態）
次に、図１７を参照して、第２の実施形態について説明する。第２の実施形態では、近接センサ９０が設けられる点で、第１の実施形態とは異なる。なお、以下に説明する以外の構成は、第１の実施形態と同様である。
(Second embodiment)
Next, a second embodiment will be described with reference to FIG. The second embodiment differs from the first embodiment in that a
図１７は、第２の実施形態に係る保持装置２０を示す図である。図１７中の（ｃ）は、図１７中の（ａ）に示された保持装置２０のＦ１７Ｃ－Ｆ１７Ｃ線に沿う断面を示す。図１７に示すように、近接センサ９０は、吸着パッド２６の内部に配置されている。言い換えると、近接センサ９０は、筐体２２、支持部材２４、吸着パッド２６、および物体Ｐにより形成されることになる密閉空間の内部に位置する。近接センサ９０は、近接センサ基板９２に搭載され、近接センサ基板９２を介して筐体２２に固定されている。近接センサ基板９２は、例えば、リング状の部材である。近接センサ９０は、支持部材２４および吸着パッド２６と同心の円周上に４５度ずつ離れて８個配置されている。なお、近接センサ９０は、１つでもよく、２つから７つでもよく、９つ以上であってもよい。例えば、近接センサ９０が光電型のセンサである場合、近接センサ９０は、近接センサ９０が発する光が吸着パッド２６の吸着面を含む平面と略鉛直に交わるように配置される。なお、近接センサ９０の配置は、図１７に示される例に限定されるものではなく、種々の形態を取り得る。
FIG. 17 is a diagram showing a holding
近接センサ基板９２は、その主面（検出表面ともいう）上に近接センサ９０を搭載する。近接センサ基板９２は、吸着パッド固定部材４０上に設けられる。近接センサ基板９２は、リング状である。近接センサ９０は、物体Ｐが近接センサ９０に近接していることを検出する。吸着パッド２６の吸着面および近接センサ９０は、近接センサ基板９２の主面側に位置しており、近接センサ９０への物体Ｐの接近は、吸着パッド２６への物体Ｐの接近と見なすことができる。
なお、近接センサ９０および近接センサ基板９２は、吸着パッド２６の後ろ側に配置されてもよい。例えば、近接センサ９０は、画像センサ３６に隣接して設けられてもよい。この場合、近接センサ基板９２が省略されて画像センサ基板３４が近接センサ９０用の基板を兼ねてもよい。
Note that the
近接センサ９０として、例えば、距離センサを使用することができる。距離センサは、対象物までの距離を非接触で測定する。距離センサの例は、アクティブ型の光学距離測定センサ、反射型フォトセンサ、光ＴＯＦ（Time-Of-Flight）型の光学距離測定センサなどを含む。ここで、「アクティブ型のセンサ」とは、対象物への能動的な働きかけ（例えば対象物への光照射）を行うセンサを意味する。
アクティブ型の光学距離測定センサは、ＬＥＤなどの光源から対象物に光を照射し、対象物における反射光を光検出素子で検出することで、対象物までの距離に応じた信号を出力する。アクティブ型の光学距離測定センサの例にＰＳＤ（Position Sensitive Detector）がある。ＰＳＤは、対象物までの距離を簡易に測定することができる光三角測量型の光学距離測定センサである。
A distance sensor, for example, can be used as the
An active optical distance measurement sensor irradiates an object with light from a light source such as an LED and detects reflected light from the object with a photodetector, thereby outputting a signal corresponding to the distance to the object. An example of an active optical distance measurement sensor is a PSD (Position Sensitive Detector). The PSD is an optical triangulation type optical distance measurement sensor that can easily measure the distance to an object.
反射型フォトセンサは、ＬＥＤおよびフォトダイオードを備える。ＬＥＤは、アナログ回路から供給される駆動信号に基づいて所定の光量の検出光を射出する。対象物が反射型フォトセンサの近傍に位置している場合には、当該対象物によって検出光が反射される。対象物からの反射光はフォトダイオードによって検出される。フォトダイオードは、受光量（反射光の光強度）に対応する検出電流を発生する。反射光の強度は物体Ｐとフォトダイオードの距離が小さいほど大きくなるので、対象物との距離を表す検出信号を得ることができる。アナログ回路は、ＬＥＤの検出光の光量を一定に制御し、フォトダイオードから得られる検出電流に対応する検出信号を生成して、制御装置６０に供給する。制御装置６０は、受け取った検出信号に基づき物体Ｐとの距離を算出することができる。
A reflective photosensor comprises an LED and a photodiode. The LED emits a predetermined amount of detection light based on a drive signal supplied from an analog circuit. When an object is positioned near the reflective photosensor, the object reflects the detection light. Reflected light from the object is detected by a photodiode. The photodiode generates a detection current corresponding to the amount of received light (light intensity of reflected light). Since the intensity of the reflected light increases as the distance between the object P and the photodiode decreases, a detection signal representing the distance to the object can be obtained. The analog circuit controls the amount of light detected by the LED to be constant, generates a detection signal corresponding to the detection current obtained from the photodiode, and supplies it to the
光ＴＯＦ型の光学距離測定センサは、反射光が返ってくるまでの時間を計測して距離を測定する。ＴＯＦ法は、光源から対象物に向けてパルス光を出射し、対象物で反射されたパルス光を光検出素子で検出することで、パルス光の出射タイミングと検出タイミングの時間差を測定する。この時間差（Δｔ）は、対象物までの距離ｄの２倍の距離（２×ｄ）をパルス光が光速（＝ｃ）で飛行するのに要する時間であるため、ｄ＝（ｃ×Δｔ）／２が成立する。時間差（Δｔ）は、光源からの出射パルスと検出パルスの位相差と言い換えることもできる。この位相差を検出すれば、対象物までの距離ｄを求めることができる。ＴＯＦ法は、反射光の強さで距離を測定する方法よりも精密な距離測定を可能にする。さらに、対象物の表面状態の影響に強く、安定した測定が可能である。 The optical TOF type optical distance measurement sensor measures the distance by measuring the time until the reflected light returns. In the TOF method, pulsed light is emitted from a light source toward an object, and the pulsed light reflected by the object is detected by a photodetector to measure the time difference between the emission timing and the detection timing of the pulsed light. Since this time difference (Δt) is the time required for the pulsed light to fly at the speed of light (=c) a distance (2×d) that is twice the distance d to the object, d=(c×Δt) /2 holds. The time difference (Δt) can also be rephrased as the phase difference between the emitted pulse from the light source and the detected pulse. By detecting this phase difference, the distance d to the object can be obtained. The TOF method enables more precise distance measurement than the method of measuring distance based on the intensity of reflected light. Furthermore, it is resistant to the influence of the surface state of the object, and stable measurement is possible.
その他、近接センサ９０として、対象物の有無を判定するセンサが使用されてもよい。このセンサの例に反射型の光電センサがある。この光電センサは、光源および光検出素子を備える。光電センサは、光源から対象物に対し赤外線などの光を投光し、その光が対象物で反射されて光量が減少した反射光を光検出素子で受光する。光電センサは、光検出素子で受光した光量が所定の光量閾値以上である場合に、光電センサから一定距離の範囲内に対象物が存在することを検出する。そして、対象物が光電センサから一定距離の範囲の外に離れると、対象物からの反射光の光量の減衰が大きくなって、光検出素子で受光した光量が所定の光量閾値未満となり、光電センサは、一定距離内に対象物が存在しないことを検出する。光電センサは、例えば、対象物が一定距離内に存在する間は検出信号を出力し、対象物が一定距離内に存在しない場合には検出信号を出力しない。
Alternatively, a sensor that determines the presence or absence of an object may be used as the
なお、近接センサ９０は、光電型のセンサに限らず、静電容量型や超音波型などの他のタイプのセンサであってもよい。
The
近接センサ９０は、吸着パッド２６に吸着された物体Ｐの存在を検出する在荷センサとして使用され得る。近接センサ９０は、吸着パッド２６の先端より所定距離だけ離れた位置までの範囲の距離を計測することができる。そして、近接センサ９０は、近接センサ基板９２の主面から一定距離の範囲内に物体Ｐが存在するか否かを検出する。このような近接センサ９０が近接センサ基板９２の面内方向に分散して配置されることにより、近接センサ９０からの距離情報に基づいて、吸着パッド２６で保持した物体Ｐの外形情報（すなわち寸法や形状）を認識することが可能である。
さらに、吸着パッド２６により物体Ｐが保持されている間、当該物体Ｐの外形に対応する領域に位置する近接センサ９０は物体Ｐの存在を検出する（すなわち、計測された距離が近距離となる）はずである。したがって、物体Ｐの保持中に全ての近接センサ９０で物体Ｐが存在しないことを検出した（すなわち、計測された距離が遠距離となる）場合には、物体Ｐが落下したとみなすことができる。このようにして、物体Ｐの落下を検知することも可能である。
Furthermore, while the object P is being held by the
搬送システム１では、画像認識処理などにより移載対象の物体Ｐの外形情報が取得されるので、飛行体制御装置１４は、当該外形情報に基づいて、近接センサ９０の検出結果（例えば、８つの近接センサ９０のうちどの近接センサ９０が物体Ｐの存在を検出する（すなわち、計測された距離が近距離となる）か）を予測することができる。例えば、図１４に示すように、積載台Ｂに載置された物体Ｐを保持する場合を想定する。ここでは、図１４に示すように、物体Ｐの上面は、吸着パッド２６の吸着面より十分に広い。このため、保持装置２０が物体Ｐを適切な位置で保持していれば、すべての近接センサ９０で物体Ｐが検出されるはずである。しかしながら、図１４に示される状態では、近接センサ９０のうち４分の３で物体Ｐが検出されない。制御装置６０は、複数の近接センサ９０の少なくとも一部が物体Ｐの存在を検出しない場合、保持装置２０が物体Ｐを適切な位置で保持していないと判定することができる。また、物体Ｐの保持中における近接センサ９０による実際の検出結果と、上記の飛行体制御装置１４による近接センサ９０の検出結果の予測との間に相違がある場合に、制御装置６０は、保持装置２０が誤った物体（すなわち、移載対象の物体Ｐとは異なる物体）を保持していると判定することができる。例えば、移載対象の物体Ｐが細長い物体であることが認識装置１２により事前に認識されていた場合において、当該細長い物体に対応する、対向する１対の近接センサ９０だけでなく全ての近接センサ９０が物体の存在を検出した場合、制御装置６０は、保持装置２０が誤って別の物体を保持している可能性があると判定することができる。
In the
ベローズ形状の吸着パッド２６では、物体Ｐを保持している時に吸着パッド２６が収縮する。これにより、飛行体１０が下降して近接センサ９０と物体Ｐの上面とが所定の距離よりも近づいた場合に、吸着パッド２６が物体Ｐをうまく吸着したと判定することが可能である。
The bellows-shaped
搬送システム１では、画像認識処理により飛行体１０から最上段の物体Ｐの上面までの距離情報が取得され、飛行体制御装置１４は、その距離情報に基づいて降下するように飛行体１０を制御する。しかしながら、距離情報に誤検出があった場合、特に実際の距離よりも大きな距離が検出された場合には、飛行体１０の保持装置２０（具体的には吸着パッド２６）が物体Ｐを押し込んでしまい、物体Ｐの破損や変形を招くおそれがある。
In the
そこで、上記のような構成を有する近接センサ９０を吸着パッド２６内部の近接センサ基板９２上に設けることにより、近接センサ基板９２が物体Ｐに近接する前に飛行体１０の下降を停止することが可能になる。これにより、保持装置２０の過剰な押し込みによる物体Ｐの破損または変形を防止することができる。また、このような押し込みは保持装置２０の吸着パッド２６全体で均等に行われるので、近接センサ基板９２に配置された少なくとも１つの近接センサ９０を用いれば十分である。したがって、近接センサ９０を近接センサ基板９２の輪郭に沿って少なくとも１つ配置することで、必要最小限のセンサで押し込み防止を図ることができる。
Therefore, by providing the
また、近接センサ９０は、吸着パッド２６で吸着する物体Ｐのサイズオーバーの確認に用いることができる。
Also, the
以上のような第２の実施形態の構成によれば、近接センサ９０は、物体Ｐの落下の検知、適切な吸着領域の検出、および吸着パッド２６の過剰な押し込みの防止を可能にする。また、第１の実施形態の構成において画像センサ３６による検出失敗や誤検出が発生した場合であっても、第２の実施形態の構成における近接センサ９０で物体Ｐとの接触を検出することにより、物体Ｐを確実に検出することが可能になる。特に、物体Ｐが透明である場合など画像センサ３６だけでは距離の検出が難しい場合に、近接センサ９０は有用である。
According to the configuration of the second embodiment as described above, the
また、本実施形態では、近接センサ９０は、吸着パッド２６の内部に配置されている。このような構成によれば、保持装置２０の小型化が可能である。その結果、吸着動作の信頼性が向上し得る。
Further, in this embodiment, the
（第３の実施形態）
次に、図１８を参照して、第３の実施形態について説明する。第３の実施形態では、加速度センサ９４が設けられる点で、第２の実施形態とは異なる。なお、以下に説明する以外の構成は、第２の実施形態と同様である。
(Third Embodiment)
Next, with reference to FIG. 18, a third embodiment will be described. The third embodiment differs from the second embodiment in that an acceleration sensor 94 is provided. Configurations other than those described below are the same as those of the second embodiment.
図１８に示すように、第３の実施形態に係る保持装置２０は、近接センサ９０に加えて、加速度センサ９４を有する。加速度センサ９４は、制御装置６０に接続されている。例えば、加速度センサ９４は、筐体２２内部に収容されている。加速度センサ９４とは、加速度の測定を目的とした慣性センサである。加速度センサ９４は、振動センサと異なり、直流（ＤＣ）の加速度を検出することが可能であるため、重力を検出することも可能である。加速度センサ９４によって測定された加速度を表す加速度信号に対して適切な信号処理を行うことによって、傾きや動き、振動、衝撃といったさまざまな情報が得られる。これにより、飛行体１０の移動速度や加速状態をモニタリングすることが可能となるため、吸引装置２８の駆動タイミングを飛行体１０の移動速度に応じて調整することが可能となる。より具体的には、加速状態に応じて近接センサ９０または画像センサ３６に関する距離閾値を変化させることにより、吸引装置２８の駆動タイミングが調整される。例えば、加速度センサ９４からの信号に基づいて飛行体１０の移動速度が大きいと判定された場合、制御装置６０は、物体Ｐの接近を検出するための距離閾値を大きな値に設定することにより、物体Ｐが吸着パッド２６に接触する直前に吸引装置２８を駆動することが可能である。逆に、加速度センサ９４からの信号に基づいて飛行体１０の移動速度が小さいと判定された場合、制御装置６０は、上記の距離閾値を小さな値に設定することにより、物体Ｐが吸着パッド２６に接触する直前に吸引装置２８を駆動することが可能である。
As shown in FIG. 18 , the holding
以上のような第３の実施形態の構成によれば、保持装置２０に加速度センサ９４が設けられていることにより、飛行体１０の移動速度に応じて、吸引装置２８の駆動タイミングが調整されるので、さらなる省エネルギー化を実現できるとともに、真空系への予期せぬゴミ詰まりを抑制し、耐久性をさらに向上させることが可能となる。
According to the configuration of the third embodiment as described above, since the holding
（第４の実施形態）
次に、図１９中の（ａ）および図１９中の（ｂ）を参照して、第４の実施形態について説明する。第４の実施形態では、アクチュエータ９６が設けられる点で、第１の実施形態とは異なる。なお、以下に説明する以外の構成は、第１の実施形態と同様である。
(Fourth embodiment)
Next, a fourth embodiment will be described with reference to FIG. 19(a) and FIG. 19(b). The fourth embodiment differs from the first embodiment in that an
図１９は、第４の実施形態に係る保持装置２０を示す。図１９中の（ａ）は、アクチュエータ９６が伸びていない状態における保持装置２０を示す断面図である。図１９中の（ａ）は、アクチュエータ９６が伸びている状態における保持装置２０を示す断面図である。
図１９に示すように、画像センサ３６にアクチュエータ９６が取り付けられている。アクチュエータ９６は、支持部材２４や吸着パッド２６などに対して画像センサ３６を直線状に移動させることにより、吸着パッド２６の吸着面に対して画像センサ３６を突出させることが可能である。すなわち、アクチュエータ９６は、画像センサ３６の全体が空洞部２７ａ内に位置する第１位置と、画像センサ３６の少なくとも一部が空洞部２７ａの外部に位置する第２位置との間で、空洞部２７ａを通じて画像センサ３６を移動させることができる。アクチュエータ９６としては、例えば空圧式や電動式のアクチュエータが使用され得る。空圧式アクチュエータは、図１９のベローズ形状の内部に空気を流入出することにより、画像センサ３６の位置を変更することができる。また、空圧式アクチュエータとして、シリンダ型のアクチュエータなどが使用されてもよい。なお、空圧式アクチュエータは、吸引装置２８により作動されてもよい。この場合、例えば、吸引装置２８が吸着パッド２６の吸引を行うモードと、吸引装置２８が空圧式アクチュエータを作動させるモードとの切替えを行う弁機構（例えば電磁弁）が設けられ得る。電動式アクチュエータが使用される場合、例えば、電動式アクチュエータは、モータと送りねじとを組み合わせることにより直線運動を実現することができる。
FIG. 19 shows a holding
As shown in FIG. 19, an
以上のような第４の実施形態の構成によれば、画像センサ３６のレンズとして魚眼レンズや広角レンズを使用することが可能となる。これにより、広範囲の視野を確保することが可能となる。これにより、吸着パッド２６外部の情報を得ることができるため、飛行体１０が飛行している間の吸着パッド２６と周囲環境との衝突を防止することが可能となる。また、保持装置２０の移動（下方向または横方向への移動）中にその移動経路に障害物が存在する場合、突出した画像センサ３６で当該障害物を検出し、衝突を防止することも可能である。
According to the configuration of the fourth embodiment as described above, it is possible to use a fish-eye lens or a wide-angle lens as the lens of the
飛行体１０は、保持装置２０を適用することが可能なロボットの一例である。上述した各実施形態に係る保持装置２０は、マニピュレータや移動台車に適用することもできる。
The flying
各実施形態では、吸着パッド２６から物体Ｐまでの距離が距離閾値未満になった場合に吸引装置２８が駆動されることを想定するが、このような距離にかかわらず、画像センサ３６の画像全体に占める物体Ｐの面積の割合が一定以上になった場合に吸引装置２８が駆動されてもよい。
In each embodiment, it is assumed that the
なお、各実施形態では、制御装置６０における処理をＣＰＵ（中央演算処理装置）のような１つ以上のプロセッサを用いてメモリなどの外部記憶装置内のプログラムソフトで実現することを想定するが、ＣＰＵを用いないハードウェア（例えば、回路部；circuitry）によって実現してもよい。また、クラウドサーバを介して処理を実行してもよい。
In each embodiment, it is assumed that the processing in the
各実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した処理手順による効果と同様な効果を得ることも可能である。各実施形態に記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＣＤ‐Ｒ、ＣＤ‐ＲＷ、ＤＶＤ‐ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、Ｂｌｕ‐ｒａｙ（登録商標）Ｄｉｓｃなど）、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば上述した処理手順と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合または読み込む場合はネットワークを通じて取得または読み込んでもよい。 The instructions shown in the processing procedures shown in each embodiment can be executed based on a program that is software. By pre-storing this program in a general-purpose computer system and reading this program, it is possible to obtain the same effect as the above-described processing procedure. The instructions described in each embodiment can be used as programs that can be executed by a computer such as a magnetic disk (flexible disk, hard disk, etc.), an optical disk (CD-ROM, CD-R, CD-RW, DVD-ROM, DVD± R, DVD±RW, Blu-ray (registered trademark) Disc, etc.), semiconductor memory, or a similar recording medium. As long as it is a recording medium readable by a computer or an embedded system, the storage format may be in any form. The computer reads the program from this recording medium and causes the CPU to execute the instructions described in the program based on this program, thereby realizing the same operations as the processing procedure described above. Of course, when a computer obtains or reads a program, it may be obtained or read through a network.
記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークなどのＭＷ（ミドルウェア）などが処理手順の一部を実行してもよい。さらに、各実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネットなどにより伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。また、記録媒体は１つに限られず、複数の媒体から処理が実行される場合も、記録媒体に含まれ、媒体の構成は何れの構成であってもよい。 Based on the instructions of the program installed in the computer or embedded system from the recording medium, the OS (operating system) running on the computer, the database management software, the MW (middleware) such as the network, etc. Execute a part of the processing procedure You may Furthermore, the recording medium in each embodiment is not limited to a medium independent of a computer or an embedded system, and includes a recording medium in which a program transmitted via LAN, Internet, etc. is downloaded and stored or temporarily stored. Moreover, the number of recording media is not limited to one, and even when processing is executed from a plurality of media, it is included in the recording medium, and the configuration of the media may be any configuration.
なお、各実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、各実施形態における各処理を実行するためのものであって、パソコン、マイコンなどの１つからなる装置、複数の装置がネットワーク接続されたシステムなどの何れの構成であってもよい。また、各実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコンなども含み、プログラムによって全ての実施形態における機能を実現することが可能な機器、装置を総称している。 The computer or embedded system in each embodiment is for executing each process in each embodiment based on a program stored in a recording medium. any configuration such as a system in which the devices are connected to a network. In addition, the computer in each embodiment is not limited to a personal computer, but also includes arithmetic processing units and microcomputers included in information processing equipment, and is a generic term for equipment and devices that can realize functions in all embodiments by a program. is doing.
以上説明した少なくともひとつの実施形態によれば、光量を二次元的に検出する光量センサを持つことにより、吸着保持動作の信頼性の向上を図ることができる。 According to at least one of the embodiments described above, it is possible to improve the reliability of the sucking and holding operation by having a light amount sensor that two-dimensionally detects the amount of light.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 While several embodiments of the invention have been described, these embodiments have been presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and their modifications are included in the scope and spirit of the invention, as well as the scope of the invention described in the claims and equivalents thereof.
以下に、本願原出願の特許出願時の特許請求の範囲に記載された発明を付記する。
［１］気体を吸引する吸引装置と、
前記吸引装置に連通し、前記吸引装置の吸引により物体を吸着する吸着部と、
前記物体からの光量を二次元的に検出する光量センサと、
前記光量センサにより検出された情報に基づいて前記吸引装置を制御する制御装置と、
を備えた保持装置。
［２］前記制御装置は、前記光量センサによる光量分布の検出の結果が所定の条件を満たす場合に吸引を行うように前記吸引装置を制御する、
［１］に記載の保持装置。
［３］前記制御装置は、前記光量センサにより検出された情報に基づき前記物体が前記吸着部に近接していることが検出された場合に吸引を行うように前記吸引装置を制御する、
［１］または［２］に記載の保持装置。
［４］前記吸着部と前記吸着部を支持した支持部材とを含む吸着ユニットを備え、
前記光量センサは、前記吸着ユニットの内部に配置されている、
［１］から［３］のうちいずれか１項に記載の保持装置。
［５］前記光量センサは、画像センサである、
［１］から［４］のうちいずれか１項に記載の保持装置。
［６］前記制御装置は、前記画像センサにより取得された画像における前記物体および前記物体の表面の特徴部の少なくとも一方の大きさの変化に基づいて前記物体までの距離を見積もり、前記距離が距離閾値以下である場合に吸引を行うように前記吸引装置を制御する、
［５］に記載の保持装置。
［７］前記制御装置は、前記吸着部の移動速度が第１の速度である場合に前記距離閾値を第１の値に設定し、前記吸着部の移動速度が前記第１の速度より速い第２の速度である場合に前記距離閾値を前記第１の値より大きな第２の値に設定する、
［６］に記載の保持装置。
［８］加速度センサをさらに備え、
前記制御装置は、前記加速度センサから出力される信号に基づいて前記距離閾値を設定する、
［７］に記載の保持装置。
［９］前記吸着部と前記吸着部を支持した支持部材とを含む吸着ユニットと、
前記画像センサの全体が前記吸着ユニットの内部に位置する第１位置と、前記画像センサの少なくとも一部が前記吸着ユニットの外部に位置する第２位置との間で前記画像センサを移動させるアクチュエータと、
を備えた、
［５］から［８］のうちいずれか１項に記載の保持装置。
［１０］前記物体が前記吸着部に近接していることを検出する近接センサをさらに備え、
前記制御装置は、前記光量センサによる検出の結果にかかわらず、前記近接センサにより検出された情報に基づき前記物体が前記吸着部に近接していることが検出された場合に吸引を行うように前記吸引装置を制御する、
［１］から［９］のいずれか１項に記載の保持装置。
［１１］前記吸着部と前記吸着部を支持した支持部材とを含む吸着ユニットを備え、
前記近接センサは、前記吸着ユニットの内部に配置されている
［１０］に記載の保持装置。
［１２］照明装置をさらに備え、
前記制御装置は、前記照明装置が光を照射している状態で前記光量センサにより取得された光量分布の検出の結果が所定の条件を満たす場合に吸引を行うように前記吸引装置を制御する、
［１］から［１１］のいずれか１項に記載の保持装置。
［１３］前記光量センサは、前記吸着部が物体に吸着する方向に対して略直交する平面内で前記吸着部の略中央に配置されている、
［１］から［１２］のいずれか１項に記載の保持装置。
［１４］前記吸引装置と前記吸着部との間の流路と大気圧空間とを連通させる第１の状態と、前記流路と前記大気圧空間との連通を遮断する第２の状態との間で切替可能な切替弁と、
前記吸引装置および前記切替弁を駆動する駆動装置と、
前記流路内の前記気体の圧力を検出する圧力センサと、
をさらに備えた、
［１］から［１３］のいずれか１項に記載の保持装置。
［１５］前記制御装置は、前記圧力センサによって検出された圧力が第１の圧力閾値よりも低い場合に前記吸引装置の駆動を停止し、前記圧力センサによって検出された圧力が第２の圧力閾値よりも高い場合に前記吸引装置の駆動を開始し、前記第２の圧力閾値は、前記第１の圧力閾値と略等しいまたは前記第１の圧力閾値より高い、
［１４］に記載の保持装置。
［１６］前記吸着部を支持する支持部材をさらに備え、
前記支持部材は、前記吸着部および前記吸引装置と連通する空気穴を有し、
前記光量センサは、前記空気穴に対して前記吸引装置の方へ離間して配置されている、
［１］から［１５］のいずれか１項に記載の保持装置。
［１７］前記支持部材に対して前記光量センサを支持した弾性部材をさらに備えた、
［１６］に記載の保持装置。
［１８］気体を吸引する吸引装置と、
前記吸引装置に連通し、前記吸引装置の吸引により物体を吸着する吸着部と、
前記物体からの光量を二次元的に検出する光量センサと、
前記光量センサにより取得された情報に基づいて前記吸引装置を制御する制御装置と、
を備えた飛行体。
［１９］気体を吸引する吸引装置と、前記吸引装置に連通し、前記吸引装置の吸引により物体を吸着する吸着部と、前記物体からの光量を二次元的に検出する光量センサと、前記光量センサにより取得された情報に基づいて前記吸引装置を制御する制御装置と、を有する保持装置と、
前記保持装置を移動させる移動機構と、
前記物体を認識する認識装置と、
前記認識装置からの出力に基づいて前記移動機構を制御する移動機構制御装置と、
を備えた搬送システム。
The invention described in the scope of claims at the time of filing of the original application of the present application is additionally described below.
[1] a suction device for sucking gas;
an adsorption unit that communicates with the suction device and adsorbs an object by suction of the suction device;
a light intensity sensor that two-dimensionally detects the amount of light from the object;
a control device that controls the suction device based on information detected by the light intensity sensor;
holding device with
[2] The control device controls the suction device to perform suction when a result of detection of the light quantity distribution by the light quantity sensor satisfies a predetermined condition.
The holding device according to [1].
[3] The control device controls the suction device to perform suction when it is detected that the object is close to the suction unit based on information detected by the light intensity sensor.
The holding device according to [1] or [2].
[4] A suction unit including the suction portion and a support member supporting the suction portion;
The light intensity sensor is arranged inside the adsorption unit,
The holding device according to any one of [1] to [3].
[5] The light intensity sensor is an image sensor.
The holding device according to any one of [1] to [4].
[6] The control device estimates a distance to the object based on a change in size of at least one of the object and a characteristic portion of the surface of the object in the image acquired by the image sensor, and the distance is a distance controlling the aspiration device to aspirate if below a threshold;
The holding device according to [5].
[7] The controller sets the distance threshold to a first value when the moving speed of the suction unit is a first speed, and sets the distance threshold to a first value when the moving speed of the suction unit is higher than the first speed. setting the distance threshold to a second value greater than the first value if the velocity is 2;
The holding device according to [6].
[8] further comprising an acceleration sensor,
The control device sets the distance threshold based on a signal output from the acceleration sensor.
The holding device according to [7].
[9] a suction unit including the suction portion and a support member supporting the suction portion;
an actuator for moving the image sensor between a first position where the entire image sensor is located inside the adsorption unit and a second position where at least part of the image sensor is located outside the adsorption unit; ,
with
The holding device according to any one of [5] to [8].
[10] further comprising a proximity sensor that detects that the object is in proximity to the adsorption unit;
The control device performs suction when it is detected that the object is close to the suction unit based on information detected by the proximity sensor, regardless of the result of detection by the light amount sensor. to control the suction device,
The holding device according to any one of [1] to [9].
[11] A suction unit including the suction portion and a support member supporting the suction portion;
The holding device according to [10], wherein the proximity sensor is arranged inside the adsorption unit.
[12] further comprising a lighting device;
The control device controls the suction device to perform suction when the detection result of the light intensity distribution acquired by the light intensity sensor satisfies a predetermined condition while the lighting device is emitting light.
The holding device according to any one of [1] to [11].
[13] The light intensity sensor is arranged substantially in the center of the adsorption section within a plane substantially perpendicular to the direction in which the adsorption section adsorbs the object.
The holding device according to any one of [1] to [12].
[14] A first state in which the flow path between the suction device and the adsorption section and the atmospheric pressure space are communicated, and a second state in which the communication between the flow path and the atmospheric pressure space is cut off. a switching valve switchable between
a driving device that drives the suction device and the switching valve;
a pressure sensor that detects the pressure of the gas in the channel;
further comprising
The holding device according to any one of [1] to [13].
[15] The control device stops driving the suction device when the pressure detected by the pressure sensor is lower than a first pressure threshold, and the pressure detected by the pressure sensor reaches a second pressure threshold. start activating the suction device if higher than the second pressure threshold is substantially equal to or higher than the first pressure threshold;
The holding device according to [14].
[16] further comprising a support member that supports the suction unit;
The support member has an air hole that communicates with the suction unit and the suction device,
The light intensity sensor is spaced from the air hole toward the suction device,
The holding device according to any one of [1] to [15].
[17] further comprising an elastic member supporting the light intensity sensor with respect to the support member;
The holding device according to [16].
[18] a suction device for sucking gas;
an adsorption unit that communicates with the suction device and adsorbs an object by suction of the suction device;
a light intensity sensor that two-dimensionally detects the amount of light from the object;
a control device that controls the suction device based on information acquired by the light intensity sensor;
Air vehicle with
[19] a suction device for sucking gas, an adsorption unit communicating with the suction device and sucking an object by suction of the suction device, a light intensity sensor for two-dimensionally detecting the light intensity from the object, and the light intensity a holding device having a control device that controls the suction device based on information acquired by a sensor;
a moving mechanism for moving the holding device;
a recognition device that recognizes the object;
a movement mechanism control device that controls the movement mechanism based on an output from the recognition device;
transport system with
１…搬送システム、１０…飛行体（移動機構）、１２…認識装置、１４…飛行体制御装置（移動機構制御装置）、２０…保持装置、２４…支持部材、２４ｂ…空気穴、２６…吸着パッド（吸着部）、２７…吸着ユニット、２８…吸引装置、３０…圧力センサ、３２…切替弁、３６…画像センサ（光量センサ）、４２…照明装置、４４…弾性部材、６０…制御装置（制御部）、９０…近接センサ、９４…加速度センサ、９６…アクチュエータ。
DESCRIPTION OF
Claims (19)
前記吸着部に連通し、前記吸着部に前記物体を吸着させるように前記吸着部内部の気体を吸引する吸引装置と、
前記空洞を通って入射する光を検出し、前記物体からの光量を検出する光量センサと、
前記光量センサにより取得された光量に基づいて、前記吸着部の吸着状態を判定する制御装置と、
を備え、
前記制御装置は、前記光量センサにより検出された光量に基づき前記物体が前記吸着部に近接していることが検出された場合に吸引を行うように前記吸引装置を制御し、
前記光量センサは、前記吸着部の前記物体への接近時には前記吸着部と前記物体との近接検出に使用され、前記吸着部による前記物体への吸着時または保持中には前記吸着部の吸着状態の判定に使用される、
保持装置。 an adsorption part that adsorbs an object and has a cavity;
a suction device that communicates with the suction unit and sucks gas inside the suction unit so as to cause the suction unit to suction the object;
a light intensity sensor that detects light incident through the cavity and detects the amount of light from the object;
a control device that determines the adsorption state of the adsorption unit based on the light intensity acquired by the light intensity sensor;
with
The control device controls the suction device to perform suction when it is detected that the object is close to the suction unit based on the light intensity detected by the light intensity sensor,
The light quantity sensor is used for proximity detection between the adsorption unit and the object when the adsorption unit is approaching the object, and the adsorption state of the adsorption unit when the object is adsorbed by the adsorption unit or while the object is being held. used to determine the
holding device.
請求項１に記載の保持装置。 The control device controls the suction device to perform suction when a result of light quantity detection by the light quantity sensor satisfies a predetermined condition.
2. A retainer according to claim 1.
前記吸着部に連通し、前記吸着部に前記物体を吸着させるように前記吸着部内部の気体を吸引する吸引装置と、
前記空洞を通って入射する光を検出し、前記物体からの光量を検出する光量センサと、
前記光量センサにより取得された光量に基づいて、前記吸着部の吸着状態を判定する制御装置と、
を備え、
前記制御装置は、前記光量センサにより検出された光量に基づき前記物体が前記吸着部に近接していることが検出された場合に吸引を行うように前記吸引装置を制御する、
保持装置であって、
前記光量センサは、前記物体からの光量を二次元的に検出し、
前記制御装置は、前記光量センサにより検出された二次元的な光量分布に基づいて前記物体が前記吸着部に近接しているか否かを判定するとともに、前記物体が前記吸着部に近接していると判定した場合に吸引を行うように前記吸引装置を制御する、
保持装置。 an adsorption part that adsorbs an object and has a cavity;
a suction device that communicates with the suction unit and sucks gas inside the suction unit so as to cause the suction unit to suction the object;
a light intensity sensor that detects light incident through the cavity and detects the amount of light from the object;
a control device that determines the adsorption state of the adsorption unit based on the light intensity acquired by the light intensity sensor;
with
The control device controls the suction device to perform suction when it is detected that the object is close to the suction unit based on the amount of light detected by the light amount sensor.
a holding device,
The light intensity sensor two-dimensionally detects the amount of light from the object,
The control device determines whether or not the object is in proximity to the adsorption unit based on the two-dimensional light intensity distribution detected by the light intensity sensor, and determines whether the object is in proximity to the adsorption unit. Controlling the suction device to perform suction when it is determined that
holding device.
前記光量センサは、前記吸着ユニットの内部に配置されている、
請求項１から請求項３のうちいずれか１項に記載の保持装置。 a suction unit including the suction portion and a support member supporting the suction portion;
The light intensity sensor is arranged inside the adsorption unit,
A holding device according to any one of claims 1 to 3.
請求項１から請求項４のうちいずれか１項に記載の保持装置。 The light intensity sensor is an image sensor,
A holding device according to any one of claims 1 to 4.
前記吸着部に連通し、前記吸着部に前記物体を吸着させるように前記吸着部内部の気体を吸引する吸引装置と、
前記空洞を通って入射する光を検出し、前記物体からの光量を検出する光量センサと、
前記光量センサにより取得された光量に基づいて、前記吸着部の吸着状態を判定する制御装置と、
を備え、
前記制御装置は、前記光量センサにより検出された光量に基づき前記物体が前記吸着部に近接していることが検出された場合に吸引を行うように前記吸引装置を制御する、
保持装置であって、
前記光量センサは、画像センサであり、
前記制御装置は、前記画像センサにより取得された画像における前記物体および前記物体の表面の特徴部の少なくとも一方の大きさの変化に基づいて前記物体までの距離を見積もり、前記距離が距離閾値以下である場合に吸引を行うように前記吸引装置を制御する、
保持装置。 an adsorption part that adsorbs an object and has a cavity;
a suction device that communicates with the suction unit and sucks gas inside the suction unit so as to cause the suction unit to suction the object;
a light intensity sensor that detects light incident through the cavity and detects the amount of light from the object;
a control device that determines the adsorption state of the adsorption unit based on the light intensity acquired by the light intensity sensor;
with
The control device controls the suction device to perform suction when it is detected that the object is close to the suction unit based on the amount of light detected by the light amount sensor.
a holding device,
The light intensity sensor is an image sensor,
The controller estimates a distance to the object based on a change in size of at least one of the object and a surface feature of the object in an image acquired by the image sensor, and estimates the distance to the object if the distance is less than or equal to a distance threshold. controlling the aspiration device to aspirate on certain occasions ;
holding device.
請求項６に記載の保持装置。 The controller sets the distance threshold to a first value when the moving speed of the suction unit is a first speed, and sets the moving speed of the suction unit to a second speed higher than the first speed. setting the distance threshold to a second value greater than the first value if
7. A holding device according to claim 6.
前記制御装置は、前記加速度センサから出力される信号に基づいて前記距離閾値を設定する、
請求項７に記載の保持装置。 Equipped with an acceleration sensor,
The control device sets the distance threshold based on a signal output from the acceleration sensor.
8. A retaining device according to claim 7.
前記吸着部に連通し、前記吸着部に前記物体を吸着させるように前記吸着部内部の気体を吸引する吸引装置と、
前記空洞を通って入射する光を検出し、前記物体からの光量を検出する光量センサと、
前記光量センサにより取得された光量に基づいて、前記吸着部の吸着状態を判定する制御装置と、
を備え、
前記光量センサは、画像センサであり、
前記吸着部と前記吸着部を支持した支持部材とを含む吸着ユニットと、
前記画像センサの全体が前記吸着ユニットの内部に位置する第１位置と、前記画像センサの少なくとも一部が前記吸着ユニットの外部に位置する第２位置との間で前記画像センサを移動させるアクチュエータと、
を備えた、
保持装置。 an adsorption part that adsorbs an object and has a cavity;
a suction device that communicates with the suction unit and sucks gas inside the suction unit so as to cause the suction unit to suction the object;
a light intensity sensor that detects light incident through the cavity and detects the amount of light from the object;
a control device that determines the adsorption state of the adsorption unit based on the light intensity acquired by the light intensity sensor;
with
The light intensity sensor is an image sensor,
a suction unit including the suction portion and a support member supporting the suction portion;
an actuator for moving the image sensor between a first position where the entire image sensor is located inside the adsorption unit and a second position where at least part of the image sensor is located outside the adsorption unit; ,
with
holding device.
前記吸着部に連通し、前記吸着部に前記物体を吸着させるように前記吸着部内部の気体を吸引する吸引装置と、
前記空洞を通って入射する光を検出し、前記物体からの光量を検出する光量センサと、
前記光量センサにより取得された光量に基づいて、前記吸着部の吸着状態を判定する制御装置と、
を備え、
前記制御装置は、前記光量センサにより検出された光量に基づき前記物体が前記吸着部に近接していることが検出された場合に吸引を行うように前記吸引装置を制御する、
保持装置であって、
前記物体が前記吸着部に近接していることを検出する近接センサをさらに備え、
前記制御装置は、前記光量センサによる検出の結果にかかわらず、前記近接センサにより検出された情報に基づき前記物体が前記吸着部に近接していることが検出された場合に吸引を行うように前記吸引装置を制御する、
保持装置。 an adsorption part that adsorbs an object and has a cavity;
a suction device that communicates with the suction unit and sucks gas inside the suction unit so as to cause the suction unit to suction the object;
a light intensity sensor that detects light incident through the cavity and detects the amount of light from the object;
a control device that determines the adsorption state of the adsorption unit based on the light intensity acquired by the light intensity sensor;
with
The control device controls the suction device to perform suction when it is detected that the object is close to the suction unit based on the amount of light detected by the light amount sensor.
a holding device,
further comprising a proximity sensor that detects that the object is in proximity to the adsorption unit;
The control device performs suction when it is detected that the object is close to the suction unit based on information detected by the proximity sensor, regardless of the result of detection by the light amount sensor. to control the suction device ,
holding device.
前記近接センサは、前記吸着ユニットの内部に配置されている
請求項１０に記載の保持装置。 a suction unit including the suction portion and a support member supporting the suction portion;
The holding device according to claim 10, wherein the proximity sensor is arranged inside the adsorption unit.
前記制御装置は、前記照明装置が光を照射している状態で前記光量センサにより取得された光量の検出の結果が所定の条件を満たす場合に吸引を行うように前記吸引装置を制御する、
請求項１から請求項１１のいずれか１項に記載の保持装置。 further comprising a lighting device,
The control device controls the suction device so as to perform suction when the light intensity detection result acquired by the light intensity sensor satisfies a predetermined condition while the lighting device is emitting light.
A holding device according to any one of the preceding claims.
請求項１から請求項１２のいずれか１項に記載の保持装置。 The light intensity sensor is arranged substantially in the center of the adsorption section within a plane substantially orthogonal to the direction in which the adsorption section adsorbs the object,
A holding device according to any one of the preceding claims.
前記吸引装置および前記切替弁を駆動する駆動装置と、
前記流路内の前記気体の圧力を検出する圧力センサと、
をさらに備えた、
請求項１から請求項１３のいずれか１項に記載の保持装置。 Switching between a first state in which the flow path between the suction device and the adsorption unit and the atmospheric pressure space are communicated and a second state in which the communication between the flow path and the atmospheric pressure space is cut off possible switching valve;
a driving device that drives the suction device and the switching valve;
a pressure sensor that detects the pressure of the gas in the channel;
further comprising
14. A holding device according to any one of the preceding claims.
請求項１４に記載の保持装置。 The control device stops driving the suction device when the pressure detected by the pressure sensor is lower than a first pressure threshold, and the pressure detected by the pressure sensor is higher than a second pressure threshold. starting to drive the suction device when the second pressure threshold is substantially equal to or higher than the first pressure threshold;
15. A retaining device according to claim 14.
前記支持部材は、前記吸着部および前記吸引装置と連通する空気穴を有し、
前記光量センサは、前記空気穴に対して前記吸引装置の方へ離間して配置されている、
請求項１から請求項１５のいずれか１項に記載の保持装置。 Further comprising a support member that supports the adsorption unit,
The support member has an air hole that communicates with the suction unit and the suction device,
The light intensity sensor is spaced from the air hole toward the suction device,
16. A holding device according to any one of the preceding claims.
請求項１６に記載の保持装置。 Further comprising an elastic member that supports the light intensity sensor with respect to the support member,
17. A retention device according to claim 16.
前記吸着部に連通し、前記吸着部に前記物体を吸着させるように前記吸着部内部の気体を吸引する吸引装置と、
前記空洞を通って入射する光を検出し、前記物体からの光量を検出する光量センサと、
前記光量センサにより取得された光量に基づいて、前記吸着部の吸着状態を判定する制御装置と、
を備え、
前記制御装置は、前記光量センサにより検出された光量に基づき前記物体が前記吸着部に近接していることが検出された場合に吸引を行うように前記吸引装置を制御し、
前記光量センサは、前記吸着部の前記物体への接近時には前記吸着部と前記物体との近接検出に使用され、前記吸着部による前記物体への吸着時または保持中には前記吸着部の吸着状態の判定に使用される、
飛行体。 an adsorption part that adsorbs an object and has a cavity;
a suction device that communicates with the suction unit and sucks gas inside the suction unit so as to cause the suction unit to suction the object;
a light intensity sensor that detects light incident through the cavity and detects the amount of light from the object;
a control device that determines the adsorption state of the adsorption unit based on the light intensity acquired by the light intensity sensor;
with
The control device controls the suction device to perform suction when it is detected that the object is close to the suction unit based on the light intensity detected by the light intensity sensor,
The light quantity sensor is used for proximity detection between the adsorption unit and the object when the adsorption unit is approaching the object, and the adsorption state of the adsorption unit when the object is adsorbed by the adsorption unit or while the object is being held. used to determine the
Airplane.
前記保持装置を移動させる移動機構と、
前記物体を認識する認識装置と、
前記認識装置からの出力に基づいて前記移動機構を制御する移動機構制御装置と、
を備え、
前記制御装置は、前記光量センサにより検出された光量に基づき前記物体が前記吸着部に近接していることが検出された場合に吸引を行うように前記吸引装置を制御し、
前記光量センサは、前記吸着部の前記物体への接近時には前記吸着部と前記物体との近接検出に使用され、前記吸着部による前記物体への吸着時または保持中には前記吸着部の吸着状態の判定に使用される、
搬送システム。 an adsorption unit that adsorbs an object and has a cavity; a suction device that communicates with the adsorption unit and sucks gas inside the adsorption unit so as to cause the object to be adsorbed by the adsorption unit; a holding device having a light intensity sensor that detects light and detects the intensity of light from the object; and a control device that determines the adsorption state of the adsorption part based on the light intensity acquired by the light intensity sensor;
a moving mechanism for moving the holding device;
a recognition device that recognizes the object;
a movement mechanism control device that controls the movement mechanism based on an output from the recognition device;
with
The control device controls the suction device to perform suction when it is detected that the object is close to the suction unit based on the light intensity detected by the light intensity sensor,
The light quantity sensor is used for proximity detection between the adsorption unit and the object when the adsorption unit is approaching the object, and the adsorption state of the adsorption unit when the object is adsorbed by the adsorption unit or while the object is being held. used to determine the
transport system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020209325A JP7159273B2 (en) | 2020-12-17 | 2020-12-17 | Holding devices, air vehicles, and transport systems |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020209325A JP7159273B2 (en) | 2020-12-17 | 2020-12-17 | Holding devices, air vehicles, and transport systems |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018046000A Division JP2019155536A (en) | 2018-03-13 | 2018-03-13 | Holding device, flight body, and conveyance system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021049640A JP2021049640A (en) | 2021-04-01 |
| JP7159273B2 true JP7159273B2 (en) | 2022-10-24 |
Family
ID=75156684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020209325A Active JP7159273B2 (en) | 2020-12-17 | 2020-12-17 | Holding devices, air vehicles, and transport systems |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7159273B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001211000A (en) | 2000-01-26 | 2001-08-03 | Matsushita Electric Ind Co Ltd | Device for holding and mounting part and method therfor |
| US20020060464A1 (en) | 1999-07-12 | 2002-05-23 | Rd Automation | Mounting apparatus for electronic parts |
| JP2010005769A (en) | 2008-06-30 | 2010-01-14 | Ihi Corp | Depalletizing apparatus and depalletizing method |
| JP2013135341A (en) | 2011-12-26 | 2013-07-08 | Canon Inc | Image processing device and image processing method, program, and storage medium |
| JP2017038873A (en) | 2015-08-21 | 2017-02-23 | シャープ株式会社 | Travel device |
| JP2017193330A (en) | 2016-04-19 | 2017-10-26 | インダストリーネットワーク株式会社 | Suction drone flying object and work method using the suction drone flying object |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH074097B2 (en) * | 1988-05-27 | 1995-01-25 | 株式会社クボタ | Fruit and vegetable harvesting equipment |
| JPH0581830U (en) * | 1992-04-02 | 1993-11-05 | オリンパス光学工業株式会社 | Anti-shake camera |
| JPH07285087A (en) * | 1994-04-15 | 1995-10-31 | Rohm Co Ltd | Pickup tester of semiconductor chip |
-
2020
- 2020-12-17 JP JP2020209325A patent/JP7159273B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020060464A1 (en) | 1999-07-12 | 2002-05-23 | Rd Automation | Mounting apparatus for electronic parts |
| JP2001211000A (en) | 2000-01-26 | 2001-08-03 | Matsushita Electric Ind Co Ltd | Device for holding and mounting part and method therfor |
| JP2010005769A (en) | 2008-06-30 | 2010-01-14 | Ihi Corp | Depalletizing apparatus and depalletizing method |
| JP2013135341A (en) | 2011-12-26 | 2013-07-08 | Canon Inc | Image processing device and image processing method, program, and storage medium |
| JP2017038873A (en) | 2015-08-21 | 2017-02-23 | シャープ株式会社 | Travel device |
| JP2017193330A (en) | 2016-04-19 | 2017-10-26 | インダストリーネットワーク株式会社 | Suction drone flying object and work method using the suction drone flying object |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021049640A (en) | 2021-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6818660B2 (en) | Object holding device | |
| US10850370B2 (en) | Holding device, flight body, and transport system | |
| JP6710622B2 (en) | Transfer device and transfer method | |
| CN108692681B (en) | Recess detection device, conveyance device, and recess detection method | |
| US20160347558A1 (en) | Article handling apparatus and method of operating the same | |
| JP6666094B2 (en) | Suction support device and article holding device | |
| US20150066199A1 (en) | Robot hand, robot system, and method for depalletizing article | |
| WO2018066335A1 (en) | Transport device，transport method, and transport program | |
| US20220332526A1 (en) | Position detection apparatus and method of distribution object, robot, distribution apparatus, and controller | |
| JP2019051559A (en) | Article movement apparatus, article movement method, and article movement control program | |
| US20110153082A1 (en) | Sensor system for detecting the surface structures of several packaged articles | |
| JP6917789B2 (en) | Cargo handling device and operation method of cargo handling device | |
| TW201742181A (en) | Transport device | |
| TW201416165A (en) | Device for manufacturing mold core | |
| JP7159273B2 (en) | Holding devices, air vehicles, and transport systems | |
| US20220219922A1 (en) | Unloading apparatus and unloading method | |
| KR20230020480A (en) | Autonomous vehicle for handling goods using marker and method thereof | |
| CN115123970A (en) | Container box type packaging unloading sterilizing and killing equipment | |
| JP7275830B2 (en) | Adsorber and moving adsorber | |
| JP6595665B1 (en) | Handling equipment | |
| JP7303454B2 (en) | controller | |
| JP7192682B2 (en) | inspection system | |
| US20230136488A1 (en) | Transfer apparatus, control device, transfer method, and storage medium | |
| KR20230123508A (en) | ceiling transporter | |
| JP7264241B2 (en) | Sensor body and adsorption device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210930 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220412 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220608 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220913 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221012 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7159273 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |