JP6815422B2 - Cargo handling equipment and control equipment - Google Patents
Cargo handling equipment and control equipment Download PDFInfo
- Publication number
- JP6815422B2 JP6815422B2 JP2019027612A JP2019027612A JP6815422B2 JP 6815422 B2 JP6815422 B2 JP 6815422B2 JP 2019027612 A JP2019027612 A JP 2019027612A JP 2019027612 A JP2019027612 A JP 2019027612A JP 6815422 B2 JP6815422 B2 JP 6815422B2
- Authority
- JP
- Japan
- Prior art keywords
- gripping
- article
- grip
- unit
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Manipulator (AREA)
- De-Stacking Of Articles (AREA)
- Specific Conveyance Elements (AREA)
- Image Analysis (AREA)
Description
本発明の実施形態は、荷役装置に関する。 Embodiments of the present invention relate to cargo handling devices.
物品の荷役作業は重労働であり、近年では人材確保が難しくなっている。このため、デパレタイジングなどの荷下ろし作業の自動化が求められている。荷下ろし作業を行う従来の荷役装置では、一度に広範囲の情報を取得可能な画像センサなどの光学センサが荷下ろし対象の物品を認識するために使用される。しかしながら、物品が複雑な柄を持つ場合、隙間なくぴったりと接触して物品が配置されている場合、紐や張り紙などの障害物が物品のエッジを隠している場合などには、光学センサの特性上、正確な認識を行うことができない。不正確な認識結果に基づいて物品の把持を行うと、把持に失敗することがある。 Cargo handling of goods is hard work, and it has become difficult to secure human resources in recent years. Therefore, there is a demand for automation of unloading work such as depalletizing. In a conventional cargo handling device that performs unloading work, an optical sensor such as an image sensor that can acquire a wide range of information at one time is used to recognize an article to be unloaded. However, the characteristics of the optical sensor when the article has a complicated handle, when the article is placed in close contact with each other without gaps, or when an obstacle such as a string or a sticker hides the edge of the article. Moreover, accurate recognition cannot be performed. If the article is gripped based on an inaccurate recognition result, the grip may fail.
本発明が解決しようとする課題は、物品をより確実に把持することができる荷役装置を提供することである。 An object to be solved by the present invention is to provide a cargo handling device capable of more reliably grasping an article.
一実施形態に係る荷役装置は、把持部、駆動部、物品認識部、把持認識部、判断部及び制御部を備える。把持部は、物品を把持する。駆動部は、前記把持部に接続され、前記把持部を移動させる。物品認識部は、保管領域に配置される前記物品の状態を認識する。把持認識部は、前記把持部の把持状態を認識する。判断部は、前記把持認識部の認識結果に基づいて、前記把持状態が安定か不安定かを判断する。制御部は、前記把持部及び前記駆動部を制御するものであって、前記物品認識部の認識結果に基づいて決定される把持位置で前記把持部が前記物品を把持する第１把持動作を制御し、前記把持状態が不安定と判断された場合に、把持位置を変更した上で前記把持部が前記物品を把持し直す第２把持動作を制御する。 The cargo handling device according to the embodiment includes a grip unit, a drive unit, an article recognition unit, a grip recognition unit, a determination unit, and a control unit. The gripping portion grips the article. The drive unit is connected to the grip portion and moves the grip portion. The article recognition unit recognizes the state of the article placed in the storage area. The grip recognition unit recognizes the grip state of the grip portion. The determination unit determines whether the gripping state is stable or unstable based on the recognition result of the gripping recognition unit. The control unit controls the gripping unit and the driving unit, and controls the first gripping operation in which the gripping unit grips the article at a gripping position determined based on the recognition result of the article recognition unit. Then, when it is determined that the gripping state is unstable, the gripping portion controls the second gripping operation of re-grasping the article after changing the gripping position.
以下、図面を参照しながら種々の実施形態を説明する。実施形態は、保管領域から荷下ろし領域に物品を移送する荷役装置に関する。以下の実施形態では、同一の番号を付した要素については同様の動作を行なうものとして、重ねての説明を省略する。 Hereinafter, various embodiments will be described with reference to the drawings. An embodiment relates to a cargo handling device that transfers an article from a storage area to an unloading area. In the following embodiments, the same operation is performed for the elements with the same number, and the description thereof will be omitted.
［第１の実施形態］
図１は、第１の実施形態に係る荷役装置１００の機械構造を概略的に示す側面図であり、図２は、第１の実施形態に係る荷役装置１００の制御系を概略的に示すブロック図である。図１に示すように、物品１５１が保管領域としてのパレット１５０上に積み重ねられており、荷役装置１００は、上方からアプローチして物品１５１を１つずつ把持し、荷下ろし領域（図示せず）に移送する。荷下ろし領域は、例えば、作業台又はコンベア装置であり得る。パレット１５０上に積み重ねられた物品１５１全体を積み山（stack）とも称する。荷役装置１００は、物品１５１を把持する把持部１０７と、把持部１０７に接続され、把持部１０７を移動させる駆動部１０２と、を備える。
[First Embodiment]
FIG. 1 is a side view schematically showing the mechanical structure of the cargo handling device 100 according to the first embodiment, and FIG. 2 is a block schematically showing a control system of the cargo handling device 100 according to the first embodiment. It is a figure. As shown in FIG. 1, articles 151 are stacked on a pallet 150 as a storage area, and the cargo handling device 100 approaches from above to grip the articles 151 one by one and unloads an area (not shown). Transfer to. The unloading area can be, for example, a workbench or a conveyor device. The entire 151 articles stacked on the pallet 150 are also referred to as a stack. The cargo handling device 100 includes a grip portion 107 that grips the article 151, and a drive unit 102 that is connected to the grip portion 107 and moves the grip portion 107.
把持部１０７は、吸着により物品１５１を把持する。具体的には、把持部１０７は、図示しない真空ポンプに連結された複数の吸盤（吸着パッドとも称する）１０８を備える。把持部１０７は、吸盤１０８の姿勢を変更するために２つの回転関節を備える。駆動部１０２は、３軸直動機構である。具体的には、駆動部１０２は、ベース１０３と、第１方向に移動可能にベース１０３に支持された直動部１０４と、第２方向に移動可能に直動部１０４に支持された直動部１０５と、第３方向に移動可能に直動部１０５に支持された直動部１０６と、を備える。第１方向、第２方向及び第３方向は互いに直交する。把持部１０７は直動部１０６の端部に配置されている。 The grip portion 107 grips the article 151 by suction. Specifically, the grip portion 107 includes a plurality of suction cups (also referred to as suction pads) 108 connected to a vacuum pump (not shown). The grip 107 includes two rotary joints to change the posture of the suction cup 108. The drive unit 102 is a 3-axis linear motion mechanism. Specifically, the drive unit 102 has a base 103, a linear motion unit 104 movably supported by the base 103 in the first direction, and a linear motion unit 104 movably supported by the linear motion unit 104 in the second direction. A portion 105 and a linearly moving portion 106 that is supported by the linearly moving portion 105 so as to be movable in a third direction are provided. The first direction, the second direction and the third direction are orthogonal to each other. The grip portion 107 is arranged at the end of the linear motion portion 106.
なお、図１に示される把持部１０７及び駆動部１０２の構造は一例であり、把持部１０７及び駆動部１０２は、図１に示される構造に限定されない。例えば、把持部１０７は、挟持により物品１５１を把持するものであってもよい。 The structure of the grip portion 107 and the drive portion 102 shown in FIG. 1 is an example, and the grip portion 107 and the drive portion 102 are not limited to the structure shown in FIG. For example, the grip portion 107 may grip the article 151 by pinching.
荷役装置１００は、図２に示すように、物品認識部２０１、把持認識部２０２、判断部２０３及び制御部２０４をさらに備える。判断部２０３及び制御部２０４は、ＩＣ（integrated circuit）やＬＳＩ（large-scale integration）などで構成される演算装置を備えるコンピュータにより実現することができる。 As shown in FIG. 2, the cargo handling device 100 further includes an article recognition unit 201, a grip recognition unit 202, a determination unit 203, and a control unit 204. The determination unit 203 and the control unit 204 can be realized by a computer including an arithmetic unit composed of an IC (integrated circuit), an LSI (large-scale integration), or the like.
物品認識部２０１は、物品１５１の状態を認識する。物品認識部２０１は、図１に示される画像センサ１１１を備える。画像センサ１１１は、パレット１５０の上方に配置され、図１の例では、駆動部１０２のベース１０３に取り付けられている。画像センサ１１１は、積み山を撮像して画像情報を生成する。画像センサ１１１は、距離センサを搭載し、画像情報とともに距離情報を取得する。物品認識部２０１は、画像センサ１１１によって生成された画像情報及び距離情報に基づいて、物品１５１の状態を認識する。 The article recognition unit 201 recognizes the state of the article 151. The article recognition unit 201 includes the image sensor 111 shown in FIG. The image sensor 111 is arranged above the pallet 150 and is attached to the base 103 of the drive unit 102 in the example of FIG. The image sensor 111 captures a pile and generates image information. The image sensor 111 is equipped with a distance sensor and acquires distance information together with image information. The article recognition unit 201 recognizes the state of the article 151 based on the image information and the distance information generated by the image sensor 111.
例えば、物品認識部２０１は、画像情報及び距離情報に基づいて、積み山の上面を形成する１つ又は複数の物品１５１を検出する。図３は、積み山の上面を形成する物品１５１を検出する方法例を示している。図３に示すように、物品認識部２０１は、全体画像（画像情報）から積み山の上面に対応するマスク画像を生成し、全体画像にマスク画像を適用し、その結果得られた画像から輪郭を検出する。マスク画像を生成する処理は、例えば、図４に示す面選択方法を用いて実行することができる。図４に示される面選択方法は、ある範囲の距離情報を抽出し、抽出結果を平均化し、その結果得られた面から所望の面を選択する。物品認識部２０１は、例えば、積み山の上面を形成する各物品１５１の中心位置（検出中心位置とも称する）を認識結果として出力する。認識結果は、積み山の上面を形成する各物品１５１の輪郭に関する情報を含んでいてもよい。検出された輪郭によって定められる面（物品の上面に対応する）を検出面と称する。 For example, the article recognition unit 201 detects one or more articles 151 forming the upper surface of the pile based on the image information and the distance information. FIG. 3 shows an example of a method for detecting the article 151 forming the upper surface of the pile. As shown in FIG. 3, the article recognition unit 201 generates a mask image corresponding to the upper surface of the pile from the whole image (image information), applies the mask image to the whole image, and draws a contour from the resulting image. To detect. The process of generating the mask image can be executed, for example, by using the surface selection method shown in FIG. The surface selection method shown in FIG. 4 extracts distance information in a certain range, averages the extraction results, and selects a desired surface from the surfaces obtained as a result. For example, the article recognition unit 201 outputs the center position (also referred to as the detection center position) of each article 151 forming the upper surface of the pile as a recognition result. The recognition result may include information about the contour of each article 151 forming the top surface of the pile. The surface defined by the detected contour (corresponding to the upper surface of the article) is called the detection surface.
図５Ａ、図５Ｂ及び図５Ｃは、想定される物品認識部２０１の認識結果の例を示す。積み山の上面は同じ形状の１２個の物品により形成されている。図５Ａは、理想的な条件下で画像情報が良好に得られた場合における認識結果を示している。この場合、物品間の境界が正しく認識され、全ての物品が正確に検出されている。点Ｔ１〜Ｔ１２は、積み山の上面を形成する物品の中心位置を示す。 5A, 5B and 5C show an example of the recognition result of the assumed article recognition unit 201. The upper surface of the stack is made up of twelve articles of the same shape. FIG. 5A shows the recognition result when the image information is satisfactorily obtained under ideal conditions. In this case, the boundaries between the articles are correctly recognized and all the articles are accurately detected. Points T1 to T12 indicate the central positions of the articles forming the upper surface of the pile.
図５Ｂは、物品上面にしわ、柄、汚れがある場合や、物品にコントラストの大きいラベルが貼り付けられている場合に得られる認識結果を示している。この場合、９つの物品が検出され、これらの物品は、実際より小さく、形が不揃いである。図５Ｃは、エッジが硬く尖っている物品が隙間なく並べられている場合に得られる認識結果を示している。この場合、実際の物品間の境界はほとんど認識できず、室内照明による他の無関係な物体の影などが物品間の境界として誤認識されることが想定される。このような誤った認識結果に基づき把持を行うと、物品の重心から離れた位置を持ち上げることになり得る。その場合、物品を持ち上げるにつれて物品の姿勢が傾き、他の積載物品の荷崩れを引き起こし、或いは、移送途中に物品を落下させる可能性がある。他にも、物品と物品の隙間上で吸着を試みたために吸着に失敗するなど、処理を中断せざるを得ない状況が発生しやすい。 FIG. 5B shows the recognition results obtained when there are wrinkles, patterns, or stains on the upper surface of the article, or when a label having a high contrast is attached to the article. In this case, nine articles are detected, which are smaller and irregular in shape than they really are. FIG. 5C shows the recognition results obtained when articles with hard and sharp edges are arranged without gaps. In this case, the actual boundary between the articles cannot be recognized, and it is assumed that the shadow of another unrelated object due to the room lighting is erroneously recognized as the boundary between the articles. If the grip is performed based on such an erroneous recognition result, the position away from the center of gravity of the article may be lifted. In that case, the posture of the article may be tilted as the article is lifted, causing the load of other loaded articles to collapse, or the article may be dropped during the transfer. In addition, there is a tendency that the process must be interrupted, for example, the adsorption fails because the adsorption is attempted on the gap between the articles.
なお、物品認識部２０１は、画像センサ１１１に限らず、物品に関する情報を取得可能な他のセンサを使用してもよい。画像センサは、大局的に対象の情報を取得できるため好ましい。 The article recognition unit 201 is not limited to the image sensor 111, and other sensors capable of acquiring information about the article may be used. The image sensor is preferable because it can acquire the target information from a broad perspective.
把持認識部２０２は、把持部１０７の把持状態を認識する。把持認識部２０２は、図１に示される複数の圧力センサ１１２を備える。各圧力センサ１１２は、対応する吸盤１０８内に又は対応する吸引系統内に設けられ、対応する吸盤１０８の内部圧力を検出する。把持認識部２０２は、例えば、複数の圧力センサ１１２によって検出された圧力値を認識結果として出力する。圧力センサ１１２は、吸盤１０８に作用する力を検出する力センサの一例である。例えば、圧力センサ１１２に替えて、３軸力センサ又は３つの１軸力センサが各吸盤１０８に設けられていてもよい。 The grip recognition unit 202 recognizes the grip state of the grip unit 107. The grip recognition unit 202 includes a plurality of pressure sensors 112 shown in FIG. Each pressure sensor 112 is provided in the corresponding suction cup 108 or in the corresponding suction system to detect the internal pressure of the corresponding suction cup 108. The grip recognition unit 202 outputs, for example, the pressure values detected by the plurality of pressure sensors 112 as the recognition result. The pressure sensor 112 is an example of a force sensor that detects a force acting on the suction cup 108. For example, instead of the pressure sensor 112, a three-axis force sensor or three one-axis force sensors may be provided on each suction cup 108.
判断部２０３は、把持認識部２０２の認識結果に基づいて、把持部１０７の把持状態が安定（良好）か不安定（不良）かを判断する。図６Ａ及び図６Ｂは、把持部１０７に４つの吸盤１０８が設けられる場合における把持認識部２０２の認識結果の例を示す。図７Ａ及び図７Ｂは、把持部１０７に８つの吸盤１０８が設けられる場合における把持認識部２０２の認識結果の例を示す。図６Ａ及び図７Ａに示される認識結果では、全ての吸盤１０８の圧力が小さい値になっている。図６Ｂ及び図７Ｂに示される認識結果では、圧力が大気圧に近い吸盤１０８と圧力が小さい吸盤１０８とが存在し、圧力値に勾配（空間的な偏り）が生じている。 The determination unit 203 determines whether the gripping state of the gripping unit 107 is stable (good) or unstable (defective) based on the recognition result of the gripping recognition unit 202. 6A and 6B show an example of the recognition result of the grip recognition unit 202 when the grip unit 107 is provided with four suction cups 108. 7A and 7B show an example of the recognition result of the grip recognition unit 202 when eight suction cups 108 are provided on the grip unit 107. In the recognition results shown in FIGS. 6A and 7A, the pressures of all the suction cups 108 are small values. In the recognition results shown in FIGS. 6B and 7B, a suction cup 108 having a pressure close to atmospheric pressure and a suction cup 108 having a low pressure exist, and a gradient (spatial bias) occurs in the pressure value.
本実施形態では、各吸盤１０８の圧力が閾値より小さい場合に、その吸盤１０８が吸着に成功していると見なし、各吸盤１０８の圧力が閾値以上である場合に、その吸盤１０８が吸着に失敗していると見なす。判断部２０３は、図６Ａ及び図７Ａに示すように、複数の吸盤１０８の圧力すべてが閾値より小さい場合に、把持状態が安定であると判断する。判断部２０３は、図６Ｂ及び図７Ｂに示すように、吸盤１０８の圧力に空間的な偏りが生じている場合に、把持状態が不安定であると判断する。 In the present embodiment, when the pressure of each suction cup 108 is smaller than the threshold value, it is considered that the suction cup 108 has succeeded in suction, and when the pressure of each suction cup 108 is equal to or more than the threshold value, the suction cup 108 fails to suck. It is considered to be. As shown in FIGS. 6A and 7A, the determination unit 203 determines that the gripping state is stable when all the pressures of the plurality of suction cups 108 are smaller than the threshold value. As shown in FIGS. 6B and 7B, the determination unit 203 determines that the gripping state is unstable when the pressure of the suction cup 108 is spatially biased.
なお、把持状態が安定か不安定かを判断する方法は、上述した例に限定されない。例えば、把持状態が安定であると判断する条件は緩和されてもよい。具体的には、多数の（例えば８つの）吸盤１０８が設けられる場合には、一部の（例えば２つの）吸盤１０８の圧力が閾値以上であっても、大部分の（例えば６つの）吸盤１０８の圧力が閾値より小さければ、把持状態が安定であると判断してもよい。 The method for determining whether the gripping state is stable or unstable is not limited to the above-mentioned example. For example, the condition for determining that the gripping state is stable may be relaxed. Specifically, when a large number (eg, 8) suction cups 108 are provided, most (eg, 6) suction cups, even if the pressure of some (eg, 2) suction cups 108 is above a threshold. If the pressure of 108 is smaller than the threshold value, it may be determined that the gripping state is stable.
また、必ずしも検出はアナログ値で行う必要はない。デジタル値での検出の場合、センサ数を３以上とするか、吸着試行回数を３回以上する必要がある。 Moreover, the detection does not necessarily have to be performed by an analog value. In the case of digital value detection, it is necessary to set the number of sensors to 3 or more, or to set the number of adsorption trials to 3 or more.
制御部２０４は、駆動部１０２及び把持部１０７を制御する。制御部２０４は、物品認識部２０１の認識結果に基づいて初期把持位置を決定し、決定した初期把持位置で把持部１０７に物品１５１を把持させる。具体的には、制御部２０４は、検出中心位置を把持部１０７の基準位置（例えば把持面の中心位置）の目標値に設定し、把持部１０７の基準位置が検出中心位置に一致するよう把持部１０７を移動させ、把持部１０７の真空ポンプを作動する。本実施形態では、物品認識部２０１の認識結果に基づいた把持動作を第１把持動作と称する。このとき、把持部１０７の把持状態が安定か不安定かが判断部２０３によって判断される。 The control unit 204 controls the drive unit 102 and the grip unit 107. The control unit 204 determines the initial gripping position based on the recognition result of the article recognition unit 201, and causes the gripping unit 107 to grip the article 151 at the determined initial gripping position. Specifically, the control unit 204 sets the detection center position to the target value of the reference position of the grip unit 107 (for example, the center position of the grip surface), and grips the grip unit 107 so that the reference position matches the detection center position. The portion 107 is moved to operate the vacuum pump of the grip portion 107. In the present embodiment, the gripping operation based on the recognition result of the article recognition unit 201 is referred to as a first gripping operation. At this time, the determination unit 203 determines whether the gripping state of the gripping unit 107 is stable or unstable.
把持状態が安定と判断された場合、制御部２０４は、物品１５１の移送を継続する。把持状態が不安定と判断された場合、制御部２０４は、把持位置を変更した上で把持部１０７が物品１５１を把持し直す第２把持動作を制御する。具体的には、制御部２０４は、把持部１０７に物品１５１を解放させ、把持位置を変更した上で把持部１０７に物品１５１を再び把持させる。把持位置を変更する方法は、例えば、新たな把持位置をランダムに決定する方法、把持認識部２０２の認識結果に基づいて新たな把持位置を決定する方法などがある。前者は、計算量が少ないという利点を有する。後者としては、例えば、図６Ｂの矢印に示されるように、圧力が小さい吸盤１０８の方に把持位置をずらす方法が用いられる。ずらす量（オフセット量）は、予め定められていてもよく、検出面のサイズに基づいて決定されてもよい。把持認識部２０２の認識結果に基づいた決定方法は、把持状態を改善できる可能性が高い。第２把持動作は、把持状態が安定と判断されるまで繰り返し制御される。 When it is determined that the gripped state is stable, the control unit 204 continues the transfer of the article 151. When it is determined that the gripping state is unstable, the control unit 204 controls the second gripping operation in which the gripping unit 107 re-holds the article 151 after changing the gripping position. Specifically, the control unit 204 causes the grip unit 107 to release the article 151, changes the grip position, and then causes the grip unit 107 to grip the article 151 again. Examples of the method of changing the gripping position include a method of randomly determining a new gripping position and a method of determining a new gripping position based on the recognition result of the gripping recognition unit 202. The former has an advantage that the amount of calculation is small. As the latter, for example, as shown by the arrow in FIG. 6B, a method of shifting the gripping position toward the suction cup 108 having a lower pressure is used. The amount of shift (offset amount) may be predetermined or may be determined based on the size of the detection surface. The determination method based on the recognition result of the grip recognition unit 202 has a high possibility of improving the grip state. The second gripping operation is repeatedly controlled until the gripping state is determined to be stable.
本実施形態では、把持状態が不安定と判断された場合に把持位置を変更した上で物品を把持し直すことにより、物品の状態を正確に認識できない場合であっても、物品をうまく把持することができる。従って、物品把持の成功率が向上する。その結果、物品をより確実に移送することができる。また、本実施形態では、物品の情報（例えばサイズや形状）を予め登録する必要がない。 In the present embodiment, when the gripping state is determined to be unstable, the gripping position is changed and then the article is gripped again, so that the article can be gripped well even when the state of the article cannot be accurately recognized. be able to. Therefore, the success rate of gripping the article is improved. As a result, the article can be transferred more reliably. Further, in the present embodiment, it is not necessary to register the information of the article (for example, size and shape) in advance.
次に、本実施形態に係る荷役装置１００の動作について説明する。
図８は、荷役装置１００の処理手順例を概略的に示している。図８に示される処理手順は、積み山の上面を形成する１以上の物品１５１のうちのいずれか１つを把持する一連の処理に対応する。まず、試行回数が１に初期化される。
Next, the operation of the cargo handling device 100 according to the present embodiment will be described.
FIG. 8 schematically shows an example of a processing procedure of the cargo handling device 100. The processing procedure shown in FIG. 8 corresponds to a series of processing for grasping any one of one or more articles 151 forming the upper surface of the pile. First, the number of trials is initialized to 1.
図８のステップＳ８０１では、物品認識部２０１は物品１５１の状態を認識する。ステップＳ８０２では、駆動部１０２及び把持部１０７は物品認識部２０１の認識結果に基づいて動作する。ステップＳ８０３では、把持部１０７は物品１５１を吸着する。ステップＳ８０４では、制御部２０４は、物品１５１を少し持ち上げるために、把持部１０７を上昇させる。ステップＳ８０５では、判断部２０３は、ｍ個の吸盤１０８の圧力に勾配（空間的な偏り）があるかどうかを判断する。ここで、ｍは２以上の整数である。勾配がない場合、制御部２０４は、物品１５１の移送を継続する。勾配がある場合、ステップＳ８０６に進む。 In step S801 of FIG. 8, the article recognition unit 201 recognizes the state of the article 151. In step S802, the drive unit 102 and the grip unit 107 operate based on the recognition result of the article recognition unit 201. In step S803, the grip portion 107 adsorbs the article 151. In step S804, the control unit 204 raises the grip unit 107 in order to lift the article 151 slightly. In step S805, the determination unit 203 determines whether or not there is a gradient (spatial bias) in the pressure of the m suction cups 108. Here, m is an integer of 2 or more. If there is no gradient, the control unit 204 continues the transfer of the article 151. If there is a gradient, the process proceeds to step S806.
ステップＳ８０６では、制御部２０４は、ハンドサイズが物品サイズより充分小さいか否かを判定する。一例では、ハンドサイズは把持部１０７の把持面（吸盤１０８が設けられる面）の面積であり、物品サイズは検出面の面積である。他の例では、把持部１０７の把持面の縦と横の寸法が物品１５１の検出面の縦と横の寸法と比較されてもよい。 In step S806, the control unit 204 determines whether the hand size is sufficiently smaller than the article size. In one example, the hand size is the area of the grip surface (the surface on which the suction cup 108 is provided) of the grip portion 107, and the article size is the area of the detection surface. In another example, the vertical and horizontal dimensions of the grip surface of the grip portion 107 may be compared to the vertical and horizontal dimensions of the detection surface of the article 151.
ハンドサイズが物品サイズと同程度又は大きい場合、把持位置の変更による状況の改善は期待できない。このため、制御部２０４は、把持位置を変更することなく、物品１５１の移送を試みる。具体的には、ステップＳ８１１では、制御部２０４は、物品１５１をもう少し持ち上げるために、把持部１０７を上昇させる。ステップＳ８１２では、制御部２０４は、ｍ個の吸盤１０８の圧力に大きな変化があるかどうかを判断する。圧力に大きな変化がない場合、把持状態が安定している、すなわち、把持成功と見なすことができる。この場合、物品１５１の移送が続けられる。圧力に大きな変化がある場合、制御部２０４は、把持失敗と判断し、物品１５１の移送を終了する。 When the hand size is about the same as or larger than the article size, improvement of the situation cannot be expected by changing the gripping position. Therefore, the control unit 204 attempts to transfer the article 151 without changing the gripping position. Specifically, in step S811, the control unit 204 raises the grip unit 107 in order to lift the article 151 a little more. In step S812, the control unit 204 determines whether there is a large change in the pressure of the m suction cups 108. If there is no significant change in pressure, the gripping state is stable, that is, gripping is successful. In this case, the transfer of the article 151 is continued. If there is a large change in pressure, the control unit 204 determines that the grip has failed and ends the transfer of the article 151.
ステップＳ８０６においてハンドサイズが物品サイズより充分小さい場合、ステップＳ８０７に進む。この場合、制御部２０４は、把持位置を変更することが可能であると判断し、第２把持動作を制御する。ステップＳ８０７では、制御部２０４は、物品１５１を一旦置くように駆動部１０２及び把持部１０７を制御する。 If the hand size is sufficiently smaller than the article size in step S806, the process proceeds to step S807. In this case, the control unit 204 determines that the gripping position can be changed and controls the second gripping operation. In step S807, the control unit 204 controls the drive unit 102 and the grip unit 107 so as to temporarily place the article 151.
ステップＳ８０８では、制御部２０４は、試行回数が予め定めた値Ｌより小さいかどうかを判断する。試行回数が値Ｌより小さい場合、ステップＳ８０９に進む。ステップＳ８０９では、駆動部１０２は、偏りがある方向に（具体的には圧力が小さい吸盤１０８の方へ）把持部１０７を移動させる。ステップＳ８１０では、制御部２０４は、試行回数を１だけインクリメントする。その後、処理手順はステップＳ８０３に戻る。ステップＳ８０８において試行回数が値Ｌに等しい場合、制御部２０４は、把持失敗と判断し、物品１５１の移送を終了する。 In step S808, the control unit 204 determines whether the number of trials is smaller than the predetermined value L. If the number of trials is less than the value L, the process proceeds to step S809. In step S809, the drive unit 102 moves the grip unit 107 in a biased direction (specifically, toward the suction cup 108 where the pressure is small). In step S810, the control unit 204 increments the number of trials by one. After that, the processing procedure returns to step S803. When the number of trials is equal to the value L in step S808, the control unit 204 determines that the grip has failed and ends the transfer of the article 151.
以上のように、第１の実施形態に係る荷役装置は、把持部の把持状態を認識する把持認識部と、把持状態が安定か不安定かを判断する判断部と、を備え、把持状態が不安定である場合に把持位置を変更した上で物品を把持し直す。これにより、物品把持の成功率を向上することができ、物品をより確実に移送することができる。 As described above, the cargo handling device according to the first embodiment includes a grip recognition unit that recognizes the grip state of the grip portion and a determination unit that determines whether the grip state is stable or unstable. If it is unstable, change the gripping position and then grip the article again. As a result, the success rate of gripping the article can be improved, and the article can be transferred more reliably.
［第１の実施形態の変形例］
図９から図１３を参照して、第１の実施形態の変形例に係る荷役装置を説明する。第１の実施形態の変形例に係る荷役装置は、図１及び図２に示される第１の実施形態に係る荷役装置１００と同様の構成を備える。第１の実施形態の変形例に係る荷役装置は、一部の動作が第１の実施形態に係る荷役装置１００と異なる。ここでは、第１の実施形態に係る荷役装置１００と異なる動作について主に説明する。
[Modified example of the first embodiment]
A cargo handling device according to a modified example of the first embodiment will be described with reference to FIGS. 9 to 13. The cargo handling device according to the modified example of the first embodiment has the same configuration as the cargo handling device 100 according to the first embodiment shown in FIGS. 1 and 2. The cargo handling device according to the modified example of the first embodiment is partially different from the cargo handling device 100 according to the first embodiment. Here, the operation different from that of the cargo handling device 100 according to the first embodiment will be mainly described.
図９は、第１の実施形態の変形例に係る荷役装置の処理手順例を概略的に示している。図９に示される処理手順は、図８に示される処理手順にステップＳ９０１及びステップＳ９０２の処理を追加したものである。ステップＳ９０１及びステップＳ９０２の処理は、ステップＳ８０３の処理とステップＳ８０４の処理との間に追加される。ステップＳ８０１〜Ｓ８１２の処理は、図８を参照して上述したものと同じであるので、説明を省略する。 FIG. 9 schematically shows an example of a processing procedure of the cargo handling device according to the modified example of the first embodiment. The processing procedure shown in FIG. 9 is obtained by adding the processing of steps S901 and S902 to the processing procedure shown in FIG. The processes of steps S901 and S902 are added between the processes of step S803 and the processes of step S804. The processing of steps S801 to S812 is the same as that described above with reference to FIG. 8, and thus the description thereof will be omitted.
図９のステップＳ８０３では、把持部１０７が物品１５１を吸着する。ステップＳ９０１では、制御部２０４は、１以上の吸盤１０８が把持に成功したかどうかを判断する。この判定は、例えば、把持認識部２０２の認識結果に基づいて行う。従って、第１の実施形態の変形例に係る第１把持動作では、物品認識部２０１の認識結果とともに把持認識部２０２の認識結果も用いる。 In step S803 of FIG. 9, the grip portion 107 adsorbs the article 151. In step S901, the control unit 204 determines whether one or more suction cups 108 have succeeded in gripping. This determination is performed, for example, based on the recognition result of the grip recognition unit 202. Therefore, in the first gripping operation according to the modified example of the first embodiment, the recognition result of the gripping recognition unit 202 is used together with the recognition result of the article recognition unit 201.
把持に成功した吸盤１０８が１つも存在しない場合、ステップＳ９０２に進む。ステップＳ９０２では、制御部２０４は、把持位置を変更し、把持部１０７を移動させる。その後に、処理手順はステップＳ８０３に戻る。
把持に成功した吸盤１０８が１以上存在する場合、処理手順はステップＳ８０４に進む。
ステップＳ９０１及びＳ９０２の処理によって、少なくとも１つの吸盤１０８が物品１５１を吸着する。その結果、物品１５１を持ち上げるステップＳ８０４の処理が失敗することが防止される。
If there is no suction cup 108 that has been successfully gripped, the process proceeds to step S902. In step S902, the control unit 204 changes the gripping position and moves the gripping unit 107. After that, the processing procedure returns to step S803.
If there is one or more suction cups 108 that have been successfully gripped, the processing procedure proceeds to step S804.
By the process of steps S901 and S902, at least one suction cup 108 adsorbs the article 151. As a result, the process of step S804 for lifting the article 151 is prevented from failing.
ステップＳ８０３、ステップＳ９０１及びステップＳ９０２による一連の処理について２つの具体例を挙げて説明する。
第１例では、保管領域が３方向に設けられた壁面によって区切られている場合を想定する。具体的には、図１０に示すように、上方から見て「コ」字型の壁面によって規定される空間に物品が積み重ねられる。保管領域を４分割して得られる部分領域を部分領域１〜４とする。この場合、各物品の重心位置は、部分領域１〜４のいずれかに存在する。さらに、図１１に示すように、把持部１０７の把持面の縦と横の寸法をＡ、Ｂとし、吸盤１０８の直径をＤとし、物品１５１の検出面の縦と横の寸法をＥ、Ｆとする。図１１の例では、把持部１０７の把持面の四隅に４つの吸盤１０８が配置されている。図１１において、位置Ｘｃは把持面の中心位置を示し、位置Ｘｌは把持面の左側位置を示し、位置Ｘｒは把持面の右側位置を示し、位置Ｘｂは把持面の奥側位置を示し、位置Ｘ１〜Ｘ４は４つの吸盤１０８の位置を示す。位置Ｘｌは位置Ｘ１と位置Ｘ３との中間に設定されている。位置Ｘｒは位置Ｘ２と位置Ｘ４との中間に設定され、位置Ｘｂは位置Ｘ１と位置Ｘ２との中間に設定されている。制御部２０４は、把持部１０７の幅Ａ、長さＢと吸盤１０８の直径Ｄと物品１５１の幅Ｅ、長さＦとの関係に応じて把持位置を変更する。
A series of processes according to step S803, step S901, and step S902 will be described with reference to two specific examples.
In the first example, it is assumed that the storage area is divided by wall surfaces provided in three directions. Specifically, as shown in FIG. 10, articles are stacked in a space defined by a "U" -shaped wall surface when viewed from above. The partial areas obtained by dividing the storage area into four are referred to as partial areas 1 to 4. In this case, the position of the center of gravity of each article exists in any of the partial regions 1 to 4. Further, as shown in FIG. 11, the vertical and horizontal dimensions of the grip surface of the grip portion 107 are A and B, the diameter of the suction cup 108 is D, and the vertical and horizontal dimensions of the detection surface of the article 151 are E and F. And. In the example of FIG. 11, four suction cups 108 are arranged at the four corners of the gripping surface of the gripping portion 107. In FIG. 11, position Xc indicates the center position of the gripping surface, position Xl indicates the position on the left side of the gripping surface, position Xr indicates the position on the right side of the gripping surface, and position Xb indicates the position on the back side of the gripping surface. X1 to X4 indicate the positions of the four suction cups 108. The position Xl is set between the position X1 and the position X3. The position Xr is set between the positions X2 and the position X4, and the position Xb is set between the positions X1 and the position X2. The control unit 204 changes the grip position according to the relationship between the width A and length B of the grip portion 107, the diameter D of the suction cup 108, and the width E and length F of the article 151.
図１２Ａ及び図１２Ｂは、第１例に係るステップＳ８０３、ステップＳ９０１及びステップＳ９０２による一連の処理を示している。図１２ＡのステップＳ１２０１では、物品サイズ（Ｅ×Ｆ）がハンドサイズ（Ａ×Ｂ）より大きいか否かが判断される。物品サイズがハンドサイズより大きい場合、処理手順はステップＳ１２０２に進む。 12A and 12B show a series of processes according to step S803, step S901 and step S902 according to the first example. In step S1201 of FIG. 12A, it is determined whether or not the article size (E × F) is larger than the hand size (A × B). If the article size is larger than the hand size, the processing procedure proceeds to step S1202.
ステップＳ１２０２では、制御部２０４は、検出中心位置を把持部１０７の中心位置Ｘｃの目標値に設定し、把持部１０７を移動させる。具体的には、制御部２０４は、把持部１０７の中心位置Ｘｃが検出中心位置に一致するように把持部１０７を移動させる。ステップＳ１２０３では、把持部１０７が物品１５１を把持する。ステップＳ１２０４では、制御部２０４は、１以上の吸盤１０８が把持に成功したかどうかを判断する。把持に成功した吸盤１０８が１以上存在する場合、処理手順は、図９のステップＳ８０４に進む。把持に成功した吸盤１０８が１つも存在しない場合、ステップＳ１２０７に進む。ステップＳ１２０７では、把持部１０７は物品１５１を解放する。すなわち、制御部２０４が把持部１０７の真空ポンプを停止する。処理手順はステップＳ１２０８に進む。 In step S1202, the control unit 204 sets the detection center position to the target value of the center position Xc of the grip unit 107, and moves the grip unit 107. Specifically, the control unit 204 moves the grip unit 107 so that the center position Xc of the grip unit 107 coincides with the detection center position. In step S1203, the grip portion 107 grips the article 151. In step S1204, the control unit 204 determines whether or not one or more suction cups 108 have succeeded in gripping. If there is one or more suction cups 108 that have been successfully gripped, the processing procedure proceeds to step S804 of FIG. If there is no suction cup 108 that has been successfully gripped, the process proceeds to step S1207. In step S1207, the grip portion 107 releases the article 151. That is, the control unit 204 stops the vacuum pump of the grip unit 107. The processing procedure proceeds to step S1208.
ステップＳ１２０８では、制御部２０４は、検出中心位置を把持部１０７の位置Ｘｌの目標値に設定し、把持部１０７を移動させる。ステップＳ１２０９では、把持部１０７が物品１５１を把持する。ステップＳ１２１０では、制御部２０４は、１以上の吸盤１０８が把持に成功したかどうかを判断する。把持に成功した吸盤１０８が１以上存在する場合、処理手順は、図９のステップＳ８０４に進む。把持に成功した吸盤１０８が１つも存在しない場合、処理手順はステップＳ１２１１に進む。ステップＳ１２１１では、把持部１０７は物品１５１を解放する。処理手順はステップＳ１２１２に進む。 In step S1208, the control unit 204 sets the detection center position to the target value of the position Xl of the grip unit 107, and moves the grip unit 107. In step S1209, the grip portion 107 grips the article 151. In step S1210, the control unit 204 determines whether one or more suction cups 108 have succeeded in gripping. If there is one or more suction cups 108 that have been successfully gripped, the processing procedure proceeds to step S804 of FIG. If there is no suction cup 108 that has been successfully gripped, the processing procedure proceeds to step S1211. In step S1211, the grip portion 107 releases the article 151. The processing procedure proceeds to step S1212.
ステップＳ１２１２では、制御部２０４は、検出中心位置を把持部１０７の位置Ｘｒの目標値に設定し、把持部１０７を移動させる。ステップＳ１２１３では、把持部１０７が物品１５１を把持する。ステップＳ１２１４では、制御部２０４は、１以上の吸盤１０８が把持に成功したかどうかを判断する。把持に成功した吸盤１０８が１以上存在する場合、処理手順は、図９のステップＳ８０４に進む。把持に成功した吸盤１０８が１つも存在しない場合、処理手順はステップＳ１２１５に進む。ステップＳ１２１５では、把持部１０７は物品１５１を解放する。処理手順は図１２ＢのステップＳ１２１７に進む。 In step S1212, the control unit 204 sets the detection center position to the target value of the position Xr of the grip unit 107, and moves the grip unit 107. In step S1213, the grip portion 107 grips the article 151. In step S1214, the control unit 204 determines whether one or more suction cups 108 have succeeded in gripping. If there is one or more suction cups 108 that have been successfully gripped, the processing procedure proceeds to step S804 of FIG. If there is no suction cup 108 that has been successfully gripped, the processing procedure proceeds to step S1215. In step S1215, the grip portion 107 releases the article 151. The processing procedure proceeds to step S1217 of FIG. 12B.
ステップＳ１２１７では、制御部２０４は、検出中心位置を把持部１０７の位置Ｘｂの目標値に設定し、把持部１０７を移動させる。ステップＳ１２１８では、把持部１０７が物品１５１を把持する。ステップＳ１２１９では、制御部２０４は、１以上の吸盤１０８が把持に成功したかどうかを判断する。把持に成功した吸盤１０８が１以上存在する場合、処理手順は図９のステップＳ８０４に進む。把持に成功した吸盤１０８が１つも存在しない場合、処理手順はステップＳ１２２０に進む。ステップＳ１２２０では、把持部１０７は物品１５１を解放する。処理手順はステップＳ１２２２に進む。 In step S1217, the control unit 204 sets the detection center position to the target value of the position Xb of the grip unit 107, and moves the grip unit 107. In step S1218, the grip portion 107 grips the article 151. In step S1219, the control unit 204 determines whether one or more suction cups 108 have succeeded in gripping. If there is one or more suction cups 108 that have been successfully gripped, the processing procedure proceeds to step S804 of FIG. If there is no suction cup 108 that has been successfully gripped, the processing procedure proceeds to step S1220. In step S1220, the grip portion 107 releases the article 151. The processing procedure proceeds to step S1222.
ステップＳ１２２２では、制御部２０４は、検出中心位置が部分領域１〜４のいずれに存在するかを決定する。検出中心位置が位置する部分領域を部分領域ｋとする。ｋは１、２、３、４のいずれかである。ステップＳ１２２３では、制御部２０４は、検出中心位置を把持部１０７の位置Ｘｋの目標値に設定し、把持部１０７を移動させる。ステップＳ１２２４では、把持部１０７が物品１５１を把持する。ステップＳ１２２５では、制御部２０４は、１以上の吸盤１０８が把持に成功したかどうかを判断する。把持に成功した吸盤１０８が１以上存在する場合、処理が終了し、図９のステップＳ８０４に進む。把持に成功した吸盤１０８が１つも存在しない場合、処理手順はステップＳ１２２６に進む。ステップＳ１２２０では、把持部１０７は物品１５１を解放する。この場合、制御部２０４は、把持失敗と判断し、物品１５１の移送を終了する。 In step S1222, the control unit 204 determines which of the partial regions 1 to 4 the detection center position is located. The partial region where the detection center position is located is defined as the partial region k. k is any one of 1, 2, 3, and 4. In step S1223, the control unit 204 sets the detection center position to the target value of the position Xk of the grip unit 107, and moves the grip unit 107. In step S1224, the grip portion 107 grips the article 151. In step S1225, the control unit 204 determines whether one or more suction cups 108 have succeeded in gripping. If there is one or more suction cups 108 that have been successfully gripped, the process ends and the process proceeds to step S804 of FIG. If there is no suction cup 108 that has been successfully gripped, the processing procedure proceeds to step S1226. In step S1220, the grip portion 107 releases the article 151. In this case, the control unit 204 determines that the grip has failed and ends the transfer of the article 151.
図１２ＡのステップＳ１２０１において物品サイズがハンドサイズと同じ又はより小さい場合、処理手順はステップＳ１２０５に進む。物品サイズがハンドサイズと同じ又はより小さい場合、把持部１０７は、複数の吸盤１０８の一部を用いて物品１５１を把持する。 If the article size is equal to or smaller than the hand size in step S1201 of FIG. 12A, the processing procedure proceeds to step S1205. If the article size is the same as or smaller than the hand size, the grip 107 grips the article 151 with some of the suction cups 108.
ステップＳ１２０５では、制御部２０４は、物品１５１の幅Ｅが把持部１０７の幅の半分より大きい（Ｅ＞Ａ／２）、かつ、物品１５１の長さＦが把持部１０７の長さＢより大きい（Ｆ＞Ｂ）か否かを判断する。Ｅ＞Ａ／２、かつ、Ｆ＞Ｂである場合、処理手順はステップＳ１２０７に進む。ステップＳ１２０７では、制御部２０４は、検出中心位置が保管領域の左側に位置するか否かを判断する。検出中心位置が保管領域の左側に位置する場合、ステップＳ１２０８に進む。この場合、ステップＳ１２０８の次のステップＳ１２０９では、把持部１０７は、左側に配置された２つの吸盤１０８を用いて物品１５１を把持する。検出中心位置が保管領域の右側に位置する場合、ステップＳ１２１２に進む。この場合、ステップＳ１２１２の次のステップＳ１２１３では、把持部１０７は、右側に配置された２つの吸盤１０８を用いて物品１５１を把持する。 In step S1205, in the control unit 204, the width E of the article 151 is larger than half the width of the grip portion 107 (E> A / 2), and the length F of the article 151 is larger than the length B of the grip portion 107. It is determined whether or not (F> B). If E> A / 2 and F> B, the processing procedure proceeds to step S1207. In step S1207, the control unit 204 determines whether or not the detection center position is located on the left side of the storage area. If the detection center position is located on the left side of the storage area, the process proceeds to step S1208. In this case, in step S1209 following step S1208, the grip portion 107 grips the article 151 using two suction cups 108 arranged on the left side. If the detection center position is located on the right side of the storage area, the process proceeds to step S1212. In this case, in step S1213 following step S1212, the grip portion 107 grips the article 151 using two suction cups 108 arranged on the right side.
ステップＳ１２０５においてＥ＞Ａ／２、かつ、Ｆ＞Ｂを満たさない場合、処理手順は図１２ＢのステップＳ１２１６に進む。ステップＳ１２１６では、制御部２０４は、物品１５１の幅Ｅが把持部１０７の幅より大きい（Ｅ＞Ａ）、かつ、物品１５１の長さＦが把持部１０７の長さＢの半分より大きい（Ｆ＞Ｂ／２）を満たすか否かを判断する。Ｅ＞Ａ、かつ、Ｆ＞Ｂ／２である場合、処理手順はステップＳ１２１７に進む。この場合、ステップＳ１２１７の次のステップＳ１２１８では、把持部１０７は、奥側に配置された２つの吸盤１０８を用いて物品１５１を把持する。Ｅ＞Ａ、かつ、Ｆ＞Ｂ／２を満たさない場合、処理手順はステップＳ１２２１に進む。 If E> A / 2 and F> B are not satisfied in step S1205, the processing procedure proceeds to step S1216 in FIG. 12B. In step S1216, in the control unit 204, the width E of the article 151 is larger than the width of the grip portion 107 (E> A), and the length F of the article 151 is larger than half the length B of the grip portion 107 (F). > B / 2) is determined. If E> A and F> B / 2, the processing procedure proceeds to step S1217. In this case, in step S1218 following step S1217, the grip portion 107 grips the article 151 using two suction cups 108 arranged on the back side. If E> A and F> B / 2 are not satisfied, the processing procedure proceeds to step S1221.
ステップＳ１２２１では、制御部２０４は、物品１５１の幅Ｅが吸盤１０８の直径Ｄより大きい（Ｅ＞Ｄ）、かつ、物品１５１の長さＦが吸盤１０８の直径Ｄより大きい（Ｆ＞Ｄ）か否かを判断する。Ｅ＞Ｄ、かつ、Ｆ＞Ｄである場合、処理手順はステップＳ１２２２に進む。この場合、ステップＳ１２２２に後続するステップＳ１２２４では、把持部１０７は、対応する１つの吸盤１０８を用いて物品１５１を把持する。Ｅ＞Ｄ、かつ、Ｆ＞Ｄを満たさない場合、制御部２０４は、把持失敗と判断し、物品１５１の移送を終了する。
上述した第１例によれば、把持部１０７が壁面に衝突することを防止しながら、把持部１０７の１以上の吸盤１０８に物品を把持させることができる。
In step S1221, the control unit 204 asks whether the width E of the article 151 is larger than the diameter D of the suction cup 108 (E> D) and the length F of the article 151 is larger than the diameter D of the suction cup 108 (F> D). Judge whether or not. If E> D and F> D, the processing procedure proceeds to step S1222. In this case, in step S1224 following step S1222, the grip portion 107 grips the article 151 using one corresponding suction cup 108. If E> D and F> D are not satisfied, the control unit 204 determines that the grip has failed and ends the transfer of the article 151.
According to the first example described above, the article can be gripped by one or more suction cups 108 of the grip portion 107 while preventing the grip portion 107 from colliding with the wall surface.
第２例では、物品認識部２０１の認識結果は、複数の把持位置候補を含む。図１３は、物品認識部２０１が複数の把持位置候補を生成する方法例を示している。図１３に示すように、物品認識部２０１は、画像センサ１１１によって得られた画像情報から物品の輪郭を検出する。物品認識部２０１は、検出した輪郭の中心を第１把持位置候補とする。物品認識部２０１は、検出した輪郭の短手方向に沿って輪郭を分割し、その結果得られる２つの領域の中心を第２把持位置候補及び第３把持位置候補とする。物品認識部２０１は、長手方向に沿って輪郭を分割し、その結果得られる２つの領域の中心を第５把持位置候補及び第６把持位置候補とする。物品認識部２０１は、さらなる把持位置候補を得るために、さらなる領域分割を行うことができる。 In the second example, the recognition result of the article recognition unit 201 includes a plurality of gripping position candidates. FIG. 13 shows an example of a method in which the article recognition unit 201 generates a plurality of gripping position candidates. As shown in FIG. 13, the article recognition unit 201 detects the contour of the article from the image information obtained by the image sensor 111. The article recognition unit 201 uses the center of the detected contour as the first grip position candidate. The article recognition unit 201 divides the contour along the lateral direction of the detected contour, and sets the centers of the two regions obtained as a result as the second grip position candidate and the third grip position candidate. The article recognition unit 201 divides the contour along the longitudinal direction, and sets the centers of the two regions obtained as a result as the fifth grip position candidate and the sixth grip position candidate. The article recognition unit 201 can further divide the area in order to obtain further gripping position candidates.
制御部２０４は、まず、把持部１０７に第１把持位置候補で物品１５１を把持させる。具体的には、制御部２０４は、第１把持位置候補を把持部１０７の基準位置の目標値に設定し、把持部１０７の基準位置が第１把持位置候補に一致するよう把持部１０７を移動させ、把持部１０７に物品１５１を把持させる。続いて、制御部２０４は、１以上の吸盤１０８が把持に成功したかどうかを判断する。把持に成功した吸盤１０８が１以上存在する場合、処理が終了し、図９のステップＳ８０４に進む。把持に成功した吸盤１０８が１つも存在しない場合、制御部２０４は、把持部１０７に第２把持位置候補で物品１５１を把持させる。このようにして、制御部２０４は、１以上の吸盤が把持に成功するまで把持位置を変更する。 First, the control unit 204 causes the grip unit 107 to grip the article 151 with the first grip position candidate. Specifically, the control unit 204 sets the first grip position candidate as the target value of the reference position of the grip unit 107, and moves the grip unit 107 so that the reference position of the grip unit 107 matches the first grip position candidate. Then, the grip portion 107 is made to grip the article 151. Subsequently, the control unit 204 determines whether or not one or more suction cups 108 have succeeded in gripping. If there is one or more suction cups 108 that have been successfully gripped, the process ends and the process proceeds to step S804 of FIG. When there is no suction cup 108 that has been successfully gripped, the control unit 204 causes the grip unit 107 to grip the article 151 as a second grip position candidate. In this way, the control unit 204 changes the gripping position until one or more suction cups succeed in gripping.
ステップＳ８０３、ステップＳ９０１及びステップＳ９０２による一連の処理は、上述した第１例及び第２例を組み合わせて実行してもよい。 The series of processes according to step S803, step S901, and step S902 may be executed in combination with the above-mentioned first example and second example.
以上のように、第１の実施形態の変形例に係る荷役装置によれば、少なくとも１つの吸盤１０８が物品１５１を吸着する処理を追加することにより、物品把持の成功率をより向上することができる。 As described above, according to the cargo handling device according to the modified example of the first embodiment, the success rate of gripping the article can be further improved by adding the process of adsorbing the article 151 by at least one suction cup 108. it can.
［第２の実施形態］
第１の実施形態では、把持部に設けられた圧力センサを用いて把持部の把持状態が安定か不安定かを判断する例を説明している。第２の実施形態では、画像センサを利用して把持部の把持状態が安定か不安定かを判断する例を説明する。
[Second Embodiment]
In the first embodiment, an example of determining whether the gripping state of the gripping portion is stable or unstable by using the pressure sensor provided in the gripping portion is described. In the second embodiment, an example of determining whether the gripping state of the gripping portion is stable or unstable by using an image sensor will be described.
図１４は、第２の実施形態に係る荷役装置１４００の機械構造を概略的に示す側面図であり、図１５は、第２の実施形態に係る荷役装置１４００の制御系を概略的に示すブロック図である。荷役装置１４００は、図１４に示すように、物品を把持する把持部１０７と、把持部１０７を支持し、把持部１０７を移動させる駆動部１０２と、を備える。荷役装置１４００は、図１５に示すように、物品認識部１５０１、判断部１５０３及び制御部１５０４をさらに備える。 FIG. 14 is a side view schematically showing the mechanical structure of the cargo handling device 1400 according to the second embodiment, and FIG. 15 is a block schematically showing the control system of the cargo handling device 1400 according to the second embodiment. It is a figure. As shown in FIG. 14, the cargo handling device 1400 includes a grip portion 107 that grips an article, and a drive unit 102 that supports the grip portion 107 and moves the grip portion 107. As shown in FIG. 15, the cargo handling device 1400 further includes an article recognition unit 1501, a determination unit 1503, and a control unit 1504.
物品認識部１５０１は、物品の状態を認識する。物品認識部１５０１は、図１３に示される画像センサ１１１を備える。画像センサ１１１は、パレット１５０の上方に配置されている。画像センサ１１１は、積み山を撮像して画像情報を生成する。画像センサ１１１は、距離センサを搭載し、画像情報とともに距離情報を取得する。物品認識部１５０１は、画像センサ１１１によって生成された画像情報及び距離情報に基づいて、物品１５１の状態を認識する。物品認識部１５０１は、積み山の上面を形成する各物品の輪郭及び中心位置を認識結果として出力する。 The article recognition unit 1501 recognizes the state of the article. The article recognition unit 1501 includes the image sensor 111 shown in FIG. The image sensor 111 is arranged above the pallet 150. The image sensor 111 captures a pile and generates image information. The image sensor 111 is equipped with a distance sensor and acquires distance information together with image information. The article recognition unit 1501 recognizes the state of the article 151 based on the image information and the distance information generated by the image sensor 111. The article recognition unit 1501 outputs the contour and center position of each article forming the upper surface of the pile as a recognition result.
画像センサ１１１は、把持部１０７が物品１５１の把持を試みて物品１５１を少し持ち上げた状態で積み山を再び撮像する。以下では、把持部１０７が物品１５１を把持する前に物品認識部１５０１が出力する認識結果を第１認識結果と称し、把持部１０７が物品１５１を持ち上げた状態で物品認識部１５０１が出力する認識結果を第２認識結果と称する。 The image sensor 111 re-images the pile with the grip portion 107 attempting to grip the article 151 and slightly lifting the article 151. In the following, the recognition result output by the article recognition unit 1501 before the grip portion 107 grips the article 151 is referred to as a first recognition result, and the recognition output by the article recognition unit 1501 in a state where the grip portion 107 lifts the article 151. The result is referred to as a second recognition result.
判断部１５０３は、第１認識結果及び第２認識結果に基づいて、把持部１０７の把持状態が安定か不安定かを判断する。図１６Ａ及び図１６Ｂを参照して、把持部１０７の把持状態が安定か不安定かを判断する方法例を説明する。図１６Ａ及び図１６Ｂにおいて、位置Ａ１は、第１認識結果に含まれる物品１５１の検出中心位置を示し、位置Ａ２は、第２認識結果に含まれる物品１５１の検出中心位置を示す。図１６Ａに示すように、判断部１５０３は、位置Ａ１と位置Ａ２との間の距離（位置Ａ１と位置Ａ２との差の絶対値）ｄが予め定めた閾値ｄ０より小さい場合に、把持状態が安定であると判断する。図１６Ｂに示すように、判断部１５０３は、距離ｄが閾値ｄ０以上である場合に、把持状態が不安定であると判断する。 The determination unit 1503 determines whether the gripping state of the gripping unit 107 is stable or unstable based on the first recognition result and the second recognition result. An example of a method for determining whether the gripping state of the gripping portion 107 is stable or unstable will be described with reference to FIGS. 16A and 16B. In FIGS. 16A and 16B, the position A1 indicates the detection center position of the article 151 included in the first recognition result, and the position A2 indicates the detection center position of the article 151 included in the second recognition result. As shown in FIG. 16A, the determination unit 1503 is in a gripped state when the distance d between the position A1 and the position A2 (absolute value of the difference between the position A1 and the position A2) d is smaller than the predetermined threshold value d0. Judge that it is stable. As shown in FIG. 16B, the determination unit 1503 determines that the gripping state is unstable when the distance d is equal to or greater than the threshold value d0.
制御部１５０４は、駆動部１０２及び把持部１０７を制御する。制御部１５０４は、物品認識部１５０１の第１認識結果に基づいて初期把持位置を決定し、決定した初期把持位置で把持部１０７に物品１５１を把持させる。具体的には、制御部１５０４は、検出中心位置を把持部１０７の基準位置の目標値に設定し、把持部１０７の基準位置が検出中心位置に一致するよう把持部１０７を移動させ、把持部１０７の真空ポンプを作動させる。本実施形態では、物品認識部１５０１の第１認識結果に基づいた把持処理を第１把持動作と称する。このとき、把持部１０７の把持状態が安定か不安定かが判断部１５０３によって判断される。把持状態が安定と判断された場合、制御部１５０４は、物品１５１の移送を継続する。把持状態が不安定と判断された場合、制御部１５０４は、把持部１０７に物品１５１を解放させ、把持位置を変更した上で把持部１０７に物品１５１を再び把持させる。このような第２把持動作は、把持状態が安定と判断されるまで繰り返される。 The control unit 1504 controls the drive unit 102 and the grip unit 107. The control unit 1504 determines the initial gripping position based on the first recognition result of the article recognition unit 1501, and causes the gripping unit 107 to grip the article 151 at the determined initial gripping position. Specifically, the control unit 1504 sets the detection center position to the target value of the reference position of the grip unit 107, moves the grip unit 107 so that the reference position of the grip unit 107 matches the detection center position, and grips the grip unit 107. Operate 107 vacuum pumps. In the present embodiment, the gripping process based on the first recognition result of the article recognition unit 1501 is referred to as a first gripping operation. At this time, the determination unit 1503 determines whether the gripping state of the gripping unit 107 is stable or unstable. When it is determined that the gripped state is stable, the control unit 1504 continues the transfer of the article 151. When it is determined that the gripping state is unstable, the control unit 1504 causes the gripping unit 107 to release the article 151, changes the gripping position, and then causes the gripping unit 107 to grip the article 151 again. Such a second gripping operation is repeated until the gripping state is determined to be stable.
本実施形態では、把持状態が不安定と判断された場合に把持位置を変更した上で物品を把持し直すことにより、物品把持の成功率を向上することができる。さらに、本実施形態は、把持部１０７の把持状態を認識するために専用のセンサ（例えば第１の実施形態に係る圧力センサ）を設ける必要がなく、第１の実施形態よりも低コスト化を図ることができる。ただし、把持部１０７が物品１５１を把持した状態で取得した画像情報から物品１５１の状態を認識できるように、把持部１０７を物品１５１に対して充分小さくする必要がある。 In the present embodiment, when it is determined that the gripping state is unstable, the success rate of gripping the article can be improved by changing the gripping position and then gripping the article again. Further, in the present embodiment, it is not necessary to provide a dedicated sensor (for example, the pressure sensor according to the first embodiment) in order to recognize the gripping state of the grip portion 107, and the cost is lower than that in the first embodiment. Can be planned. However, it is necessary to make the grip portion 107 sufficiently smaller than the article 151 so that the state of the article 151 can be recognized from the image information acquired while the grip portion 107 is gripping the article 151.
次に、本実施形態に係る荷役装置１４００の動作について説明する。
図１７は、荷役装置１４００の処理手順例を概略的に示している。まず、試行回数が１に初期化される。図１７のステップＳ８０１では、物品認識部１５０１は、物品の状態を認識し、第１認識結果を出力する。ステップＳ１７０２では、駆動部１０２及び把持部１０７は第１認識結果に基づいて動作する。ステップＳ８０３では、把持部１０７は物品１５１を吸着する。ステップＳ８０４では、制御部１５０４は、物品１５１を少し持ち上げるために、把持部１０７を上昇させる。物品認識部１５０１は、物品１５１の状態を認識し、第２認識結果を出力する。ステップＳ１３０５では、判断部１５０３は、現在の目標位置と第２認識結果による物品１５１の中心位置との差分（具体的には上述した距離ｄ）が閾値以上であるかどうかを判断する。ここで、ｍは２以上の整数である。差分が閾値より小さい場合、制御部１５０４は、物品１５１の移送を継続する。差分が閾値以上である場合、ステップＳ８０６に進む。
Next, the operation of the cargo handling device 1400 according to the present embodiment will be described.
FIG. 17 schematically shows an example of a processing procedure of the cargo handling device 1400. First, the number of trials is initialized to 1. In step S801 of FIG. 17, the article recognition unit 1501 recognizes the state of the article and outputs the first recognition result. In step S1702, the drive unit 102 and the grip unit 107 operate based on the first recognition result. In step S803, the grip portion 107 adsorbs the article 151. In step S804, the control unit 1504 raises the grip unit 107 in order to lift the article 151 slightly. The article recognition unit 1501 recognizes the state of the article 151 and outputs the second recognition result. In step S1305, the determination unit 1503 determines whether or not the difference (specifically, the distance d described above) between the current target position and the center position of the article 151 according to the second recognition result is equal to or greater than the threshold value. Here, m is an integer of 2 or more. If the difference is less than the threshold, the control unit 1504 continues the transfer of the article 151. If the difference is equal to or greater than the threshold value, the process proceeds to step S806.
ステップＳ８０６では、制御部１５０４は、ハンドサイズが物品サイズより充分小さいか否かを判定する。ハンドサイズが物品サイズと同程度又は大きい場合、ステップＳ８１１に進む。ステップＳ８１１では、制御部１５０４は、物品１５１をもう少し持ち上げるために、把持部１０７をさらに上昇させる。把持部１０７の上昇中に、物品認識部１５０１は、物品１５１の状態を随時に認識する。ステップＳ１７１２では、制御部１５０４は、第２認識結果に大きな変化があるかどうかを判断する。具体的には、制御部１５０４は、物品１５１の検出面が時間とともに大きく変化するかどうかを判断する。第２認識結果に大きな変化がある場合、制御部１５０４は、把持失敗と判断し、物品１５１の移送を終了する。第２認識結果に大きな変化がない場合、制御部１５０４は、物品１５１の移送を継続する。 In step S806, the control unit 1504 determines whether the hand size is sufficiently smaller than the article size. If the hand size is as large as or larger than the article size, the process proceeds to step S811. In step S811, the control unit 1504 further raises the grip unit 107 in order to lift the article 151 a little more. While the grip portion 107 is ascending, the article recognition unit 1501 recognizes the state of the article 151 at any time. In step S1712, the control unit 1504 determines whether or not there is a large change in the second recognition result. Specifically, the control unit 1504 determines whether or not the detection surface of the article 151 changes significantly with time. When there is a large change in the second recognition result, the control unit 1504 determines that the gripping has failed and ends the transfer of the article 151. If there is no significant change in the second recognition result, the control unit 1504 continues the transfer of the article 151.
ステップＳ８０６においてハンドサイズが物品サイズより充分小さい場合、ステップＳ８０７に進む。ステップＳ８０７では、制御部１５０４は、物品を一旦置くように把持部１０７及び駆動部１０２を制御する。 If the hand size is sufficiently smaller than the article size in step S806, the process proceeds to step S807. In step S807, the control unit 1504 controls the grip unit 107 and the drive unit 102 so as to temporarily place the article.
ステップＳ８０８では、制御部１５０４は、試行回数が予め定めた値Ｌより小さいかどうかを判断する。試行回数が値Ｌより小さい場合、ステップＳ１７０９に進む。ステップＳ１７０９では、制御部１５０４は、ステップＳ８０４の後に取得された第２認識結果に基づいて把持位置を決定し、把持部１０７に決定した把持位置で物品１５１を把持させる。具体的には、制御部１５０４は、第２検出結果に含まれる物品１５１の中心位置を目標位置に設定し、把持部１０７の基準位置が目標位置に一致するように、把持部１０７を移動させる。ステップＳ８１０では、制御部１５０４は、試行回数を１だけインクリメントする。その後、処理はステップＳ８０３に戻る。ステップＳ８０８において試行回数が値Ｌに等しい場合、制御部１５０４は、把持失敗と判断し、物品１５１の移送を終了する。 In step S808, the control unit 1504 determines whether the number of trials is smaller than the predetermined value L. If the number of trials is less than the value L, the process proceeds to step S1709. In step S1709, the control unit 1504 determines the gripping position based on the second recognition result acquired after step S804, and causes the gripping unit 107 to grip the article 151 at the determined gripping position. Specifically, the control unit 1504 sets the center position of the article 151 included in the second detection result at the target position, and moves the grip unit 107 so that the reference position of the grip unit 107 matches the target position. .. In step S810, the control unit 1504 increments the number of trials by one. After that, the process returns to step S803. If the number of trials is equal to the value L in step S808, the control unit 1504 determines that the gripping has failed and ends the transfer of the article 151.
以上のように、第２の実施形態に係る荷役装置によれば、第１の実施形態に説明したものと同様の効果を得ることができる。さらに、把持部の把持状態を認識するために専用のセンサを設ける必要がなく、第１の実施形態よりも低コスト化を図ることができる。 As described above, according to the cargo handling device according to the second embodiment, the same effect as that described in the first embodiment can be obtained. Further, it is not necessary to provide a dedicated sensor for recognizing the gripping state of the gripping portion, and the cost can be reduced as compared with the first embodiment.
なお、把持部の把持状態をより正確に認識するために、別の画像センサが把持部１０７に設けられてもよい。この場合、物品認識部１５０１は、把持部１０７が把持を試みる前は、パレット１５０の上方に設けられた画像センサ１１１で認識を行い、把持部１０７が物品１５１を把持した状態では、把持部１０７に設けられた画像センサで認識を行う。把持部１０７に設けられた画像センサで認識を行うことにより、近接して撮像することができ、高解像度の画像情報を得ることができる。 In addition, in order to recognize the gripping state of the gripping portion more accurately, another image sensor may be provided on the gripping portion 107. In this case, the article recognition unit 1501 recognizes by the image sensor 111 provided above the pallet 150 before the grip unit 107 attempts to grip, and when the grip unit 107 grips the article 151, the grip unit 107 Recognition is performed by the image sensor provided in. By recognizing with the image sensor provided in the grip portion 107, it is possible to take close-up images and obtain high-resolution image information.
さらに、第２の実施形態に係る処理手順（図１７）に、第１の実施形態の変形例に関して説明した処理（具体的には、図９に示されるステップＳ９０１及びＳ９０２の処理）が追加されてもよい。 Further, the processing described with respect to the modified example of the first embodiment (specifically, the processing of steps S901 and S902 shown in FIG. 9) is added to the processing procedure (FIG. 17) according to the second embodiment. You may.
［第３の実施形態］
第１の実施形態及び第２の実施形態では、物品の上方から物品にアクセスする場合を説明している。第３の実施形態では、物品の側方から物品にアクセスする場合について説明する。
[Third Embodiment]
In the first embodiment and the second embodiment, the case where the article is accessed from above the article is described. In the third embodiment, a case where the article is accessed from the side of the article will be described.
図１８は、第３の実施形態に係る荷役装置１８００の機械構造を概略的に示している。図１８に示すように、物品１５１が保管領域としてのパレット１５０上に積み重ねられており、荷役装置１８００は、側方からアプローチして物品１５１を１つずつ把持し、荷下ろし場所（図示せず）に移送する。 FIG. 18 schematically shows the mechanical structure of the cargo handling device 1800 according to the third embodiment. As shown in FIG. 18, articles 151 are stacked on a pallet 150 as a storage area, and the cargo handling device 1800 approaches from the side to grip the articles 151 one by one and unloads (not shown). ).
荷役装置１８００は、第１の実施形態に係る荷役装置１００（図１及び図２）と同様の構成を有する。すなわち、荷役装置１８００は、把持部１０７、駆動部１０２、画像センサ１１１を含む物品認識部２０１、圧力センサ１１２を含む把持認識部２０２、判断部２０３及び制御部２０４を備える。第３の実施形態では、把持部１０７が側方からのアクセスに適した形態に変更されていること、画像センサ１１１が積み山の側面を撮像可能な位置に配置されていることが、第１の実施形態と異なる。具体的には、本実施形態では、吸盤１０８が物品１５１の側面に向くように配置され、画像センサ１１１が駆動部１０２の直動部１０６に取り付けられている。 The cargo handling device 1800 has the same configuration as the cargo handling device 100 (FIGS. 1 and 2) according to the first embodiment. That is, the cargo handling device 1800 includes a grip unit 107, a drive unit 102, an article recognition unit 201 including an image sensor 111, a grip recognition unit 202 including a pressure sensor 112, a determination unit 203, and a control unit 204. In the third embodiment, the grip portion 107 is changed to a form suitable for access from the side, and the image sensor 111 is arranged at a position where the side surface of the pile can be imaged. Is different from the embodiment of. Specifically, in the present embodiment, the suction cup 108 is arranged so as to face the side surface of the article 151, and the image sensor 111 is attached to the linear motion unit 106 of the drive unit 102.
次に、本実施形態に係る荷役装置１８００の動作について説明する。
図１９は、荷役装置１８００の動作例を概略的に示している。まず、試行回数が１に初期化される。図１９のステップＳ８０１では、物品認識部２０１は、物品１５１の状態を認識する。ステップＳ８０２では、駆動部１０２及び把持部１０７は、物品認識部２０１の認識結果に基づいて動作する。ステップＳ８０３では、把持部１０７は物品１５１を吸着する。ステップＳ８０４では、制御部２０４は、物品１５１を少し引き出すために、把持部１０７を水平に移動させる。ステップＳ８０５では、判断部２０３は、ｍ個の吸盤１０８の圧力に勾配（空間的な偏り）があるかどうかを判断する。ここで、ｍは２以上の整数である。勾配がない場合、制御部２０４は、物品１５１の移送を継続する。勾配がある場合、ステップＳ８０６に進む。
Next, the operation of the cargo handling device 1800 according to the present embodiment will be described.
FIG. 19 schematically shows an operation example of the cargo handling device 1800. First, the number of trials is initialized to 1. In step S801 of FIG. 19, the article recognition unit 201 recognizes the state of the article 151. In step S802, the drive unit 102 and the grip unit 107 operate based on the recognition result of the article recognition unit 201. In step S803, the grip portion 107 adsorbs the article 151. In step S804, the control unit 204 moves the grip unit 107 horizontally in order to pull out the article 151 a little. In step S805, the determination unit 203 determines whether or not there is a gradient (spatial bias) in the pressure of the m suction cups 108. Here, m is an integer of 2 or more. If there is no gradient, the control unit 204 continues the transfer of the article 151. If there is a gradient, the process proceeds to step S806.
ステップＳ８０６では、制御部２０４は、ハンドサイズが物品サイズより充分小さいか否かを判定する。ハンドサイズが物品サイズと同程度又は大きい場合、ステップＳ１９１１に進む。ステップＳ１９１１では、駆動部１０２は、物品１５１をもう少し引き出すために、把持部１０７を水平方向にさらに移動させる。ステップＳ８１２では、制御部２０４は、ｍ個の吸盤１０８の圧力に大きな変化があるかどうかを判断する。圧力に大きな変化がない場合、把持状態が安定している、すなわち、把持成功と見なすことができる。この場合、物品１５１の移送が続けられる。圧力に大きな変化がある場合、制御部２０４は、把持失敗と判断し、物品１５１の移送を終了する。 In step S806, the control unit 204 determines whether the hand size is sufficiently smaller than the article size. If the hand size is as large as or larger than the article size, the process proceeds to step S1911. In step S1911, the drive unit 102 further moves the grip unit 107 in the horizontal direction in order to pull out the article 151 a little more. In step S812, the control unit 204 determines whether there is a large change in the pressure of the m suction cups 108. If there is no significant change in pressure, the gripping state is stable, that is, gripping is successful. In this case, the transfer of the article 151 is continued. If there is a large change in pressure, the control unit 204 determines that the grip has failed and ends the transfer of the article 151.
ステップＳ８０６において把持部１０７のサイズが物品のサイズより充分小さい場合、ステップＳ１９０７に進む。ステップＳ１９０７では、制御部２０４は、物品１５１を一旦押し戻すように駆動部１０２及び把持部１０７を制御する。なお、制御部２０４は、物品を単に解放するように駆動部１０２及び把持部１０７を制御してもよい。 If the size of the grip portion 107 is sufficiently smaller than the size of the article in step S806, the process proceeds to step S1907. In step S1907, the control unit 204 controls the drive unit 102 and the grip unit 107 so as to push back the article 151 once. The control unit 204 may control the drive unit 102 and the grip unit 107 so as to simply release the article.
ステップＳ８０８では、制御部２０４は、試行回数が予め定めた値Ｌより小さいかどうかを判断する。試行回数が値Ｌより小さい場合、ステップＳ８０９に進む。ステップＳ８０９では、制御部２０４は、偏りがある方向に把持部１０７を移動させる。ステップＳ８１０では、制御部２０４は、試行回数を１だけインクリメントする。その後、処理はステップＳ８０３に戻る。ステップＳ８０８において試行回数が値Ｌに等しい場合、制御部２０４は、把持失敗と判断し、物品の移送を終了する。 In step S808, the control unit 204 determines whether the number of trials is smaller than the predetermined value L. If the number of trials is less than the value L, the process proceeds to step S809. In step S809, the control unit 204 moves the grip unit 107 in a biased direction. In step S810, the control unit 204 increments the number of trials by one. After that, the process returns to step S803. If the number of trials is equal to the value L in step S808, the control unit 204 determines that the grip has failed and ends the transfer of the article.
以上のように、第３の実施形態に係る荷役装置によれば、第１の実施形態に説明したものと同様の効果を得ることができる。 As described above, according to the cargo handling device according to the third embodiment, the same effect as that described in the first embodiment can be obtained.
なお、第３の実施形態に係る処理手順（図１９）に、第１の実施形態の変形例に関して説明した処理（具体的には、図９に示されるステップＳ９０１及びＳ９０２の処理）が追加されてもよい。 In addition, the processing described with respect to the modified example of the first embodiment (specifically, the processing of steps S901 and S902 shown in FIG. 9) is added to the processing procedure (FIG. 19) according to the third embodiment. You may.
また、物品の側方から物品にアクセスする実施形態においても、第２の実施形態のように、把持状態の判断に、圧力センサに代えて画像センサを利用してもよい。その場合、把持状態の判断に用いる画像センサは、画像センサ１１１であってもよく、画像センサ１１１と別の画像センサであってもよい。 Further, in the embodiment in which the article is accessed from the side of the article, an image sensor may be used instead of the pressure sensor to determine the gripping state as in the second embodiment. In that case, the image sensor used to determine the gripping state may be the image sensor 111, or may be an image sensor different from the image sensor 111.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
１００…荷役装置、１０２…駆動部、１０３…ベース、１０４，１０５，１０６…直動部、１０７…把持部、１０８…吸盤、１１１…画像センサ、１１２…圧力センサ、１５０…パレット、１５１…物品、２０１…物品認識部、２０２…把持認識部、２０３…判断部、２０４…制御部、１４００…荷役装置、１５０１…物品認識部、１５０３…判断部、１５０３…判断部、１８００…荷役装置。 100 ... Cargo handling device, 102 ... Drive unit, 103 ... Base, 104, 105, 106 ... Linear unit, 107 ... Grip part, 108 ... Sucker, 111 ... Image sensor, 112 ... Pressure sensor, 150 ... Pallet, 151 ... Article , 201 ... article recognition unit, 202 ... grip recognition unit, 203 ... judgment unit, 204 ... control unit, 1400 ... cargo handling device, 1501 ... article recognition unit, 1503 ... judgment unit, 1503 ... judgment unit, 1800 ... cargo handling device.
Claims (8)
前記物品の状態を認識する物品認識部と、
前記把持部の把持状態を認識する把持認識部と、
前記物品認識部の認識結果に基づいて決定される第１把持位置で前記把持部が前記物品を把持する第１把持動作を制御し、前記把持認識部の認識結果に基づいて第２把持位置を決定し、前記第２把持位置で前記把持部が前記物品を把持し直す第２把持動作を制御する制御部と、
を具備し、前記制御部は、前記把持認識部の認識結果に基づいて前記第２把持動作を制御するか否かを決定する、荷役装置。 A grip part that grips an article,
An article recognition unit that recognizes the state of the article and
A grip recognition unit that recognizes the gripping state of the grip unit,
The gripping unit controls the first gripping operation of gripping the article at the first gripping position determined based on the recognition result of the article recognition unit, and the second gripping position is determined based on the recognition result of the gripping recognition unit. A control unit that is determined and controls a second gripping operation in which the gripping portion re-grasps the article at the second gripping position.
The cargo handling device comprises the above, and the control unit determines whether or not to control the second gripping operation based on the recognition result of the gripping recognition unit.
前記把持認識部は、前記複数の吸盤に作用する力を検出する複数の力センサを備え、
前記把持認識部の認識結果は、前記複数の力センサの出力値を含む、請求項１又は２に記載の荷役装置。 The grip has a plurality of suction cups.
The grip recognition unit includes a plurality of force sensors that detect forces acting on the plurality of suction cups.
The cargo handling device according to claim 1 or 2, wherein the recognition result of the grip recognition unit includes output values of the plurality of force sensors.
前記把持部は、複数の吸盤を備え、
前記把持部が前記第１把持位置で前記物品を把持する際に前記複数の吸盤すべてが把持に失敗した場合、前記制御部は、前記把持部に前記第２把持位置候補に基づいて決定される前記第２把持位置で前記物品を把持させる、請求項１乃至３のいずれか１項に記載の荷役装置。 Recognition result of the previous SL article recognizing unit includes a plurality of gripping position candidates including a first gripping position candidate and the second gripping position candidates, the first gripping position is determined based on the first gripping position candidate,
The grip has a plurality of suction cups.
If the gripping portion is the all of the plurality of suction cups fails to grip when gripping the article in the first gripping position location, the control unit is determined based on the second grasping position candidates in said grip portion The cargo handling device according to any one of claims 1 to 3 , wherein the article is gripped at the second gripping position .
前記把持部が前記第１把持位置で前記物品を把持する際に前記複数の吸盤すべてが把持に失敗した場合、前記制御装置は、前記把持部に前記第２把持位置候補に基づいて決定される前記第２把持位置で前記物品を把持させる、請求項５乃至７のいずれか１項に記載の制御装置。 Recognition result of the previous SL article recognizing unit includes a plurality of gripping position candidates including a first gripping position candidate and the second gripping position candidates, the first gripping position is determined based on the first gripping position candidate,
If the gripping portion is the all of the plurality of suction cups fails to grip when gripping the article in the first gripping position location, the control device is determined based on the second grasping position candidates in said grip portion The control device according to any one of claims 5 to 7 , wherein the article is gripped at the second gripping position .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019027612A JP6815422B2 (en) | 2019-02-19 | 2019-02-19 | Cargo handling equipment and control equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019027612A JP6815422B2 (en) | 2019-02-19 | 2019-02-19 | Cargo handling equipment and control equipment |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015007004A Division JP6486114B2 (en) | 2015-01-16 | 2015-01-16 | Handling equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019085271A JP2019085271A (en) | 2019-06-06 |
| JP6815422B2 true JP6815422B2 (en) | 2021-01-20 |
Family
ID=66762250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019027612A Active JP6815422B2 (en) | 2019-02-19 | 2019-02-19 | Cargo handling equipment and control equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6815422B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11345029B2 (en) | 2019-08-21 | 2022-05-31 | Mujin, Inc. | Robotic multi-gripper assemblies and methods for gripping and holding objects |
| CN112405570A (en) * | 2019-08-21 | 2021-02-26 | 牧今科技 | Robotic multi-gripper assembly and method for gripping and holding objects |
| CN117533689B (en) * | 2024-01-09 | 2024-03-22 | 山西怡顺行冷链物流有限公司 | Box-type cargo stacking device for cold chain logistics storage |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2921496B2 (en) * | 1996-07-15 | 1999-07-19 | 三菱電機株式会社 | Image processing device and object transfer device |
| JP4208110B2 (en) * | 2000-02-01 | 2009-01-14 | オークラ輸送機株式会社 | Luggage transfer device and computer-readable recording medium |
| JP5229253B2 (en) * | 2010-03-11 | 2013-07-03 | 株式会社安川電機 | Robot system, robot apparatus and workpiece picking method |
| JP2013154457A (en) * | 2012-01-31 | 2013-08-15 | Asahi Kosan Kk | Workpiece transfer system, workpiece transfer method, and program |
| JP5698789B2 (en) * | 2013-04-18 | 2015-04-08 | ファナック株式会社 | Robot control device that transports workpieces |
-
2019
- 2019-02-19 JP JP2019027612A patent/JP6815422B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019085271A (en) | 2019-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6486114B2 (en) | Handling equipment | |
| JP6815422B2 (en) | Cargo handling equipment and control equipment | |
| JP6140204B2 (en) | Transport robot system with 3D sensor | |
| US10839261B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP5429614B2 (en) | Box-shaped workpiece recognition apparatus and method | |
| US11285603B2 (en) | Information processing apparatus, control method, robot system, and storage medium | |
| JP5614553B2 (en) | Robot equipment | |
| US10192315B2 (en) | Apparatus and method for holding objects | |
| JP2020040788A (en) | Conveying device, conveying system and conveying method | |
| WO2018066335A1 (en) | Transport device，transport method, and transport program | |
| WO2020110998A1 (en) | Unloading apparatus, unloading method, and program | |
| US11161702B2 (en) | Transfer device | |
| KR20180040325A (en) | Pick up apparatus | |
| WO2019240273A1 (en) | Information processing device, unloading system provided with information processing device, and computer-readable storage medium | |
| JP2021146452A (en) | Handling device, control device, and control program | |
| JP6845671B2 (en) | Component mounting device and its control method | |
| CN110660695A (en) | Method for identifying mechanical arm causing wafer scratch | |
| JP2017170567A (en) | Workpiece recognition method and random picking method | |
| US20230302644A1 (en) | Robotic kitting machine | |
| JP6600026B2 (en) | Extraction device and method | |
| JP2019166589A (en) | Holding mechanism, manipulator, and handling robot system | |
| JP7218521B2 (en) | picking system | |
| CN108555895A (en) | It takes method, fetching structure and intelligent machine arm | |
| JPH07187398A (en) | Article transferring device | |
| WO2022264381A1 (en) | Workpiece retrieval count calculation device, hand system, and display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200729 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201222 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6815422 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |