JP3956063B2 - 移動物体のハンドリング方法 - Google Patents

移動物体のハンドリング方法 Download PDF

Info

Publication number
JP3956063B2
JP3956063B2 JP05346697A JP5346697A JP3956063B2 JP 3956063 B2 JP3956063 B2 JP 3956063B2 JP 05346697 A JP05346697 A JP 05346697A JP 5346697 A JP5346697 A JP 5346697A JP 3956063 B2 JP3956063 B2 JP 3956063B2
Authority
JP
Japan
Prior art keywords
handling
robot
gene
objects
genes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP05346697A
Other languages
English (en)
Other versions
JPH10249765A (ja
Inventor
隆一 守田
勝明 原
誠一郎 福島
陽子 森田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaskawa Electric Corp
Original Assignee
Yaskawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaskawa Electric Corp filed Critical Yaskawa Electric Corp
Priority to JP05346697A priority Critical patent/JP3956063B2/ja
Publication of JPH10249765A publication Critical patent/JPH10249765A/ja
Application granted granted Critical
Publication of JP3956063B2 publication Critical patent/JP3956063B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、コンベア等によって搬送される複数の移動物体(対象物)をロボット装置によってハンドリングする方法に関し、特に、工業用テレビカメラなどからなる視覚装置を用いて移動物体の位置を検出し、検出された位置に応じてハンドリングを行う方法に関する。
【0002】
【従来の技術】
コンベアなど搬送装置上に置かれて搬送される対象物をロボットによってハンドリングする方法としては、例えば、特開昭60−217085号公報にあるように、工業用テレビカメラ(ITV)などの視覚装置によって対象物を撮像し、搬送装置とロボットとの同期制御を行い、対象物である移動物体をハンドリングする方法がある。具体的には、ロボット座標上での各対象物の例えば重心の位置を撮像した画像から画像処理によって検出し、検出した座標に基づいてロボットの制御を行っている。
【0003】
【発明が解決しようとする課題】
コンベアなどの上に不規則に置かれた複数個の対象物をハンドリングする場合、対象物をどういう順番でハンドリングするかによってロボットの移動距離が異なるため、この順序によって作業時間が大きく左右されるという問題点がある。
本発明の目的は、複数個の対象物のハンドリングする際に、ロボットの作業時間を最小にすることができるハンドリング方法を提供することを目的とする。
【0004】
本発明の移動物体のハンドリング方法は、コンベア上に不規則に置かれ前記コンベアによって2次元平面上を移動する複数の対象物を視覚装置によって捉え、前記視覚装置からの情報に基づき遺伝的アルゴリズムを用いてロボットによる前記複数の対象物のハンドリング順序を決定する移動物体のハンドリング方法であって、前記視覚装置によって前記各対象物の形状の基準となる点の前記2次元平面上における座標を判別するとともに、前記各対象物の位置を検出し、前記遺伝的アルゴリズムの遺伝子の各要素に前記複数の対象物を1対1に対応させて前記遺伝子を所定の数だけ発生させ、さらに前記遺伝子の各要素に所定の範囲内でランダムに生成された整数を割り当て、前記遺伝子内における前記割り当てられた整数の昇順を前記対象物のハンドリング順序とし、前記遺伝的アルゴリズムの交叉の過程では、選択された2つの前記遺伝子内の2つの要素について前記割り当てられた整数を入れ替える処理を行い、前記遺伝的アルゴリズムの突然変異の過程では、前記遺伝子内の先頭の要素と最後尾の要素との間で前記割り当てられた整数を入れ替える処理を行って、前記所定の数の遺伝子の中から前記ロボットの移動距離が最小となるハンドリング順序を選出し、前記ロボットは、前記選出されたハンドリング順序に基づいて前記複数の対象物のハンドリングを行う。本発明では、遺伝的アルゴリズムを用いることによってハンドリング順序の最適解を短時間で求めることができるので、複数の対象物に対するハンドリング操作を最小の時間で行うことが可能になり、作業時間を短縮することができる。
【0005】
本発明においては、遺伝的アルゴリズムで使用する遺伝子として、その要素がそれぞれ対象物に対応し、各要素の値が所定の範囲の整数の中からランダムに生成され、要素の値の大小の順が対象物に対するハンドリング順序に対応するものを用いることが好ましい。また、突然変異の操作として、同一遺伝子内で要素の値を相互に交換するものを採用することが好ましい。このような遺伝子を採用することにより、より短時間で最適解に到達することが可能になる。
【0006】
【発明の実施の形態】
次に、本発明の実施の形態について、図面を参照して説明する。図1は、本発明の実施の一形態の移動物体のハンドリング方法が適用される装置の構成を示し、図2は、この移動物体のハンドリング方法での処理の流れを示している。
図1に示すように、コンベア2上の対象物をハンドリングできる位置にロボット1が設置されている。対象物の形状は同一ではなく、また、複数の対象物が不規則にコンベア2上に置かれているものとする。ここでは、5個の対象物A〜Eが、コンベア2上にあって、コンベア2により、図示F方向に移動するものとする。
コンベア2の上方には、工業用テレビカメラなどからなる視覚装置4が、コンベア2に向けて設けられている。また、視覚装置4で取得した画像を処理するための画像処理装置5が設けられており、画像処理装置5での処理結果は、ロボット1を制御するロボットコントローラ6に伝送される。
【0007】
次に、本実施の形態でのハンドリングの処理手順について、図2を用いて説明する。
視覚装置4により、コンベア2上の対象物を撮像し(ステップ101)、取得した画像を画像処理装置5に転送する。画像処理装置5では、対象物の画像に対して例えばパターンマッチングなどの処理を行い、各対象物の重心Gの座標を求める(ステップ102)。この際、ロボット1の現在の位置を座標計測のための基準位置とする。そして、画像処理装置5は、各対象物の重心Gの座標をロボットコントローラ6に伝送する(ステップ103)。ロボットコントローラ6は、遺伝的アルゴリズムによる演算を実施するための前処理として、ロボット1の現在の位置と各対象物の重心までの距離、各対象物間での重心Gの距離を求める。
【0008】
次に、ロボットコントローラ6は、遺伝的アルゴリズムにより、対象物をハンドリングするために、ロボットが移動する距離を最小にするような最適なハンドリング順序を求める(ステップ104)。ロボットコントローラ6は、このようにして求めた最適なハンドリング順序にしたがって、ロボット1にハンドリングを実行させる(ステップ105)。以上により、ハンドリングが完了する。
図3は、5個の対象物A〜Eの位置(重心位置)とロボット1の位置との相対的な関係を示したものである。ロボット1の現在位置Oの座標値を(x0,y0)とし、対象物A〜Eの重心の座標値を、それぞれ、(xa,ya),(xb,yb),(xc,yc),(xd,yd),(xe,ye)とする。
図4は、ステップ104(図2)における遺伝的アルゴリズムの詳細な処理手順を示したものである。ここでは、コンベア2上の対象物が5個(対象物A〜E)であり、各対象物A〜Eの重心の座標が図3のように定まっているとする。
【0009】
まず、事象のモデル化として、各遺伝子を構成する要素の数(1本の遺伝子(個体)に含まれる遺伝子座の数)を対象物の数(ここでは5)とする(ステップ110)。図5は、本実施の形態で使用する遺伝子の1例を示している。この遺伝子11では、5個の要素(遺伝子座)がそれぞれ対象物A〜Eに対応しており、要素の値として、対応する対象物に対する得点(スコア)が用いられる。ここで得点とは、ハンドリング経路を設定するためのものであり、得点の小さい方から順にハンドリングを行うものとする。図5に示した例では、対象物Aに対して155、対象物Bに対しては23、以下同様に、対象物C,D,Eに対して、それぞれ、100,20,200が得点として与えられており、したがって、ハンドリングは、まず対象物Dに対して行われ、D→B→C→A→Eの順で行われることになる。
【0010】
ステップ110での事象のモデル化が行われたら、今述べたような遺伝子(個体)を集団発生させる(ステップ111)。集団発生では、各要素に対する値を乱数で発生させることにより、予め定めた個数の遺伝子を生成する。図6(a)〜(f)は、それぞれ、集団発生で生成する遺伝子の例を示している。
次に、各遺伝子(個体)の評価を行う(ステップ112)。本実施の形態は、ハンドリング時のロボットの移動距離を最小にすることを目的としているから、各遺伝子ごとに、その遺伝子が表わすハンドリング順序でのロボットの移動距離を算出する。図5に示す遺伝子の場合、ハンドリング順序がD→B→C→A→Eであるから、ロボットの移動距離をLとすると、
【0011】
【数1】
=(x-x)+(y-y)+(x-x)+(y-y)+(x-x)+(y-y)
+(x-x)+(y-y)+(x-x)+(y-y)+(x-x)+(y-y)
となる。各遺伝子についてロボットの移動距離を算出したら、全遺伝子についての距離の平均値を算出し、この平均値よりも距離が大きな個体を削除、すなわち淘汰する(ステップ113)。このとき、距離の2乗L2に基づいて淘汰を行ってもよい。淘汰の結果、遺伝子の数が減らされたことになるから、ステップ111での遺伝子生成と同様の手順によって、減らされたのと同数の遺伝子を生成し、遺伝子の増殖を行う。
【0012】
次に、遺伝子の集団に対して交叉を行う(ステップ114)。交叉は、全個体数の中から予め定めた割合(N%)で2個ずつ遺伝子を抽出し、図7に示すように、抽出された2つの遺伝子12,13に対し、その4番目の要素(対象物Dに対応)の値と5番目の要素(対象物Eに対応)の値を遺伝子12,13間で入れ替える操作である。この交叉が終了したら、次に、遺伝子の集団に対して突然変異の操作を実行する(ステップ115)。突然変異では、全個体数の中から予め定めた割合(M%)で遺伝子を抽出し、その遺伝子内で1番目の要素(対象物Aに対応)の値と5番目の要素の値とを入れ替える操作である。ステップ112の評価からステップ115の突然変異までの一連の処理が、遺伝的アルゴリズムでいうところの1世代である。ステップ115の突然変異の実施後、この世代の遺伝子の中でロボットの移動距離を最小とするハンドリング順序を記憶する(ステップ116)。
【0013】
次に、予め定めた世代数Lだけ上述のステップ112からステップ116までをループしたかを判断し(ステップ117)、L回ループしていない場合には次の世代の処理のためにステップ112に戻り、L回ループしている場合には、それまでのL世代間の遺伝子の中で最もロボットの移動距離の小さいハンドリング順序を取得し(ステップ118)、処理を終了する。遺伝的アルゴリズムによれば厳密な意味での最適解ではないかもしれないがこの最適解に十分近い解を少ない演算量で得られることが知られているから、本実施の形態によれば、ロボットの移動距離を実質的に最小にするハンドリング順序を求めることができ、ロボットの作業時間を最小にすることができる。以上説明した実施の形態においては、対象物の重心の座標を抽出してハンドリング時の移動距離の算出に用いているが、本発明では、重心の代りに、対象物の他の特徴点を抽出してその座標を求めるようにしてもよい。
【0014】
【発明の効果】
以上説明したように本発明は、ハンドリング順序の決定に遺伝的アルゴリズムを採用することにより、ロボットの移動距離が最短となるハンドリング順序を定めることができ、ロボットの作業時間を最小にすることができるという効果がある。
【図面の簡単な説明】
【図1】本発明の実施の一形態の移動物体のハンドリング方法が適用される装置の構成を示す図である。
【図2】本発明の実施の一形態の移動物体のハンドリング方法での処理の流れを示すフローチャートである。
【図3】ロボットと対象物との位置関係の一例を示す図である。
【図4】図2に示す移動物体のハンドリング方法における遺伝的アルゴリズムの詳細を示すフローチャートである。
【図5】遺伝子モデルの一例を示す図である。
【図6】 (a)〜(f)は、遺伝子の集団発生により生成する遺伝子の例を示す図である。
【図7】遺伝子の交差の一例を説明する図である。
【図8】遺伝子の突然変異の一例を説明する図である。
【符号の説明】
1 ロボット
2 コンベア
4 視覚装置
5 画像処理装置
6 ロボットコントローラ
11〜17 遺伝子
101〜105,110〜118 ステップ
A,B,C,D,E 対象物

Claims (1)

  1. コンベア上に不規則に置かれ前記コンベアによって2次元平面上を移動する複数の対象物を視覚装置によって捉え、前記視覚装置からの情報に基づき遺伝的アルゴリズムを用いてロボットによる前記複数の対象物のハンドリング順序を決定する移動物体のハンドリング方法であって、
    前記視覚装置によって前記各対象物の形状の基準となる点の前記2次元平面上における座標を判別するとともに、前記各対象物の位置を検出し、
    前記遺伝的アルゴリズムの遺伝子の各要素に前記複数の対象物を1対1に対応させて前記遺伝子を所定の数だけ発生させ、さらに前記遺伝子の各要素に所定の範囲内でランダムに生成された整数を割り当て、前記遺伝子内における前記割り当てられた整数の昇順を前記対象物のハンドリング順序とし、
    前記遺伝的アルゴリズムの交叉の過程では、選択された2つの前記遺伝子内の2つの要素について前記割り当てられた整数を入れ替える処理を行い、
    前記遺伝的アルゴリズムの突然変異の過程では、前記遺伝子内の先頭の要素と最後尾の要素との間で前記割り当てられた整数を入れ替える処理を行って、
    前記所定の数の遺伝子の中から前記ロボットの移動距離が最小となるハンドリング順序を選出し、
    前記ロボットは、前記選出されたハンドリング順序に基づいて前記複数の対象物のハンドリングを行うことを特徴とする移動物体のハンドリング方法。
JP05346697A 1997-03-07 1997-03-07 移動物体のハンドリング方法 Expired - Fee Related JP3956063B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05346697A JP3956063B2 (ja) 1997-03-07 1997-03-07 移動物体のハンドリング方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05346697A JP3956063B2 (ja) 1997-03-07 1997-03-07 移動物体のハンドリング方法

Publications (2)

Publication Number Publication Date
JPH10249765A JPH10249765A (ja) 1998-09-22
JP3956063B2 true JP3956063B2 (ja) 2007-08-08

Family

ID=12943651

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05346697A Expired - Fee Related JP3956063B2 (ja) 1997-03-07 1997-03-07 移動物体のハンドリング方法

Country Status (1)

Country Link
JP (1) JP3956063B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4303411B2 (ja) * 2000-10-06 2009-07-29 セイコーインスツル株式会社 トラッキング方法、及びトラッキングシステム
JP2010240838A (ja) * 2010-08-05 2010-10-28 Seiko Epson Corp 移動物体の位置管理方法、該方法を適用したロボットコントローラ
JP5685027B2 (ja) 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
JP5472214B2 (ja) * 2011-06-20 2014-04-16 株式会社安川電機 ピッキングシステム
JP6528121B2 (ja) * 2015-05-15 2019-06-12 パナソニックIpマネジメント株式会社 部品取出し装置および部品取出し方法ならびに部品実装装置
JP6528123B2 (ja) * 2015-05-15 2019-06-12 パナソニックIpマネジメント株式会社 部品取出し装置および部品取出し方法ならびに部品実装装置
JP6528122B2 (ja) * 2015-05-15 2019-06-12 パナソニックIpマネジメント株式会社 部品取出し装置および部品取出し方法ならびに部品実装装置
JP6514171B2 (ja) * 2016-09-27 2019-05-15 ファナック株式会社 最適な物品把持経路を学習する機械学習装置、及び機械学習方法
JP6579498B2 (ja) * 2017-10-20 2019-09-25 株式会社安川電機 自動化装置及び位置検出装置
JP7207207B2 (ja) * 2019-07-09 2023-01-18 トヨタ自動車株式会社 演算装置、機械学習方法及び制御プログラム

Also Published As

Publication number Publication date
JPH10249765A (ja) 1998-09-22

Similar Documents

Publication Publication Date Title
KR102424718B1 (ko) 동적 패킹 메커니즘을 구비한 로봇 시스템
CN110116406B (zh) 具有增强的扫描机制的机器人系统
KR102408914B1 (ko) 오류 검출 및 동적 패킹 메커니즘을 구비한 로봇 시스템
KR102325417B1 (ko) 패킹 메커니즘을 구비한 로봇 시스템
JP2022145915A (ja) 推論方法、推論プログラム、推論装置、学習方法、学習プログラム、学習装置およびモデル生成方法
JP6036662B2 (ja) ロボットシミュレーション装置、プログラム、記録媒体及び方法
JP6671694B1 (ja) 機械学習装置、機械学習システム、データ処理システム及び機械学習方法
JP3956063B2 (ja) 移動物体のハンドリング方法
JP7191569B2 (ja) 把持装置
JP6697204B1 (ja) ロボットシステムの制御方法、非一過性のコンピュータ読取可能な記録媒体及びロボットシステムの制御装置
JP2019076972A (ja) 自動化装置
JP2019188477A (ja) ロボットの動作教示装置、ロボットシステムおよびロボット制御装置
CN114029951A (zh) 基于深度相机的机器人自主识别智能抓取方法
JP2019152971A (ja) シミュレーション装置、シミュレーション方法及びシミュレーションプログラム
CN114820802A (zh) 高自由度灵巧手抓取规划方法、装置和计算机设备
US20230030852A1 (en) Control apparatus for robotic system, control method for robotic system, computer-readable storage medium storing a computer control program, and robotic system
CN111470244B (zh) 机器人系统的控制方法以及控制装置
JP6921448B1 (ja) 新規物体操作ロボットの制御プログラムおよび制御方法、ならびに、新規物体操作システム
CN116075795A (zh) 环境变更提案系统及环境变更提案程序
KR101858108B1 (ko) 로봇을 위한 동작 시뮬레이션 장치 및 방법
JP7450857B2 (ja) 計測パラメータの最適化方法及び装置、並びに、コンピュータ制御プログラム
CN111508014A (zh) 排除随机堆叠的多个工件的干涉的系统
Vatcha et al. Practical motion planning in unknown and unpredictable environments
Al-Shanoon et al. DeepNet‐Based 3D Visual Servoing Robotic Manipulation
CN118003339B (zh) 一种基于人工智能的机器人分拣控制算法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060329

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060830

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070424

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061018

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100518

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees