JPH0780790A - 三次元物体把持システム - Google Patents
三次元物体把持システムInfo
- Publication number
- JPH0780790A JPH0780790A JP5230048A JP23004893A JPH0780790A JP H0780790 A JPH0780790 A JP H0780790A JP 5230048 A JP5230048 A JP 5230048A JP 23004893 A JP23004893 A JP 23004893A JP H0780790 A JPH0780790 A JP H0780790A
- Authority
- JP
- Japan
- Prior art keywords
- manipulator
- posture
- orientation
- neural network
- connector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Feedback Control In General (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】 （修正有）
【目的】 カメラキャリブレーションを省略でき、物体
把持の精度を高めることが可能となるシステムを提供す
る。 【構成】 マニピュレータ制御装置１６は、マニピュレ
ータ１４が把持した物体１０の形状的特徴を各センサ１
２の認識出力から抽出する第１及び第２の特徴抽出手段
１８，２２と、マニピュレータ１４が把持した物体１０
の位置及び姿勢をマニピュレータ１４の各関節角度から
算出する位置姿勢算出手段２０と、第１の特徴抽出手段
１８が抽出した特徴と位置姿勢算出手段２０が算出した
位置及び姿勢との関係を学習し、学習内容と第２の特徴
抽出手段２２が抽出した特徴とからマニピュレータ１４
が把持する物体１０の位置及び姿勢を求めるニューラル
ネットワーク手段２４と、ニューラルネットワーク手段
２４が求めた位置及び姿勢で物体１０が把持される角度
にマニピュレータ１４の各関節を制御する関節制御手段
２６とからなる。
把持の精度を高めることが可能となるシステムを提供す
る。 【構成】 マニピュレータ制御装置１６は、マニピュレ
ータ１４が把持した物体１０の形状的特徴を各センサ１
２の認識出力から抽出する第１及び第２の特徴抽出手段
１８，２２と、マニピュレータ１４が把持した物体１０
の位置及び姿勢をマニピュレータ１４の各関節角度から
算出する位置姿勢算出手段２０と、第１の特徴抽出手段
１８が抽出した特徴と位置姿勢算出手段２０が算出した
位置及び姿勢との関係を学習し、学習内容と第２の特徴
抽出手段２２が抽出した特徴とからマニピュレータ１４
が把持する物体１０の位置及び姿勢を求めるニューラル
ネットワーク手段２４と、ニューラルネットワーク手段
２４が求めた位置及び姿勢で物体１０が把持される角度
にマニピュレータ１４の各関節を制御する関節制御手段
２６とからなる。
Description
【０００１】
【産業上の利用分野】本発明は、複数のセンサで対象物
を認識し、これを多自由度のマニピュレータで把持する
システムに関する。
を認識し、これを多自由度のマニピュレータで把持する
システムに関する。
【０００２】ダイナミックに変化する外部環境を各種の
センサにより認識してその認識結果に基づき自ら判断
し、行動する知能ロボットの実現が期待されており、こ
のため、例えば、対象物を光学センサで視認してマニピ
ュレータで把持するシステムの開発が進められている。
センサにより認識してその認識結果に基づき自ら判断
し、行動する知能ロボットの実現が期待されており、こ
のため、例えば、対象物を光学センサで視認してマニピ
ュレータで把持するシステムの開発が進められている。
【０００３】
【従来の技術】従来の三次元物体把持システムにはステ
レオビジョン（三次元立体視）方式が採用されており、
マニピュレータの把持すべき物体が複数のビジョンセン
サにより撮像され、注視点までの距離が各ビジョンセン
サの出力が示す画像から三角測量の原理により測定さ
れ、測定された距離を用いて物体の位置，姿勢が測定さ
れる。
レオビジョン（三次元立体視）方式が採用されており、
マニピュレータの把持すべき物体が複数のビジョンセン
サにより撮像され、注視点までの距離が各ビジョンセン
サの出力が示す画像から三角測量の原理により測定さ
れ、測定された距離を用いて物体の位置，姿勢が測定さ
れる。
【０００４】このステレオビジョン方式では、物体把持
作業の座標系とビジョンセンサの座標系との幾何学的な
変換式を決定するために、カメラキャリブレーション
（図２＿ステップ２００）が予め行なわれている。
作業の座標系とビジョンセンサの座標系との幾何学的な
変換式を決定するために、カメラキャリブレーション
（図２＿ステップ２００）が予め行なわれている。
【０００５】その際には、各ビジョンセンサが歪みの無
い理想的なピンホールカメラとしてモデル化され、ま
ず、位置を変えながらキャリブレーションパターンが撮
影され（図２＿ステップ２０２）、次に、物体把持作業
の座標系とビジョンセンサの座標系とにおけるカメラパ
ターンの座標値からビジョンセンサの座標原点，姿勢，
焦点距離，撮像面よりセンサ位置へのアフィン変換行列
などを示す１０ないし１１のカメラパラメータが最小２
乗法などを用いて決定される（図２＿ステップ２０
４）。
い理想的なピンホールカメラとしてモデル化され、ま
ず、位置を変えながらキャリブレーションパターンが撮
影され（図２＿ステップ２０２）、次に、物体把持作業
の座標系とビジョンセンサの座標系とにおけるカメラパ
ターンの座標値からビジョンセンサの座標原点，姿勢，
焦点距離，撮像面よりセンサ位置へのアフィン変換行列
などを示す１０ないし１１のカメラパラメータが最小２
乗法などを用いて決定される（図２＿ステップ２０
４）。
【０００６】ただし、各ビジョンセンサが単純なピンホ
ールカメラと仮定されるので、撮像面周辺部に存在する
非線型な歪みを同定できず、したがって場合によって
は、測定精度に大きな誤差が生ずる。
ールカメラと仮定されるので、撮像面周辺部に存在する
非線型な歪みを同定できず、したがって場合によって
は、測定精度に大きな誤差が生ずる。
【０００７】そこで、格子状のテストパターンを測定し
て新たな歪み補正用のテーブルを作成する，焦点距離が
長く歪みが少ないレンズを使用する，歪みが大きい撮像
面周辺部を利用しない，などの対策がとられる。
て新たな歪み補正用のテーブルを作成する，焦点距離が
長く歪みが少ないレンズを使用する，歪みが大きい撮像
面周辺部を利用しない，などの対策がとられる。
【０００８】以上のようにしてカメラキャリブレーショ
ンが行なわれてから、物体の把持作業が開始され（図２
＿ステップ２１０）、まず、把持の対象となる物体が適
当な位置に任意の姿勢で置かれ（図２＿ステップ２１
２）、次に、各ビジョンセンサにより得られた物体の画
像からエッジなどの特徴点が複数抽出されてそれら特徴
点の三次元位置が計算され（図２＿ステップ２１４）、
さらに、算出された位置の示す各特徴点が予め測定され
た物体の形状と比較されて物体の位置及び姿勢が決定さ
れ、決定された位置及び姿勢を用いたロボットの逆運動
学演算でマニピュレータ各関節の目標角度が算出され
（図２＿ステップ２１６）、これらにマニピュレータ各
関節の実角度が制御される。
ンが行なわれてから、物体の把持作業が開始され（図２
＿ステップ２１０）、まず、把持の対象となる物体が適
当な位置に任意の姿勢で置かれ（図２＿ステップ２１
２）、次に、各ビジョンセンサにより得られた物体の画
像からエッジなどの特徴点が複数抽出されてそれら特徴
点の三次元位置が計算され（図２＿ステップ２１４）、
さらに、算出された位置の示す各特徴点が予め測定され
た物体の形状と比較されて物体の位置及び姿勢が決定さ
れ、決定された位置及び姿勢を用いたロボットの逆運動
学演算でマニピュレータ各関節の目標角度が算出され
（図２＿ステップ２１６）、これらにマニピュレータ各
関節の実角度が制御される。
【０００９】
【発明が解決しようとする課題】マニプレータとビジョ
ンセンサの相対位置の計測や歪み補正用のテーブルの作
成など、キャリブレーション作業には専門的な知識が必
要であり、多大な労力、多くの時間が費やされる。
ンセンサの相対位置の計測や歪み補正用のテーブルの作
成など、キャリブレーション作業には専門的な知識が必
要であり、多大な労力、多くの時間が費やされる。
【００１０】また、マニピュレータの関節角度やアーム
長、ビジョンセンサ測定値などに誤差が存在する場合に
は、マニピュレータ各関節の制御に誤差が生じ、物体把
持の精度が低下する。
長、ビジョンセンサ測定値などに誤差が存在する場合に
は、マニピュレータ各関節の制御に誤差が生じ、物体把
持の精度が低下する。
【００１１】本発明は上記従来の事情に鑑みてなされた
ものであり、その目的は、カメラキャリブレーションを
省略でき、しかも、物体把持の精度を高めることが可能
となる三次元物体把持システムを提供することにある。
ものであり、その目的は、カメラキャリブレーションを
省略でき、しかも、物体把持の精度を高めることが可能
となる三次元物体把持システムを提供することにある。
【００１２】
【課題を解決するための手段】上記目的を達成するため
に、本発明にかかる三次元物体把持システムは図１のよ
うに構成されており、同図のシステムは、所定の三次元
空間内に存在する物体１０を認識する複数のセンサ１２
と、各センサ１２で認識した物体１０を把持する多自由
度のマニピュレータ１４と、各センサ１２の出力が与え
られ、マニピュレータ１４を制御するマニピュレータ制
御装置１６と、を有し、マニピュレータ制御装置１６
は、マニピュレータ１４が把持した物体１０の形状的な
特徴を各センサ１２の認識出力から抽出する第１の特徴
抽出手段１８と、マニピュレータ１４が把持した物体１
０の位置及び姿勢をマニピュレータ１４の各関節角度か
ら算出する位置姿勢算出手段２０と、マニピュレータ１
４が把持する物体１０の形状的特徴を各センサ１２の認
識出力から抽出する第２の特徴抽出手段２２と、第１の
特徴抽出手段１８が抽出した特徴と位置姿勢算出手段２
０が算出した位置及び姿勢との関係を学習し、該学習内
容と第２の特徴抽出手段２２が抽出した特徴とからマニ
ピュレータ１４が把持する物体１０の位置及び姿勢を求
めるニューラルネットワーク手段２４と、ニューラルネ
ットワーク手段２４が求めた位置及び姿勢で物体１０が
把持される角度にマニピュレータ１４の各関節を制御す
る関節制御手段２６と、を含んでいる。
に、本発明にかかる三次元物体把持システムは図１のよ
うに構成されており、同図のシステムは、所定の三次元
空間内に存在する物体１０を認識する複数のセンサ１２
と、各センサ１２で認識した物体１０を把持する多自由
度のマニピュレータ１４と、各センサ１２の出力が与え
られ、マニピュレータ１４を制御するマニピュレータ制
御装置１６と、を有し、マニピュレータ制御装置１６
は、マニピュレータ１４が把持した物体１０の形状的な
特徴を各センサ１２の認識出力から抽出する第１の特徴
抽出手段１８と、マニピュレータ１４が把持した物体１
０の位置及び姿勢をマニピュレータ１４の各関節角度か
ら算出する位置姿勢算出手段２０と、マニピュレータ１
４が把持する物体１０の形状的特徴を各センサ１２の認
識出力から抽出する第２の特徴抽出手段２２と、第１の
特徴抽出手段１８が抽出した特徴と位置姿勢算出手段２
０が算出した位置及び姿勢との関係を学習し、該学習内
容と第２の特徴抽出手段２２が抽出した特徴とからマニ
ピュレータ１４が把持する物体１０の位置及び姿勢を求
めるニューラルネットワーク手段２４と、ニューラルネ
ットワーク手段２４が求めた位置及び姿勢で物体１０が
把持される角度にマニピュレータ１４の各関節を制御す
る関節制御手段２６と、を含んでいる。
【００１３】
【作用】図３では本発明の作用がフローチャートを用い
て説明されており、最初に学習の処理（ステップ３０
０）が行なわれ、その際には、把持の対象となる物体１
０が任意位置，姿勢に置かれ（ステップ３０２：マニピ
ュレータ１４で把持して三次元空間内の適当な位置に静
止させる）、マニピュレータ１４が把持した物体１０の
形状的な特徴（センサ１２としてビジョンセンサが使用
された場合、物体１０の濃淡画像を取り込んでエッジ検
出などを行ない、その画像からエッジ交点や面の重心位
置などの特徴量を複数抽出する）とその位置及び姿勢
（マニピュレータ１４の各関節に取り付けられた角度セ
ンサでそれらの角度を測定し、各測定結果とアーム長な
どのパラメータを用いた順キネマティクス演算でマニピ
ュレータハンドの位置，姿勢を算出する）との関係がニ
ューラルネットワーク２４（階層型のもの）により学習
される（ステップ３０４：学習は物体１０の位置，姿勢
を変えて繰り返し行ない、これにより、物体１０の画像
とその位置，姿勢とを関連付ける物体モデルをニューラ
ルネットワークが獲得する）。
て説明されており、最初に学習の処理（ステップ３０
０）が行なわれ、その際には、把持の対象となる物体１
０が任意位置，姿勢に置かれ（ステップ３０２：マニピ
ュレータ１４で把持して三次元空間内の適当な位置に静
止させる）、マニピュレータ１４が把持した物体１０の
形状的な特徴（センサ１２としてビジョンセンサが使用
された場合、物体１０の濃淡画像を取り込んでエッジ検
出などを行ない、その画像からエッジ交点や面の重心位
置などの特徴量を複数抽出する）とその位置及び姿勢
（マニピュレータ１４の各関節に取り付けられた角度セ
ンサでそれらの角度を測定し、各測定結果とアーム長な
どのパラメータを用いた順キネマティクス演算でマニピ
ュレータハンドの位置，姿勢を算出する）との関係がニ
ューラルネットワーク２４（階層型のもの）により学習
される（ステップ３０４：学習は物体１０の位置，姿勢
を変えて繰り返し行ない、これにより、物体１０の画像
とその位置，姿勢とを関連付ける物体モデルをニューラ
ルネットワークが獲得する）。
【００１４】次の物体把持作業（ステップ３１０）で
は、把持の対象となる物体１０が任意位置，姿勢とされ
ると（ステップ３１２）、その物体１０の形状的な特徴
がニューラルネットワーク２４に入力され（ステップ３
１４）、この入力と学習内容とから物体１０の位置及び
姿勢がニューラルネットワークにより求められる（ステ
ップ３１６：ニューラルネットワークは、入力された物
体１０の特徴と対応した物体位置，姿勢を学習していな
い場合であっても、その補間機能によりほぼ正確な物体
位置，姿勢を出力する。このニューラルネットワークに
基づく逆キネマティクス演算によりマニピュレータ１４
の各関節角度を求め、関節制御手段２６により各関節の
角度を制御することで、マニピュレータ１４に物体１０
を把持させる）。
は、把持の対象となる物体１０が任意位置，姿勢とされ
ると（ステップ３１２）、その物体１０の形状的な特徴
がニューラルネットワーク２４に入力され（ステップ３
１４）、この入力と学習内容とから物体１０の位置及び
姿勢がニューラルネットワークにより求められる（ステ
ップ３１６：ニューラルネットワークは、入力された物
体１０の特徴と対応した物体位置，姿勢を学習していな
い場合であっても、その補間機能によりほぼ正確な物体
位置，姿勢を出力する。このニューラルネットワークに
基づく逆キネマティクス演算によりマニピュレータ１４
の各関節角度を求め、関節制御手段２６により各関節の
角度を制御することで、マニピュレータ１４に物体１０
を把持させる）。
【００１５】
【実施例】図４には実施例の構成が示されており、この
三次元物体把持システムでは、コネクタ（物体１０）が
多関節型のロボット１４（多自由度のマニピュレータ）
により把持される。
三次元物体把持システムでは、コネクタ（物体１０）が
多関節型のロボット１４（多自由度のマニピュレータ）
により把持される。
【００１６】そして、コネクタの撮像が一対のビジョン
センサ１２で行なわれ、両ビジョンセンサ１２の出力に
応じ多関節型ロボット１４がニューロコンピュータ１６
−１（ここではワークステーションを使用する）及びロ
ボットコントローラ１６−２（ニューラルネットワーク
をハードウェアで実現してこのコントローラに内蔵して
も良い）で制御される。
センサ１２で行なわれ、両ビジョンセンサ１２の出力に
応じ多関節型ロボット１４がニューロコンピュータ１６
−１（ここではワークステーションを使用する）及びロ
ボットコントローラ１６−２（ニューラルネットワーク
をハードウェアで実現してこのコントローラに内蔵して
も良い）で制御される。
【００１７】なお、両ビジョンセンサ１２はニューロコ
ンピュータ１６−１に、多関節型ロボット１４はロボッ
トコントローラ１６−２に各々接続されており、ニュー
ロコンピュータ１６−１，ロボットコントローラ１６−
２は通信ケーブル４０で結ばれている。
ンピュータ１６−１に、多関節型ロボット１４はロボッ
トコントローラ１６−２に各々接続されており、ニュー
ロコンピュータ１６−１，ロボットコントローラ１６−
２は通信ケーブル４０で結ばれている。
【００１８】図５では図３における学習過程（ステップ
３００）の内容がフローチャートを用いて説明されてお
り、以下、同図のステップ５００，５０２，５０４，５
０６，５０８，５１０，５１２を順に説明する。
３００）の内容がフローチャートを用いて説明されてお
り、以下、同図のステップ５００，５０２，５０４，５
０６，５０８，５１０，５１２を順に説明する。
【００１９】ステップ５００：対象となるコネクタ（物
体１０）を多関節型ロボット１４に把持させる。 ステップ５０２：多関節型ロボット１４のハンドを移動
し、コネクタの位置，姿勢を変える。 ステップ５０４：両ビジョンセンサ１２でコネクタの撮
像を行ない、両ビジョンセンサ１２の出力した濃淡画像
をニューロコンピュータ１６−１がサンプリングする。
体１０）を多関節型ロボット１４に把持させる。 ステップ５０２：多関節型ロボット１４のハンドを移動
し、コネクタの位置，姿勢を変える。 ステップ５０４：両ビジョンセンサ１２でコネクタの撮
像を行ない、両ビジョンセンサ１２の出力した濃淡画像
をニューロコンピュータ１６−１がサンプリングする。
【００２０】ステップ５０６：ニューロコンピュータ１
６−１はサンプリングした濃淡画像を処理し、コネクタ
の特徴を抽出する。 ステップ５０８：ニューロコンピュータ１６−１はロボ
ット１４の各関節角度をロボットコントローラ１６−２
から受け取る。 ステップ５１０：ニューロコンピュータ１６−１はロボ
ットコントローラ１６−２より受け取った各関節角度及
びアーム長を用いて順キネマティクス演算を行ない、ロ
ボット１４のハンド位置及び姿勢を求める。そして、ハ
ンド位置と姿勢の組を一定数求めた場合にはステップ５
１２へ進み、求めていなかった場合にはステップ５０２
へ戻る。
６−１はサンプリングした濃淡画像を処理し、コネクタ
の特徴を抽出する。 ステップ５０８：ニューロコンピュータ１６−１はロボ
ット１４の各関節角度をロボットコントローラ１６−２
から受け取る。 ステップ５１０：ニューロコンピュータ１６−１はロボ
ットコントローラ１６−２より受け取った各関節角度及
びアーム長を用いて順キネマティクス演算を行ない、ロ
ボット１４のハンド位置及び姿勢を求める。そして、ハ
ンド位置と姿勢の組を一定数求めた場合にはステップ５
１２へ進み、求めていなかった場合にはステップ５０２
へ戻る。
【００２１】ステップ５１２：ニューロコンピュータ１
６−１は濃淡画像から抽出したコネクタの特徴と関節角
度より求めたロボットハンドの位置及び姿勢との関係を
ニューラルネットワークに学習させる。
６−１は濃淡画像から抽出したコネクタの特徴と関節角
度より求めたロボットハンドの位置及び姿勢との関係を
ニューラルネットワークに学習させる。
【００２２】図６では本実施例における画像処理（ステ
ップ５０４，５０６）の内容がフローチャートを用いて
説明されており、最初に、ビジョンセンサ１２が出力し
た濃淡画像を取り込む（ステップ６００）。
ップ５０４，５０６）の内容がフローチャートを用いて
説明されており、最初に、ビジョンセンサ１２が出力し
た濃淡画像を取り込む（ステップ６００）。
【００２３】この濃淡画像からコネクタエッジを空間微
分フィルタで検出し（ステップ６０２）、検出したエッ
ジを用いて特徴的な領域を濃淡画像から検出し（ステッ
プ６０４）、その領域のエッジをＨｏｕｇｈ変換し、直
線エッジを検出する（ステップ６０６）。
分フィルタで検出し（ステップ６０２）、検出したエッ
ジを用いて特徴的な領域を濃淡画像から検出し（ステッ
プ６０４）、その領域のエッジをＨｏｕｇｈ変換し、直
線エッジを検出する（ステップ６０６）。
【００２４】そして、検出した直線エッジをモデルのも
のと比較し（ステップ６０８）、直線エッジの交点をコ
ネクタの特徴点として決定する（ステップ６１０：これ
らの特徴点の他、次のように、重心点や傾きも特徴デー
タとして求められる）。
のと比較し（ステップ６０８）、直線エッジの交点をコ
ネクタの特徴点として決定する（ステップ６１０：これ
らの特徴点の他、次のように、重心点や傾きも特徴デー
タとして求められる）。
【００２５】図７ではコネクタの位置に関する特徴デー
タが説明されており、空間微分フィルタ，閉領域分割，
Ｈｏｕｇｈ変換の画像処理で濃淡画像から抽出された直
線エッジの交点より、ビジョンセンサ１２の座標系にお
いて直線エッジの交点となる２つの特徴点（ｘ１，ｙ
１），（ｘ２，ｙ２）とコネクタ表面の重心となる点
（ｘｇ，ｙｇ）とが、位置に関する特徴データとして求
められる。
タが説明されており、空間微分フィルタ，閉領域分割，
Ｈｏｕｇｈ変換の画像処理で濃淡画像から抽出された直
線エッジの交点より、ビジョンセンサ１２の座標系にお
いて直線エッジの交点となる２つの特徴点（ｘ１，ｙ
１），（ｘ２，ｙ２）とコネクタ表面の重心となる点
（ｘｇ，ｙｇ）とが、位置に関する特徴データとして求
められる。
【００２６】また、図８ではコネクタの姿勢に関する特
徴データが説明されており、上記の３点（ｘ１，ｙ
１），（ｘ２，ｙ２），（ｘｇ，ｙｇ）を結んだ三角形
の重心点点（ｘＧ，ｙＧ），その内角θ１，θ２，θ
３，代表辺の傾きθ０が姿勢に関する特徴データとして
求められる。
徴データが説明されており、上記の３点（ｘ１，ｙ
１），（ｘ２，ｙ２），（ｘｇ，ｙｇ）を結んだ三角形
の重心点点（ｘＧ，ｙＧ），その内角θ１，θ２，θ
３，代表辺の傾きθ０が姿勢に関する特徴データとして
求められる。
【００２７】これら６つの特徴データ（ｘ１，ｙ１），
（ｘ２，ｙ２），（ｘｇ，ｙｇ），（ｘＧ，ｙＧ），
（θ１，θ２，θ３），θ０は、両ビジョンセンサ１２
の画像がサンプリングされる毎に、それぞれ得られ、ニ
ューラルネットワークには、一回のサンプリングで得ら
れた両ビジョンセンサ画像からそれぞれ６つずつ、合わ
せて１２の特徴データが入力される。
（ｘ２，ｙ２），（ｘｇ，ｙｇ），（ｘＧ，ｙＧ），
（θ１，θ２，θ３），θ０は、両ビジョンセンサ１２
の画像がサンプリングされる毎に、それぞれ得られ、ニ
ューラルネットワークには、一回のサンプリングで得ら
れた両ビジョンセンサ画像からそれぞれ６つずつ、合わ
せて１２の特徴データが入力される。
【００２８】そのニューラルネットワークとしては入力
層，中間層，出力層の素子数（ニューロン数）が各々６
０，２０，１とされた３層階層型のものをハンド位置
（ｘ，ｙ，ｚ）とハンド姿勢（α，β，γ）それぞれに
ついて１つずつ合計６つ使用する。
層，中間層，出力層の素子数（ニューロン数）が各々６
０，２０，１とされた３層階層型のものをハンド位置
（ｘ，ｙ，ｚ）とハンド姿勢（α，β，γ）それぞれに
ついて１つずつ合計６つ使用する。
【００２９】この場合、変数（ｘ，ｙ，ｚ，α，β，
γ）毎にネットワークが分離されるので、全ての変数
（ｘ，ｙ，ｚ，α，β，γ）を一度に処理する３層階層
型ニューラルネットワークに比してネットワーク規模を
縮小でき、学習時間を短縮できる。
γ）毎にネットワークが分離されるので、全ての変数
（ｘ，ｙ，ｚ，α，β，γ）を一度に処理する３層階層
型ニューラルネットワークに比してネットワーク規模を
縮小でき、学習時間を短縮できる。
【００３０】図９ではニューラルネットワークの構成が
説明されており、同図のニューラルネットワークには５
つの素子を単位とするガウシアンフィルタ９００が設け
られている。
説明されており、同図のニューラルネットワークには５
つの素子を単位とするガウシアンフィルタ９００が設け
られている。
【００３１】同図のニューラルネットワークへ入力され
た１２の特徴データはこのガウシアンフィルタ９００で
空間的に６０のデータへ分離され、それらのフィルタ出
力は階層型ネットワークの部分へ入力される。
た１２の特徴データはこのガウシアンフィルタ９００で
空間的に６０のデータへ分離され、それらのフィルタ出
力は階層型ネットワークの部分へ入力される。
【００３２】このように、ネットワーク入力がガウシア
ンフィルタ９００で空間的に分離されることから、図９
のニューラルネットワークはより少ない入力回数で学習
を効率良く正確に行なえる。
ンフィルタ９００で空間的に分離されることから、図９
のニューラルネットワークはより少ない入力回数で学習
を効率良く正確に行なえる。
【００３３】図１０では図３における実行過程（ステッ
プ３１０）の内容がフローチャートを用いて説明されて
おり、以下、同図のステップ１０００，１００２，１０
０４，１００６，１００８，１０１０，１０１２を順に
説明する。
プ３１０）の内容がフローチャートを用いて説明されて
おり、以下、同図のステップ１０００，１００２，１０
０４，１００６，１００８，１０１０，１０１２を順に
説明する。
【００３４】ステップ１０００：把持すべきコネクタを
作業空間内の任意位置に任意姿勢で置く。 ステップ１００２：両ビジョンセンサ１２によりコネク
タを撮像し、それらの出力をニューロコンピュータ１６
−１がサンプリングする。
作業空間内の任意位置に任意姿勢で置く。 ステップ１００２：両ビジョンセンサ１２によりコネク
タを撮像し、それらの出力をニューロコンピュータ１６
−１がサンプリングする。
【００３５】ステップ１００４：ニューロコンピュータ
１６−１はサンプリングした画像を処理し（図６参
照）、その画像からコネクタの特徴（エッジ交点や重心
点）を抽出する。
１６−１はサンプリングした画像を処理し（図６参
照）、その画像からコネクタの特徴（エッジ交点や重心
点）を抽出する。
【００３６】ステップ１００６：ニューロコンピュータ
１６−１は抽出したコネクタの特徴をニューラルネット
ワークに入力し、ニューラルネットワークは入力に応じ
たコネクタ位置，姿勢を出力する。
１６−１は抽出したコネクタの特徴をニューラルネット
ワークに入力し、ニューラルネットワークは入力に応じ
たコネクタ位置，姿勢を出力する。
【００３７】ステップ１００８：ニューロコンピュータ
１６−１はニューラルネットワークが出力した位置，姿
勢を用いて逆キネマティクス演算を行ない、ロボット１
４の各関節角度を求める。
１６−１はニューラルネットワークが出力した位置，姿
勢を用いて逆キネマティクス演算を行ない、ロボット１
４の各関節角度を求める。
【００３８】ステップ１０１０：ニューロコンピュータ
１６−１は求めた関節角度を制御目標としてロボットコ
ントローラ１６−２へ順に出力し、ロボットコントロー
ラ１６−２は、ニューロコンピュータ１６−１から入力
した該当の目標角度にロボット１４の各関節角度が一致
する方向へ、それら関節に設けられたアクチュエータを
駆動制御する。
１６−１は求めた関節角度を制御目標としてロボットコ
ントローラ１６−２へ順に出力し、ロボットコントロー
ラ１６−２は、ニューロコンピュータ１６−１から入力
した該当の目標角度にロボット１４の各関節角度が一致
する方向へ、それら関節に設けられたアクチュエータを
駆動制御する。
【００３９】ステップ１０１２：ロボット１４は、各関
節のアクチュエータが駆動制御されることにより、その
ハンドでコネクタを把持する。
節のアクチュエータが駆動制御されることにより、その
ハンドでコネクタを把持する。
【００４０】以上説明したように、複数のビジョンセン
サ１２の出力した画像を処理して得られるコネクタの視
覚的な特徴とそのコネクタの位置及び姿勢との関係をニ
ューラルネットワークが学習するので、ステレオビジョ
ンで不可欠とされていた複雑なカメラキャリブレーショ
ンを行なうことが不要となる。
サ１２の出力した画像を処理して得られるコネクタの視
覚的な特徴とそのコネクタの位置及び姿勢との関係をニ
ューラルネットワークが学習するので、ステレオビジョ
ンで不可欠とされていた複雑なカメラキャリブレーショ
ンを行なうことが不要となる。
【００４１】しかも、ニューラルネットワークへコネク
タの視覚的な特徴を入力することで、その位置，姿勢が
直接得られることから、撮像面周辺部の非線型な歪みが
吸収され、このため、撮像面周辺部の画像データも有効
に利用でき、さらに、焦点距離の短いレンズも使用でき
る。
タの視覚的な特徴を入力することで、その位置，姿勢が
直接得られることから、撮像面周辺部の非線型な歪みが
吸収され、このため、撮像面周辺部の画像データも有効
に利用でき、さらに、焦点距離の短いレンズも使用でき
る。
【００４２】また、把持すべきコネクタがそのままキャ
リブレーションパターンとなるので、学習過程と実行過
程で光源の方向，絞り，輝度などの作業環境を同一化で
き、したがって、測定精度（すなわち、制御精度）を高
めることが可能となる。
リブレーションパターンとなるので、学習過程と実行過
程で光源の方向，絞り，輝度などの作業環境を同一化で
き、したがって、測定精度（すなわち、制御精度）を高
めることが可能となる。
【００４３】そして、ロボット１４のアーム長や関節角
度のセンサに定常的な測定誤差が存在していた場合であ
っても、その誤差がニューラルネットワークの学習によ
り吸収されることから、コネクタの把持作業を精度良く
行なえる。
度のセンサに定常的な測定誤差が存在していた場合であ
っても、その誤差がニューラルネットワークの学習によ
り吸収されることから、コネクタの把持作業を精度良く
行なえる。
【００４４】例えば、測定されたアーム長Ｌまたは関節
角度Φに無視できない誤差が存在する場合において、こ
れらのアーム長Ｌと関節角度Φとから不正確なハンド位
置Ｐが学習過程で求められても、コネクタを実際に把持
したその不正確なハンド位置Ｐが実行過程で指定される
と、学習過程と同一の関節角度Φが得られることから、
ロボット１４はコネクタを学習過程のときと同一な位置
にて同一の姿勢で把持できる。
角度Φに無視できない誤差が存在する場合において、こ
れらのアーム長Ｌと関節角度Φとから不正確なハンド位
置Ｐが学習過程で求められても、コネクタを実際に把持
したその不正確なハンド位置Ｐが実行過程で指定される
と、学習過程と同一の関節角度Φが得られることから、
ロボット１４はコネクタを学習過程のときと同一な位置
にて同一の姿勢で把持できる。
【００４５】ここで、ステレオビジョン法による従来の
システムとニューラルネットワークによる本システムの
把持精度を測定する実験が行なわれており、同実験の結
果からも、コネクタ把持の精度向上が確認されている。
システムとニューラルネットワークによる本システムの
把持精度を測定する実験が行なわれており、同実験の結
果からも、コネクタ把持の精度向上が確認されている。
【００４６】それらの実験は４０×４０×４０の立方体
空間内をロボットハンドの作業空間とし、ステレオビジ
ョン法による従来システムの実験は作業空間内で７２９
の位置，姿勢にコネクタを置いて行なわれ、この実験に
おいて、コネクタ把持の平均位置精度が３．６７ｍｍ
で、平均姿勢精度が２．８８度の結果が得られた。
空間内をロボットハンドの作業空間とし、ステレオビジ
ョン法による従来システムの実験は作業空間内で７２９
の位置，姿勢にコネクタを置いて行なわれ、この実験に
おいて、コネクタ把持の平均位置精度が３．６７ｍｍ
で、平均姿勢精度が２．８８度の結果が得られた。
【００４７】またニューラルネットワークによる本シス
テムの実験は、作業空間を２０ｍｍ感覚で等分した２７
の格子点上においてコネクタをハンド座標系のα，β，
γ軸まわりに−２０度から＋２０度まで１０度の間隔で
回転させ、３×３×３×５×５×５＝３３７５の教師デ
ータをサンプリングし、それらの教師データを１０００
０回ニューラルネットワークに学習させ、学習の終了
後、７２９の教師点と教師点中間となる５１２の補間点
にコネクタを置いて行なわれ、この実験において、コネ
クタ把持の平均位置精度が１．３１ｍｍで、平均姿勢精
度が２．０９度の結果が得られた。
テムの実験は、作業空間を２０ｍｍ感覚で等分した２７
の格子点上においてコネクタをハンド座標系のα，β，
γ軸まわりに−２０度から＋２０度まで１０度の間隔で
回転させ、３×３×３×５×５×５＝３３７５の教師デ
ータをサンプリングし、それらの教師データを１０００
０回ニューラルネットワークに学習させ、学習の終了
後、７２９の教師点と教師点中間となる５１２の補間点
にコネクタを置いて行なわれ、この実験において、コネ
クタ把持の平均位置精度が１．３１ｍｍで、平均姿勢精
度が２．０９度の結果が得られた。
【００４８】また、実際の組み立て作業を想定し、作業
空間内で位置，姿勢を変えながらコネクタを吊して把持
する実験も行なわれており、この実験によれば、９５％
の率でコネクタの把持に成功したことを確認できた。
空間内で位置，姿勢を変えながらコネクタを吊して把持
する実験も行なわれており、この実験によれば、９５％
の率でコネクタの把持に成功したことを確認できた。
【００４９】尚、上記実施例では、物体の形状を認識す
るセンサとして、ビジョンセンサを用いているが、物体
を視覚的に認識する光学センサであれば、これに限られ
るものではない。
るセンサとして、ビジョンセンサを用いているが、物体
を視覚的に認識する光学センサであれば、これに限られ
るものではない。
【００５０】また、物体の距離画像（物体の奥行きな
ど）によって物体の形状を認識できるレーザレンジファ
インダや超音波センサなどを用いてもよい。
ど）によって物体の形状を認識できるレーザレンジファ
インダや超音波センサなどを用いてもよい。
【発明の効果】以上説明したように本発明によれば、従
来の座標変換演算を基本とした数学的解法とは異なり、
学習ベースの柔らかな論理により物体把持作業を実現す
ることにより、複雑なキャリブレーション作業や座標変
換演算などを行う必要がなく、さらに測定誤差なども学
習により吸収できるため、専門家でなくとも誰でも容易
に視覚を用いた物体把持システムを構築できる。
来の座標変換演算を基本とした数学的解法とは異なり、
学習ベースの柔らかな論理により物体把持作業を実現す
ることにより、複雑なキャリブレーション作業や座標変
換演算などを行う必要がなく、さらに測定誤差なども学
習により吸収できるため、専門家でなくとも誰でも容易
に視覚を用いた物体把持システムを構築できる。
【００５１】つまり、コネクタの視覚的な特徴とそのコ
ネクタの位置及び姿勢との関係をニューラルネットワー
クが学習するので、複雑なカメラキャリブレーションが
不要となる。
ネクタの位置及び姿勢との関係をニューラルネットワー
クが学習するので、複雑なカメラキャリブレーションが
不要となる。
【００５２】また、撮像面周辺部の非線型な歪みの吸収
でその画像データも有効に利用でき、さらに、焦点距離
の短いレンズも使用でき、しかも、学習過程と実行過程
で光源の方向，絞り，輝度などの作業環境を同一化して
測定精度を高めることが可能となる。
でその画像データも有効に利用でき、さらに、焦点距離
の短いレンズも使用でき、しかも、学習過程と実行過程
で光源の方向，絞り，輝度などの作業環境を同一化して
測定精度を高めることが可能となる。
【００５３】そして、ロボット１４のアーム長や関節角
度のセンサに定常的な測定誤差が存在していた場合であ
っても、その誤差をニューラルネットワークの学習によ
り吸収してコネクタ把持の精度を高めることが可能とな
る。
度のセンサに定常的な測定誤差が存在していた場合であ
っても、その誤差をニューラルネットワークの学習によ
り吸収してコネクタ把持の精度を高めることが可能とな
る。
【図１】発明の原理説明図である。
【図２】従来技術を説明するフローチャートである。
【図３】発明の作用を説明するフローチャートである。
【図４】実施例の構成説明図である。
【図５】実施例における学習過程の作用を説明するフロ
ーチャートである。
ーチャートである。
【図６】実施例の画像処理を説明するフローチャートで
ある。
ある。
【図７】コネクタ位置に関するデータの説明図である。
【図８】コネクタ姿勢に関するデータの説明図である。
【図９】ニューラルネットワークの構成説明図である。
【図１０】実施例における実行過程の作用を説明するフ
ローチャートである。
ローチャートである。
１２ ビジョンセンサ １４ 多関節型ロボット １６−１ ニューロンコンピュータ １６−２ ロボットコントローラ ４０ 通信ケーブル ９００ ガウシアンフィルタ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｇ 7/60
Claims (1)
- 【請求項１】 所定の三次元空間内に存在する物体（１
０）を認識する複数のセンサ（１２）と、 前記各センサ（１２）で認識した前記物体（１０）を把
持する多自由度のマニピュレータ（１４）と、 前記各センサ（１２）の認識出力が与えられ、前記マニ
ピュレータ（１４）を制御するマニピュレータ制御装置
（１６）と、 を有し、 前記マニピュレータ制御装置（１６）は、 前記マニピュレータ（１４）が把持した前記物体（１
０）の形状的特徴を各センサ（１２）の認識出力から抽
出する第１の特徴抽出手段（１８）と、 前記マニピュレータ（１４）が把持した前記物体（１
０）の位置及び姿勢を該マニピュレータ（１４）の各関
節角度から算出する位置姿勢算出手段（２０）と、 前記マニピュレータ（１４）が把持する前記物体（１
０）の形状的特徴を前記各センサ（１２）の認識出力か
ら抽出する第２の特徴抽出手段（２２）と、 前記第１の特徴抽出手段（１８）が抽出した特徴と前記
位置姿勢算出手段（２０）が算出した位置及び姿勢との
関係を学習し、該学習内容と前記第２の特徴抽出手段
（２２）が抽出した特徴とから前記マニピュレータ（１
４）が把持する前記物体（１０）の位置及び姿勢を求め
るニューラルネットワーク手段（２４）と、 前記ニューラルネットワーク手段（２４）が求めた位置
及び姿勢で前記物体（１０）が把持される角度に前記マ
ニピュレータ（１４）の各関節を制御する関節制御手段
（２６）と、 を含む、 ことを特徴とした三次元物体把持システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5230048A JPH0780790A (ja) | 1993-09-16 | 1993-09-16 | 三次元物体把持システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5230048A JPH0780790A (ja) | 1993-09-16 | 1993-09-16 | 三次元物体把持システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0780790A true JPH0780790A (ja) | 1995-03-28 |
Family
ID=16901751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5230048A Withdrawn JPH0780790A (ja) | 1993-09-16 | 1993-09-16 | 三次元物体把持システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0780790A (ja) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5963710A (en) * | 1996-09-13 | 1999-10-05 | Fujitsu Limited | Method and apparatus for automatically generating internal representation |
| JP2009083095A (ja) * | 2007-09-29 | 2009-04-23 | Ihi Corp | ロボット装置の制御方法及びロボット装置 |
| JP2010510895A (ja) * | 2006-11-30 | 2010-04-08 | 韓國電子通信研究院 | ロボットの姿勢検出装置及びその方法 |
| JP2017102755A (ja) * | 2015-12-02 | 2017-06-08 | 池上通信機株式会社 | 機械学習支援装置 |
| WO2018043524A1 (ja) * | 2016-09-02 | 2018-03-08 | 倉敷紡績株式会社 | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 |
| KR20180114200A (ko) * | 2016-03-03 | 2018-10-17 | 구글 엘엘씨 | 로봇 파지를 위한 심층 기계 학습 방법 및 장치 |
| KR20180114217A (ko) * | 2016-03-03 | 2018-10-17 | 구글 엘엘씨 | 로봇 파지용 심층 기계 학습 방법 및 장치 |
| CN109079787A (zh) * | 2018-08-20 | 2018-12-25 | 上海嘉奥信息科技发展有限公司 | 基于神经网络的非刚性机器人自动手眼标定方法 |
| JP2019008460A (ja) * | 2017-06-22 | 2019-01-17 | 株式会社東芝 | 物体検出装置、物体検出方法およびプログラム |
| JP2019093461A (ja) * | 2017-11-20 | 2019-06-20 | 株式会社安川電機 | 把持システム、学習装置、把持方法、及び、モデルの製造方法 |
| JP2019516568A (ja) * | 2016-05-20 | 2019-06-20 | グーグル エルエルシー | 物体を取り込む画像に基づき、環境内の将来のロボット運動に関するパラメータに基づいて、ロボットの環境内の物体の動きを予測することに関する機械学習の方法および装置 |
| JP2019107725A (ja) * | 2017-12-18 | 2019-07-04 | 国立大学法人信州大学 | 把持装置、学習装置、学習済みモデル、把持システム、判定方法、及び学習方法 |
| JP2019164836A (ja) * | 2019-06-19 | 2019-09-26 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
| JP2020040811A (ja) * | 2018-09-12 | 2020-03-19 | 三菱ロジスネクスト株式会社 | 判定装置および判定方法 |
| JP2020040790A (ja) * | 2018-09-11 | 2020-03-19 | 三菱ロジスネクスト株式会社 | 情報処理装置および情報処理方法 |
| KR20220124894A (ko) * | 2021-03-04 | 2022-09-14 | 아주대학교산학협력단 | 인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템 |
-
1993
- 1993-09-16 JP JP5230048A patent/JPH0780790A/ja not_active Withdrawn
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5963710A (en) * | 1996-09-13 | 1999-10-05 | Fujitsu Limited | Method and apparatus for automatically generating internal representation |
| JP2010510895A (ja) * | 2006-11-30 | 2010-04-08 | 韓國電子通信研究院 | ロボットの姿勢検出装置及びその方法 |
| JP2009083095A (ja) * | 2007-09-29 | 2009-04-23 | Ihi Corp | ロボット装置の制御方法及びロボット装置 |
| JP2017102755A (ja) * | 2015-12-02 | 2017-06-08 | 池上通信機株式会社 | 機械学習支援装置 |
| JP2019509905A (ja) * | 2016-03-03 | 2019-04-11 | グーグル エルエルシー | ロボットの把持のための深層機械学習方法および装置 |
| JP2019508273A (ja) * | 2016-03-03 | 2019-03-28 | グーグル エルエルシー | ロボットの把持のための深層機械学習方法および装置 |
| KR20180114217A (ko) * | 2016-03-03 | 2018-10-17 | 구글 엘엘씨 | 로봇 파지용 심층 기계 학습 방법 및 장치 |
| CN108885715A (zh) * | 2016-03-03 | 2018-11-23 | 谷歌有限责任公司 | 用于机器人抓取的深度机器学习方法和装置 |
| CN109074513A (zh) * | 2016-03-03 | 2018-12-21 | 谷歌有限责任公司 | 用于机器人抓握的深度机器学习方法和装置 |
| US11548145B2 (en) | 2016-03-03 | 2023-01-10 | Google Llc | Deep machine learning methods and apparatus for robotic grasping |
| US11045949B2 (en) | 2016-03-03 | 2021-06-29 | Google Llc | Deep machine learning methods and apparatus for robotic grasping |
| CN109074513B (zh) * | 2016-03-03 | 2020-02-18 | 谷歌有限责任公司 | 用于机器人抓握的深度机器学习方法和装置 |
| US10946515B2 (en) | 2016-03-03 | 2021-03-16 | Google Llc | Deep machine learning methods and apparatus for robotic grasping |
| CN108885715B (zh) * | 2016-03-03 | 2020-06-26 | 谷歌有限责任公司 | 用于机器人抓取的深度机器学习方法和装置 |
| JP2019217632A (ja) * | 2016-03-03 | 2019-12-26 | グーグル エルエルシー | ロボットの把持のための深層機械学習方法および装置 |
| KR20180114200A (ko) * | 2016-03-03 | 2018-10-17 | 구글 엘엘씨 | 로봇 파지를 위한 심층 기계 학습 방법 및 장치 |
| US10639792B2 (en) | 2016-03-03 | 2020-05-05 | Google Llc | Deep machine learning methods and apparatus for robotic grasping |
| JP2021175592A (ja) * | 2016-05-20 | 2021-11-04 | グーグル エルエルシーGoogle LLC | 物体を取り込む画像に基づき、環境内の将来のロボット運動に関するパラメータに基づいて、ロボットの環境内の物体の動きを予測することに関する機械学習の方法および装置 |
| JP2019516568A (ja) * | 2016-05-20 | 2019-06-20 | グーグル エルエルシー | 物体を取り込む画像に基づき、環境内の将来のロボット運動に関するパラメータに基づいて、ロボットの環境内の物体の動きを予測することに関する機械学習の方法および装置 |
| US11173599B2 (en) | 2016-05-20 | 2021-11-16 | Google Llc | Machine learning methods and apparatus related to predicting motion(s) of object(s) in a robot's environment based on image(s) capturing the object(s) and based on parameter(s) for future robot movement in the environment |
| JPWO2018043524A1 (ja) * | 2016-09-02 | 2019-06-24 | 倉敷紡績株式会社 | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 |
| WO2018043524A1 (ja) * | 2016-09-02 | 2018-03-08 | 倉敷紡績株式会社 | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 |
| JP2019008460A (ja) * | 2017-06-22 | 2019-01-17 | 株式会社東芝 | 物体検出装置、物体検出方法およびプログラム |
| US11338435B2 (en) | 2017-11-20 | 2022-05-24 | Kabushiki Kaisha Yaskawa Denki | Gripping system with machine learning |
| JP2019093461A (ja) * | 2017-11-20 | 2019-06-20 | 株式会社安川電機 | 把持システム、学習装置、把持方法、及び、モデルの製造方法 |
| JP2019107725A (ja) * | 2017-12-18 | 2019-07-04 | 国立大学法人信州大学 | 把持装置、学習装置、学習済みモデル、把持システム、判定方法、及び学習方法 |
| CN109079787B (zh) * | 2018-08-20 | 2020-10-16 | 上海嘉奥信息科技发展有限公司 | 基于神经网络的非刚性机器人自动手眼标定方法 |
| CN109079787A (zh) * | 2018-08-20 | 2018-12-25 | 上海嘉奥信息科技发展有限公司 | 基于神经网络的非刚性机器人自动手眼标定方法 |
| JP2020040790A (ja) * | 2018-09-11 | 2020-03-19 | 三菱ロジスネクスト株式会社 | 情報処理装置および情報処理方法 |
| JP2020040811A (ja) * | 2018-09-12 | 2020-03-19 | 三菱ロジスネクスト株式会社 | 判定装置および判定方法 |
| JP2019164836A (ja) * | 2019-06-19 | 2019-09-26 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
| KR20220124894A (ko) * | 2021-03-04 | 2022-09-14 | 아주대학교산학협력단 | 인공지능 기반의 식재료 추적 장치 및 방법과 이를 이용한 요리 로봇 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2023056670A1 (zh) | 复杂光照条件下基于视触融合的机械臂自主移动抓取方法 | |
| CN109255813B (zh) | 一种面向人机协作的手持物体位姿实时检测方法 | |
| Zhuang et al. | Simultaneous calibration of a robot and a hand-mounted camera | |
| CN113379849B (zh) | 基于深度相机的机器人自主识别智能抓取方法及系统 | |
| JP4191080B2 (ja) | 計測装置 | |
| JPH0780790A (ja) | 三次元物体把持システム | |
| JP4021413B2 (ja) | 計測装置 | |
| CN110378325B (zh) | 一种机器人抓取过程中的目标位姿识别方法 | |
| CN110900581A (zh) | 基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置 | |
| CN107813310A (zh) | 一种基于双目视觉多手势机器人控制方法 | |
| CN106485746A (zh) | 基于图像无标定的视觉伺服机械手及其控制方法 | |
| CN113492393A (zh) | 一种由人演示的机器人示教 | |
| WO2020190166A1 (ru) | Способ и система захвата объекта с помощью роботизированного устройства | |
| Richtsfeld et al. | Grasping of unknown objects from a table top | |
| CN114463244A (zh) | 一种视觉机器人抓取系统及其控制方法 | |
| CN117103277A (zh) | 一种基于多模态数据融合的机械手臂感知方法 | |
| CN115464657A (zh) | 一种由电机驱动的旋转扫描装置的手眼标定方法 | |
| JP4591043B2 (ja) | ロボットによる任意形状物体の把持方法 | |
| CN116901054A (zh) | 识别位置姿态的方法、系统以及存储介质 | |
| CN115194774A (zh) | 一种基于多目视觉的双机械臂抓握系统控制方法 | |
| KR102452315B1 (ko) | 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법 | |
| Wei et al. | Multisensory visual servoing by a neural network | |
| Ren et al. | Vision based object grasping of robotic manipulator | |
| CN211890823U (zh) | 基于RealSense相机的四自由度机械臂视觉伺服控制系统 | |
| JP2616225B2 (ja) | 相対位置決め方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20001128 |