JP7054036B1 - ロボットビジョンシステム - Google Patents

ロボットビジョンシステム Download PDF

Info

Publication number
JP7054036B1
JP7054036B1 JP2021114391A JP2021114391A JP7054036B1 JP 7054036 B1 JP7054036 B1 JP 7054036B1 JP 2021114391 A JP2021114391 A JP 2021114391A JP 2021114391 A JP2021114391 A JP 2021114391A JP 7054036 B1 JP7054036 B1 JP 7054036B1
Authority
JP
Japan
Prior art keywords
robot
work
work space
vision system
end effector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021114391A
Other languages
English (en)
Other versions
JP2023010327A (ja
Inventor
將夫 三本木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nachi Fujikoshi Corp
Original Assignee
Nachi Fujikoshi Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nachi Fujikoshi Corp filed Critical Nachi Fujikoshi Corp
Priority to JP2021114391A priority Critical patent/JP7054036B1/ja
Application granted granted Critical
Publication of JP7054036B1 publication Critical patent/JP7054036B1/ja
Priority to CN202210393661.XA priority patent/CN114589699A/zh
Priority to TW111120596A priority patent/TWI798099B/zh
Priority to PCT/JP2022/024366 priority patent/WO2023282032A1/ja
Publication of JP2023010327A publication Critical patent/JP2023010327A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

【課題】ワークを確実且つ迅速に保持することができ、作業効率の更なる向上を図ることが可能なロボットビジョンシステムを提供することを目的とする。【解決手段】本発明にかかるロボットビジョンシステム１００は、カメラ１１８を有するロボットを含むロボットビジョンシステム１００において、ワーク１０４の存在しうる範囲であるワーク空間１０８を算出するワーク空間算出部１２２と、ロボット１１０の動作をティーチング動作またはビジュアルフィードバック動作に切り替える動作切替部１３０とを備え、動作切替部１３０は、ロボット１１０のエンドエフェクタ１１６がワーク空間１０８外に移動した場合にはティーチング動作に切り替え、エンドエフェクタ１１６がワーク空間１０８内に移動した場合にはビジュアルフィードバック動作に切り替えることを特徴とする。【選択図】図３

Description

本発明は、カメラを有するロボットを含むロボットビジョンシステムに関する。
近年、工場等の生産現場において、ロボットアームやマニピュレータ等の産業用機械が用いられている。例えば特許文献１には、ロボットの移動制御方法が開示されている。特許文献１では、ロボット１０のアーム１１の先端にはツール１２（エンドエフェクタ）が取り付けられている。
特に特許文献１では、ツール１２がワーク１４に接近してカメラ１３の視野にワーク１４が入ると、画像処理装置２０がそれを感知し、ロボット制御装置３０は通常モードから自律アプローチモードに切り換わり、自律アプローチ動作が開始される。ここで、通常モードでは、従来のジョグ操作によってロボットを移動させている。一方、自律アプローチモードでは、対象物に対するアプローチ完了状態を表現するアプローチ完了状態表現データに基づいて、ロボットが自律的にアプローチ動作の最終的な移動目標位置まで移動する。
特許第３９９８７４１号
特許文献１によれば、目標位置への自律的なアプローチが可能となることで、作業効率を向上させることのできるとしている。しかしながら、仮にワークがツールから離れていた状態でカメラ１３の視野にワークが映り込んでしまうと、その時点からロボットは自律アプローチモードで動作することになる。すると、ロボットがワークへ到達する位置、すなわち最終移動目標位置まで到達するまでに時間を要することとなり、作業時間を大幅に短縮することは難しいと考えられる。このため、特許文献１の技術には更なる改善の余地がある。
本発明は、このような課題に鑑み、ワークを確実且つ迅速に保持することができ、作業効率の更なる向上を図ることが可能なロボットビジョンシステムを提供することを目的としている。
上記課題を解決するために、本発明にかかるロボットビジョンシステムの代表的な構成は、カメラを有するロボットを含むロボットビジョンシステムにおいて、ワークの存在しうる範囲であるワーク空間を算出するワーク空間算出部と、ロボットの動作をティーチング動作またはビジュアルフィードバック動作に切り替える動作切替部とを備え、動作切替部は、ロボットのエンドエフェクタがワーク空間外に移動した場合にはティーチング動作に切り替え、エンドエフェクタがワーク空間内に移動した場合にはビジュアルフィードバック動作に切り替えることを特徴とする。
本発明によれば、ワークを確実且つ迅速に保持することができ、作業効率の更なる向上を図ることが可能なロボットビジョンシステムを提供することができる。
本実施形態にかかるロボットビジョンシステムを説明する概略図である。 本実施形態のロボットビジョンシステムの機能構成を説明する機能ブロック図である。 本実施形態のロボットビジョンシステムの動作を説明するフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
図１は、本実施形態にかかるロボットビジョンシステム１００を説明する概略図である。図１に示すように、本実施形態のロボットビジョンシステム１００は、ロボット１１０および制御部１２０を含んで構成される。また制御部１２０には、ティーチングペンダント１４０が接続されている。ティーチングペンダント１４０は、ユーザがロボットアーム１１４に動作をティーチングしたり、手動操作したりするための装置である。
ロボット１１０はアーム１１４を支持する本体部１１２を有し、アーム１１４の先端にはエンドエフェクタ１１６が取り付けられている。またエンドエフェクタ１１６にはカメラ１１８が取り付けられている。ロボット１１０は、ワーク１０４をエンドエフェクタ１１６によって保持し、かかるワーク１０４を所定の位置まで移動する。
図２は、本実施形態のロボットビジョンシステム１００の機能構成を説明する機能ブロック図である。図２に示すように、本実施形態のロボットビジョンシステム１００は、ロボット１１０および制御部１２０を含んで構成される。制御部１２０は、ワーク空間算出部１２２、アーム移動部１２４、ロボット座標取得部１２６、領域判断部１２８、動作切替部１３０、撮像部１３２およびワーク認識部１３４を有する。
ワーク空間算出部１２２は、事前の処理として、ワークテーブル１０６においてワーク１０４の存在しうる範囲であるワーク空間１０８を算出する。詳細には、ワークテーブル１０６にワーク１０４を載置する場所を様々に変えて複数回撮像したり、ワークテーブル１０６に複数のワーク１０４を載置して撮像したりすることで、その撮像データからワーク空間１０８を設定することができる。
図３は、本実施形態のロボットビジョンシステム１００の動作を説明するフローチャートである。なお、本実施形態では、ロボット１１０のエンドエフェクタ１１６がワーク空間１０８外からワーク空間１０８内に移動することを前提として説明する。
処理開始時にロボット１１０のエンドエフェクタ１１６がワーク空間外に位置する場合、制御部１２０のアーム移動部１２４は、ロボット１１０のアーム１１４およびエンドエフェクタ１１６をティーチング動作によって所定のプログラムに沿って動作させる（Ｓ２０２）。
次に、ロボット座標取得部１２６はエンドエフェクタ１１６のロボット座標を取得する（Ｓ２０４）。領域判断部１２８は、ワーク空間算出部１２２におけるワーク空間１０８およびロボット座標取得部１２６が取得したロボット座標を参照し、ロボット１１０のエンドエフェクタ１１６がワーク空間１０８内に位置するかを判断する（Ｓ２０６）。エンドエフェクタ１１６がワーク空間１０８外に位置した場合（Ｓ２０６のＮＯ）、制御部１２０は、Ｓ２０２－Ｓ２０６の処理を繰り返す。
ロボット１１０のエンドエフェクタ１１６がワーク空間１０８内に位置した場合（Ｓ２０６のＹＥＳ）、動作切替部１３０は、ロボット１１０の動作をティーチング動作からビジュアルフィードバック動作に切り替える（Ｓ２０８）。そして、制御部１２０のアーム移動部１２４は、ロボット１１０のアーム１１４およびエンドエフェクタ１１６をビジュアルフィードバック動作で動作させる（Ｓ２１２）。
ビジュアルフィードバック動作時には、制御部１２０の撮像部１３２はカメラ１１０を用いて画像を撮像する。そして、ワーク認識部１３４が画像内においてワーク１０４を認識したら（物体認識）、アーム移動部１２４はロボット１１０のエンドエフェクタ１１６をワーク１０４まで移動させ、エンドエフェクタ１１６によってワーク１０４を保持する。
ビジュアルフィードバック動作に切り替えた後（Ｓ２０６～Ｓ２１２）は、ロボット座標取得（Ｓ２０４）に戻る。そして、ロボット１１０のエンドエフェクタ１１６の現在位置がワーク空間１０８内にあるか否か（Ｓ２０６）を継続的に監視・判断する。これにより、ロボット１１０のエンドエフェクタ１１６がワーク空間１０８内からワーク空間１０８外に移動する場合には、動作切替部１３０は、ロボット１１０の動作をビジュアルフィードバック動作からティーチング動作に切り替えることができる。
上記説明したように本実施形態のロボットビジョンシステム１００では、ワーク１０４の存在しうる範囲であるワーク空間１０８が予め設定されている。そして、ロボットの１１６がワーク空間１０８内に移動すると、ロボット１１０の動作がティーチング動作からビジュアルフィードバック動作に切り替えられる。これにより、ワーク空間１０８まではティーチング動作によってエンドエフェクタ１１６を効率的に移動させ、エンドエフェクタ１１６がワーク空間１０８に移動すると精密にエンドエフェクタ１１６を制御するビジュアルフィードバック動作となる。したがって、ワーク１０４を確実且つ迅速に保持することができ、作業効率の更なる向上を図ることが可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
本発明は、カメラを有するロボットを含むロボットビジョンシステムとして利用することができる。
１００…ロボットビジョンシステム、１０４…ワーク、１０６…ワークテーブル、１０８…ワーク空間、１１０…ロボット、１１２…本体部、１１４…アーム、１１６…エンドエフェクタ、１１８…カメラ、１２０…制御部、１２２…ワーク空間算出部、１２４…アーム移動部、１２６…ロボット座標取得部、１２８…領域判断部、１３０…動作切替部、１３２…撮像部、１３４…ワーク認識部、１４０…ティーチングペンダント

Claims (1)

  1. カメラを有するロボットを含むロボットビジョンシステムにおいて、
    ワークの存在しうる範囲であるワーク空間を算出するワーク空間算出部と、
    前記ロボットの動作をティーチング動作またはビジュアルフィードバック動作に切り替える動作切替部とを備え、
    前記動作切替部は、前記ロボットのエンドエフェクタが前記ワーク空間外に移動した場合にはティーチング動作に切り替え、該エンドエフェクタが該ワーク空間内に移動した場合にはビジュアルフィードバック動作に切り替えることを特徴とするロボットビジョンシステム。
JP2021114391A 2021-07-09 2021-07-09 ロボットビジョンシステム Active JP7054036B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021114391A JP7054036B1 (ja) 2021-07-09 2021-07-09 ロボットビジョンシステム
CN202210393661.XA CN114589699A (zh) 2021-07-09 2022-04-14 机器人视觉系统
TW111120596A TWI798099B (zh) 2021-07-09 2022-06-02 機器人視覺系統
PCT/JP2022/024366 WO2023282032A1 (ja) 2021-07-09 2022-06-17 ロボットビジョンシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021114391A JP7054036B1 (ja) 2021-07-09 2021-07-09 ロボットビジョンシステム

Publications (2)

Publication Number Publication Date
JP7054036B1 true JP7054036B1 (ja) 2022-04-13
JP2023010327A JP2023010327A (ja) 2023-01-20

Family

ID=81260117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021114391A Active JP7054036B1 (ja) 2021-07-09 2021-07-09 ロボットビジョンシステム

Country Status (4)

Country Link
JP (1) JP7054036B1 (ja)
CN (1) CN114589699A (ja)
TW (1) TWI798099B (ja)
WO (1) WO2023282032A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110190A (ja) 2007-10-29 2009-05-21 Fanuc Ltd ワーク搬送用ロボットの制御装置
JP2010152664A (ja) 2008-12-25 2010-07-08 Nissei Corp 画像を利用したセンサレスモータ駆動ロボット
JP2012111010A (ja) 2010-11-26 2012-06-14 Daihen Corp ロボット制御装置
JP2012254518A (ja) 2011-05-16 2012-12-27 Seiko Epson Corp ロボット制御システム、ロボットシステム及びプログラム
JP2015085458A (ja) 2013-10-31 2015-05-07 セイコーエプソン株式会社 ロボット制御装置、ロボットシステム、及びロボット
JP2015136763A (ja) 2014-01-23 2015-07-30 セイコーエプソン株式会社 制御装置、ロボットシステム、ロボット及びロボット制御方法
JP2015174206A (ja) 2014-03-18 2015-10-05 セイコーエプソン株式会社 ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09311712A (ja) * 1996-05-21 1997-12-02 Nippon Telegr & Teleph Corp <Ntt> ロボット制御方法及び装置
JP2010131711A (ja) * 2008-12-05 2010-06-17 Honda Motor Co Ltd ロボットアームの制御方法
US8600552B2 (en) * 2009-10-30 2013-12-03 Honda Motor Co., Ltd. Information processing method, apparatus, and computer readable medium
JP6777670B2 (ja) * 2018-03-27 2020-10-28 ファナック株式会社 画像処理を利用してロボットの教示を補正するロボットシステム
CN110842928B (zh) * 2019-12-04 2022-02-22 中科新松有限公司 一种复合机器人视觉引导定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110190A (ja) 2007-10-29 2009-05-21 Fanuc Ltd ワーク搬送用ロボットの制御装置
JP2010152664A (ja) 2008-12-25 2010-07-08 Nissei Corp 画像を利用したセンサレスモータ駆動ロボット
JP2012111010A (ja) 2010-11-26 2012-06-14 Daihen Corp ロボット制御装置
JP2012254518A (ja) 2011-05-16 2012-12-27 Seiko Epson Corp ロボット制御システム、ロボットシステム及びプログラム
JP2015085458A (ja) 2013-10-31 2015-05-07 セイコーエプソン株式会社 ロボット制御装置、ロボットシステム、及びロボット
JP2015136763A (ja) 2014-01-23 2015-07-30 セイコーエプソン株式会社 制御装置、ロボットシステム、ロボット及びロボット制御方法
JP2015174206A (ja) 2014-03-18 2015-10-05 セイコーエプソン株式会社 ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム

Also Published As

Publication number Publication date
TW202302304A (zh) 2023-01-16
CN114589699A (zh) 2022-06-07
TWI798099B (zh) 2023-04-01
JP2023010327A (ja) 2023-01-20
WO2023282032A1 (ja) 2023-01-12

Similar Documents

Publication Publication Date Title
US11090814B2 (en) Robot control method
CN107848116B (zh) 远程操作机器人系统
CN108942880B (zh) 机器人系统
JP4249794B1 (ja) ワーク搬送用ロボットの制御装置
CN108297056B (zh) 具备机器人的安全确保动作功能的人协调机器人系统
JP4544145B2 (ja) ロボットの干渉回避方法およびロボット
JP6328599B2 (ja) ロボットの動作可能範囲を算出するロボットの手動送り装置
WO2019116891A1 (ja) ロボットシステム及びロボット制御方法
CN107414837B (zh) 工业机器人非正常停机后安全自动回原位的方法及其系统
JP2020078833A (ja) 撮影装置及び工作機械
EP3238883A1 (en) Robot
JP5228783B2 (ja) ロボットの原点復帰装置
JP2017124470A (ja) ロボット、及びロボットシステム
US11345036B2 (en) Robot control device, robot control system, and robot control method
JP7054036B1 (ja) ロボットビジョンシステム
JP5011507B2 (ja) ロボット教示システム及びロボット教示方法
US11964391B2 (en) Robot system
JP7287866B2 (ja) ロボット制御装置およびアーク溶接ロボットシステム
CN111699079B (zh) 协调系统、操作设备和方法
JP2015231659A (ja) ロボット装置
JP2007168000A (ja) ロボットのダイレクト操作装置
JP2019217607A (ja) ティーチング装置、ロボット制御システム及びティーチング方法
JP2012024848A (ja) ロボット教示装置
JP2018015856A (ja) ロボット、ロボット制御装置、及びロボットシステム
Sugandi et al. Hand tracking-based motion control for robot arm using stereo camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210720

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220314

R150 Certificate of patent or registration of utility model

Ref document number: 7054036

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150