JP6795471B2 - ロボットシステム - Google Patents

ロボットシステム Download PDF

Info

Publication number
JP6795471B2
JP6795471B2 JP2017162670A JP2017162670A JP6795471B2 JP 6795471 B2 JP6795471 B2 JP 6795471B2 JP 2017162670 A JP2017162670 A JP 2017162670A JP 2017162670 A JP2017162670 A JP 2017162670A JP 6795471 B2 JP6795471 B2 JP 6795471B2
Authority
JP
Japan
Prior art keywords
robot
processing object
image
camera
photographing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017162670A
Other languages
English (en)
Other versions
JP2019038075A (ja
Inventor
聖 吉野
聖 吉野
愼 山田
愼 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2017162670A priority Critical patent/JP6795471B2/ja
Priority to US16/057,105 priority patent/US10786906B2/en
Priority to DE102018213985.7A priority patent/DE102018213985B4/de
Priority to CN201810961409.8A priority patent/CN109421048B/zh
Publication of JP2019038075A publication Critical patent/JP2019038075A/ja
Priority to US16/993,492 priority patent/US11565427B2/en
Application granted granted Critical
Publication of JP6795471B2 publication Critical patent/JP6795471B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39451—Augmented reality for robot programming

Description

本発明は、撮影装置で撮影された処理対象物の画像に基づいて、処理対象物に追従するようにロボットの移動先の位置補正を行うロボットシステムに関する。
特許文献１及び２には、撮影装置で撮影された画像に基づいて、ロボットの移動先の位置補正を行うロボットシステムが記載されている。
特許文献１に記載のロボットシステムは、撮影装置で撮影されたロボットの画像に基づいてロボットのＣＧ映像を生成し、ＣＧ映像をタッチスクリーン上に表示する。ロボットシステムは、ユーザのタッチ操作に応じてタッチスクリーン上でのＣＧ映像のロボットを仮想的に動作させ、仮想的なロボットの動作に追従して実際のロボットを動作させる。
特許文献２に記載のロボットシステムは、撮影装置で撮影された処理対象物の画像を表示装置に表示する。これにより、作業者は、表示装置に表示された処理対象物の画像に基づいて、ロボットの動作を遠隔操作する。
また、例えば産業用ロボットシステムにおいて、撮影装置で撮影された処理対象物の画像に基づいて、処理対象物に追従するようにロボットの移動先の位置補正を行うロボットシステムがある。このようなロボットシステムでは、ロボット、撮影装置及び処理対象物の位置に関する情報が予め設定されている。
ロボット、撮影装置及び処理対象物の位置に関する情報は、例えば、
（１）ロボットの位置補正の基準となる座標系の原点及び各軸の方向、
（２）ロボットの位置補正の基準となるロボットの位置（例えば、後述するロボットの各関節の回転角度又は並進量）、
（３）ロボットと撮影装置との相対位置関係、及び、
（４）撮影装置と処理対象物との距離、
である。
ここで、典型的なロボットでは、ベース部が地面又はレール上等に固定されている。これより、本出願において、「移動」とは、ロボットそのものの運搬を意味するものではなく、ロボットの各関節の回転量又は並進量を変更し、ロボットの位置制御の対象部位（例えば、アーム先端部）の一点の位置を移動することを意味する。
特開２０１２−１７１０２４号公報 特開２００４−２１３６７３号公報
上述したように、ロボットの移動先の位置補正を行うためには、ロボット、撮影装置及び処理対象物の位置に関する情報を予め設定しておく必要がある。この際、誤った情報を設定してしまうと、撮影画像内に映っている処理対象物の位置に追従してロボットを移動させたいのに、ロボットが処理対象物の位置に追従しない不適切な挙動を行うことがある。そこで、ロボット、撮影装置及び処理対象物の位置に関する設定情報が適切か否かを確認する必要がある。
ロボットシステムでは、処理対象物の撮影画像に基づいてロボットの位置補正量を計算する。作業者はこの計算されたロボットの位置補正量を知ることが可能である。しかし、上述したようにロボットの位置の情報は例えば複数の関節の回転角度又は並進量であるため、実際にロボットがどの位置に移動するかを正確に予測するには、熟練と注意力を要する。そのため、作業者の認識とロボットの移動とに乖離が生じやすく、ロボット、撮影装置及び処理対象物の位置に関する設定情報の設定を適切に施す難易度は高い。
上述したように、ロボットシステムの動作前に設定情報の設定が適切に施されているか否かを確認することが難しいため、ロボットシステムを実際に動作させて確認することが考えられる。しかし、設定情報の設定が誤っている場合、ロボットが不適切な位置に移動してしまい、ロボットが作業者又は周辺装置と衝突して傷害又は破損が生じてしまうという問題がある。
また、コンベア等によって処理対象物が移動する場合（トラッキングの場合）、より確認が難しくなる。例えば、ロボットシステムを実際に動作させて確認する場合、処理対象物の位置が変化して撮影画像の視野内に処理対象物が残存しないことがある。
また、上述したロボットと作業者又は周辺装置との衝突を回避するために、ロボットをゆっくりと移動させることが考えられるが、コンベア等の速度も遅くする必要がある。このように、ロボット以外の設定調整に関する作業量が増えるので、ロボットの位置補正後の移動先の把握がより難しくなる。更には、設定情報の確認の時間が長くなる。
本発明は、ロボット、撮影装置又は処理対象物の位置に関する設定情報の設定が適切か否かを、正確、短時間かつ容易に確認できるロボットシステムを提供することを目的とする。
上記問題点を解決するために、本願発明者らは、ＡＲ空間を用いて、ロボット、撮影装置又は処理対象物の位置に関する設定情報を視覚化することを見出した。
この点に関し、特許文献１及び２にはＡＲ空間を利用してロボットの位置制御を行うことが記載されているが、特許文献１及び２に記載のロボットシステムは、ロボット、撮影装置及び処理対象物を含むＡＲ空間を利用して、ロボット、撮影装置又は処理対象物の位置に関する設定情報の設定が適切か否かを確認するものではない。
（１） 本発明に係るロボットシステム（例えば、後述のロボットシステム１）は、処理対象物（例えば、後述のワークＷ）に所定の処理を行うロボット（例えば、後述のロボット１０）と、前記処理対象物を撮影する撮影装置（例えば、後述のカメラ２０）と、予め設定された前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物に追従するように前記ロボットの移動先の位置補正を行うロボット制御装置（例えば、後述のロボット制御装置４０）と、ＡＲ空間を提供する表示装置（例えば、後述の表示装置６０）とを備え、前記ロボット制御装置は、前記ロボット及び前記撮影装置の位置に関する情報に基づいて、前記撮影装置の位置を計算し、前記表示装置は、計算された前記撮影装置の位置に基づいて、前記ＡＲ空間の対応位置に、前記撮影装置を模した画像を表示する。
（２） （１）に記載のロボットシステムにおいて、前記ロボットの位置に関する情報は、（１）前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向、並びに、（２）前記ロボットの位置補正の基準となる前記ロボットの位置であり、前記撮影装置の位置に関する情報は、（３）前記ロボットと前記撮影装置との相対位置関係であってもよい。
（３） 本発明に係る別のロボットシステム（例えば、後述のロボットシステム１）は、処理対象物（例えば、後述のワークＷ）に所定の処理を行うロボット（例えば、後述のロボット１０）と、前記処理対象物を撮影する撮影装置（例えば、後述のカメラ２０）と、予め設定された前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物に追従するように前記ロボットの移動先の位置補正を行うロボット制御装置（例えば、後述のロボット制御装置４０）と、ＡＲ空間を提供する表示装置（例えば、後述の表示装置６０）とを備え、前記ロボット制御装置は、前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物の位置を計算し、前記表示装置は、計算された前記処理対象物の位置に基づいて、前記ＡＲ空間の対応位置に、前記撮影装置で撮影された前記処理対象物の画像を表示する。
（４） （３）に記載のロボットシステムにおいて、前記ロボットの位置に関する情報は、（１）前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向、並びに、（２）前記ロボットの位置補正の基準となる前記ロボットの位置であり、前記撮影装置の位置に関する情報は、（３）前記ロボットと前記撮影装置との相対位置関係であり、前記処理対象物の位置に関する情報は、（４）前記撮影装置と前記処理対象物との距離であってもよい。
（５） （３）又は（４）に記載のロボットシステムにおいて、前記処理対象物は、コンベア上を移動しており、前記ロボット制御装置は、更に前記処理対象物の移動速度に基づいて、前記処理対象物の位置を計算してもよい。
（６） 本発明に係る更に別のロボットシステム（例えば、後述のロボットシステム１）は、処理対象物（例えば、後述のワークＷ）に所定の処理を行うロボット（例えば、後述のロボット１０）と、前記処理対象物を撮影する撮影装置（例えば、後述のカメラ２０）と、予め設定された前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物に追従するように前記ロボットの移動先の位置補正を行うロボット制御装置（例えば、後述のロボット制御装置４０）と、ＡＲ空間を提供する表示装置（例えば、後述の表示装置６０）とを備え、前記ロボットの位置に関する情報は、前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向を含み、前記表示装置は、前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向を模した画像を表示する。
本発明によれば、ロボット、撮影装置又は処理対象物の位置に関する設定情報の設定が適切か否かを、正確、短時間かつ容易に確認できるロボットシステムを提供することができる。
本実施形態に係るロボットシステムの構成を示す図である。 図１に示すロボットシステムであって、第１実施形態に係るロボットシステムにおける表示装置に表示されるＡＲ空間の一例を示す図である。 第１実施形態に係るロボットシステムによる設定情報の確認動作を示すフローチャートである。 図１に示すロボットシステムであって、第２実施形態に係るロボットシステムにおける表示装置に表示されるＡＲ空間の一例を示す図である。 第２実施形態に係るロボットシステムによる設定情報の確認動作を示すフローチャートである。 図１に示すロボットシステムであって、第３実施形態に係るロボットシステムにおける表示装置に表示されるＡＲ空間の一例を示す図である。 第３実施形態に係るロボットシステムによる設定情報の確認動作を示すフローチャートである。
以下、添付の図面を参照して本発明の実施形態の一例について説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。
（第１実施形態）
図１は、第１実施形態に係るロボットシステムの構成を示す図である。図１に示すロボットシステム１は、カメラ（撮影装置）２０で撮影されたワーク（処理対象物）Ｗの画像に基づいて、ワークＷに追従するようにロボット１０のアーム１２の先端部（位置制御の対象部位）の移動先の位置補正を行う。
ロボットシステム１は、ロボット１０と、カメラ２０と、コンベア３０と、ロボット制御装置４０と、画像処理装置５０と、ＡＲ表示装置６０とを備える。
ロボット１０は、ワークＷの検査、ワークＷの加工等の所定の処理を行うためのロボットである。このようなロボット１０としては、公知のロボットマニピュレータを用いることができる。図１には、ロボット１０として、６つの関節軸を有するマニピュレータが例示されている。このロボット１０では、アーム１２の先端部が位置制御の対象部位である。
カメラ２０は、ロボット１０のアーム１２の先端部に設けられている。カメラ２０は、ワークＷを撮影し、撮影したワークＷの画像をロボット制御装置４０に提供する。
ワークＷは、コンベア３０上に設けられている。コンベア３０は、ワークＷを所定の搬送方向に所定速度で移動する。
ロボット制御装置４０は、ロボット１０、カメラ２０及びワークＷの位置に関する情報を予め設定されている。ロボット制御装置４０は、カメラ２０で撮影されたワークＷの画像を、カメラ２０から取得する。ロボット制御装置４０は、例えば数値制御装置（図示せず）から動作指令（動作プログラム）を取得する。ロボット制御装置４０は、動作指令、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報、及びワークＷの画像に基づいて、ワークＷに追従するように、ロボット１０のアーム１２の先端部（位置制御の対象部位）の位置制御、及び移動先の位置補正を行う。
ロボット１０の位置に関する設定情報は、例えば、
（１）ロボット１０の位置補正の基準となる３次元座標系の原点及び各座標軸の方向、及び、
（２）ロボット１０の位置補正の基準となるロボット１０の位置（例えば、各関節の回転角度又は並進量）、である。
カメラ２０の位置に関する設定情報は、例えば、
（３）ロボット１０とカメラ２０との相対位置関係、である。
ワークＷの位置に関する設定情報は、例えば、
（４）カメラ２０とワークＷとの距離、である。
また、ロボット制御装置４０は、設定情報におけるロボット１０及びカメラ２０の位置に関する設定情報の設定が適切であるか否かを確認するために、ロボット１０及びカメラ２０の位置に関する設定情報（１）、（２）、（３）に基づいて、カメラ２０の位置を計算する。
画像処理装置５０は、計算されたカメラ２０の位置に基づいて、表示装置６０のＡＲ空間の対応位置に、カメラ２０を模したカメラの画像を描画するための画像データを生成する。
画像処理装置５０は、ロボット制御装置４０に含まれていてもよい。
表示装置６０は、現実空間に仮想の情報を重ね合わせて表示するＡＲ（Augmented Reality：拡張現実）空間を提供する。表示装置６０の一例としては、ヘッドマウントディスプレイが挙げられる。
図２に、表示装置６０に表示されるＡＲ空間の一例を示す。図２に示すように、表示装置６０は、画像処理装置５０で生成された画像データに基づいて、ロボット１０、カメラ２０及びワークＷを含むＡＲ空間の対応位置に、カメラの画像２１を表示する。
上述したロボット制御装置４０及び画像処理装置５０は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の演算プロセッサで構成される。ロボット制御装置４０及び画像処理装置５０の各種機能は、例えば記憶部に格納された所定のソフトウェア（プログラム、アプリケーション）を実行することで実現される。ロボット制御装置４０及び画像処理装置５０の各種機能は、ハードウェアとソフトウェアとの協働で実現されてもよいし、ハードウェア（電子回路）のみで実現されてもよい。
また、ロボット制御装置４０は、ロボット１０、カメラ２０及び画像処理装置５０と有線または無線で接続されており、情報の送受信が可能である。また、画像処理装置５０は、表示装置６０と有線または無線で接続されており、情報の送受信が可能である。
次に、図３を参照して、第１実施形態のロボットシステム１による設定情報の確認動作について説明する。図３は、第１実施形態のロボットシステム１による設定情報の確認動作を示すフローチャートである。
まず、作業者がロボット１０のアーム１２の先端部（位置制御の対象部位）にカメラ２０を設置する。
次に、作業者がロボット１０、カメラ２０及びワークＷの位置に関する設定情報をロボット制御装置４０に登録する。このようにして、ロボット制御装置４０は、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報を予め設定する（Ｓ１１）。
ロボット１０、カメラ２０及びワークＷの位置に関する設定情報は、上述したように、
（１）ロボット１０の位置補正の基準となる３次元座標系の原点及び各座標軸の方向、
（２）ロボット１０の位置補正の基準となるロボット１０の位置（例えば、各関節の回転角度又は並進量）、
（３）ロボット１０とカメラ２０との相対位置関係、及び、
（４）カメラ２０とワークＷとの距離、
である。
本実施形態では、作業者が設定情報をロボット制御装置４０に直接登録する一例を示したが、ロボット制御装置４０は、ロボット１０、カメラ２０及びワークＷの位置を計算で求めてもよい。例えば、ロボット制御装置４０は、予め位置が分かっているカメラで、ロボット１０、カメラ２０及びワークＷに付されたマークを撮影し、撮影した画像からロボット１０、カメラ２０及びワークＷの位置を計算してもよい。
次に、ロボット制御装置４０は、ロボット１０及びカメラ２０の位置に関する設定情報（１）、（２）、（３）に基づいて、カメラ２０の位置を計算する（Ｓ１２）。
次に、画像処理装置５０は、計算されたカメラ２０の位置を、ロボット１０の座標系から表示装置６０のＡＲ空間の座標系に変換する（Ｓ１３）。
次に、画像処理装置５０は、変換されたカメラ２０の位置に基づいて、表示装置６０のＡＲ空間の対応位置に、カメラ２０を模したカメラの画像２１を描画するための画像データを生成する（Ｓ１４）。
次に、図２に示すように、表示装置６０は、生成された画像データに基づいて、ロボット１０、カメラ２０及びワークＷを含むＡＲ空間の対応位置に、カメラの画像２１を表示する（Ｓ１４）。
これにより、表示装置６０を装着した作業者は、ＡＲ空間において、実物のカメラ２０の位置に対するカメラの画像２１の位置によって、設定情報が適切に設定されているか否かを確認することができる。
例えば、実物のカメラ２０とカメラの画像２１とが重なる場合、設定情報は適切に設定されている。
一方、実物のカメラ２０に対してカメラの画像２１がずれている場合、設定情報が誤っている可能性がある。この場合、ロボット１０及びカメラ２０の位置に関する設定情報を設定し直して、上述した設定情報の確認動作を再度行う。
なお、実物のカメラ２０に対してカメラの画像２１がずれている場合、カメラ２０の不適切な設置、例えばカメラ２０がしっかりと固定されていなかったり、レンズが緩んでいたりすることが原因であることがある。この場合には、カメラ２０を適切に設置し直して、上述した設定情報の確認動作を再度行う。
以上説明したように、第１実施形態のロボットシステム１によれば、ロボット制御装置４０は、ロボット１０及びカメラ２０の位置に関する設定情報に基づいて、カメラ２０の位置を計算し、表示装置６０は、計算されたカメラ２０の位置に基づいて、ＡＲ空間の対応位置に、カメラ２０を模したカメラの画像２１を表示する。これにより、ロボット１０及びカメラ２０の位置に関する設定情報を視覚化し、これらの設定情報の設定が適切か否かを、正確、短時間かつ容易に確認することができる。
（第２実施形態）
第１実施形態では、図２に示すように、ＡＲ空間に、設定情報に基づくカメラの画像２１を表示することにより、ロボット１０及びカメラ２０の位置に関する設定情報の設定が適切であるか否かの確認を行った。第２実施形態では、図４に示すように、ＡＲ空間に、設定情報に基づくワークの画像Ｗ１を表示することにより、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報の設定が適切であるか否かの確認を行う。
第２実施形態に係るロボットシステム１の構成は、図１に示す第１実施形態のロボットシステム１の構成と同一である。なお、第２実施形態に係るロボットシステム１では、ロボット制御装置４０、画像処理装置５０及び表示装置６０の機能及び動作が第１実施形態のロボットシステム１と異なる。
ロボット制御装置４０は、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報の設定が適切であるかを確認するために、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報（１）、（２）、（３）、（４）、及びカメラ２０で撮影されたワークＷの画像に基づいて、ワークＷの位置を計算する。
画像処理装置５０は、計算されたワークＷの位置に基づいて、表示装置６０のＡＲ空間の対応位置に、カメラ２０で撮影されたワークＷの画像を描画するための画像データを生成する。
図４に、表示装置６０に表示されるＡＲ空間の一例を示す。図４に示すように、表示装置６０は、画像処理装置５０で生成された画像データに基づいて、ロボット１０、カメラ２０及びワークＷを含むＡＲ空間の対応位置に、ワークの画像Ｗ１を表示する。
次に、図５を参照して、第２実施形態のロボットシステム１による設定情報の確認動作について説明する。図５は、第２実施形態のロボットシステム１による設定情報の確認動作を示すフローチャートである。
まず、作業者がロボット１０のアーム１２の先端部（位置制御の対象部位）にカメラ２０を設置する。
次に、作業者がロボット１０、カメラ２０及びワークＷの位置に関する設定情報をロボット制御装置４０に登録する。このようにして、ロボット制御装置４０は、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報を予め設定する（Ｓ２１）。
ロボット１０、カメラ２０及びワークＷの位置に関する設定情報は、上述したように、
（１）ロボット１０の位置補正の基準となる３次元座標系の原点及び各座標軸の方向、
（２）ロボット１０の位置補正の基準となるロボット１０の位置（例えば、各関節の回転角度又は並進量）、
（３）ロボット１０とカメラ２０との相対位置関係、及び、
（４）カメラ２０とワークＷとの距離、
である。
次に、ロボット制御装置４０は、カメラ２０で撮影されたワークＷの画像を取得する（Ｓ２２）。
次に、ロボット制御装置４０は、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報（１）、（２）、（３）、（４）、及び、取得したワークＷの画像に基づいて、ワークＷの位置を計算する（Ｓ２３）。
次に、画像処理装置５０は、計算されたワークＷの位置を、ロボット１０の座標系から表示装置６０のＡＲ空間の座標系に変換する（Ｓ２４）。
次に、画像処理装置５０は、変換されたワークＷの位置に基づいて、表示装置６０のＡＲ空間の対応位置に、取得したワークの画像Ｗ１を描画するための画像データを生成する（Ｓ２５）。
次に、図４に示すように、表示装置６０は、生成された画像データに基づいて、ロボット１０、カメラ２０及びワークＷを含むＡＲ空間の対応位置に、ワークの画像Ｗ１を表示する（Ｓ２６）。
ここで、トラッキングの場合、ワークＷはコンベア３０により移動する。そのため、ステップＳ２３では、ロボット制御装置４０は、コンベア３０によるワークＷの移動速度に応じて、ワークＷの位置を計算する。コンベア３０によるワークＷの移動速度は、予め設定されていてもよいし、速度センサ等を用いて検出してもよい。
これにより、ステップＳ２６では、表示装置６０は、図４に示すように、カメラ２０の撮影範囲Ｒから移動したワークＷに追従してワークの画像Ｗ１を表示することができる。
これにより、表示装置６０を装着した作業者は、ＡＲ空間において、実物のワークＷの位置に対するワークの画像Ｗ１の位置によって、設定情報が適切に設定されているか否かを確認することができる。
例えば、実物のワークＷとワークの画像Ｗ１とが重なる場合、設定情報は適切に設定されている。
一方、実物のワークＷに対してワークの画像Ｗ１がずれている場合、設定情報が誤っている可能性がある。この場合、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報を設定し直して、上述した設定情報の確認動作を再度行う。
なお、実物のワークＷに対してワークの画像Ｗ１がずれている場合、カメラ２０の不適切な設置、例えばカメラ２０がしっかりと固定されていなかったり、レンズが緩んでいたりすることが原因であることがある。この場合には、カメラ２０を適切に設置し直して、上述した設定情報の確認動作を再度行う。
以上説明したように、第２実施形態のロボットシステム１によれば、ロボット制御装置４０は、ロボット１０、カメラ２０及びワークＷの位置に関する情報、及び、カメラ２０で撮影されたワークＷの画像に基づいて、ワークＷの位置を計算し、表示装置６０は、計算されたワークＷの位置に基づいて、ＡＲ空間の対応位置に、カメラ２０で撮影されたワークの画像Ｗ１を表示する。これにより、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報を視覚化し、これらの設定情報の設定が適切か否かを、正確、短時間かつ容易に確認することができる。
また、第２実施形態のロボットシステム１によれば、コンベア３０によりワークＷが移動するトラッキングにおいても、ロボット制御装置４０は、コンベア３０によるワークＷの移動速度に応じて、ワークＷの位置を計算する。これにより、表示装置６０は、図４に示すように、カメラ２０の撮影範囲Ｒから移動したワークＷに追従してワークの画像Ｗ１を表示することができる。
（第３実施形態）
第３実施形態では、図６に示すように、ＡＲ空間に、設定情報に基づく座標系の画像ＸＹＺを表示することにより、（１）ロボット１０の位置補正の基準となる３次元座標系の原点及び各座標軸の方向に関する設定情報の確認を行う。
第３実施形態に係るロボットシステム１の構成は、図１に示す第１実施形態のロボットシステム１の構成と同一である。なお、第３実施形態に係るロボットシステム１では、ロボット制御装置４０、画像処理装置５０及び表示装置６０の機能及び動作が第１実施形態のロボットシステム１と異なる。
ロボット制御装置４０は、設定情報における（１）ロボット１０の位置補正の基準となる３次元座標系の原点及び各座標軸の方向に関する設定情報の設定が適切であるかを確認するために、この設定情報（１）を画像処理装置５０に送信する。
画像処理装置５０は、受信した設定情報（１）に基づいて、表示装置６０のＡＲ空間の対応位置に、座標系の画像を描画するための画像データを生成する。
図６に、表示装置６０に表示されるＡＲ空間の一例を示す。図６に示すように、表示装置６０は、画像処理装置５０で生成された画像データに基づいて、ロボット１０、カメラ２０及びワークＷを含むＡＲ空間の対応位置に、座標系の画像ＸＹＺを表示する。
次に、図７を参照して、第３実施形態のロボットシステム１による設定情報の確認動作について説明する。図７は、第３実施形態のロボットシステム１による設定情報の確認動作を示すフローチャートである。
まず、作業者がロボット１０のアーム１２の先端部（位置制御の対象部位）にカメラ２０を設置する。
次に、作業者がロボット１０、カメラ２０及びワークＷの位置に関する設定情報をロボット制御装置４０に登録する。このようにして、ロボット制御装置４０は、ロボット１０、カメラ２０及びワークＷの位置に関する設定情報を予め設定する（Ｓ３１）。
ロボット１０、カメラ２０及びワークＷの位置に関する設定情報は、上述したように、
（１）ロボット１０の位置補正の基準となる３次元座標系の原点及び各座標軸の方向、
（２）ロボット１０の位置補正の基準となるロボット１０の位置（例えば、各関節の回転角度又は並進量）、
（３）ロボット１０とカメラ２０との相対位置関係、及び、
（４）カメラ２０とワークＷとの距離、
である。
次に、ロボット制御装置４０は、設定情報（１）を画像処理装置５０に送信する（Ｓ３２）。
次に、画像処理装置５０は、ロボット１０の位置補正の基準となる３次元座標系の原点及び各３座標軸の方向を、ロボット１０の座標系から表示装置６０のＡＲ空間の座標系に変換する（Ｓ３３）。
次に、画像処理装置５０は、変換された座標系に基づいて、表示装置６０のＡＲ空間の対応位置に、座標系の画像ＸＹＺを描画するための画像データを生成する（Ｓ３４）。
次に、図６に示すように、表示装置６０は、生成された画像データに基づいて、ロボット１０、カメラ２０及びワークＷを含むＡＲ空間の対応位置に、座標系の画像ＸＹＺを表示する（Ｓ３５）。
以上説明したように、第３実施形態のロボットシステム１によれば、表示装置６０は、（１）ロボット１０の位置補正の基準となる座標系の原点及び各軸の方向を模した座標系の画像ＸＹＺを、ＡＲ空間の対応位置に表示する。これにより、（１）ロボット１０の位置補正の基準となる座標系の原点及び各軸の方向に関する設定情報を視覚化し、この設定情報（１）の設定が適切か否かを、正確、短時間かつ容易に確認することができる。
また、座標系に関する設定が作業者の認識と一致しているかを一目で確認できる。
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
例えば、上述した実施形態では、カメラ２０がロボット１０のアーム１２の先端部に設けられた形態を例示したが、これに限定されない。本発明の特徴は、カメラ２０が、ロボット１０と独立して配置されたスタンド等に固定設置される形態にも適用可能である。
また、上述した実施形態では、撮影装置２０としてカメラを例示したが、これに限定されない。撮影装置２０としては、視覚センサ等の、ワークの画像を撮影可能な種々の撮影装置が用いられてもよい。
また、上述した実施形態では、表示装置６０としてヘッドマウントディスプレイを例示したが、これに限定されない。表示装置６０としては、ＡＲ空間を提供可能な種々の表示装置が用いられてもよい。
また、上述した実施形態では、ロボットシステム１として産業用ロボットシステムを例示したが、これに限定されない。本発明の特徴は、設定情報が適切であるか否かの確認が難しい種々のロボットシステムの設定情報の確認に適用可能である。
１ ロボットシステム
１０ ロボット
１２ アーム
２０ カメラ（撮影装置）
２１ カメラの画像（撮影装置を模した画像）
３０ コンベア
４０ ロボット制御装置
５０ 画像処理装置
６０ 表示装置
Ｗ ワーク（処理対象物）
Ｗ１ ワークの画像（処理対象物の画像）
ＸＹＺ 座標系の画像（座標系を模した画像）

Claims (3)

  1. 処理対象物に所定の処理を行うロボットと、
    前記処理対象物を撮影する撮影装置と、
    予め設定された前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物に追従するように前記ロボットの移動先の位置補正を行うロボット制御装置と、
    現実空間に仮想の情報を重ね合わせて表示するＡＲ空間を提供する表示装置と、
    を備え、
    前記ロボット制御装置は、前記ロボット及び前記撮影装置の位置に関する情報に基づいて、前記撮影装置の位置を計算し、
    前記ロボットの位置に関する情報は、（１）前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向、並びに、（２）前記ロボットの位置補正の基準となる前記ロボットの位置であり、
    前記撮影装置の位置に関する情報は、（３）前記ロボットと前記撮影装置との相対位置関係であり、
    前記表示装置は、計算された前記撮影装置の位置に基づいて、前記ＡＲ空間の対応位置に、前記撮影装置を模した画像を表示し、
    前記表示装置が提供する前記ＡＲ空間は、前記現実空間における少なくとも前記撮影装置を含み、更に前記仮想の情報として、前記撮影装置を模した画像を含む、
    ロボットシステム。
  2. 処理対象物に所定の処理を行うロボットと、
    前記処理対象物を撮影する撮影装置と、
    予め設定された前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物に追従するように前記ロボットの移動先の位置補正を行うロボット制御装置と、
    現実空間に仮想の情報を重ね合わせて表示するＡＲ空間を提供する表示装置と、
    を備え、
    前記ロボット制御装置は、前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物の位置を計算し、
    前記ロボットの位置に関する情報は、（１）前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向、並びに、（２）前記ロボットの位置補正の基準となる前記ロボットの位置であり、
    前記撮影装置の位置に関する情報は、（３）前記ロボットと前記撮影装置との相対位置関係であり、
    前記処理対象物の位置に関する情報は、（４）前記撮影装置と前記処理対象物との距離であり、
    前記表示装置は、計算された前記処理対象物の位置に基づいて、前記ＡＲ空間の対応位置に、前記撮影装置で撮影された前記処理対象物の画像を表示し、
    前記表示装置が提供する前記ＡＲ空間は、前記現実空間における少なくとも前記処理対象物を含み、更に前記仮想の情報として、前記撮影装置で撮影された前記処理対象物の画像を含む、
    ロボットシステム。
  3. 前記処理対象物は、コンベア上を移動しており、
    前記ロボット制御装置は、更に前記処理対象物の移動速度に基づいて、前記処理対象物の位置を計算する、
    請求項２に記載のロボットシステム。
JP2017162670A 2017-08-25 2017-08-25 ロボットシステム Active JP6795471B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017162670A JP6795471B2 (ja) 2017-08-25 2017-08-25 ロボットシステム
US16/057,105 US10786906B2 (en) 2017-08-25 2018-08-07 Robot system
DE102018213985.7A DE102018213985B4 (de) 2017-08-25 2018-08-20 Robotersystem
CN201810961409.8A CN109421048B (zh) 2017-08-25 2018-08-22 机器人系统
US16/993,492 US11565427B2 (en) 2017-08-25 2020-08-14 Robot system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017162670A JP6795471B2 (ja) 2017-08-25 2017-08-25 ロボットシステム

Publications (2)

Publication Number Publication Date
JP2019038075A JP2019038075A (ja) 2019-03-14
JP6795471B2 true JP6795471B2 (ja) 2020-12-02

Family

ID=65321867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017162670A Active JP6795471B2 (ja) 2017-08-25 2017-08-25 ロボットシステム

Country Status (4)

Country Link
US (2) US10786906B2 (ja)
JP (1) JP6795471B2 (ja)
CN (1) CN109421048B (ja)
DE (1) DE102018213985B4 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020006146A1 (en) * 2018-06-26 2020-01-02 Fanuc America Corporation Augmented reality visualization for robotic picking system
JP6856583B2 (ja) 2018-07-25 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラム
JP6856590B2 (ja) 2018-08-31 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム
CN109834712B (zh) * 2019-03-01 2021-03-12 广东工业大学 一种机器人抓取顺序优化的方法
CN113597362A (zh) * 2019-03-25 2021-11-02 Abb瑞士股份有限公司 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置
WO2020203819A1 (ja) 2019-03-29 2020-10-08 株式会社Ihi 遠隔操作装置
US10906184B2 (en) * 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
CN110127436A (zh) * 2019-06-04 2019-08-16 青岛大学 一种棉条自动输送系统
CN110897717B (zh) * 2019-12-09 2021-06-18 苏州微创畅行机器人有限公司 导航手术系统及其注册方法与电子设备
CN111260793B (zh) * 2020-01-10 2020-11-24 中国电子科技集团公司第三十八研究所 面向增强和混合现实的远程虚实高精度匹配定位的方法
US11288877B2 (en) 2020-01-10 2022-03-29 38th Research Institute, China Electronics Technology Group Corp. Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality
CN113103230A (zh) * 2021-03-30 2021-07-13 山东大学 一种基于处置机器人遥操作的人机交互系统及方法
CN113601510A (zh) * 2021-08-17 2021-11-05 广东电网有限责任公司 基于双目视觉的机器人移动控制方法、装置、系统及设备
EP4137279A1 (en) * 2021-08-20 2023-02-22 BHS Technologies GmbH Robotic imaging system and method for controlling a robotic device

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5319443A (en) * 1991-03-07 1994-06-07 Fanuc Ltd Detected position correcting method
US5742263A (en) * 1995-12-18 1998-04-21 Telxon Corporation Head tracking system for a head mounted display system
JP4747410B2 (ja) * 2000-11-10 2011-08-17 ソニー株式会社 映像切替表示装置および映像切替表示方法
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
JP4167954B2 (ja) * 2003-09-02 2008-10-22 ファナック株式会社 ロボット及びロボット移動方法
DE102005009437A1 (de) * 2005-03-02 2006-09-07 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Einblenden von AR-Objekten
JP2008021092A (ja) * 2006-07-12 2008-01-31 Fanuc Ltd ロボットシステムのシミュレーション装置
JP4347386B2 (ja) * 2008-01-23 2009-10-21 ファナック株式会社 加工用ロボットプラグラムの作成装置
JP4565023B2 (ja) * 2008-07-04 2010-10-20 ファナック株式会社 物品取り出し装置
JP2010131711A (ja) * 2008-12-05 2010-06-17 Honda Motor Co Ltd ロボットアームの制御方法
US20120022924A1 (en) * 2009-08-28 2012-01-26 Nicole Runnels Method and system for creating a personalized experience with video in connection with a stored value token
EP2558924B1 (en) * 2010-04-13 2021-06-09 Nokia Technologies Oy Apparatus, method and computer program for user input using a camera
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
JP5246672B2 (ja) 2011-02-17 2013-07-24 独立行政法人科学技術振興機構 ロボットシステム
JP4989768B2 (ja) * 2011-02-24 2012-08-01 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP5803155B2 (ja) * 2011-03-04 2015-11-04 セイコーエプソン株式会社 ロボット位置検出装置及びロボットシステム
GB201111138D0 (en) 2011-06-30 2011-08-17 Leman Micro Devices Uk Ltd Personal health data collection
JP5561260B2 (ja) * 2011-09-15 2014-07-30 株式会社安川電機 ロボットシステム及び撮像方法
JP5266377B2 (ja) * 2011-12-19 2013-08-21 ファナック株式会社 物品の姿勢を修正する機能を備えた取出し装置
US20130297460A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
US8996175B2 (en) * 2012-06-21 2015-03-31 Rethink Robotics, Inc. Training and operating industrial robots
JP5670416B2 (ja) 2012-12-28 2015-02-18 ファナック株式会社 ロボットシステム表示装置
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
JP5742862B2 (ja) 2013-03-18 2015-07-01 株式会社安川電機 ロボット装置及び被加工物の製造方法
NO336219B1 (no) * 2013-04-19 2015-06-15 Electric Friends As Anordning og fremgangsmåte for kamerastyring
JP6415026B2 (ja) * 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
CN104552292A (zh) * 2013-10-10 2015-04-29 精工爱普生株式会社 机器人控制系统、机器人、程序以及机器人控制方法
JP6475409B2 (ja) * 2013-12-20 2019-02-27 蛇の目ミシン工業株式会社 ロボット、ロボットの制御方法、及びロボットの制御プログラム
JP5850962B2 (ja) * 2014-02-13 2016-02-03 ファナック株式会社 ビジュアルフィードバックを利用したロボットシステム
JP6379874B2 (ja) * 2014-08-29 2018-08-29 株式会社安川電機 ティーチングシステム、ロボットシステムおよびティーチング方法
JP6415190B2 (ja) 2014-09-03 2018-10-31 キヤノン株式会社 ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法
JP2016107379A (ja) 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
JP6693718B2 (ja) * 2015-02-27 2020-05-13 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
JP6562665B2 (ja) * 2015-03-18 2019-08-21 蛇の目ミシン工業株式会社 ロボット
JP6596883B2 (ja) * 2015-03-31 2019-10-30 ソニー株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム
US9916506B1 (en) * 2015-07-25 2018-03-13 X Development Llc Invisible fiducial markers on a robot to visualize the robot in augmented reality
CN205121556U (zh) * 2015-10-12 2016-03-30 中国科学院自动化研究所 机器人抓取系统
JP6551184B2 (ja) * 2015-11-18 2019-07-31 オムロン株式会社 シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
JP6420229B2 (ja) * 2015-12-10 2018-11-07 ファナック株式会社 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
EP3458919B1 (en) * 2016-05-19 2022-08-24 Deep Learning Robotics Ltd. Robot assisted object learning vision system
US10245724B2 (en) * 2016-06-09 2019-04-02 Shmuel Ur Innovation Ltd. System, method and product for utilizing prediction models of an environment
JP6308248B2 (ja) 2016-06-22 2018-04-11 オムロン株式会社 コンベアトラッキング等に向けられたガイダンス装置
JP2018004950A (ja) * 2016-07-01 2018-01-11 フォーブ インコーポレーテッド 映像表示システム、映像表示方法、映像表示プログラム
WO2018053430A1 (en) * 2016-09-16 2018-03-22 Carbon Robotics, Inc. System and calibration, registration, and training methods
JP6707485B2 (ja) * 2017-03-22 2020-06-10 株式会社東芝 物体ハンドリング装置およびその較正方法
DE102018116413A1 (de) * 2017-07-12 2019-01-17 Fanuc Corporation Robotersystem
JP6734253B2 (ja) * 2017-12-20 2020-08-05 ファナック株式会社 ワークを撮像する視覚センサを備える撮像装置
JP7055657B2 (ja) * 2018-02-14 2022-04-18 川崎重工業株式会社 接続装置及び接続方法
WO2020006146A1 (en) * 2018-06-26 2020-01-02 Fanuc America Corporation Augmented reality visualization for robotic picking system
JP6856583B2 (ja) * 2018-07-25 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラム
JP6856590B2 (ja) * 2018-08-31 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム
CN112638594A (zh) * 2018-09-10 2021-04-09 发纳科美国公司 机器人的连续路径的零示教
JP2020075354A (ja) * 2018-11-01 2020-05-21 キヤノン株式会社 外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体
JP6836571B2 (ja) * 2018-11-14 2021-03-03 ファナック株式会社 ロボット装置
WO2020110659A1 (ja) * 2018-11-27 2020-06-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP7277172B2 (ja) * 2019-02-26 2023-05-18 Juki株式会社 ミシン
US10369698B1 (en) * 2019-03-07 2019-08-06 Mujin, Inc. Method and system for performing automatic camera calibration for robot control
JP7222764B2 (ja) * 2019-03-18 2023-02-15 株式会社キーエンス 画像測定装置
US10399227B1 (en) * 2019-03-29 2019-09-03 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
CN113905859B (zh) * 2019-07-12 2024-03-08 株式会社富士 机器人控制系统及机器人控制方法
JP7306937B2 (ja) * 2019-09-25 2023-07-11 ファナック株式会社 ロボットに支持された部材の位置を調整するロボット装置の制御装置
US11875013B2 (en) * 2019-12-23 2024-01-16 Apple Inc. Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
US11816754B2 (en) * 2020-03-13 2023-11-14 Omron Corporation Measurement parameter optimization method and device, and computer control program stored on computer-readable storage medium
US20210286502A1 (en) * 2020-03-16 2021-09-16 Apple Inc. Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
CH717263A1 (fr) * 2020-03-27 2021-09-30 Richemont Int Sa Loupe électronique d'horloger, ensemble de loupe électronique d'horloger et procédé pour effectuer un contrôle d'un produit horloger, notamment d'un mécanisme de montre.
JP2023529126A (ja) * 2020-06-08 2023-07-07 アップル インコーポレイテッド 三次元環境におけるアバターの提示
CN113103230A (zh) * 2021-03-30 2021-07-13 山东大学 一种基于处置机器人遥操作的人机交互系统及方法

Also Published As

Publication number Publication date
US20190061167A1 (en) 2019-02-28
US20200368918A1 (en) 2020-11-26
CN109421048B (zh) 2023-06-02
US11565427B2 (en) 2023-01-31
DE102018213985B4 (de) 2022-09-29
DE102018213985A1 (de) 2019-02-28
CN109421048A (zh) 2019-03-05
JP2019038075A (ja) 2019-03-14
US10786906B2 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
JP6795471B2 (ja) ロボットシステム
JP6420229B2 (ja) 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
US10980606B2 (en) Remote-control manipulator system and method of operating the same
JP4844453B2 (ja) ロボットの教示装置及び教示方法
US10173325B2 (en) Robot, robot control apparatus and robot system
CN117047757A (zh) 机器人运动视觉系统的自动手眼标定系统与方法
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP2016107379A (ja) 拡張現実対応ディスプレイを備えたロボットシステム
JP6816070B2 (ja) 干渉回避装置およびロボットシステム
JP3644991B2 (ja) ロボット−センサシステムにおける座標系結合方法
JP2014065100A (ja) ロボットシステム、及びロボットのティーチング方法
JP2009269134A (ja) 視覚検査装置のシミュレーション装置
JP2021062463A (ja) ロボットシステム
JP5573537B2 (ja) ロボットのティーチングシステム
JP7306871B2 (ja) ロボット操作装置、ロボット、ロボット操作方法、プログラムおよびロボット制御装置
JP2021065971A (ja) ロボット教示システム、画像生成方法、及びプログラム
EP4177015A1 (en) Robot teaching system
JP7366264B2 (ja) ロボット教示方法及びロボット作業方法
JP6559425B2 (ja) レーザ照射制御装置
JP2017113815A (ja) 対象物をロボットを用いて把持するロボットシステムの画像表示方法
CN111699077B (zh) 用于机器人的基于视觉的操作
TWI818717B (zh) 作業程式作成系統以及作業程式作成方法
JP7195476B1 (ja) 作業プログラム作成システム及び作業プログラム作成方法
KR101467898B1 (ko) 레이저 포인터를 이용한 마킹 보조 장치 및 방법
JP2018158429A (ja) ロボットシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181024

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190121

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191001

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191023

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20191225

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200407

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20200609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200804

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200901

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20200908

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20201013

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20201013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201112

R150 Certificate of patent or registration of utility model

Ref document number: 6795471

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150