WO2021220915A1 - 産業機械の表示装置 - Google Patents

産業機械の表示装置 Download PDF

Info

Publication number
WO2021220915A1
WO2021220915A1 PCT/JP2021/016207 JP2021016207W WO2021220915A1 WO 2021220915 A1 WO2021220915 A1 WO 2021220915A1 JP 2021016207 W JP2021016207 W JP 2021016207W WO 2021220915 A1 WO2021220915 A1 WO 2021220915A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
robot
industrial machine
camera
display device
Prior art date
Application number
PCT/JP2021/016207
Other languages
English (en)
French (fr)
Inventor
万峰 傅
勇太 並木
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to US17/996,586 priority Critical patent/US11978168B2/en
Priority to DE112021002550.3T priority patent/DE112021002550T5/de
Priority to JP2022517673A priority patent/JP7381729B2/ja
Priority to CN202180029833.9A priority patent/CN115427201A/zh
Publication of WO2021220915A1 publication Critical patent/WO2021220915A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details, by setting parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36167—Use camera of handheld device, pda, pendant, head mounted display
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality

Definitions

  • This disclosure relates to display devices for industrial machines.
  • Industrial machines and their peripherals are displayed on the screen as virtual 3D computer graphics, and various information on industrial machines, such as program teaching points, TCP (Tool Center Point) trajectories, coordinate systems, etc., are displayed. Can be made to.
  • This disclosure has been made in view of the above problems, and provides a display device for an industrial machine capable of automatically switching between an augmented reality display and a three-dimensional computer graphics display.
  • One aspect of the present disclosure is a first display by three-dimensional computer graphics of a camera and an industrial machine or the industrial machine and its peripherals, and an augmented reality of the industrial machine and its peripherals taken by the camera.
  • a display unit that switches between the used second display and a display unit that enables the first display to be displayed on the display unit when the camera is not facing the industrial machine and its peripheral devices.
  • a display device for an industrial machine comprising: a selection unit that enables the second display and displays the second display on the display unit when the camera is facing the industrial machine and its peripheral devices.
  • a display device for an industrial machine capable of automatically switching between an augmented reality display and a three-dimensional computer graphics display.
  • FIG. 1 is a schematic view of a robot system 1 including a robot display device 2 according to the present embodiment.
  • FIG. 2 is a functional block diagram of the robot display device 2 according to the present embodiment.
  • the display unit 20 of the robot display device 2 displays the robot 3 and its peripheral devices 4 on the display screen 2a.
  • the robot system 1 includes a robot display device 2, a robot 3, a peripheral device 4, a control device 5, and the like.
  • the robot display device 2 is an application of the display device of the industrial machine of the present disclosure to the display device of the robot.
  • the robot display device 2 is a mobile communication terminal such as a tablet terminal.
  • the robot display device 2 includes a camera 2b, a display unit 20, an input unit (not shown) that enables information input using the display unit 20 as a touch panel, and a communication means (not shown) that communicates with the control device 5.
  • arithmetic processing means such as CPU (Central Processing Unit) (not shown)
  • auxiliary storage means such as HDD (Hard Disk Drive) and SSD (Solid State Drive) that store various programs (not shown).
  • a main storage means such as a RAM (Random Access Memory) for storing data temporarily required for the arithmetic processing means to execute a program, and the like.
  • the display unit 20 includes a first display (see FIG. 3A) of the robot 3 or the robot 3 and its peripheral device 4 by three-dimensional computer graphics, and an extension of the robot 3 and its peripheral device 4 taken by the camera 2b.
  • the second display using reality (AR) see FIG. 3B
  • the second display see FIG. 3B
  • augmented information such as a virtual three-dimensional object can be overlaid on an object in real space by extracting and aligning specific feature points of an image taken by a camera, for example, a marker.
  • a marker can be attached to the robot 3 or the like, and the originally existing marker can be used as the marker.
  • the robot 3 itself can be used as a marker.
  • the alignment marker is also an object that can be placed in the background and can provide a fixed point that serves as a reference for position and scale. By imaging such an alignment marker with a camera, the position and orientation (posture) of the camera can be calculated, and extended information such as a virtual three-dimensional object can be superimposed on an object in real space without discomfort. Is possible.
  • the display unit 20 displays the first display, for example, as information about the robot 3 and its peripheral device 4, the display unit 20 includes a tool tip point of the robot 3, a teaching point of the program, a coordinate system of the robot 3, and each axis of the robot 3. At least one of the operating range, the jogging method of the robot 3, the locus of the robot 3, the position register, the sensor information of the robot 3, and the reachable area of the robot 3 can be displayed.
  • the display unit 20 displays the second display, as information about the robot 3 and its peripheral devices, for example, the tool tip point of the robot 3, the teaching point of the program, the coordinate system of the robot 3, and each of the robot 3 At least one of the operating range of the axis, the jogging method of the robot 3, the locus of the robot 3, the position register, the information of the sensor possessed by the robot 3, and the reachable area of the robot 3 can be displayed.
  • Information on the three-dimensional computer graphics of the robot 3 used for the first display is acquired in advance from the control device 5 and stored in the robot display device 2.
  • Information about the three-dimensional computer graphics of the peripheral device 4 used for the first display is input in advance to the robot display device 2 by being acquired from the control device 5 or the like, and is stored in the robot display device 2.
  • Information on the feature points (markers, shapes) of the robot 3 and its peripheral devices 4 used for the second display is input in advance to the robot display device 2 by being acquired from the control device 5 and stored in the robot display device 2. Will be done.
  • the information to be displayed together with the first display or the second display is acquired in advance from the control device 5 and stored in the robot display device 2.
  • the CPU included in the robot display device 2 realizes various functions such as the display unit 20 and the selection unit 21 by executing various programs.
  • the selection unit 21 enables the first display and causes the display unit 20 to display the first display on the display screen 2a.
  • the second display is enabled and the second display is displayed on the display screen 2a by the display unit 20. Whether or not the camera 2b faces the robot 3 and its peripheral device 4 is determined according to whether or not the robot 3 and its peripheral device 4 in the real space are detected from the image pickup result of the camera 2b. ..
  • the robot 3 is displayed on the display screen 2a by the display unit 20 of the robot display device 2 together with the peripheral device 4.
  • the robot 3 operates under the control of the control device 5.
  • the peripheral device 4 is a device attached to the robot 3, such as a belt conveyor.
  • the control device 5 is a device that controls the robot 3 and its peripheral device 4, and communicates with the robot display device 2.
  • FIG. 3A is a schematic view of the robot display device 2 according to the present embodiment in which the first display is displayed.
  • the selection unit 21 enables the first display by the three-dimensional computer graphics and displays the first display in the display unit 20. Is displayed on the display screen 2a.
  • the display unit 20 shows the tool tip point of the robot 3, the teaching point of the program, the coordinate system of the robot 3, the operating range of each axis of the robot 3, the jog method of the robot 3, and the robot 3.
  • the locus, the position register, the information of the sensor possessed by the robot 3, and the information of at least one of the reachable areas of the robot 3 are displayed together.
  • FIG. 3B is a schematic view of the robot display device 2 according to the present embodiment in a state where the second display is displayed.
  • the selection unit 21 enables the second display using augmented reality and displays the second display on the display unit 20. Display on screen 2a.
  • the display unit 20 shows the tool tip point of the robot 3, the teaching point of the program, the coordinate system of the robot 3, the operating range of each axis of the robot 3, the jog method of the robot 3, and the robot 3.
  • the locus, the position register, the information of the sensor possessed by the robot 3, and the information of at least one of the reachable areas of the robot 3 are displayed together.
  • the user coordinate system and the operating range of each axis are displayed.
  • FIG. 4 is a flowchart illustrating the operation of the robot display device 2.
  • the selection unit 21 determines whether or not the camera 2b is facing the robot 3 and its peripheral device 4 (step S10).
  • the selection unit 21 enables the second display by augmented reality and displays the second display on the display unit 20. Is displayed on the display screen 2a (step S20).
  • the selection unit 21 enables the first display by virtual three-dimensional computer graphics, and the first display is enabled.
  • the display is displayed on the display screen 2a by the display unit 20 (step S30). This completes this process.
  • the following effects are achieved.
  • the robot display device 2 the first display of the robot 3 or the robot 3 and its peripheral device 4 by three-dimensional computer graphics, and the robot 3 and its peripheral device 4 photographed by the camera 2b.
  • a display unit 20 is provided so that the second display using the augmented reality of the above and the display unit 20 can be displayed in a switchable manner.
  • the first display is enabled and the first display is displayed on the display unit 20, and the camera 2b is facing the robot 3 and its peripheral device 4.
  • a selection unit 21 is further provided to enable the second display and display the second display on the display unit 20.
  • the robot 3 or the robot 3 and its peripheral device 4 can be first displayed by three-dimensional computer graphics.
  • the second display using the augmented reality of the robot 3 and its peripheral device 4 photographed by the camera 2b can be performed. That is, it is possible to provide a robot display device that can automatically switch between augmented reality display and three-dimensional computer graphics display.
  • the robot display device 2 in the first display and the second display, as information about the robot 3 and its peripheral devices 4, the tool tip point of the robot 3, the teaching point of the program, and the robot 3 A configuration that displays at least one of a coordinate system, an operating range of each axis of the robot 3, a jog method of the robot 3, a trajectory of the robot 3, a position register, sensor information of the robot 3, and a reachable area of the robot 3. bottom. This enables intuitive understanding and confirmation.
  • the present disclosure is not limited to the above embodiment, and various modifications and modifications can be made.
  • the display device of the industrial machine of the present disclosure is applied to the robot display device 2, but the present invention is not limited to this.
  • the robot 3 it can be applied to display devices of industrial machines such as various machine tools.
  • Robot system Robot display device (display device for industrial machines) 2a Display screen 3 Robot (industrial machine) 4 Peripheral equipment 5 Control device 20 Display 21 Selection

Abstract

拡張現実表示と３次元コンピュータグラフィクス表示とを自動で切り替え可能な産業機械の表示装置を提供すること。ロボット表示装置２は、カメラ２ｂと、ロボット３、又は、ロボット３及びその周辺機器４、についての３次元コンピュータグラフィクスによる第１表示とカメラ２ｂが撮影したロボット３及びその周辺機器４についての拡張現実を用いた第２表示とを切り替え可能に表示する表示部２０と、カメラ２ｂがロボット３及びその周辺機器４を向いていない場合に第１表示を有効にして該第１表示を表示部２０に表示させ、カメラ２ｂがロボット３及びその周辺機器４を向いている場合に第２表示を有効にして該第２表示を表示部２０に表示させる選択部２１と、を備える。

Description

産業機械の表示装置
　本開示は、産業機械の表示装置に関する。
　産業機械及びその周辺機器を仮想的な３次元コンピュータグラフィクスとして画面上に表示させ、併せて、産業機械の様々な情報、例えばプログラムの教示点、ＴＣＰ（Tool　Center　Point）軌跡、座標系等を表示させることができる。
　このような３次元コンピュータグラフィクスとしての表示は、仮想的なものであるので、実際の産業機械及びその周辺機器と見比べる必要があり、直感的な理解が難しいことがある。
　これに対し、カメラを有するタブレット等の表示機器を使用して、拡張現実（ＡＲ）を使った実際のロボット及びその周辺機器の映像上に、様々な情報を併せて表示させた場合には、直感的な理解が可能となる（例えば、特許文献１参照）。
特開２０１６－１０７３７９号公報
　しかしながら、カメラがロボット等の産業機械及びその周辺機器を向いていない場合、産業機械及びその周辺機器は表示されず、意味をなさない。このような場合には、上述の仮想的な３次元コンピュータグラフィクスを表示することが望ましいが、拡張現実表示と３次元コンピュータグラフィクス表示との切り替えを手動で行うのは煩雑である。
　本開示は、上記課題に鑑みてなされたものであり、拡張現実表示と３次元コンピュータグラフィクス表示とを自動で切り替え可能な産業機械の表示装置を提供する。
　本開示の一態様は、カメラと、産業機械、又は、前記産業機械及びその周辺機器、についての３次元コンピュータグラフィクスによる第１表示と前記カメラが撮影した産業機械及びその周辺機器についての拡張現実を用いた第２表示とを切り替え可能に表示させる表示部と、前記カメラが産業機械及びその周辺機器を向いていない場合に前記第１表示を有効にして該第１表示を前記表示部に表示させ、前記カメラが産業機械及びその周辺機器を向いている場合に前記第２表示を有効にして該第２表示を前記表示部に表示させる選択部と、を備える、産業機械の表示装置である。
　本開示の一態様によれば、拡張現実表示と３次元コンピュータグラフィクス表示とを自動で切り替え可能な産業機械の表示装置を提供できる。
本開示の一実施形態に係るロボット表示装置を備えるロボットシステムの概略図である。 本開示の一実施形態に係るロボット表示装置の機能ブロック図である。 第１表示を表示した状態の本開示の一実施形態に係るロボット表示装置の概略図である。 第２表示を表示した状態の本開示の一実施形態に係るロボット表示装置の概略図である。 本開示の一実施形態に係るロボット表示装置の動作を説明するフローチャートである。
　以下、図面を参照して、本開示の一実施形態に係るロボット表示装置２を備えるロボットシステム１について説明する。
　まず、図１及び図２を用いて、本実施形態に係るロボット表示装置２を備えるロボットシステム１の構成について説明する。図１は、本実施形態に係るロボット表示装置２を備えるロボットシステム１の概略図である。図２は、本実施形態に係るロボット表示装置２の機能ブロック図である。
　図１及び図２に示すロボットシステム１は、ロボット表示装置２の表示部２０により、表示画面２ａにロボット３及びその周辺機器４に関する表示を行う。具体的に、ロボットシステム１は、ロボット表示装置２と、ロボット３と、周辺機器４と、制御装置５と、等を備えている。
　ロボット表示装置２は、本開示の産業機械の表示装置をロボットの表示装置に適用したものである。ロボット表示装置２は、タブレット端末等の携帯通信端末である。具体的に、ロボット表示装置２は、カメラ２ｂと、表示部２０と、この表示部２０をタッチパネルとして情報の入力を可能とした入力部（図示省略）と、制御装置５と通信する通信手段（図示省略）と、ＣＰＵ（Central　Processing　Unit）等の演算処理手段（図示省略）と、各種プログラムを格納したＨＤＤ（Hard　Disk　Drive）やＳＳＤ（Solid　State　Drive）等の補助記憶手段（図示省略）と、演算処理手段がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Random　Access　Memory）といった主記憶手段（図示省略）と、等を備えている。
　表示部２０は、ロボット３、又は、ロボット３及びその周辺機器４、についての３次元コンピュータグラフィクスによる第１表示（図３Ａ参照）と、カメラ２ｂが撮影したロボット３及びその周辺機器４についての拡張現実（ＡＲ）を用いた第２表示（図３Ｂ参照）と、を切り替え可能にロボット表示装置２の表示画面２ａに表示させる。
　ここで、拡張現実では、カメラで撮影した画像の特定の特徴点、例えばマーカを抽出して位置合わせすることにより、仮想３次元オブジェクト等の拡張情報を現実空間の対象物にオーバレイ表示することができる。本実施形態では、マーカは、ロボット３等に取り付けることも可能であり、もともと存在するものをマーカとすることもできる。例えば、ロボット３自体をマーカとすることも可能である。また、位置合わせマーカは、背景に設置することもでき、位置やスケールのリファレンスとなる固定点を提供可能なオブジェクトである。このような位置合わせマーカをカメラで撮像することにより、カメラの位置や向き（姿勢）を計算することができ、現実空間の対象物に対して仮想３次元オブジェクト等の拡張情報を違和感無く重ねることが可能となる。
　表示部２０は、第１表示を表示する場合、例えば、ロボット３及びその周辺機器４に関する情報として、ロボット３のツール先端点、プログラムの教示点、ロボット３の座標系、ロボット３の各軸の動作範囲、ロボット３のジョグ方法、ロボット３の軌跡、位置レジスタ、ロボット３が有するセンサの情報及びロボット３の到達可能領域のうち少なくとも一つを表示させることができる。
　同様に、表示部２０は、第２表示を表示する場合、ロボット３及びその周辺機器に関する情報として、例えば、ロボット３のツール先端点、プログラムの教示点、ロボット３の座標系、ロボット３の各軸の動作範囲、ロボット３のジョグ方法、ロボット３の軌跡、位置レジスタ、ロボット３が有するセンサの情報及びロボット３の到達可能領域のうち少なくとも一つを表示させることができる。
　第１表示に用いるロボット３についての３次元コンピュータグラフィクスに関する情報は、制御装置５から事前に取得され、ロボット表示装置２に記憶される。第１表示に用いる周辺機器４についての３次元コンピュータグラフィクスに関する情報は、制御装置５から取得される等してロボット表示装置２に事前に入力され、ロボット表示装置２に記憶される。第２表示に用いるロボット３及びその周辺機器４の特徴点（マーカ、形状）の情報は、制御装置５から取得される等してロボット表示装置２に事前に入力され、ロボット表示装置２に記憶される。第１表示又は第２表示に併せて表示する情報は、制御装置５から事前に取得され、ロボット表示装置２に記憶される。
　図２に示すように、ロボット表示装置２が備えるＣＰＵ（図示省略）は、各種プログラムを実行することによって、表示部２０、選択部２１等の各種機能を実現する。
　選択部２１は、カメラ２ｂがロボット３及びその周辺機器４を向いていない場合には、第１表示を有効にして該第１表示を表示部２０により表示画面２ａに表示させる。また、カメラ２ｂがロボット３及びその周辺機器４を向いている場合には、第２表示を有効にして該第２表示を表示部２０により表示画面２ａに表示させる。なお、カメラ２ｂがロボット３及びその周辺機器４を向いているか否かは、カメラ２ｂの撮像結果から、現実空間のロボット３及びその周辺機器４が検出されるか否かに応じて判断される。
　図１に戻って、ロボット３は、その周辺機器４とともに、ロボット表示装置２の表示部２０により表示画面２ａに表示される。このロボット３は、制御装置５の制御下において動作する。周辺機器４は、ロボット３に付随する機器であり、例えばベルトコンベヤ等である。制御装置５は、ロボット３及びその周辺機器４を制御する装置であり、ロボット表示装置２と通信を行う。
　次に、図３Ａを用いて、ロボット表示装置２が表示部２０により表示画面２ａに第１表示を表示する場合について説明する。図３Ａは、第１表示を表示した状態の本実施形態に係るロボット表示装置２の概略図である。
　図３Ａに示すように、カメラ２ｂがロボット３及びその周辺機器４を向いていない場合には、選択部２１が、３次元コンピュータグラフィクスによる第１表示を有効にして該第１表示を表示部２０により表示画面２ａに表示させる。このとき、表示部２０には、上述したように、ロボット３のツール先端点、プログラムの教示点、ロボット３の座標系、ロボット３の各軸の動作範囲、ロボット３のジョグ方法、ロボット３の軌跡、位置レジスタ、ロボット３が有するセンサの情報及びロボット３の到達可能領域のうち少なくとも一つの情報が併せて表示される。
　次に、図３Ｂを用いて、本実施形態に係るロボット表示装置２が表示部２０により表示画面２ａに第２表示を表示する場合について説明する。図３Ｂは、第２表示を表示した状態の本実施形態に係るロボット表示装置２の概略図である。
　図３Ｂに示すように、カメラ２ｂがロボット３及びその周辺機器４を向いている場合、選択部２１が、拡張現実を用いた第２表示を有効にして該第２表示を表示部２０により表示画面２ａに表示させる。このとき、表示部２０には、上述したように、ロボット３のツール先端点、プログラムの教示点、ロボット３の座標系、ロボット３の各軸の動作範囲、ロボット３のジョグ方法、ロボット３の軌跡、位置レジスタ、ロボット３が有するセンサの情報及びロボット３の到達可能領域のうち少なくとも一つの情報が併せて表示される。図３Ｂに示す例では、ユーザ座標系と、各軸の動作範囲が表示されている。
　次に、図４を用いて、本実施形態に係るロボット表示装置２の動作について説明する。図４は、ロボット表示装置２の動作を説明するフローチャートである。
　図４に示すように、先ず、選択部２１が、カメラ２ｂがロボット３及びその周辺機器４を向いているか否かを判別する（ステップＳ１０）。
　カメラ２ｂがロボット３及びその周辺機器４を向いている場合（ステップＳ１０における判別がＹＥＳの場合）、選択部２１は、拡張現実による第２表示を有効にして、該第２表示を表示部２０により表示画面２ａに表示させる（ステップＳ２０）。
　カメラ２ｂがロボット３及びその周辺機器４を向いていない場合（ステップＳ１０における判別がＮＯの場合）、選択部２１は、仮想的な３次元コンピュータグラフィクスによる第１表示を有効にして、該第１表示を表示部２０により表示画面２ａに表示させる（ステップＳ３０）。以上により、本処理を終了する。
　本実施形態によれば、以下の効果が奏される。
　本実施形態に係るロボット表示装置２によれば、ロボット３、又は、ロボット３及びその周辺機器４、についての３次元コンピュータグラフィクスによる第１表示と、カメラ２ｂが撮影したロボット３及びその周辺機器４についての拡張現実を用いた第２表示と、を切り替え可能に表示させる表示部２０を設けた。そして、カメラ２ｂがロボット３及びその周辺機器４を向いていない場合に第１表示を有効にして該第１表示を表示部２０に表示させ、カメラ２ｂがロボット３及びその周辺機器４を向いている場合に第２表示を有効にして該第２表示を表示部２０に表示させる選択部２１をさらに設けた。
　これにより、カメラ２ｂがロボット３及びその周辺機器４を向いていない場合に、ロボット３、又は、ロボット３及びその周辺機器４、についての３次元コンピュータグラフィクスによる第１表示を行うことができ、また、カメラ２ｂがロボット３及びその周辺機器４を向いている場合に、カメラ２ｂが撮影したロボット３及びその周辺機器４についての拡張現実を用いた第２表示を行うことができる。すなわち、拡張現実表示と３次元コンピュータグラフィクス表示とを自動で切り替え可能なロボット表示装置を提供できる。
　また、本実施形態に係るロボット表示装置２によれば、第１表示及び第２表示において、ロボット３及びその周辺機器４に関する情報として、ロボット３のツール先端点、プログラムの教示点、ロボット３の座標系、ロボット３の各軸の動作範囲、ロボット３のジョグ方法、ロボット３の軌跡、位置レジスタ、ロボット３が有するセンサの情報及びロボット３の到達可能領域のうち少なくとも一つを表示させる構成とした。これにより、直感的な理解、確認が可能となる。
　本開示は、上記実施形態に限定されるものではなく、種々の変更及び変形が可能である。
　例えば上記実施形態では、本開示の産業機械の表示装置をロボット表示装置２に適用したが、これに限定されない。ロボット３以外にも各種工作機械等の産業機械の表示装置に適用可能である。
　１　ロボットシステム
　２　ロボット表示装置（産業機械の表示装置）
　２ａ　表示画面
　３　ロボット（産業機械）
　４　周辺機器
　５　制御装置
　２０　表示部
　２１　選択部

Claims (2)

  1. 　カメラと、
    　産業機械、又は、前記産業機械及びその周辺機器、についての３次元コンピュータグラフィクスによる第１表示と、前記カメラが撮影した産業機械及びその周辺機器についての拡張現実を用いた第２表示と、を切り替え可能に表示させる表示部と、
    　前記カメラが前記産業機械及びその周辺機器を向いていない場合に前記第１表示を有効にして該第１表示を前記表示部に表示させ、前記カメラが前記産業機械及びその周辺機器を向いている場合に前記第２表示を有効にして該第２表示を前記表示部に表示させる選択部と、を備える、産業機械の表示装置。
  2. 　前記表示部は、前記第１表示及び前記第２表示において、前記産業機械及びその周辺機器に関する情報として、ツール先端点、プログラムの教示点、座標系、各軸の動作範囲、ジョグ方法、軌跡、位置レジスタ、前記産業機械が有するセンサの情報及び前記産業機械の到達可能領域のうち少なくとも一つを表示させる、請求項１に記載の産業機械の表示装置。
PCT/JP2021/016207 2020-04-27 2021-04-21 産業機械の表示装置 WO2021220915A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/996,586 US11978168B2 (en) 2020-04-27 2021-04-21 Display device for industrial machine
DE112021002550.3T DE112021002550T5 (de) 2020-04-27 2021-04-21 Anzeigevorrichtung für Industriemaschine
JP2022517673A JP7381729B2 (ja) 2020-04-27 2021-04-21 産業機械の表示装置
CN202180029833.9A CN115427201A (zh) 2020-04-27 2021-04-21 工业机械的显示装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-078214 2020-04-27
JP2020078214 2020-04-27

Publications (1)

Publication Number Publication Date
WO2021220915A1 true WO2021220915A1 (ja) 2021-11-04

Family

ID=78373584

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/016207 WO2021220915A1 (ja) 2020-04-27 2021-04-21 産業機械の表示装置

Country Status (5)

Country Link
US (1) US11978168B2 (ja)
JP (1) JP7381729B2 (ja)
CN (1) CN115427201A (ja)
DE (1) DE112021002550T5 (ja)
WO (1) WO2021220915A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022124398A1 (ja) * 2020-12-10 2022-06-16

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011080882A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 動作空間提示装置、動作空間提示方法およびプログラム
JP2012521855A (ja) * 2009-03-31 2012-09-20 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手術ロボットの合成表現
JP2016197393A (ja) * 2015-04-03 2016-11-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2017100205A (ja) * 2015-11-30 2017-06-08 株式会社デンソーウェーブ バーチャルフェンス表示システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
JP6176214B2 (ja) * 2014-09-25 2017-08-09 日本電気株式会社 記憶システム、記憶システム制御方法及び仮想テープ装置制御プログラム
JP2016107379A (ja) 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
JP6582921B2 (ja) 2015-11-26 2019-10-02 株式会社デンソーウェーブ ロボットモニタシステム
US10378470B2 (en) * 2017-06-12 2019-08-13 Ford Global Technologies, Llc Method and system for diagnosing boost pressure control
JP2019016044A (ja) * 2017-07-04 2019-01-31 富士通株式会社 表示制御プログラム、表示制御方法及び表示制御装置
JP6683671B2 (ja) * 2017-11-24 2020-04-22 ファナック株式会社 ジョグ座標系を設定するロボットの制御装置
EP3495936A1 (de) * 2017-12-07 2019-06-12 Siemens Aktiengesellschaft Sichere brillenartige vorrichtung und verfahren
CN110238831B (zh) * 2019-07-23 2020-09-18 青岛理工大学 基于rgb-d图像及示教器的机器人示教系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012521855A (ja) * 2009-03-31 2012-09-20 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手術ロボットの合成表現
WO2011080882A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 動作空間提示装置、動作空間提示方法およびプログラム
JP2016197393A (ja) * 2015-04-03 2016-11-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2017100205A (ja) * 2015-11-30 2017-06-08 株式会社デンソーウェーブ バーチャルフェンス表示システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022124398A1 (ja) * 2020-12-10 2022-06-16
WO2022124398A1 (ja) * 2020-12-10 2022-06-16 三菱電機株式会社 遠隔制御マニピュレータシステムおよび遠隔制御支援システム
JP7224559B2 (ja) 2020-12-10 2023-02-17 三菱電機株式会社 遠隔制御マニピュレータシステムおよび遠隔制御支援システム
US11926064B2 (en) 2020-12-10 2024-03-12 Mitsubishi Electric Corporation Remote control manipulator system and remote control assistance system

Also Published As

Publication number Publication date
JPWO2021220915A1 (ja) 2021-11-04
US20230316668A1 (en) 2023-10-05
CN115427201A (zh) 2022-12-02
US11978168B2 (en) 2024-05-07
DE112021002550T5 (de) 2023-03-02
JP7381729B2 (ja) 2023-11-15

Similar Documents

Publication Publication Date Title
US11173601B2 (en) Teaching device for performing robot teaching operations and teaching method
US10807240B2 (en) Robot control device for setting jog coordinate system
US9685005B2 (en) Virtual lasers for interacting with augmented reality environments
US10166673B2 (en) Portable apparatus for controlling robot and method thereof
JP6159323B2 (ja) 情報処理方法及び情報処理装置
US20150151431A1 (en) Robot simulator, robot teaching device, and robot teaching method
EP2923806A1 (en) Robot control device, robot, robotic system, teaching method, and program
JP6202810B2 (ja) ジェスチャ認識装置および方法ならびにプログラム
US20140236565A1 (en) Robot simulator, robot teaching apparatus and robot teaching method
EP1864699A1 (en) Display control program executed in game machine
JP6357023B2 (ja) 情報処理プログラム、情報処理装置、情報処理装置の制御方法および情報処理システム
CN103257812B (zh) 一种调整显示输出的方法及电子设备
WO2021220915A1 (ja) 産業機械の表示装置
JP6710919B2 (ja) ロボット操作装置
JP4856136B2 (ja) 移動制御プログラム
US20220331972A1 (en) Robot Image Display Method, Recording Medium, And Robot Image Display System
JP3672352B2 (ja) ３次元立体配置編集方法及び３次元立体配置編集装置
JP3413145B2 (ja) 仮想空間の編集方法及び仮想空間の編集装置
JP6998775B2 (ja) 画像測定機およびプログラム
US20230062991A1 (en) Operation system for industrial machinery
WO2023067659A1 (ja) 制御装置
JP2018158429A (ja) ロボットシステム
JP2023017440A (ja) 画像処理装置
CN118019622A (en) Teaching device and robot system
JP2020087243A (ja) 物体計数方法、物体計数装置、および、ロボットシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21797404

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022517673

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21797404

Country of ref document: EP

Kind code of ref document: A1