JP7381729B2

JP7381729B2 - 産業機械の表示装置

Info

Publication number: JP7381729B2
Application number: JP2022517673A
Authority: JP
Inventors: 万峰傅; 勇太並木
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2020-04-27
Filing date: 2021-04-21
Publication date: 2023-11-15
Anticipated expiration: 2041-04-21
Also published as: DE112021002550T5; CN115427201A; US11978168B2; WO2021220915A1; JPWO2021220915A1; US20230316668A1

Description

本開示は、産業機械の表示装置に関する。

産業機械及びその周辺機器を仮想的な３次元コンピュータグラフィクスとして画面上に表示させ、併せて、産業機械の様々な情報、例えばプログラムの教示点、ＴＣＰ（Tool Center Point）軌跡、座標系等を表示させることができる。

このような３次元コンピュータグラフィクスとしての表示は、仮想的なものであるので、実際の産業機械及びその周辺機器と見比べる必要があり、直感的な理解が難しいことがある。

これに対し、カメラを有するタブレット等の表示機器を使用して、拡張現実（ＡＲ）を使った実際のロボット及びその周辺機器の映像上に、様々な情報を併せて表示させた場合には、直感的な理解が可能となる（例えば、特許文献１参照）。

特開２０１６－１０７３７９号公報

しかしながら、カメラがロボット等の産業機械及びその周辺機器を向いていない場合、産業機械及びその周辺機器は表示されず、意味をなさない。このような場合には、上述の仮想的な３次元コンピュータグラフィクスを表示することが望ましいが、拡張現実表示と３次元コンピュータグラフィクス表示との切り替えを手動で行うのは煩雑である。

本開示は、上記課題に鑑みてなされたものであり、拡張現実表示と３次元コンピュータグラフィクス表示とを自動で切り替え可能な産業機械の表示装置を提供する。

本開示の一態様は、カメラと、産業機械、又は、前記産業機械及びその周辺機器、についての３次元コンピュータグラフィクスによる第１表示と前記カメラが撮影した産業機械及びその周辺機器についての拡張現実を用いた第２表示とを切り替え可能に表示させる表示部と、前記カメラが産業機械及びその周辺機器を向いていない場合に前記第１表示を有効にして該第１表示を前記表示部に表示させ、前記カメラが産業機械及びその周辺機器を向いている場合に前記第２表示を有効にして該第２表示を前記表示部に表示させる選択部と、を備える、産業機械の表示装置である。

本開示の一態様によれば、拡張現実表示と３次元コンピュータグラフィクス表示とを自動で切り替え可能な産業機械の表示装置を提供できる。

本開示の一実施形態に係るロボット表示装置を備えるロボットシステムの概略図である。本開示の一実施形態に係るロボット表示装置の機能ブロック図である。第１表示を表示した状態の本開示の一実施形態に係るロボット表示装置の概略図である。第２表示を表示した状態の本開示の一実施形態に係るロボット表示装置の概略図である。本開示の一実施形態に係るロボット表示装置の動作を説明するフローチャートである。

以下、図面を参照して、本開示の一実施形態に係るロボット表示装置２を備えるロボットシステム１について説明する。

まず、図１及び図２を用いて、本実施形態に係るロボット表示装置２を備えるロボットシステム１の構成について説明する。図１は、本実施形態に係るロボット表示装置２を備えるロボットシステム１の概略図である。図２は、本実施形態に係るロボット表示装置２の機能ブロック図である。

図１及び図２に示すロボットシステム１は、ロボット表示装置２の表示部２０により、表示画面２ａにロボット３及びその周辺機器４に関する表示を行う。具体的に、ロボットシステム１は、ロボット表示装置２と、ロボット３と、周辺機器４と、制御装置５と、等を備えている。

ロボット表示装置２は、本開示の産業機械の表示装置をロボットの表示装置に適用したものである。ロボット表示装置２は、タブレット端末等の携帯通信端末である。具体的に、ロボット表示装置２は、カメラ２ｂと、表示部２０と、この表示部２０をタッチパネルとして情報の入力を可能とした入力部（図示省略）と、制御装置５と通信する通信手段（図示省略）と、ＣＰＵ（Central Processing Unit）等の演算処理手段（図示省略）と、各種プログラムを格納したＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の補助記憶手段（図示省略）と、演算処理手段がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Random Access Memory）といった主記憶手段（図示省略）と、等を備えている。

表示部２０は、ロボット３、又は、ロボット３及びその周辺機器４、についての３次元コンピュータグラフィクスによる第１表示（図３Ａ参照）と、カメラ２ｂが撮影したロボット３及びその周辺機器４についての拡張現実（ＡＲ）を用いた第２表示（図３Ｂ参照）と、を切り替え可能にロボット表示装置２の表示画面２ａに表示させる。

ここで、拡張現実では、カメラで撮影した画像の特定の特徴点、例えばマーカを抽出して位置合わせすることにより、仮想３次元オブジェクト等の拡張情報を現実空間の対象物にオーバレイ表示することができる。本実施形態では、マーカは、ロボット３等に取り付けることも可能であり、もともと存在するものをマーカとすることもできる。例えば、ロボット３自体をマーカとすることも可能である。また、位置合わせマーカは、背景に設置することもでき、位置やスケールのリファレンスとなる固定点を提供可能なオブジェクトである。このような位置合わせマーカをカメラで撮像することにより、カメラの位置や向き（姿勢）を計算することができ、現実空間の対象物に対して仮想３次元オブジェクト等の拡張情報を違和感無く重ねることが可能となる。

表示部２０は、第１表示を表示する場合、例えば、ロボット３及びその周辺機器４に関する情報として、ロボット３のツール先端点、プログラムの教示点、ロボット３の座標系、ロボット３の各軸の動作範囲、ロボット３のジョグ方法、ロボット３の軌跡、位置レジスタ、ロボット３が有するセンサの情報及びロボット３の到達可能領域のうち少なくとも一つを表示させることができる。

同様に、表示部２０は、第２表示を表示する場合、ロボット３及びその周辺機器に関する情報として、例えば、ロボット３のツール先端点、プログラムの教示点、ロボット３の座標系、ロボット３の各軸の動作範囲、ロボット３のジョグ方法、ロボット３の軌跡、位置レジスタ、ロボット３が有するセンサの情報及びロボット３の到達可能領域のうち少なくとも一つを表示させることができる。

第１表示に用いるロボット３についての３次元コンピュータグラフィクスに関する情報は、制御装置５から事前に取得され、ロボット表示装置２に記憶される。第１表示に用いる周辺機器４についての３次元コンピュータグラフィクスに関する情報は、制御装置５から取得される等してロボット表示装置２に事前に入力され、ロボット表示装置２に記憶される。第２表示に用いるロボット３及びその周辺機器４の特徴点（マーカ、形状）の情報は、制御装置５から取得される等してロボット表示装置２に事前に入力され、ロボット表示装置２に記憶される。第１表示又は第２表示に併せて表示する情報は、制御装置５から事前に取得され、ロボット表示装置２に記憶される。

図２に示すように、ロボット表示装置２が備えるＣＰＵ（図示省略）は、各種プログラムを実行することによって、表示部２０、選択部２１等の各種機能を実現する。

選択部２１は、カメラ２ｂがロボット３及びその周辺機器４を向いていない場合には、第１表示を有効にして該第１表示を表示部２０により表示画面２ａに表示させる。また、カメラ２ｂがロボット３及びその周辺機器４を向いている場合には、第２表示を有効にして該第２表示を表示部２０により表示画面２ａに表示させる。なお、カメラ２ｂがロボット３及びその周辺機器４を向いているか否かは、カメラ２ｂの撮像結果から、現実空間のロボット３及びその周辺機器４が検出されるか否かに応じて判断される。

図１に戻って、ロボット３は、その周辺機器４とともに、ロボット表示装置２の表示部２０により表示画面２ａに表示される。このロボット３は、制御装置５の制御下において動作する。周辺機器４は、ロボット３に付随する機器であり、例えばベルトコンベヤ等である。制御装置５は、ロボット３及びその周辺機器４を制御する装置であり、ロボット表示装置２と通信を行う。

次に、図３Ａを用いて、ロボット表示装置２が表示部２０により表示画面２ａに第１表示を表示する場合について説明する。図３Ａは、第１表示を表示した状態の本実施形態に係るロボット表示装置２の概略図である。

図３Ａに示すように、カメラ２ｂがロボット３及びその周辺機器４を向いていない場合には、選択部２１が、３次元コンピュータグラフィクスによる第１表示を有効にして該第１表示を表示部２０により表示画面２ａに表示させる。このとき、表示部２０には、上述したように、ロボット３のツール先端点、プログラムの教示点、ロボット３の座標系、ロボット３の各軸の動作範囲、ロボット３のジョグ方法、ロボット３の軌跡、位置レジスタ、ロボット３が有するセンサの情報及びロボット３の到達可能領域のうち少なくとも一つの情報が併せて表示される。

次に、図３Ｂを用いて、本実施形態に係るロボット表示装置２が表示部２０により表示画面２ａに第２表示を表示する場合について説明する。図３Ｂは、第２表示を表示した状態の本実施形態に係るロボット表示装置２の概略図である。

図３Ｂに示すように、カメラ２ｂがロボット３及びその周辺機器４を向いている場合、選択部２１が、拡張現実を用いた第２表示を有効にして該第２表示を表示部２０により表示画面２ａに表示させる。このとき、表示部２０には、上述したように、ロボット３のツール先端点、プログラムの教示点、ロボット３の座標系、ロボット３の各軸の動作範囲、ロボット３のジョグ方法、ロボット３の軌跡、位置レジスタ、ロボット３が有するセンサの情報及びロボット３の到達可能領域のうち少なくとも一つの情報が併せて表示される。図３Ｂに示す例では、ユーザ座標系と、各軸の動作範囲が表示されている。

次に、図４を用いて、本実施形態に係るロボット表示装置２の動作について説明する。図４は、ロボット表示装置２の動作を説明するフローチャートである。

図４に示すように、先ず、選択部２１が、カメラ２ｂがロボット３及びその周辺機器４を向いているか否かを判別する（ステップＳ１０）。

カメラ２ｂがロボット３及びその周辺機器４を向いている場合（ステップＳ１０における判別がＹＥＳの場合）、選択部２１は、拡張現実による第２表示を有効にして、該第２表示を表示部２０により表示画面２ａに表示させる（ステップＳ２０）。

カメラ２ｂがロボット３及びその周辺機器４を向いていない場合（ステップＳ１０における判別がＮＯの場合）、選択部２１は、仮想的な３次元コンピュータグラフィクスによる第１表示を有効にして、該第１表示を表示部２０により表示画面２ａに表示させる（ステップＳ３０）。以上により、本処理を終了する。

本実施形態によれば、以下の効果が奏される。
本実施形態に係るロボット表示装置２によれば、ロボット３、又は、ロボット３及びその周辺機器４、についての３次元コンピュータグラフィクスによる第１表示と、カメラ２ｂが撮影したロボット３及びその周辺機器４についての拡張現実を用いた第２表示と、を切り替え可能に表示させる表示部２０を設けた。そして、カメラ２ｂがロボット３及びその周辺機器４を向いていない場合に第１表示を有効にして該第１表示を表示部２０に表示させ、カメラ２ｂがロボット３及びその周辺機器４を向いている場合に第２表示を有効にして該第２表示を表示部２０に表示させる選択部２１をさらに設けた。

これにより、カメラ２ｂがロボット３及びその周辺機器４を向いていない場合に、ロボット３、又は、ロボット３及びその周辺機器４、についての３次元コンピュータグラフィクスによる第１表示を行うことができ、また、カメラ２ｂがロボット３及びその周辺機器４を向いている場合に、カメラ２ｂが撮影したロボット３及びその周辺機器４についての拡張現実を用いた第２表示を行うことができる。すなわち、拡張現実表示と３次元コンピュータグラフィクス表示とを自動で切り替え可能なロボット表示装置を提供できる。

また、本実施形態に係るロボット表示装置２によれば、第１表示及び第２表示において、ロボット３及びその周辺機器４に関する情報として、ロボット３のツール先端点、プログラムの教示点、ロボット３の座標系、ロボット３の各軸の動作範囲、ロボット３のジョグ方法、ロボット３の軌跡、位置レジスタ、ロボット３が有するセンサの情報及びロボット３の到達可能領域のうち少なくとも一つを表示させる構成とした。これにより、直感的な理解、確認が可能となる。

本開示は、上記実施形態に限定されるものではなく、種々の変更及び変形が可能である。
例えば上記実施形態では、本開示の産業機械の表示装置をロボット表示装置２に適用したが、これに限定されない。ロボット３以外にも各種工作機械等の産業機械の表示装置に適用可能である。

１ロボットシステム
２ロボット表示装置（産業機械の表示装置）
２ａ表示画面
３ロボット（産業機械）
４周辺機器
５制御装置
２０表示部
２１選択部

Claims

カメラと、
産業機械、又は、前記産業機械及びその周辺機器、についての３次元コンピュータグラフィクスによる第１表示と、前記カメラが撮影した産業機械及びその周辺機器についての拡張現実を用いた第２表示と、を切り替え可能に表示させる表示部と、
前記カメラが前記産業機械及びその周辺機器を向いていない場合に前記第１表示を有効にして該第１表示を前記表示部に表示させ、前記カメラが前記産業機械及びその周辺機器を向いている場合に前記第２表示を有効にして該第２表示を前記表示部に表示させる選択部と、を備える、産業機械の表示装置。
前記表示部は、前記第１表示及び前記第２表示において、前記産業機械及びその周辺機器に関する情報として、ツール先端点、プログラムの教示点、座標系、各軸の動作範囲、ジョグ方法、軌跡、位置レジスタ、前記産業機械が有するセンサの情報及び前記産業機械の到達可能領域のうち少なくとも一つを表示させる、請求項１に記載の産業機械の表示装置。