JP7260428B2 - 拡張現実グラス装置及び表示プログラム - Google Patents

拡張現実グラス装置及び表示プログラム Download PDF

Info

Publication number
JP7260428B2
JP7260428B2 JP2019133094A JP2019133094A JP7260428B2 JP 7260428 B2 JP7260428 B2 JP 7260428B2 JP 2019133094 A JP2019133094 A JP 2019133094A JP 2019133094 A JP2019133094 A JP 2019133094A JP 7260428 B2 JP7260428 B2 JP 7260428B2
Authority
JP
Japan
Prior art keywords
tool
unit
trajectory
display
moving direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019133094A
Other languages
English (en)
Other versions
JP2021018544A (ja
Inventor
高史 三好
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2019133094A priority Critical patent/JP7260428B2/ja
Priority to DE102020003992.8A priority patent/DE102020003992A1/de
Priority to US16/919,591 priority patent/US11722651B2/en
Priority to CN202010669141.8A priority patent/CN112242006A/zh
Publication of JP2021018544A publication Critical patent/JP2021018544A/ja
Application granted granted Critical
Publication of JP7260428B2 publication Critical patent/JP7260428B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0085Motion estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/008Aspects relating to glasses for viewing stereoscopic images

Description

本発明は、拡張現実グラス装置及び表示プログラムに関する。
従来より、工作機械を制御する数値制御装置の画面上に、工具の移動軌跡を表示する装置が知られている。この装置では、工具の移動軌跡を用いてワークの加工状況を確認することができる。また、加工プログラムのデバッグ時に、個々の加工プログラムの実行及び停止を繰り返すことができる装置が知られている。
このような装置では、個々の加工プログラムにおける工具の移動軌跡を表示することで、加工プログラムの動作を個々に確認しながら加工プログラムを実行することができる。これに対し、動作対象の移動軌跡のみならず、移動方向を示すことができればより好ましい。そこで、動作対象であるロボットの移動方向も示すことが可能な装置が提案されている(例えば、特許文献1参照)。
特開2014-180707号公報
ところで、工作機械では、工具の先端のみならず、ワークを載置するテーブルも動くことで、加工位置を移動させる場合がある。例えば、X軸、Y軸、及びZ軸で示される直行座標系において、工具の先端は、Z軸方向のみに動く場合があり得る。このとき、テーブルは、X軸及びY軸方向に動く場合があり得る。このように複数の動作対象が相対的に動く場合であっても、工具の先端のワーク座標系における相対的な位置を直感的に表示することができれば好適である。
(1)本開示の一態様は、透過型の表示部を有し、工作機械における工具の軌跡を前記表示部に表示可能な拡張現実グラス装置であって、前記工具を移動動作させるプログラムブロックを取得するブロック取得部と、取得される時系列的に連続する複数の前記プログラムブロックに基づいて、ワーク座標系における前記工具の軌跡及び移動方向を特定する軌跡特定部と、特定された前記工具の軌跡及び移動方向を前記表示部にステレオ表示させる表示制御部と、を備える拡張現実グラス装置に関する。
(2)また、本開示の一態様は、透過型の表示部を有し、工作機械における工具の軌跡を前記表示部に表示可能な拡張現実グラス装置としてコンピュータを機能させる表示プログラムであって、前記コンピュータを、前記工具を移動動作させるプログラムブロックを取得するブロック取得部、時系列的に連続する複数の前記プログラムブロックに基づいて、ワーク座標系における前記工具の軌跡及び移動方向を特定する軌跡特定部、及び、特定された前記工具の軌跡及び移動方向を前記表示部にステレオ表示させる表示制御部、として機能させる表示プログラムに関する。
本開示によれば、工具の先端のワーク座標系における位置を直感的に表示することが可能な拡張現実グラス装置及び表示プログラムを提供することができる。
第1実施形態に係る拡張現実グラス装置及び表示プログラムの全体構成を示す概略構成図である。 第1実施形態に係る拡張現実グラス装置の構成を示すブロック図である。 第1実施形態に係る拡張現実グラス装置及び表示プログラムにおいて、表示部に表示される工具の先端の軌跡及び移動方向を示す概念図である。 第1実施形態に係る拡張現実グラス装置及び表示プログラムにおいて、処理の流れを示すフローチャートである。 第1実施形態に係る拡張現実グラス装置及び表示プログラムにおいて、処理の流れを示すフローチャートである。 第1実施形態に係る拡張現実グラス装置及び表示プログラムにおいて、表示部に表示される工具の先端及びテーブルに重畳される軌跡及び移動方向を示す概念図である。 第1実施形態に係る拡張現実グラス装置及び表示プログラムにおいて、表示部に表示される工具の先端及びテーブルに重畳される軌跡及び移動方向を示す概念図である。 第2実施形態に係る拡張現実グラス装置の構成を示すブロック図である。 第2実施形態に係る拡張現実グラス装置及び表示プログラムにおける処理の流れを示すフローチャートである。 第2実施形態に係る拡張現実グラス装置及び表示プログラムにおいて、表示部に表示される工具の先端及びテーブルに重畳される軌跡及び移動方向を示す概念図である。 変形例に係る拡張現実グラス装置において、表示部に表示される工具の先端の軌跡及び移動方向を示す概念図である。 変形例に係る拡張現実グラス装置において、表示部に表示される工具の先端の軌跡及び移動方向を示す概念図である。
以下、本開示の各実施形態に係る拡張現実グラス装置1及び表示プログラムについて、図1から図12を参照して説明する。
まず、各実施形態の拡張現実グラス装置1及び表示プログラムを説明する前に、拡張現実グラス装置1に関連付けられる工作機械100及び数値制御装置200について説明する。なお、以下の説明において、「ワーク座標系」とは、例えば、工作機械の手動制御によって決められる座標系であり、加工対象であるワークを基準とする座標系である。
工作機械100は、例えば、図1に示すように、数値制御装置200に接続される加工装置である。工作機械100は、数値制御装置200から出力される動作信号に基づいて動作する。工作機械100は、ワークWの設置用のテーブル102と、テーブル102の上方に配置される工具101と、を備える。工作機械100は、例えば、動作信号に基づいてテーブル102及び工具101の両者を動作させることで、ワークWを加工する。また、工作機械100は、数値制御装置200の指令に基づく自動制御と、手動パルス発生器(図示せず)を用いた手動制御とのいずれかに基づいて動作する。自動制御は、例えば、工具101を用いて実際にワークWを検索する際に利用される。手動制御は、例えば、デバッグや、ワークWの検知等の際に利用される。
数値制御装置200は、予め設定される加工プログラムのプログラムブロックにしたがって、動作信号を工作機械100に出力可能な装置である。本実施形態において、数値制御装置200は、1つの工作機械100にセットとして配置される。数値制御装置200は、加工プログラムに含まれる一連のプログラムブロックを順次実行することで、一連の動作信号に基づいて工作機械100の動作を制御する。
以上の工作機械100及び数値制御装置200によれば、工作機械100は、手動制御された後、自動制御される。まず、工作機械100は、例えば、パルス発生器を用いて手動制御されることで、XYZ軸の指定された各軸方向に工具101の先端又はテーブル102をそれぞれ移動させる。そして、検知器(図示せず)を取り付けた工具101の先端によって、ワークWの場所や大きさ等が把握される。
次いで、工作機械100は、数値制御装置200におけるプログラムブロックの実行よって自動制御される。工作機械100は、例えば、切削液(図示せず)を用いて、工具101によりワークWを実際に研削する。
(第1実施形態)
次に、第1実施形態に係る拡張現実グラス装置1及び表示プログラムについて、図1から図7を参照して説明する。
本実施形態に係る拡張現実グラス装置1は、例えば、ワーク座標系における工具101の先端の軌跡と、移動方向とを表示する装置である。具体的には、拡張現実グラス装置1は、工作機械100における加工の状況を確認可能な眼鏡型の表示デバイスである。拡張現実グラス装置1は、数値制御装置200及び加工装置を管理する作業員Hに装着されて用いられる。また、拡張現実グラス装置1は、例えば、1組の数値制御装置200及び工作機械100に組み合わされる。拡張現実グラス装置1は、数値制御装置200と無線通信可能に接続される。拡張現実グラス装置1は、図2に示すように、表示部11と、ブロック取得部12と、軌跡特定部13と、表示制御部14と、取得個数制限部15と、撮像部16と、位置識別部17と、手動動作識別部18と、移動方向取得部19と、を備える。
表示部11は、例えば、透過型ディスプレイである。表示部11は、作業員Hの目の位置に合わせて一対に配置される。表示部11は、透過する像に合わせて、種々の情報を表示可能に構成される。表示部11は、例えば、工作機械100の工具101やテーブル102の像を透過するとともに、種々の情報を工具101やテーブル102に重畳して表示する。
ブロック取得部12は、例えば、CPUが動作することで実現される。ブロック取得部12は、工具101を移動動作させるプログラムブロックを取得する。ブロック取得部12は、例えば、数値制御装置200に予め設定される加工プログラムに関して、実行中又は実行直前に読み込まれるプログラムブロックを取得する。具体的には、ブロック取得部12は、加工プログラムに関し、工具101の動作に用いられる最中又は直前の一連のプログラムブロックを所定数取得する。本実施形態において、ブロック取得部12は、実行中又は次に実行されるプログラムブロックと、その後連続して実行されるプログラムブロックとを、数値制御装置200から所定数取得する。また、ブロック取得部12は、例えば、数値制御装置200から、実行中のプログラムを特定する情報と、ワーク座標系における工具101の位置を示す情報と、を取得する。
軌跡特定部13は、例えば、CPUが動作することで実現される。軌跡特定部13は、時系列的に連続する複数のプログラムブロックに基づいて、ワーク座標系における工具101の軌跡及び移動方向を特定する。具体的には、軌跡特定部13は、一連のプログラムブロックから、実行中又は次に実行されるプログラムブロックと続けて将来的に実行されるプログラムブロックとによって移動する軌跡及び移動方向を特定する。また、軌跡特定部13は、取得したワーク座標系における工具101の位置を示す情報と、実行中のプログラムブロックを特定する情報とから、実行中のプログラムブロック及び工具101の位置を特定する。
表示制御部14は、例えば、CPUが動作することで実現される。表示制御部14は、特定された工具101の軌跡及び移動方向を表示部11にステレオ表示させる。表示制御部14は、例えば、図3に示すように、左右一対の表示部11のそれぞれに、ワーク座標系における工具101の先端の軌跡及び移動方向を示す視差画像を表示させる。即ち、表示制御部14は、表示部11に、現在の動作及び将来の動作に関する、工具101の先端の軌跡及び移動方向をステレオ画像として表示させる。これにより、表示制御部14は、作業員Hに対して立体画像(3D画像)を提供する。また、表示制御部14は、プログラムブロックを識別する目印(図3では、N10,N11,N12)を軌跡及び移動方向とともに表示する。なお、本実施形態において、表示制御部14は、図3に示すように、ワーク座標系の座標軸とともに、工具101の軌跡及び移動方向を表示部11に表示させる。また、表示制御部14は、特定された実行中のプログラムブロック及び工具101の位置を表示部11に表示させる。
取得個数制限部15は、例えば、CPUが動作することにより実現される。取得個数制限部15は、取得されるプログラムブロックの個数の指定、又はプログラムブロックの実行により移動する工具101の移動距離に基づいて、ブロック取得部12によって取得されるプログラムブロックの個数を制限する。取得個数制限部15は、例えば、ブロック取得部12によって取得されるプログラムブロックの個数を3つに制限する。これにより、取得個数制限部15は、軌跡特定部13によって特定される工具101の先端の軌跡及び移動方向について、3つの一連のプログラムブロックに跨る軌跡及び移動方向に制限する。また、取得個数制限部15は、例えば、工具101の移動距離を制限することで、ブロック取得部12によって取得されるプログラムブロックの個数を制限する。これにより、取得個数制限部15は、一連のプログラムブロックによって移動する工具101の移動距離を所定の範囲内に収めるように、軌跡特定部13の特定に用いられる一連のプログラムブロックの個数を制限する。具体的には、取得個数制限部15は、実行中又は次に実行されるプログラムブロックに基づいて、一連のプログラムブロックにおける工具101の移動距離を合算する。取得個数制限部15は、工具101の移動距離が所定の距離を超えず最大の距離となるプログラムブロックの個数に取得する個数を制限する。
撮像部16は、例えば、画像を撮像する装置である。撮像部16は、表示部11を透過する画像であって、工具101を含む画像を撮像画像として取得可能な構成である。換言すると、撮像部16は、表示部11を介して、作業員Hによって視認されている工作機械100の工具101の画像を撮像画像として取得可能な構成である。撮像部16は、例えば、左右一対の表示部11のそれぞれについて、撮像画像を取得する。また、撮像部16は、テーブル102を含む撮像画像を撮像する。撮像部16は、例えば、工具101の先端とテーブル102とを含む撮像画像を撮像する。
位置識別部17は、例えば、CPUが動作することで実現される。位置識別部17は、撮像画像に含まれる工具101の先端の位置を識別する。位置識別部17は、例えば、工具101の先端に取り付けられる位置検出用のマーカを撮像画像中に認識することで、ワーク座標系における工具101の先端の相対位置を識別する。また、位置識別部17は、撮像画像に含まれるテーブル102の位置を識別する。
手動動作識別部18は、例えば、CPUが動作することで実現される。手動動作識別部18は、工作機械100の自動動作から手動動作への切り替えを識別する。手動動作識別部18は、例えば、数値制御装置200によって制御されるモード(自動制御)から、パルス発生器によって動作されるモード(手動制御)への切り替えを識別する。
移動方向取得部19は、例えば、CPUが動作することで実現される。移動方向取得部19は、手動動作への切り替えが識別された場合に、工具101及びテーブル102の少なくとも一方について、手動によって指定された移動方向を取得する。移動方向取得部19は、例えば、パルス発生器によって特定された軸の移動指令にしたがって動作する工具101及びテーブル102の少なくとも一方の移動方向を数値制御装置200から取得する。
次に、拡張現実グラス装置1を用いた動作について、図4のフローチャートを用いて説明する。本フローでは、工作機械100が手動制御された後、自動制御される例が説明される。
(手動制御)
まず、手動動作識別部18は、工作機械100の動作について、手動制御であるか否かを識別する(ステップS1)。手動動作識別部18は、例えば、数値制御装置200から動作モードを取得することで、手動制御であるか否かを識別する。手動制御である場合(ステップS1:YES)、処理は、ステップS2に進む。自動制御である場合(ステップS2:NO)、処理は、図5のステップS11に進む。
ステップS2において、撮像部16は、撮像画像を取得する。撮像部16は、例えば、一対の表示部11のそれぞれを透過する画像を撮像画像として取得する。
次いで、位置識別部17は、撮像画像に含まれる工具101の先端位置及びテーブル102の位置を識別する(ステップS3)。位置識別部17は、例えば、工具101の先端やテーブル102に取り付けられたマーカを用いて、工具101の先端位置及びテーブル102の位置を識別する。
次いで、移動方向取得部19は、パルス発生器を用いた各軸の移動方向を取得する(ステップS4)。移動方向取得部19は、例えば、数値制御装置200を介して、パルス発生器によって指定された軸(動作軸)の情報を取得する。また、移動方向取得部19は、パルス発生器によって実際に動作された動作方向を取得する。移動方向取得部19は、例えば、ダイヤル式のパルス発生器の回転方向を取得することで、動作軸の移動方向(プラス方向又はマイナス方向)の情報を取得する。
次いで、表示制御部14は、取得された動作軸及び移動方向を表示部11に表示させる(ステップS5)。表示制御部14は、動作軸及び移動方向を工具101の先端位置又はテーブル102に重畳して表示部11に表示させる。表示制御部14は、例えば、図6に示すように、動作軸をX軸、移動方向をプラス方向として、テーブル102が動作することを撮像画像に含まれるテーブル102の位置に重畳して表示部11に表示させる。また例えば、表示制御部14は、図7に示すように、動作軸をZ軸、移動方向をプラス方向として、工具101の先端が動作することを撮像画像に含まれる工具101の先端の位置に重畳して表示部11に表示させる。表示制御部14は、例えば、ステレオ画像として、表示部11に重畳した画像として表示してもよい。
次いで、パルス発生器を用いた移動が次にあるか否かが判断される(ステップS6)。パルス発生器を用いた移動が次にある場合(ステップS6:YES)、処理は、ステップS4に戻る。一方、パルス発生器を用いた移動が無い場合(ステップS6:NO)には、処理はステップS7に進む。
ステップS7において、手動動作識別部18は、手動動作から自動動作への動作モードの切り替えを判断する。切り替えが実行された場合(ステップS7:YES)、処理は、図5のステップS11に進む。一方、切り替えが実行されない場合(ステップS7:NO)、本フローは終了する。
(自動制御)
図5に示すように、取得個数制限部15は、数値制御装置200から取得するプログラムブロックの個数を制限する(ステップS11)。次いで、ブロック取得部12は、制限された個数のプログラムブロックを数値制御装置200から取得する(ステップS12)。
軌跡特定部13は、取得されたプログラムブロックから、工具101の先端のワーク座標系における相対的な軌跡及び移動方向を特定する(ステップS13)。また、軌跡特定部13は、実行中のプログラムブロックと、工具101の位置とを特定する。表示制御部14は、図3に示すように、特定された軌跡及び移動方向を表示部11にステレオ画像として表示させる(ステップS14)。また、表示制御部14は、特定された実行中のプログラムブロックと、工具101の位置とを表示部11に表示させる。
次いで、次のプログラムブロックがあるか否かが判断される(ステップS15)。次のプログラムブロックがある場合(ステップS15:YES)、処理は、ステップS11に戻る、一方、次のプログラムブロックが無い場合(ステップS15:NO)、本フローにおける処理は、終了する。
次に、本実施形態に係る表示プログラムについて説明する。
拡張現実グラス装置1に含まれる各構成は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータが表示プログラムを読み込んで実行することにより実現されることを意味する。
表示プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、表示プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、表示プログラムをコンピュータに供給できる。
以上、第1実施形態に係る拡張現実グラス装置1及び表示プログラムによれば、以下の効果を奏する。
(1)透過型の表示部11を有し、工具101を用いた工作機械100の工具101の軌跡を表示部11に表示可能な拡張現実グラス装置1であって、工具101を移動動作させるプログラムブロックを取得するブロック取得部12と、取得される時系列的に連続する複数のプログラムブロックに基づいて、ワーク座標系における工具101の軌跡及び移動方向を特定する軌跡特定部13と、特定された工具101の軌跡及び移動方向を表示部11にステレオ表示させる表示制御部14と、を備える。これにより、各超現実グラス装置を装着する作業員Hは、立体画像(3D画像)として工具101の軌跡及び移動方向を把握することができる。したがって、工具101の先端の相対的軌跡及び移動方向について、作業員Hに直感的に把握させることが可能となる。
(2)表示制御部14は、工具101の軌跡及び移動方向を座標軸とともに表示部11に表示させる。これにより、作業員Hの位置からワーク座標系を見る際の工具101の先端の移動方向を座標軸に比較して示すことができる。したがって、工具101の先端の相対的軌跡及び移動方向について、作業員Hにより直感的に把握させることが可能となる。
(3)拡張現実グラス装置1は取得されるプログラムブロックの個数の指定、又はプログラムブロックの実行により移動する工具101の移動距離に基づいて、ブロック取得部12によって取得されるプログラムブロックの個数を制限する取得個数制限部15をさらに備える。これにより、拡張現実グラスによって保持されるプログラムブロックの情報量を制限することができる。したがって、拡張現実グラス装置1で使用されるメモリ容量を節約することができる。
(4)拡張現実グラス装置1は、表示部11を透過する画像であって、工具101を含む画像を撮像画像として撮像可能な撮像部16と、撮像画像に含まれる工具101の先端の位置を識別する位置識別部17と、をさらに備え、表示制御部14は、撮像画像に含まれる工具101の先端の位置に、工具101の軌跡及び移動方向を重畳して表示部11に表示させる。実際の工具101の先端の位置に、工具101の軌跡及び移動方向を重畳して表示することができるので、工具101の先端の軌跡及び移動方向をより直感的に把握しやすい装置を提供することができる。また、工作機械100の工具101の先端位置が外部から視認できない場合、工具101の軌跡及び移動方向は、ワーク座標系で示される。一方、工作機械100の工具101の先端位置が外部から視認できる場合、工具101の軌跡及び移動方向は、実際の工具101の軌跡として示される。これにより、拡張現実グラス装置1は、工具101の先端位置が視認できない場合であっても工具101の軌跡及び移動方向を示すことを可能とする装置である。そして、拡張現実グラス装置1は、工具1の先端位置が視認できる場合には、工具101の先端の位置に軌跡及び移動方向を重畳することで、より直感的な表示を可能とする装置である。
(5)撮像部16は、テーブル102を含む撮像画像を撮像し、位置識別部17は、テーブル102の位置を識別し、軌跡特定部13は、時系列的に連続する複数のプログラムブロックとテーブル102の位置とに基づいて、ワーク座標系におけるテーブル102の軌跡及び移動方向を特定し、表示制御部14は、撮像部16に含まれるテーブル102の位置に、テーブル102の軌跡及び移動方向を重畳して表示部11に表示させる。これにより、工具101の先端及びテーブル102の軌跡及び移動方向を別々に表示できるので、実際の機械の動作を直感的に作業員Hに把握させることができる。
(6)拡張現実グラス装置1は、工作機械100の自動動作から手動動作への切り替えを識別する手動動作識別部18と、手動動作への切り替えが識別された場合に、工具101及びテーブル102の少なくとも一方について、手動によって指定された移動方向を取得する移動方向取得部19と、をさらに備え、表示制御部14は、取得した移動方向を工具101及びテーブル102の少なくとも一方に重畳して表示する。これにより、実際の工具101の先端を視認することが可能な手動制御の状態と、加工動作中である自動制御の状態とにおいて表示態様を変えることができるので、よりユーザライクな装置を提供することができる。
(7)透過型の表示部11を有し、工作機械100における工具101の軌跡を表示部11に表示可能な拡張現実グラス装置1としてコンピュータを機能させる表示プログラムであって、コンピュータを、工具101を移動動作させるプログラムブロックを取得するブロック取得部12、時系列的に連続する複数のプログラムブロックに基づいて、ワーク座標系における工具101の軌跡及び移動方向を特定する軌跡特定部13、及び、特定された工具101の軌跡及び移動方向を表示部11にステレオ表示させる表示制御部14、として機能させる。これにより、各超現実グラス装置を装着する作業員Hは、立体画像(3D画像)として工具101の軌跡及び移動方向を把握することができる。したがって、工具101の先端の相対的軌跡及び移動方向について、作業員Hに直感的に把握させることが可能となる。
(第2実施形態)
次に、第2実施形態に係る拡張現実グラス装置1及び表示プログラムについて、図8から図10を参照して説明する。
第2実施形態に係る拡張現実グラス装置1及び表示プログラムは、図8に示すように、工作機械100における切削液使用の有無を使用情報として取得する使用情報取得部20をさらに備える点で、第1実施形態と異なる。また、第2実施形態に係る拡張現実グラス装置1及び表示プログラムは、表示制御部14は、使用情報によって切削液不使用が示される場合に、撮像部16に含まれる工具101の先端の位置に、工具101の軌跡及び移動方向を重畳して表示部11に表示させる点で、第1実施形態と異なる。
使用情報取得部20は、例えば、CPUが動作することで実現される。使用情報取得部20は、工作機械100における切削液使用の有無を使用情報として取得する。即ち、使用情報取得部20は、工具101の先端が切削液の使用によって隠れているか否かを使用情報として取得する。
次に、本実施形態に係る拡張現実グラス装置1の動作について、図9を参照して説明する。なお、本フローは、図5のステップS14のサブルーチンとして構成される。
図9に示すように、使用情報取得部20は、使用情報を数値制御装置200から取得する(ステップS21)。次いで、切削液不使用か否かが判断される(ステップS22)。切削液不使用である場合(ステップS22:YES)、処理は、ステップS23に進む。一方、切削液使用中である場合(ステップS22:NO)、表示制御部14は、例えば、図3に示すように、左右一対の表示部11のそれぞれに、ワーク座標系における工具101の先端の軌跡及び移動方向を示すステレオ画像を表示させる(ステップS24)。これにより、本フローは終了する。
ステップS23において、表示制御部14は、撮像画像に含まれる実際の工具101の先端の位置に、工具101の先端の軌跡及び移動方向を重畳して表示部11に表示させる。表示制御部14は、例えば、図10に示すように、工具101の移動と、テーブル102の移動とを別々に表示部11に表示させる。これにより、本フローは終了する。
以上、第2実施形態に係る拡張現実グラス装置1及び表示プログラムによれば、以下の効果を奏する。
(8)工作機械100における切削液使用の有無を使用情報として取得する使用情報取得部20をさらに備え、表示制御部14は、使用情報によって切削液不使用が示される場合に、撮像部16に含まれる工具101の先端の位置に、工具101の軌跡及び移動方向を重畳して表示部11に表示させる。これにより、デバッグ中等で切削液が不要である場合には、実際の工具101の先端の位置に、ワーク座標系における工具101の先端の位置に相対的な軌跡及び移動方向を示すことができる。したがって、より直感的に作業員Hに工具101の軌跡及び移動方向を示すことができる。
以上、本開示の拡張現実グラス装置及び表示プログラムの好ましい各実施形態につき説明したが、本開示は、上述の実施形態に制限されるものではなく、適宜変更が可能である。
例えば、上記実施形態において、工具101の先端位置に対する表示部11の角度が変更されることで、角度の変更に合わせて軌跡の角度を変更してもよい。例えば、拡張現実グラス装置1は、工具101の実際の位置に対する角度の変位を取得する変位取得部(図示せず)をさらに備えてもよい。表示制御部14は、変位取得部によって取得された角度の変位に応じて、表示部11に表示されるワーク座標系の角度を変更する。例えば、表示制御部14は、図11に示すような、XYZ軸が固定されている画像から、図12に示すような、表示部11に表示される工具101の先端の軌跡及び移動方向の角度を変更して表示してもよい。また、表示制御部14は、角度の変位の基準となる位置の入力を入力部(図示せず)より受け付け、基準位置からの変位に応じて表示を変更してもよい。表示制御部14は、例えば、所定の角度から描画される軌跡及び移動方向を基準位置として入力を受け付け、基準位置からの変位に応じて角度を変更した軌跡及び移動方向を描画してもよい。
また、上記第2実施形態において、使用情報取得部20が使用情報を取得することで、切削液の使用の有無を判断するとしたが、これに制限されない。例えば、位置識別部17が撮像部16によって撮像された撮像画像に含まれる工具101の先端の位置の画像(マーカ)を認識できるか否かによって、切削液の使用の有無が判断されてもよい。位置識別部17が工具101の先端の位置の画像(マーカ)を認識できる場合に、表示制御部14は、工具101の先端の移動方向と、実際の工具101の先端の位置とを重畳してもよい。また、表示制御部14は、テーブル102の移動方向と、実際のテーブル102の位置とを重畳してもよい。
また、上記実施形態において、表示制御部14はさらに、各軸の座標を表示部11に表示させてもよい。また、表示制御部14はさらに、実行中のプログラムブロック以降のプログラムブロックの実行による工具101の移動距離(残移動距離)を表示してもよい。この場合、取得個数制限部15は、数値制御装置200に設定されているプログラムブロックのうち、残りのプログラムブロックの実行によって移動する工具101の移動距離を算出してもよい。
また、上記実施形態において、取得個数制限部15は、プログラムブロックの個数の指定、又はプログラムブロックの実行により移動する工具101の移動距離に基づいて、取得されるプログラムブロックの個数を制限するとしたが、これに制限されない。取得個数制限部15は、例えば、拡張現実グラス装置1に備えられているメモリの容量や、予め手入力で指定されたプログラムブロックの個数に基づいて、取得されるプログラムブロックの個数を制限してもよい。
また、上記実施形態において、ブロック取得部12は、ワーク座標系における工具101の位置の情報を取得するとしたが、これに制限されない。ブロック取得部12は、例えば、所定よりも長いブロック長を有するプログラムブロックについてのみ、工具101の位置の情報を取得してもよい。この場合、軌跡特定部13は、工具101の位置に代えて、実行中のプログラムブロックのみを特定してもよい。
また、上記実施形態において、軌跡特定部13は、取得したワーク座標系における工具の位置を示す情報と、実行中のプログラムブロックを特定する情報とから、実行中のプログラムブロック及び工具の位置を特定するとしたが、これに制限されない。例えば、軌跡特定部13は、数値制御装置200からブロック取得部12への通信遅延の発生を判断して、工具の位置を特定してもよい。この場合、軌跡特定部13は、工具101の位置を示す情報と、遅延分を加味して算出した工具101のずれ量とに基づいて、工具101の位置を特定してもよい。
また、上記実施形態において、数値制御装置200及び拡張現実グラス装置1との間の通信速度に制約がある場合、ブロック取得部12は、工具101の位置を示す情報を取得しなくてもよい。この場合、軌跡特定部13は、工具101の位置を特定しなくてもよい。表示制御部14は、実行中のプログラムブロックをハイライトして表示部11に表示させることで、工具101の存在する軌跡を工具101の位置として表示部11に表示させてもよい。
1 拡張現実グラス装置
11 表示部
12 ブロック取得部
13 軌跡特定部
14 表示制御部
15 取得個数制限部
16 撮像部
17 位置識別部
18 手動動作識別部
19 移動方向取得部
20 使用情報取得部
100 工作機械
101 工具
102 テーブル
200 数値制御装置
W ワーク

Claims (8)

  1. 透過型の表示部を有し、工作機械における工具の軌跡を前記表示部に表示可能な拡張現実グラス装置であって、
    前記工具を移動動作させるプログラムブロックを取得するブロック取得部と、
    取得される時系列的に連続する複数の前記プログラムブロックに基づいて、ワーク座標系における前記工具の軌跡及び移動方向を特定する軌跡特定部と、
    特定された前記工具の軌跡及び移動方向を前記表示部にステレオ表示させる表示制御部と、
    前記取得されるプログラムブロックの個数の指定、又は前記プログラムブロックの実行により移動する前記工具の移動距離に基づいて、前記ブロック取得部によって取得される前記プログラムブロックの個数を制限する取得個数制限部と、
    を備える拡張現実グラス装置。
  2. 透過型の表示部を有し、工作機械における工具の軌跡を前記表示部に表示可能な拡張現実グラス装置であって、
    前記工具を移動動作させるプログラムブロックを取得するブロック取得部と、
    取得される時系列的に連続する複数の前記プログラムブロックに基づいて、ワーク座標系における前記工具の軌跡及び移動方向を特定する軌跡特定部と、
    特定された前記工具の軌跡及び移動方向を前記表示部にステレオ表示させる表示制御部と、
    前記表示部を透過する画像であって、前記工具を含む画像を撮像画像として撮像可能な撮像部と、
    前記撮像画像に含まれる前記工具の先端の位置を識別する位置識別部と、
    を備え
    前記表示制御部は、前記撮像画像に含まれる前記工具の先端の位置に、前記工具の軌跡及び移動方向を重畳して前記表示部に表示させる拡張現実グラス装置。
  3. 前記撮像部は、前記工作機械のワーク設置用のテーブルを含む撮像画像を撮像し、
    前記位置識別部は、前記テーブルの位置を識別し、
    前記軌跡特定部は、時系列的に連続する複数の前記プログラムブロックと前記テーブルの位置とに基づいて、前記ワーク座標系における前記テーブルの軌跡及び移動方向を特定し、
    前記表示制御部は、前記撮像部に含まれる前記テーブルの位置に、前記テーブルの軌跡及び移動方向を重畳して前記表示部に表示させる請求項に記載の拡張現実グラス装置。
  4. 前記工作機械における切削液使用の有無を使用情報として取得する使用情報取得部をさらに備え、
    前記表示制御部は、使用情報によって切削液不使用が示される場合に、前記撮像部に含まれる前記工具の先端の位置に、前記工具の軌跡及び移動方向を重畳して前記表示部に表示させる請求項に記載の拡張現実グラス装置。
  5. 前記工作機械の自動動作から手動動作への切り替えを識別する手動動作識別部と、
    前記手動動作への切り替えが識別された場合に、前記工具及び前記テーブルの少なくとも一方について、手動によって指定された移動方向を取得する移動方向取得部と、
    をさらに備え、
    前記表示制御部は、取得した移動方向を前記工具及び前記テーブルの少なくとも一方に重畳して表示する請求項又はに記載の拡張現実グラス装置。
  6. 前記表示制御部は、前記工具の軌跡及び移動方向を座標軸とともに前記表示部に表示させる請求項1から5のいずれかに記載の拡張現実グラス装置。
  7. 透過型の表示部を有し、工作機械における工具の軌跡を前記表示部に表示可能な拡張現実グラス装置としてコンピュータを機能させる表示プログラムであって、
    前記コンピュータを、
    前記工具を移動動作させるプログラムブロックを取得するブロック取得部、
    時系列的に連続する複数の前記プログラムブロックに基づいて、ワーク座標系における前記工具の軌跡及び移動方向を特定する軌跡特定部
    特定された前記工具の軌跡及び移動方向を前記表示部にステレオ表示させる表示制御部、及び、
    前記取得されるプログラムブロックの個数の指定、又は前記プログラムブロックの実行により移動する前記工具の移動距離に基づいて、前記ブロック取得部によって取得される前記プログラムブロックの個数を制限する取得個数制限部、
    として機能させる表示プログラム。
  8. 透過型の表示部を有し、工作機械における工具の軌跡を前記表示部に表示可能な拡張現実グラス装置としてコンピュータを機能させる表示プログラムであって、
    前記コンピュータを、
    前記工具を移動動作させるプログラムブロックを取得するブロック取得部、
    時系列的に連続する複数の前記プログラムブロックに基づいて、ワーク座標系における前記工具の軌跡及び移動方向を特定する軌跡特定部
    特定された前記工具の軌跡及び移動方向を前記表示部にステレオ表示させる表示制御部、
    前記表示部を透過する画像であって、前記工具を含む画像を撮像画像として撮像可能な撮像部、及び、
    前記撮像画像に含まれる前記工具の先端の位置を識別する位置識別部、
    として機能させ
    前記表示制御部は、前記撮像画像に含まれる前記工具の先端の位置に、前記工具の軌跡及び移動方向を重畳して前記表示部に表示させる表示プログラム。
JP2019133094A 2019-07-18 2019-07-18 拡張現実グラス装置及び表示プログラム Active JP7260428B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019133094A JP7260428B2 (ja) 2019-07-18 2019-07-18 拡張現実グラス装置及び表示プログラム
DE102020003992.8A DE102020003992A1 (de) 2019-07-18 2020-07-02 Augmented-reality-brillenvorrichtung und anzeigeprogramm
US16/919,591 US11722651B2 (en) 2019-07-18 2020-07-02 Augmented reality glasses device and display program
CN202010669141.8A CN112242006A (zh) 2019-07-18 2020-07-13 增强现实眼镜装置以及显示程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019133094A JP7260428B2 (ja) 2019-07-18 2019-07-18 拡張現実グラス装置及び表示プログラム

Publications (2)

Publication Number Publication Date
JP2021018544A JP2021018544A (ja) 2021-02-15
JP7260428B2 true JP7260428B2 (ja) 2023-04-18

Family

ID=74093919

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019133094A Active JP7260428B2 (ja) 2019-07-18 2019-07-18 拡張現実グラス装置及び表示プログラム

Country Status (4)

Country Link
US (1) US11722651B2 (ja)
JP (1) JP7260428B2 (ja)
CN (1) CN112242006A (ja)
DE (1) DE102020003992A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020192882A1 (en) * 2019-03-25 2020-10-01 Abb Schweiz Ag Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system
JP7359633B2 (ja) * 2019-10-17 2023-10-11 ファナック株式会社 ロボットシステム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061661A (ja) 2008-09-05 2010-03-18 Mori Seiki Co Ltd 加工状況監視方法及び加工状況監視装置
JP2012221309A (ja) 2011-04-11 2012-11-12 Fanuc Ltd 工作機械の工具軌跡表示装置
JP2015079491A (ja) 2013-09-13 2015-04-23 株式会社ソディック 加工データ演算装置および加工データ演算プログラム
WO2016009970A1 (ja) 2014-07-17 2016-01-21 株式会社ソニー・コンピュータエンタテインメント 立体画像提示装置、立体画像提示方法、およびヘッドマウントディスプレイ
JP2018092476A (ja) 2016-12-06 2018-06-14 ファナック株式会社 拡張現実シミュレーション装置及び拡張現実シミュレーションプログラム
WO2019092792A1 (ja) 2017-11-07 2019-05-16 三菱電機株式会社 表示制御装置、表示制御方法および表示制御プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005249745A (ja) * 2004-03-08 2005-09-15 Ebara Corp 試料表面検査方法および検査装置
US7733339B2 (en) * 2004-05-04 2010-06-08 Raytheon Company System and method for partitioning CAD models of parts into simpler sub-parts for analysis of physical characteristics of the parts
JP5819812B2 (ja) * 2012-12-25 2015-11-24 ファナック株式会社 工作機械の負荷表示装置
JP5742862B2 (ja) 2013-03-18 2015-07-01 株式会社安川電機 ロボット装置及び被加工物の製造方法
JP6670161B2 (ja) * 2016-04-27 2020-03-18 株式会社キーエンス 光学式三次元座標測定器及びその計測方法
US10878591B2 (en) * 2016-11-07 2020-12-29 Lincoln Global, Inc. Welding trainer utilizing a head up display to display simulated and real-world objects
JP6717875B2 (ja) * 2018-04-26 2020-07-08 ファナック株式会社 数値制御装置
US10715784B2 (en) * 2018-08-24 2020-07-14 Verizon Patent And Licensing Inc. Methods and systems for preserving precision in compressed depth data representative of a scene
US11195271B2 (en) * 2019-05-20 2021-12-07 Macuject Pty Ltd. Confidence-based method and system for analyzing images of a retina

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061661A (ja) 2008-09-05 2010-03-18 Mori Seiki Co Ltd 加工状況監視方法及び加工状況監視装置
JP2012221309A (ja) 2011-04-11 2012-11-12 Fanuc Ltd 工作機械の工具軌跡表示装置
JP2015079491A (ja) 2013-09-13 2015-04-23 株式会社ソディック 加工データ演算装置および加工データ演算プログラム
WO2016009970A1 (ja) 2014-07-17 2016-01-21 株式会社ソニー・コンピュータエンタテインメント 立体画像提示装置、立体画像提示方法、およびヘッドマウントディスプレイ
JP2018092476A (ja) 2016-12-06 2018-06-14 ファナック株式会社 拡張現実シミュレーション装置及び拡張現実シミュレーションプログラム
WO2019092792A1 (ja) 2017-11-07 2019-05-16 三菱電機株式会社 表示制御装置、表示制御方法および表示制御プログラム

Also Published As

Publication number Publication date
US20210021797A1 (en) 2021-01-21
CN112242006A (zh) 2021-01-19
US11722651B2 (en) 2023-08-08
DE102020003992A1 (de) 2021-01-21
JP2021018544A (ja) 2021-02-15

Similar Documents

Publication Publication Date Title
JP7260428B2 (ja) 拡張現実グラス装置及び表示プログラム
JP6434476B2 (ja) 拡張現実シミュレーション装置及び拡張現実シミュレーションプログラム
US9897991B2 (en) Machine tool
US20100063615A1 (en) Machining status monitoring method and machining status monitoring apparatus
US9791848B2 (en) Display apparatus
JP5404450B2 (ja) 加工状況監視装置
US10614149B2 (en) Coordinate information conversion device and computer readable medium
JP2008015740A (ja) 工作機械の制御装置
US11731283B2 (en) Method for checking a safety area of a robot
CN110303499B (zh) 一种机械臂归位方法及装置
JP7221792B2 (ja) 測定プログラム選択補助装置および測定制御装置
CN111103002A (zh) 测量数据收集装置、测量数据收集方法和存储介质
KR20170116773A (ko) 스마트 글라스를 이용한 증강현실 가공기 관리 시스템
JP6538345B2 (ja) 工作機械のワーク計測装置
JP2016167319A (ja) 加工プログラム作成方法および装置
JP6709210B2 (ja) 工作機械
KR101760121B1 (ko) 가공계획 수립과 가공시간 예측이 가능한 nc 공작기계 운용 시스템 및 방법
JP6913058B2 (ja) 加工シミュレーション装置
JP2021065971A (ja) ロボット教示システム、画像生成方法、及びプログラム
JP2020086759A (ja) 3次元モデル作成装置、加工シミュレーション装置、工具経路自動生成装置
US10545479B2 (en) Controller, control method, and control program
CN111522299B (zh) 机械控制装置
CN116847958A (zh) 用于调整用于处理工件的机器人路径的方法和装置
JP2021039567A (ja) 作業支援システム及びプログラム
US20190079489A1 (en) Machining simulation apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220408

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230406

R150 Certificate of patent or registration of utility model

Ref document number: 7260428

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150