JP6585665B2 - 仮想オブジェクト表示システム - Google Patents

仮想オブジェクト表示システム Download PDF

Info

Publication number
JP6585665B2
JP6585665B2 JP2017127692A JP2017127692A JP6585665B2 JP 6585665 B2 JP6585665 B2 JP 6585665B2 JP 2017127692 A JP2017127692 A JP 2017127692A JP 2017127692 A JP2017127692 A JP 2017127692A JP 6585665 B2 JP6585665 B2 JP 6585665B2
Authority
JP
Japan
Prior art keywords
node
information
marker
unit
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017127692A
Other languages
English (en)
Other versions
JP2019012342A (ja
Inventor
庸士 大西
庸士 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2017127692A priority Critical patent/JP6585665B2/ja
Priority to US16/003,553 priority patent/US20190005725A1/en
Priority to DE102018210261.9A priority patent/DE102018210261A1/de
Priority to CN201810663304.4A priority patent/CN109213078B/zh
Publication of JP2019012342A publication Critical patent/JP2019012342A/ja
Application granted granted Critical
Publication of JP6585665B2 publication Critical patent/JP6585665B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/402—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for positioning, e.g. centring a tool relative to a hole in the workpiece, additional detection means to correct position
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4069—Simulating machining process on screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31261—Coordination control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality

Description

本発明は、拡張現実（ＡＲ（Augmented Reality））や複合現実（ＭＲ（Mixed Reality））の技術を用いてシミュレーションを行うための、仮想オブジェクト表示システムに関する。
従来、数値制御装置により制御される工作機械の分野では、ＣＡＤ（computer-aided design）等でワークや治具を設計する。また、設計した治具を用いてワークを加工するための加工プログラムを作成する。
そして、数値制御装置が加工プログラムに基づいて工作機械を制御することにより、ワークの加工が実現される。
ここで、設計した治具やワーク、及び加工プログラムを実際に製造ラインに載せる前に、これらが適切であるかを確認するために加工シミュレーションを行うことが一般的である。
この加工シミュレーションを、実際の機械による動作確認で行う場合、当然のことながら実物の治具が完成するまでは加工シミュレーションは行えない。従って、治具が完成するまで工程が停滞するという問題が発生する。
また、治具完成後の動作確認時に干渉等の問題が見つかり、治具の設計変更が必要になった場合には、工程が更に延びてしまう。また、治具の設計変更のための費用も発生してしまう。仮に、治具の設計変更をしない場合には、加工プログラムの変更が必要となるが、この場合には加工に要するサイクルタイムが当初よりも延びるおそれがある。
これらの問題を考慮して、実際の機械により動作確認を行うのではなく、パーソナルコンピュータ等の演算処理により、仮想的に加工シミュレーションを行う技術が存在する。
例えば、特許文献１に開示の技術では、工作機械における構造を全て仮想オブジェクト化して、加工シミュレーションを行う。
しかしながら、特許文献１に開示の技術では、ワークや治具の仮想オブジェクトを作成するだけでなく、複数種類の工作機械それぞれについて機械全体の仮想オブジェクトを作成する必要があった。また、実際の工作機械の動作を再現するために、工作機械の可動部分の仮想オブジェクトに動作処理を実装する必要もあった。つまり、仮想オブジェクトの作成が容易ではないという問題があった。
更に、このように仮想オブジェクトを作成したとしても、仮想オブジェクトの再現度が低い場合には、現実との差異が生じてしまうという問題があった。
このような仮想オブジェクトに関する問題を鑑みた技術が、特許文献２に開示されている。特許文献２に開示の技術では、工作機械内部をカメラ画像で取得して、事前に登録してある工具保持部又はワーク保持部を特徴点として抽出する。そして、事前に登録した工具又はワークの仮想オブジェクトを、特徴点の位置に基づいて、実際に撮影した工作機械の画像にオーバレイ表示させる。このようにすれば、工作機械の仮想オブジェクトを作成する必要がなくなる。
しかしながら、特許文献２に開示の技術では、カメラの撮影方向を予め設定された方向に固定する必要があるため、加工シミュレーションの様子を確認する視点を変更することができないという問題がある。
他方、近年の画像処理技術分野では、ＡＲやＭＲといった、現実空間に実在するオブジェクトに対して仮想のオブジェクトを重ね合せて表示等するための拡張現実技術が一般的に利用されるようになっている。以下では、このような拡張現実技術により表示される情報を「拡張情報」と呼ぶ。
このような拡張現実技術を利用すれば、カメラで撮影した画像の特定の特徴点（例えば、マーカ）を抽出して、仮想オブジェクト等の拡張情報をオーバレイ表示することができる。また、それのみならず、カメラの撮影方向を任意変更することも可能となる。従って、このような拡張現実技術を適切に利用することができれば、上述した特許文献２に開示の技術の問題点を解消することができる。
このようなＡＲやＭＲといった拡張現実技術の基礎技術が、非特許文献１に開示されている。非特許文献１に開示の技術では、シースルー型のＨＭＤ(Head Mounted Display)を表示デバイスとし、仮想物体表示の基準座標となるマーカの３次元位置をＨＭＤに取り付けられた小型カメラによって得られる画像情報から検出する。そして、ユーザの両眼に視差を与えた仮想物体映像を提示することで、ＨＭＤスクリーンを透過して見える実世界の３次元空間中に３次元物体として仮想オブジェクトを表示することを可能とする。
具体的には、非特許文献１に開示の技術では、図２７に示すように複数の座標系を扱う。この点、仮想オブジェクトは、特徴点を原点とした座標系であるマーカ座標系上で表現する。そして、マーカ座標系からカメラ座標系への座標変換マトリクスを求める処理を行う。
そして、この処理により得られた座標変換マトリクスを用いることにより、ＨＭＤの左右のスクリーンの適切な位置に仮想オブジェクトを描画することが可能となる。
このような非特許文献１等に開示の拡張現実技術を利用すれば、実際の工作機械内部に仮想オブジェクトを表示し、加工シミュレーションを行うことができる。
例えば、図２８に示すように、特徴点を予め登録したマーカとした場合、マーカの移動に合わせて仮想オブジェクトも移動する。すなわち、仮想オブジェクトがマーカに追従する。
これを利用し、実際の工作機械の可動部上にマーカを配置することで、テーブルの実移動に合わせて仮想オブジェクトを移動させることができる。例えば、図２９の左に（２９Ａ）として示すように、実際の工作機械の可動部である可動テーブル上にマーカを配置する。そして、図２９の中央に（２９Ｂ）として示すように、マーカを原点として仮想オブジェクトを表示する。更に、図２９の右に（２９Ｃ）として示すように、可動テーブルを例えばＸ軸に沿って移動させると、仮想オブジェクトがマーカに追従する。
このようにすれば、工作機械全体を仮想オブジェクトとすることなく、且つ、工作機械の可動部分の再現をすることなく、加工シミュレーションを行うことが可能となる。
特許４０８３５５４号明細書 特許５３８４１７８号明細書 特開２０１２−５８９６８号公報 特許５８７２９２３号明細書
「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、［ｏｎｌｉｎｅ］、［平成２８年１１月２７日検索］、インターネット〈ＵＲＬ：http://intron.kz.tsukuba.ac.jp/tvrsj/4.4/kato/p-99_VRSJ4_4.pdf〉
しかしながら、図２９に示すようにして、実際の工作機械の可動部上にマーカを配置する場合には、図３０に示すような複数の課題が存在する。
例えば、図３０の左に（３０Ａ）として示すようにマーカが判別不能となり得るという課題がある。なぜならば、拡張情報を描画するためには、カメラで、マーカを捉えている必要があるが、マーカを設置した可動部の移動や回転に伴いマーカが判別不能になり得るからである。この点、特許文献４に開示の技術を利用すれば、マーカが判別不能になった後も、拡張情報の表示を継続することはできる。しかしながら、特許文献４に開示の技術では、その後、可動部に配置されたマーカの移動を検知することはできないので、マーカが判別不能になった後は、表示している拡張情報は移動しないこととなる。従って、仮に特許文献４に開示の技術を利用したとしても、マーカが判別不能となってしまう場合には、適切な加工シミュレーションは行なえない。
また、図３０の中央に（３０Ｂ）として示すように、可動部の移動速度が速く、マーカの認識処理が追いつけない場合があり得るという課題もある。
また、図３０の右に（３０Ｃ）として示すように、そもそも可動部にマーカが配置できない場合があり得るという課題がある。可動部にマーカが配置できない場合とは、例えば可動部そのものを仮想オブジェクトで実現する場合である。
また、その他にも、１つのマーカに複数の仮想オブジェクトを表示するケースも考えられる。例えば、図３１の左に（３１Ａ）として示すようにワーク及び治具と、工具とを、仮想オブジェクトで表示するケースが考えられる。また、図３１の右に（３１Ｂ）として示すようにワーク及び治具と、テーブルとを、仮想オブジェクトで表示するケースが考えられる。
このような場合に、可動部上にマーカを配置してしまうと、移動が不要な仮想オブジェクトも一緒に移動してしまうという課題もある。
これらの課題を考慮すると、工作機械上で加工シミュレーションを行う場合、マーカ自体は移動させず、マーカを所定の位置に固定して設置できることが望ましい。
しかしながら、マーカが固定して設置された場合には、マーカを原点として表示される仮想オブジェクトも動かないことになる。これでは、加工シミュレーションを行うことができない。
そこで、マーカを固定して設置する場合、工作機械の可動部の移動に合わせて、仮想オブジェクトをマーカ座標系上で移動・回転させる必要がある。
これに対して、現実の工作機械の可動部は、数値制御装置が制御している制御軸の動作により移動・回転する。この制御軸の座標系（以下、「制御軸座標系」とも表記する）は数値制御装置が管理しており、工作機械ごとに特有のものである。
つまり、マーカ座標系と制御軸座標系は別物であり、制御軸の移動量だけでは正しく加工シミュレーションを行うことはできない。
これを解決する技術として、例えば、マーカ座標系上の位置情報と、制御軸座標系上の位置情報を連動させる第１の手法が考えられる。しかし、この手法では、制御軸座標系の移動量をマーカ座標系の移動量に変換するための関係情報を設定する必要がある。
関係情報の設定を不要とするための技術として、例えば、カメラから見える位置に固定したマーカと、制御軸の移動に伴って移動する工具等の位置を撮像した撮像データを複数取得し、取得した撮像データから計算されるマーカ座標系における工具の位置と、制御軸座標系における座標値とから、制御軸座標系の移動量をマーカ座標系の移動量に変換するための関係情報を推定する第２の手法が考えられる。
しかし、第２の手法においては、事前に機械の構成ごとに未定数を含んだ形で変換式を登録しておく必要があり、予め用意した機械構成しか使用することができない。また、マーカの認識とは別に、工具等の位置を認識するための画像認識技術が要求される。
更に、第１の手法と第２の手法の双方において、仮想オブジェクトごとに変換式が必要であると共に、この変換式は、あくまで移動量の変換式なので、初期位置を認識する手段が必要となる。初期位置の認識のためには、仮想オブジェクトを配置する対象に初期位置検出用マーカを置くか、対象を画像認識する必要があり、仮想オブジェクトの個数が増えれば、それぞれに対して認識手段が必要となる。
そこで、本発明は、簡易な手法で、仮想オブジェクトを表示することが可能な、仮想オブジェクト表示システムを提供することを目的とする。
（１） 本発明に係る仮想オブジェクト表示システム（例えば、後述の仮想オブジェクト表示システム１０）は、機械構成管理装置（例えば、後述の機械構成管理装置１００）と拡張情報制御装置（例えば、後述の拡張情報制御装置２００）とを備え、前記機械構成管理装置は、グラフ生成部（例えば、後述のグラフ生成部１１１）と、制御点座標系挿入部（例えば、後述の制御点座標系挿入部１１３）と、ノード情報通知部（例えば、後述のノード情報通知部１１４）と、変換情報計算部（例えば、後述の変換情報計算部１１５）と、変換情報通知部（例えば、後述の変換情報通知部１１６）とを備え、前記拡張情報制御装置は、ノード選択部（例えば、後述のノード選択部２１１）と、選択ノード通知部（例えば、後述の選択ノード通知部２１２）と、座標情報変換部（例えば、後述の座標情報変換部２１３）とを備える、仮想オブジェクト表示システムであって、前記グラフ生成部は、制御対象の機械構成を、マーカを含む構成要素をノードとするグラフを生成し、前記制御点座標系挿入部は、前記グラフに、制御点及び座標系を挿入し、前記ノード情報通知部は、表示可能なノード情報を、前記拡張情報制御装置に通知し、前記ノード選択部は、仮想オブジェクトを表示したいノードを選択し、前記選択ノード通知部は、仮想オブジェクトを表示したいノードを、前記機械構成管理装置に通知し、前記変換情報計算部は、マーカノードから表示対象のノードへの前記グラフにおける経路上の制御軸ノードの座標値を変数として含む変換情報であって、前記グラフを元に、マーカノードの座標系における、表示対象のノードの位置及び／又は姿勢を計算するための変換情報を、計算し、前記変換情報通知部は、前記変換情報を、前記拡張情報制御装置に通知し、前記座標情報変換部は、前記変換情報を用いて、通知された各制御軸の座標値を、マーカノードの座標系における、表示対象の各ノードの位置及び／又は姿勢に変換する。
（２） （１）に記載の仮想オブジェクト表示システム（例えば、後述の仮想オブジェクト表示システム１０）は、表示装置（例えば、後述のヘッドマウントディスプレイ３００）を更に備え、前記拡張情報制御装置（例えば、後述の拡張情報制御装置２００）は、前記座標情報変換部（例えば、後述の座標情報変換部２１３）が変換した、マーカノードの座標系における表示対象の各ノードの位置及び／又は姿勢に基づいて、仮想オブジェクトを拡張情報として前記表示装置で計算するための拡張情報表示用データを計算する拡張情報表示用データ計算部（例えば、後述の拡張情報表示用データ計算部２１４）と、前記拡張情報表示用データを前記表示装置に通知する、拡張情報表示用データ通知部（例えば、後述の拡張情報表示用データ通知部２１５）を備えてもよい。
（３） （１）又は（２）に記載の仮想オブジェクト表示システム（例えば、後述の仮想オブジェクト表示システム１０）において、前記座標情報変換部（例えば、後述の座標情報変換部２１３）は、数値制御装置（例えば、後述の数値制御装置１５０）から受け取った座標値を、前記各制御軸の座標値として、マーカノードの座標系における、表示対象の各ノードの位置及び／又は姿勢に変換してもよい。
（４） （１）〜（３）に記載の仮想オブジェクト表示システム（例えば、後述の仮想オブジェクト表示システム１０）において、前記グラフ生成部（例えば、後述のグラフ生成部１１１）は、複数のマーカノードを前記グラフに追加し、前記変換情報計算部（例えば、後述の変換情報計算部１１５）は、複数のマーカノードの座標系から、各ノードの位置及び／又は姿勢を計算するための変換情報を計算し、前記変換情報通知部（例えば、後述の変換情報通知部１１６）は前記変換情報を前記拡張情報制御装置に通知してもよい。
（５） （１）〜（３）に記載の仮想オブジェクト表示システム（例えば、後述の仮想オブジェクト表示システム１０）において、前記グラフ生成部（例えば、後述のグラフ生成部１１１）は、ベースマーカノードを追加し、前記変換情報計算部（例えば、後述の変換情報計算部１１５）は、前記ベースマーカノードの座標系を基準とする変換情報と、前記ベースマーカノードの座標系と各マーカノードの座標系との間の変換情報を、前記拡張情報制御装置に通知してもよい。
（６） （１）〜（５）に記載の仮想オブジェクト表示システム（例えば、後述の仮想オブジェクト表示システム１０）において、前記拡張情報制御装置（例えば、後述の拡張情報制御装置２００）は、前記グラフのデータを有する記憶部（例えば、後述の記憶部２２０）を更に備えてもよい。
（７） （１）〜（６）に記載の仮想オブジェクト表示システム（例えば、後述の仮想オブジェクト表示システム１０）は、前記グラフのデータを格納するサーバを更に備えてもよい。
（８） （１）〜（７）に記載の仮想オブジェクト表示システム（例えば、後述の仮想オブジェクト表示システム１０）において、前記機械構成管理装置（例えば、後述の機械構成管理装置１００）は、工作機械（例えば、後述の工作機械４００）の数値制御装置（例えば、後述の数値制御装置１５０）と一体化されていてもよい。
（９） （１）〜（７）に記載の仮想オブジェクト表示システム（例えば、後述の仮想オブジェクト表示システム１０）において、前記機械構成管理装置（例えば、後述の機械構成管理装置１００）は、クラウド上に存在してもよい。
本発明によれば、簡易な手法で、仮想オブジェクトを表示することが可能となる。
本発明の実施形態全体の基本的構成を示すブロック図である。 本発明の実施形態に係る機械構成管理装置１００の機能ブロック図である。 本発明の実施形態に係る数値制御装置１５０の機能ブロック図である。 本発明の実施形態に係る拡張情報制御装置２００の機能ブロック図である。 本発明の実施形態における機械構成木の生成方法の説明図である。 本発明の実施形態における機械構成木の生成方法の説明図である。 本発明の実施形態における機械構成木の生成方法の説明図である。 本発明の実施形態における機械構成木の生成方法を示すフローチャートである。 本発明の実施形態における機械の構成要素の親子関係の説明図である。 本発明の実施形態における機械の構成要素の親子関係の説明図である。 ユニットを機械構成木に挿入する方法の説明図である。 ユニットを機械構成木に挿入する方法の説明図である。 ユニットを機械構成木に挿入する方法の説明図である。 本発明の実施形態に係る機械構成の例を示す図である。 機械構成木の生成対象となる機械の例を示す図である。 機械構成木の生成対象となる機械に対応する機械構成木の例を示す図である。 本発明の実施形態において、機械の各ノードに座標系及び制御点が挿入された例を示す図である。 本発明の実施形態における、座標系及び制御点が挿入された機械構成木の例を示す図である。 本発明の実施形態において、各ノードにオフセット及び姿勢マトリクスが挿入される機械の例を示す図である。 本発明の実施形態において、機械の各ノードにオフセット及び姿勢マトリクスが挿入された例を示す図である。 本発明の実施形態において、機械構成木に制御点を挿入する動作フローを示す図である。 本発明の実施形態における、座標系及び制御点が挿入された機械構成木の例を示す図である。 本発明の実施形態において、変換情報を生成する際に用いる情報の例を示す図である。 本発明の実施形態において、変換情報を生成する際に用いる情報の例を示す図である。 本発明の実施形態に係る、仮想オブジェクト表示方法の動作フローを示す図である。 本発明の実施形態の実施例を示す図である。 本発明の実施形態の実施例を示す図である。 マーカ座標系及びカメラ座標系と変換情報との関係を示す図である。 本発明の実施形態の実施例を示す図である。 本発明の実施形態の実施例を示す図である。 本発明の実施形態の実施例を示す図である。 本発明の実施形態の実施例を示す図である。 本発明の実施形態の実施例を示す図である。 本発明の実施形態の実施例を示す図である。 マーカ座標系が複数ある場合のマーカ座標系及びカメラ座標系と変換情報との関係を示す図である。 マーカ座標系について示す図である。 仮想オブジェクトの表示について示す図である。 マーカを可動部に設置した場合について示す図である。 マーカを可動部に設置した場合の課題について示す図である。 マーカに複数の仮想オブジェクトを対応付けた場合について示す図である。
＜１．仮想オブジェクト表示システムの構成＞
次に、本発明の実施形態について図面を参照して詳細に説明する。まず、図１を参照して本実施形態全体の構成について説明をする。
本実施形態に係る仮想オブジェクト表示システム１０は、機械構成管理装置１００、数値制御装置１５０、拡張情報制御装置２００、無線通信装置２５０、ヘッドマウントディスプレイ３００及び工作機械４００を備える。
機械構成管理装置１００は、本実施形態特有の装置であり、工作機械４００の各構成要素をノードとするグラフ（以下、機械構成木とも表記）を作成し、このグラフによって機械構成を管理することにより、後述の拡張情報制御装置２００が、この機械構成木に基づく機械構成のデータを利用した制御をすることが可能となる。
より具体的には、機械構成管理装置１００は、後述の＜５．機械構成木の生成＞に記載の方法により、工作機械４００の構成を表現する機械構成木を生成し、更に、マーカを機械構成木のノードとして追加登録したり、もしくは、マーカが既存のノードに貼られている場合には、そのノードをマーカノードとして認識したりする。機械構成木は各ノード相互の位置関係情報を有するため、機械構成木上に、ノードとしてマーカを含むことで、後述の拡張情報制御装置２００において、機械構成木上の全てのノードについて、マーカとの位置／姿勢の関係が分かる。
機械構成管理装置１００の詳細な構成については、図２を参照して後述する。
数値制御装置１５０は、一般的な数値制御装置としての機能と、機械構成管理装置１００との通信を行う機能とを備える装置である。数値制御装置１５０は、工作機械４００と通信可能に接続されている。そして、数値制御装置１５０は、数値制御装置１５０自身に組み込まれた加工プログラムに基づいて出力される各制御軸の移動量により工作機械４００を制御して、ワークを加工する。
また、数値制御装置１５０は、拡張情報制御装置２００に対しても加工プログラムに基づいて出力される各制御軸の移動量を出力する。
このように、数値制御装置１５０は、機械構成管理装置１００と工作機械４００との双方に対して移動量を出力する。この点、数値制御装置１５０から機械構成管理装置１００に対しての移動量の出力は、数値制御装置１５０から工作機械４００に対しての移動量の出力に同期して行われてもよいし、非同期に送られてもよい。
数値制御装置１５０の詳細な構成については、図３を参照して後述する。
拡張情報制御装置２００は、本実施形態特有の装置であり、拡張現実技術により、仮想オブジェクトの表示位置及び表示角度を算出することにより、適切に仮想オブジェクトを表示させるための制御を行う。
拡張情報制御装置２００の詳細な構成については、図４を参照して後述する。
無線通信装置２５０は、拡張情報制御装置２００と通信可能に接続しており、拡張情報制御装置２００が出力する仮想オブジェクトと、その表示位置及び表示角度を取得する。これら拡張情報制御装置２００が出力する情報は、カメラ座標系に対応したものとなっている。そして、これら拡張情報制御装置２００が出力した情報を、Ｗｉ−Ｆｉ等の無線通信規格に準拠してヘッドマウントディスプレイ３００に対して送信する。
また、無線通信装置２５０は、ヘッドマウントディスプレイ３００に含まれるカメラが撮像により取得した情報を無線通信によりヘッドマウントディスプレイ３００から受信する。そして、無線通信装置２５０は、この受信した情報を拡張情報制御装置２００に対して出力する。
ヘッドマウントディスプレイ３００は、一般的なヘッドマウントディスプレイ（以下、適宜「ＨＭＤ」と表記）であり、拡張情報制御装置２００が出力する仮想オブジェクトと、その表示位置及び表示角度を、無線通信装置２５０を介して取得する。そして、この取得した情報に基づいて、ヘッドマウントディスプレイ３００自身が備えるディスプレイに仮想オブジェクトを表示する。この取得した情報は、上述したように、カメラ座標系に対応したものとなっている。また、ヘッドマウントディスプレイ３００は、ヘッドマウントディスプレイ３００自身に含まれるカメラが撮像により取得した情報を、無線通信装置２５０を介して拡張情報制御装置２００に対して出力する。
工作機械４００は、一般的な工作機械であり、数値制御装置１５０から出力される各制御軸の移動量に応じて各制御軸を移動・回転させる。
本実施形態では、このような構成により、ユーザが、マーカ座標系に対応して表示される仮想オブジェクトをヘッドマウントディスプレイ３００のディスプレイにて参照すると共に、各制御軸の移動量に対応して可動する工作機械４００の実際の構造をディスプレイ越しに参照する。これにより、ユーザは加工シミュレーションの様子を観察することが可能となる。
なお、図１に示した構成はあくまで一例である。例えば、ヘッドマウントディスプレイ３００を、ＨＭＤではなくタブレット型の端末により実現するようにしてもよい。また、機械構成管理装置１００の機能の一部又は全部を数値制御装置１５０に搭載するようにしてもよい。また、拡張情報制御装置２００の機能の一部又は全部をヘッドマウントディスプレイ３００や数値制御装置１５０に搭載するようにしてもよい。また、拡張情報制御装置２００は、単独の装置により実現してもよいが複数の装置の組み合わせにより実現してもよい。また、拡張情報制御装置２００は、数値制御装置１５０や工作機械４００の近傍に設置されている装置により実現してもよいが、数値制御装置１５０や工作機械４００とネットワークを介して遠距離に設置されているサーバ装置等で実現してもよい。更に、各通信接続は有線接続であっても無線接続であってもよい。例えば、図中では、機械構成管理装置１００、数値制御装置１５０、及び拡張情報制御装置２００の通信接続がイーサネット（登録商標）(Ｅｔｈｅｒｎｅｔ）に準拠して有線接続により行われる例を記載しているが、かかる接続は無線接続であってもよい。
＜２．機械構成管理装置の構成＞
図２は、機械構成管理装置１００の機能ブロック図である。
機械構成管理装置１００は、制御部１１０と記憶部１２０とを備え、制御部１１０は、グラフ生成部１１１、制御点座標系挿入部１１３、ノード情報通知部１１４、変換情報計算部１１５、及び変換情報通知部１１６を備え、グラフ生成部１１１は、ノード追加部１１２を備える。
制御部１１０は、機械構成管理装置１００を全体的に制御するプロセッサである。この制御部１１０は、ＲＯＭ（不図示）に格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、該システムプログラム及びアプリケーションプログラムに従って、制御部１１０が備えるグラフ生成部１１１、ノード追加部１１２、制御点座標系挿入部１１３、ノード情報通知部１１４、変換情報計算部１１５、変換情報通知部１１６の機能を実現する。
グラフ生成部１１１は、マーカを含む工作機械４００の機械構成をグラフ形式で生成する。更に、グラフ生成部１１１が有するノード追加部１１２は、生成したグラフにノードを追加する。それらの詳細な動作については、以下の「５．機械構成木の生成」で詳述する。
制御点座標系挿入部１１３は、機械構成のグラフに対し、制御点及び座標系を挿入する。その詳細な動作については、以下の「６．制御点と座標値の自動挿入」で詳述する。
ノード情報通知部１１４は、後述の拡張情報制御装置２００に対し、表示可能なノードの情報を通知する。
変換情報計算部１１５は、後述のように、拡張情報制御装置２００の選択ノード通知部２１２から、仮想オブジェクトを表示したいノードを通知された後、マーカノードから表示対象のノードへの経路上の制御軸ノードの座標値を変数として含む変換情報であって、上記のグラフを元に、マーカノードの座標系における、各表示対象のノードの位置及び／又は姿勢を計算するための変換情報を計算する。
なお、上記の変換情報は、マトリクス形式であってもよく、ベクトル形式であってもよく、ロール・ピッチ・ヨー形式であってもよい。その詳細な動作については、以下の「７．変換情報の計算」で詳述する。
変換情報通知部１１６は、変換情報計算部１１５が計算した変換情報を、拡張情報制御装置２００の座標情報変換部２１３に通知する。
記憶部１２０は、グラフ生成部１１１によって生成された機械構成木に係る情報を記憶する。
なお、グラフ生成部１１１、ノード情報通知部１１４、変換情報計算部１１５、変換情報通知部１１６、記憶部１２０の詳細な動作については、以下の「８．仮想オブジェクトの表示方法」で詳述する。
＜３．数値制御装置の構成＞
図３は、数値制御装置１５０の機能ブロック図である。
数値制御装置１５０は、制御部１６０を備え、制御部１６０は、座標情報通知部１６１と、サーボモータ制御部１６２をと備える。
制御部１６０は、数値制御装置１５０を全体的に制御するプロセッサである。この制御部１６０は、ＲＯＭ（不図示）に格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、該システムプログラム及びアプリケーションプログラムに従って、制御部１６０が備える座標情報通知部１６１、及びサーボモータ制御部１６２の機能を実現する。
座標情報通知部１６１は、稼働中の工作機械４００の座標情報を、拡張情報制御装置２００の座標情報変換部２１３に通知する。
サーボモータ制御部１６２は、制御部１６０からの各軸の移動指令量を受けて、各軸の指令をサーボモータ（不図示）に出力する。
なお、数値制御装置１５０は、工作機械４００を数値制御するために、通常の数値制御装置が備えるその他の構成要素も備えるが、その説明は省略する。
＜４．拡張情報制御装置の構成＞
図４は、拡張情報制御装置２００の機能ブロック図である。
拡張情報制御装置２００は、制御部２１０と、記憶部２２０とを備え、制御部２１０は、ノード選択部２１１、選択ノード通知部２１２、座標情報変換部２１３、拡張情報表示用データ計算部２１４、及び拡張情報表示用データ通知部２１５を備える。
制御部２１０は、拡張情報制御装置２００を全体的に制御するプロセッサである。この制御部２１０は、ＲＯＭ（不図示）に格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、該システムプログラム及びアプリケーションプログラムに従って、制御部２１０が備えるノード選択部２１１、選択ノード通知部２１２、座標情報変換部２１３、拡張情報表示用データ計算部２１４、及び拡張情報表示用データ通知部２１５の機能を実現する。
ノード選択部２１１は、仮想オブジェクトを表示したいノードを選択する。
選択ノード通知部２１２は、ノード選択部２１１が選択したノードを機械構成管理装置１００の変換情報計算部１１５に通知する。
座標情報変換部２１３は、機械構成管理装置１００から受け取った変換情報を元に、数値制御装置１５０から定期的に受け取る各制御軸の座標値から、仮想オブジェクトのマーカ座標系での位置及び／又は姿勢を計算する。
拡張情報表示用データ計算部２１４は、ＡＲやＭＲ等の技術に基づいて、仮想オブジェクト等の拡張情報を表示させるための拡張情報表示用データを計算する。より具体的には、拡張情報表示用データ計算部２１４は、まず、仮想オブジェクトのマーカ座標系での位置及び／又は姿勢を、ヘッドマウントディスプレイ３００からの情報を用いて、カメラ座標系での位置及び／又は姿勢に変換する。更に、拡張情報表示用データ計算部２１４は、この位置及び／又は姿勢を、スクリーン座標系での位置及び／又は姿勢に変換する。
拡張情報表示用データ通知部２１５は、拡張情報表示用データ計算部２１４が計算した拡張情報表示用データを、無線通信装置２５０を介してヘッドマウントディスプレイ３００に対して送信する。この拡張情報表示用データには、仮想オブジェクトの形状等と、この仮想オブジェクトの、スクリーン座標系の座標値に変換された表示位置及び表示角度等が含まれる。
記憶部２２０は、機械構成管理装置１００のグラフ生成部１１１によって生成されたグラフに係る情報を記憶する。
なお、ノード選択部２１１、選択ノード通知部２１２、座標情報変換部２１３、拡張情報表示用データ計算部２１４、及び拡張情報表示用データ通知部２１５、及び記憶部２２０の詳細な動作については、以下の「８．仮想オブジェクトの表示方法」で詳述する。
＜５．機械構成木の生成＞
本発明の実施形態に係る機械構成管理装置１００は、最初に、機械構成を表すグラフを生成する。グラフの一例として機械構成木を生成する生成方法について、図５〜図１１を参照しながら詳述する。
例として、図５に示す機械の構成を表現する機械構成木の生成方法について説明する。図５の機械においては、Ｚ軸に対して垂直にＸ軸が設定され、Ｘ軸には工具１が設置され、Ｚ軸には工具２が設置されているとする。一方で、Ｙ軸上にＢ軸が設定され、Ｂ軸上にＣ軸が設定され、Ｃ軸にはワーク１とワーク２が設置されているとする。この機械構成を機械構成木として表現する方法は、以下の通りである。
まず、図６に示すように、原点２０１とノード２０２Ａ〜２０２Ｉのみを配置する。この段階では、原点２０１とノード２０２、及びノード２０２間でのつながりは持たず、原点及びノードの各々の名称も設定されていない。
次に、各軸の軸名称（軸型）、各工具の名称、各ワークの名称、各原点の名称、各軸の物理軸番号（軸型）を設定する。次に、各軸の親ノード（軸型）、各工具の親ノード、各ワークの親ノードを設定する。最後に、各軸の交叉オフセット（軸型）、各工具の交叉オフセット、各ワークの交叉オフセットを設定する。その結果、図７に示す機械構成木が生成される。
なお、機械構成木の各ノードは、上記の各情報に限られず、例えば、識別子（名称）、自身の親ノードの識別子、自身を親とする全ての子ノードの識別子、親ノードに対する相対オフセット（交叉オフセット）、親ノードに対する相対座標値、親ノードに対する相対移動方向（単位ベクトル）、ノード種別（直線軸／回転軸／ユニット（後述）／制御点／座標系／原点等）、物理軸番号、直交座標系と物理座標系の変換式に係る情報を有してもよく、あるいは、有さなくてもよい。
このように各ノードに値を設定していくことにより、機械構成管理装置１００内に機械構成木状のデータ構造を有するデータを生成する。更に、別の機械（又はロボット）を追加する場合も、原点を追加し、更にノードを追加することができる。
上記の機械構成木生成方法、とりわけ各ノードへの各値の設定方法を一般化したフローチャートを図８に示す。
ステップＳ１１において、グラフ生成部１１１は、ノードに対して設定するパラメータの値を受け取る。
ステップＳ１２において、設定されたパラメータの項目が「自身の親ノード」の場合（Ｓ１２：ＹＥＳ）には、処理はステップＳ１３に移行する。「自身の親ノード」ではない場合（Ｓ１２：ＮＯ）には、処理はステップＳ１７に移行する。
ステップＳ１３において、パラメータが設定されるノードに、既に親ノードが設定されている場合（Ｓ１３：ＹＥＳ）には、処理はステップＳ１４に移行する。親ノードが設定されていない場合（Ｓ１３：ＮＯ）には、処理はステップＳ１５に移行する。
ステップＳ１４において、グラフ生成部１１１は、パラメータが設定されるノードの、現在の親ノードが持つ「子ノード」の項目から、自身の識別子を削除し、機械構成木を更新する。
ステップＳ１５において、グラフ生成部１１１は、パラメータを設定するノードの該当項目に値を設定する。
ステップＳ１６において、グラフ生成部１１１は、親ノードに対し、「子ノード」の項目に自身の識別子を追加し、機械構成木を更新した後、フローを終了する。
ステップＳ１７において、グラフ生成部１１１は、パラメータを設定するノードの該当項目に値を設定した後、フローを終了する。
上記の機械構成木状のデータ構造を有するデータの生成方法を用いることにより、機械の構成要素同士の親子関係を設定することが可能である。
ここで親子関係とは、例えば図９Ａのように、２つの回転軸ノード５０４、５０５があったとき、一方のノード５０４の座標値の変化が、他方のノード５０５の幾何的状態（典型的には、位置・姿勢）に対して一方的に影響を及ぼすような関係のことである。この場合ノード５０４、５０５は親子関係にあると呼び、ノード５０４を親、ノード５０５を子と呼ぶ。
しかし、例えば図９Ｂに示すように、２つの直線軸ノード５０２、５０３と４つのフリージョイント５０１により構成された機械構成においては、ノード５０２、５０３の一方の座標値（長さ）が変わることにより、他方の幾何的状態だけでなく、自身の幾何的状態も変わるような、相互に影響を及ぼす機構が存在する。このような場合は、互いに親であり子、すなわち親子関係が双方向であるとみなすことができる。
このように、あるノードの変化が他のノードに互いに影響し合うような機構については、利便性の観点から、１つのユニットとして捉え、このユニットを機械構成木に挿入することにより全体の機械構成木を生成する。ユニットは、図１０Ａのように二つの接続点５１０及び接続点５２０を持っており、ユニットが図１０Ｂのように機械構成木に挿入された場合、図１０Ｃのように、親ノードは接続点５２０に接続され、また、子ノードは接続点５１０に対して接続される。また、ユニットは、接続点５２０から接続点５１０への変換マトリクスを持っている。この変換マトリクスは、ユニットに含まれる各ノードの座標値によって表される。例えば図１１のような機械構成の場合、接続点５２０における位置・姿勢を表す同次マトリクスをＭＡとし、接続点５１０における位置・姿勢を表す同次マトリクスをＭＢとすると、それらのマトリクス間の変換式はユニットに含まれる各直線軸ノードの座標値ｘ１、ｘ２を用いて以下のように表される。
この機械構成を表すユニットは上記の［数１］の数式中のＴのような同次変換マトリクスを持つ。同次マトリクスとは、以下の［数２］の数式のように位置・姿勢をまとめて表現できる４×４マトリクスのことである。
また、親子関係が相互でない場合であっても、計算処理や設定を簡単にするために、ある複数のノードを予め１つにまとめたユニットを定義し、機械構成木中に構成してもよい。
上記のように、本実施形態においては、機械構成のグラフは、複数の軸をまとめて１つにしたユニットを構成要素として含むことができる。
＜６．制御点と座標値の自動挿入＞
機械構成上の様々な位置を、制御点として指定すると共に、機械構成上の様々な箇所の座標系を設定するため、上記の「５．機械構成木の生成」で生成された機械構成木を用いて、以下の方法を実施する。
例えば、図１２Ａに示すロータリインデックスマシン３５０においては、Ｚ１軸に対して垂直にＸ１軸が設定され、Ｘ１軸に工具１が設置されている。また、Ｚ２軸に対して垂直にＸ２軸が設定され、Ｘ２軸上に工具２が設置されている。更に、テーブルにおいては、Ｃ軸上にＣ１軸とＣ２軸が並列に設定され、Ｃ１軸とＣ２軸の各々にワーク１とワーク２が設置されているとする。この機械構成を機械構成木で表わすと、図１２Ｂに示す機械構成木となる。
各ワークから機械原点に連なる一連のノードを例に取ると、図１３に示すように、機械原点、Ｃ軸、Ｃ１軸、Ｃ２軸、ワーク１、ワーク２の各々に座標系と制御点を自動挿入する。これを、テーブルに対してのみならず、各工具から機械原点に連なる一連のノード、すなわちＸ１軸、Ｘ２軸、Ｚ１軸、Ｚ２軸、工具１、工具２のすべてに対して実施する。その結果、図１４に示すように、機械構成木を構成するすべてのノードに対して、各々に対応する制御点と座標系が自動挿入される。通常、加工を行う場合にはワークに座標系、工具を制御点として指定する。これにより、例えば、ワーク自身を所定の位置へ移動させるために、ワークに制御点を指定したい場合や、ある工具で別の工具を研磨するために、工具自身に座標系を設定したい場合といった様々な場合に対応することも可能となる。
また、図１５Ａに示すように、各制御点及び座標系は、オフセットを有する。そのため、ノード中心から離れた点を制御点や座標系原点にすることも可能である。更に、各制御点及び座標系は姿勢マトリクスを持つ。この姿勢マトリクスは、制御点の姿勢マトリクスである場合、制御点の姿勢（向き、傾き）を表し、座標系の姿勢マトリクスの場合、座標系の姿勢を表わす。図１５Ｂに示す機械構成木においては、オフセット及び姿勢マトリクスは、各々が対応するノードに紐づく形で表現される。更に、各制御点及び座標系は、機械構成木のルートまでの経路上に存在するノードの「移動」及び「交叉オフセット」それぞれを加味するか／しないかの情報を持っており、それらを設定できる。
上記の制御点の自動挿入方法を一般化したフローチャートを図１６に示す。このフローチャートは、詳細には、チャートＡとチャートＢとを含み、後述のように、チャートＡの途中でチャートＢが実行されるという構成となっている。
まず、チャートＡについて説明する。
ステップＳ２１において、グラフ生成部１１１は、機械構成木を設定する。
ステップＳ２２において、チャートＢを実行し、チャートＡのフローを終了する。
次に、チャートＢについて説明する。
チャートＢのステップＳ３１において、ノードは制御点・座標系を挿入済である場合（Ｓ３１：ＹＥＳ）には、フローを終了する。ノードに制御点・座標系を挿入済でない場合（Ｓ３１：ＮＯ）には、処理はステップＳ３２に移行する。
ステップＳ３２において、制御点座標系挿入部１１３は、ノードに制御点・座標系を挿入し、変数ｎを１つスタックする。また、ｎ＝１とする。
ステップＳ３３において、ノードにｎ番目の子ノードが存在する場合（Ｓ３３：ＹＥＳ）には、処理はステップＳ３４に移行する。ノードにｎ番目の子ノードが存在しない場合（Ｓ３３：ＮＯ）には、処理はステップＳ３６に移行する。
ステップＳ３４において、ｎ番目の子ノードについて、チャートＢ自身を再帰的に実行する。
ステップＳ３５において、ｎを１だけインクリメントする。すなわちｎ＝ｎ＋１とし、処理はステップＳ３３に戻る。
ステップＳ３６において、変数ｎを１つポップし、チャートＢのフローを終了する。
上記の方法により、制御点座標系挿入部１１３は、機械構成のグラフの各ノードに対し、制御点及び座標系をノードとして挿入する。なお、上記では、制御点及び座標系をノードとして追加する場合の実施例を示したが、図１７に示すように、制御点座標系挿入部１１３は、機械構成のグラフの各ノードに対し、制御点及び座標系を情報として持たせる実施形態も同様に可能である。
＜７．変換情報の計算＞
上記のように、変換情報計算部１１５は、制御軸の座標値を、仮想オブジェクトのマーカ座標系での位置及び／又は姿勢に変換する変換情報を計算する。この変換情報の計算方法について、図１８〜図１９を参照して詳述する。
例えば、図１８に示すように、軸ｘ１の上に軸ｘ２が設定され、軸ｘ２の上に軸ｘ３が設定され、以下同様にＮ個のノードが連なり、その末端が軸ｘＮであるとする。更に、軸ｘＮ上の制御点に仮想オブジェクトを表示するものとする。同様に、軸ｙ１の上に軸ｙ２が設定され、軸ｙ２の上に軸ｙ３が設定され、以下同様にＬ個のノードが連なり、その末端が軸ｙＬであるとする。更に、軸ｙＬ上にマーカが設置されているとする。ここで、ｘｉ，ｙｊはノード名称だが、同時に各ノードの座標値も表わすこととする。
更に、各ノードには図１８に示すオフセット、ノード種別（直線／回転／ユニット／制御点／座標系）、軸方向、姿勢マトリクス、座標値が与えられているとする。
この時、図１９に示すように、ルート（機械原点）に対する制御点上の仮想オブジェクトの現在位置・姿勢を表す同次マトリクスＭｏｂｊは、以下の式で求められる。
ただし、記号の意味は、以下の通りである。
Ｓｘｉ：各ノードによる同次変換マトリクス；
Ｎ：機械構成木のルートから制御点まで連なる一連のノード個数；
Ｍｃｔｒｌ：制御点の親ノードに対する相対オフセット・姿勢の同次マトリクスであり、制御点に定義されたオフセットベクトル・姿勢マトリクスから、上記の［数２］に従って定義される。
同時変換マトリクスＳｘｉはノードの種別によって変わり、例えば、直線軸の場合は以下のように表される。
ただし、記号の意味は、以下の通りである。
ｘｉ：ノードｘｉの座標値；
ｏｆｓｘｉ：ノードｘｉの親ノードに対する相対オフセットベクトル；
ｖｘｉ：ノードｘｉの移動方向ベクトル
また、回転軸の場合は以下のように表される。
ただし、記号の意味は、以下の通りである。
ｖ１：ノードｘｉの回転軸方向ベクトルの第１成分；
ｖ２：ノードｘｉの回転軸方向ベクトルの第２成分；
ｖ３：ノードｘｉの回転軸方向ベクトルの第３成分
この時、マーカ座標系上における、制御点上の仮想オブジェクトの現在位置・姿勢を表す同次マトリクスＸｍは、Ｍｏｂｊを用いて以下の式で求められる。
ただし、記号の意味は、以下の通りである。
Ｌ：機械構成木のルートから座標系まで連なる一連のノード個数；
Ｍｃｏｏｒｄ：マーカの親ノードに対する相対オフセット・姿勢の同次マトリクスであり、座標系に定義されたオフセットベクトル・姿勢マトリクスから、上記の［数２］の数式に従って定義される。
＜８．仮想オブジェクトの表示方法＞
図２０は、仮想オブジェクトを表示する際の動作フローを示す。最初に、各ステップの概略について述べる。
ステップＳ４１において、機械構成管理装置１００は、機械構成木に新規ノードとしてマーカノードを追加する。これにより、例えば、工作機械４００の構成が、図２１Ａに示されるような構成だった場合、図２１Ｂに示されるように、工作機械４００の構成を示す機械構成木にマーカノードが追加される。
ステップＳ４２において、拡張情報制御装置２００は、機械構成管理装置１００から、表示可能なノードを取得する。
ステップＳ４３において、拡張情報制御装置２００は、仮想オブジェクト等の拡張情報を表示するノードを選択し、機械構成管理装置１００に通知する。
ステップＳ４４において、機械構成管理装置１００は、表示要求されたノードのマーカ座標系での位置・姿勢を求める式を導出し、拡張情報制御装置２００に通知する。
ステップＳ４５において、拡張情報制御装置２００は、数値制御装置１５０から、各制御軸の座標値を取得する。
ステップＳ４６において、拡張情報制御装置２００は、取得した座標値と、マーカ座標系での位置・姿勢を求める式とを用いて、仮想オブジェクト等の拡張情報を表示するノードの、マーカ座標系における位置・姿勢を求める。
ステップＳ４７において、拡張情報制御装置２００は、マーカ座標系における位置・姿勢から、座標系の変換により、カメラ座標系での位置・姿勢を求める。
ステップＳ４８において、拡張情報制御装置２００は、カメラ座標系における位置・姿勢から、座標系の変換により、スクリーン座標系での位置・姿勢を求める。
ステップＳ４９において、拡張情報制御装置２００は、仮想オブジェクト等の拡張情報の表示用データである、拡張情報表示用データを生成して、ヘッドマウントディスプレイ３００に出力する。
ステップＳ５０において、ヘッドマウントディスプレイ３００は、仮想オブジェクト等の拡張情報を表示する。その後、処理は、ステップＳ４５に戻る。
なお、仮想オブジェクト等の拡張情報を表示するノードの、マーカ座標系における位置・姿勢を機械構成管理装置１００で求め、位置・姿勢それ自体を示す値を拡張情報制御装置２００に通知してもよい。
上記のステップＳ４７及びＳ４８において、拡張情報制御装置２００は、非特許文献１に記載の方法等の公知の方法を用いて、マーカ座標系における位置・姿勢から、カメラ座標系での位置・姿勢を求め、カメラ座標系における位置・姿勢から、スクリーン座標系での位置・姿勢を求める。より具体的には、仮想オブジェクト表示の基準座標となるマーカの３次元位置をヘッドマウントディスプレイ３００に取り付けられた小型カメラによって得られる画像情報から検出し、マーカ座標系からカメラ座標系への変換情報を求める処理を行う。この変換情報により、仮想オブジェクトの位置・姿勢をマーカ座標系からカメラ座標系の値へ変換する。更に、カメラ座標系からスクリーン座標系への変換情報を求める処理を行い、この変換情報により、仮想オブジェクトの位置・姿勢をカメラ座標系からスクリーン座標系の値へ変換する。拡張情報表示用データは、ここで求めたカメラ座標系及びスクリーン座標系の位置・姿勢に加え、仮想オブジェクトの形状等のデータを含む。拡張情報表示用データはヘッドマウントディスプレイ３００に出力され、出力されたデータを用いることにより、ヘッドマウントディスプレイ３００は左右のスクリーンの適切な位置に仮想オブジェクトを描画することが可能となる。
なお、図２２に示すように、マーカ座標系での位置姿勢マトリクスをＸｍ、カメラ座標系での位置姿勢マトリクスをＸＣ、マーカ座標系からカメラ座標系への変換マトリクスをＭｍｃとすると、
となる。
上記の方法により、カメラ座標系における仮想オブジェクトの位置姿勢マトリクスＸＣを求めることができるので、ディスプレイ上で、任意のノードに対して、仮想オブジェクトを表示することができる。図２３Ａに記載のように、仮想オブジェクトとして、例えば、ワークや工具の３Ｄモデルを配置し、加工シミュレーションするために用いてもよい。あるいは、各主軸の回転数のようなノードに紐づいたデータを表示してもよい。更に、加速度センサや温度センサを配置し、図２３Ｂに記載のように、センサ用ノードを機械構成木に追加することで、各場所の加速度や温度を視覚的に確認することもできる。
これにより、工作機械４００のオペレータは、シミュレーション作業中に、ノードに紐づいたデータや、センサの数値を確認することができる。
＜９．本実施形態のもたらす効果＞
本実施形態により、カメラでマーカを認識するだけで、グラフ上に登録されたノード全てに対して、仮想オブジェクトを配置することができる。とりわけ、マーカノードの追加により、任意の位置に仮想オブジェクトを追加することができ、移動量の変換式を別途登録したり、別途特異点を認識したりする必要はない。また、初期位置の認識も不要である。
＜１０．変形例＞
上記のマーカは、視点の位置によって、見えたり見えなかったりする場合が考えられる。そこで、マーカが見えない場合を防止するため、図２４Ａに示すように、工作機械４００に複数のマーカを設定すると共に、図２４Ｂに示すように、複数のマーカノードをグラフに設定してもよい。その場合には、複数のマーカのうち、いずれか利用可能なものを基準として、仮想オブジェクトの位置・姿勢が計算できる。
また、複数のマーカを同時に使用し、各々のマーカにおける位置・姿勢の平均値を利用して、仮想オブジェクトの位置・姿勢を計算することが可能である。あるいは、例えば、視点からの距離に応じて、各々のマーカにおける位置・姿勢に重みづけをすることにより、仮想オブジェクトの位置・姿勢を計算することも可能である。
更に、図２５Ａ及び図２５Ｂに示すように、任意に決めた位置にベースマーカノードを設定し、各マーカノードを、ベースマーカノードの子として登録することが可能である。この場合には、機械構成管理装置１００は、拡張情報制御装置２００に対し、ベースマーカを原点とするベースマーカ座標系における各仮想オブジェクトの変換情報と、各マーカ座標系からベースマーカ座標系への変換情報を送信する。
前者の変換情報は、どのマーカを用いる場合も変わらない。拡張情報制御装置２００は、認識したマーカに従って、後者の変換情報を用いて、各マーカの位置・姿勢からベースマーカの位置・姿勢を求め、更に、ベースマーカ座標系からカメラ座標系への変換情報を求める。
ここで、図２６に示すように、カメラ座標系での位置姿勢マトリクスをＸＣ、マーカ座標系１での位置姿勢マトリクスをＸｍ１、マーカ座標系２での位置姿勢マトリクスをＸｍ２、ベースマーカ座標系での位置姿勢マトリクスをＸｍｂとする。また、ベースマーカ座標系からカメラ座標系への変換マトリクスをＭｍｃｂ、マーカ座標系１からカメラ座標系への変換マトリクスをＭｍｃ１、マーカ座標系２からカメラ座標系への変換マトリクスをＭｍｃ２、マーカ座標系１からベースマーカ座標系への変換マトリクスをＭｍｂ１、マーカ座標系２からベースマーカ座標系への変換マトリクスをＭｍｂ２とする。
この場合において、以下の数式が成立する。
なお、ｋは、マーカの重みを決める係数で、例えば、双方のマーカを用いる場合には０．５、マーカ１のみを用いる場合には１、マーカ２のみを用いる場合には０の値をとる。
複数マーカを扱う処理が、ベースマーカノードの位置・姿勢を求める処理と、ベースマーカノード座標系からカメラ座標系への変換情報を求める処理に集約され、それ以外は単一マーカを用いた場合と同じ処理となることにより、複数マーカの扱いが容易となる。
また、一部繰り返しとなるが、グラフデータは、機械構成管理装置１００に格納されていてもよいが、これには限定されない。例えば、拡張情報制御装置２００に格納されてもよく、仮想オブジェクト表示システム１０とネットワークを介して接続するサーバ上に格納されてもよい。拡張情報制御装置２００や、サーバ上に機械構成木データを格納できるようにすることで、古い工作機械に対しても、本発明の適用が可能となる。なお、この場合には、上記のステップＳ４３までの処理は実行せず、ステップＳ４４は、拡張情報制御装置２００側で実行する。
また、機械構成管理装置１００は、数値制御装置１５０に組み込まれて一体化されていてもよい。あるいは、機械構成管理装置１００は、クラウド上に存在してもよい。
なお、上記の機械構成管理装置、数値制御装置、拡張情報制御装置、及び工作機械のそれぞれは、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記の機械構成管理装置、数値制御装置、拡張情報制御装置、及び工作機械の協働により行われるシミュレーション方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ(Read Only Memory)、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory）)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
１０ 仮想オブジェクト表示システム
１００ 機械構成管理装置
１１０ 制御部
１１１ グラフ生成部
１１２ ノード追加部
１１３ 制御点座標系挿入部
１１４ ノード情報通知部
１１５ 変換情報計算部
１１６ 変換情報通知部
１２０ 記憶部
１５０ 数値制御装置
１６０ 制御部
１６１ 座標情報通知部
１６２ サーボモータ制御部
２００ 拡張情報制御装置
２１１ ノード選択部
２１２ 選択ノード通知部
２１３ 座標情報変換部
２１４ 拡張情報表示用データ計算部
２１５ 拡張情報表示用データ通知部
２２０ 記憶部
２５０ 無線通信装置
３００ ヘッドマウントディスプレイ
４００ 工作機械

Claims (9)

  1. 機械構成管理装置と拡張情報制御装置とを備え、前記機械構成管理装置は、グラフ生成部と、制御点座標系挿入部と、ノード情報通知部と、変換情報計算部と、変換情報通知部とを備え、前記拡張情報制御装置は、ノード選択部と、選択ノード通知部と、座標情報変換部とを備える、仮想オブジェクト表示システムであって、
    前記グラフ生成部は、制御対象の機械構成を、マーカを含む構成要素をノードとするグラフを生成し、
    前記制御点座標系挿入部は、前記グラフに、制御点及び座標系を挿入し、
    前記ノード情報通知部は、表示可能なノード情報を、前記拡張情報制御装置に通知し、
    前記ノード選択部は、仮想オブジェクトを表示したいノードを選択し、
    前記選択ノード通知部は、仮想オブジェクトを表示したいノードを、前記機械構成管理装置に通知し、
    前記変換情報計算部は、マーカノードから表示対象のノードへの前記グラフにおける経路上の制御軸ノードの座標値を変数として含む変換情報であって、前記グラフを元に、マーカノードの座標系における、表示対象のノードの位置及び／又は姿勢を計算するための変換情報を、計算し、
    前記変換情報通知部は、前記変換情報を、前記拡張情報制御装置に通知し、
    前記座標情報変換部は、前記変換情報を用いて、通知された各制御軸の座標値を、マーカノードの座標系における、表示対象の各ノードの位置及び／又は姿勢に変換する、仮想オブジェクト表示システム。
  2. 表示装置を更に備え、
    前記拡張情報制御装置は、前記座標情報変換部が変換した、マーカノードの座標系における表示対象の各ノードの位置及び／又は姿勢に基づいて、仮想オブジェクトを拡張情報として前記表示装置で計算するための拡張情報表示用データを計算する拡張情報表示用データ計算部と、前記拡張情報表示用データを前記表示装置に通知する、拡張情報表示用データ通知部とを更に備える、請求項１に記載の仮想オブジェクト表示システム。
  3. 前記座標情報変換部は、数値制御装置から受け取った座標値を、前記各制御軸の座標値として、マーカノードの座標系における、表示対象の各ノードの位置及び／又は姿勢に変換する、請求項１又は２に記載の仮想オブジェクト表示システム。
  4. 前記グラフ生成部は、複数のマーカノードを前記グラフに追加し、
    前記変換情報計算部は、複数のマーカノードの座標系から、各ノードの位置及び／又は姿勢を計算するための変換情報を計算し、
    前記変換情報通知部は、前記変換情報を前記拡張情報制御装置に通知する、請求項１〜３のいずれか１項に記載の仮想オブジェクト表示システム。
  5. 前記グラフ生成部は、ベースマーカノードを追加し、
    前記変換情報通知部は、前記ベースマーカノードの座標系を基準とする変換情報と、前記ベースマーカノードの座標系と各マーカノードの座標系との間の変換情報を、前記拡張情報制御装置に通知する、請求項１〜３のいずれか１項に記載の仮想オブジェクト表示システム。
  6. 前記拡張情報制御装置は、前記グラフのデータを有する記憶部を更に備える、請求項１〜５のいずれか１項に記載の仮想オブジェクト表示システム。
  7. 前記グラフのデータを格納するサーバを更に備える、請求項１〜６のいずれか１項に記載の仮想オブジェクト表示システム。
  8. 前記機械構成管理装置は、工作機械の数値制御装置と一体化されている、請求項１〜７のいずれか１項に記載の仮想オブジェクト表示システム。
  9. 前記機械構成管理装置は、クラウド上に存在する、請求項１〜７のいずれか１項に記載の仮想オブジェクト表示システム。
JP2017127692A 2017-06-29 2017-06-29 仮想オブジェクト表示システム Active JP6585665B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017127692A JP6585665B2 (ja) 2017-06-29 2017-06-29 仮想オブジェクト表示システム
US16/003,553 US20190005725A1 (en) 2017-06-29 2018-06-08 Virtual object display system
DE102018210261.9A DE102018210261A1 (de) 2017-06-29 2018-06-25 Anzeigesystem für virtuelle Objekte
CN201810663304.4A CN109213078B (zh) 2017-06-29 2018-06-25 虚拟对象显示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017127692A JP6585665B2 (ja) 2017-06-29 2017-06-29 仮想オブジェクト表示システム

Publications (2)

Publication Number Publication Date
JP2019012342A JP2019012342A (ja) 2019-01-24
JP6585665B2 true JP6585665B2 (ja) 2019-10-02

Family

ID=64661806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017127692A Active JP6585665B2 (ja) 2017-06-29 2017-06-29 仮想オブジェクト表示システム

Country Status (4)

Country Link
US (1) US20190005725A1 (ja)
JP (1) JP6585665B2 (ja)
CN (1) CN109213078B (ja)
DE (1) DE102018210261A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019105605A1 (de) * 2018-07-11 2020-01-16 Felder Kg Anordnung umfassend ein CNC-Bearbeitungszentrum
CN112805750A (zh) 2018-08-13 2021-05-14 奇跃公司 跨现实系统
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
JP2022512600A (ja) 2018-10-05 2022-02-07 マジック リープ， インコーポレイテッド 任意の場所における場所特有の仮想コンテンツのレンダリング
JP6912505B2 (ja) 2019-03-04 2021-08-04 ファナック株式会社 制御システム
JP7160183B2 (ja) * 2019-03-28 2022-10-25 日本電気株式会社 情報処理装置、表示システム、表示方法、及びプログラム
JP7066013B2 (ja) * 2019-04-25 2022-05-12 株式会社Ｎｔｔドコモ 治具の配置を示す映像処理システム
EP4046139A4 (en) 2019-10-15 2023-11-22 Magic Leap, Inc. EXTENDED REALITY SYSTEM WITH LOCATION SERVICE
US11257294B2 (en) 2019-10-15 2022-02-22 Magic Leap, Inc. Cross reality system supporting multiple device types
EP4046401A4 (en) 2019-10-15 2023-11-01 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH WIRELESS FINGERPRINTS
JP2023504775A (ja) 2019-11-12 2023-02-07 マジック リープ， インコーポレイテッド 位置特定サービスおよび共有場所ベースのコンテンツを伴うクロスリアリティシステム
JP2021089467A (ja) * 2019-12-02 2021-06-10 ファナック株式会社 制御システム
US11562542B2 (en) 2019-12-09 2023-01-24 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
DE112021000864T5 (de) * 2020-02-04 2022-11-17 Fanuc Corporation Steuervorrichtung
US11410395B2 (en) 2020-02-13 2022-08-09 Magic Leap, Inc. Cross reality system with accurate shared maps
CN115398484A (zh) 2020-02-13 2022-11-25 奇跃公司 具有用于定位的地理定位信息优先级的交叉现实系统
JP2023514208A (ja) 2020-02-13 2023-04-05 マジック リープ， インコーポレイテッド マルチ分解能フレーム記述子を使用したマップ処理を伴うクロスリアリティシステム
WO2021173779A1 (en) 2020-02-26 2021-09-02 Magic Leap, Inc. Cross reality system with fast localization
JP2023524446A (ja) 2020-04-29 2023-06-12 マジック リープ， インコーポレイテッド 大規模環境のためのクロスリアリティシステム
CN115956257A (zh) * 2020-07-29 2023-04-11 富士通株式会社 检查程序、信息处理装置以及检查方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4255636A (en) 1976-12-30 1981-03-10 Westinghouse Electric Corp. Circuit breaker with current carrying conductor system utilizing eddy current repulsion
JPS5872923A (ja) 1981-10-28 1983-05-02 Hitachi Ltd 液晶表示素子
US7126558B1 (en) * 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
JP4083554B2 (ja) 2002-11-29 2008-04-30 株式会社森精機製作所 ３次元モデルデータ生成装置
JP5384178B2 (ja) * 2008-04-21 2014-01-08 株式会社森精機製作所 加工シミュレーション方法及び加工シミュレーション装置
JP2012058968A (ja) 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP5847610B2 (ja) * 2012-02-22 2016-01-27 株式会社マイクロネット Ａｒ技術を用いたコンピュータ・グラフィックス画像処理システム及び方法
CN103867205B (zh) * 2014-03-11 2016-04-20 西安科技大学 一种掘进机远程控制系统及方法
JP2016107379A (ja) * 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
CN104700403B (zh) * 2015-02-11 2016-11-09 中国矿业大学 一种基于kinect的手势控制液压支架的虚拟示教方法
JP6524706B2 (ja) * 2015-02-27 2019-06-05 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置

Also Published As

Publication number Publication date
CN109213078B (zh) 2020-05-12
US20190005725A1 (en) 2019-01-03
DE102018210261A1 (de) 2019-01-03
CN109213078A (zh) 2019-01-15
JP2019012342A (ja) 2019-01-24

Similar Documents

Publication Publication Date Title
JP6585665B2 (ja) 仮想オブジェクト表示システム
JP6434476B2 (ja) 拡張現実シミュレーション装置及び拡張現実シミュレーションプログラム
JP6551184B2 (ja) シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
JP5852364B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
CN112839764B (zh) 用于焊接路径生成的系统和方法
JP6426772B2 (ja) 座標情報変換装置及び座標情報変換プログラム
JP6601179B2 (ja) シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
JP3673749B2 (ja) シミュレーション装置
CN107065790B (zh) 用于确定虚拟环境中的虚拟机器人的配置的方法和系统
KR20160002329A (ko) 로봇 시뮬레이터 및 로봇 시뮬레이터의 파일 생성 방법
JP6806736B2 (ja) 位置情報表示システム
WO2012141282A1 (ja) 計算機システム、及び組立アニメーション生成方法
JP2012014569A (ja) 組立シーケンス生成システム、プログラム及び方法
KR20170016436A (ko) 작업 로봇의 교시 데이터 생성 장치 및 교시 데이터 생성 방법
JP6781201B2 (ja) 仮想オブジェクト表示システム
JP2000298734A (ja) ３次元モデルの断面生成装置
US11544913B2 (en) Method and system for wearable device-based manual providing
US20170269574A1 (en) Robot control device that controls robot to perform machining operation, and robot program generator
CN110568818B (zh) 虚拟对象显示系统
JP5970434B2 (ja) 教示データ作成システムおよびプログラム
JP4540329B2 (ja) 情報呈示装置
JP2021089467A (ja) 制御システム
JP2023017437A (ja) 画像処理装置、及びロボット配置方法
JP2023162117A (ja) 情報処理システム、情報処理方法、ロボットシステム、ロボットシステムの制御方法、ロボットシステムを用いた物品の製造方法、プログラム、記録媒体
JP2023505322A (ja) ロボットをプログラムするための方法及びシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190905

R150 Certificate of patent or registration of utility model

Ref document number: 6585665

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150