JP6653526B2

JP6653526B2 - 測定システムおよびユーザインタフェース装置

Info

Publication number: JP6653526B2
Application number: JP2015087086A
Authority: JP
Inventors: 信策阿部
Original assignee: Mitutoyo Corp
Current assignee: Mitutoyo Corp
Priority date: 2015-04-21
Filing date: 2015-04-21
Publication date: 2020-02-26
Anticipated expiration: 2035-04-21
Also published as: JP2016205974A

Description

本発明は、測定機に対する操作性を向上させた測定システムおよびユーザインタフェース装置に関する。

測定対象物（ワーク）の寸法や３次元位置を測定する測定機において、ユーザは測定ヘッドを用いてワークの測定箇所を指定する操作を行う。ワークの形状によっては、ユーザは不自然な体勢で測定ヘッドを扱わなければならない場合もある。測定機にはコンピュータが接続され、ディスプレイにはワークの情報や測定手順、測定結果など様々な情報が表示される。しかし、ワークとコンピュータとが離れていると、測定作業とディスプレイの参照との両方を効率良く行うことができない。

特許文献１に記載の位置計測装置においては、コンピュータ上で稼働するＣＡＤソフトウェアに読み込まれた設計モデルがコンピュータのディスプレイに表示される。そして、測定によって得られたデータをディスプレイの設計モデル上に表示させている。

また、特許文献２に記載の座標測定機においては、画像プロジェクタを含むデバイスを備えており、視覚的な手引き情報や測定結果を画像プロジェクタから部品上に投影している。また、特許文献３〜６には、仮想現実空間を利用した測定システムやユーザインタフェース装置が開示されている。

特表２０１１−５１９４１９号公報特表２０１３−５１７５００号公報特開平０６−２４１７５４号公報特表２０１１−５２１３１８号公報特表平１１−５１３１５７号公報特表２００９−５２１９８５号公報

しかしながら、いずれの技術においてもユーザの使い勝手を十分に考慮したシステムとはいえない。例えば、ワークの測定を行う際にはユーザの両手が塞がっていることが多く、測定作業を行いながら測定機をコントロールすることは難しい。また、ワークによっては測定に適した場所にユーザが移動して作業を行う場合もある。測定機の制御装置（コンピュータ）からユーザが離れた場合、測定作業を行いながら測定機を制御することは、より困難となる。

本発明の目的は、測定機に対する操作性を向上することができる測定システムおよびユーザインタフェース装置を提供することである。

上記課題を解決するため、本発明の測定システムは、測定対象物を測定する測定機と、ユーザによる指示に基づき測定機を制御する測定機制御部と、実３次元空間での所定の対象物の３次元座標を検出する３次元センサ部と、実３次元空間におけるボタン設定領域と、ボタン設定領域とコマンドとの対応付けを設定するコマンド設定部と、３次元センサ部によって検出した３次元座標から動体を検出する動体検出部と、動体検出部で検出した動体の３次元座標がボタン設定領域内に位置した際にボタン設定領域と対応付けされたコマンドを実行するコマンド実行部と、を備えたことを特徴とする。

このような構成によれば、コマンド設定部によって、実３次元空間内の所望の位置がボタンとして機能する領域として設定される。また、動体検出部によって動体を検出することで、ユーザなどの動きのあるもの（動体）が検出される。これにより、動体の動作から実３次元空間内のボタン設定領域が選択されたことを検出して、そのボタン設定領域に対応付けされたコマンドを実行することができる。

本発明の測定システムにおいて、測定機は測定対象物の３次元座標を取得する測定ヘッドと、測定ヘッドに設けられ映像を投影する映像出力部と、を有し、映像出力部は、コマンド設定部で設定されたボタン設定領域の画像を出力するようにしてもよい。このような構成により、映像出力部によって出力されたボタン設定領域の画像を投影することができる。

本発明の測定システムにおいて、動体検出部は、測定ヘッドの動作を検出し、コマンド実行部は、動体検出部で検出した測定ヘッドの３次元座標に応じてコマンドを実行するようにしてもよい。このような構成により、測定ヘッドの動作からボタン設定領域が選択されたことを検知して、そのボタン設定領域に対応付けされたコマンドを実行することができる。

本発明の測定システムにおいて、動体検出部は、ユーザの手および足の少なくともいずれかの動作を検出し、コマンド実行部は、動体検出部で検出したユーザの手および足の少なくともいずれかの３次元座標に応じてコマンドを実行するようにしてもよい。このような構成により、ユーザの手や足の動作からボタン設定領域が選択されたことを検知して、そのボタン設定領域に対応付けされたコマンドを実行することができる。

本発明の測定システムにおいて、コマンド実行部は、動体検出部で検出した動体の３次元座標がボタン設定領域内に一定時間止まっている場合には第１コマンドを実行し、動体の前記３次元座標がボタン設定領域内に沿って移動している場合には第２コマンドを実行するようにしてもよい。このような構成により、動体の動きの種類に応じてコマンドの切り替えを行うことができる。

本発明の測定システムにおいて、実３次元空間における３次元映像を取得する３次元撮像部と、３次元撮像部で取得した３次元映像を表示する表示部と、実３次元空間の３次元映像とボタン設定領域に対応した画像とを合成して表示部に表示させる表示制御部と、をさらに備えていてもよい。このような構成により、実３次元空間に表示された３次元映像にボタン設定領域の画像を合成した表示を行うことができる。

本発明の測定システムにおいて、コマンド実行部は、動体検出部で検出したユーザの手の形に応じて複数のコマンドのうちいずれかを選択して実行するようにしてもよい。このような構成により、ユーザの手の形に応じてボタン設定領域の表示／非表示を切り替えたり、ボタン設定領域に対応したコマンドを実行したりすることができる。

本発明の測定システムは、測定対象物を測定する測定機と、ユーザによる指示に基づき測定機を制御する測定機制御部と、実３次元空間での所定の対象物の３次元座標を検出する３次元センサ部と、３次元センサ部によって検出した３次元座標からユーザの動作を検出する動体検出部と、測定機の画像を仮想３次元空間内に表示する表示部と、表示部で表示される仮想３次元空間内の測定機の画像の表示位置を、動体検出部で検出したユーザの動作に合わせて移動させる表示制御部と、を備えたことを特徴とする。

このような構成によれば、仮想３次元空間内に測定機の画像が表示される。また、ユーザの動作を動作検出部で検出して、この仮想３次元空間内の測定機の画像をユーザの動作に合わせて移動させることができる。

本発明の測定システムにおいて、表示部に表示される仮想３次元空間内でユーザによって移動された測定機の画像の表示位置に沿って測定動作を記録する測定動作記憶部をさらに備えていてもよい。このような構成により、仮想３次元空間内で測定機の画像を移動させることで、測定動作を記録することができる。

本発明の測定システムにおいて、測定機制御部は、測定動作記憶部に記憶された測定動作に基づき測定機を制御するようにしてもよい。このような構成により、仮想３次元空間内で測定機の映像を移動させることで記録した測定動作に基づき実際の測定機で測定を行うことができる。

本発明の測定システムにおいて、測定機のＣＡＤ（Computer Aided Design）画像を記憶する画像記憶部をさらに備え、表示部は、画像記憶部に記憶されたＣＡＤ画像を仮想３次元空間内に表示するようにしてもよい。このような構成により、仮想３次元空間内に測定機のＣＡＤ画像を表示することができる。

本発明の測定システムにおいて、実３次元空間における測定機の映像を取得する撮像部をさらに備え、表示制御部は、撮像部で取得した測定機の映像を表示部の仮想３次元空間内に表示させるようにしてもよい。このような構成により、仮想３次元空間内に実際の測定機の映像を表示することができる。

本発明の測定システムにおいて、表示制御部は、予め設定された測定動作に合わせて表示部の仮想３次元空間内に表示された測定機の映像を移動させるようにしてもよい。このような構成により、予め設定された測定機の測定動作を仮想３次元空間内で確認することができる。

本発明の測定システムにおいて、表示制御部は、測定対象物の映像と測定結果とを合成して表示部の仮想３次元空間内に表示させるようにしてもよい。このような構成により、仮想３次元空間内において測定対象物の映像に、その測定対象物の測定結果を合成して参照することができる。

本発明の測定システムにおいて、ネットワークを介して測定機制御部と接続される遠隔制御部をさらに備え、遠隔制御部は、表示部に表示される仮想３次元空間内でユーザによって指定された測定動作に基づきネットワークを介して測定機制御部にコマンドを送信するようにしてもよい。このような構成により、測定機とは離れた位置（遠隔地）においては仮想３次元空間においてユーザの指定した測定動作を参照することができる。また、遠隔地からはネットワークを介して測定機にコマンドを送信することができる。

本発明の測定システムは、測定対象物を測定する測定機と、ユーザによる指示に基づき測定機を制御する測定機制御部と、実３次元空間における測定機の映像を取得する撮像部と、測定機に関する画像を記憶する画像記憶部と、実３次元空間での表示を行う表示部と、撮像部で取得した測定機の映像と、画像記憶部に記憶された画像とを実３次元空間内で合成して表示部に表示させる表示制御部と、を備えたことを特徴とする。このような構成によれば、実３次元空間内に実際の測定機の映像とグラフィック等の画像とを合成して表示することができる。

本発明の測定システムにおいて、表示制御部は、撮像部で取得した測定機の映像に、所定の測定手順を表す画像を合成するようにしてもよい。このような構成により、３次元空間内に測定機の実際の映像と、所定の測定手順を表すグラフィック等の測定機の画像とを合成して表示することができる。

本発明の測定システムにおいて、表示制御部は、撮像部で取得した測定機の映像に、所定の異常に対応した画像を合成するようにしてもよい。このような構成により、３次元空間内に測定機の実際の映像と、所定の異常に対応したグラフィック等の測定機の画像とを合成して表示することができる。

本発明の測定システムにおいて、表示制御部は、撮像部で取得した測定機の映像に、所定のガイダンスに対応した画像を合成するようにしてもよい。このような構成により、３次元空間内に測定機の実際の映像と、所定のガイダンスに対応したグラフィック等の測定機の画像とを合成して表示することができる。

本発明の測定システムは、測定対象物を測定する測定機と接続されたユーザ側制御装置と、ユーザ側制御装置とネットワークを介して接続された支援者側制御装置と、を備えた測定システムである。

この測定システムにおけるユーザ側制御装置は、ユーザによる指示に基づき測定機を制御する測定機制御部と、実３次元空間での所定の対象物の３次元座標を検出する第１の３次元センサ部と、記第１の３次元センサ部によって検出した３次元座標から動体を検出する第１動体検出部と、実３次元空間における３次元映像を取得する３次元撮像部と、３次元撮像部で取得した３次元映像を表示する第１表示部と、３次元映像と支援者側制御装置から送られた画像とを合成して第１表示部に表示させる第１表示制御部と、を備える。

この測定システムにおける支援者側制御装置は、実３次元空間での支援者の３次元座標を検出する第２の３次元センサ部と、第２の３次元センサ部によって検出した３次元座標から支援者の動作を検出する第２動体検出部と、前記３次元撮像部で取得した前記３次元映像に基づく画像を仮想３次元空間に表示する第２表示部と、仮想３次元空間の３次元座標に合わせてユーザ側制御装置から送られた画像を第２表示部に表示させる第２表示制御部と、第２動体検出部で検出した支援者の動作に関する画像をネットワークを介してユーザ側制御装置へ送る動作情報送信部と、を備える。

このような構成によれば、測定機が設置されたユーザ側と、測定機の支援者側とが互いにネットワークで接続される。ユーザ側では、第１表示部に表示された測定機の映像と、支援者側から送られた画像との合成を参照することができる。支援者側では、第２表示部に表示された仮想３次元空間においてグラフィック等の測定機の画像と、ユーザ側から送られた画像との合成を参照することができる。

本発明の測定システムにおいて、第１表示制御部は、支援者側制御装置から送られた画像に基づき支援者に対応した支援者側画像を第１表示部に表示させ、第２表示制御部は、ユーザ側制御装置から送られた画像に基づきユーザに対応したユーザ側画像を第２表示部に表示させるようにしてもよい。このような構成により、ユーザ側では支援者側から送られた支援者側画像を第１表示部において参照でき、支援者側ではユーザ側から送られたユーザ側画像を第２表示部おいて参照することができる。

本発明の測定システムは、測定対象物を測定する測定機と、測定機による測定結果を記憶する測定結果記憶部と、測定対象物の映像を取得する撮像部と、撮像部で取得した映像から特徴点を抽出する特徴点抽出部と、撮像部で取得した映像または特徴抽出部で抽出した特徴点から得られる測定対象物の画像を表示する表示部と、特徴点抽出部で抽出した特徴点に基づいて測定対象物の所定の位置に対応した測定結果を測定結果記憶部から読み出す測定結果読み出し部と、測定結果読み出し部で読み出した測定結果を測定対象物の映像または画像に合成して表示部に表示させる表示制御部と、を備えたことを特徴とする。

このような構成によれば、測定対象物の映像を映し出すことで、測定対象物の特徴点が抽出され、この特徴点に基づいて測定対象物の所定の位置に対応した測定結果を測定対象物の映像または画像に合成して表示することができる。

本発明の測定システムにおいて、表示制御部は、撮像部で取得した測定対象物の映像の撮像角度に対応して測定結果を映像または画像に合成するようにしてもよい。このような構成によれば、好みの角度で撮影して測定対象物の測定結果を表示することができる。

本発明の測定システムは、測定対象物を測定する測定機と、測定機による測定結果を記憶する測定結果記憶部と、マーカの映像を取得する撮像部と、撮像部で取得したマーカの映像からマーカを認識するマーカ認識部と、マーカ認識部で認識したマーカと対応する測定結果を測定結果記憶部から読み出す測定結果読み出し部と、撮像部でマーカの映像を取得している間、測定結果読み出し部で読み出した測定結果を表示部に表示させる表示制御部と、を備えたことを特徴とする。

このような構成によれば、マーカの映像を取得することで、このマーカと対応する測定結果が読み出され、マーカの映像を撮影している間、測定結果を表示部に表示することができる。

本発明の測定システムにおいて、撮像部は、マーカが付された背景の映像を取得し、表示制御部は、背景の映像にマーカと対応する測定結果を合成して表示部に表示させるようにしてもよい。このような構成により、背景の映像に測定結果を合成して表示部に表示することができる。

本発明のユーザインタフェース装置は、実３次元空間での所定の対象物の３次元座標を検出する３次元センサ部と、実３次元空間におけるボタン設定領域と、ボタン設定領域とコマンドとの対応付けを設定するコマンド設定部と、３次元センサ部によって検出した３次元座標から動体を検出する動体検出部と、動体検出部で検出した動体の３次元座標がボタン設定領域内に位置した際にボタン設定領域と対応付けされたコマンドを実行するコマンド実行部と、実３次元空間における３次元映像を取得する３次元撮像部と、３次元撮像部で取得した３次元映像を表示する表示部と、３次元映像とボタン設定領域に対応した画像とを合成して表示部に表示させる表示制御部と、を備え、コマンド実行部は、動体検出部で検出したユーザの手の形に応じて複数のコマンドのうちいずれかを選択して実行することを特徴とする。

このような構成によれば、ユーザの手の形に応じてボタン設定領域の表示／非表示を切り替えたり、ボタン設定領域に対応したコマンドを実行したりすることができる。

本発明のユーザインタフェース装置は、測定対象物の映像を取得する撮像部と、撮像部で取得した映像から特徴点を抽出する特徴点抽出部と、撮像部で取得した映像または特徴抽出部で抽出した特徴点から得られる測定対象物の画像を表示する表示部と、特徴点抽出部で抽出した特徴点に基づいて測定対象物の所定の位置に対応した寸法の情報を取得する寸法取得部と、寸法取得部で取得した寸法の情報を測定対象物の映像または画像に合成して表示部に表示させる表示制御部と、を備えたことを特徴とする。

本発明のユーザインタフェース装置は、マーカが付された背景の映像を取得する撮像部と、撮像部で取得したマーカの映像からマーカを認識するマーカ認識部と、マーカ認識部で認識したマーカと対応する測定結果を取得する測定結果取得部と、撮像部でマーカの映像を取得している間、測定結果取得部で取得した測定結果を背景の映像に合成して表示部に表示させる表示制御部と、を備えたことを特徴とする。

（ａ）および（ｂ）は、第１実施形態に係る測定システムを例示する構成図である。動作例を示す模式図である。（ａ）および（ｂ）は、ボタン設定領域について例示する模式図である。他のボタン設定領域について例示する模式図である。他のボタン設定領域について例示する模式図である。第２実施形態に係る測定システムを例示する構成図である。ヘッドマウントディスプレイを例示する斜視図である。動作例を示す模式図である。動作例を示す模式図である。動作例を示す模式図である。動作例を示す模式図である。（ａ）および（ｂ）は、第３実施形態に係る測定システムを例示する構成図である。動作例を示す模式図である。動作例を示す模式図である。動作例を示す模式図である。動作例を示す模式図である。動作例を示す模式図である。第４実施形態に係る測定システムを例示する構成図である。動作例を示す模式図である。動作例を示す模式図である。動作例を示す模式図である。動作例を示す模式図である。動作例を示す模式図である。ヘルパー表示の動作を例示するフローチャートである。ヘルパーの表示例を示す模式図である。ヘルパーの表示例を示す模式図である。ヘルパーの表示例を示す模式図である。ヘルパーの表示例を示す模式図である。第５実施形態に係る測定システムを例示する構成図である。動作例を示す模式図である。第６実施形態に係る測定システムを例示する構成図である。測定結果合成表示の処理の一例を示すフローチャートである。測定結果の合成表示例を示す模式図である。（ａ）〜(ｅ)は、他の合成表示例を示す模式図である。第６実施形態に係る測定システムを例示する構成図である。マーカ登録および設定動作を例示するフローチャートである。マーカ認識および合成表示を例示するフローチャートである。マーカ認識による測定結果の表示例を示す模式図である。マーカ認識による測定結果の表示例を示す模式図である。マーカ認識による測定結果の表示例を示す模式図である。

以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。

（第１実施形態）
図１（ａ）および（ｂ）は、第１実施形態に係る測定システムを例示する構成図である。
本実施形態に係る測定システム１Ａは、コンピュータ１００と、コンピュータ１００によって制御される測定機Ｍおよび３Ｄセンサ（３次元センサ）ＳＲを備える。コンピュータ１００は、ＣＰＵ（Central Processing Unit）１０、記憶部２０、演算部３０、測定機制御部４０、表示制御部５０、３Ｄセンサ入力部７０および位置・距離・姿勢認識部７５を有する。さらに、コンピュータ１００にはプロジェクタＰＲが接続されていてもよい。この場合、コンピュータ１００は、投影図形生成部８０およびプロジェクタ出力部８５を有する。

測定機Ｍは、測定対象物の３次元座標や所定位置の長さ等を測定する装置である。測定機Ｍとしては、例えば３次元位置測定機や画像測定機が挙げられる。ＣＰＵ１０は所定のプログラムの実行によって各部の制御や所定の演算を行う。記憶部２０は、主記憶部および副記憶部を含む。演算部３０は所定の演算を行う演算回路を備える。

測定機制御部４０は、ユーザによる指示に基づき測定機Ｍを制御する。表示制御部５０は、ディスプレイＤに所定の情報を表示する制御を行う。入出力制御部６０は、キーボードＫやマウスＭＳ等の入力デバイスを制御したり、図示しないタッチパネルを制御したりする。

３Ｄセンサ入力部７０は、３ＤセンサＳＲによって取得した情報をコンピュータ１００に取り込むインタフェース部分である。ここで、３ＤセンサＳＲは、実３次元空間での所定の対象物の３次元座標を検出するセンサである。位置・距離・姿勢認識部７５は、３ＤセンサＳＲで取得した情報に基づいて、対象物の位置（３次元座標）、３ＤセンサＳＲから対象物までの距離、対象物の姿勢を認識する処理を行う。

投影図形生成部８０は、プロジェクタＰＲによって投影するための図形を生成する処理を行う。プロジェクタ出力部８５は、投影図形生成部８０で生成された図形をプロジェクタＰＲに送るインタフェース部分である。

測定システム１Ａは、さらにＣＰＵ１０で実行されるプログラムとして、コマンド設定部１０１と、動体検出部１０２と、コマンド実行部１０３とを備える。コマンド設定部１０１は、実３次元空間におけるボタン設定領域と、ボタン設定領域とコマンドとの対応付けを設定する処理を行う。ボタン設定領域とは、実３次元空間における任意の位置を指定した領域である。例えば、実３次元空間の所定の矩形領域であったり、所定の立体領域であったり、所定の対象物の領域であったりする。

コマンド設定部１０１は、このようなボタン設定領域を表すための３次元座標情報を設定する処理を行う。また、コマンド設定部１０１は、ボタン設定領域とコマンドとの対応付けも行う。コマンドは、ボタン設定領域の３次元座標情報と対応付けされ、例えばテーブルデータとして記憶部２０に記憶される。

動体検出部１０２は、３ＤセンサＳＲによって検出した対象物の３次元座標から動体を検出する処理を行う。具体的には、位置・距離・姿勢認識部７５で認識した物体の位置を追跡して、移動している物体（動体）を検出する。これにより、３ＤセンサＳＲで検出可能な実３次元空間において動体を検出し、動体の位置を追尾することができる。

コマンド実行部１０３は、動体検出部１０２で検出した動体の３次元座標がボタン設定領域内に位置した際にボタン設定領域と対応付けされたコマンドを実行する処理を行う。動体検出部１０２では、実３次元空間内で移動する物体の位置（動体の３次元座標）を追跡することができる。コマンド実行部１０３は、動体検出部１０２から動体の３次元座標の情報を取得する。

そして、コマンド実行部１０３は、動体の３次元座標がボタン設定領域内に位置した際に、そのボタン設定領域に対応付けされたコマンドを実行する処理を行う。これにより、動体の動作から実３次元空間内のボタン設定領域が選択されたことを検出して、そのボタン設定領域に対応付けされたコマンドを実行することができる。

図２は、動作例を示す模式図である。
３ＤセンサＳＲは、実３次元空間の物体の位置を検出する。図２に示す例では、例えば、測定機Ｍ、測定機Ｍのユーザ８００、プロジェクタＰＲから投射された像を映し出すスクリーンＳＬ、ホワイトボードＷＢなどが実３次元空間に配置される。３ＤセンサＳＲは、これらの位置を検出する。

また、図２に示す例では、ホワイトボードＷＢにボタン設定領域Ｂ１〜Ｂ４が設けられる。ホワイトボードＷＢ上のボタン設定領域Ｂ１〜Ｂ４の位置（３次元座標）は、予めコマンド設定部１０１によって設定されている。ボタン設定領域Ｂ１〜Ｂ４のそれぞれにはコマンドが対応付けられる。例えば、ボタン設定領域Ｂ１には「起動」コマンド、ボタン設定領域Ｂ２には「終了」コマンド、ボタン設定領域Ｂ３には「保存」コマンド、ボタン設定領域Ｂ４には「印刷」コマンドが対応付けられる。

測定機Ｍのユーザ８００は、例えば測定機Ｍの測定ヘッド５０１を用いて測定対象物の測定を行う。測定ヘッド５０１にプロジェクタＰＲが設けられている場合、このプロジェクタＰＲからスクリーンＳＬに測定対象物の設計図など、各種の情報に基づく画像を表示することができる。

ユーザ８００の動きは３ＤセンサＳＲによって取得した情報に基づき動体検出部１０２によって検出される。位置・距離・姿勢認識部７５は、例えばユーザ８００の手８０１の動きを認識する。そして、ユーザ８００の手８０１がボタン設定領域Ｂ１〜Ｂ４のいずれかに位置した際、コマンド実行部１０３は手８０１の位置のボタン設定領域Ｂ１〜Ｂ４に対応付けされたコマンドを実行する。

例えば、ユーザ８００の手８０１がホワイトボードＷＢ上のボタン設定領域Ｂ１に触れた場合、ボタン設定領域Ｂ１に対応付けされた「起動」コマンドが実行される。同様に、ユーザ８００の手８００１がボタン設定領域Ｂ２に触れた場合、ボタン設定領域Ｂ２に対応付けされた「終了」コマンドが実行される。このように、ユーザ８００は、自らの手８０１の位置によって所望のコマンドを実行できるようになる。

図３（ａ）および（ｂ）は、ボタン設定領域について例示する模式図である。
図３（ａ）には、ホワイトボードＷＢに設定されたボタン設定領域Ｂ１〜Ｂ４が表される。ボタン設定領域Ｂ１〜Ｂ４は、ホワイトボードＷＢの面に適宜書き込まれている。ここでは、ホワイトボードＷＢの面に４つの矩形が書き込まれている。

コマンド設定部１０１は、各矩形の偶部の３次元座標を登録することでボタン設定領域Ｂ１〜Ｂ４の位置を設定する。例えば、ボタン設定領域Ｂ１は、４つの偶部Ｐ１〜Ｐ４の３次元座標によって設定される。偶部Ｐ１〜Ｐ４の３次元座標は、３ＤセンサＳＲによって取り込むことができる。また、測定ヘッド５０１を用いて偶部Ｐ１〜Ｐ４の３次元座標を取り込んでもよい。

図３（ｂ）には、立体的なボタン設定領域Ｂ５が表される。ボタン設定領域Ｂ５は、例えば立方体の領域である。立体体の領域は、実３次元空間内の４つの点Ｐ１７、Ｐ１８、Ｐ１９、Ｐ２０によって決定される。コマンド設定部１０１は、４つの点Ｐ１７、Ｐ１８、Ｐ１９、Ｐ２０の３次元座標を登録することでボタン設定領域Ｂ５の位置を設定する。

コマンド設定部１０１は、このようなボタン設定領域Ｂ１〜Ｂ５のそれぞれにコマンドを対応付けする。ボタン設定領域Ｂ１〜Ｂ５は、実３次元空間のどのような場所であっても設定可能である。コマンド設定部１０１は、例えば、ホワイトボードＷＢのように何らかの物体のある位置にボタン設定領域Ｂ１〜Ｂ４を設定しても、また実３次元空間内の物体の無い領域にボタン設定領域Ｂ５を設定してもよい。

図４および図５は、他のボタン設定領域について例示する模式図である。
図４に示す例では、プロジェクタＰＲによって映し出された画像をボタン設定領域Ｂ６としている。例えば、測定ヘッド５０１にプロジェクタＰＲが設けられている場合、測定ヘッド５０１をスクリーンＳＬとは異なる方向に向ける。これにより、プロジェクタＰＲからボタン設定領域Ｂ６の画像が出力される。図４に示す例では、プロジェクタＰＲから出力されたボタン設定領域Ｂ６の画像が床ＦＬに映し出されている。

プロジェクタＰＲでボタン設定領域Ｂ６の画像を映し出す場合、ボタン設定領域Ｂ６の投映位置を３ＤセンサＳＲで検出し、位置・距離・姿勢認識部７５で認識する。位置・距離・姿勢認識部７５は、ボタン設定領域Ｂ６の特徴を予め登録しておくことで、３ＤセンサＳＲで検出した情報からボタン設定領域Ｂ６の位置を認識することができる。また、ボタン設定領域Ｂ６の投映位置が動いても、動体検出部１０２によって追尾可能である。

床ＦＬにボタン設定領域Ｂ６が投映された場合、ユーザ８００は、例えば自らの足８０２によってボタン設定領域Ｂ６を選択することができる。ユーザ８００の足８０２の位置は３ＤセンサＳＲによって検出され、足８０２の動きは動体検出部１０２によって追尾される。これにより、ユーザ８００の足８０２がボタン設定領域Ｂ６の位置にあることを検出し、ボタン設定領域Ｂ６に対応付けされたコマンドをコマンド実行部１０３によって実行することができる。

測定ヘッド５０１を手で持って測定作業を行うユーザ８００にとっては、手でコマンドを指示することが困難な場合もある。床ＦＬに映し出されたボタン設定領域Ｂ６を足８０２で選択できることで、ユーザ８００は測定ヘッド５０１を手で持ったまま所望のコマンドを足８０２で指定して実行できることになる。

図５に示す例では、スクリーンＳＬ上にボタン設定領域Ｂ７の画像が投映されている。プロジェクタＰＲは、例えば測定対象物の設計情報などをスクリーンＳＬに映し出すとともに、ボタン設定領域Ｂ７の画像を映し出す。図４に示す例と同様に、ボタン設定領域Ｂ７の位置は３ＤセンサＳＲで検出され、動体検出部１０２によって追尾される。

ユーザ８００は、例えば自らの手８０１によってスクリーンＳＬ上に投映されたボタン設定領域Ｂ７を選択することができる。ユーザ８００の手８０１がボタン設定領域Ｂ７の位置にあることを検出した際、コマンド実行部１０３はボタン設定領域Ｂ７に対応付けされたコマンドを実行する。

また、コマンド実行部１０３は、ユーザ８００の手８０１や足８０２の動作に応じてコマンドを切り替えるようにしてもよい。例えば、ユーザ８００の手８０１がボタン設定領域Ｂ１に一定時間止まっている場合（タッチ動作）には第１コマンドを実行し、手８０１がボタン設定領域Ｂ１内に沿って移動している場合（スライド動作）には第２コマンドを実行する。すなわち、手８０１によってボタン設定領域Ｂ１をタッチするか、スライドさせるかによってコマンドを切り替えてもよい。

第１実施形態に係る測定システム１Ａによれば、実３次元空間内の所望の位置にボタン設定領域Ｂ１〜Ｂ７を設定することができる。また、ユーザ８００は、自らの手８０１や足８０２でボタン設定領域Ｂ１〜Ｂ７を選択することで、所望のコマンドを実行することができる。したがって、ユーザ８００は、測定機Ｍによる測定作業を行いながら、所望のコマンドを簡単に実行できるようになる。例えば、測定機Ｍから離れた位置にコンピュータ１００がある場合であっても、ユーザ８００は測定機Ｍの位置から離れることなく、コンピュータ１００に所望のコマンドを送ることが可能になる。

また、ユーザ８００は、好みの位置にボタン設定領域Ｂ１〜Ｂ７を設定することができる。これにより、ユーザ８００にとって効率よく作業できる位置にボタン設定領域Ｂ１〜Ｂ７を配置することができ、測定作業の効率化を図ることができる。

（第２実施形態）
図６は、第２実施形態に係る測定システムを例示する構成図である。
本実施形態に係る測定システム１Ｂは、コンピュータ１００と、コンピュータ１００によって制御される測定機Ｍおよび３ＤセンサＳＲを備える。コンピュータ１００は、ＣＰＵ１０、記憶部２０、演算部３０、測定機制御部４０、表示制御部５０、３Ｄセンサ入力部７０および位置・距離・姿勢認識部７５を有する。さらに、コンピュータ１００は、３Ｄ映像入出力部５１、３Ｄカメラ制御部５２、立体映像生成部５３、ヘッドマウントディスプレイ出力部５４、コントロール生成部５５、ヘッドホンマイク入出力部６１、音声入出力部６２、操作盤入出力部６５およびコントロール入力認識部７６を有する。コンピュータ１００には、操作盤ＣＴ、ヘッドホンマイクＨＰＭ、ヘッドマウントディスプレイＨＤおよび３ＤカメラＣＭが接続される。

以下、第１実施形態に係る測定システム１Ａとは異なる構成について説明する。
操作盤入出力部６５は、操作盤ＣＴに対する情報の入出力を行うインタフェース部分である。ユーザ８００は操作盤ＣＴを用いて測定機Ｍをコントロールすることができる。

３ＤカメラＣＭは、実３次元空間における３次元映像を取得する３次元撮像部である。ヘッドマウントディスプレイＨＤは、３ＤカメラＣＭで取得した３次元映像を表示するディスプレイである。ここで、実施形態において、「映像」は、３ＤカメラＣＭ等の撮像装置で取り込んだ像の情報のことを意味し、「画像」は、ＣＡＤ等の設計データから生成されたグラフィックや予め用意されたグラフィックなどの情報のことを意味する。

図７は、ヘッドマウントディスプレイを例示する斜視図である。
ヘッドマウントディスプレイＨＤは、ユーザ８００の頭部に装着される。ユーザ８００は、ヘッドマウントディスプレイＨＤに映し出される３次元映像を参照することができる。このヘッドマウントディスプレイＨＤには３ＤカメラＣＭが取り付けられる。すなわち、ヘッドマウントディスプレイＨＤは、３ＤカメラＣＭと一体に設けられる。

３Ｄカメラ制御部５２は、３ＤカメラＣＭを制御する部分である。３Ｄ映像入出力部５１は、３ＤカメラＣＭで取得した３Ｄ映像をコンピュータ１００に取り込むインタフェース部分である。ヘッドマウントディスプレイ出力部５４は、ヘッドマウントディスプレイＨＤに映像の信号を送信するインタフェース部分である。立体映像生成部５３は、ヘッドマウントディスプレイＨＤに映し出す３Ｄ映像を生成する部分である。立体映像生成部５３は、撮影映像合成部５３１を含む。

撮影映像合成部５３１は、３ＤカメラＣＭで取得した３Ｄ映像と、ボタン設定領域に対応した画像とを合成してヘッドマウントディスプレイＨＤに表示させる処理を行う。

コントロール生成部５５は、ユーザ８００の所定の動作とコマンドとの対応付けを行う部分である。ユーザ８００の所定の動作とコマンドとの対応付けは、記憶部２０に例えばテーブルデータとして記憶される。

ヘッドホンマイクＨＰＭは、ヘッドホンとマイクとを一体にしたもので、ユーザ８００の頭部に装着される。ヘッドホンマイク入出力部６１は、ヘッドホンマイクＨＰＭに対する情報の入出力を行うインタフェース部分である。音声入出力部６２は、ヘッドホンマイクＨＰＭに送る音声を生成したり、ヘッドホンマイクＨＰＭから取り込まれた音声の情報を処理したりする部分である。なお、本実施形態においてヘッドホンマイクＨＰＭは必要に応じて設けられていればよい。

コントロール入力認識部７６は、ユーザ８００の所定の動作を認識する部分である。コントロール入力認識部７６は、位置・距離・姿勢認識部７５から送られる情報に基づいて、ユーザ８００の所定の動作を認識する処理を行う。このような測定システム１Ｂにおいては、ヘッドマウントディスプレイＨＤに実３次元空間の映像の表示が行われるとともに、この映像にボタン設定領域の画像を合成して表示することができる。

図８〜図１１は、動作例を示す模式図である。
図８に示すように、ユーザ８００はヘッドマウントディスプレイＨＤを装着する。また、３ＤセンサＳＲは、実３次元空間のユーザ８００や測定機Ｍなどの物体の位置を検出する。ヘッドマウントディスプレイＨＤに設けられた３ＤカメラＣＭは、実３次元空間の３Ｄ映像を取得する。

ユーザ８００は、ヘッドマウントディスプレイＨＤによって３ＤカメラＣＭで取得した３Ｄ映像を参照することができる。また、ヘッドマウントディスプレイＨＤには、３Ｄ映像の実３次元空間に合わせてボタン設定領域の画像（ボタン画像ＢＧ）が表示される。すなわち、撮影映像合成部５３１によって、３Ｄカメラで取得した３Ｄ映像にボタン画像ＢＧが合成される。ボタン画像ＢＧは、予め登録されたボタン設定領域の実３次元空間での３次元座標に基づき、ヘッドマウントディスプレイＨＤの表示における３次元座標と合わせて表示される。これにより、３ＤカメラＣＭの画角が変わっても、ボタン画像ＢＧの３Ｄ映像上の合成位置は変わらない。

ユーザ８００の動きは３ＤセンサＳＲによって取得した情報に基づき動体検出部１０２によって検出される。位置・距離・姿勢認識部７５は、例えばユーザ８００の手８０１や足８０２の動きを認識する。そして、ユーザ８００の手８０１や足８０２がボタン画像ＢＧに対応したボタン設定領域に位置した際、コマンド実行部１０３は手８０１や足８０２の位置のボタン設定領域に対応付けされたコマンドを実行する。これにより、ユーザ８００は、自らの手８０１や足８０２の位置によって所望のコマンドを実行できるようになる。

ボタン画像ＢＧは、ヘッドマウントディスプレイＨＤで表示される３Ｄ映像上の任意の位置に表示可能である。例えば、Ｄ映像が表示される実３次元空間の物体の存在しない位置（空中）にボタン画像ＢＧを表示させたり、床ＦＬの上に配置されているかのように床ＦＬの３Ｄ映像の上にボタン画像ＢＧを表示させたりすることができる。

図９には、床ＦＬの３Ｄ映像上にボタン画像ＢＧを合成した例が示される。ユーザ８００は、測定機Ｍの測定ヘッド５０１を手８０１で持って、測定対象物であるワークＷの測定を行う。ユーザ８００は、ヘッドマウントディスプレイＨＤに表示される測定機ＭやワークＷの３Ｄ映像を参照しながら測定ヘッド５０１を操作して測定を行う。

また、ヘッドマウントディスプレイＨＤには、床ＦＬの３Ｄ映像にボタン画像ＢＧが合成された状態で表示される。実際の床ＦＬの上にはボタンは配置されていないが、ヘッドマウントディスプレイＨＤの表示ではボタン画像ＢＧが表示される。これにより、ユーザ８００は、まるで床ＦＬの上にボタンが配置されているかのようにボタン画像ＢＧを参照することができる。ユーザ８００は、床ＦＬの上のボタン画像ＢＧを足８０２で選択する。これにより、選択したボタン画像ＢＧに対応したボタン設定領域のコマンドが実行される。

図１０には、３Ｄ映像に計算機の画像ＣＡＬを合成した例が示される。この例では、ヘッドマウントディスプレイＨＤに表示されるワークＷの３Ｄ映像の近傍に計算機の画像ＣＡＬが合成されている。ユーザ８００は、例えば手８０１によって計算機の画像ＣＡＬを操作する。この手８０１の動作を動体検出部１０２で追尾して、計算機の画像ＣＡＬのどのキーの領域に手８０１が位置するかを判断する。これにより、コマンド実行部１０３は計算機の画像ＣＡＬのキーに対応したコマンドを実行する。ユーザ８００は、ヘッドマウントディスプレイＨＤに表示された仮想の計算機の画像ＣＡＬを参照して、まるで実際の計算機を操作しているかのように計算を行うことができる。

コマンド実行部１０３は、動体検出部１０２で検出したユーザ８００の手８０１の形に応じて複数のコマンドのうちいずれかを選択して実行するようにしてもよい。図１１には、手８０１の形に応じてコマンドを切り替える例が示される。

一例として、特定の方向に向けて手８０１を開いた状態で一定時間が経過すると（Ｈ１）、ホームボタン（複数のボタン画像ＢＧが集合した画像）を表示するコマンドが実行される。また、ヘッドマウントディスプレイＨＤの表示においてホームボタンが手８０１の届かない位置に表示されている場合、手８０１を握る動作をすると（Ｈ２）、遠くのホームボタンを近くに表示するコマンドが実行される。また、ホームボタンを手８０１で摘まんで移動するような動作をすると（Ｈ３）、ホームボタンの表示位置を移動するコマンドが実行される。

また、手８０１の人差し指を特定方向に向ける動作をすると（Ｈ４）、ホームボタンを非表示にするコマンドが実行される。手８０１を壁に向かって押し付けるような動作をすると（Ｈ５）、ホームボタンを壁に貼り付けるように移動させるコマンドが実行される。手８０１のひらを上に向ける動作をすると（Ｈ６）、手８０１のひらの上にホームボタンを移動させるコマンドが実行される。手８０１を床に向かって押し付けるような動作をすると（Ｈ７）、ホームボタンを床の上に貼り付けるように移動させるコマンドが実行される。なお、これらの手８０１の形および動作とコマンドとの対応付けは一例であり、これに限定されない。

このように、手８０１の形に応じてコマンドの切り替えを行うようにすると、キーボードＫやマウスＭＳなどの入力デバイスを用いることなく、手８０１を使ったジェスチャーだけで所望のコマンドを実行できるようになる。

上記の例において、ユーザ８００は手８０１や足８０２によってボタン画像ＢＧを選択することでコマンドを実行したが、測定ヘッド５０１によってボタン画像ＢＧを選択してコマンドを実行するようにしてもよい。

また、本実施形態に係る測定システム１Ｂのうち、コンピュータ１００、３ＤセンサＳＲおよび３ＤカメラＣＭによってユーザインタフェース装置を構成してもよい。このユーザインタフェース装置によれば、ユーザ８００の手８０１の形に応じてボタン画像ＢＧの表示／非表示を切り替えたり、ボタン画像ＢＧに対応したコマンドを実行したりすることができる。

（第３実施形態）
図１２（ａ）および（ｂ）は、第３実施形態に係る測定システムを例示する構成図である。
本実施形態に係る測定システム１Ｃは、コンピュータ１００と、コンピュータ１００によって制御される測定機Ｍ、３ＤセンサＳＲおよびヘッドマウントディスプレイＨＤを備える。コンピュータ１００は、ＣＰＵ１０、記憶部２０、演算部３０、測定機制御部４０、表示制御部５０、３Ｄセンサ入力部７０および位置・距離・姿勢認識部７５を有する。さらに、コンピュータ１００は、立体映像生成部５３、ヘッドマウントディスプレイ出力部５４、ヘッドホンマイク入出力部６１、音声入出力部６２および操作盤入出力部６５を有する。コンピュータ１００には、操作盤ＣＴおよびヘッドホンマイクＨＰＭが接続される。

このような測定システム１Ｃにおいては、ヘッドマウントディスプレイＨＤの仮想３次元空間内に測定機Ｍの画像が表示される。測定機Ｍの画像としては、例えばＣＡＤ画像が用いられる。ＣＡＤ画像は記憶部２０に記憶される。また、ユーザの動作を動作検出部で検出して、この仮想３次元空間内の測定機Ｍの画像をユーザ８００の動作に合わせて移動させることができる。

本実施形態に係る測定システム１Ｃは、特に自動測定機能の豊富な測定機Ｍへの適用が好適である。例えば、ＣＮＣ（Computerized Numerically Controlled）測定機では、予め設定されたプログラム（例えば、パートプログラム）に従って自動的な測定を行うことができるため、高精度かつ効率的な測定を行うことができる。しかし、ＣＮＣ測定機を扱うには操作方法やプログラムの作成・修正など専門的な技術や知識が必要になる。本実施形態に係る測定システム１Ｃでは、このような機能の豊富な測定機Ｍについてユーザインタフェースの向上を図ることができる。

図１３〜図１７は、動作例を示す模式図である。
図１３に示すように、ユーザ８００は、ヘッドマウントディスプレイＨＤおよびヘッドホンマイクＨＰＭを装着する。３ＤセンサＳＲは、実３次元空間のユーザ８００や測定機Ｍなどの物体の位置を検出する。

ヘッドマウントディスプレイＨＤには、仮想３次元空間内に測定機Ｍの画像（測定機画像ＭＧ）が表示される。ユーザ８００は、ヘッドマウントディスプレイＨＤに表示される仮想３次元空間内の測定機画像ＭＧを参照して、仮想３次元空間内で測定機画像ＭＧを動かすことができる。

すなわち、３ＤセンサＳＲによってユーザ８００の例えば手８０１の位置を検出し、動体検出部１０２によって手８０１の動きを追尾する。手８０１の位置および動きは仮想３次元空間内に表示される測定機画像ＭＧの動作に反映される。例えば、ユーザ８００が仮想３次元空間内の測定ヘッド５０１の画像（測定ヘッド画像５０１Ｇ）の位置まで手８０１を延ばすと、仮想３次元空間内の測定ヘッド画像５０１Ｇを移動させることができる。

立体映像生成部５３は、仮想３次元空間内の測定機画像ＭＧの表示位置を、動体検出部１０２で検出したユーザ８００の手８０１の動作に合わせて移動させるよう画像を生成する。これにより、ユーザ８００は、ヘッドマウントディスプレイＨＤに表示される仮想３次元空間内で自由に測定機画像ＭＧを操作することができる。

本実施形態に係る測定システム１Ｃにおいて、ＣＰＵ１０で実行されるプログラムとして測定動作記憶部１０４を備えていても良い。測定動作記憶部１０４は、ヘッドマウントディスプレイＨＤに表示される仮想３次元空間内でユーザ８００によって移動された測定機画像ＭＧの表示位置に沿って測定動作を記録する処理を行う。

そして、測定機制御部４０は、測定動作記憶部１０４で記憶した測定動作に従って実際の測定機Ｍを用いてワークＷの測定を行う。これにより、ユーザ８００は、仮想３次元空間内において測定機画像ＭＧの例えば測定ヘッド画像５０１Ｇを移動させることで、実際の測定手順を記録することができる。

この際、実際のワークＷの位置を３ＤセンサＳＲで検出して、仮想３次元空間内の測定機画像ＭＧの位置に合わせてワーク画像ＷＧを合成しておく。ユーザ８００は、測定ヘッド画像５０１Ｇを移動する際、ワーク画像ＷＧと測定ヘッド画像５０１Ｇとの干渉を確認しながら測定手順を記録することができる。例えば、測定ヘッド画像５０１Ｇの向きによってワーク画像ＷＧとの干渉が発生する場合には、ヘッドマウントディスプレイＨＤに警告を表示してもよい。このような測定手順の記録によれば、専門的な知識がなくても測定ヘッド５０１の動きをプログラム化することができる。

図１４には、仮想３次元空間内に実際の映像ＩＭＧを表示する例が示される。測定システム１Ｃは、測定機Ｍの映像ＩＭＧを取得するカメラＣＭ１を備えていてもよい。カメラＣＭ１によって取得した測定機Ｍの映像ＩＭＧは、ヘッドマウントディスプレイＨＤの仮想３次元空間内の所定位置に表示される。

ユーザ８００は、ヘッドマウントディスプレイＨＤに表示される測定機画像ＭＧとともに、実際の測定機Ｍの映像ＩＭＧを参照することができる。これにより、仮想３次元空間内において、実際の測定機Ｍの動作を確認しながら作業を行うことができるようになる。

図１５には、パートプログラムの修正動作の例が示される。ヘッドマウントディスプレイＨＤには、既存のパートプログラムによる測定ヘッド５０１の動作が仮想３次元空間内に表示される。ユーザ８００は、既存のパートプログラムを読み出す。例えばヘッドホンマイクＨＰＭに音声を入力することで、音声認識によって既存のパートプログラムが読み出されるようにしてもよい。

仮想３次元空間内の測定ヘッド画像５０１Ｇは、読み出したパートプログラムを実行した場合と同様に動作する。ユーザ８００は、仮想３次元空間内に表示される測定ヘッド画像５０１Ｇの動作を参照したり、音声認識によって動作の停止や再開などをコントロールしたりすることができる。また、手８０１を用いて測定ヘッド画像５０１Ｇを移動させることもできる。

仮想３次元空間には、測定ヘッド画像５０１Ｇの移動順の数値や、ボタン画像ＢＧを表示させてもよい。パートプログラムを修正する場合、動作を一時停止させて手８０１によって測定ヘッド画像５０１Ｇを移動させる。

ここで、一例として、パートプログラムのステップを追加する場合の動作を説明する。この例では、図１５に示すように、測定ヘッド５０１が（１）〜（４）の順に動作するパートプログラムについて、（２）と（３）との間に（２’）を追加する動作を説明する。

先ず、ユーザ８００は、例えば音声認識によってパートプログラムを１ステップずつ動作させる。ユーザ８００によって、例えば「Go to the first step」という音声を入力すると、パートプログラムは１ステップ進み、仮想３次元空間内の測定ヘッド画像５０１Ｇが（１）の位置に移動するよう表示される。

次に、ユーザ８００は、例えば「Go to the next step」という音声を入力する。これにより、パートプログラムは次のステップに進み、仮想３次元空間内の測定ヘッド画像５０１Ｇが（２）の位置に移動するよう表示される。

ここで、ユーザ８００は、ステップの追加を行うために、例えば「Add the step」という音声を入力する。これにより、パートプログラムのステップの追加モードが実行される。次に、ユーザ８００は仮想３次元空間内の測定ヘッド画像５０１Ｇを手８０１によって移動し、（２’）の位置に配置する。この状態で、例えば「Continue」という音声を入力すると、（２’）の位置が追加され、次の（３）の位置へ測定ヘッド画像５０１Ｇが進むことになる。

なお、ここでは音声認識によってパートプログラムの動作や修正を指示したが、ボタン画像ＢＧを指定することで同様な動作や修正を指示してもよい。このような操作によってユーザ８００は専門的な知識がなくてもパートプログラムを直観的に修正することが可能になる。

図１６には、仮想３次元空間内に測定に関する情報を表示する例が示される。ユーザ８００は、装着しているヘッドマウントディスプレイＨＤによって仮想３次元空間の画像を参照している。仮想３次元空間内にはワーク画像ＷＧや測定ヘッド画像５０１Ｇが表示される。ワーク画像ＷＧや測定ヘッド画像５０１ＧはＣＡＤ画像やコンピュータグラフィックである。図１６に示す例では、ワーク画像ＷＧに測定結果を合成して表示した例が示される。また、測定結果が所定の許容範囲に収まっていない場合に、ワーク画像ＷＧにその旨を示す表示（ワーク画像ＷＧに色を付ける表示など）を付加してもよい。

ユーザ８００は、例えば「Show result」といった音声をヘッドホンマイクＨＰＭから入力する。これにより、仮想３次元空間のワーク画像ＷＧに測定結果が合成された表示が行われる。ユーザ８００は、仮想３次元空間内に表示される内容を参照することで、コンピュータ１００のディスプレイＤを参照することなく測定結果を確認することができる。

図１７には、ネットワークＮを介して測定およびティーチングを行う例が示される。
図１７に示す例において、測定システム１Ｃは、ネットワークＮを介して測定機制御部４０と接続される遠隔制御部９０をさらに備える。遠隔制御部９０は、測定機Ｍから離れた位置にいるユーザ８００から指示されたコマンドを、ネットワークＮを介して測定機制御部４０に送る処理を行う。

遠隔地にいるユーザ８００は、装着しているヘッドマウントディスプレイＨＤに表示される仮想３次元空間内の測定機画像ＭＧを参照しながら、実際の測定機Ｍの動作を確認することができる。また、仮想３次元空間内に表示される測定機画像ＭＧや測定ヘッド画像５０１Ｇは、ユーザ８００の手８０１によって移動させることができる。

先に説明したように、パートプログラムによる測定ヘッド５０１の動作は、仮想３次元空間に表示さる測定ヘッド画像５０１Ｇの動作によって確認することができる。さらに、パートプログラムの修正も仮想３次元空間内で行うことができる。

遠隔制御部９０によって遠隔地のユーザ８００の指示をネットワークＮを介して測定機制御部４０に送信することで、どのような位置に測定機Ｍがあってもユーザ８００は仮想３次元空間の画像を参照して測定機Ｍを扱うことができる。

すなわち、ユーザ８００は、まるで測定機Ｍのそばにいるかのように遠隔地から測定機Ｍを扱うことが可能になる。この測定システム１Ｃでは、例えば測定機Ｍの操作に慣れたユーザ８００が測定機Ｍの近くにいない場合など、遠隔地にいる知識豊富なスタッフにネットワークＮを介して測定機Ｍを操作させることができる。また、測定機Ｍが過酷な環境下にあってユーザ８００が近づけないような場合であっても、ユーザ８００がその場にいるような感覚で測定機Ｍを操作することが可能になる。

（第４実施形態）
図１８は、第４実施形態に係る測定システムを例示する構成図である。
本実施形態に係る測定システム１Ｄは、コンピュータ１００と、コンピュータ１００によって制御される測定機Ｍおよび３ＤセンサＳＲを備える。コンピュータ１００は、ＣＰＵ１０、記憶部２０、演算部３０、測定機制御部４０、表示制御部５０、３Ｄセンサ入力部７０および位置・距離・姿勢認識部７５を有する。さらに、コンピュータ１００は、３Ｄ映像入出力部５１、３Ｄカメラ制御部５２、立体映像生成部５３、撮影映像合成部５３１、ヘッドマウントディスプレイ出力部５４、ヘッドホンマイク入出力部６１、音声入出力部６２、音響再生部６２１、操作盤入出力部６５およびヘルパー生成部９５を有する。コンピュータ１００には、操作盤ＣＴ、ヘッドホンマイクＨＰＭ、ヘッドマウントディスプレイＨＤおよび３ＤカメラＣＭが接続される。

このような測定システム１Ｄにおいては、ヘッドマウントディスプレイＨＤの仮想３次元空間内に実際の測定機Ｍの映像と、ＣＡＤ画像やコンピュータグラフィック等の測定機画像ＭＧとを合成して表示することができる。測定機画像ＭＧは、記憶部２０の画像記憶部２０１に予め記憶されている。

また、ヘルパー生成部９５は、測定機Ｍの所定の測定手順を表す画像を生成する。これにより、立体映像生成部５３の撮影映像合成部５３１は、３ＤカメラＣＭで撮影した映像に、ヘルパー生成部９５で生成された測定手順を表す画像を合成する処理を行うことができる。

また、ヘルパー生成部９５は、測定機Ｍの所定の異常に対応した画像を生成してもよい。これにより、立体映像生成部５３の撮影映像合成部５３１は、３ＤカメラＣＭで撮影した映像に、ヘルパー生成部９５で生成された所定の異常に対応した画像を合成する処理を行うことができる。

また、ヘルパー生成部９５は、測定機Ｍの所定のガイダンスに対応した画像を生成してもよい。これにより、立体映像生成部５３の撮影映像合成部５３１は、３ＤカメラＣＭで撮影した映像に、ヘルパー生成部９５で生成された所定のガイダンスに対応した画像を合成する処理を行うことができる。

ここで、測定機Ｍの操作が分からない場合、ユーザ８００は測定機Ｍの取扱説明書を確認しながら実際の測定機Ｍでの操作イメージを頭の中でシミュレーションする。しかし、すべての操作を記憶するのは困難であり、再度取扱説明書を確認するなど煩わしい作業を強いられる。

また、例えば測定プローブの交換を行う場合、手順通りに行わないと破損などの不具合を招くおそれがある。このため、測定プローブの交換には慎重な作業が要求される。作業に慣れていないユーザ８００は、その都度取扱説明書を参照しながら作業を行うことになる。

また、例えば、非直交三次元測定機の原点出しは、測定機Ｍの７軸アームの各リミットスイッチをＯＮ／ＯＦＦする操作を行って原点を取得する必要がある。この作業に慣れていないユーザ８００は、原点が取得されていない軸や、原点を取得するための操作が直感的に分かりにくく、操作に迷うことが多い。

また、例えば、測定機Ｍのケーブルを専用コントローラに接続する際に、どのケーブルをコントローラのどの接続口に差し込めばよいのか分かりにくく、その都度取扱説明書を確認する必要が生じる。

また、例えば、非直交三次元測定機の場合、リミットスイッチがＯＮの状態では測定することはできない。このリミットスイッチがＯＮ状態なのか測定可能な状態なのか分かりにくく、何度も同じ場所を再測定してしまうことがある。

また、例えば、測定機Ｍに異常が発生した場合は、コンピュータ１００のディスプレイＤにメッセージが表示されたり、音で警告したりする。しかし、ユーザ８００が測定に集中しているときにはコンピュータ１００のディスプレイＤをあまり見なかったり、ディスプレイＤが見えづらかったりして、認識しにくいことがある。

また、例えば、測定方法などを初心者へ教育する目的でビデオなどの映像を再生することがある。しかし、実際に測定する際にどうすれば良い分からなくなったり、手順を間違えて最初からやり直したりなど、修得に必要な時間が多くなってしまう場合がある。

本実施形態に係る測定システム１Ｄでは、ユーザ８００が装着するヘッドマウントディスプレイＨＤの仮想３次元空間内に実際の測定機Ｍの映像と、様々な画像とを合成して表示することで、効率的な操作を行うことができるようになる。

図１９〜図２３は、動作例を示す模式図である。
図１９には、ユーザ８００に技術的な支援を行う例が示される。
図１９に示すように、ユーザ８００はヘッドマウントディスプレイＨＤを装着する。また、３ＤセンサＳＲは、実３次元空間のユーザ８００や測定機Ｍなどの物体の位置を検出する。ヘッドマウントディスプレイＨＤに設けられた３ＤカメラＣＭは、実３次元空間の３Ｄ映像を取得する。

ユーザ８００は、ヘッドマウントディスプレイＨＤによって３ＤカメラＣＭで取得した３Ｄ映像を参照することができる。図１９に示す例では、３Ｄ映像として測定機Ｍの映像ＩＭＧが表示される。また、ヘッドマウントディスプレイＨＤには、３Ｄ映像の実３次元空間に合わせて測定機Ｍに関する各種の画像Ｇが表示される。

画像Ｇの表示位置は、測定機Ｍの映像ＩＭＧの位置に基づき決定される。これにより、３ＤカメラＣＭの画角が変わっても、画像Ｇの測定機Ｍに対する表示位置は変わらない。図１９に示す例では、原点出しの手順に沿った画像Ｇが測定機Ｍの映像ＩＭＧに合成された状態で表示される。ユーザ８００は、３ＤカメラＣＭで取得した実際の測定機Ｍの映像ＩＭＧを参照しながら、原点出しの手順に沿った画像Ｇを参照することができる。

このような画像Ｇが実際の測定機Ｍの映像ＩＭＧに合成して表示されることで、ユーザ８００は、測定機Ｍのどこの軸の原点を取得する必要があるのか、また、原点を取得するために必要な操作手順を直観的に把握することができる。

図２０には、測定機Ｍの操作方法を教示する場合の動作例が示される。図２０には、一例として測定プローブの交換手順を示す画像Ｇ１〜Ｇ７が表される。ユーザ８００が装着するヘッドマウントディスプレイＨＤには、画像Ｇ１〜Ｇ７が順に並べられた状態で表示される。これらの画像Ｇ１〜Ｇ７は、３ＤカメラＣＭで撮影した実際の測定機Ｍの映像ＩＭＧ（図２０には不図示）に合成される。なお、画像Ｇ１〜Ｇ７の表示として、１つずつ順に表示させるステップ表示を行ってもよい。ステップ表示の再生、停止など動作は、ユーザ８００の音声や手８０１の動作などによって指示される。

ユーザ８００は、ヘッドマウントディスプレイＨＤに表示された画像Ｇ１〜Ｇ７を参照することで、実際の測定機Ｍの映像ＩＭＧと画像Ｇ１〜Ｇ７とを見比べながら操作手順を把握することができる。

図２１には、ケーブルの接続方法を教示する場合の動作例が示される。ユーザ８００が装着するヘッドマウントディスプレイＨＤには、３ＤカメラＣＭで撮影した実際の測定機Ｍの映像ＩＭＧや、パーソナルコンピュータの映像ＰＣ−ＩＭＧが表示される。さらに、この映像ＩＭＧ、ＰＣ−ＩＭＧにケーブルやガイダンスの画像Ｇが合成された状態で表示される。ケーブルの画像Ｇは、実際のパーソナルコンピュータの映像ＰＣ−ＩＭＧの接続位置に合わせて合成表示される。

このように、実際の測定機Ｍの映像ＩＭＧやパーソナルコンピュータの映像ＰＣ−ＩＭＧに、ケーブルを接続した際の画像Ｇが合成表示されるため、ユーザ８００は直観的にケーブルの接続方法をイメージすることができる。

図２２には、所定の異常に関する画像Ｇを表示する場合の動作例が示される。ユーザ８００が装着するヘッドマウントディスプレイＨＤには、３ＤカメラＣＭで撮影した実際の測定機Ｍの映像ＩＭＧが表示される。ここで、測定ヘッド５０１に何らかの異常が発生している場合、ヘッドマウントディスプレイＨＤの映像ＩＭＧと合成して異常を知らせる画像Ｇを表示する。

図２２に示す例では、実際の測定機Ｍの映像ＩＭＧに「ケーブル接続異常」や「リミットＯＮ」といった警告を促す画像Ｇが合成表示される。これにより、ユーザ８００は、実際の測定機Ｍの映像ＩＭＧに合わせてどのような異常が、どのような位置に発生しているかを視覚的に把握できるようになる。

図２３には、取扱説明書の画像Ｇを表示する例が示される。ユーザ８００が装着するヘッドマウントディスプレイＨＤには、３ＤカメラＣＭで撮影した実際の測定機Ｍの映像ＩＭＧが表示される。この状態でユーザ８００が所定のコマンドをコンピュータ１００に送信すると、ヘッドマウントディスプレイＨＤの測定機Ｍの映像ＩＭＧの近傍に、取扱説明書の画像Ｇが合成表示される。

ユーザ８００は、実際の測定機Ｍの映像ＩＭＧを参照しながら、ヘッドマウントディスプレイＨＤの表示空間上に表れた取扱説明書の画像Ｇを合わせて参照することができる。また、ユーザ８００の指示によって取扱説明書の画像Ｇのページをめくることができる。例えば、ユーザ８００の手８０１の動きを動体検出部１０２で検出することで、手８０１の動きを追尾する。そして、手８０１の動きからページをめくるような動作を認識した場合に、取扱説明書の画像Ｇのページをめくるような表示を行う。

また、ユーザ８００は、所定の指示によって取扱説明書の画像Ｇの拡大および縮小を行うことができる。この動作も手８０１の動きを検知して行うことができる。

図２４は、ヘルパー表示の動作を例示するフローチャートである。
ヘルパー表示の動作はヘルパー生成部９５によって行われる。ヘルパー生成部９５は、ユーザ８００によってヘルパーの呼出を行った場合や、何らかのエラーが発生した場合に動作を開始する。

先ず、ステップＳ１０１に示すように、ヘルパーの表示を行う。ヘルパーとは、所定のガイダンスに対応した画像であり、人の形を模した画像やキャラクター画像であってもよい。ヘルパーは、ヘッドマウントディスプレイＨＤの仮想３次元空間内に表示される。

次に、ステップＳ１０２に示すように、ヘルパーの応答を出力する。例えば、「Hello」、「Error Occurred!」、「May I help you?」など、ユーザ８００に対する戸挨拶や問いかけを行う。ヘルパーの応答は、ヘッドマウントディスプレイＨＤに表示される画像に変化を付けたり、ヘッドホンマイクＨＰＭに音声として出力されたりする。

次に、ステップＳ１０３に示すように、音声コマンドの認識を行う。ユーザ８００は、ヘッドホンマイクＨＰＭに音声で問いかけを行う。この音声に基づきコマンドを認識する。次に、ステップＳ１０４に示すように、ヘルパーの応答を出力する。ヘルパーは、ユーザ８００の指示したコマンドに対応した応答の出力を行う。例えば、「I teach you…」、「Please…」など、ユーザ８００のコマンドに対応した画像や音声を出力する。

ステップＳ１０５に示すように、ヘルパーの応答で良いか否かの判断を行う。良い場合にはステップＳ１０６へ進み、ヘルパーの消去を行う。一方、更なる応答が必要な場合には、ステップＳ１０２へ戻り、以降の処理を繰り返す。

図２５〜図２８は、ヘルパーの表示例を示す模式図である。
図２５には、測定機Ｍの操作手順をガイダンスするヘルパーの表示例が示される。
先ず、ユーザ８００は、ヘルパーの呼出を行う。例えば、ユーザ８００は「OK Mitutoyo.」と音声で問いかけを行う。これに応答してヘルパーが表示される。ヘッドマウントディスプレイＨＤの３次元空間内には実際の測定機Ｍの映像ＩＭＧが表示されるとともに、その近傍にヘルパーの画像（ヘルパー画像ＨＧ）が表示される。

次に、ヘルパー画像ＨＧは、例えば「Hello」と画像表示と音声とで応答を行う。次に、ユーザ８００は、音声によって問いかけを行う。例えば、測定機Ｍの操作手順を聞くために、「How to…」のように音声で問いかけを行う。

次に、ユーザ８００の問いかけに対応して、ヘルパー画像ＨＧは、例えば「I teach you…,operating it.」と応答する。続けて、ユーザ８００は、例えば「Teach me step by step.」と問いかける。このように、ユーザ８００とヘルパー画像ＨＧとの問いかけと応答とを繰り返すようにして、測定機Ｍの操作手順のガイダンスが行われる。この際、測定機画像ＭＧを表示して、手順の進行を測定機画像ＭＧで表現するようにしてもよい。

図２６には、測定プローブの交換手順をガイダンスするヘルパーの表示例が示される。
先ず、ユーザ８００は、例えば「OK Mitutoyo.」と音声で問いかけることで、ヘルパーの呼出を行う。これに応答してヘルパー画像ＨＧが表示される。ヘルパー画像ＨＧは、表示とともに、例えば「Hello」と画像表示と音声とで応答を行う。

次に、ユーザ８００は、例えば「How to change the probe.」と問いかける。ユーザ８００の問いかけに対応して、ヘルパー画像ＨＧは、例えば「Please do it this way.」と応答する。この応答とともに測定ヘッド画像５０１Ｇを表示して、測定プローブの交換手順を動画などでガイダンスする。

図２７には、ケーブルの接続エラーをガイダンスするヘルパーの表示例が示される。
先ず、ユーザ８００は、例えば「OK Mitutoyo.」と音声で問いかけることで、ヘルパーの呼出を行う。これに応答してヘルパー画像ＨＧが表示される。ヘルパー画像ＨＧは、表示とともに、例えば「Hello」と画像表示と音声とで応答を行う。

次に、ユーザ８００は、例えば「Teach me connection error.」と問いかける。ユーザ８００の問いかけに対応して、ヘルパー画像ＨＧは、例えば「Please check connection of this cable.」と応答する。この応答とともに測定機画像ＭＧとパーソナルコンピュータの画像ＰＣ−Ｇとを表示する。さらに、チェックを促すケーブルの画像Ｇを表示する。ユーザ８００は、この画像を参照することで、どのケーブルの接続にエラーが発生しているかを視覚的に認識できることになる。

図２８には、エラー発生時のヘルパーの表示例が示される。
測定機Ｍによる測定において何らかのエラーが発生した場合、自動的にヘルパー画像ＨＧが表示される。ヘルパー画像ＨＧは、例えば「Error occurred.」のように応答してエラーの発生を知らせる。

次に、ユーザ８００は、例えば「Teach me about error.」のように問いかける。ヘルパー画像ＨＧは、ユーザ８００からの問いかけに応答して、例えば「I teach you…」のように発生したエラーの詳細を出力する。

このように、ヘルパー画像ＨＧの表示およびヘルパー画像ＨＧとのやり取りによって、ユーザ８００は、まるでサービスマンから直接ガイダンスを受けているかのように、問題を解決していくことができる。

（第５実施形態）
図２９は、第５実施形態に係る測定システムを例示する構成図である。
本実施形態に係る測定システム１Ｅは、ユーザ側制御装置であるコンピュータ１００Ａと、支援者側制御装置であるコンピュータ１００Ｂとが互いにネットワークを介して接続された構成を備える。

コンピュータ１００Ａには、測定機Ｍ、操作盤ＣＴ、ディスプレイＤ１、キーボードＫ１、マウスＭＳ１、ヘッドマウントディスプレイＨＤ１、ヘッドホンマイクＨＰＭ１、３ＤカメラＣＭおよび３ＤセンサＳＲ１が接続される。

また、コンピュータ１００Ａは、ＣＰＵ１０Ａ、記憶部２０Ａ、演算部３０Ａ、測定機制御部４０、表示制御部５０Ａ、映像入出力部５１Ａ、カメラ制御部５２Ａ、立体映像生成部５３Ａ、撮影映像合成部５３１Ａ、ヘッドマウントディスプレイ出力部５４Ａ、ヘッドホンマイク入出力部６１Ａ、音声入出力部６２Ａ、音響再生部６２１Ａ、３Ｄセンサ入力部７０Ａ、位置・距離・姿勢認識部７５Ａおよび通信制御部１０１Ａを有する。

コンピュータ１００Ｂには、ディスプレイＤ２、キーボードＫ２、マウスＭＳ２、ヘッドマウントディスプレイＨＤ２、ヘッドホンマイクＨＰＭ２および３ＤセンサＳＲ２が接続される。

また、コンピュータ１００Ｂは、ＣＰＵ１０Ｂ、記憶部２０Ｂ、演算部３０Ｂ、表示制御部５０Ｂ、立体映像生成部５３Ｂ、ヘッドマウントディスプレイ出力部５４Ｂ、ヘッドホンマイク入出力部６１Ｂ、音声入出力部６２Ｂ、音響再生部６２１Ｂ、３Ｄセンサ入力部７０Ｂ、位置・距離・姿勢認識部７５Ｂおよび通信制御部１０１Ｂを有する。

このような測定システム１Ｅでは、測定機Ｍが設置されたユーザ側と、測定機Ｍの支援者側とが互いにネットワークＮで接続される。ユーザ側では、ヘッドマウントディスプレイＨＤ１に表示された測定機Ｍの映像ＩＭＧと、支援者側から送られた画像との合成を参照することができる。

支援者側では、ヘッドマウントディスプレイＨＤ２に表示された仮想３次元空間においてグラフィック等の測定機画像ＭＧと、ユーザ側から送られた画像との合成を参照することができる。すなわち、互いに離れた位置にいるユーザと支援者とのそれぞれにおいて、ヘッドマウントディスプレイＨＤ１、ＨＤ２の表示を参照することで、まるで互いが近くにいるかのような３Ｄ映像を参照して操作を行うことができるようになる。

図３０は、動作例を示す模式図である。
図３０に示すように、ユーザ８００は、ヘッドマウントディスプレイＨＤ１およびヘッドホンマイクＨＰＭ１を装着する。３ＤセンサＳＲ１は、ユーザ側の実３次元空間におけるユーザ８００や測定機Ｍ、ワークＷなどの物体の位置を検出する。また、ヘッドマウントディスプレイＨＤ１に設けられた３ＤカメラＣＭは、測定機ＭやワークＷなどの３Ｄ映像を取り込む。ユーザ側の測定機Ｍの情報、３ＤセンサＳＲ１で検出した情報、３ＤカメラＣＭで取得した情報、ヘッドホンマイクＨＰＭ１で取得した情報などは、通信制御部１０１ＡからネットワークＮを介して支援者側へ送信される。

一方、支援者９００は、ヘッドマウントディスプレイＨＤ２およびヘッドホンマイクＨＰＭ２を装着する。３ＤセンサＳＲ２は、支援者側の実３次元空間における支援者９００などの物体の位置を検出する。支援者側の３ＤセンサＳＲ２で検出した情報、ヘッドホンマイクＨＰＭ２で取得した情報などは、通信制御部１０１ＢからネットワークＮを介してユーザ側へ送信される。

次に、ユーザ８００のヘッドマウントディスプレイＨＤ１の表示例について説明する。ユーザ８００のヘッドマウントディスプレイＨＤ１には、３ＤカメラＣＭで取得した３Ｄ映像が表示される。例えば、ヘッドマウントディスプレイＨＤ１には、測定機Ｍ、ワークＷ、コンピュータ１００ＡのディスプレイＤ１などの映像が表示される。また、ヘッドマウントディスプレイＨＤ１には、支援者側画像としてヘルパー画像ＨＧ１が表示される。

ヘルパー画像ＨＧ１としては、支援者９００を模した画像が用いられる。ヘルパー画像ＨＧ１は、人の形を模した画像以外にキャラクター画像などであってもよい。ヘルパー画像ＨＧ１は、支援者９００の動きに対応して変化する。

すなわち、支援者９００の動きを支援者側の３ＤセンサＳＲ２によって検出し、その検出結果から支援者９００の動きに追従するようにヘルパー画像ＨＧ１を動かす。これにより、ユーザ８００は、測定機Ｍのある場所に、まるで支援者９００がいるかのような映像を参照することができる。

支援者９００は、身振り手振りや音声を交えてユーザ８００にアドバイスを送る。この動作に応じてユーザ８００の参照するヘルパー画像ＨＧ１の動きが変化する。また、ユーザ８００のヘッドホンマイクＨＰＭ１からは支援者９００からの音声が出力される。

次に、支援者９００のヘッドマウントディスプレイＨＤ２の表示例について説明する。支援者９００のヘッドマウントディスプレイＨＤ２には、ユーザ側からネットワークＮを介して送信された情報に基づき、仮想３次元空間の画像が表示される。仮想３次元空間内には、ユーザ８００の使用する測定機画像ＭＧ、ワークＷの画像（ワーク画像）ＷＧが表示される。また、ユーザ８００のコンピュータ１００ＡのディスプレイＤ１の映像Ｄ−ＩＭＧが仮想３次元空間内に合成表示される。

さらに、ヘッドマウントディスプレイＨＤ２には、ユーザ側画像としてユーザ画像ＹＧが表示される。ユーザ画像ＹＧとしては、ユーザ８００を模した画像が用いられる。ユーザ画像ＹＧは、人の形を模した画像以外にキャラクター画像などであってもよい。ユーザ画像ＹＧは、ユーザ８００の動きに対応して変化する。

すなわち、ユーザ８００の動きをユーザ側の３ＤセンサＳＲ１によって検出し、その検出結果からユーザ８００の動きに追従するようにユーザ画像ＹＧを動かす。これにより、支援者９００は、仮想３次元空間内に表示される測定機画像ＭＧ、ワーク画像ＷＧおよびユーザ画像ＹＧによって、まるでユーザ８００の測定場所にいるかのような感覚を得られる。

例えば、ユーザ８００は、ヘッドマウントディスプレイＨＤ１に表示される測定機Ｍの映像と、この映像に合成されるヘルパー画像ＨＧ１とを参照し、ヘルパー画像ＨＧ１のアドバイスを受けながら測定作業を行うことができる。

一方、支援者９００は、ヘッドマウントディスプレイＨＤ２に表示される仮想３次元空間内の測定機画像ＭＧと、この測定機画像ＭＧに合成されるユーザ画像ＹＧとを参照し、ユーザ８００に操作手順を指示するなど、アドバイスを送ることができる。

このように、ユーザ８００および支援者９００の双方が、お互いの画像を参照しながら音声やジェスチャーを交えてコミュニケーションをとることができ、離れた場所にいるにもかかわらず、まるでその場にいるかのような感覚によって作業を進めることができるようになる。

（第６実施形態）
図３１は、第６実施形態に係る測定システムを例示する構成図である。
図３１に示すように、本実施形態に係る測定システム１Ｆは、コンピュータ１００と、コンピュータ１００と無線通信を介して接続される表示装置３００とを備える。コンピュータ１００には、測定機Ｍ、操作盤ＣＴ、カメラＣ１、ディスプレイＤ、キーボードＫおよびマウスＭＳが接続される。コンピュータ１００は、ＣＰＵ１０、記憶部２０、特徴点生成部３５、測定結果合成設定部３６、測定機制御部４０、表示制御部５０、入出力制御部６０、操作盤入出力部６５および通信制御部１０１Ａを有する。

特徴点生成部３５は、カメラＣ１で取得した測定対象物（ワーク）の映像から特徴点を抽出する処理を行う。特徴点とは、ワークの外形を構成するために必要な偶部や辺（外形線）である。測定結果合成設定部３６は、特徴点生成部３５で生成された特徴点とワークの測定結果との対応付けを行う部分である。例えば、隣り合う２つの特徴点の距離と、その位置に対応したワークの測定結果との対応付けを行う。

表示装置３００には、カメラＣ２および液晶パネル等のディスプレイパネルＤＰが設けられる。表示装置３００は、ＣＰＵ３１０、記憶部３２０、特徴点抽出・追跡部３５０、入出力部３６０、測定結果合成部３７０および通信制御部３０１を有する。

特徴点抽出・追跡部３５０は、カメラＣ２で撮影したワークの映像から特徴点を抽出し、その抽出した特徴点を映像内で追跡する処理を行う。カメラＣ２でワークを撮影している間、特徴点の抽出および追跡が行われる。

測定結果合成部３７０は、カメラＣ２で撮影したワークの映像またはこの映像に基づくワークの画像に測定結果を合成する処理を行う。すなわち、測定結果合成部３７０は、特徴点抽出・追跡部３５０で抽出した特徴点に基づき、その特徴点と対応付けされた測定結果をコンピュータ１００から読み出し、その測定結果をワークの映像または画像に合成する。

これにより、表示装置３００のディスプレイパネルＤＰには、ワークの映像または画像に、その特徴点に対応した測定結果が合成された表示が行われる。つまり、表示装置３００のユーザは、カメラＣ２でワークの映像を取得すると、ワークの映像または画像に測定結果が合成された表示を参照できるようになる。

なお、本実施形態に係る測定システム１Ｆでは、複数の表示装置３００によって測定結果を参照することもできる。それぞれの表示装置３００によってワークＷの映像を取得することで、各表示装置３００にワークの映像または画像と測定結果とが合成表示されることになる。

図３２は、測定結果合成表示の処理の一例を示すフローチャートである。
先ず、ステップＳ２０１に示すように、カメラＣ２によってワークの映像を取得する。次に、ステップＳ２０２に示すように、特徴点を抽出済みか否かの判断を行う。抽出済みでない場合には、ステップＳ２０３に示す特徴点の抽出を行う。カメラＣ２で取得したワークの映像から特徴点を抽出した後は、ステップＳ２０４に示すように特徴点の追跡を行う。特徴点の抽出および追跡は、特徴点抽出・追跡部３５０の処理によって行われる。

次に、ステップＳ２０５に示すように、測定結果の合成を行う。ここでは、抽出および追跡しているワークの特徴点に合わせて、その特徴点に対応した測定結果の画像をワークの映像に合成する処理を行う。測定結果の合成処理は、測定結果合成部３７０によって行われる。

図３３は、測定結果の合成表示例を示す模式図である。
図３３に表した例では、表示装置３００として携帯端末が用いられる。携帯端末にはカメラＣ２とディスプレイパネルＤＰが設けられる。このカメラＣ２でワークＷを撮影すると、ワークＷの映像ＩＭＧがディスプレイパネルＤＰに表示される。

特徴点抽出・追跡部３５０は、カメラＣ２で撮影したワークＷの映像ＩＭＧからワークＷの特徴点を抽出するとともに、撮影している間、その特徴点を追跡する。図３３に示す例では、ワークＷの特徴点ＣＰ１〜ＣＰ４が抽出および追跡されている。

測定結果合成部３７０は、抽出および追跡されている特徴点ＣＰ１〜ＣＰ４に対応した測定結果を映像に合成する。例えば、特徴点ＣＰ１とＣＰ２との距離の測定結果を、ワークＷの映像ＩＭＧの特徴点ＣＰ１とＣＰ２との間の寸法線とともに表示する。また、特徴点ＣＰ２とＣＰ３との距離の測定結果を、ワークＷの映像ＩＭＧの特徴点ＣＰ２とＣＰ３との間の寸法線とともに表示する。さらに、特徴点ＣＰ４から得られた穴の直径の測定結果を、ワークＷの映像ＩＭＧの特徴点ＣＰ４が示す穴の位置に寸法線とともに表示する。

このような合成表示は、表示装置３００でワークＷを撮影している間、継続される。なお、ワークＷを撮影する画角が変わった場合でも、ワークＷの特徴点ＣＰ１〜ＣＰ４を追跡しているため、ワークＷの映像ＩＭＧの変化に追従するように測定結果の表示位置も変化して表示される。したがって、ユーザは、好みの角度でワークＷを撮影することにより、所定の角度からみたワークＷの映像ＩＭＧと、それに対応した測定結果の表示とを参照することができるようになる。

図３４（ａ）〜(ｅ)は、他の合成表示例を示す模式図である。
図３４（ａ）には、カメラＣ２によって撮影したワークＷの映像ＩＭＧが示される。また、図３４（ｂ）には、映像ＩＭＧから抽出および追跡される特徴点が示される。ここでは特徴点が丸印で示されている。図３４（ｃ）には、映像ＩＭＧに測定結果を合成表示した例が示される。ここでは、事前に設定された測定結果が特徴点の位置に合成表示される。

一方、図３４（ｄ）には、映像ＩＭＧに基づきＣＡＤモデルへフィッティングしたワーク画像ＷＧの例が示される。すなわち、図３４（ｂ）に示す映像ＩＭＧから特徴点を抽出することで、ワークＷの撮影箇所と角度が把握される。これに基づき、ワークＷのＣＡＤモデルをフィッティングしてワーク画像ＷＧを表示する。そして、図３４（ｅ）に示すように、ＣＡＤモデルのワーク画像ＷＧに測定結果を合成して表示する。

映像ＩＭＧに測定結果を合成するか、ＣＡＤモデルのワーク画像ＷＧに測定結果を合成するかの切り替えは、ユーザの選択によって行われる。映像ＩＭＧに測定結果を合成すれば、実際に測定したワークＷと、そのワークＷの測定結果とを参照することができる。

また、ＣＡＤモデルのワーク画像ＷＧに測定結果を合成すれば、ＣＡＤモデルに基づく設計情報や、ＣＡＤモデルの表示方法（サーフェスモデル、ワイヤーフレームモデル、セクション表示など）を選択して、その表示に合わせて測定結果を合成することができる。

ＣＡＤモデルのワーク画像ＷＧでは、設計値と測定値との差に基づき表示色などの表示方法を変えることができる。例えば、寸法の許容範囲を超えている場合には赤で表示したり、許容範囲内に収まっている部分と、収まっていない部分とで表示態様を変えたりすることも可能である。

また、本実施形態に係る測定システム１Ｆのうち、コンピュータ１００および表示装置３００によってユーザインタフェース装置を構成してもよい。このユーザインタフェース装置によれば、ワークＷの映像をカメラＣ２で撮影することで、ワークＷの特徴点が抽出され、この特徴点に基づいてワークＷの所定の位置に対応した情報をワークＷの映像ＩＭＧに合成して表示させることができる。

（第７実施形態）
図３５は、第６実施形態に係る測定システムを例示する構成図である。
図３５に示すように、本実施形態に係る測定システム１Ｇは、コンピュータ１００と、コンピュータ１００と無線通信を介して接続される表示装置３００とを備える。コンピュータ１００には、測定機Ｍ、操作盤ＣＴ、カメラＣ１、ディスプレイＤ、キーボードＫおよびマウスＭＳが接続される。コンピュータ１００は、ＣＰＵ１０、記憶部２０、マーカ認識登録部３８、マーカ測定結果対応設定部３９、測定機制御部４０、表示制御部５０、入出力制御部６０、操作盤入出力部６５および通信制御部１０１Ａを有する。

マーカ認識登録部３８は、カメラＣ１で取得したマーカの映像からマーカ固有の情報（形状の認識結果や識別情報など）を認識して、登録を行う。ここで、マーカとしては、他と区別可能な図形や写真など目印になるものが用いられる。マーカ測定結果対応設定部３９は、マーカ認識登録部３８で登録されたマーカと、所定の測定結果とを対応付けして登録する部分である。これらの登録情報は、記憶部２０に記憶される。

表示装置３００には、カメラＣ２および液晶パネル等のディスプレイパネルＤＰが設けられる。表示装置３００は、ＣＰＵ３１０、記憶部３２０、入出力部３６０、マーカ認識部３８０、マーカ測定結果合成部３９０および通信制御部３０１を有する。

マーカ認識部３８０は、カメラＣ２で撮影したマーカの映像からマーカ固有の情報を認識する処理を行う。マーカ測定結果合成部３９０は、マーカ認識部３８０で認識したマーカ固有の情報と対応付けされた測定結果を背景の映像に合成する処理を行う。

すなわち、マーカ測定結果合成部３９０は、マーカ認識部３８０で認識したマーカ固有の情報に基づき、その情報と対応付けされた測定結果をコンピュータ１００から読み出し、その測定結果を背景の映像に合成する。

このような測定システム１Ｇにおいて、表示装置３００のディスプレイパネルＤＰには、背景の映像と、マーカの位置に合成された測定結果とが表示されることになる。つまり、表示装置３００のユーザは、カメラＣ２でマーカの映像を取得すると、そのマーカと対応付けされた測定結果が背景映像に合成された表示を参照できるようになる。

なお、本実施形態に係る測定システム１Ｇでは、複数の表示装置３００によって測定結果を参照することもできる。それぞれの表示装置３００によってマーカの映像を取得することで、各表示装置３００のディスプレイパネルＤＰに背景と測定結果とが合成表示されることになる。

図３６は、マーカ登録および設定動作を例示するフローチャートである。この動作はコンピュータ１００で行われる。
先ず、ステップＳ３０１に示すように、カメラＣ１でマーカの映像を取得する。次に、ステップＳ３０２に示すようにマーカの映像の認識を行う。例えば、撮影された特定の形のマーカや、特定の図形、写真などを認識して、これにマーカ固有の識別情報を付与し、登録する処理を行う。この処理は、マーカ認識登録部３８によって行われる。

次に、ステップＳ３０３に示すように、マーカと測定結果との対応付けを設定する処理を行う。すなわち、先のステップＳ３０２で認識されたマーカの識別情報と、所定の測定結果とを対応付けする処理を行う。この処理は、マーカ測定結果対応設定部３９によって行われる。

次に、ステップＳ３０４に示すように、マーカ固有の識別情報と、この識別情報に対応付けされた測定結果との登録を行う。マーカ固有の識別情報と測定結果との対応付けは、マーカ設定情報として記憶部２０に記憶される。この処理は、マーカ測定結果対応設定部３９によって行われる。

図３７は、マーカ認識および合成表示を例示するフローチャートである。この動作は表示装置３００で行われる。
先ず、ステップＳ４０１に示すように、コンピュータ１００の記憶部２０から無線通信を介してマーカ設定情報を受信する。次に、ステップＳ４０２に示すように、カメラＣ２で撮影したマーカの映像を取得する。次いで、ステップＳ４０３に示すように、取得したマーカの映像からマーカ固有の識別情報の認識を行う。この処理は、マーカ認識部３８０によって行われる。

次に、ステップＳ４０４に示すように、マーカに対応付けされた測定結果を合成する処理を行う。すなわち、先のステップＳ４０３で認識したマーカ固有の識別情報から、この識別情報に対応付けされた測定結果をマーカ設定情報から読み出す。そして、カメラＣ２で撮影している背景の映像に、この測定結果を合成する処理を行う。この処理は、マーカ測定結果合成部３９０によって行われる。

次に、ステップＳ４０５に示すように、全てのマークの認識および合成表示が終了したか否かを判断する。終了していない場合にはステップＳ４０２へ戻り、以降の処理を繰り返す。これにより、カメラＣ２で撮影された全てのマーカに対応して測定結果が合成表示されることになる。

図３８〜図４０は、マーカ認識による測定結果の表示例を示す模式図である。
図３８には、携帯端末へ合成表示を行った例が表される。この例では、表示装置３００として携帯端末が用いられる。また、用紙ＰＰには、複数のマーカＭＫ１〜ＭＫ５が設けられている。

マーカＭＫ１〜ＭＫ５としては、特定の図形であったり、特定の写真であったりする。各マーカＭＫ１〜ＭＫ５には、マーカ固有の識別情報と測定結果とが対応付けされている。例えば、マーカＭＫ１、ＭＫ２およびＭＫ３には第１測定機Ｍ１の所定の測定結果が対応付けされる。また、マーカＭＫ４およびＭＫ５には第２測定機Ｍ２の所定の測定結果が対応付けされる。これらの対応付けは記憶部２０に記憶される。

ユーザは、表示装置３００である携帯端末のカメラＣ２によって用紙ＰＰを撮影する。この撮影によってマーカＭＫ１〜ＭＫ５の映像が取り込まれると、マーカＭＫ１〜ＭＫ５のそれぞれの識別情報が認識される。そして、この識別情報に基づき各マーカＭＫ１〜ＭＫ５に対応付けされた測定結果がコンピュータ１００の記憶部２０から読み出される。

そして、撮影したマーカＭＫ１〜ＭＫ５の表示領域に、各マーカＭＫ１〜ＭＫ５に対応付けされた測定結果の画像が合成され、ディスプレイパネルＤＰに表示される。例えば、マーカＭＫ１〜ＭＫ３のそれぞれには第１測定機Ｍ１による測定結果の画像が合成され、マーカＭＫ４およびＭＫ５のそれぞれには第２測定機Ｍ２による測定結果の画像が合成される。

測定結果の画像は、表形式やグラフ形式など種々の形式によって表示される。画像を合成する際には、マーカＭＫ１〜ＭＫ５のそれぞれの示す領域に合わせるように大きさや角度を調整して表示するようにしてもよい。また、平面的な用紙ＰＰの映像に、測定結果の画像が浮き上がるように立体的な画像で合成表示するようにしてもよい。

このように、ユーザは携帯端末でマーカＭＫ１〜ＭＫ５の付された用紙ＰＰを撮影するだけで、マーカＭＫ１〜ＭＫ５の位置にレイアウトされた測定結果を参照できるようになる。

図３９および図４０には別の表示例が表される。
先ず、図３９には、合成表示する前の表示例が表される。先の例と同様に、用紙ＰＰには複数のマーカＭＫ１〜ＭＫ５が設けられている。また、この例では、メガネ型の表示装置３００が用いられる。

この表示装置３００では、メガネのレンズ部分にディスプレイパネルＤＰが設けられる。また、メガネのツルの部分にカメラＣ２が設けられる。ユーザはメガネ型の表示装置３００を装着することで、メガネ前方の映像をカメラＣ２で撮影できるとともに、レンズ部分のディスプレイパネルＤＰに表示される情報を参照することができる。

図４０には、合成表示した後の表示例が表される。すなわち、メガネ型の表示装置３００のカメラＣ２でマーカＭＫ１〜ＭＫ５を撮影すると、マーカＭＫ１〜ＭＬ５のそれぞれの識別情報が認識される。そして、識別情報に基づき各マーカＭＫ１〜ＭＫ５に対応付けされた測定結果が記憶部２０から読み出される。そして、撮影したマーカＭＫ１〜ＭＫ５の表示領域に、各マーカＭＫ１〜ＭＫ５に対応付けされた測定結果の画像が合成され、ディスプレイパネルＤＰに表示される。

メガネ型の表示装置３００を装着しているユーザは、メガネのレンズ部分のディスプレイパネルＤＰに表示される背景の映像に測定結果が合成された表示を参照できるようになる。この例では、マーカＭＫ１、ＭＫ２およびＭＫ３の表示領域に第１測定機Ｍ１の測定結果が合成され、マーカＭＫ４およびＭＫ５の表示領域に第２測定機Ｍ２の測定結果が合成される。

なお、マーカＭＫ１〜ＭＫ５と測定結果との対応付けの設定を変更すれば、同じマーカＭＫ１〜ＭＫ５であっても異なる測定結果を表示させることができる。すなわち、マーカＭＫ１〜ＭＫ５のレイアウトフォームを１つ作成することで、異なる測定結果を表示させることができる。

また、１つのマーカに複数の測定結果が対応付けされていてもよい。この場合、１つのマーカに対応して複数の測定結果の中のどの測定結果を合成表示させるかをユーザの任意で切り替えられるようにしてもよい。これにより、１つのマーカの映像を撮影することで、そのマーカの位置に切り替えによって異なる測定結果を表示させることができる。

測定結果の画像は動画であってもよい。これにより、用紙ＰＰの映像の上に動画が合成され、単なる用紙ＰＰを仮想的な動画表示装置のように扱うことができる。

また、本実施形態に係る測定システム１Ｇのうち、コンピュータ１００および表示装置３００によってユーザインタフェース装置を構成してもよい。このユーザインタフェース装置によれば、マーカＭＫ１〜ＭＫ５の映像をカメラＣ２で撮影することで、このマーカＭＫ１〜ＭＫ５と対応する情報が読み出され、マーカＭＫ１〜ＭＫ５の映像を撮影している間、その読み出した情報をディスプレイパネルＤＰに表示させることができる。

以上説明したように、本実施形態に係る測定システム１Ａ、１Ｂ、１Ｃ、１Ｄ、１Ｅ、１Ｆおよび１Ｇによれば、測定機Ｍに対する操作性を向上させることが可能となる。

なお、上記に本実施形態を説明したが、本発明はこれらの例に限定されるものではない。例えば、３ＤカメラＣＭが取り付けられたヘッドマウントディスプレイＨＤを用いるシステムにおいては、上記説明したような３ＤカメラＣＭで撮影した現実空間の映像とコンピュータグラフィックスとを合成して表示する方法に限定されない。例えば、コンピュータグラフィックスを現実空間座標に合わせてヘッドマウントディスプレイＨＤに表示するようにしてもよい。この場合、３ＤカメラＣＭの代わり、または３ＤカメラＣＭに追加して３ＤセンサをヘッドマウントディスプレイＨＤに搭載しておき、３Ｄセンサで現実空間の座標系をリアルタイムに把握してコンピュータ処理で仮想空間を構築し、その空間上に実際に存在するかのようにコンピュータグラフィックスをリアルタイムに位置を更新して表示するようにしてもよい。また、前述の各実施形態に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、各実施形態の特徴を適宜組み合わせたものも、本発明の要旨を備えている限り、本発明の範囲に包含される。

１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ，１Ｆ，１Ｇ…測定システム
１０，１０Ａ，１０Ｂ，３１０…ＣＰＵ
２０，２０Ａ，２０Ｂ，３２０…記憶部
３０，３０Ａ，３０Ｂ…演算部
３５…特徴点生成部
３６…測定結果合成設定部
３８…マーカ認識登録部
３９…マーカ測定結果対応設定部
４０…測定機制御部
５０，５０Ａ，５０Ｂ…表示制御部
５１，５１Ａ…映像入出力部
５２…３Ｄカメラ制御部
５２Ａ…カメラ制御部
５３，５３Ａ，５３Ｂ…立体映像生成部
５４，５４Ａ，５４Ｂ…ヘッドマウントディスプレイ出力部
５５…コントロール生成部
６０…入出力制御部
６１，６１Ａ，６１Ｂ…ヘッドホンマイク入出力部
６２，６２Ａ，６２Ｂ…音声入出力部
６５…操作盤入出力部
７０，７０Ａ，７０Ｂ…３Ｄセンサ入力部
７５，７５Ａ，７５Ｂ…姿勢認識部
７６…コントロール入力認識部
８０…投影図形生成部
８５…プロジェクタ出力部
９０…遠隔制御部
９５…ヘルパー生成部
１００，１００ａ，１００Ｂ…コンピュータ
１０１…コマンド設定部
１０１Ａ，１０１Ｂ，３０１…通信制御部
１０２…動体検出部
１０３…コマンド実行部
１０４…測定動作記憶部
２０１…画像記憶部
３００…表示装置
３５０…追跡部
３６０…入出力部
３７０…測定結果合成部
３８０…マーカ認識部
３９０…マーカ測定結果合成部
５０１…測定ヘッド
５０１Ｇ…測定ヘッド画像
５３１，５３１Ａ…撮影映像合成部
６２１，６２１Ａ，６２１Ｂ…音響再生部
８００…ユーザ
８０１…手
８０２…足
９００…支援者
Ｂ１〜Ｂ７…ボタン設定領域
ＢＧ…ボタン画像
Ｃ１，Ｃ２，ＣＭ１…カメラ
ＣＭ…３Ｄカメラ
ＣＭ１…カメラ
ＣＰ１〜ＣＰ４…特徴点
Ｄ，Ｄ１，Ｄ２…ディスプレイ
Ｄ−ＩＭＧ，ＩＭＧ…映像
ＤＰ…ディスプレイパネル
ＦＬ…床
Ｇ，Ｇ１〜Ｇ７…画像
ＨＤ，ＨＤ１，ＨＤ２…ヘッドマウントディスプレイ
ＨＧ，ＨＧ１…ヘルパー画像
ＨＰＭ，ＨＰＭ１，ＨＰＭ２…ヘッドホンマイク
Ｋ，Ｋ１，Ｋ２…キーボード
Ｍ，Ｍ１，Ｍ２…測定機
ＭＧ…測定機画像
ＭＫ１〜ＭＫ５…マーカ
ＭＳ，ＭＳ１，ＭＳ２…マウス
Ｎ…ネットワーク
Ｐ１〜Ｐ４…偶部
ＰＣ−Ｇ…画像
ＰＣ−ＩＭＧ…映像
ＰＰ…用紙
ＰＲ…プロジェクタ
ＳＲ，ＳＲ１，ＳＲ２…３Ｄセンサ
Ｗ…ワーク
ＷＢ…ホワイトボード
ＷＧ…ワーク画像
ＹＧ…ユーザ画像

Claims

測定対象物を測定する測定機と、
ユーザによる指示に基づき前記測定機を制御する測定機制御部と、
実３次元空間での所定の対象物の３次元座標を検出する３次元センサ部と、
前記３次元センサ部によって検出した３次元座標から前記ユーザの動作を検出する動体検出部と、
前記測定機の画像を仮想３次元空間内に表示する表示部と、
前記表示部で表示される前記仮想３次元空間内の前記測定機の画像の表示位置を、前記動体検出部で検出した前記ユーザの動作に合わせて移動させるとともに、仮想３次元空間内の前記測定機の画像の位置に合わせて前記測定対象物の画像を合成して前記表示部に表示させる表示制御部と、
前記表示部に表示される前記仮想３次元空間内で前記ユーザによって移動された前記測定機の画像の表示位置に沿って測定動作を記録する測定動作記憶部と、
を備え、
前記表示制御部は、前記測定機の画像と前記測定対象物の画像との干渉が発生する場合に、前記表示部に警告を表示させることを特徴とする測定システム。
前記測定機制御部は、前記測定動作記憶部に記憶された前記測定動作に基づき前記測定機を制御することを特徴とする請求項１記載の測定システム。
前記測定機のＣＡＤ画像を記憶する画像記憶部をさらに備え、
前記表示部は、前記画像記憶部に記憶された前記ＣＡＤ画像を前記仮想３次元空間内に表示することを特徴とする請求項１または２に記載の測定システム。
前記実３次元空間における前記測定機の映像を取得する撮像部をさらに備え、
前記表示制御部は、前記撮像部で取得した前記測定機の映像を前記表示部の前記仮想３次元空間内に表示させることを特徴とする請求項１〜３のいずれか１項に記載の測定システム。
前記表示制御部は、予め設定された測定動作に合わせて前記表示部の前記仮想３次元空間内に表示された前記測定機の映像を移動させることを特徴とする請求項１〜４のいずれか１項に記載の測定システム。
前記表示制御部は、前記測定対象物の映像と測定結果とを合成して前記表示部の前記仮想３次元空間内に表示させることを特徴とする請求項１〜５のいずれか１項に記載の測定システム。
ネットワークを介して前記測定機制御部と接続される遠隔制御部をさらに備え、
前記遠隔制御部は、前記表示部に表示される前記仮想３次元空間内で前記ユーザによって指定された測定動作に基づき前記ネットワークを介して前記測定機制御部にコマンドを送信することを特徴とする請求項１〜６のいずれか１項に記載の測定システム。
測定対象物を測定する測定機と、
前記測定機による測定結果を記憶する測定結果記憶部と、
マーカの映像を取得する撮像部と、
前記撮像部で取得した前記マーカの映像から前記マーカを認識するマーカ認識部と、
前記マーカ認識部で認識した前記マーカと対応する前記測定結果を前記測定結果記憶部から読み出す測定結果読み出し部と、
前記撮像部で前記マーカの映像を取得している間、前記測定結果読み出し部で読み出した前記測定結果を表示部に表示させる表示制御部と、
を備えたことを特徴とする測定システム。
前記撮像部は、前記マーカが付された背景の映像を取得し、
前記表示制御部は、前記背景の映像に前記マーカと対応する前記測定結果を合成して前記表示部に表示させることを特徴とする請求項８記載の測定システム。
マーカが付された背景の映像を取得する撮像部と、
前記撮像部で取得した前記マーカの映像から前記マーカを認識するマーカ認識部と、
前記マーカ認識部で認識した前記マーカと対応する測定結果を取得する測定結果取得部と、
前記撮像部で前記マーカの映像を取得している間、前記測定結果取得部で取得した前記測定結果を前記背景の映像に合成して表示部に表示させる表示制御部と、
を備えたことを特徴とするユーザインタフェース装置。