JP7177208B2 - measuring system - Google Patents
measuring system Download PDFInfo
- Publication number
- JP7177208B2 JP7177208B2 JP2021059167A JP2021059167A JP7177208B2 JP 7177208 B2 JP7177208 B2 JP 7177208B2 JP 2021059167 A JP2021059167 A JP 2021059167A JP 2021059167 A JP2021059167 A JP 2021059167A JP 7177208 B2 JP7177208 B2 JP 7177208B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- display
- user
- dimensional space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Description
本発明は、測定機に対する操作性を向上させた測定システムおよびユーザインタフェース装置に関する。 The present invention relates to a measuring system and a user interface device with improved operability for a measuring machine.
測定対象物(ワーク)の寸法や3次元位置を測定する測定機において、ユーザは測定ヘッドを用いてワークの測定箇所を指定する操作を行う。ワークの形状によっては、ユーザは不自然な体勢で測定ヘッドを扱わなければならない場合もある。測定機にはコンピュータが接続され、ディスプレイにはワークの情報や測定手順、測定結果など様々な情報が表示される。しかし、ワークとコンピュータとが離れていると、測定作業とディスプレイの参照との両方を効率良く行うことができない。 2. Description of the Related Art In a measuring machine that measures the dimensions and three-dimensional position of an object to be measured (work), a user uses a measuring head to perform an operation of specifying a measurement point on the work. Depending on the shape of the workpiece, the user may have to handle the measuring head in an unnatural posture. A computer is connected to the measuring machine, and various information such as workpiece information, measuring procedures, and measurement results are displayed on the display. However, if the work and the computer are separated, it is not possible to efficiently perform both the measurement work and the display reference.
特許文献1に記載の位置計測装置においては、コンピュータ上で稼働するCADソフトウェアに読み込まれた設計モデルがコンピュータのディスプレイに表示される。そして、測定によって得られたデータをディスプレイの設計モデル上に表示させている。
In the position measuring device disclosed in
また、特許文献2に記載の座標測定機においては、画像プロジェクタを含むデバイスを備えており、視覚的な手引き情報や測定結果を画像プロジェクタから部品上に投影している。また、特許文献3~6には、仮想現実空間を利用した測定システムやユーザインタフェース装置が開示されている。
Further, the coordinate measuring machine described in
しかしながら、いずれの技術においてもユーザの使い勝手を十分に考慮したシステムとはいえない。例えば、ワークの測定を行う際にはユーザの両手が塞がっていることが多く、測定作業を行いながら測定機をコントロールすることは難しい。また、ワークによっては測定に適した場所にユーザが移動して作業を行う場合もある。測定機の制御装置(コンピュータ)からユーザが離れた場合、測定作業を行いながら測定機を制御することは、より困難となる。 However, none of the techniques can be said to be a system that fully considers usability for the user. For example, when measuring a work, the user's hands are often occupied, and it is difficult to control the measuring machine while performing the measurement work. Also, depending on the work, the user may move to a place suitable for measurement and work there. When the user is away from the control device (computer) of the measuring machine, it becomes more difficult to control the measuring machine while the measuring operation is being performed.
本発明の目的は、測定機に対する操作性を向上することができる測定システムおよびユーザインタフェース装置を提供することである。 SUMMARY OF THE INVENTION An object of the present invention is to provide a measuring system and a user interface device that can improve the operability of a measuring machine.
上記課題を解決するため、本発明の測定システムは、測定対象物を測定する測定機と、ユーザによる指示に基づき測定機を制御する測定機制御部と、実3次元空間での所定の対象物の3次元座標を検出する3次元センサ部と、実3次元空間におけるボタン設定領域と、ボタン設定領域とコマンドとの対応付けを設定するコマンド設定部と、3次元センサ部によって検出した3次元座標から動体を検出する動体検出部と、動体検出部で検出した動体の3次元座標がボタン設定領域内に位置した際にボタン設定領域と対応付けされたコマンドを実行するコマンド実行部と、を備えたことを特徴とする。 In order to solve the above problems, the measurement system of the present invention includes a measuring machine that measures an object to be measured, a measuring machine control unit that controls the measuring machine based on instructions from a user, and a predetermined object in a real three-dimensional space. a three-dimensional sensor unit for detecting the three-dimensional coordinates of the three-dimensional coordinates detected by the three-dimensional sensor unit; and a command execution unit for executing a command associated with the button setting area when the three-dimensional coordinates of the moving object detected by the moving object detection unit are positioned within the button setting area. characterized by
このような構成によれば、コマンド設定部によって、実3次元空間内の所望の位置がボタンとして機能する領域として設定される。また、動体検出部によって動体を検出することで、ユーザなどの動きのあるもの(動体)が検出される。これにより、動体の動作から実3次元空間内のボタン設定領域が選択されたことを検出して、そのボタン設定領域に対応付けされたコマンドを実行することができる。 According to such a configuration, a desired position in the real three-dimensional space is set as an area functioning as a button by the command setting section. Further, by detecting a moving object by the moving object detection unit, a moving object (moving object) such as a user is detected. Accordingly, it is possible to detect that a button setting area in the real three-dimensional space has been selected from the action of the moving body, and execute the command associated with the button setting area.
本発明の測定システムにおいて、測定機は測定対象物の3次元座標を取得する測定ヘッドと、測定ヘッドに設けられ映像を投影する映像出力部と、を有し、映像出力部は、コマンド設定部で設定されたボタン設定領域の画像を出力するようにしてもよい。このような構成により、映像出力部によって出力されたボタン設定領域の画像を投影することができる。 In the measuring system of the present invention, the measuring machine has a measuring head that acquires the three-dimensional coordinates of the object to be measured, and an image output unit that is provided on the measuring head and projects an image. You may make it output the image of the button setting area|region set by . With such a configuration, it is possible to project the image of the button setting area output by the video output unit.
本発明の測定システムにおいて、動体検出部は、測定ヘッドの動作を検出し、コマンド実行部は、動体検出部で検出した測定ヘッドの3次元座標に応じてコマンドを実行するようにしてもよい。このような構成により、測定ヘッドの動作からボタン設定領域が選択されたことを検知して、そのボタン設定領域に対応付けされたコマンドを実行することができる。 In the measurement system of the present invention, the moving object detection section may detect the movement of the measurement head, and the command execution section may execute the command according to the three-dimensional coordinates of the measurement head detected by the movement detection section. With such a configuration, it is possible to detect that a button setting area has been selected from the operation of the measuring head, and execute a command associated with the button setting area.
本発明の測定システムにおいて、動体検出部は、ユーザの手および足の少なくともいずれかの動作を検出し、コマンド実行部は、動体検出部で検出したユーザの手および足の少なくともいずれかの3次元座標に応じてコマンドを実行するようにしてもよい。このような構成により、ユーザの手や足の動作からボタン設定領域が選択されたことを検知して、そのボタン設定領域に対応付けされたコマンドを実行することができる。 In the measurement system of the present invention, the moving object detection unit detects motion of at least one of the user's hand and/or foot, and the command execution unit detects at least one of the user's hand and/or foot detected by the moving object detection unit in three dimensions. A command may be executed according to the coordinates. With such a configuration, it is possible to detect that a button setting area has been selected from the motion of the user's hand or foot, and execute a command associated with the button setting area.
本発明の測定システムにおいて、コマンド実行部は、動体検出部で検出した動体の3次元座標がボタン設定領域内に一定時間止まっている場合には第1コマンドを実行し、動体の前記3次元座標がボタン設定領域内に沿って移動している場合には第2コマンドを実行するようにしてもよい。このような構成により、動体の動きの種類に応じてコマンドの切り替えを行うことができる。 In the measurement system of the present invention, the command execution unit executes the first command when the three-dimensional coordinates of the moving object detected by the moving object detection unit remain within the button setting area for a certain period of time. is moving along the button setting area, the second command may be executed. With such a configuration, commands can be switched according to the type of movement of the moving object.
本発明の測定システムにおいて、実3次元空間における3次元映像を取得する3次元撮像部と、3次元撮像部で取得した3次元映像を表示する表示部と、実3次元空間の3次元映像とボタン設定領域に対応した画像とを合成して表示部に表示させる表示制御部と、をさらに備えていてもよい。このような構成により、実3次元空間に表示された3次元映像にボタン設定領域の画像を合成した表示を行うことができる。 In the measurement system of the present invention, a three-dimensional imaging unit that acquires a three-dimensional image in a real three-dimensional space, a display unit that displays the three-dimensional image acquired by the three-dimensional imaging unit, and a three-dimensional image in the real three-dimensional space. A display control unit that synthesizes the image corresponding to the button setting area and displays it on the display unit may be further provided. With such a configuration, it is possible to perform display in which the image of the button setting area is combined with the three-dimensional video displayed in the real three-dimensional space.
本発明の測定システムにおいて、コマンド実行部は、動体検出部で検出したユーザの手の形に応じて複数のコマンドのうちいずれかを選択して実行するようにしてもよい。このような構成により、ユーザの手の形に応じてボタン設定領域の表示/非表示を切り替えたり、ボタン設定領域に対応したコマンドを実行したりすることができる。 In the measurement system of the present invention, the command execution section may select and execute one of a plurality of commands according to the shape of the user's hand detected by the moving object detection section. With such a configuration, it is possible to switch display/non-display of the button setting area according to the shape of the user's hand, and to execute a command corresponding to the button setting area.
本発明の測定システムは、測定対象物を測定する測定機と、ユーザによる指示に基づき測定機を制御する測定機制御部と、実3次元空間での所定の対象物の3次元座標を検出する3次元センサ部と、3次元センサ部によって検出した3次元座標からユーザの動作を検出する動体検出部と、測定機の画像を仮想3次元空間内に表示する表示部と、表示部で表示される仮想3次元空間内の測定機の画像の表示位置を、動体検出部で検出したユーザの動作に合わせて移動させる表示制御部と、を備えたことを特徴とする。 The measuring system of the present invention includes a measuring machine that measures an object to be measured, a measuring machine control unit that controls the measuring machine based on an instruction from a user, and a three-dimensional coordinate of a predetermined object in a real three-dimensional space. A three-dimensional sensor, a moving body detector that detects user actions from the three-dimensional coordinates detected by the three-dimensional sensor, a display that displays an image of the measuring machine in a virtual three-dimensional space, and a display that displays the image. a display control unit for moving the display position of the image of the measuring machine in the virtual three-dimensional space according to the user's motion detected by the moving object detection unit.
このような構成によれば、仮想3次元空間内に測定機の画像が表示される。また、ユーザの動作を動作検出部で検出して、この仮想3次元空間内の測定機の画像をユーザの動作に合わせて移動させることができる。 According to such a configuration, an image of the measuring machine is displayed in the virtual three-dimensional space. Also, the user's motion can be detected by the motion detection unit, and the image of the measuring machine in the virtual three-dimensional space can be moved in accordance with the user's motion.
本発明の測定システムにおいて、表示部に表示される仮想3次元空間内でユーザによって移動された測定機の画像の表示位置に沿って測定動作を記録する測定動作記憶部をさらに備えていてもよい。このような構成により、仮想3次元空間内で測定機の画像を移動させることで、測定動作を記録することができる。 The measurement system of the present invention may further include a measurement operation storage unit that records the measurement operation along the display position of the image of the measuring machine moved by the user within the virtual three-dimensional space displayed on the display unit. . With such a configuration, the measurement operation can be recorded by moving the image of the measuring machine within the virtual three-dimensional space.
本発明の測定システムにおいて、測定機制御部は、測定動作記憶部に記憶された測定動作に基づき測定機を制御するようにしてもよい。このような構成により、仮想3次元空間内で測定機の映像を移動させることで記録した測定動作に基づき実際の測定機で測定を行うことができる。 In the measuring system of the present invention, the measuring machine control section may control the measuring machine based on the measuring operation stored in the measuring operation storage section. With such a configuration, it is possible to perform measurement with the actual measuring machine based on the measurement operation recorded by moving the image of the measuring machine within the virtual three-dimensional space.
本発明の測定システムにおいて、測定機のCAD(Computer Aided Design)画像を記憶する画像記憶部をさらに備え、表示部は、画像記憶部に記憶されたCAD画像を仮想3次元空間内に表示するようにしてもよい。このような構成により、仮想3次元空間内に測定機のCAD画像を表示することができる。 The measurement system of the present invention further includes an image storage unit for storing CAD (Computer Aided Design) images of the measuring machine, and the display unit displays the CAD images stored in the image storage unit in a virtual three-dimensional space. can be With such a configuration, a CAD image of the measuring machine can be displayed in the virtual three-dimensional space.
本発明の測定システムにおいて、実3次元空間における測定機の映像を取得する撮像部をさらに備え、表示制御部は、撮像部で取得した測定機の映像を表示部の仮想3次元空間内に表示させるようにしてもよい。このような構成により、仮想3次元空間内に実際の測定機の映像を表示することができる。 The measurement system of the present invention further includes an imaging unit that acquires an image of the measuring instrument in the real three-dimensional space, and the display control unit displays the image of the measuring instrument acquired by the imaging unit in the virtual three-dimensional space of the display unit. You can let it run. With such a configuration, it is possible to display an image of the actual measuring machine in the virtual three-dimensional space.
本発明の測定システムにおいて、表示制御部は、予め設定された測定動作に合わせて表示部の仮想3次元空間内に表示された測定機の映像を移動させるようにしてもよい。このような構成により、予め設定された測定機の測定動作を仮想3次元空間内で確認することができる。 In the measurement system of the present invention, the display control section may move the image of the measuring machine displayed in the virtual three-dimensional space of the display section in accordance with a preset measurement operation. With such a configuration, it is possible to confirm the preset measurement operation of the measuring machine in the virtual three-dimensional space.
本発明の測定システムにおいて、表示制御部は、測定対象物の映像と測定結果とを合成して表示部の仮想3次元空間内に表示させるようにしてもよい。このような構成により、仮想3次元空間内において測定対象物の映像に、その測定対象物の測定結果を合成して参照することができる。 In the measurement system of the present invention, the display control unit may synthesize the image of the object to be measured and the measurement result and display them in the virtual three-dimensional space of the display unit. With such a configuration, it is possible to synthesize the measurement result of the measurement object with the image of the measurement object in the virtual three-dimensional space and refer to it.
本発明の測定システムにおいて、ネットワークを介して測定機制御部と接続される遠隔制御部をさらに備え、遠隔制御部は、表示部に表示される仮想3次元空間内でユーザによって指定された測定動作に基づきネットワークを介して測定機制御部にコマンドを送信するようにしてもよい。このような構成により、測定機とは離れた位置(遠隔地)においては仮想3次元空間においてユーザの指定した測定動作を参照することができる。また、遠隔地からはネットワークを介して測定機にコマンドを送信することができる。 The measurement system of the present invention further comprises a remote control unit connected to the measuring device control unit via a network, the remote control unit performing measurement operations specified by the user in the virtual three-dimensional space displayed on the display unit. The command may be transmitted to the measuring device control section via the network based on the above. With such a configuration, it is possible to refer to the measurement operation specified by the user in the virtual three-dimensional space at a position (remote location) away from the measuring machine. Commands can also be sent to the measuring instrument from a remote location via the network.
本発明の測定システムは、測定対象物を測定する測定機と、ユーザによる指示に基づき測定機を制御する測定機制御部と、実3次元空間における測定機の映像を取得する撮像部と、測定機に関する画像を記憶する画像記憶部と、実3次元空間での表示を行う表示部と、撮像部で取得した測定機の映像と、画像記憶部に記憶された画像とを実3次元空間内で合成して表示部に表示させる表示制御部と、を備えたことを特徴とする。このような構成によれば、実3次元空間内に実際の測定機の映像とグラフィック等の画像とを合成して表示することができる。 The measuring system of the present invention includes a measuring machine that measures an object to be measured, a measuring machine control unit that controls the measuring machine based on an instruction from a user, an imaging unit that acquires an image of the measuring machine in a real three-dimensional space, and a measuring machine. An image storage unit that stores images related to the measuring machine, a display unit that displays images in a real three-dimensional space, images of the measuring machine acquired by the imaging unit, and images stored in the image storage unit are stored in the real three-dimensional space. and a display control unit for synthesizing and displaying on a display unit. According to such a configuration, it is possible to synthesize and display an image of an actual measuring machine and an image such as a graphic in an actual three-dimensional space.
本発明の測定システムにおいて、表示制御部は、撮像部で取得した測定機の映像に、所定の測定手順を表す画像を合成するようにしてもよい。このような構成により、3次元空間内に測定機の実際の映像と、所定の測定手順を表すグラフィック等の測定機の画像とを合成して表示することができる。 In the measurement system of the present invention, the display control unit may synthesize an image representing a predetermined measurement procedure with the image of the measuring device acquired by the imaging unit. With such a configuration, an actual image of the measuring machine and an image of the measuring machine, such as a graphic representing a predetermined measurement procedure, can be synthesized and displayed in a three-dimensional space.
本発明の測定システムにおいて、表示制御部は、撮像部で取得した測定機の映像に、所定の異常に対応した画像を合成するようにしてもよい。このような構成により、3次元空間内に測定機の実際の映像と、所定の異常に対応したグラフィック等の測定機の画像とを合成して表示することができる。 In the measurement system of the present invention, the display control section may synthesize an image corresponding to a predetermined abnormality with the image of the measuring device acquired by the imaging section. With such a configuration, the actual image of the measuring machine and the image of the measuring machine, such as graphics corresponding to a predetermined abnormality, can be synthesized and displayed in a three-dimensional space.
本発明の測定システムにおいて、表示制御部は、撮像部で取得した測定機の映像に、所定のガイダンスに対応した画像を合成するようにしてもよい。このような構成により、3次元空間内に測定機の実際の映像と、所定のガイダンスに対応したグラフィック等の測定機の画像とを合成して表示することができる。 In the measurement system of the present invention, the display control section may synthesize an image corresponding to a predetermined guidance with the image of the measuring device acquired by the imaging section. With such a configuration, it is possible to synthesize and display the actual image of the measuring machine and the image of the measuring machine such as graphics corresponding to the predetermined guidance in the three-dimensional space.
本発明の測定システムは、測定対象物を測定する測定機と接続されたユーザ側制御装置と、ユーザ側制御装置とネットワークを介して接続された支援者側制御装置と、を備えた測定システムである。 A measurement system of the present invention is a measurement system comprising a user-side control device connected to a measuring machine that measures an object to be measured, and a supporter-side control device connected to the user-side control device via a network. be.
この測定システムにおけるユーザ側制御装置は、ユーザによる指示に基づき測定機を制御する測定機制御部と、実3次元空間での所定の対象物の3次元座標を検出する第1の3次元センサ部と、記第1の3次元センサ部によって検出した3次元座標から動体を検出する第1動体検出部と、実3次元空間における3次元映像を取得する3次元撮像部と、3次元撮像部で取得した3次元映像を表示する第1表示部と、3次元映像と支援者側制御装置から送られた画像とを合成して第1表示部に表示させる第1表示制御部と、を備える。 The user-side control device in this measurement system includes a measuring machine control section that controls the measuring machine based on instructions from the user, and a first three-dimensional sensor section that detects the three-dimensional coordinates of a predetermined object in the real three-dimensional space. a first moving body detection unit that detects a moving body from the three-dimensional coordinates detected by the first three-dimensional sensor unit; a three-dimensional imaging unit that acquires a three-dimensional image in a real three-dimensional space; and a three-dimensional imaging unit. A first display section for displaying the acquired 3D video, and a first display control section for synthesizing the 3D video and an image sent from the supporter side control device and displaying the result on the first display section.
この測定システムにおける支援者側制御装置は、実3次元空間での支援者の3次元座標を検出する第2の3次元センサ部と、第2の3次元センサ部によって検出した3次元座標から支援者の動作を検出する第2動体検出部と、前記3次元撮像部で取得した前記3次元映像に基づく画像を仮想3次元空間に表示する第2表示部と、仮想3次元空間の3次元座標に合わせてユーザ側制御装置から送られた画像を第2表示部に表示させる第2表示制御部と、第2動体検出部で検出した支援者の動作に関する画像をネットワークを介してユーザ側制御装置へ送る動作情報送信部と、を備える。 The supporter side control device in this measurement system includes a second three-dimensional sensor section for detecting the three-dimensional coordinates of the supporter in the real three-dimensional space, and a support system based on the three-dimensional coordinates detected by the second three-dimensional sensor section. a second moving object detection unit for detecting a motion of a person; a second display unit for displaying an image based on the 3D image acquired by the 3D imaging unit in a virtual 3D space; and 3D coordinates in the virtual 3D space. A second display control unit that displays an image sent from the user-side control device according to the time on the second display unit, and an image related to the supporter's motion detected by the second moving body detection unit is transmitted via the network to the user-side control device. and a motion information transmission unit for sending to.
このような構成によれば、測定機が設置されたユーザ側と、測定機の支援者側とが互いにネットワークで接続される。ユーザ側では、第1表示部に表示された測定機の映像と、支援者側から送られた画像との合成を参照することができる。支援者側では、第2表示部に表示された仮想3次元空間においてグラフィック等の測定機の画像と、ユーザ側から送られた画像との合成を参照することができる。 According to such a configuration, the user side where the measuring machine is installed and the supporter side of the measuring machine are connected to each other via a network. The user side can refer to the combination of the image of the measuring device displayed on the first display unit and the image sent from the supporter side. On the side of the supporter, in the virtual three-dimensional space displayed on the second display unit, it is possible to refer to the composition of the image of the measuring machine, such as graphics, and the image sent from the user side.
本発明の測定システムにおいて、第1表示制御部は、支援者側制御装置から送られた画像に基づき支援者に対応した支援者側画像を第1表示部に表示させ、第2表示制御部は、ユーザ側制御装置から送られた画像に基づきユーザに対応したユーザ側画像を第2表示部に表示させるようにしてもよい。このような構成により、ユーザ側では支援者側から送られた支援者側画像を第1表示部において参照でき、支援者側ではユーザ側から送られたユーザ側画像を第2表示部おいて参照することができる。 In the measurement system of the present invention, the first display control unit causes the first display unit to display a supporter-side image corresponding to the supporter based on the image sent from the supporter-side control device, and the second display control unit Alternatively, a user-side image corresponding to the user may be displayed on the second display unit based on the image sent from the user-side control device. With such a configuration, the user side can refer to the supporter side image sent from the supporter side on the first display section, and the supporter side can refer to the user side image sent from the user side on the second display section. can do.
本発明の測定システムは、測定対象物を測定する測定機と、測定機による測定結果を記憶する測定結果記憶部と、測定対象物の映像を取得する撮像部と、撮像部で取得した映像から特徴点を抽出する特徴点抽出部と、撮像部で取得した映像または特徴抽出部で抽出した特徴点から得られる測定対象物の画像を表示する表示部と、特徴点抽出部で抽出した特徴点に基づいて測定対象物の所定の位置に対応した測定結果を測定結果記憶部から読み出す測定結果読み出し部と、測定結果読み出し部で読み出した測定結果を測定対象物の映像または画像に合成して表示部に表示させる表示制御部と、を備えたことを特徴とする。 The measurement system of the present invention includes a measuring machine that measures an object to be measured, a measurement result storage unit that stores the measurement results obtained by the measuring machine, an imaging unit that acquires an image of the object to be measured, and an image obtained by the imaging unit. A feature point extraction unit for extracting feature points, a display unit for displaying an image of an object to be measured obtained from the image acquired by the imaging unit or the feature points extracted by the feature extraction unit, and the feature points extracted by the feature point extraction unit. A measurement result reading unit that reads out the measurement results corresponding to a predetermined position of the object to be measured from the measurement result storage unit based on the above, and displays the measurement results read out by the measurement result reading unit by synthesizing them with a video or image of the object to be measured. and a display control unit for displaying on the unit.
このような構成によれば、測定対象物の映像を映し出すことで、測定対象物の特徴点が抽出され、この特徴点に基づいて測定対象物の所定の位置に対応した測定結果を測定対象物の映像または画像に合成して表示することができる。 According to such a configuration, by projecting the image of the object to be measured, the characteristic points of the object to be measured are extracted, and based on these characteristic points, the measurement result corresponding to the predetermined position of the object to be measured is displayed on the object to be measured. can be displayed by combining it with the video or image of
本発明の測定システムにおいて、表示制御部は、撮像部で取得した測定対象物の映像の撮像角度に対応して測定結果を映像または画像に合成するようにしてもよい。このような構成によれば、好みの角度で撮影して測定対象物の測定結果を表示することができる。 In the measurement system of the present invention, the display control section may synthesize the measurement result with the video or image in accordance with the imaging angle of the video of the object to be measured acquired by the imaging section. According to such a configuration, it is possible to photograph the object to be measured at a desired angle and display the measurement result.
本発明の測定システムは、測定対象物を測定する測定機と、測定機による測定結果を記憶する測定結果記憶部と、マーカの映像を取得する撮像部と、撮像部で取得したマーカの映像からマーカを認識するマーカ認識部と、マーカ認識部で認識したマーカと対応する測定結果を測定結果記憶部から読み出す測定結果読み出し部と、撮像部でマーカの映像を取得している間、測定結果読み出し部で読み出した測定結果を表示部に表示させる表示制御部と、を備えたことを特徴とする。 The measurement system of the present invention comprises a measuring machine that measures an object to be measured, a measurement result storage unit that stores measurement results obtained by the measuring machine, an imaging unit that acquires an image of a marker, and an image of the marker that is acquired by the imaging unit. a marker recognition unit that recognizes a marker; a measurement result reading unit that reads the measurement result corresponding to the marker recognized by the marker recognition unit from the measurement result storage unit; and a display control unit that causes the display unit to display the measurement result read out by the unit.
このような構成によれば、マーカの映像を取得することで、このマーカと対応する測定結果が読み出され、マーカの映像を撮影している間、測定結果を表示部に表示することができる。 According to such a configuration, by acquiring the image of the marker, the measurement result corresponding to this marker can be read, and the measurement result can be displayed on the display unit while the image of the marker is being captured. .
本発明の測定システムにおいて、撮像部は、マーカが付された背景の映像を取得し、表示制御部は、背景の映像にマーカと対応する測定結果を合成して表示部に表示させるようにしてもよい。このような構成により、背景の映像に測定結果を合成して表示部に表示することができる。 In the measurement system of the present invention, the imaging unit acquires a background image with markers attached thereto, and the display control unit synthesizes the measurement results corresponding to the markers with the background image and causes the display unit to display the result. good too. With such a configuration, the measurement result can be combined with the background image and displayed on the display unit.
本発明のユーザインタフェース装置は、実3次元空間での所定の対象物の3次元座標を検出する3次元センサ部と、実3次元空間におけるボタン設定領域と、ボタン設定領域とコマンドとの対応付けを設定するコマンド設定部と、3次元センサ部によって検出した3次元座標から動体を検出する動体検出部と、動体検出部で検出した動体の3次元座標がボタン設定領域内に位置した際にボタン設定領域と対応付けされたコマンドを実行するコマンド実行部と、実3次元空間における3次元映像を取得する3次元撮像部と、3次元撮像部で取得した3次元映像を表示する表示部と、3次元映像とボタン設定領域に対応した画像とを合成して表示部に表示させる表示制御部と、を備え、コマンド実行部は、動体検出部で検出したユーザの手の形に応じて複数のコマンドのうちいずれかを選択して実行することを特徴とする。 The user interface device of the present invention comprises a three-dimensional sensor unit for detecting three-dimensional coordinates of a predetermined object in a real three-dimensional space, a button setting area in the real three-dimensional space, and correspondence between the button setting area and a command. , a moving object detection unit for detecting a moving object from the three-dimensional coordinates detected by the three-dimensional sensor unit, and a button when the three-dimensional coordinates of the moving object detected by the moving object detection unit are positioned within the button setting area. a command execution unit that executes a command associated with a set region; a 3D imaging unit that acquires a 3D image in a real 3D space; a display unit that displays the 3D image acquired by the 3D imaging unit; a display control unit for synthesizing a three-dimensional image and an image corresponding to the button setting area and displaying the result on a display unit; One of the commands is selected and executed.
このような構成によれば、ユーザの手の形に応じてボタン設定領域の表示/非表示を切り替えたり、ボタン設定領域に対応したコマンドを実行したりすることができる。 According to such a configuration, it is possible to switch display/non-display of the button setting area according to the shape of the user's hand, and to execute a command corresponding to the button setting area.
本発明のユーザインタフェース装置は、測定対象物の映像を取得する撮像部と、撮像部で取得した映像から特徴点を抽出する特徴点抽出部と、撮像部で取得した映像または特徴抽出部で抽出した特徴点から得られる測定対象物の画像を表示する表示部と、特徴点抽出部で抽出した特徴点に基づいて測定対象物の所定の位置に対応した寸法の情報を取得する寸法取得部と、寸法取得部で取得した寸法の情報を測定対象物の映像または画像に合成して表示部に表示させる表示制御部と、を備えたことを特徴とする。 The user interface device of the present invention includes an imaging unit that acquires an image of an object to be measured, a feature point extraction unit that extracts feature points from the image acquired by the imaging unit, and an image acquired by the imaging unit or the feature extraction unit. a display unit for displaying an image of the object to be measured obtained from the feature points extracted by the feature point extraction unit; and a display control unit for synthesizing the dimension information acquired by the dimension acquisition unit with a video or image of the object to be measured and displaying the result on a display unit.
このような構成によれば、測定対象物の映像を映し出すことで、測定対象物の特徴点が抽出され、この特徴点に基づいて測定対象物の所定の位置に対応した測定結果を測定対象物の映像または画像に合成して表示することができる。 According to such a configuration, by projecting the image of the object to be measured, the characteristic points of the object to be measured are extracted, and based on these characteristic points, the measurement result corresponding to the predetermined position of the object to be measured is displayed on the object to be measured. can be displayed by combining it with the video or image of
本発明のユーザインタフェース装置は、マーカが付された背景の映像を取得する撮像部と、撮像部で取得したマーカの映像からマーカを認識するマーカ認識部と、マーカ認識部で認識したマーカと対応する測定結果を取得する測定結果取得部と、撮像部でマーカの映像を取得している間、測定結果取得部で取得した測定結果を背景の映像に合成して表示部に表示させる表示制御部と、を備えたことを特徴とする。 The user interface device of the present invention includes an imaging unit that acquires an image of a background to which a marker is added, a marker recognition unit that recognizes the marker from the image of the marker acquired by the imaging unit, and a marker recognized by the marker recognition unit that corresponds to the marker. and a display control unit that synthesizes the measurement result obtained by the measurement result obtaining unit with the background image and displays it on the display unit while the image of the marker is being obtained by the imaging unit. and
このような構成によれば、マーカの映像を取得することで、このマーカと対応する測定結果が読み出され、マーカの映像を撮影している間、測定結果を表示部に表示することができる。 According to such a configuration, by acquiring the image of the marker, the measurement result corresponding to this marker can be read, and the measurement result can be displayed on the display unit while the image of the marker is being captured. .
以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。 BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of the present invention will be described below with reference to the drawings. In the following description, the same members are denoted by the same reference numerals, and the description of members that have already been described will be omitted as appropriate.
(第1実施形態)
図1(a)および(b)は、第1実施形態に係る測定システムを例示する構成図である。
本実施形態に係る測定システム1Aは、コンピュータ100と、コンピュータ100によって制御される測定機Mおよび3Dセンサ(3次元センサ)SRを備える。コンピュータ100は、CPU(Central Processing Unit)10、記憶部20、演算部30、測定機制御部40、表示制御部50、3Dセンサ入力部70および位置・距離・姿勢認識部75を有する。さらに、コンピュータ100にはプロジェクタPRが接続されていてもよい。この場合、コンピュータ100は、投影図形生成部80およびプロジェクタ出力部85を有する。
(First embodiment)
FIGS. 1A and 1B are configuration diagrams illustrating the measurement system according to the first embodiment.
A
測定機Mは、測定対象物の3次元座標や所定位置の長さ等を測定する装置である。測定機Mとしては、例えば3次元位置測定機や画像測定機が挙げられる。CPU10は所定のプログラムの実行によって各部の制御や所定の演算を行う。記憶部20は、主記憶部および副記憶部を含む。演算部30は所定の演算を行う演算回路を備える。
The measuring machine M is a device that measures the three-dimensional coordinates of an object to be measured, the length of a predetermined position, and the like. Examples of the measuring machine M include a three-dimensional position measuring machine and an image measuring machine. The
測定機制御部40は、ユーザによる指示に基づき測定機Mを制御する。表示制御部50は、ディスプレイDに所定の情報を表示する制御を行う。入出力制御部60は、キーボードKやマウスMS等の入力デバイスを制御したり、図示しないタッチパネルを制御したりする。
The measuring
3Dセンサ入力部70は、3DセンサSRによって取得した情報をコンピュータ100に取り込むインタフェース部分である。ここで、3DセンサSRは、実3次元空間での所定の対象物の3次元座標を検出するセンサである。位置・距離・姿勢認識部75は、3DセンサSRで取得した情報に基づいて、対象物の位置(3次元座標)、3DセンサSRから対象物までの距離、対象物の姿勢を認識する処理を行う。
The 3D
投影図形生成部80は、プロジェクタPRによって投影するための図形を生成する処理を行う。プロジェクタ出力部85は、投影図形生成部80で生成された図形をプロジェクタPRに送るインタフェース部分である。
The projected
測定システム1Aは、さらにCPU10で実行されるプログラムとして、コマンド設定部101と、動体検出部102と、コマンド実行部103とを備える。コマンド設定部101は、実3次元空間におけるボタン設定領域と、ボタン設定領域とコマンドとの対応付けを設定する処理を行う。ボタン設定領域とは、実3次元空間における任意の位置を指定した領域である。例えば、実3次元空間の所定の矩形領域であったり、所定の立体領域であったり、所定の対象物の領域であったりする。
The
コマンド設定部101は、このようなボタン設定領域を表すための3次元座標情報を設定する処理を行う。また、コマンド設定部101は、ボタン設定領域とコマンドとの対応付けも行う。コマンドは、ボタン設定領域の3次元座標情報と対応付けされ、例えばテーブルデータとして記憶部20に記憶される。
The
動体検出部102は、3DセンサSRによって検出した対象物の3次元座標から動体を検出する処理を行う。具体的には、位置・距離・姿勢認識部75で認識した物体の位置を追跡して、移動している物体(動体)を検出する。これにより、3DセンサSRで検出可能な実3次元空間において動体を検出し、動体の位置を追尾することができる。
The moving
コマンド実行部103は、動体検出部102で検出した動体の3次元座標がボタン設定領域内に位置した際にボタン設定領域と対応付けされたコマンドを実行する処理を行う。動体検出部102では、実3次元空間内で移動する物体の位置(動体の3次元座標)を追跡することができる。コマンド実行部103は、動体検出部102から動体の3次元座標の情報を取得する。
The
そして、コマンド実行部103は、動体の3次元座標がボタン設定領域内に位置した際に、そのボタン設定領域に対応付けされたコマンドを実行する処理を行う。これにより、動体の動作から実3次元空間内のボタン設定領域が選択されたことを検出して、そのボタン設定領域に対応付けされたコマンドを実行することができる。
Then, when the three-dimensional coordinates of the moving object are positioned within the button setting area, the
図2は、動作例を示す模式図である。
3DセンサSRは、実3次元空間の物体の位置を検出する。図2に示す例では、例えば、測定機M、測定機Mのユーザ800、プロジェクタPRから投射された像を映し出すスクリーンSL、ホワイトボードWBなどが実3次元空間に配置される。3DセンサSRは、これらの位置を検出する。
FIG. 2 is a schematic diagram showing an operation example.
The 3D sensor SR detects the position of an object in real three-dimensional space. In the example shown in FIG. 2, for example, the measuring machine M, the
また、図2に示す例では、ホワイトボードWBにボタン設定領域B1~B4が設けられる。ホワイトボードWB上のボタン設定領域B1~B4の位置(3次元座標)は、予めコマンド設定部101によって設定されている。ボタン設定領域B1~B4のそれぞれにはコマンドが対応付けられる。例えば、ボタン設定領域B1には「起動」コマンド、ボタン設定領域B2には「終了」コマンド、ボタン設定領域B3には「保存」コマンド、ボタン設定領域B4には「印刷」コマンドが対応付けられる。
Further, in the example shown in FIG. 2, button setting areas B1 to B4 are provided on the whiteboard WB. The positions (three-dimensional coordinates) of the button setting areas B1 to B4 on the whiteboard WB are set by the
測定機Mのユーザ800は、例えば測定機Mの測定ヘッド501を用いて測定対象物の測定を行う。測定ヘッド501にプロジェクタPRが設けられている場合、このプロジェクタPRからスクリーンSLに測定対象物の設計図など、各種の情報に基づく画像を表示することができる。
A
ユーザ800の動きは3DセンサSRによって取得した情報に基づき動体検出部102によって検出される。位置・距離・姿勢認識部75は、例えばユーザ800の手801の動きを認識する。そして、ユーザ800の手801がボタン設定領域B1~B4のいずれかに位置した際、コマンド実行部103は手801の位置のボタン設定領域B1~B4に対応付けされたコマンドを実行する。
The motion of the
例えば、ユーザ800の手801がホワイトボードWB上のボタン設定領域B1に触れた場合、ボタン設定領域B1に対応付けされた「起動」コマンドが実行される。同様に、ユーザ800の手8001がボタン設定領域B2に触れた場合、ボタン設定領域B2に対応付けされた「終了」コマンドが実行される。このように、ユーザ800は、自らの手801の位置によって所望のコマンドを実行できるようになる。
For example, when the
図3(a)および(b)は、ボタン設定領域について例示する模式図である。
図3(a)には、ホワイトボードWBに設定されたボタン設定領域B1~B4が表される。ボタン設定領域B1~B4は、ホワイトボードWBの面に適宜書き込まれている。ここでは、ホワイトボードWBの面に4つの矩形が書き込まれている。
FIGS. 3A and 3B are schematic diagrams illustrating button setting areas.
FIG. 3A shows button setting areas B1 to B4 set on the whiteboard WB. The button setting areas B1 to B4 are appropriately written on the surface of the whiteboard WB. Here, four rectangles are written on the surface of the whiteboard WB.
コマンド設定部101は、各矩形の偶部の3次元座標を登録することでボタン設定領域B1~B4の位置を設定する。例えば、ボタン設定領域B1は、4つの偶部P1~P4の3次元座標によって設定される。偶部P1~P4の3次元座標は、3DセンサSRによって取り込むことができる。また、測定ヘッド501を用いて偶部P1~P4の3次元座標を取り込んでもよい。
The
図3(b)には、立体的なボタン設定領域B5が表される。ボタン設定領域B5は、例えば立方体の領域である。立体体の領域は、実3次元空間内の4つの点P17、P18、P19、P20によって決定される。コマンド設定部101は、4つの点P17、P18、P19、P20の3次元座標を登録することでボタン設定領域B5の位置を設定する。
FIG. 3B shows a three-dimensional button setting area B5. The button setting area B5 is, for example, a cubic area. The region of the volume is determined by four points P17, P18, P19, P20 in the real three-dimensional space. The
コマンド設定部101は、このようなボタン設定領域B1~B5のそれぞれにコマンドを対応付けする。ボタン設定領域B1~B5は、実3次元空間のどのような場所であっても設定可能である。コマンド設定部101は、例えば、ホワイトボードWBのように何らかの物体のある位置にボタン設定領域B1~B4を設定しても、また実3次元空間内の物体の無い領域にボタン設定領域B5を設定してもよい。
The
図4および図5は、他のボタン設定領域について例示する模式図である。
図4に示す例では、プロジェクタPRによって映し出された画像をボタン設定領域B6としている。例えば、測定ヘッド501にプロジェクタPRが設けられている場合、測定ヘッド501をスクリーンSLとは異なる方向に向ける。これにより、プロジェクタPRからボタン設定領域B6の画像が出力される。図4に示す例では、プロジェクタPRから出力されたボタン設定領域B6の画像が床FLに映し出されている。
4 and 5 are schematic diagrams illustrating other button setting areas.
In the example shown in FIG. 4, the image projected by the projector PR is the button setting area B6. For example, if the measuring
プロジェクタPRでボタン設定領域B6の画像を映し出す場合、ボタン設定領域B6の投映位置を3DセンサSRで検出し、位置・距離・姿勢認識部75で認識する。位置・距離・姿勢認識部75は、ボタン設定領域B6の特徴を予め登録しておくことで、3DセンサSRで検出した情報からボタン設定領域B6の位置を認識することができる。また、ボタン設定領域B6の投映位置が動いても、動体検出部102によって追尾可能である。
When projecting the image of the button setting area B6 with the projector PR, the projection position of the button setting area B6 is detected by the 3D sensor SR and recognized by the position/distance/
床FLにボタン設定領域B6が投映された場合、ユーザ800は、例えば自らの足802によってボタン設定領域B6を選択することができる。ユーザ800の足802の位置は3DセンサSRによって検出され、足802の動きは動体検出部102によって追尾される。これにより、ユーザ800の足802がボタン設定領域B6の位置にあることを検出し、ボタン設定領域B6に対応付けされたコマンドをコマンド実行部103によって実行することができる。
When the button setting area B6 is projected onto the floor FL, the
測定ヘッド501を手で持って測定作業を行うユーザ800にとっては、手でコマンドを指示することが困難な場合もある。床FLに映し出されたボタン設定領域B6を足802で選択できることで、ユーザ800は測定ヘッド501を手で持ったまま所望のコマンドを足802で指定して実行できることになる。
For the
図5に示す例では、スクリーンSL上にボタン設定領域B7の画像が投映されている。プロジェクタPRは、例えば測定対象物の設計情報などをスクリーンSLに映し出すとともに、ボタン設定領域B7の画像を映し出す。図4に示す例と同様に、ボタン設定領域B7の位置は3DセンサSRで検出され、動体検出部102によって追尾される。
In the example shown in FIG. 5, the image of the button setting area B7 is projected on the screen SL. The projector PR projects, for example, the design information of the object to be measured on the screen SL, and also projects the image of the button setting area B7. Similar to the example shown in FIG. 4, the position of the button setting area B7 is detected by the 3D sensor SR and tracked by the moving
ユーザ800は、例えば自らの手801によってスクリーンSL上に投映されたボタン設定領域B7を選択することができる。ユーザ800の手801がボタン設定領域B7の位置にあることを検出した際、コマンド実行部103はボタン設定領域B7に対応付けされたコマンドを実行する。
The
また、コマンド実行部103は、ユーザ800の手801や足802の動作に応じてコマンドを切り替えるようにしてもよい。例えば、ユーザ800の手801がボタン設定領域B1に一定時間止まっている場合(タッチ動作)には第1コマンドを実行し、手801がボタン設定領域B1内に沿って移動している場合(スライド動作)には第2コマンドを実行する。すなわち、手801によってボタン設定領域B1をタッチするか、スライドさせるかによってコマンドを切り替えてもよい。
Also, the
第1実施形態に係る測定システム1Aによれば、実3次元空間内の所望の位置にボタン設定領域B1~B7を設定することができる。また、ユーザ800は、自らの手801や足802でボタン設定領域B1~B7を選択することで、所望のコマンドを実行することができる。したがって、ユーザ800は、測定機Mによる測定作業を行いながら、所望のコマンドを簡単に実行できるようになる。例えば、測定機Mから離れた位置にコンピュータ100がある場合であっても、ユーザ800は測定機Mの位置から離れることなく、コンピュータ100に所望のコマンドを送ることが可能になる。
According to the
また、ユーザ800は、好みの位置にボタン設定領域B1~B7を設定することができる。これにより、ユーザ800にとって効率よく作業できる位置にボタン設定領域B1~B7を配置することができ、測定作業の効率化を図ることができる。
Also, the
(第2実施形態)
図6は、第2実施形態に係る測定システムを例示する構成図である。
本実施形態に係る測定システム1Bは、コンピュータ100と、コンピュータ100によって制御される測定機Mおよび3DセンサSRを備える。コンピュータ100は、CPU10、記憶部20、演算部30、測定機制御部40、表示制御部50、3Dセンサ入力部70および位置・距離・姿勢認識部75を有する。さらに、コンピュータ100は、3D映像入出力部51、3Dカメラ制御部52、立体映像生成部53、ヘッドマウントディスプレイ出力部54、コントロール生成部55、ヘッドホンマイク入出力部61、音声入出力部62、操作盤入出力部65およびコントロール入力認識部76を有する。コンピュータ100には、操作盤CT、ヘッドホンマイクHPM、ヘッドマウントディスプレイHDおよび3DカメラCMが接続される。
(Second embodiment)
FIG. 6 is a configuration diagram illustrating a measurement system according to the second embodiment.
A measuring
以下、第1実施形態に係る測定システム1Aとは異なる構成について説明する。
操作盤入出力部65は、操作盤CTに対する情報の入出力を行うインタフェース部分である。ユーザ800は操作盤CTを用いて測定機Mをコントロールすることができる。
A configuration different from that of the
The control panel input/
3DカメラCMは、実3次元空間における3次元映像を取得する3次元撮像部である。ヘッドマウントディスプレイHDは、3DカメラCMで取得した3次元映像を表示するディスプレイである。ここで、実施形態において、「映像」は、3DカメラCM等の撮像装置で取り込んだ像の情報のことを意味し、「画像」は、CAD等の設計データから生成されたグラフィックや予め用意されたグラフィックなどの情報のことを意味する。 The 3D camera CM is a 3D imaging unit that acquires a 3D image in a real 3D space. The head-mounted display HD is a display that displays a three-dimensional image captured by the 3D camera CM. Here, in the embodiment, "image" means image information captured by an imaging device such as a 3D camera CM, and "image" refers to graphics generated from design data such as CAD or prepared in advance. information such as graphics.
図7は、ヘッドマウントディスプレイを例示する斜視図である。
ヘッドマウントディスプレイHDは、ユーザ800の頭部に装着される。ユーザ800は、ヘッドマウントディスプレイHDに映し出される3次元映像を参照することができる。このヘッドマウントディスプレイHDには3DカメラCMが取り付けられる。すなわち、ヘッドマウントディスプレイHDは、3DカメラCMと一体に設けられる。
FIG. 7 is a perspective view illustrating a head mounted display.
Head mounted display HD is worn on the head of
3Dカメラ制御部52は、3DカメラCMを制御する部分である。3D映像入出力部51は、3DカメラCMで取得した3D映像をコンピュータ100に取り込むインタフェース部分である。ヘッドマウントディスプレイ出力部54は、ヘッドマウントディスプレイHDに映像の信号を送信するインタフェース部分である。立体映像生成部53は、ヘッドマウントディスプレイHDに映し出す3D映像を生成する部分である。立体映像生成部53は、撮影映像合成部531を含む。
The 3D
撮影映像合成部531は、3DカメラCMで取得した3D映像と、ボタン設定領域に対応した画像とを合成してヘッドマウントディスプレイHDに表示させる処理を行う。
The captured
コントロール生成部55は、ユーザ800の所定の動作とコマンドとの対応付けを行う部分である。ユーザ800の所定の動作とコマンドとの対応付けは、記憶部20に例えばテーブルデータとして記憶される。
The
ヘッドホンマイクHPMは、ヘッドホンとマイクとを一体にしたもので、ユーザ800の頭部に装着される。ヘッドホンマイク入出力部61は、ヘッドホンマイクHPMに対する情報の入出力を行うインタフェース部分である。音声入出力部62は、ヘッドホンマイクHPMに送る音声を生成したり、ヘッドホンマイクHPMから取り込まれた音声の情報を処理したりする部分である。なお、本実施形態においてヘッドホンマイクHPMは必要に応じて設けられていればよい。
The headphone microphone HPM is a combination of a headphone and a microphone, and is worn on the head of the
コントロール入力認識部76は、ユーザ800の所定の動作を認識する部分である。コントロール入力認識部76は、位置・距離・姿勢認識部75から送られる情報に基づいて、ユーザ800の所定の動作を認識する処理を行う。このような測定システム1Bにおいては、ヘッドマウントディスプレイHDに実3次元空間の映像の表示が行われるとともに、この映像にボタン設定領域の画像を合成して表示することができる。
The control
図8~図11は、動作例を示す模式図である。
図8に示すように、ユーザ800はヘッドマウントディスプレイHDを装着する。また、3DセンサSRは、実3次元空間のユーザ800や測定機Mなどの物体の位置を検出する。ヘッドマウントディスプレイHDに設けられた3DカメラCMは、実3次元空間の3D映像を取得する。
8 to 11 are schematic diagrams showing operation examples.
As shown in FIG. 8, a
ユーザ800は、ヘッドマウントディスプレイHDによって3DカメラCMで取得した3D映像を参照することができる。また、ヘッドマウントディスプレイHDには、3D映像の実3次元空間に合わせてボタン設定領域の画像(ボタン画像BG)が表示される。すなわち、撮影映像合成部531によって、3Dカメラで取得した3D映像にボタン画像BGが合成される。ボタン画像BGは、予め登録されたボタン設定領域の実3次元空間での3次元座標に基づき、ヘッドマウントディスプレイHDの表示における3次元座標と合わせて表示される。これにより、3DカメラCMの画角が変わっても、ボタン画像BGの3D映像上の合成位置は変わらない。
The
ユーザ800の動きは3DセンサSRによって取得した情報に基づき動体検出部102によって検出される。位置・距離・姿勢認識部75は、例えばユーザ800の手801や足802の動きを認識する。そして、ユーザ800の手801や足802がボタン画像BGに対応したボタン設定領域に位置した際、コマンド実行部103は手801や足802の位置のボタン設定領域に対応付けされたコマンドを実行する。これにより、ユーザ800は、自らの手801や足802の位置によって所望のコマンドを実行できるようになる。
The motion of the
ボタン画像BGは、ヘッドマウントディスプレイHDで表示される3D映像上の任意の位置に表示可能である。例えば、D映像が表示される実3次元空間の物体の存在しない位置(空中)にボタン画像BGを表示させたり、床FLの上に配置されているかのように床FLの3D映像の上にボタン画像BGを表示させたりすることができる。 The button image BG can be displayed at any position on the 3D image displayed on the head-mounted display HD. For example, the button image BG is displayed at a position (in the air) where no object exists in the real three-dimensional space where the D image is displayed, or the button image BG is displayed on the 3D image of the floor FL as if it were placed on the floor FL. A button image BG can be displayed.
図9には、床FLの3D映像上にボタン画像BGを合成した例が示される。ユーザ800は、測定機Mの測定ヘッド501を手801で持って、測定対象物であるワークWの測定を行う。ユーザ800は、ヘッドマウントディスプレイHDに表示される測定機MやワークWの3D映像を参照しながら測定ヘッド501を操作して測定を行う。
FIG. 9 shows an example of synthesizing the button image BG on the 3D image of the floor FL. A
また、ヘッドマウントディスプレイHDには、床FLの3D映像にボタン画像BGが合成された状態で表示される。実際の床FLの上にはボタンは配置されていないが、ヘッドマウントディスプレイHDの表示ではボタン画像BGが表示される。これにより、ユーザ800は、まるで床FLの上にボタンが配置されているかのようにボタン画像BGを参照することができる。ユーザ800は、床FLの上のボタン画像BGを足802で選択する。これにより、選択したボタン画像BGに対応したボタン設定領域のコマンドが実行される。
Also, on the head-mounted display HD, a 3D image of the floor FL is displayed in a state in which the button image BG is synthesized. Buttons are not arranged on the actual floor FL, but button images BG are displayed on the display of the head-mounted display HD. This allows the
図10には、3D映像に計算機の画像CALを合成した例が示される。この例では、ヘッドマウントディスプレイHDに表示されるワークWの3D映像の近傍に計算機の画像CALが合成されている。ユーザ800は、例えば手801によって計算機の画像CALを操作する。この手801の動作を動体検出部102で追尾して、計算機の画像CALのどのキーの領域に手801が位置するかを判断する。これにより、コマンド実行部103は計算機の画像CALのキーに対応したコマンドを実行する。ユーザ800は、ヘッドマウントディスプレイHDに表示された仮想の計算機の画像CALを参照して、まるで実際の計算機を操作しているかのように計算を行うことができる。
FIG. 10 shows an example of synthesizing a computer image CAL with a 3D image. In this example, the image CAL of the computer is synthesized near the 3D image of the work W displayed on the head-mounted display HD. A
コマンド実行部103は、動体検出部102で検出したユーザ800の手801の形に応じて複数のコマンドのうちいずれかを選択して実行するようにしてもよい。図11には、手801の形に応じてコマンドを切り替える例が示される。
The
一例として、特定の方向に向けて手801を開いた状態で一定時間が経過すると(H1)、ホームボタン(複数のボタン画像BGが集合した画像)を表示するコマンドが実行される。また、ヘッドマウントディスプレイHDの表示においてホームボタンが手801の届かない位置に表示されている場合、手801を握る動作をすると(H2)、遠くのホームボタンを近くに表示するコマンドが実行される。また、ホームボタンを手801で摘まんで移動するような動作をすると(H3)、ホームボタンの表示位置を移動するコマンドが実行される。
As an example, when a certain period of time elapses with the
また、手801の人差し指を特定方向に向ける動作をすると(H4)、ホームボタンを非表示にするコマンドが実行される。手801を壁に向かって押し付けるような動作をすると(H5)、ホームボタンを壁に貼り付けるように移動させるコマンドが実行される。手801のひらを上に向ける動作をすると(H6)、手801のひらの上にホームボタンを移動させるコマンドが実行される。手801を床に向かって押し付けるような動作をすると(H7)、ホームボタンを床の上に貼り付けるように移動させるコマンドが実行される。なお、これらの手801の形および動作とコマンドとの対応付けは一例であり、これに限定されない。
Also, when the index finger of the
このように、手801の形に応じてコマンドの切り替えを行うようにすると、キーボードKやマウスMSなどの入力デバイスを用いることなく、手801を使ったジェスチャーだけで所望のコマンドを実行できるようになる。
By switching commands according to the shape of the
上記の例において、ユーザ800は手801や足802によってボタン画像BGを選択することでコマンドを実行したが、測定ヘッド501によってボタン画像BGを選択してコマンドを実行するようにしてもよい。
In the above example, the
また、本実施形態に係る測定システム1Bのうち、コンピュータ100、3DセンサSRおよび3DカメラCMによってユーザインタフェース装置を構成してもよい。このユーザインタフェース装置によれば、ユーザ800の手801の形に応じてボタン画像BGの表示/非表示を切り替えたり、ボタン画像BGに対応したコマンドを実行したりすることができる。
Further, the
(第3実施形態)
図12(a)および(b)は、第3実施形態に係る測定システムを例示する構成図である。
本実施形態に係る測定システム1Cは、コンピュータ100と、コンピュータ100によって制御される測定機M、3DセンサSRおよびヘッドマウントディスプレイHDを備える。コンピュータ100は、CPU10、記憶部20、演算部30、測定機制御部40、表示制御部50、3Dセンサ入力部70および位置・距離・姿勢認識部75を有する。さらに、コンピュータ100は、立体映像生成部53、ヘッドマウントディスプレイ出力部54、ヘッドホンマイク入出力部61、音声入出力部62および操作盤入出力部65を有する。コンピュータ100には、操作盤CTおよびヘッドホンマイクHPMが接続される。
(Third embodiment)
FIGS. 12A and 12B are configuration diagrams illustrating the measurement system according to the third embodiment.
A measuring
このような測定システム1Cにおいては、ヘッドマウントディスプレイHDの仮想3次元空間内に測定機Mの画像が表示される。測定機Mの画像としては、例えばCAD画像が用いられる。CAD画像は記憶部20に記憶される。また、ユーザの動作を動作検出部で検出して、この仮想3次元空間内の測定機Mの画像をユーザ800の動作に合わせて移動させることができる。
In such a
本実施形態に係る測定システム1Cは、特に自動測定機能の豊富な測定機Mへの適用が好適である。例えば、CNC(Computerized Numerically Controlled)測定機では、予め設定されたプログラム(例えば、パートプログラム)に従って自動的な測定を行うことができるため、高精度かつ効率的な測定を行うことができる。しかし、CNC測定機を扱うには操作方法やプログラムの作成・修正など専門的な技術や知識が必要になる。本実施形態に係る測定システム1Cでは、このような機能の豊富な測定機Mについてユーザインタフェースの向上を図ることができる。
The measuring
図13~図17は、動作例を示す模式図である。
図13に示すように、ユーザ800は、ヘッドマウントディスプレイHDおよびヘッドホンマイクHPMを装着する。3DセンサSRは、実3次元空間のユーザ800や測定機Mなどの物体の位置を検出する。
13 to 17 are schematic diagrams showing operation examples.
As shown in FIG. 13, a
ヘッドマウントディスプレイHDには、仮想3次元空間内に測定機Mの画像(測定機画像MG)が表示される。ユーザ800は、ヘッドマウントディスプレイHDに表示される仮想3次元空間内の測定機画像MGを参照して、仮想3次元空間内で測定機画像MGを動かすことができる。
An image of the measuring machine M (measuring machine image MG) is displayed in the virtual three-dimensional space on the head-mounted display HD. The
すなわち、3DセンサSRによってユーザ800の例えば手801の位置を検出し、動体検出部102によって手801の動きを追尾する。手801の位置および動きは仮想3次元空間内に表示される測定機画像MGの動作に反映される。例えば、ユーザ800が仮想3次元空間内の測定ヘッド501の画像(測定ヘッド画像501G)の位置まで手801を延ばすと、仮想3次元空間内の測定ヘッド画像501Gを移動させることができる。
That is, the 3D sensor SR detects the position of, for example, the
立体映像生成部53は、仮想3次元空間内の測定機画像MGの表示位置を、動体検出部102で検出したユーザ800の手801の動作に合わせて移動させるよう画像を生成する。これにより、ユーザ800は、ヘッドマウントディスプレイHDに表示される仮想3次元空間内で自由に測定機画像MGを操作することができる。
The stereoscopic
本実施形態に係る測定システム1Cにおいて、CPU10で実行されるプログラムとして測定動作記憶部104を備えていても良い。測定動作記憶部104は、ヘッドマウントディスプレイHDに表示される仮想3次元空間内でユーザ800によって移動された測定機画像MGの表示位置に沿って測定動作を記録する処理を行う。
In the
そして、測定機制御部40は、測定動作記憶部104で記憶した測定動作に従って実際の測定機Mを用いてワークWの測定を行う。これにより、ユーザ800は、仮想3次元空間内において測定機画像MGの例えば測定ヘッド画像501Gを移動させることで、実際の測定手順を記録することができる。
Then, the measuring
この際、実際のワークWの位置を3DセンサSRで検出して、仮想3次元空間内の測定機画像MGの位置に合わせてワーク画像WGを合成しておく。ユーザ800は、測定ヘッド画像501Gを移動する際、ワーク画像WGと測定ヘッド画像501Gとの干渉を確認しながら測定手順を記録することができる。例えば、測定ヘッド画像501Gの向きによってワーク画像WGとの干渉が発生する場合には、ヘッドマウントディスプレイHDに警告を表示してもよい。このような測定手順の記録によれば、専門的な知識がなくても測定ヘッド501の動きをプログラム化することができる。
At this time, the actual position of the work W is detected by the 3D sensor SR, and the work image WG is synthesized in accordance with the position of the measuring machine image MG in the virtual three-dimensional space. When moving the measuring
図14には、仮想3次元空間内に実際の映像IMGを表示する例が示される。測定システム1Cは、測定機Mの映像IMGを取得するカメラCM1を備えていてもよい。カメラCM1によって取得した測定機Mの映像IMGは、ヘッドマウントディスプレイHDの仮想3次元空間内の所定位置に表示される。
FIG. 14 shows an example of displaying an actual image IMG in a virtual three-dimensional space. The measuring
ユーザ800は、ヘッドマウントディスプレイHDに表示される測定機画像MGとともに、実際の測定機Mの映像IMGを参照することができる。これにより、仮想3次元空間内において、実際の測定機Mの動作を確認しながら作業を行うことができるようになる。
The
図15には、パートプログラムの修正動作の例が示される。ヘッドマウントディスプレイHDには、既存のパートプログラムによる測定ヘッド501の動作が仮想3次元空間内に表示される。ユーザ800は、既存のパートプログラムを読み出す。例えばヘッドホンマイクHPMに音声を入力することで、音声認識によって既存のパートプログラムが読み出されるようにしてもよい。
FIG. 15 shows an example of a part program correction operation. The head-mounted display HD displays the motion of the measuring
仮想3次元空間内の測定ヘッド画像501Gは、読み出したパートプログラムを実行した場合と同様に動作する。ユーザ800は、仮想3次元空間内に表示される測定ヘッド画像501Gの動作を参照したり、音声認識によって動作の停止や再開などをコントロールしたりすることができる。また、手801を用いて測定ヘッド画像501Gを移動させることもできる。
The measuring
仮想3次元空間には、測定ヘッド画像501Gの移動順の数値や、ボタン画像BGを表示させてもよい。パートプログラムを修正する場合、動作を一時停止させて手801によって測定ヘッド画像501Gを移動させる。
In the virtual three-dimensional space, the numerical values of the movement order of the measuring
ここで、一例として、パートプログラムのステップを追加する場合の動作を説明する。この例では、図15に示すように、測定ヘッド501が(1)~(4)の順に動作するパートプログラムについて、(2)と(3)との間に(2’)を追加する動作を説明する。
Here, as an example, the operation when adding a part program step will be described. In this example, as shown in FIG. 15, for a part program in which the measuring
先ず、ユーザ800は、例えば音声認識によってパートプログラムを1ステップずつ動作させる。ユーザ800によって、例えば「Go to the first step」という音声を入力すると、パートプログラムは1ステップ進み、仮想3次元空間内の測定ヘッド画像501Gが(1)の位置に移動するよう表示される。
First, the
次に、ユーザ800は、例えば「Go to the next step」という音声を入力する。これにより、パートプログラムは次のステップに進み、仮想3次元空間内の測定ヘッド画像501Gが(2)の位置に移動するよう表示される。
Next, the
ここで、ユーザ800は、ステップの追加を行うために、例えば「Add the step」という音声を入力する。これにより、パートプログラムのステップの追加モードが実行される。次に、ユーザ800は仮想3次元空間内の測定ヘッド画像501Gを手801によって移動し、(2’)の位置に配置する。この状態で、例えば「Continue」という音声を入力すると、(2’)の位置が追加され、次の(3)の位置へ測定ヘッド画像501Gが進むことになる。
Here, the
なお、ここでは音声認識によってパートプログラムの動作や修正を指示したが、ボタン画像BGを指定することで同様な動作や修正を指示してもよい。このような操作によってユーザ800は専門的な知識がなくてもパートプログラムを直観的に修正することが可能になる。
Here, the operation and modification of the part program are instructed by voice recognition, but the same operation and modification may be instructed by designating the button image BG. Such an operation enables the
図16には、仮想3次元空間内に測定に関する情報を表示する例が示される。ユーザ800は、装着しているヘッドマウントディスプレイHDによって仮想3次元空間の画像を参照している。仮想3次元空間内にはワーク画像WGや測定ヘッド画像501Gが表示される。ワーク画像WGや測定ヘッド画像501GはCAD画像やコンピュータグラフィックである。図16に示す例では、ワーク画像WGに測定結果を合成して表示した例が示される。また、測定結果が所定の許容範囲に収まっていない場合に、ワーク画像WGにその旨を示す表示(ワーク画像WGに色を付ける表示など)を付加してもよい。
FIG. 16 shows an example of displaying information about measurements in a virtual three-dimensional space. A
ユーザ800は、例えば「Show result」といった音声をヘッドホンマイクHPMから入力する。これにより、仮想3次元空間のワーク画像WGに測定結果が合成された表示が行われる。ユーザ800は、仮想3次元空間内に表示される内容を参照することで、コンピュータ100のディスプレイDを参照することなく測定結果を確認することができる。
The
図17には、ネットワークNを介して測定およびティーチングを行う例が示される。
図17に示す例において、測定システム1Cは、ネットワークNを介して測定機制御部40と接続される遠隔制御部90をさらに備える。遠隔制御部90は、測定機Mから離れた位置にいるユーザ800から指示されたコマンドを、ネットワークNを介して測定機制御部40に送る処理を行う。
An example of measuring and teaching over network N is shown in FIG.
In the example shown in FIG. 17, the
遠隔地にいるユーザ800は、装着しているヘッドマウントディスプレイHDに表示される仮想3次元空間内の測定機画像MGを参照しながら、実際の測定機Mの動作を確認することができる。また、仮想3次元空間内に表示される測定機画像MGや測定ヘッド画像501Gは、ユーザ800の手801によって移動させることができる。
A
先に説明したように、パートプログラムによる測定ヘッド501の動作は、仮想3次元空間に表示さる測定ヘッド画像501Gの動作によって確認することができる。さらに、パートプログラムの修正も仮想3次元空間内で行うことができる。
As described above, the operation of the measuring
遠隔制御部90によって遠隔地のユーザ800の指示をネットワークNを介して測定機制御部40に送信することで、どのような位置に測定機Mがあってもユーザ800は仮想3次元空間の画像を参照して測定機Mを扱うことができる。
By transmitting instructions from a
すなわち、ユーザ800は、まるで測定機Mのそばにいるかのように遠隔地から測定機Mを扱うことが可能になる。この測定システム1Cでは、例えば測定機Mの操作に慣れたユーザ800が測定機Mの近くにいない場合など、遠隔地にいる知識豊富なスタッフにネットワークNを介して測定機Mを操作させることができる。また、測定機Mが過酷な環境下にあってユーザ800が近づけないような場合であっても、ユーザ800がその場にいるような感覚で測定機Mを操作することが可能になる。
That is, the
(第4実施形態)
図18は、第4実施形態に係る測定システムを例示する構成図である。
本実施形態に係る測定システム1Dは、コンピュータ100と、コンピュータ100によって制御される測定機Mおよび3DセンサSRを備える。コンピュータ100は、CPU10、記憶部20、演算部30、測定機制御部40、表示制御部50、3Dセンサ入力部70および位置・距離・姿勢認識部75を有する。さらに、コンピュータ100は、3D映像入出力部51、3Dカメラ制御部52、立体映像生成部53、撮影映像合成部531、ヘッドマウントディスプレイ出力部54、ヘッドホンマイク入出力部61、音声入出力部62、音響再生部621、操作盤入出力部65およびヘルパー生成部95を有する。コンピュータ100には、操作盤CT、ヘッドホンマイクHPM、ヘッドマウントディスプレイHDおよび3DカメラCMが接続される。
(Fourth embodiment)
FIG. 18 is a configuration diagram illustrating a measurement system according to the fourth embodiment.
A measuring
このような測定システム1Dにおいては、ヘッドマウントディスプレイHDの仮想3次元空間内に実際の測定機Mの映像と、CAD画像やコンピュータグラフィック等の測定機画像MGとを合成して表示することができる。測定機画像MGは、記憶部20の画像記憶部201に予め記憶されている。
In such a
また、ヘルパー生成部95は、測定機Mの所定の測定手順を表す画像を生成する。これにより、立体映像生成部53の撮影映像合成部531は、3DカメラCMで撮影した映像に、ヘルパー生成部95で生成された測定手順を表す画像を合成する処理を行うことができる。
Further, the
また、ヘルパー生成部95は、測定機Mの所定の異常に対応した画像を生成してもよい。これにより、立体映像生成部53の撮影映像合成部531は、3DカメラCMで撮影した映像に、ヘルパー生成部95で生成された所定の異常に対応した画像を合成する処理を行うことができる。
Further, the
また、ヘルパー生成部95は、測定機Mの所定のガイダンスに対応した画像を生成してもよい。これにより、立体映像生成部53の撮影映像合成部531は、3DカメラCMで撮影した映像に、ヘルパー生成部95で生成された所定のガイダンスに対応した画像を合成する処理を行うことができる。
Further, the
ここで、測定機Mの操作が分からない場合、ユーザ800は測定機Mの取扱説明書を確認しながら実際の測定機Mでの操作イメージを頭の中でシミュレーションする。しかし、すべての操作を記憶するのは困難であり、再度取扱説明書を確認するなど煩わしい作業を強いられる。
Here, if the
また、例えば測定プローブの交換を行う場合、手順通りに行わないと破損などの不具合を招くおそれがある。このため、測定プローブの交換には慎重な作業が要求される。作業に慣れていないユーザ800は、その都度取扱説明書を参照しながら作業を行うことになる。
Further, for example, when replacing the measurement probe, if the procedure is not followed, problems such as breakage may occur. Therefore, replacement of the measurement probe requires careful work. The
また、例えば、非直交三次元測定機の原点出しは、測定機Mの7軸アームの各リミットスイッチをON/OFFする操作を行って原点を取得する必要がある。この作業に慣れていないユーザ800は、原点が取得されていない軸や、原点を取得するための操作が直感的に分かりにくく、操作に迷うことが多い。
Further, for example, to find the origin of a non-orthogonal three-dimensional measuring machine, it is necessary to perform an ON/OFF operation of each limit switch of the seven-axis arm of the measuring machine M to acquire the origin. A
また、例えば、測定機Mのケーブルを専用コントローラに接続する際に、どのケーブルをコントローラのどの接続口に差し込めばよいのか分かりにくく、その都度取扱説明書を確認する必要が生じる。 Also, for example, when connecting the cable of the measuring instrument M to the dedicated controller, it is difficult to know which cable to insert into which connection port of the controller, and it is necessary to check the instruction manual each time.
また、例えば、非直交三次元測定機の場合、リミットスイッチがONの状態では測定することはできない。このリミットスイッチがON状態なのか測定可能な状態なのか分かりにくく、何度も同じ場所を再測定してしまうことがある。 Further, for example, in the case of a non-orthogonal three-dimensional measuring machine, measurement cannot be performed when the limit switch is ON. It is difficult to know whether the limit switch is in the ON state or in the measurable state, and the same place may be re-measured many times.
また、例えば、測定機Mに異常が発生した場合は、コンピュータ100のディスプレイDにメッセージが表示されたり、音で警告したりする。しかし、ユーザ800が測定に集中しているときにはコンピュータ100のディスプレイDをあまり見なかったり、ディスプレイDが見えづらかったりして、認識しにくいことがある。
Further, for example, when an abnormality occurs in the measuring instrument M, a message is displayed on the display D of the
また、例えば、測定方法などを初心者へ教育する目的でビデオなどの映像を再生することがある。しかし、実際に測定する際にどうすれば良い分からなくなったり、手順を間違えて最初からやり直したりなど、修得に必要な時間が多くなってしまう場合がある。 In addition, for example, images such as videos may be reproduced for the purpose of educating beginners on measurement methods and the like. However, there are times when you don't know what to do when actually measuring, or when you make a mistake and start over from the beginning, and it takes a lot of time to learn.
本実施形態に係る測定システム1Dでは、ユーザ800が装着するヘッドマウントディスプレイHDの仮想3次元空間内に実際の測定機Mの映像と、様々な画像とを合成して表示することで、効率的な操作を行うことができるようになる。
In the
図19~図23は、動作例を示す模式図である。
図19には、ユーザ800に技術的な支援を行う例が示される。
図19に示すように、ユーザ800はヘッドマウントディスプレイHDを装着する。また、3DセンサSRは、実3次元空間のユーザ800や測定機Mなどの物体の位置を検出する。ヘッドマウントディスプレイHDに設けられた3DカメラCMは、実3次元空間の3D映像を取得する。
19 to 23 are schematic diagrams showing operation examples.
FIG. 19 shows an example of providing technical support to the
As shown in FIG. 19, a
ユーザ800は、ヘッドマウントディスプレイHDによって3DカメラCMで取得した3D映像を参照することができる。図19に示す例では、3D映像として測定機Mの映像IMGが表示される。また、ヘッドマウントディスプレイHDには、3D映像の実3次元空間に合わせて測定機Mに関する各種の画像Gが表示される。
The
画像Gの表示位置は、測定機Mの映像IMGの位置に基づき決定される。これにより、3DカメラCMの画角が変わっても、画像Gの測定機Mに対する表示位置は変わらない。図19に示す例では、原点出しの手順に沿った画像Gが測定機Mの映像IMGに合成された状態で表示される。ユーザ800は、3DカメラCMで取得した実際の測定機Mの映像IMGを参照しながら、原点出しの手順に沿った画像Gを参照することができる。
The display position of the image G is determined based on the position of the image IMG of the measuring instrument M. FIG. Accordingly, even if the angle of view of the 3D camera CM changes, the display position of the image G with respect to the measuring device M does not change. In the example shown in FIG. 19, an image G in accordance with the origin search procedure is displayed in a state of being synthesized with the image IMG of the measuring instrument M. In the example shown in FIG. The
このような画像Gが実際の測定機Mの映像IMGに合成して表示されることで、ユーザ800は、測定機Mのどこの軸の原点を取得する必要があるのか、また、原点を取得するために必要な操作手順を直観的に把握することができる。
By displaying such an image G in combination with the image IMG of the actual measuring machine M, the
図20には、測定機Mの操作方法を教示する場合の動作例が示される。図20には、一例として測定プローブの交換手順を示す画像G1~G7が表される。ユーザ800が装着するヘッドマウントディスプレイHDには、画像G1~G7が順に並べられた状態で表示される。これらの画像G1~G7は、3DカメラCMで撮影した実際の測定機Mの映像IMG(図20には不図示)に合成される。なお、画像G1~G7の表示として、1つずつ順に表示させるステップ表示を行ってもよい。ステップ表示の再生、停止など動作は、ユーザ800の音声や手801の動作などによって指示される。
FIG. 20 shows an operation example when teaching how to operate the measuring instrument M. In FIG. FIG. 20 shows images G1 to G7 showing the replacement procedure of the measurement probe as an example. On the head-mounted display HD worn by the
ユーザ800は、ヘッドマウントディスプレイHDに表示された画像G1~G7を参照することで、実際の測定機Mの映像IMGと画像G1~G7とを見比べながら操作手順を把握することができる。
By referring to the images G1 to G7 displayed on the head-mounted display HD, the
図21には、ケーブルの接続方法を教示する場合の動作例が示される。ユーザ800が装着するヘッドマウントディスプレイHDには、3DカメラCMで撮影した実際の測定機Mの映像IMGや、パーソナルコンピュータの映像PC-IMGが表示される。さらに、この映像IMG、PC-IMGにケーブルやガイダンスの画像Gが合成された状態で表示される。ケーブルの画像Gは、実際のパーソナルコンピュータの映像PC-IMGの接続位置に合わせて合成表示される。
FIG. 21 shows an operation example for teaching how to connect cables. On the head-mounted display HD worn by the
このように、実際の測定機Mの映像IMGやパーソナルコンピュータの映像PC-IMGに、ケーブルを接続した際の画像Gが合成表示されるため、ユーザ800は直観的にケーブルの接続方法をイメージすることができる。
In this manner, the image G when the cable is connected is synthesized and displayed on the image IMG of the actual measuring machine M and the image PC-IMG of the personal computer, so that the
図22には、所定の異常に関する画像Gを表示する場合の動作例が示される。ユーザ800が装着するヘッドマウントディスプレイHDには、3DカメラCMで撮影した実際の測定機Mの映像IMGが表示される。ここで、測定ヘッド501に何らかの異常が発生している場合、ヘッドマウントディスプレイHDの映像IMGと合成して異常を知らせる画像Gを表示する。
FIG. 22 shows an operation example of displaying an image G relating to a predetermined abnormality. A head-mounted display HD worn by the
図22に示す例では、実際の測定機Mの映像IMGに「ケーブル接続異常」や「リミットON」といった警告を促す画像Gが合成表示される。これにより、ユーザ800は、実際の測定機Mの映像IMGに合わせてどのような異常が、どのような位置に発生しているかを視覚的に把握できるようになる。
In the example shown in FIG. 22, the image IMG of the actual measuring machine M is overlaid with an image G that prompts a warning such as "abnormal cable connection" or "limit ON". As a result, the
図23には、取扱説明書の画像Gを表示する例が示される。ユーザ800が装着するヘッドマウントディスプレイHDには、3DカメラCMで撮影した実際の測定機Mの映像IMGが表示される。この状態でユーザ800が所定のコマンドをコンピュータ100に送信すると、ヘッドマウントディスプレイHDの測定機Mの映像IMGの近傍に、取扱説明書の画像Gが合成表示される。
FIG. 23 shows an example of displaying an image G of an instruction manual. A head-mounted display HD worn by the
ユーザ800は、実際の測定機Mの映像IMGを参照しながら、ヘッドマウントディスプレイHDの表示空間上に表れた取扱説明書の画像Gを合わせて参照することができる。また、ユーザ800の指示によって取扱説明書の画像Gのページをめくることができる。例えば、ユーザ800の手801の動きを動体検出部102で検出することで、手801の動きを追尾する。そして、手801の動きからページをめくるような動作を認識した場合に、取扱説明書の画像Gのページをめくるような表示を行う。
While referring to the image IMG of the actual measuring machine M, the
また、ユーザ800は、所定の指示によって取扱説明書の画像Gの拡大および縮小を行うことができる。この動作も手801の動きを検知して行うことができる。
Further, the
図24は、ヘルパー表示の動作を例示するフローチャートである。
ヘルパー表示の動作はヘルパー生成部95によって行われる。ヘルパー生成部95は、ユーザ800によってヘルパーの呼出を行った場合や、何らかのエラーが発生した場合に動作を開始する。
FIG. 24 is a flow chart illustrating the operation of the helper display.
Helper display operation is performed by the
先ず、ステップS101に示すように、ヘルパーの表示を行う。ヘルパーとは、所定のガイダンスに対応した画像であり、人の形を模した画像やキャラクター画像であってもよい。ヘルパーは、ヘッドマウントディスプレイHDの仮想3次元空間内に表示される。 First, as shown in step S101, a helper is displayed. A helper is an image corresponding to predetermined guidance, and may be a human-shaped image or a character image. The helper is displayed within the virtual three-dimensional space of the head-mounted display HD.
次に、ステップS102に示すように、ヘルパーの応答を出力する。例えば、「Hello」、「Error Occurred!」、「May I help you?」など、ユーザ800に対する戸挨拶や問いかけを行う。ヘルパーの応答は、ヘッドマウントディスプレイHDに表示される画像に変化を付けたり、ヘッドホンマイクHPMに音声として出力されたりする。
Next, as shown in step S102, the helper's response is output. For example, greetings and questions to the
次に、ステップS103に示すように、音声コマンドの認識を行う。ユーザ800は、ヘッドホンマイクHPMに音声で問いかけを行う。この音声に基づきコマンドを認識する。次に、ステップS104に示すように、ヘルパーの応答を出力する。ヘルパーは、ユーザ800の指示したコマンドに対応した応答の出力を行う。例えば、「I teach you…」、「Please…」など、ユーザ800のコマンドに対応した画像や音声を出力する。
Next, as shown in step S103, voice commands are recognized. The
ステップS105に示すように、ヘルパーの応答で良いか否かの判断を行う。良い場合にはステップS106へ進み、ヘルパーの消去を行う。一方、更なる応答が必要な場合には、ステップS102へ戻り、以降の処理を繰り返す。 As shown in step S105, it is determined whether or not the response from the helper is acceptable. If it is good, the process proceeds to step S106 to delete the helper. On the other hand, if a further response is required, the process returns to step S102 and the subsequent processes are repeated.
図25~図28は、ヘルパーの表示例を示す模式図である。
図25には、測定機Mの操作手順をガイダンスするヘルパーの表示例が示される。
先ず、ユーザ800は、ヘルパーの呼出を行う。例えば、ユーザ800は「OK Mitutoyo.」と音声で問いかけを行う。これに応答してヘルパーが表示される。ヘッドマウントディスプレイHDの3次元空間内には実際の測定機Mの映像IMGが表示されるとともに、その近傍にヘルパーの画像(ヘルパー画像HG)が表示される。
25 to 28 are schematic diagrams showing display examples of helpers.
FIG. 25 shows a display example of a helper that guides the operating procedure of the measuring instrument M. As shown in FIG.
First, the
次に、ヘルパー画像HGは、例えば「Hello」と画像表示と音声とで応答を行う。次に、ユーザ800は、音声によって問いかけを行う。例えば、測定機Mの操作手順を聞くために、「How to…」のように音声で問いかけを行う。
Next, the helper image HG responds with, for example, "Hello" by image display and voice. Next, the
次に、ユーザ800の問いかけに対応して、ヘルパー画像HGは、例えば「I teach you…,operating it.」と応答する。続けて、ユーザ800は、例えば「Teach me step by step.」と問いかける。このように、ユーザ800とヘルパー画像HGとの問いかけと応答とを繰り返すようにして、測定機Mの操作手順のガイダンスが行われる。この際、測定機画像MGを表示して、手順の進行を測定機画像MGで表現するようにしてもよい。
Next, in response to the user's 800 question, the helper image HG responds, for example, "I teach you...,operating it." Subsequently, the
図26には、測定プローブの交換手順をガイダンスするヘルパーの表示例が示される。
先ず、ユーザ800は、例えば「OK Mitutoyo.」と音声で問いかけることで、ヘルパーの呼出を行う。これに応答してヘルパー画像HGが表示される。ヘルパー画像HGは、表示とともに、例えば「Hello」と画像表示と音声とで応答を行う。
FIG. 26 shows a display example of a helper that guides the measurement probe replacement procedure.
First, the
次に、ユーザ800は、例えば「How to change the probe.」と問いかける。ユーザ800の問いかけに対応して、ヘルパー画像HGは、例えば「Please do it this way.」と応答する。この応答とともに測定ヘッド画像501Gを表示して、測定プローブの交換手順を動画などでガイダンスする。
Next, the
図27には、ケーブルの接続エラーをガイダンスするヘルパーの表示例が示される。
先ず、ユーザ800は、例えば「OK Mitutoyo.」と音声で問いかけることで、ヘルパーの呼出を行う。これに応答してヘルパー画像HGが表示される。ヘルパー画像HGは、表示とともに、例えば「Hello」と画像表示と音声とで応答を行う。
FIG. 27 shows a display example of a helper that provides guidance for cable connection errors.
First, the
次に、ユーザ800は、例えば「Teach me connection error.」と問いかける。ユーザ800の問いかけに対応して、ヘルパー画像HGは、例えば「Please check connection of this cable.」と応答する。この応答とともに測定機画像MGとパーソナルコンピュータの画像PC-Gとを表示する。さらに、チェックを促すケーブルの画像Gを表示する。ユーザ800は、この画像を参照することで、どのケーブルの接続にエラーが発生しているかを視覚的に認識できることになる。
Next,
図28には、エラー発生時のヘルパーの表示例が示される。
測定機Mによる測定において何らかのエラーが発生した場合、自動的にヘルパー画像HGが表示される。ヘルパー画像HGは、例えば「Error occurred.」のように応答してエラーの発生を知らせる。
FIG. 28 shows an example of helper display when an error occurs.
If any error occurs in the measurement by the measuring machine M, the helper image HG is automatically displayed. The helper image HG notifies the occurrence of an error by responding, for example, "Error occurred."
次に、ユーザ800は、例えば「Teach me about error.」のように問いかける。ヘルパー画像HGは、ユーザ800からの問いかけに応答して、例えば「I teach you…」のように発生したエラーの詳細を出力する。
Next, the
このように、ヘルパー画像HGの表示およびヘルパー画像HGとのやり取りによって、ユーザ800は、まるでサービスマンから直接ガイダンスを受けているかのように、問題を解決していくことができる。
In this way, by displaying the helper image HG and interacting with the helper image HG, the
(第5実施形態)
図29は、第5実施形態に係る測定システムを例示する構成図である。
本実施形態に係る測定システム1Eは、ユーザ側制御装置であるコンピュータ100Aと、支援者側制御装置であるコンピュータ100Bとが互いにネットワークを介して接続された構成を備える。
(Fifth embodiment)
FIG. 29 is a configuration diagram illustrating a measurement system according to the fifth embodiment.
A
コンピュータ100Aには、測定機M、操作盤CT、ディスプレイD1、キーボードK1、マウスMS1、ヘッドマウントディスプレイHD1、ヘッドホンマイクHPM1、3DカメラCMおよび3DセンサSR1が接続される。 Computer 100A is connected with measuring instrument M, operation panel CT, display D1, keyboard K1, mouse MS1, head mounted display HD1, headphone microphone HPM1, 3D camera CM and 3D sensor SR1.
また、コンピュータ100Aは、CPU10A、記憶部20A、演算部30A、測定機制御部40、表示制御部50A、映像入出力部51A、カメラ制御部52A、立体映像生成部53A、撮影映像合成部531A、ヘッドマウントディスプレイ出力部54A、ヘッドホンマイク入出力部61A、音声入出力部62A、音響再生部621A、3Dセンサ入力部70A、位置・距離・姿勢認識部75Aおよび通信制御部101Aを有する。
The computer 100A also includes a
コンピュータ100Bには、ディスプレイD2、キーボードK2、マウスMS2、ヘッドマウントディスプレイHD2、ヘッドホンマイクHPM2および3DセンサSR2が接続される。 A display D2, a keyboard K2, a mouse MS2, a head mounted display HD2, a headphone microphone HPM2 and a 3D sensor SR2 are connected to the computer 100B.
また、コンピュータ100Bは、CPU10B、記憶部20B、演算部30B、表示制御部50B、立体映像生成部53B、ヘッドマウントディスプレイ出力部54B、ヘッドホンマイク入出力部61B、音声入出力部62B、音響再生部621B、3Dセンサ入力部70B、位置・距離・姿勢認識部75Bおよび通信制御部101Bを有する。
The computer 100B also includes a
このような測定システム1Eでは、測定機Mが設置されたユーザ側と、測定機Mの支援者側とが互いにネットワークNで接続される。ユーザ側では、ヘッドマウントディスプレイHD1に表示された測定機Mの映像IMGと、支援者側から送られた画像との合成を参照することができる。
In such a
支援者側では、ヘッドマウントディスプレイHD2に表示された仮想3次元空間においてグラフィック等の測定機画像MGと、ユーザ側から送られた画像との合成を参照することができる。すなわち、互いに離れた位置にいるユーザと支援者とのそれぞれにおいて、ヘッドマウントディスプレイHD1、HD2の表示を参照することで、まるで互いが近くにいるかのような3D映像を参照して操作を行うことができるようになる。 On the side of the supporter, in the virtual three-dimensional space displayed on the head-mounted display HD2, it is possible to refer to the composition of the measuring machine image MG such as graphics and the image sent from the user side. In other words, the user and the supporter, who are separated from each other, refer to the display of the head-mounted displays HD1 and HD2, respectively, to perform operations with reference to 3D images as if they were close to each other. will be able to
図30は、動作例を示す模式図である。
図30に示すように、ユーザ800は、ヘッドマウントディスプレイHD1およびヘッドホンマイクHPM1を装着する。3DセンサSR1は、ユーザ側の実3次元空間におけるユーザ800や測定機M、ワークWなどの物体の位置を検出する。また、ヘッドマウントディスプレイHD1に設けられた3DカメラCMは、測定機MやワークWなどの3D映像を取り込む。ユーザ側の測定機Mの情報、3DセンサSR1で検出した情報、3DカメラCMで取得した情報、ヘッドホンマイクHPM1で取得した情報などは、通信制御部101AからネットワークNを介して支援者側へ送信される。
FIG. 30 is a schematic diagram showing an operation example.
As shown in FIG. 30, a
一方、支援者900は、ヘッドマウントディスプレイHD2およびヘッドホンマイクHPM2を装着する。3DセンサSR2は、支援者側の実3次元空間における支援者900などの物体の位置を検出する。支援者側の3DセンサSR2で検出した情報、ヘッドホンマイクHPM2で取得した情報などは、通信制御部101BからネットワークNを介してユーザ側へ送信される。
On the other hand, the
次に、ユーザ800のヘッドマウントディスプレイHD1の表示例について説明する。ユーザ800のヘッドマウントディスプレイHD1には、3DカメラCMで取得した3D映像が表示される。例えば、ヘッドマウントディスプレイHD1には、測定機M、ワークW、コンピュータ100AのディスプレイD1などの映像が表示される。また、ヘッドマウントディスプレイHD1には、支援者側画像としてヘルパー画像HG1が表示される。
Next, a display example of the head mounted display HD1 of the
ヘルパー画像HG1としては、支援者900を模した画像が用いられる。ヘルパー画像HG1は、人の形を模した画像以外にキャラクター画像などであってもよい。ヘルパー画像HG1は、支援者900の動きに対応して変化する。
An image imitating the
すなわち、支援者900の動きを支援者側の3DセンサSR2によって検出し、その検出結果から支援者900の動きに追従するようにヘルパー画像HG1を動かす。これにより、ユーザ800は、測定機Mのある場所に、まるで支援者900がいるかのような映像を参照することができる。
Specifically, the movement of the
支援者900は、身振り手振りや音声を交えてユーザ800にアドバイスを送る。この動作に応じてユーザ800の参照するヘルパー画像HG1の動きが変化する。また、ユーザ800のヘッドホンマイクHPM1からは支援者900からの音声が出力される。
The
次に、支援者900のヘッドマウントディスプレイHD2の表示例について説明する。支援者900のヘッドマウントディスプレイHD2には、ユーザ側からネットワークNを介して送信された情報に基づき、仮想3次元空間の画像が表示される。仮想3次元空間内には、ユーザ800の使用する測定機画像MG、ワークWの画像(ワーク画像)WGが表示される。また、ユーザ800のコンピュータ100AのディスプレイD1の映像D-IMGが仮想3次元空間内に合成表示される。
Next, a display example of the head-mounted display HD2 of the
さらに、ヘッドマウントディスプレイHD2には、ユーザ側画像としてユーザ画像YGが表示される。ユーザ画像YGとしては、ユーザ800を模した画像が用いられる。ユーザ画像YGは、人の形を模した画像以外にキャラクター画像などであってもよい。ユーザ画像YGは、ユーザ800の動きに対応して変化する。
Furthermore, a user image YG is displayed on the head-mounted display HD2 as a user-side image. An image simulating the
すなわち、ユーザ800の動きをユーザ側の3DセンサSR1によって検出し、その検出結果からユーザ800の動きに追従するようにユーザ画像YGを動かす。これにより、支援者900は、仮想3次元空間内に表示される測定機画像MG、ワーク画像WGおよびユーザ画像YGによって、まるでユーザ800の測定場所にいるかのような感覚を得られる。
That is, the movement of the
例えば、ユーザ800は、ヘッドマウントディスプレイHD1に表示される測定機Mの映像と、この映像に合成されるヘルパー画像HG1とを参照し、ヘルパー画像HG1のアドバイスを受けながら測定作業を行うことができる。
For example, the
一方、支援者900は、ヘッドマウントディスプレイHD2に表示される仮想3次元空間内の測定機画像MGと、この測定機画像MGに合成されるユーザ画像YGとを参照し、ユーザ800に操作手順を指示するなど、アドバイスを送ることができる。
On the other hand, the
このように、ユーザ800および支援者900の双方が、お互いの画像を参照しながら音声やジェスチャーを交えてコミュニケーションをとることができ、離れた場所にいるにもかかわらず、まるでその場にいるかのような感覚によって作業を進めることができるようになる。
In this way, both the
(第6実施形態)
図31は、第6実施形態に係る測定システムを例示する構成図である。
図31に示すように、本実施形態に係る測定システム1Fは、コンピュータ100と、コンピュータ100と無線通信を介して接続される表示装置300とを備える。コンピュータ100には、測定機M、操作盤CT、カメラC1、ディスプレイD、キーボードKおよびマウスMSが接続される。コンピュータ100は、CPU10、記憶部20、特徴点生成部35、測定結果合成設定部36、測定機制御部40、表示制御部50、入出力制御部60、操作盤入出力部65および通信制御部101Aを有する。
(Sixth embodiment)
FIG. 31 is a configuration diagram illustrating a measurement system according to the sixth embodiment.
As shown in FIG. 31, the
特徴点生成部35は、カメラC1で取得した測定対象物(ワーク)の映像から特徴点を抽出する処理を行う。特徴点とは、ワークの外形を構成するために必要な偶部や辺(外形線)である。測定結果合成設定部36は、特徴点生成部35で生成された特徴点とワークの測定結果との対応付けを行う部分である。例えば、隣り合う2つの特徴点の距離と、その位置に対応したワークの測定結果との対応付けを行う。
The feature
表示装置300には、カメラC2および液晶パネル等のディスプレイパネルDPが設けられる。表示装置300は、CPU310、記憶部320、特徴点抽出・追跡部350、入出力部360、測定結果合成部370および通信制御部301を有する。
The
特徴点抽出・追跡部350は、カメラC2で撮影したワークの映像から特徴点を抽出し、その抽出した特徴点を映像内で追跡する処理を行う。カメラC2でワークを撮影している間、特徴点の抽出および追跡が行われる。
The feature point extraction/
測定結果合成部370は、カメラC2で撮影したワークの映像またはこの映像に基づくワークの画像に測定結果を合成する処理を行う。すなわち、測定結果合成部370は、特徴点抽出・追跡部350で抽出した特徴点に基づき、その特徴点と対応付けされた測定結果をコンピュータ100から読み出し、その測定結果をワークの映像または画像に合成する。
The measurement
これにより、表示装置300のディスプレイパネルDPには、ワークの映像または画像に、その特徴点に対応した測定結果が合成された表示が行われる。つまり、表示装置300のユーザは、カメラC2でワークの映像を取得すると、ワークの映像または画像に測定結果が合成された表示を参照できるようになる。
As a result, on the display panel DP of the
なお、本実施形態に係る測定システム1Fでは、複数の表示装置300によって測定結果を参照することもできる。それぞれの表示装置300によってワークWの映像を取得することで、各表示装置300にワークの映像または画像と測定結果とが合成表示されることになる。
In addition, in the
図32は、測定結果合成表示の処理の一例を示すフローチャートである。
先ず、ステップS201に示すように、カメラC2によってワークの映像を取得する。次に、ステップS202に示すように、特徴点を抽出済みか否かの判断を行う。抽出済みでない場合には、ステップS203に示す特徴点の抽出を行う。カメラC2で取得したワークの映像から特徴点を抽出した後は、ステップS204に示すように特徴点の追跡を行う。特徴点の抽出および追跡は、特徴点抽出・追跡部350の処理によって行われる。
FIG. 32 is a flow chart showing an example of the measurement result composite display process.
First, as shown in step S201, an image of the work is acquired by camera C2. Next, as shown in step S202, it is determined whether or not feature points have been extracted. If not already extracted, the feature points are extracted in step S203. After the feature points are extracted from the image of the workpiece acquired by the camera C2, the feature points are tracked as shown in step S204. Feature point extraction and tracking are performed by the feature point extraction/
次に、ステップS205に示すように、測定結果の合成を行う。ここでは、抽出および追跡しているワークの特徴点に合わせて、その特徴点に対応した測定結果の画像をワークの映像に合成する処理を行う。測定結果の合成処理は、測定結果合成部370によって行われる。
Next, as shown in step S205, the measurement results are synthesized. Here, in accordance with the feature points of the work being extracted and tracked, processing is performed to synthesize an image of the measurement results corresponding to the feature points with the image of the work. The measurement result synthesizing process is performed by the measurement
図33は、測定結果の合成表示例を示す模式図である。
図33に表した例では、表示装置300として携帯端末が用いられる。携帯端末にはカメラC2とディスプレイパネルDPが設けられる。このカメラC2でワークWを撮影すると、ワークWの映像IMGがディスプレイパネルDPに表示される。
FIG. 33 is a schematic diagram showing an example of a combined display of measurement results.
In the example shown in FIG. 33, a mobile terminal is used as the
特徴点抽出・追跡部350は、カメラC2で撮影したワークWの映像IMGからワークWの特徴点を抽出するとともに、撮影している間、その特徴点を追跡する。図33に示す例では、ワークWの特徴点CP1~CP4が抽出および追跡されている。
The feature point extraction/
測定結果合成部370は、抽出および追跡されている特徴点CP1~CP4に対応した測定結果を映像に合成する。例えば、特徴点CP1とCP2との距離の測定結果を、ワークWの映像IMGの特徴点CP1とCP2との間の寸法線とともに表示する。また、特徴点CP2とCP3との距離の測定結果を、ワークWの映像IMGの特徴点CP2とCP3との間の寸法線とともに表示する。さらに、特徴点CP4から得られた穴の直径の測定結果を、ワークWの映像IMGの特徴点CP4が示す穴の位置に寸法線とともに表示する。
The measurement
このような合成表示は、表示装置300でワークWを撮影している間、継続される。なお、ワークWを撮影する画角が変わった場合でも、ワークWの特徴点CP1~CP4を追跡しているため、ワークWの映像IMGの変化に追従するように測定結果の表示位置も変化して表示される。したがって、ユーザは、好みの角度でワークWを撮影することにより、所定の角度からみたワークWの映像IMGと、それに対応した測定結果の表示とを参照することができるようになる。
Such composite display is continued while the work W is photographed by the
図34(a)~(e)は、他の合成表示例を示す模式図である。
図34(a)には、カメラC2によって撮影したワークWの映像IMGが示される。また、図34(b)には、映像IMGから抽出および追跡される特徴点が示される。ここでは特徴点が丸印で示されている。図34(c)には、映像IMGに測定結果を合成表示した例が示される。ここでは、事前に設定された測定結果が特徴点の位置に合成表示される。
FIGS. 34A to 34E are schematic diagrams showing other composite display examples.
FIG. 34(a) shows an image IMG of the work W photographed by the camera C2. Also, FIG. 34(b) shows feature points extracted and tracked from the image IMG. Here, feature points are indicated by circles. FIG. 34(c) shows an example in which the measurement result is synthesized and displayed on the image IMG. Here, preset measurement results are synthesized and displayed at the positions of the feature points.
一方、図34(d)には、映像IMGに基づきCADモデルへフィッティングしたワーク画像WGの例が示される。すなわち、図34(b)に示す映像IMGから特徴点を抽出することで、ワークWの撮影箇所と角度が把握される。これに基づき、ワークWのCADモデルをフィッティングしてワーク画像WGを表示する。そして、図34(e)に示すように、CADモデルのワーク画像WGに測定結果を合成して表示する。 On the other hand, FIG. 34(d) shows an example of the work image WG fitted to the CAD model based on the image IMG. That is, by extracting feature points from the image IMG shown in FIG. Based on this, the CAD model of the work W is fitted and the work image WG is displayed. Then, as shown in FIG. 34(e), the measurement result is combined with the workpiece image WG of the CAD model and displayed.
映像IMGに測定結果を合成するか、CADモデルのワーク画像WGに測定結果を合成するかの切り替えは、ユーザの選択によって行われる。映像IMGに測定結果を合成すれば、実際に測定したワークWと、そのワークWの測定結果とを参照することができる。 The user selects whether to synthesize the measurement result with the image IMG or synthesize the measurement result with the work image WG of the CAD model. By synthesizing the measurement results with the image IMG, the actually measured work W and the measurement results of the work W can be referred to.
また、CADモデルのワーク画像WGに測定結果を合成すれば、CADモデルに基づく設計情報や、CADモデルの表示方法(サーフェスモデル、ワイヤーフレームモデル、セクション表示など)を選択して、その表示に合わせて測定結果を合成することができる。 In addition, if the measurement results are combined with the work image WG of the CAD model, design information based on the CAD model and the display method of the CAD model (surface model, wire frame model, section display, etc.) can be selected and adjusted according to the display. can be used to synthesize measurement results.
CADモデルのワーク画像WGでは、設計値と測定値との差に基づき表示色などの表示方法を変えることができる。例えば、寸法の許容範囲を超えている場合には赤で表示したり、許容範囲内に収まっている部分と、収まっていない部分とで表示態様を変えたりすることも可能である。 In the work image WG of the CAD model, the display method such as the display color can be changed based on the difference between the design value and the measured value. For example, if the dimension exceeds the allowable range, it can be displayed in red, or the display mode can be changed between the portion within the allowable range and the portion not within the allowable range.
また、本実施形態に係る測定システム1Fのうち、コンピュータ100および表示装置300によってユーザインタフェース装置を構成してもよい。このユーザインタフェース装置によれば、ワークWの映像をカメラC2で撮影することで、ワークWの特徴点が抽出され、この特徴点に基づいてワークWの所定の位置に対応した情報をワークWの映像IMGに合成して表示させることができる。
Further, the
(第7実施形態)
図35は、第6実施形態に係る測定システムを例示する構成図である。
図35に示すように、本実施形態に係る測定システム1Gは、コンピュータ100と、コンピュータ100と無線通信を介して接続される表示装置300とを備える。コンピュータ100には、測定機M、操作盤CT、カメラC1、ディスプレイD、キーボードKおよびマウスMSが接続される。コンピュータ100は、CPU10、記憶部20、マーカ認識登録部38、マーカ測定結果対応設定部39、測定機制御部40、表示制御部50、入出力制御部60、操作盤入出力部65および通信制御部101Aを有する。
(Seventh embodiment)
FIG. 35 is a configuration diagram illustrating a measurement system according to the sixth embodiment.
As shown in FIG. 35, the
マーカ認識登録部38は、カメラC1で取得したマーカの映像からマーカ固有の情報(形状の認識結果や識別情報など)を認識して、登録を行う。ここで、マーカとしては、他と区別可能な図形や写真など目印になるものが用いられる。マーカ測定結果対応設定部39は、マーカ認識登録部38で登録されたマーカと、所定の測定結果とを対応付けして登録する部分である。これらの登録情報は、記憶部20に記憶される。
The marker
表示装置300には、カメラC2および液晶パネル等のディスプレイパネルDPが設けられる。表示装置300は、CPU310、記憶部320、入出力部360、マーカ認識部380、マーカ測定結果合成部390および通信制御部301を有する。
The
マーカ認識部380は、カメラC2で撮影したマーカの映像からマーカ固有の情報を認識する処理を行う。マーカ測定結果合成部390は、マーカ認識部380で認識したマーカ固有の情報と対応付けされた測定結果を背景の映像に合成する処理を行う。
The
すなわち、マーカ測定結果合成部390は、マーカ認識部380で認識したマーカ固有の情報に基づき、その情報と対応付けされた測定結果をコンピュータ100から読み出し、その測定結果を背景の映像に合成する。
That is, the marker measurement
このような測定システム1Gにおいて、表示装置300のディスプレイパネルDPには、背景の映像と、マーカの位置に合成された測定結果とが表示されることになる。つまり、表示装置300のユーザは、カメラC2でマーカの映像を取得すると、そのマーカと対応付けされた測定結果が背景映像に合成された表示を参照できるようになる。
In such a
なお、本実施形態に係る測定システム1Gでは、複数の表示装置300によって測定結果を参照することもできる。それぞれの表示装置300によってマーカの映像を取得することで、各表示装置300のディスプレイパネルDPに背景と測定結果とが合成表示されることになる。
In addition, in the
図36は、マーカ登録および設定動作を例示するフローチャートである。この動作はコンピュータ100で行われる。
先ず、ステップS301に示すように、カメラC1でマーカの映像を取得する。次に、ステップS302に示すようにマーカの映像の認識を行う。例えば、撮影された特定の形のマーカや、特定の図形、写真などを認識して、これにマーカ固有の識別情報を付与し、登録する処理を行う。この処理は、マーカ認識登録部38によって行われる。
FIG. 36 is a flowchart illustrating marker registration and setting operations. This operation is performed by
First, as shown in step S301, the image of the marker is acquired by the camera C1. Next, as shown in step S302, recognition of the image of the marker is performed. For example, a process of recognizing a photographed marker of a specific shape, a specific figure, a photograph, etc., adding identification information specific to the marker, and registering it is performed. This processing is performed by the marker
次に、ステップS303に示すように、マーカと測定結果との対応付けを設定する処理を行う。すなわち、先のステップS302で認識されたマーカの識別情報と、所定の測定結果とを対応付けする処理を行う。この処理は、マーカ測定結果対応設定部39によって行われる。
Next, as shown in step S303, a process of setting correspondence between markers and measurement results is performed. That is, a process of associating the identification information of the marker recognized in the previous step S302 with the predetermined measurement result is performed. This processing is performed by the marker measurement result
次に、ステップS304に示すように、マーカ固有の識別情報と、この識別情報に対応付けされた測定結果との登録を行う。マーカ固有の識別情報と測定結果との対応付けは、マーカ設定情報として記憶部20に記憶される。この処理は、マーカ測定結果対応設定部39によって行われる。
Next, as shown in step S304, identification information unique to the marker and measurement results associated with this identification information are registered. The correspondence between the identification information unique to the marker and the measurement result is stored in the
図37は、マーカ認識および合成表示を例示するフローチャートである。この動作は表示装置300で行われる。
先ず、ステップS401に示すように、コンピュータ100の記憶部20から無線通信を介してマーカ設定情報を受信する。次に、ステップS402に示すように、カメラC2で撮影したマーカの映像を取得する。次いで、ステップS403に示すように、取得したマーカの映像からマーカ固有の識別情報の認識を行う。この処理は、マーカ認識部380によって行われる。
FIG. 37 is a flow chart illustrating marker recognition and composite display. This operation is performed by the
First, as shown in step S401, marker setting information is received from the
次に、ステップS404に示すように、マーカに対応付けされた測定結果を合成する処理を行う。すなわち、先のステップS403で認識したマーカ固有の識別情報から、この識別情報に対応付けされた測定結果をマーカ設定情報から読み出す。そして、カメラC2で撮影している背景の映像に、この測定結果を合成する処理を行う。この処理は、マーカ測定結果合成部390によって行われる。
Next, as shown in step S404, a process of synthesizing the measurement results associated with the markers is performed. That is, from the marker-specific identification information recognized in the previous step S403, the measurement result associated with this identification information is read from the marker setting information. Then, a process of synthesizing the measurement result with the background image captured by the camera C2 is performed. This processing is performed by the marker measurement
次に、ステップS405に示すように、全てのマークの認識および合成表示が終了したか否かを判断する。終了していない場合にはステップS402へ戻り、以降の処理を繰り返す。これにより、カメラC2で撮影された全てのマーカに対応して測定結果が合成表示されることになる。 Next, as shown in step S405, it is determined whether or not all marks have been recognized and synthesized. If not completed, the process returns to step S402, and the subsequent processes are repeated. As a result, the measurement results are synthesized and displayed for all the markers captured by the camera C2.
図38~図40は、マーカ認識による測定結果の表示例を示す模式図である。
図38には、携帯端末へ合成表示を行った例が表される。この例では、表示装置300として携帯端末が用いられる。また、用紙PPには、複数のマーカMK1~MK5が設けられている。
38 to 40 are schematic diagrams showing display examples of measurement results by marker recognition.
FIG. 38 shows an example in which composite display is performed on a mobile terminal. In this example, a mobile terminal is used as the
マーカMK1~MK5としては、特定の図形であったり、特定の写真であったりする。各マーカMK1~MK5には、マーカ固有の識別情報と測定結果とが対応付けされている。例えば、マーカMK1、MK2およびMK3には第1測定機M1の所定の測定結果が対応付けされる。また、マーカMK4およびMK5には第2測定機M2の所定の測定結果が対応付けされる。これらの対応付けは記憶部20に記憶される。
Markers MK1 to MK5 may be specific graphics or specific photographs. Each marker MK1 to MK5 is associated with marker-specific identification information and a measurement result. For example, the markers MK1, MK2 and MK3 are associated with predetermined measurement results of the first measuring device M1. Further, predetermined measurement results of the second measuring device M2 are associated with the markers MK4 and MK5. These associations are stored in the
ユーザは、表示装置300である携帯端末のカメラC2によって用紙PPを撮影する。この撮影によってマーカMK1~MK5の映像が取り込まれると、マーカMK1~MK5のそれぞれの識別情報が認識される。そして、この識別情報に基づき各マーカMK1~MK5に対応付けされた測定結果がコンピュータ100の記憶部20から読み出される。
The user takes an image of the paper PP with the camera C<b>2 of the mobile terminal, which is the
そして、撮影したマーカMK1~MK5の表示領域に、各マーカMK1~MK5に対応付けされた測定結果の画像が合成され、ディスプレイパネルDPに表示される。例えば、マーカMK1~MK3のそれぞれには第1測定機M1による測定結果の画像が合成され、マーカMK4およびMK5のそれぞれには第2測定機M2による測定結果の画像が合成される。 Then, the images of the measurement results associated with the respective markers MK1 to MK5 are synthesized in the display areas of the captured markers MK1 to MK5 and displayed on the display panel DP. For example, each of the markers MK1 to MK3 is synthesized with an image of the measurement result by the first measuring device M1, and each of the markers MK4 and MK5 is synthesized with an image of the measurement result by the second measuring device M2.
測定結果の画像は、表形式やグラフ形式など種々の形式によって表示される。画像を合成する際には、マーカMK1~MK5のそれぞれの示す領域に合わせるように大きさや角度を調整して表示するようにしてもよい。また、平面的な用紙PPの映像に、測定結果の画像が浮き上がるように立体的な画像で合成表示するようにしてもよい。 Images of measurement results are displayed in various formats such as a table format and a graph format. When synthesizing the images, the size and angle may be adjusted so as to match the areas indicated by the markers MK1 to MK5. Also, a three-dimensional image may be synthesized and displayed so that the image of the measurement result stands out on the image of the planar paper PP.
このように、ユーザは携帯端末でマーカMK1~MK5の付された用紙PPを撮影するだけで、マーカMK1~MK5の位置にレイアウトされた測定結果を参照できるようになる。 In this way, the user can refer to the measurement results laid out at the positions of the markers MK1 to MK5 simply by photographing the paper PP with the markers MK1 to MK5 with the portable terminal.
図39および図40には別の表示例が表される。
先ず、図39には、合成表示する前の表示例が表される。先の例と同様に、用紙PPには複数のマーカMK1~MK5が設けられている。また、この例では、メガネ型の表示装置300が用いられる。
39 and 40 show another display example.
First, FIG. 39 shows a display example before composite display. As in the previous example, the paper PP is provided with a plurality of markers MK1 to MK5. Also, in this example, a glasses-
この表示装置300では、メガネのレンズ部分にディスプレイパネルDPが設けられる。また、メガネのツルの部分にカメラC2が設けられる。ユーザはメガネ型の表示装置300を装着することで、メガネ前方の映像をカメラC2で撮影できるとともに、レンズ部分のディスプレイパネルDPに表示される情報を参照することができる。
In this
図40には、合成表示した後の表示例が表される。すなわち、メガネ型の表示装置300のカメラC2でマーカMK1~MK5を撮影すると、マーカMK1~ML5のそれぞれの識別情報が認識される。そして、識別情報に基づき各マーカMK1~MK5に対応付けされた測定結果が記憶部20から読み出される。そして、撮影したマーカMK1~MK5の表示領域に、各マーカMK1~MK5に対応付けされた測定結果の画像が合成され、ディスプレイパネルDPに表示される。
FIG. 40 shows a display example after composite display. That is, when the markers MK1 to MK5 are photographed by the camera C2 of the glasses-
メガネ型の表示装置300を装着しているユーザは、メガネのレンズ部分のディスプレイパネルDPに表示される背景の映像に測定結果が合成された表示を参照できるようになる。この例では、マーカMK1、MK2およびMK3の表示領域に第1測定機M1の測定結果が合成され、マーカMK4およびMK5の表示領域に第2測定機M2の測定結果が合成される。
A user wearing the glasses-
なお、マーカMK1~MK5と測定結果との対応付けの設定を変更すれば、同じマーカMK1~MK5であっても異なる測定結果を表示させることができる。すなわち、マーカMK1~MK5のレイアウトフォームを1つ作成することで、異なる測定結果を表示させることができる。 By changing the setting of the correspondence between the markers MK1 to MK5 and the measurement results, it is possible to display different measurement results even with the same markers MK1 to MK5. That is, different measurement results can be displayed by creating one layout form for the markers MK1 to MK5.
また、1つのマーカに複数の測定結果が対応付けされていてもよい。この場合、1つのマーカに対応して複数の測定結果の中のどの測定結果を合成表示させるかをユーザの任意で切り替えられるようにしてもよい。これにより、1つのマーカの映像を撮影することで、そのマーカの位置に切り替えによって異なる測定結果を表示させることができる。 Also, one marker may be associated with a plurality of measurement results. In this case, the user may arbitrarily switch which measurement result among the plurality of measurement results corresponding to one marker is synthesized and displayed. Accordingly, by capturing an image of one marker, it is possible to display different measurement results by switching to the position of the marker.
測定結果の画像は動画であってもよい。これにより、用紙PPの映像の上に動画が合成され、単なる用紙PPを仮想的な動画表示装置のように扱うことができる。 The image of the measurement result may be a moving image. As a result, a moving image is synthesized on the image of the paper PP, and the mere paper PP can be treated like a virtual moving image display device.
また、本実施形態に係る測定システム1Gのうち、コンピュータ100および表示装置300によってユーザインタフェース装置を構成してもよい。このユーザインタフェース装置によれば、マーカMK1~MK5の映像をカメラC2で撮影することで、このマーカMK1~MK5と対応する情報が読み出され、マーカMK1~MK5の映像を撮影している間、その読み出した情報をディスプレイパネルDPに表示させることができる。
Further, the
以上説明したように、本実施形態に係る測定システム1A、1B、1C、1D、1E、1Fおよび1Gによれば、測定機Mに対する操作性を向上させることが可能となる。
As described above, according to the
なお、上記に本実施形態を説明したが、本発明はこれらの例に限定されるものではない。例えば、3DカメラCMが取り付けられたヘッドマウントディスプレイHDを用いるシステムにおいては、上記説明したような3DカメラCMで撮影した現実空間の映像とコンピュータグラフィックスとを合成して表示する方法に限定されない。例えば、コンピュータグラフィックスを現実空間座標に合わせてヘッドマウントディスプレイHDに表示するようにしてもよい。この場合、3DカメラCMの代わり、または3DカメラCMに追加して3DセンサをヘッドマウントディスプレイHDに搭載しておき、3Dセンサで現実空間の座標系をリアルタイムに把握してコンピュータ処理で仮想空間を構築し、その空間上に実際に存在するかのようにコンピュータグラフィックスをリアルタイムに位置を更新して表示するようにしてもよい。また、前述の各実施形態に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、各実施形態の特徴を適宜組み合わせたものも、本発明の要旨を備えている限り、本発明の範囲に包含される。 Although the present embodiment has been described above, the present invention is not limited to these examples. For example, in a system using a head-mounted display HD to which a 3D camera CM is attached, the method is not limited to the method of synthesizing and displaying an image of the real space captured by the 3D camera CM and computer graphics as described above. For example, computer graphics may be displayed on the head-mounted display HD in accordance with real space coordinates. In this case, instead of the 3D camera CM, or in addition to the 3D camera CM, a 3D sensor is mounted on the head-mounted display HD, the coordinate system of the real space is grasped in real time by the 3D sensor, and the virtual space is generated by computer processing. It may be constructed and displayed with computer graphics updated in real time as if it actually existed in that space. In addition, additions, deletions, and design changes made by those skilled in the art to the above-described embodiments, and combinations of features of the embodiments as appropriate, do not include the gist of the present invention. so long as they are included in the scope of the present invention.
1A,1B,1C,1D,1E,1F,1G…測定システム
10,10A,10B,310…CPU
20,20A,20B,320…記憶部
30,30A,30B…演算部
35…特徴点生成部
36…測定結果合成設定部
38…マーカ認識登録部
39…マーカ測定結果対応設定部
40…測定機制御部
50,50A,50B…表示制御部
51,51A…映像入出力部
52…3Dカメラ制御部
52A…カメラ制御部
53,53A,53B…立体映像生成部
54,54A,54B…ヘッドマウントディスプレイ出力部
55…コントロール生成部
60…入出力制御部
61,61A,61B…ヘッドホンマイク入出力部
62,62A,62B…音声入出力部
65…操作盤入出力部
70,70A,70B…3Dセンサ入力部
75,75A,75B…姿勢認識部
76…コントロール入力認識部
80…投影図形生成部
85…プロジェクタ出力部
90…遠隔制御部
95…ヘルパー生成部
100,100a,100B…コンピュータ
101…コマンド設定部
101A,101B,301…通信制御部
102…動体検出部
103…コマンド実行部
104…測定動作記憶部
201…画像記憶部
300…表示装置
350…追跡部
360…入出力部
370…測定結果合成部
380…マーカ認識部
390…マーカ測定結果合成部
501…測定ヘッド
501G…測定ヘッド画像
531,531A…撮影映像合成部
621,621A,621B…音響再生部
800…ユーザ
801…手
802…足
900…支援者
B1~B7…ボタン設定領域
BG…ボタン画像
C1,C2,CM1…カメラ
CM…3Dカメラ
CM1…カメラ
CP1~CP4…特徴点
D,D1,D2…ディスプレイ
D-IMG,IMG…映像
DP…ディスプレイパネル
FL…床
G,G1~G7…画像
HD,HD1,HD2…ヘッドマウントディスプレイ
HG,HG1…ヘルパー画像
HPM,HPM1,HPM2…ヘッドホンマイク
K,K1,K2…キーボード
M,M1,M2…測定機
MG…測定機画像
MK1~MK5…マーカ
MS,MS1,MS2…マウス
N…ネットワーク
P1~P4…偶部
PC-G…画像
PC-IMG…映像
PP…用紙
PR…プロジェクタ
SR,SR1,SR2…3Dセンサ
W…ワーク
WB…ホワイトボード
WG…ワーク画像
YG…ユーザ画像
1A, 1B, 1C, 1D, 1E, 1F, 1G...
20, 20A, 20B, 320 Storage units 30, 30A, 30B Operation unit 35 Characteristic point generation unit 36 Measurement result synthesis setting unit 38 Marker recognition registration unit 39 Marker measurement result correspondence setting unit 40 Measuring instrument control Units 50, 50A, 50B Display control units 51, 51A Video input/output unit 52 3D camera control unit 52A Camera control units 53, 53A, 53B Stereoscopic video generation units 54, 54A, 54B Head mount display output unit 55 Control generation unit 60 Input/output control units 61, 61A, 61B Headphone microphone input/output units 62, 62A, 62B Audio input/output unit 65 Control panel input/output units 70, 70A, 70B 3D sensor input unit 75 , 75A, 75B Posture recognition unit 76 Control input recognition unit 80 Projected graphic generation unit 85 Projector output unit 90 Remote control unit 95 Helper generation units 100, 100a, 100B Computer 101 Command setting units 101A, 101B , 301 communication control unit 102 moving object detection unit 103 command execution unit 104 measurement operation storage unit 201 image storage unit 300 display device 350 tracking unit 360 input/output unit 370 measurement result synthesis unit 380 marker recognition Unit 390 Marker measurement result synthesizing unit 501 Measuring head 501G Measuring head images 531, 531A Photographed image synthesizing unit 621, 621A, 621B Sound reproducing unit 800 User 801 Hand 802 Foot 900 Supporters B1 to B7 ...Button setting area BG...Button images C1, C2, CM1...Camera CM...3D camera CM1...Cameras CP1 to CP4...Characteristic points D, D1, D2...Display D-IMG, IMG...Video DP...Display panel FL...Floor G , G1 to G7... Image HD, HD1, HD2... Head mounted display HG, HG1... Helper image HPM, HPM1, HPM2... Headphone microphone K, K1, K2... Keyboard M, M1, M2... Measuring machine MG... Measuring machine image MK1 ~MK5... Markers MS, MS1, MS2... Mouse N... Network P1 to P4... Even part PC-G... Image PC-IMG... Image PP... Paper PR... Projector SR, SR1, SR2... 3D sensor W... Work WB... White Board WG: work image YG: user image
Claims (5)
ユーザによる指示に基づき前記測定機の動作を制御する測定機制御部と、
実3次元空間での所定の対象物の3次元座標を検出する3次元センサ部と、
前記測定機の画像を仮想3次元空間内に表示する表示部と、
仮想3次元空間内の前記測定機の画像の位置に合わせて前記測定対象物の画像を合成して前記表示部に表示させる表示制御部と
を備え、
前記表示制御部は、前記測定機の測定動作に従って前記表示部の前記仮想3次元空間内に表示された前記測定機の画像を移動させ、
前記表示制御部は、前記表示部で表示される前記仮想3次元空間内の前記測定機の画像と仮想3次元空間内の前記測定機の画像の位置に合わせて合成表示された前記測定対象物の画像との干渉が発生する場合に、前記表示部に警告を表示させる
ことを特徴とする測定システム。 a measuring instrument for measuring an object to be measured;
a measuring machine control unit that controls the operation of the measuring machine based on instructions from a user;
a three-dimensional sensor unit for detecting three-dimensional coordinates of a predetermined object in a real three-dimensional space;
a display unit that displays an image of the measuring machine in a virtual three-dimensional space;
a display control unit that synthesizes the image of the measurement object in accordance with the position of the image of the measuring machine in the virtual three-dimensional space and displays the image on the display unit;
The display control unit moves the image of the measuring machine displayed in the virtual three-dimensional space of the display unit according to the measurement operation of the measuring machine ,
The display control unit controls the position of the image of the measuring device in the virtual three-dimensional space displayed on the display unit and the image of the measuring device in the virtual three-dimensional space to be combined and displayed. A measurement system characterized in that a warning is displayed on the display unit when interference with an image of the measurement occurs.
前記表示部は、前記画像記憶部に記憶された前記CAD画像を前記仮想3次元空間内に表示する
ことを特徴とする請求項1に記載の測定システム。 further comprising an image storage unit for storing CAD images of the measuring machine and the object to be measured;
The measurement system according to claim 1, wherein the display unit displays the CAD image stored in the image storage unit in the virtual three-dimensional space.
ことを特徴とする請求項1または2に記載の測定システム。 3. The measurement system according to claim 1, wherein the display control unit synthesizes the image of the object to be measured and the measurement result and displays them in the virtual three-dimensional space of the display unit.
前記表示制御部は、前記動体検出部で検出した前記ユーザの動作に合わせて、前記表示部で表示される前記仮想3次元空間内の前記測定機の表示を移動させるとともに、
前記仮想3次元空間内の前記測定機の移動を記憶する動作記憶部を備え、
前記表示制御部は、前記動作記憶部で記憶した前記測定機の動作を再生する
ことを特徴とする請求項1~3のいずれか1項に記載の測定システム。 further comprising a moving object detection unit that detects the user's motion from the three-dimensional coordinates detected by the three-dimensional sensor unit;
The display control unit moves the display of the measuring instrument in the virtual three-dimensional space displayed on the display unit in accordance with the user's motion detected by the moving object detection unit,
a motion storage unit that stores movement of the measuring machine in the virtual three-dimensional space;
The measurement system according to any one of claims 1 to 3, wherein the display control section reproduces the motion of the measuring instrument stored in the motion storage section.
前記遠隔表示制御部は、前記表示部に表示される前記仮想3次元空間内で前記ユーザの動作に基づき前記ネットワークを介して前記表示制御部に指示を送信する
ことを特徴とする請求項1~4のいずれか1項に記載の測定システム。 further comprising a remote display control unit connected to the display control unit via a network;
The remote display control unit transmits an instruction to the display control unit via the network based on an operation of the user in the virtual three-dimensional space displayed on the display unit. 5. The measurement system according to any one of 4 .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021059167A JP7177208B2 (en) | 2019-09-04 | 2021-03-31 | measuring system |
JP2022116356A JP2022153509A (en) | 2019-09-04 | 2022-07-21 | Measurement support system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019161127A JP6862515B2 (en) | 2019-09-04 | 2019-09-04 | Measurement system |
JP2021059167A JP7177208B2 (en) | 2019-09-04 | 2021-03-31 | measuring system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019161127A Division JP6862515B2 (en) | 2019-09-04 | 2019-09-04 | Measurement system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022116356A Division JP2022153509A (en) | 2019-09-04 | 2022-07-21 | Measurement support system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021113814A JP2021113814A (en) | 2021-08-05 |
JP7177208B2 true JP7177208B2 (en) | 2022-11-22 |
Family
ID=68845202
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019161127A Active JP6862515B2 (en) | 2019-09-04 | 2019-09-04 | Measurement system |
JP2021059167A Active JP7177208B2 (en) | 2019-09-04 | 2021-03-31 | measuring system |
JP2022116356A Pending JP2022153509A (en) | 2019-09-04 | 2022-07-21 | Measurement support system |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019161127A Active JP6862515B2 (en) | 2019-09-04 | 2019-09-04 | Measurement system |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022116356A Pending JP2022153509A (en) | 2019-09-04 | 2022-07-21 | Measurement support system |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP6862515B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6862515B2 (en) * | 2019-09-04 | 2021-04-21 | 株式会社ミツトヨ | Measurement system |
JP7383350B2 (en) * | 2020-02-25 | 2023-11-20 | 株式会社ミツトヨ | Teaching program for image measurement equipment |
CN113341737B (en) * | 2021-05-18 | 2023-11-10 | 珠海格力电器股份有限公司 | Control method, system, device, equipment and storage medium of intelligent household equipment |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002098520A (en) | 2000-09-26 | 2002-04-05 | Kubo Tex Corp | Real time monitoring three-dimensional measuring system using computer |
US20150049186A1 (en) | 2011-12-06 | 2015-02-19 | Hexagon Technology Center Gmbh | Coordinate measuring machine having a camera |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007033349A (en) * | 2005-07-29 | 2007-02-08 | Roland Dg Corp | Shape measuring method and its system |
CN102712091A (en) * | 2010-01-20 | 2012-10-03 | 法罗技术股份有限公司 | Embedded arm strain sensors |
JP6653526B2 (en) * | 2015-04-21 | 2020-02-26 | 株式会社ミツトヨ | Measurement system and user interface device |
JP6862515B2 (en) * | 2019-09-04 | 2021-04-21 | 株式会社ミツトヨ | Measurement system |
-
2019
- 2019-09-04 JP JP2019161127A patent/JP6862515B2/en active Active
-
2021
- 2021-03-31 JP JP2021059167A patent/JP7177208B2/en active Active
-
2022
- 2022-07-21 JP JP2022116356A patent/JP2022153509A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002098520A (en) | 2000-09-26 | 2002-04-05 | Kubo Tex Corp | Real time monitoring three-dimensional measuring system using computer |
US20150049186A1 (en) | 2011-12-06 | 2015-02-19 | Hexagon Technology Center Gmbh | Coordinate measuring machine having a camera |
Also Published As
Publication number | Publication date |
---|---|
JP2022153509A (en) | 2022-10-12 |
JP2019211487A (en) | 2019-12-12 |
JP6862515B2 (en) | 2021-04-21 |
JP2021113814A (en) | 2021-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6653526B2 (en) | Measurement system and user interface device | |
JP7177208B2 (en) | measuring system | |
US12079439B2 (en) | Shared augmented reality session recording and playback | |
CN104160369B (en) | The method, apparatus and computer readable storage medium of interactive navigation auxiliary are provided for using removable leader label | |
JP6723738B2 (en) | Information processing apparatus, information processing method, and program | |
CN111670018A (en) | Guidance for positioning a patient and a surgical robot | |
US20160288318A1 (en) | Information processing apparatus, information processing method, and program | |
US20100159434A1 (en) | Mixed Simulator and Uses Thereof | |
CN107077169A (en) | Spatial interaction in augmented reality | |
JP4834424B2 (en) | Information processing apparatus, information processing method, and program | |
JP6348732B2 (en) | Information processing system, information processing apparatus, information processing program, and information processing method | |
KR20120072126A (en) | Visual surrogate for indirect experience, apparatus and method for providing thereof | |
JP2010257081A (en) | Image procession method and image processing system | |
JP2005174021A (en) | Method and device for presenting information | |
CN115938181A (en) | Scan boot method, apparatus and system, medium, and computer device | |
US20190355281A1 (en) | Learning support system and recording medium | |
JP7129839B2 (en) | TRAINING APPARATUS, TRAINING SYSTEM, TRAINING METHOD, AND PROGRAM | |
JP6837109B2 (en) | Control system | |
CN115904188A (en) | Method and device for editing house-type graph, electronic equipment and storage medium | |
JP2021039567A (en) | Work support system and program | |
CN115729393A (en) | Prompting method and device in information processing process, electronic equipment and storage medium | |
CN115731349A (en) | Method and device for displaying house type graph, electronic equipment and storage medium | |
JP6765846B2 (en) | Information processing equipment, information processing methods, and programs | |
CN113516031A (en) | VR teaching system and multimedia classroom | |
JP2006123153A (en) | Development support device and development support program for communication robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210426 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7177208 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |