JP7474076B2

JP7474076B2 - 可視化装置及びプログラム

Info

Publication number: JP7474076B2
Application number: JP2020040292A
Authority: JP
Inventors: 信策阿部
Original assignee: Mitutoyo Corp
Current assignee: Mitutoyo Corp
Priority date: 2019-04-26
Filing date: 2020-03-09
Publication date: 2024-04-24
Anticipated expiration: 2040-03-09
Also published as: JP2020184318A

Description

本発明は、対象物の背面を可視化する可視化装置に関し、特に３次元測定機による測定時に有効な装置に関する。

物品の立体形状を測定する方法のひとつとして、３次元測定機（例えば特開２０００－６５５６１号公報を参照）が用いる方法が挙げられる。３次元測定機の一例を図１（ａ）に示す。３次元測定機１０は、大まかには本体１０ａと先端にスタイラスを備えるプローブ１０ｂとに分けられる。測定の対象物Ｗは本体１０ａに載置され、プローブ１０ｂは、本体１０ａが備える３次元方向の駆動機構により３次元方向に移動可能に本体１０ａに取り付けられる。

３次元測定機１０は、対象物Ｗの表面にプローブの先端を接触させることにより、接触位置の３次元座標値を測定する。プローブは接触式のほか、任意の３次元空間位置から対象物Ｗの表面を撮影して表面位置を測定する光学式等の非接触式のものもある。

特開２０００－６５５６１号公報

例えば、図１（ｂ）に示すように、３次元測定機１０により対象物Ｗの測定者から見て正面の窪みＤを測定する場合には、測定者の視点から当該窪みＤを視認することができる。また、測定者の視点から対象物Ｗの手前にあるプローブ１０ｂの先端１０ｂｔも視認することができる。このため、窪みＤに先端１０ｂｔを適切に接触させることができる。しかし、図１（ｃ）に示すように、対象物Ｗの位置を変えることなく対象物Ｗの背面形状を測定する場合には、測定者の視点から背面形状を視認することができない。また、プローブ１０ｂを対象物Ｗの背後に配置する必要があることから、先端１０ｂｔを視認することもできない。そのため、背面の測定時には対象物Ｗの位置を背面の測定が可能な位置に変更して（例えば反転させて）行うのが一般的である。

しかし、測定対象物の位置が変わることで、位置変更後の対象物上の測定座標と位置変更前の同位置の測定座標が合致するように座標系を再設定する必要があり、測定時間が長くなる、などの問題があった。

本発明の目的は、測定者の視線方向の正面に対する対象物の背面の形状を、視線方向の正面から見た形状として可視化を可能にする可視化装置及びプログラムを提供することにある。

本発明の実施形態に係る可視化装置は、３次元空間に所定の情報を重畳表示させて視認可能とするディスプレイと、ディスプレイを通した３次元空間の視界内に存在する物体の座標情報を検出する３次元センサと、３次元センサにより検出された各物体の座標情報を逐次取得し、取得の都度、対象物について予め用意された３次元モデルと照合して各物体の中から当該対象物を特定し、特定された当該対象物に３次元モデルを逐次フィッティングさせるフィッティング手段と、ディスプレイを通した視界内に存在する対象物の、表面の所定の注視範囲に対応する、対象物に重畳された３次元モデルの表面領域から、３次元センサから所定の注視範囲の略中心に向かう視線方向に見通される、３次元モデル内の見通し領域を、対象物の所定の注視範囲に重畳してディスプレイに表示させる表示制御手段と、を備える。表示制御手段は、例えば、対象物に重畳された３次元モデルのうち、見通し領域を除く他の領域について透過処理することにより、見通し領域を対象物の所定の注視範囲に重畳して前記ディスプレイに表示させるようにしてもよい。また、所定の注視範囲は、例えばディスプレイ内の所定の領域において視認される対象物の表面の範囲としてもよい。所定の注視範囲は、ディスプレイの所定位置から注視方向に向かう線と対象物の表面との交点を中心とする、対象物の表面の所定の範囲とするとよい。ここで、「ディスプレイの所定位置」は、例えばディスプレイの中心とするとよい。また、「注視方向」は、例えば、ディスプレイのスクリーンに垂直な方向、視線の方向、プローブの先端のある方向、等とするとよい。

これにより、ディスプレイを通して対象物の正面を見ることで、対象物の背面形状を疑似的に透視することができる。なお、ディスプレイは表示スクリーンを透過して３次元空間を視認できる透過型ディスプレイとしてもよいし、カメラで撮影した３次元空間の画像を表示することにより３次元空間を視認可能とする非透過型のディスプレイとしてもよい。

所定の方法により測定座標系が３次元センサの検出座標系と同じに設定された所定の測定機の、プローブの３次元モデル及び先端座標の情報を取得する測定機情報取得手段と、対象物の所定の注視範囲を視線方向に掃引して通過する対象物の背後の座標範囲にプローブの先端の座標が含まれるときに、当該先端の座標とプローブの３次元モデルとに基づき、座標範囲に含まれるプローブの部分及び当該部分の存在位置を特定するプローブ部分特定手段と、を更に備えてもよい。そして、表示制御手段が、見通し領域の背後の、プローブ部分特定手段により特定されたプローブの部分の存在位置に相当する位置に、当該プローブの部分に対応する当該プローブの３次元モデルの部分が視認されるように、当該プローブの３次元モデルの部分を対象物の所定の注視範囲に重畳表示させるようにしてもよい。この場合、所定の注視範囲は、例えばディスプレイの所定位置とプローブの先端とを結ぶ線と対象物の表面との交点を中心とする、対象物の表面の所定の範囲としてもよい。

これにより、測定機による対象物の背面の測定を、対象物の背後にあるプローブの位置と対象物の背面形状を疑似的に透視しながら正面側から行うことができる。

本発明の他の実施形態に係る可視化装置は、３次元空間に所定の情報を重畳表示させて視認可能とするディスプレイと、ディスプレイの表示範囲の３次元空間内に存在する物体の座標情報を検出する３次元センサと、３次元センサより検出された各物体の座標情報を逐次取得し、取得の都度、対象物について予め用意された３次元モデルと照合して、各物体の中から前記対象物を特定し、特定された前記対象物に３次元モデルを逐次フィッティングさせるフィッティング手段と、３次元センサで検出された対象物の、視線方向の正面に対する背面の形状を、視線方向の正面から見た形状に相当する３次元モデルを対象物に重畳表示してディスプレイに表示させる表示制御手段と、を備える。

これにより、ディスプレイを通して対象物の正面を見ることで、対象物の背面形状を擬似的に透視することができる。なお、ディスプレイは表示スクリーンを透過して３次元空間を視認できる透過型ディスプレイとしてもよいし、カメラで撮影した３次元空間の画像を表示することにより３次元空間を視認可能とする非透過型のディスプレイとしてもよい。

本発明では、所定の方法により測定座標系が３次元センサの検出座標系と同じに設定された所定の測定機の、プローブの先端座標の情報を取得する座標測定機情報取得手段と、対象物の背面形状を視線方向の正面から見た形状として重畳表示された３次元モデルの背後に、プローブが存在する場合に、背面形状の３次元モデルと重なるプローブの部分を特定するプローブ部分特定手段とをさらに備えるとよい。そして、フィッティング手段は、プローブ部分特定手段で特定されたプローブの部分に、プローブの３次元モデルをフィッティングさせるとよい。また、表示制御手段は、対象物の背面形状を視線方向の正面から見た形状に相当する３次元モデルと、その背後に存在するプローブの部分にフィッティングされた３次元モデルとを、それぞれ区別して視認可能にするとよい。

本発明において、表示制御手段は、視線方向の正面から見た形状に相当する３次元モデルを対象物に重畳表示する際に、視線方向の特定の範囲以外の領域の重畳表示を非表示としてもよい。

ここで、「区別して視認可能にする」具体例として、例えば、背面形状をグレースケールの表示色やワイヤーフレームの形式で表示する一方、プローブの部分についてはTrueカラーの表示色や3Dモデル表面に質感を与えるようにテクスチャーマッピング形式で表示するようにして、両者を明確に区別できるように重畳表示してもよい。

本発明の可視化装置の各手段の機能は、プログラムに記述してコンピュータに実行させることにより実現してもよい。

従来の３次元測定における問題点を説明する図である。本発明の可視化装置１００の機能ブロック図である。透過型ディスプレイの視界において対象物を特定し、３次元モデルをフィッティングし、注視範囲を特定する過程を説明する図である。見通し領域を説明する図である。対象物の背面形状を疑似的に透視可能とする原理を説明する図である。対象物の背面形状を疑似的に透視した例を示す図である。本発明の可視化装置２００の機能ブロック図である。対象物の背面形状及び対象物の背後にあるプローブの部分を疑似的に透視可能とする原理を説明する図である。対象物の裏面形状及び対象物の背後にあるプローブの部分を疑似的に透視した例を示す図である。各手段の機能が記述されたプログラムをＣＰＵで実行することにより各手段の機能を実現する本発明の可視化装置１００又は可視化装置２００の構成例を示す図である。本発明の可視化装置を多関節アーム方式かつ非接触式プローブを採用する３次元測定機に適用した例を示す図である。

以下、本発明の各実施形態を、図面を参照しつつ説明する。なお、以下の説明では同一の部位には同一の符号を付し、一度説明した部位については適宜その説明を省略する。

＜第１実施形態＞
図２に本発明の可視化装置１００の機能ブロック図を示す。可視化装置１００は、透過型ディスプレイ１１０、３次元センサ１２０、フィッティング手段１３０及び表示制御手段１４０を備える。

透過型ディスプレイ１１０は、自身の背後の３次元空間に所定の情報を重畳表示させて装着者が視認可能とする任意の方式の表示装置である。

３次元センサ１２０は、透過型ディスプレイ１１０を通した３次元空間の視界内に存在する物体の座標情報を検出する任意の方式の検出装置である。物体の座標情報は、物体の形状を特徴づける複数の特徴点それぞれの３次元座標として検出する。

フィッティング手段１３０は、３次元センサ１２０により検出された各物体の座標情報を逐次取得する。そして取得の都度、例えば記憶部１０１などに予め記憶された対象物Ｗの３次元モデルと照合して各物体の中から対象物Ｗを特定し、特定された対象物Ｗに３次元モデルを逐次フィッティングさせる。対象物Ｗの３次元モデルは、対象物Ｗの形状を特徴づける複数の特徴点情報からなる。

３次元センサ１２０では対象物Ｗの存在位置において検出可能な表面部分しか特徴点情報を得ることができない。しかし、得ることができた特徴点情報を手掛かりに、対象物Ｗの３次元モデルを対象物Ｗの存在位置に当てはめることによって、３次元センサ１２０により検出できなかった部分の特徴点情報を補完することができる。よって、対象物Ｗの存在位置における対象物Ｗ全体の特徴点情報を得ることができる。本発明ではこの処理をフィッティングという。このようなフィッティングの性質上、対象物Ｗへの３次元モデルのフィッティングは必ずしも可視的に行われる必要はなく、３次元センサ１２０により座標が検出できない部分について、座標が検出できている部分との関係で相対的に座標が特定できていれば、外見上、対象物Ｗがそのまま見えている状態のままでも構わない。

表示制御手段１４０は、３次元センサで検出された対象物の、視線方向の正面に対する背面の形状を、視線方向の正面から見た形状に相当する３次元モデルを対象物に重畳表示可能にする。また、表示制御手段１４０は、視線方向の特定の範囲以外の領域の重畳表示を非表示可能とする。具体的な処理としては、表示制御手段１４０は、３次元モデル内の見通し領域を、対象物Ｗの所定の注視範囲に重畳して透過型ディスプレイ１１０に表示させるとよい。ここで、３次元モデル内の見通し領域は、透過型ディスプレイ１１０を通した視界内に存在する対象物Ｗの、表面の所定の注視範囲に対応する、対象物Ｗに重畳された３次元モデルの表面領域から、３次元センサ１２０から所定の注視範囲の略中心に向かう視線方向に見通される領域を指す。また、所定の注視範囲とは、例えば透過型ディスプレイ１１０内の所定の範囲において視認される対象物Ｗの表面の範囲とする。

具体例を、図３及び図４を参照して説明する。

図３（ａ）に示すように、透過型ディスプレイ１１０を通した視界ＦＶにおいて物体Ｕの一部又は全部が捉えられると、３次元センサ１２０は物体Ｕの形状を示す座標情報を取得し、対象物Ｗの３次元モデルＷＭと照合する。

照合により物体Ｕが対象物Ｗと特定された場合（図３（ｂ））、フィッティング手段１３０は、図３（ｃ）に示すように対象物Ｗに３次元モデルＷＭをフィッティングさせる。なお、図３（ｃ）では３次元モデルＷＭを対象物Ｗに重畳する形で可視的にフィッティングする例を示しているが、上記のとおりフィッティングは可視的に行わなくても構わない。

続いて、透過型ディスプレイ１１０の向きを変化させることなどにより、図３（ｄ）に示すように透過型ディスプレイ１１０の中央部に設定された起動領域Ｔａにおいて対象物Ｗの表面を捉える。以下、起動領域Ｔａにおいて捉えられた対象物Ｗの表面範囲を注視範囲Ｇａと呼び、３次元センサ１２０の存在位置ＰＶを透過型ディスプレイ１１０の装着者の視線を起点に当該存在位置ＰＶから注視範囲Ｇａ内の所定の位置、例えば略中心Ｇｃに向かう方向を視線方向ＶＤと呼ぶ。

対象物Ｗへの３次元モデルＷＭのフィッティングは、必ずしも物体Ｕが対象物Ｗと特定されたタイミングで行う必要はなく、例えば、透過型ディスプレイ１１０の起動領域Ｔａにおいて対象物Ｗの表面が捉えられたタイミングで行っても構わない。

なお、透過型ディスプレイ１１０による視界ＦＶの座標範囲の情報は、３次元センサ１２０により逐次検出されており、視界ＦＶ内における起動領域Ｔａの位置も予め特定されている。このため、起動領域Ｔａに捉えられる視界ＦＶ内の部分、例えば対象物Ｗ上の注視範囲Ｇａについて座標範囲を特定することができる。また、３次元センサ１２０の存在位置ＰＶが３次元センサ１２０において既知であり、注視範囲Ｇａの略中心Ｇｃも注視範囲Ｇａの座標範囲内で特定されるため、視線方向ＶＤについても特定することができる。

表示制御手段１４０は、対象物Ｗにフィッティングされた３次元モデルＷＭのうち、注視範囲Ｇａに対応する表面領域Ｇａｍから視線方向ＶＤに見通される見通し領域ＦＤを、対象物Ｗに重畳して透過型ディスプレイ１１０に表示させる。

見通し領域ＦＤは、図４に示すように、注視範囲Ｇａに対応する３次元モデルＷＭの表面領域Ｇａｍを視線方向ＶＤに３次元モデルＷＭ内を掃引したときに通過する柱状領域として定義される。例えば、表面領域Ｇａｍが円形であれば見通し領域ＦＤは円筒形となる。

なお、上記のとおり注視範囲Ｇａ（表面領域Ｇａｍ）の座標範囲と視線方向ＶＤが特定され、対象物Ｗ（３次元モデルＷＭ）の存在座標範囲も３次元センサ１２０による特徴点の検出及び３次元モデルＷＭのフィッティングにより特定されている。このため、見通し領域ＦＤの座標範囲は、これらの情報に基づき特定することができる。

見通し領域ＦＤを対象物Ｗに重畳して透過型ディスプレイ１１０に表示させる具体的な方法は任意である。例えば、フィッティングにより対象物Ｗに重畳表示されている３次元モデルＷＭについて、表面領域Ｇａｍからの見通し領域ＦＤ以外の領域について透過処理をすることで、表面領域Ｇａｍからの見通し領域ＦＤのみを対象物Ｗの注視範囲Ｇａに重畳表示させるようにしてもよい。また、対象物Ｗにフィッティングされているが表示されていない３次元モデルＷＭについて、表面領域Ｇａｍからの見通し領域ＦＤのみを対象物Ｗの注視範囲Ｇａに重畳表示させるようにしてもよい。

以上のように構成された本発明の可視化装置１００によれば、透過型ディスプレイ１１０を通して対象物Ｗを正面から見ることで、対象物Ｗの背面形状を次のような原理で疑似的に透視することが可能となる。

図５（ａ）は、図４に示す対象物Ｗを背面側から見た時の対象物Ｗの背面Ｗｂの例を示す図である。図５（ａ）に示される背面範囲Ｇｂは、注視範囲Ｇａを視線方向ＶＤに掃引したときに背面Ｗｂから抜け出てくる範囲であり、柱状領域である見通し領域ＦＤの一方の底面にあたる表面領域Ｇａｍ（注視範囲Ｇａ）との関係で対になる他方の底面である。

背面範囲Ｇｂには、２つの窪みＤ１、Ｄ２が存在している。それ故、対象物Ｗの３次元モデルＷＭの背面にも窪みＤ１、Ｄ２に対応する窪みが存在している。

対象物Ｗが中身が詰まった立体であるとき、背面範囲Ｇｂ及び背面範囲Ｇｂに存在する窪みＤ１、Ｄ２は、表面側からは肉眼では観察することはできない。そこで、表面側から観察できると仮定すると、窪みＤ１、Ｄ２に対応する突起Ｐ１、Ｐ２が、背面Ｗｂに対応する仮想面Ｗｂｂにおける、背面範囲Ｇｂに対応する仮想範囲Ｇｂｂにおいて、図５（ｂ）に示す位置に観察される。

透過型ディスプレイ１１０を通した視界ＦＶにおいて検出された対象物Ｗの存在位置に、３次元モデルＷＭをワイヤーフレーム表現で表示させると、図５（ｃ）に示すように仮想面Ｗｂｂの突起Ｐ１、Ｐ２まで観測可能となる。もっとも、透過型ディスプレイ１１０の装着者が何らかの作業を行う際には、視界ＦＶの概ね中央部を利用して、当該中央部において捉えられる対象物Ｗの部分を注視して行うのが一般に想定される。

そこで、本発明ではそれに着目し、図５（ｄ）に示すように対象物Ｗ上に特定した注視範囲Ｇａから視線方向ＶＤへの見通し領域ＦＤについてのみ、３次元モデルＷＭを可視化して対象物Ｗに重畳表示させる。これにより、透過型ディスプレイ１１０の装着者が対象物Ｗに視線を向けることで、図６に示すように、注視範囲Ｇａから視線方向ＶＤに対象物Ｗの内部の仮想面Ｗｂｂをあたかも透視しているかのように観察することが可能となる。
＜第２実施形態＞

図７に本発明の可視化装置２００の機能ブロック図を示す。可視化装置２００は、対象物Ｗが、本体１０ａ、プローブ１０ｂ及び制御部１０ｃからなる３次元測定機１０の本体１０ａに載置されて行われる測定の対象物である場合に適する装置である。なお、３次元測定機１０の測定座標系は、任意の方法により３次元センサ１２０の検出座標系と同じに設定されているものとする。また、ここでは測定機が３次元測定機の場合を例にとって説明するが、本発明は有線通信または無線通信で接続されたプローブを用いて測定するその他の測定機においても同様に適用することができる。

可視化装置２００は、３次元測定機１０に載置された測定の対象物Ｗの背後にプローブ１０ｂの部分（特に先端）が隠れて見えない場合に、当該プローブ１０ｂの少なくとも先端を疑似的に可視化するとともに、測定の対象物Ｗの背面形状を疑似的に可視化する。このうち、対象物Ｗの背面形状の疑似的な可視化は、可視化装置２００に含まれる第１実施形態の可視化装置１００に相当する機能部により実現される。

可視化装置２００は、透過型ディスプレイ１１０、３次元センサ１２０、フィッティング手段１３０、表示制御手段２４０、測定機情報取得手段２５０及びプローブ部分特定手段２６０を備える。

測定機情報取得手段２５０は、３次元測定機１０のプローブ１０ｂの、３次元モデル及び座標情報を取得する。３次元モデルについては、予め３次元モデルが記憶された任意の記憶手段、例えば記憶部１０１から取得する。座標情報については３次元測定機１０から取得する。なお、任意の記憶手段や３次元測定機１０からの、３次元モデルや座標情報の取得方法や取得方式は任意である。３次元測定機１０から取得する場合には、例えば制御部１０ｃを介して任意の方式の無線通信又は有線通信により取得することができる。

プローブ部分特定手段２６０は、対象物Ｗの背面形状を視線方向の正面から見た形状として重畳表示された３次元モデルの背後にプローブが存在する場合に、背面形状の３次元モデルと重なるプローブの部分を特定する。具体的な処理としては、プローブ部分特定手段２６０は、対象物Ｗの注視範囲を視線方向に掃引して通過する対象物Ｗの背後の座標範囲にプローブ１０ｂの先端の座標が含まれるときに、当該先端の座標とプローブ１０ｂの３次元モデルとに基づき、対象物Ｗの背後の座標範囲に含まれるプローブ１０ｂの部分及び当該部分の存在位置を特定するとよい。

表示制御手段２４０は、表示制御手段１４０の機能に加え、次の機能を備える。見通し領域の背後の、プローブ部分特定手段２６０により特定されたプローブ１０ｂの部分の存在位置に相当する位置に、当該プローブ１０ｂの部分に対応するプローブ１０ｂの３次元モデルの部分が視認されるように、当該プローブ１０ｂの３次元モデルの部分を対象物Ｗの所定の注視範囲に重畳表示させる。ここで、「区別して視認可能にする」具体例としては、例えば、背面形状をグレースケールの表示色やワイヤーフレームの形式で表示する一方、プローブの部分についてはTrueカラーの表示色や3Dモデル表面に質感を与えるようにテクスチャーマッピング形式で表示するようにして、両者を明確に区別できるように重畳表示するとよい。

具体例を、図８を参照して説明する。

プローブ部分特定手段２６０は、注視範囲Ｇａを視線方向ＶＤに掃引して通過する対象物Ｗの背後の座標範囲ＢＤ、言い換えれば、見通し領域ＦＤの背後の座標範囲ＢＤに、プローブ１０ｂの先端１０ｂｔの座標が含まれるか否かを判定する。そして、含まれると判定された場合には、先端１０ｂｔの座標とプローブ１０ｂの３次元モデルＰＭとに基づき、対象物Ｗの背後の座標範囲ＢＤに含まれるプローブ１０ｂの部分１０ｂｐ及び当該部分１０ｂｐの存在位置を特定する。

ここで、対象物Ｗの背後の座標範囲ＢＤは、対象物Ｗの透過処理に際して既に特定された注視範囲Ｇａ及び対象物Ｗの座標範囲、並びに視線方向ＶＤに基づき特定することができる。また、３次元測定機１０の測定座標系におけるプローブ１０ｂの向きや可動範囲が特定されているため、測定機情報取得手段２５０により取得されたプローブ１０ｂの先端１０ｂｔの座標とプローブ１０ｂの３次元モデルに基づき、プローブ１０ｂの存在座標範囲を特定することができる。そのため、プローブ１０ｂの部分１０ｂｐ及び当該部分１０ｂｐの存在位置は、プローブ１０ｂの存在座標範囲が、対象物Ｗの背後の座標範囲ＢＤと重なる部分及び当該部分の存在位置として特定することができる。

そして、表示制御手段２４０は、見通し領域ＦＤの背後に存在するプローブ１０ｂの部分１０ｂｐの存在位置に相当する位置に、当該プローブ１０ｂの部分１０ｂｐに対応するプローブ１０ｂの３次元モデルＰＭの部分が視認されるように、当該プローブ１０ｂの３次元モデルＰＭの部分を対象物Ｗの注視範囲Ｇａに重畳表示させる。

以上説明した本発明の可視化装置２００によれば、透過型ディスプレイ１１０の装着者が対象物Ｗに視線を向けることで、図９に示すように、注視範囲Ｇａから視線方向ＶＤに対象物Ｗの内部の仮想面Ｗｂｂ及びその背後のプローブ１０ｂの部分１０ｂｐをあたかも透視しているかのように観察することが可能となる。そのため、３次元測定機１０による対象物Ｗの背面の測定を、プローブ１０ｂの位置と対象物Ｗの背面形状を確認しながら正面側から行うことができる。

なお、第２実施形態の可視化装置２００では、注視範囲Ｇａを例えば透過型ディスプレイ１１０の所定位置（例えば中心）とプローブ１０ｂの先端１０ｂｔとを結ぶ線と対象物Ｗの表面との交点を中心とする対象物Ｗの表面の所定の範囲としてもよい。これにより、プローブ１０ｂや透過型ディスプレイ１１０の装着者の動きに合わせて注視範囲Ｇａを変化させることができる。
＜第３実施形態＞

可視化装置１００又は可視化装置２００の各手段の機能は、プログラムに記述してコンピュータに実行させることにより実現してもよい。

各手段の機能をプログラムに記述しコンピュータに実行させて実現する場合の可視化装置１００又は可視化装置２００の構成例を図１０に示す。

可視化装置１００又は可視化装置２００は、例えば、記憶部１０１、ＣＰＵ１０２、通信部１０３、透過型ディスプレイ１１０及び３次元センサ１２０を備える。

ＣＰＵ１０２は、記憶部１０１に記憶された各手段の機能が記述されたプログラムを実行し、可視化装置１００又は可視化装置２００の機能を実現する。記憶部１０１は、３次元モデルやプログラムを記憶する任意の記憶手段であり、例えば、ＨＤＤやフラッシュメモリ等の記憶媒体のほか、不揮発性メモリ、揮発性メモリなどを採用することができる。なお、記憶部１０１は、可視化装置１００又は可視化装置２００の装置内に設ける代わりに、通信部１０３を介して接続されたクラウドストレージを採用して実現してもよい。通信部１０３は、無線ネットワーク又は有線ネットワークに接続するためのインタフェースであり、ＣＰＵ１０２により実行されたプログラムによる制御に従い、ネットワークに接続された３次元測定機１０の制御部１０ｃやクラウドストレージなどとの間で情報の送受を行う。透過型ディスプレイ１１０及び３次元センサ１２０は、ＣＰＵ１０２により実行されたプログラムによる制御に従い、情報の表示及び物体の検出を実行する。

本発明は、上記の各実施形態に限定されるものではない。各実施形態は例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。すなわち、本発明において表現されている技術的思想の範囲内で適宜変更が可能であり、その様な変更や改良を加えた形態も本発明の技術的範囲に含む。

例えば、上記の各実施形態では、３次元測定機の形状とプローブの方式が、形状が門型でプローブが接触式である場合を例にとって説明したが、他の形状や他の方式の場合にも本発明を適用することが可能である。

例えば、図１１（ａ）に示すような、多関節アーム式でかつプローブが非接触式の３次元測定機１０の場合にも、対象物Ｗの正面を測定する場合は図１１（ｂ）に示すように直接視認して測定を行い、背面を測定する場合には、図１１（ｃ）に示すようにプローブ１０ｂの先端１０ｂｔ近傍を疑似的に透過させる構成を、上記の各実施形態と概ね同様な方法で実現することができる。

また、上記の各実施形態では、ディスプレイとして、表示スクリーンを透過して３次元空間を視認できる透過型ディスプレイを採用する場合を例に説明したが、ディスプレイは非透過型であってもよい。この場合、カメラで撮影した３次元空間の画像を表示することにより３次元空間を視認可能とするとよい。非透過型のディスプレイを採用する具体的な構成例としては、スマートフォンなどの拡張現実（AR）表示が可能なデバイスや、ヘッドマウントディスプレイとカメラを組み合わせていわゆるビデオシースルーを可能とした仮想現実（VR）デバイス等で、３次元空間に所定の情報を重畳表示するとよい。

また、注視範囲の決め方は上記の各実施形態に示された方法に限定されない。例えば、所定の注視範囲は、ディスプレイの所定位置から注視方向に向かう線と対象物の表面との交点を中心とする、対象物の表面の所定の範囲としてもよい。ここで、「ディスプレイの所定位置」は、例えばディスプレイの中心とするとよい。また、「注視方向」は、例えば、ディスプレイのスクリーンに垂直な方向、視線の方向、プローブの先端のある方向、等とするとよい。注視方向を視線の方向とする場合、可視化装置に、装着者の視線の方向を検出するセンサを設け、当該センサにより検出した視線の方向を注視方向としてもよい。

１０…３次元測定機
１０ａ…本体
１０ｂ…プローブ
１０ｂｐ…プローブ１０ｂの座標範囲ＢＤに含まれる部分
１０ｂｔ…プローブ１０ｂの先端
１００、２００…可視化装置
１０１…記憶部
１０２…ＣＰＵ
１０３…通信部
１１０…透過型ディスプレイ
１２０…３次元センサ
１３０…フィッティング手段
１４０、２４０…表示制御手段
２５０…測定機情報取得手段
２６０…プローブ部分特定手段
ＢＤ…対象物Ｗの背後の座標範囲
Ｄ、Ｄ１、Ｄ２…窪み
ＦＤ…見通し領域
ＦＶ…視界
Ｇａ…注視範囲
Ｇａｍ…表面領域
Ｇｂ…背面範囲
Ｇｂｂ…仮想範囲
Ｇｃ…注視範囲Ｇａの略中心
Ｐ１、Ｐ２…突起
ＰＭ…プローブ１０ｂの３次元モデル
ＰＶ…３次元センサ１２０の存在位置
Ｔａ…起動領域
Ｕ…物体
ＶＤ…視線方向
Ｗ…対象物
Ｗｂ…対象物Ｗの背面
Ｗｂｂ…仮想面
ＷＭ…対象物Ｗの３次元モデル

Claims

３次元空間に所定の情報を重畳表示させて視認可能とするディスプレイと、
前記ディスプレイを通した前記３次元空間の視界内に存在する物体の座標情報を検出する３次元センサと、
前記３次元センサにより検出された各物体の座標情報を逐次取得し、取得の都度、対象物について予め用意された３次元モデルと照合して前記各物体の中から前記対象物を特定し、特定された前記対象物に前記３次元モデルを逐次フィッティングさせるフィッティング手段と、
前記ディスプレイを通した視界内に存在する前記対象物の、表面の所定の注視範囲に対応する、前記対象物に重畳された前記３次元モデルの表面領域から、前記３次元センサから前記所定の注視範囲の中心に向かう視線方向に見通される、前記３次元モデル内の見通し領域を、前記対象物の前記所定の注視範囲に重畳して前記ディスプレイに表示させる表示制御手段と、
を備える可視化装置。
前記表示制御手段は、前記対象物に重畳された３次元モデルのうち、前記見通し領域を除く他の領域について透過処理することにより、前記見通し領域を前記対象物の前記所定の注視範囲に重畳して前記ディスプレイに表示させることを特徴とする請求項１に記載の可視化装置。
前記所定の注視範囲は、前記ディスプレイ内の所定の領域において視認される前記対象物の表面の範囲であることを特徴とする請求項１または２に記載の可視化装置。
前記所定の注視範囲は、前記ディスプレイの所定位置から注視方向に向かう線と前記対象物の表面との交点を中心とする、前記対象物の表面の所定の範囲であることを特徴とする請求項１から３のいずれか１項に記載の可視化装置。
所定の方法により測定座標系が前記３次元センサの検出座標系と同じに設定された所定の測定機の、プローブの３次元モデル及び先端座標の情報を取得する測定機情報取得手段
と、
前記対象物の前記所定の注視範囲を前記視線方向に掃引して通過する前記対象物の背後の座標範囲に前記プローブの先端の座標が含まれるときに、前記先端の座標と前記プローブの３次元モデルとに基づき、前記座標範囲に含まれる前記プローブの部分及び当該部分の存在位置を特定するプローブ部分特定手段と、
を更に備え、
前記表示制御手段は、前記見通し領域の背後の、前記プローブの前記部分の存在位置に相当する位置に、前記プローブの前記部分に対応する前記プローブの３次元モデルの部分が視認されるように、前記プローブの３次元モデルの前記部分を前記対象物の前記所定の注視範囲に重畳表示させることを特徴とする請求項１から４のいずれか１項に記載の可視化装置。
前記所定の注視範囲は、前記ディスプレイの所定位置と前記プローブの先端とを結ぶ線と前記対象物の表面との交点を中心とする、前記対象物の表面の所定の範囲であることを特徴とする請求項５に記載の可視化装置。
コンピュータを請求項１から６のいずれか１項に記載の可視化装置の各手段として機能させるプログラム。