WO2018025842A1

WO2018025842A1 - 点群データ変換システム、その方法、及びプログラム

Info

Publication number: WO2018025842A1
Application number: PCT/JP2017/027840
Authority: WO
Inventors: 卓弥澤口; 秀樹岩澤
Original assignee: 株式会社Ｈｉｅｌｅｒｏ
Priority date: 2016-08-04
Filing date: 2017-08-01
Publication date: 2018-02-08

Abstract

３次元空間中の被写体をレンズを通して画像平面へ投影することで取得する２次元画像データを点群データに変換する点群データ変換システムを提供する。　点群データ変換システム１は、深度カメラ座標系に基づいて被写体の点群データを計測する深度カメラ１０４を備える第１電子機器１０と、非深度カメラ座標系に基づいて、被写体の２次元画像データを取得する非深度カメラ２０４を備える第２電子機器２０と、非深度カメラ２０４により取得された被写体の２次元画像データに対して、深度カメラ１０４により計測される被写体の表面の各点の深度カメラ座標系における座標値を非深度カメラ座標系における座標値に変換した点群データを対応付けることにより、被写体の２次元画像データを点群データに変換する点群データ変換部５０２と、を備える。

Description

点群データ変換システム、その方法、及びプログラム

　本発明は、任意の計測位置からの非接触計測による対象物の非深度カメラによる画像をリアルタイムに点群データに変換するシステム及びその方法に関する。ここで、非深度カメラとは、３次元空間中の被写体の表面をレンズを通して画像平面へ投影することにより２次元画像データを取得するカメラを意味する。例えば、画像カメラ（例えばカラーカメラ）、サーモグラフィカメラ、ハイパースペクトルカメラ、マルチスペクトルカメラ、ＩＲカメラ（赤外線カメラ）、ＵＶカメラ（紫外線カメラ）等が非深度カメラの例として挙げられる。

　非深度カメラとは別に、レーザースキャナ等の三次元計測装置を使用して、既設の建造物（例えば原子力発電所等のプラントや文化財等）の凹凸を有する非平面形状の計測対象物の輪郭を表す点群データを計測することが知られている。このような３次元計測装置は、測定対象物の測定点における三次元の座標値を有する点群データを取得する（例えば、特許文献１）。

　また、深度センサを、例えば通常の画像カメラと組み合わせて構成される「深度カメラ」が知られている。このような深度カメラを用いて計測対象物を計測することで、計測対象物表面の各点を画素単位で例えばＲＧＢの色情報とともに深度座標を併せ持つ、計測対象物の画像データを同時に取得することができる（例えば、特許文献２）。

特開２０１０－０９７４１９号公報特開２０１６－１２５８９７号公報

　上述した三次元計測装置又は深度カメラでは、図１に示すように「深度画像」と「非深度画像」が同じ位置から撮影されていたため、取得した画像を単純に重ね合わせるだけで点群データに色情報を紐づけることができた。しかしながら、例えば、計測対象物表面の各点のＲＧＢデータを画像データとして取得するデジタルカメラ、計測対象物表面の各点の温度データを画像データとして取得するサーモグラフィカメラ、計測対象物表面の各点の波長データを画像データとして取得するハイパースペクトルカメラ等の任意の「非深度カメラ」により取得される２次元画像データを点群データ化（３次元化）することはできない。

　本発明は、任意の「非深度カメラ」により取得される２次元画像データを、別の位置から撮影した「深度カメラ」により取得される「深度カメラ画像」を用いてリアルタイムに点群データ化（３次元化）するシステムを提供することを目的とする。

　（１）本願発明は、３次元空間中の被写体の表面をレンズを通して画像平面へ投影することにより取得される２次元画像データに対して、前記被写体の表面の各点の３次元空間座標値（後述の「点群データ」）を対応付け、前記２次元画像データを点群データに変換する点群データ変換システムであって、第１の３次元空間座標系（後述の「深度カメラ座標系」）に基づいて前記被写体の表面の各点における画像データ及び前記各点の前記第１の３次元空間座標系（後述の「深度カメラ座標系」）における座標値を含む点群データを計測する３次元計測部（後述の「深度カメラ」）を備える第１電子機器と、前記第１の３次元空間座標系とは異なる、第２の３次元空間座標系（後述の「非深度カメラ座標系」）に基づいて３次元空間中の前記被写体を画像平面へ投影することにより、前記被写体の２次元画像データを取得する２次元画像取得部（後述の「非深度カメラ」）を備える第２電子機器と、４つの頂点を有し、隣り合う前記４つの頂点を結ぶことで得られる四角形の互いに向かい合う辺が平行となる前記４つの頂点に所定の標識物が設けられるマーカー（後述の「治具座標系マーカー」）と、前記３次元計測部により計測された前記マーカーの点群データに基づいて、前記マーカーの少なくとも３つの頂点の前記第１の３次元空間座標系における座標値である第１マーカー位置情報を算出する第１マーカー位置情報算出部と、前記２次元画像取得部（非深度カメラ）により取得された前記マーカーの前記画像平面上の２次元画像データに基づいて、前記四角形の互いに向かい合う平行となる辺同士の前記画像平面上での交点（後述の「消失点」）及び前記２つの交点を結ぶ直線（後述の「消失線」）の前記画像平面上の方程式を算出し、前記マーカーの有する少なくとも３つの頂点の前記第２の３次元空間座標系における座標値である第２マーカー位置情報を算出する、第２マーカー位置情報算出部と、前記第１マーカー位置情報算出部により算出される前記第１マーカー位置情報及び前記第２マーカー位置情報算出部により算出される前記第２マーカー位置情報に基づいて、前記第１の３次元空間座標系における座標値を前記第２の３次元空間座標系における座標値に変換するための座標変換行列（_ｔＴ_ｄ）を算出する座標変換行列算出部と、前記２次元画像取得部により取得された前記被写体の２次元画像データに対して、前記３次元計測部により計測される前記被写体の表面の各点の前記第１の３次元空間座標系における座標値を前記座標変換行列（_ｔＴ_ｄ）により前記第２の３次元空間座標系における座標値に変換した点群データを対応付けることにより、前記被写体の２次元画像データを点群データに変換する点群データ変換部と、を備える点群データ変換システムに関する。

　（２）前記マーカーは、さらに、前記四角形により構成される平面上に含まれない、所定の標識物が設けられた別の頂点を有し、前記第１マーカー位置情報算出部は、さらに、前記別の頂点の前記第１の３次元空間座標系における座標値を含む前記第１マーカー位置情報を算出する（１）に記載の点群データ変換システム。

　（３）前記点群データ変換システムは、さらに、３次元空間のグローバル座標系を備え、前記マーカーの前記頂点の前記グローバル座標系の座標値が既知であり、前記点群データ変換部は、さらに、前記被写体の２次元画像データを前記グローバル座標系における座標値を有する点群データに変換することを特徴とする（１）又は（２）に記載の点群データ変換システム。

　（４）前記マーカーは、さらに、３次元空間の治具座標系を備え、前記点群データ変換部は、さらに、前記被写体の２次元画像データを前記治具座標系における座標値を有する点群データに変換することを特徴とする（１）～（３）に記載の点群データ変換システム。

　（５）前記２次元画像取得部（後述の「非深度カメラ」）は、サーモグラフィカメラによって構成され、前記被写体の２次元画像データは、熱画像データを含み、前記マーカーの頂点に配置される標識物は発熱体であることを特徴とする、（１）～（４）のいずれかに記載の点群データ変換システム。

　（６）前記２次元画像取得部は、赤外線カメラ（後述の「非深度カメラ」）によって構成され、前記被写体の２次元画像データは、所定の波長のスペクトル情報を含み、
　前記マーカーの頂点に配置される標識物は、前記赤外線カメラの受光できる所定の波長の光を出力する光源であることを特徴とする、（１）～（４）のいずれかに記載の点群データ変換システム。

　（７）前記２次元画像取得部は、紫外線カメラ（後述の「非深度カメラ」）によって構成され、前記被写体の２次元画像データは、所定の波長のスペクトル情報を含み、
　前記マーカーの頂点に配置される標識物は、前記紫外線カメラの受光できる所定の波長の光を出力する光源であることを特徴とする、（１）～（４）のいずれかに記載の点群データ変換システム。

　（８）前記２次元画像取得部は、マルチスペクトルカメラ（後述の「非深度カメラ」）によって構成され、前記被写体の２次元画像データは、所定の波長のスペクトル情報を含み、
　前記マーカーの頂点に配置される標識物は、前記マルチスペクトルカメラの受光できる所定の波長の光を出力する光源であることを特徴とする、（１）～（４）のいずれかに記載の点群データ変換システム。

　（９）前記２次元画像取得部（後述の「非深度カメラ」）は、ハイパースペクトルカメラによって構成され、前記被写体の２次元画像データは、ハイパースペクトル情報を含み、前記マーカーの頂点に配置される標識物は、前記ハイパースペクトルカメラの受光できる所定の波長の光を出力する光源であることを特徴とする、（１）～（４）のいずれかに記載の点群データ変換システム。

　（１０）前記２次元画像取得部（後述の「非深度カメラ」）は、カラーカメラによって構成され、前記被写体の２次元画像データは、前記被写体のカラー画像データを含み、前記マーカーの頂点に配置される標識物は、それぞれ表面が予め設定された色で着色されていることを特徴とする、（１）～（４）のいずれかに記載の点群データ変換システム。

　（１１）本願発明は、３次元空間中の被写体の表面をレンズを通して画像平面へ投影することにより取得される２次元画像データに対して、前記被写体の表面の各点の３次元空間座標値（点群データ）を対応付け、前記２次元画像データを点群データに変換する点群データ変換方法であって、第１の３次元空間座標系（深度カメラ座標系）に基づいて前記被写体の表面の各点における画像データ及び前記各点の前記第１の３次元空間座標系における座標値を含む点群データを計測する３次元計測ステップと、前記第１の３次元空間座標系（深度カメラ座標系）とは異なる、第２の３次元空間座標系（非深度カメラ座標系）に基づいて３次元空間中の前記被写体を画像平面へ投影することにより、前記被写体の２次元画像データを取得する２次元画像データ取得ステップと、３次元空間に配置される、４つの頂点を有し、隣り合う前記４つの頂点を結ぶことで得られる四角形の互いに向かい合う辺が平行となる前記４つの頂点に所定の標識物が設けられるマーカーを被写体として、前記３次元計測ステップにおいて計測して得られる前記マーカーの点群データに基づいて、前記マーカーの少なくとも３つの頂点の前記第１の３次元空間座標系における座標値である第１マーカー位置情報を算出する第１マーカー位置情報算出ステップと、前記マーカーを被写体として、前記２次元画像データ取得ステップにおいて取得された前記マーカーの前記画像平面上の２次元画像データに基づいて、前記四角形の互いに向かい合う平行となる辺同士の前記画像平面上での交点（消失点）及び前記２つの交点を結ぶ直線（消失線）の前記画像平面上の方程式を算出し、前記マーカーの有する少なくとも３つの頂点の前記第２の３次元空間座標系における座標値である第２マーカー位置情報を算出する第２マーカー位置情報算出ステップと、前記第１マーカー位置情報算出ステップにおいて算出される前記第１マーカー位置情報及び前記第２マーカー位置情報算出部により算出される前記第２マーカー位置情報に基づいて、前記第１の３次元空間座標系（深度カメラ座標系）における座標値を前記第２の３次元空間座標系（非深度カメラ座標系）における座標値に変換するための座標変換行列（_ｔＴ_ｄ）を算出する座標変換行列算出ステップと、前記２次元画像情報取得ステップにおいて取得された前記被写体の２次元画像データに対して、前記３次元計測ステップにおいて計測される前記被写体の表面の各点の前記第１の３次元空間座標系における座標値を前記座標変換行列（_ｔＴ_ｄ）により前記第２の３次元空間座標系（非深度カメラ座標系）における座標値に変換した点群データを対応付けることにより、前記被写体の２次元画像データを点群データに変換する点群データ変換ステップと、を備える、点群データ変換方法に関する。

　（１２）前記マーカーは、さらに、前記四角形により構成される平面上に含まれない、所定の標識物が設けられた別の頂点を有し、記第１マーカー位置情報算出ステップは、さらに、前記別の頂点の前記第１の３次元空間座標系における座標値を含む前記第１マーカー位置情報を算出する、（１１）に記載の点群データ変換方法。

　（１３）本願発明は、コンピュータに、（１１）又は（１２）に記載の方法の各ステップを実行させるためのコンピュータプログラムに関する。

　本発明の点群データ変換システムによれば、任意の「非深度カメラ」により取得される２次元画像データを、別の位置から撮影した「深度カメラ」により取得される「深度カメラ画像」を用いて、リアルタイムに点群データ化（３次元化）することができる。

従来の深度カメラによる点群データ取得の一例を示す概略図である。本発明の一実施形態に係る点群データ変換システムの概略図である。本発明の一実施形態に係る第１電子機器のハードウェア構成図である。本発明の一実施形態に係る第１電子機器の概略ブロック図である。本発明の一実施形態に係る第２電子機器のハードウェア構成図である。本発明の一実施形態に係る第２電子機器の概略ブロック図である。本発明の一実施形態に係る非深度カメラ座標系と２次元画像面（射影平面）との関係を示す概略図である。本発明の一実施形態に係る座標系算出部の概略ブロック図である。本発明の一実施形態に係る３次元データ処理部の概略ブロック図である。本発明の一実施形態に係る３次元データ表示制御部の概略ブロック図である。本発明の一実施形態に係る３次元データ保存部の概略ブロック図である。本発明の一実施形態に係るマーカーの一例を示す概略図である。本発明の一実施形態に係る深度カメラ座標系と治具座標系との間の関連を示す概略図である。本発明の一実施形態に係るキャリブレーションを説明する各座標系間の変換行列の関連を示す概略図である。本発明の一実施形態に係る非深度カメラ座標系と治具座標系との間の関連を示す概略図である。本発明の一実施形態において、非深度カメラによりマーカーの頂点が２次元画像データとして射影された射影平面の概要を示す概略図である。深度カメラ及び非深度カメラにより被写体を計測する様子を示す概要図である。深度カメラ座標系の座標値を非深度カメラ座標系の座標値に変換する様子を示す概要図である。本発明の一実施形態に係る非深度カメラにより被写体が投影される画像平面上のｘｙ座標と該画像平面上のピクセル座標との関係を示す概略図である。本発明の一実施形態における一連の処理の流れを示す図である。

　以下、本発明の点群データ変換システムの好ましい実施形態について、図面を参照しながら説明する。ここで、下記の実施形態はいずれも本発明の一例であり、これに限定されるものではない。

［第１実施形態］
　図２に示すように、点群データ変換システム１は、１つ以上の第１電子機器１０と、１つ以上の第２電子機器２０と、治具座標系マーカー３０と、座標系算出部４０と、３次元データ処理部５０と、３次元データ表示制御部６０と、３次元データ保存部７０と、を含んで構成される。これらは、有線及び／又は無線ネットワーク等を介して接続されている。
　なお、例えば座標系算出部４０が他の機器（例えば、第１電子機器１０）に含まれるような場合、座標系算出部４０と第１電子機器１０とは、内部インタフェースを介して接続される。
　後述するように、点群データ変換システム１は、システムに固有の座標系（以下、「基準座標系」又は「グローバル座標系」ともいう）を有するように構成される。例えば、後述する「治具座標系マーカー３０」を用いて、基準座標系を設定することができる。詳細については後述する。

＜第１電子機器１０＞
　図３Ａに示すように、第１電子機器１０は、制御部１０１と、制御部１０１で実行可能なプログラム等を記憶する記憶部１０２と、有線及び／又は無線による通信部１０３と、深度カメラ１０４と、計時部１０５と、を備える。例えばノートパソコンを含むパソコン、あるいはＣＰＵ、ＤＳＰ等の演算チップを搭載した演算ボードで構成することができる。なお、深度カメラ１０４とは、前述したように、画像カメラと深度センサとから構成されるカメラであって、計測対象物を計測することで、計測対象物表面の各点を画素単位で例えばＲＧＢの色情報とともに計測対象物表面の各点の深度座標を併せ持つ、計測対象物の画像データを同時に取得する。

　所定のプログラムをインストールし、メモリ１０２に記憶される所定のプログラムを制御部１０１で実行させることで、図３Ｂに示すように、制御部１０１を、第１通信部１０１１と、被写体の表面の各点を画素単位で例えばＲＧＢの色情報とともに位置情報を計測する３次元計測部１０１２として機能させるようにすることができる。また、制御部１０１を、さらに時刻同期部１０１３として機能させるようにしてもよい。なお、時刻同期部１０１３は必須ではなく、必要に応じて任意に備えるようにしてもよい。
　なお、当該プログラムは、第１電子機器１０に予めインストールされていてもよい。また、当該プログラムは、コンピュータ読み取り可能な記録媒体から必要に応じてインストール又は予め設定されたサーバから必要に応じて適宜ダウンロードされてもよい。以下、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置１０３のことをいう。

［第１通信部１０１１］
　有線又は無線により、他の機器（例えば、座標系算出部４０、３次元データ処理部５０、及び３次元データ表示制御部６０）との間で通信部１０３を介して制御信号、各種データのやり取りを行う。なお、例えば、他の機器を第１電子機器１０が備える場合、内部インタフェースを介してやりとりを行う。

［３次元計測部１０１２］
　３次元デジタイザ、レーザースキャナ等と同様の３次元計測手段として、「深度センサ」がある。「深度センサ」には主に、（１）Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ方式、（２）三角測量方式、（３）Ｄｅｐｔｈ　ｏｆ　Ｄｅｆｏｒｃｅ方式等があるが、（１）のＴｉｍｅ－ｏｆ－ｆｌｉｇｈｔ方式は、レーザや赤外線等の光を計測対象物に対して照射して反射させ、センサに届くまでの飛行時間をもとに計算し、計測対象物表面の各点までの深度センサのからの距離等（以下、「深度」ともいう）を瞬時に得ることができるセンサである。深度センサは計測対象物各点の深度を画素単位で把握することができる。
　ここで、計測対象物とは、例えば、既設の建造物（例えば原子力発電所等のプラントや文化財等）の凹凸を有する非平面形状の計測対象物のみならず、動く人間、動く動物、動く物等、時間の経過に伴って形状が変化する物体を含むことができる。
　３次元計測部１０１２は、深度センサを例えば通常の画像カメラと組み合わせて構成する深度カメラ１０４により計測対象物を計測することで、計測対象物表面の各点を画素単位で例えばＲＧＢの色情報とともに深度カメラの備える３次元の座標系における座標値（以下「深度座標」ともいう）を併せ持つ、計測対象物の画像データ（点群データ）を生成することができる。

　深度カメラ１０４は、固有の基準位置に基づく第１の３次元空間座標系（以下「深度カメラ座標系」ともいう）を備えている。深度カメラ１０４により計測された計測対象物表面の各点（画素単位）の位置は、深度カメラ座標系により、３次元座標（Ｘ、Ｙ、Ｚ）により表される。
　第１電子機器１０は、予め３次元空間の任意の位置に配置される。そうすることで、深度カメラ１０４の備える深度カメラ座標系が設定される。
　したがって、深度カメラ１０４により計測する場合には、計測対象物表面の各点（画素単位）の位置を表す３次元座標（Ｘ、Ｙ、Ｚ）と、その３次元座標位置における計測対象物表面のＲＧＢの色情報と、からなる点データの集合を計測データとして取得することができる。
　また、３次元計測部１０１２は、計測対象物の表面の各点の情報を画素単位で、予め設定した時間間隔で取得することができる。例えば、時間間隔として１／３０秒を設定することで、３次元計測部１０１２は、１秒間に３０コマの画像データ（３０ｆｐｓ）を取得することができる。３次元計測部１０１２により計測された画像データには、計測時刻となるタイムスタンプを付すことができる。
　なお、時間間隔については、１／３０秒に限定されない。例えば、１／２４秒、１／１２秒等、任意に設定してもよい。

［時刻同期部１０１３］
　時刻同期部１０１３は、例えば、ＩＥＥＥ１５８８に規定されたプロトコルを用いて、第２電子機器２０の内部時刻を基準時刻に同期させる。
　第１電子機器１０及び第２電子機器２０が、それぞれ予め設定した時間間隔で画像を取得する際に、前述したように、時刻同期部１０１３により計測時刻の同期を取ることにより、同一時刻に深度画像データ及び非深度画像データを取得するように構成することができる。なお、時刻同期部１０１３は必須の構成ではなく、例えば深度画像データ及び非深度画像データの取得時刻に実質的にずれがない場合には、時刻同期部１０１３を備えなくてもよい。
　また、第１電子機器１０及び第２電子機器２０によりそれぞれ取得した画像データに付与したタイムスタンプに基づいて、線形補間処理を行うことで、同一時刻の深度画像データ及び非深度画像データとするように構成してもよい。

　点群データ変換システム１は、第１電子機器１０（深度カメラ１０４）をＭ（Ｍ≧１）個備えるようにシステムを構成してもよい。
　ここで、ｉ（１≦ｉ≦Ｍ）（Ｍは第１電子機器１０の個数）を第１電子機器１０の識別番号とした場合、インデックス（識別番号）ｉの第１電子機器１０の備える深度カメラ１０４及び深度カメラ座標系をそれぞれ深度カメラ１０４（ｉ）、及び深度カメラ座標系（ｉ）という。また、インデックス（識別番号）ｉの第１電子機器１０（制御部１０１）の備える３次元計測部１０１２を３次元計測部１０１２（ｉ）という。
　第１電子機器１０（深度カメラ１０４）を複数個（Ｍ個）備える場合、各電子機器１０（ｉ）の深度カメラ（ｉ）により計測された画像データ（ｉ）は、計測時刻となるタイムスタンプにより、関連付けをすることができる。
　なお、第１電子機器１０が複数の深度カメラ１０４を備え、３次元計測部１０１２は各深度カメラ１０４による計測情報により深度座標を計測するように構成してもよい。

＜第２電子機器２０＞
　図３Ｃに示すように、第２電子機器２０は、制御部２０１と、制御部２０１で実行可能なプログラム等を記憶する記憶部２０２と、有線及び／又は無線による通信部２０３と、非深度カメラ２０４と、計時部２０５と、を備える。
　第１実施形態においては、非深度カメラ２０４としてサーモグラフィカメラを適用する。
　以下、「非深度カメラ２０４」又は「非深度カメラ２０４（サーモグラフィカメラ）」と記載する。サーモグラフィカメラ特有でない非深度カメラの記述に際しては「非深度カメラ２０４」と記載し、サーモグラフィカメラ特有の記述に際しては、「非深度カメラ２０４（サーモグラフィカメラ）」と記載する。

　図３Ｄに示すように、所定のプログラムをインストールし、制御部２０１が、メモリ２０２に記憶される所定のプログラムを実行することで、制御部２０１を、第２通信部２０１１、２次元画像取得部２０１２として機能させるようにすることができる。また、制御部２０１を、さらに時刻同期部２０１３として機能させるようにしてもよい。なお、時刻同期部２０１３は必須ではなく、必要に応じて任意に備えるようにしてもよい。制御部２０１の各機能部の詳細については後述する。
　なお、当該プログラムは、第２電子機器２０に予めインストールされていてもよい。また、当該プログラムは、コンピュータ読み取り可能な記録媒体から必要に応じてインストール又は予め設定されたサーバから必要に応じて適宜ダウンロードされてもよい。以下、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

　第２電子機器２０は、非深度カメラ２０４（サーモグラフィカメラ）により被写体の表面の各点の温度データを画像データとして取得する。非深度カメラ２０４（サーモグラフィカメラ）は、固有の第２の３次元空間座標系（以下、「非深度カメラ座標系」という）を有する。
　また、非深度カメラ２０４（サーモグラフィカメラ）は、被写体の表面の温度データからなる画像データを予め設定した時間間隔で取得することができる。例えば、時間間隔として１／３０秒を設定することで、非深度カメラ２０４（サーモグラフィカメラ）は、１秒間に３０コマの画像データ（３０ｆｐｓ）を取得することができる。非深度カメラ２０４（サーモグラフィカメラ）により計測された画像データには、計測時刻となるタイムスタンプを付すことができる。
　なお、時間間隔については、深度カメラ１０４と同様に１／３０秒に限定されない。例えば、１／２４秒、１／１２秒等、任意に設定してもよい。なお、深度カメラ１０４による点群データに基づいて、非深度カメラ２０４で取得した２次元画像を点群データ化することから、非深度カメラ２０４の時間間隔は深度カメラ１０４の時間間隔の整数倍となるように設定することが好ましい。

　第２電子機器２０は、予め３次元空間の任意の位置に配置される。そうすることで、第２電子機器２０（非深度カメラ２０４）の備える非深度カメラ座標系が設定される。
　前述したように、第１電子機器１０と第２電子機器２０は、近距離の位置に配置することが好ましい。
　また、第１電子機器１０及び第２電子機器２０が、それぞれ予め設定した時間間隔で画像データを取得する際に、後述の時刻同期部２０１３により計測時刻の同期を取ることにより、同一時刻に深度画像データ及び非深度画像データ（温度データ）を取得するように構成するようにしてよい。なお、深度画像データ及び非深度画像データの取得時刻に実質的にずれがない場合には、時刻同期部２０１３を備えなくてもよい。

　また、点群データ変換システム１は、第２電子機器２０（非深度カメラ２０４）をＮ（Ｎ≧１）個備えるようにシステムを構成してもよい。
　ここで、ｊ（１≦ｊ≦Ｎ）（Ｎは第２電子機器２０の個数）を第２電子機器２０の識別番号とした場合、インデックス（識別番号）ｊの第２電子機器２０の備える非深度カメラ２０４を非深度カメラ２０４（ｊ）という。同様に、非深度カメラ２０４（ｊ）の備える深度カメラ座標系を非深度カメラ座標系（ｊ）という。
　第２電子機器２０（非深度カメラ２０４）を複数個（Ｎ個）備える場合、各第２電子機器２０（ｊ）の非深度カメラ２０４（ｊ）により計測された画像データ（ｊ）は、計測時刻となるタイムスタンプにより、関連付けをすることができる。

　次に制御部２０１の機能部について説明する。
　［第２通信部２０１１］
　有線、又は無線回線により、他の機器（例えば、座標系算出部４０、３次元データ処理部５０、及び３次元データ表示制御部６０）との間で制御信号、各種データをやり取りを行う。なお、例えば、他の機器を第２電子機器２０が備える場合、内部インタフェースを介してやりとりを行う。

［２次元画像取得部２０１２］
　非深度カメラ２０４により計測対象物の画像を取得することにより、計測対象物の各点は、当該非深度カメラ２０４の設定位置により決定される２次元画像平面（以下、「画像平面」又は「射影平面」ともいう）上の点に投影される。

　図４に示すように、非深度カメラ２０４のカメラレンズ中心を原点Ｏとし、レンズの中心Ｏを通り、レンズ面に直交する直線（カメラの光軸）をＺ軸とし、レンズの中心Ｏを通り、２次元画像面（射影平面）上のｘ軸及びｙ軸と平行な直線をそれぞれＸ軸及びＹ軸とした場合、Ｘ軸、Ｙ軸、Ｚ軸で表される座標系を非深度カメラ座標系という。
　レンズ中心Ｏから２次元画像面（射影平面）までの距離は、レンズの焦点距離ｆに相当する。そして、非深度カメラ座標系で、（Ｘ，Ｙ，Ｚ）にある空間の点は、２次元画像面（射影平面）上の点（ｘ、ｙ）＝（ｆ・（Ｘ／Ｚ）、ｆ・（Ｙ／Ｚ））に投影される。
　このように、２次元画像情報計測部は、空間の点の非深度カメラ座標系での座標（Ｘ，Ｙ，Ｚ）を２次元画像面（射影平面）上の点（ｘ、ｙ）に投影するといえる。

　非深度カメラ２０４としてサーモグラフィカメラを適用した場合、３次元空間中の被写体の表面をレンズを通して画像平面へ投影されることにより取得される２次元画像データは、被写体の表面の非深度カメラ座標系での座標（Ｘ，Ｙ，Ｚ）に対応する個所の発熱温度を２次元画像面（射影平面）上の点（ｘ、ｙ）における当該発熱温度に対応するＲＧＢ値として計測するといえる。

［時刻同期部２０１３］
　時刻同期部２０１３は、例えば、ＩＥＥＥ１５８８に規定されたプロトコルを用いて、第２電子機器２０の内部時刻を基準時刻に同期させる。
　第１電子機器１０及び第２電子機器２０が、それぞれ予め設定した時間間隔で画像を取得する際に、前述したように、時刻同期部２０１３により計測時刻の同期を取ることにより、同一時刻に深度画像データ及び非深度画像データを取得するように構成することができる。なお、時刻同期部２０１３は必須の構成ではなく、例えば深度画像データ及び非深度画像データの取得時刻に実質的にずれがない場合には、時刻同期部２０１３を備えなくてもよい。
　また、第１電子機器１０及び第２電子機器２０によりそれぞれ取得した画像データに付与したタイムスタンプに基づいて、線形補間処理を行うことで、同一時刻の深度画像データ及び非深度画像データとするように構成してもよい。
　以上、第１電子機器１０及び第２電子機器２０のそれぞれ備える機能について説明した。
　次に、点群データ変換システム１の備える、座標系算出部４０、３次元データ処理部５０、３次元データ表示制御部６０について説明する。図３Ｅ～図３Ｈは、それぞれ座標系算出部４０、３次元データ処理部５０、３次元データ表示制御部６０の機能ブロック図を示す。

＜座標系算出部４０＞
　図５Ａに示すように、座標系算出部４０は、第１マーカー位置情報算出部４０１と、第１キャリブレーション処理部４０２と、第２マーカー位置情報算出部４０３と、第２キャリブレーション処理部４０４と、座標変換行列作成部４０５と、を備える。
　詳細は、後述する。

＜３次元データ処理部５０＞
　図５Ｂに示すように、３次元データ処理部５０は、点群データ座標値変換部５０１と、点群データ変換部５０２と、点群データ合成部５０３と、記憶部５０４と、を備える。
　詳細は後述する。

＜３次元データ表示制御部６０＞
　図５Ｃに示すように、３次元データ表示制御部６０は、視点操作部６０１と、データ表示方式選択部６０２と、データ再生・保存指示部６０３と、３次元データ表示処理部６０４と、を備える。
　詳細は後述する。

＜３次元データ保存部７０＞
　図５Ｄに示すように、３次元データ保存部７０は、点群データ記憶部７０１と、第２電子機器位置情報記憶部７０２と、を備える。
　詳細は、後述する。

　座標系算出部４０、３次元データ処理部５０、３次元データ表示制御部６０、及び３次元データ保存部７０は、有線及び／又は無線通信機能を備える、例えば、１台又は複数のパソコン、タブレット端末、スマートフォン、サーバ等の電子機器、あるいはＣＰＵ、ＤＳＰ等の演算チップを搭載した演算ボードで構成することができる。
　また、座標系算出部４０、３次元データ処理部５０、３次元データ表示制御部６０、及び３次元データ保存部７０の一部又は全てをクラウド上の仮想サーバ上においてもよい。
　また、座標系算出部４０、３次元データ処理部５０、３次元データ表示制御部６０、及び３次元データ保存部７０の一部又は全てを第１電子機器１０、又は第２電子機器２０により構成することもできる。
　いずれにしても、前述した第１電子機器１０又は第２電子機器２０、サーバ又は演算ボードの備える制御部２０１に、メモリに記憶される所定のプログラムを実行させることで、電子機器、又は演算ボードを、座標系算出部４０、３次元データ処理部５０、３次元データ表示制御部６０、及び３次元データ保存部７０として機能させるようにすることができる。
　なお、プログラムは、予め前述した電子機器又はクラウド上の仮想サーバにインストールされていてもよい。また、当該プログラムは、コンピュータ読み取り可能な記録媒体から必要に応じてインストール又は予め設定されたサーバから必要に応じて適宜ダウンロードされてもよい。

　次に、３次元空間の任意の位置に配置された第１電子機器１０（深度カメラ１０４）の備える深度カメラ座標系における座標値を、第２電子機器２０（非深度カメラ２０４）の備える非深度カメラ座標系における座標値に変換する座標変換行列_ｔＴ_ｄの算出について説明する。

　具体的には、予め、治具座標系を有する治具座標系マーカー３０を所定の位置に配置し、深度カメラ座標系及び非深度カメラ座標系のキャリブレーションを行うことで、深度カメラ座標系における座標値を、治具座標系における座標値に変換する座標変換行列_ｊＴ_ｄ及び非深度カメラ座標系における座標値を、治具座標系における座標値に変換する座標変換行列_ｊＴ_ｔをそれぞれ算出する。
　そうすることで、深度カメラ座標系における座標値を非深度カメラ座標系における座標値に変換する座標変換行列_ｔＴ_ｄを算出することができる。

　なお、算出された座標変換行列_ｔＴ_ｄに基づいて、第１電子機器１０（深度カメラ）で計測される被写体の点群データの座標値を非深度カメラ座標系における座標値に変換することができる。
　そうすることで、深度カメラ１０４をあたかも非深度カメラ２０４と同じ位置に配置して計測される被写体の点群データに近い点群データを得ることができる。
　特に、第１電子機器１０と第２電子機器２０を近距離の位置に配置することで、深度カメラ１０４をあたかも非深度カメラ２０４と同じ位置に配置して計測される被写体の点群データに限りなく近い点群データを得ることができる。

［治具座標系マーカー３０について］
　点群データ変換システム１は、線形独立となる座標値が既知である位置に設けられる複数の視覚的特徴を有する所定の標識物（以下、「治具座標系マーカー３０」又は単に「マーカー」ともいう）を備える。
　「治具座標系マーカー３０」により、点群データ変換システム１に治具座標系を設定することができる。

　図６に、治具座標系マーカー３０の一例を示す。図６に示すように、マーカーは、各頂点を同一の半径の球体とした４辺を有し、向かい合う２組の辺がそれぞれ平行な四角形（平行四辺形）の形状をした構造体とすることができる。また、平行四辺形は直角を挟む２辺の長さが異なる長方形とすることが好ましい。以下、簡単のため、マーカーは長方形として説明する。また、長方形の各頂点をそれぞれ、Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３とし、ベクトルＰ_０Ｐ_１の大きさは、ベクトルＰ_０Ｐ_３の大きさよりも小さいものとする。
　４個の球体は、それぞれ、熱を発するもの（例えば、発熱ランプ）とする。一例としてＰ_０に対応する１個の発熱温度は、他の球体よりも高い温度を発熱するように構成する。同様にＰ_１に対応する１個の発熱温度は、Ｐ_０を除く３個の球体のうち、他の球体よりも高い温度を発熱するように構成する。
　そうすることで、非深度カメラ２０４（サーモグラフィカメラ）により取得された画像データに基づいて、当該４個の球体を検出するとともに、他の球体よりも高い温度を発熱する球体Ｐ_０、及び２番目に高い温度を発熱する球体（Ｐ_１）を検出することが容易となる。

　また、深度カメラ１０４により計測された計測データにおいて、当該４個の球体の内３個（Ｐ_０，Ｐ_１，Ｐ_３）を識別できるように、４個の球体の表面が予め設定された色（例えば赤色）で着色されているように構成する。
　そうすることで、深度カメラ１０４により取得された計測結果に基づいて、当該４個の球体の内３個（Ｐ_０，Ｐ_１，Ｐ_３）を検出することが容易となる。なお、球体の半径、球体の表面の色、及び長方形の辺の長さは、適宜設定することができる。
　例えばベクトルＰ_０Ｐ_１の大きさが、ベクトルＰ_０Ｐ_３の大きさよりも小さくなるように構成することで、深度カメラ１０４により計測された計測データに基づいて、球体Ｐ_０，球体Ｐ_１，球体Ｐ_３をそれぞれ検出することができる。

［治具座標系］
　図６を参照して、治具座標系マーカー３０により設定される治具座標系について説明する。前述したように、長方形の各頂点をそれぞれ、Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３とし、例えば、ベクトルＰ_０Ｐ_１の大きさは、ベクトルＰ_０Ｐ_３の大きさよりも小さいものとする。なお、ベクトルの大きさは一例であって、ベクトルＰ_０Ｐ_１の大きさは、ベクトルＰ_０Ｐ_３の大きさよりも大きいものとしてもよい。この場合、頂点Ｐ_０を始点として頂点Ｐ_１を終点とするベクトル（以下「ベクトルＰ_０Ｐ_１」という）と、頂点Ｐ_０を始点として頂点Ｐ_３を終点とするベクトル（以下「ベクトルＰ_０Ｐ_３」という）との外積ベクトルを頂点Ｐ_０を始点として表現した場合の終点をＰ_４とする。

　このようにして、一例として、治具座標系マーカー３０により、Ｐ_０を原点、ベクトルＰｏＰ_１方向をＸ軸、ベクトルＰ_０Ｐ_３方向をＹ軸、ベクトルＰ_０Ｐ_４方向をＺ軸とする、治具座標系を規定することができる。なお、この規定は、一例であって、これに限定されない。例えば、ベクトルＰｏＰ_３方向をＸ軸、ベクトルＰ_０Ｐ_１方向をＹ軸としてもよい。

［深度カメラ座標系と治具座標系］
　次に、図７を参照しながら、深度カメラ座標系と治具座標系との間の座標変換について説明する。図７は、深度カメラ座標系と治具座標系との間の関連を示す概略図である。
　座標系算出部４０の第１マーカー位置情報算出部４０１は、第１電子機器１０（深度カメラ１０４）により取得された計測情報に基づいて、治具座標系マーカー３０を検出し、検出したマーカーの構成要素（マーカーの頂点等）の深度カメラ座標系における座標値（以下「第１マーカー位置情報」という）を算出することができる。
　そうすることで、座標系算出部４０の第１キャリブレーション処理部４０２は、治具座標系における座標値を深度カメラ座標系における座標値に変換するための座標変換行列_ｄＴ_ｊ、及びその逆行列となる深度カメラ座標系における座標値を治具座標系における座標値に変換するための座標変換行列_ｊＴ_ｄを算出することができる。

［第１マーカー位置情報算出部４０１による第１マーカー位置情報の算出］
　第１マーカー位置情報算出部４０１による治具座標系マーカー３０の検出方法の一例について説明する。

　ここでは、説明を簡単にするために、治具座標系マーカー３０に対応する球体の内３個（Ｐ_０，Ｐ_１，Ｐ_３）の表面の色をＲＥＤ、球体の半径をＲｃｍとする。
　また、キャリブレーションの際には、深度カメラ１０４による計測対象範囲内には、治具座標系マーカー３０以外に（特に、半径Ｒｃｍ、色がＲＥＤとなる）球体を設置しないようにすることが好ましい。

　第１マーカー位置情報算出部４０１は、深度カメラ１０４により計測された深度画像データ内において色がＲＥＤの部分を抽出して、当該抽出したＲＥＤの部分の深度画像データ、すなわち当該抽出したＲＥＤの部分表面の各点のＲＧＢの色情報である（Ｒ）と、各点（画素単位）の位置を表す深度カメラ座標系における３次元座標（ｘ、ｙ、ｚ）と、からなる点データの集合を深度画像データ（ＲＥＤ）として取得し、記憶部４０６に記憶する。

　第１マーカー位置情報算出部４０１は、深度カメラ１０４により計測された深度画像データ及び記憶部４０６に格納された色がＲＥＤである深度画像データ（ＲＥＤ）の位置情報に基づいて、治具座標系マーカー３０を構成する球体を示す円を抽出する。
　具体的には、第１マーカー位置情報算出部４０１は、深度画像データから例えば公知のラプラシアン変換、Ｓｏｂｅｌ法又はＣａｎｎｙ法等により、物体の輪郭部分の抽出を行い、エッジ画像を生成する。この際、第１マーカー位置情報算出部４０１は、記憶部４０６に格納された色がＲＥＤである深度画像データ（ＲＥＤ）とその周辺を含む画像データを対象として、エッジ画像を生成するようにしてもよい。第１マーカー位置情報算出部４０１は、エッジ画像から公知のＨｏｕｇｈ変換により円を抽出する。第１マーカー位置情報算出部４０１は、抽出された円の座標が記憶部４０６に格納された色がＲＥＤである深度画像データ（ＲＥＤ）に含まれるものを抽出する。第１マーカー位置情報算出部４０１は、さらに、抽出された円の半径を計算することにより、半径が球体の半径Ｒｃｍと一致する円のみを抽出するように構成される。こうすることで、第１マーカー位置情報算出部４０１は、治具座標系マーカー３０の長方形の各頂点に対応する各球体｛Ｐ_０，Ｐ_１，Ｐ_３｝に対応する円を抽出する。

　第１マーカー位置情報算出部４０１は、このようにして治具座標系マーカー３０の各頂点｛Ｐ_０，Ｐ_１，Ｐ_３｝の深度カメラ座標系における座標値を算出する。その後、第１マーカー位置情報算出部４０１は、算出した治具座標系マーカー３０の各頂点｛Ｐ_０，Ｐ_１，Ｐ_３｝の深度カメラ座標系における座標値に基づいて、各三角形の辺の長さを算出し、算出した辺の長さに基づいて、各頂点が治具座標系マーカー３０の頂点Ｐ_０，Ｐ_１，Ｐ_３のいずれに対応するか、を判定することができる。

　このように、第１マーカー位置情報算出部４０１は、治具座標系マーカー３０の各頂点Ｐ_０，Ｐ_１，Ｐ_３の位置を表す深度カメラ座標系における座標値を算出することができる。

　上記の例においては、治具座標系マーカー３０の頂点Ｐ_０，Ｐ_１，Ｐ_３に対応する球体の表面の色をＲＥＤと仮定したが、球体の色をＲＥＤ以外の色（例えば、色Ａ）とすることができる。
　この場合、第１マーカー位置情報算出部４０１は、計測対象範囲内の色が色Ａの部分を抽出して、抽出した色Ａの部分表面の各点のＲＧＢの色情報と、各点（画素単位）の位置を表す３次元座標（Ｘ、Ｙ、Ｚ）と、からなる点データの集合を深度画像データ（色Ａ）として抽出すればよい。
　そうした上で、第１マーカー位置情報算出部４０１は、エッジ画像を生成し、生成したエッジ画像からＨｏｕｇｈ変換により円を抽出し、円の半径を計算することにより、色Ａで半径Ｒの球体の中心を求めるように構成することができる。
　以上、第１マーカー位置情報算出部４０１による、治具座標系マーカー３０の検出、及び検出したマーカーの構成要素（マーカーの頂点等）の深度カメラ座標系における座標値（以下「第１マーカー位置情報」という）の算出について説明した。

［第１キャリブレーション処理部４０２による座標変換行列の算出］
　次に、治具座標系における座標値を深度カメラ座標系における座標値に変換するための座標変換行列_ｄＴ_ｊ、及びその逆行列となる深度カメラ座標系における座標値を治具座標系における座標値に変換するための座標変換行列_ｊＴ_ｄの算出方法の一例について説明する。
　第１キャリブレーション処理部４０２は、治具座標系マーカー３０の頂点Ｐ_０、Ｐ_１、Ｐ_３の位置を表す深度カメラ座標系における座標値に基づいて、治具座標系における座標値を深度カメラ座標系における座標値に変換するための座標変換行列_ｄＴ_ｊを算出することができる。

　具体的には、第１キャリブレーション処理部４０２は、治具座標系マーカー３０の頂点Ｐ_０、Ｐ_１、Ｐ_３のそれぞれの位置を表す深度カメラ座標系における座標値（式１）に基づいて、深度カメラ座標系における治具座標のＸ軸方向単位ベクトル、Ｙ軸方向単位ベクトル、及びＺ軸方向単位ベクトルを算出する。算出した結果を式２～式４で表す。

　第１キャリブレーション処理部４０２により算出したＸ軸方向単位ベクトルを

　第１キャリブレーション処理部４０２により算出したＹ軸方向単位ベクトルを

　第１キャリブレーション処理部４０２により算出したＺ軸方向単位ベクトルを

　とする。

　そうすると、第１キャリブレーション処理部４０２は、このようにして算出した深度カメラ座標系における治具座標のＸ軸方向単位ベクトル、Ｙ軸方向単位ベクトル、Ｚ軸方向単位ベクトル、及び深度カメラ座標系における治具座標系の原点Ｐ_０の座標値に基づいて、治具座標系における座標値を深度カメラ座標系における座標値に変換するための座標変換行列_ｄＴ_ｊを算出することができる（式５）。

　また、第１キャリブレーション処理部４０２は、_ｄＴ_ｊの逆行列を算出することにより、深度カメラ座標系における座標値を治具座標系における座標値に変換するための座標変換行列_ｊＴ_ｄを算出することができる（式６）。

　以上のようにして、図８に示すように、第１キャリブレーション処理部４０２は、治具座標系における座標値を深度カメラ座標系における座標値に変換するための座標変換行列_ｄＴ_ｊ、及びその逆行列となる深度カメラ座標系における座標値を治具座標系における座標値に変換するための座標変換行列_ｊＴ_ｄを算出することができる。
　第１キャリブレーション処理部４０２は算出した、治具座標系における座標値を深度カメラ座標系における座標値に変換するための座標変換行列_ｄＴ_ｊ、及びその逆行列となる深度カメラ座標系における座標値を治具座標系における座標値に変換するための座標変換行列_ｊＴ_ｄを、例えば３次元データ処理部５０の記憶部５０４に記憶する。

［非深度カメラ座標系と基準座標系］
　次に、図９及び図１０を参照しながら、非深度カメラ座標系と基準座標系との間の座標変換について説明する。図９は、非深度カメラ座標系と治具座標系との間の関連を示す概略図である。図１０は、非深度カメラ２０４（サーモグラフィカメラ）によりマーカーの頂点Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３が２次元画像データとして射影された射影平面の概要を示す。
　座標系算出部４０の第２マーカー位置情報算出部４０３は、第２電子機器２０（非深度カメラ）により取得された画像平面（射影平面）上の２次元画像データに基づいて、治具座標系マーカー３０の各頂点Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３を検出し、検出したマーカーの頂点Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３の非深度カメラ座標系における３次元座標値（以下「第２マーカー位置情報」という）を算出する。
　そうすることで、第２キャリブレーション処理部４０４は、治具座標系における座標値を非深度カメラ座標系における座標値に変換するための座標変換行列_ｔＴ_ｊ、及びその逆行列となる非深度カメラ座標系における座標値を治具座標系における座標値に変換するための座標変換行列_ｊＴ_ｔを算出することができる。

［第２マーカー位置情報算出部４０３による第２マーカー位置情報の算出］
　第２マーカー位置情報算出部４０３による治具座標系マーカー３０の検出方法の一例について図１０を参照しながら説明する。

　まず、第２マーカー位置情報算出部４０３は、第２電子機器２０（非深度カメラ２０４）により取得された画像平面（射影平面）上の２次元画像データに基づいて、治具座標系マーカー３０を検出し、検出したマーカーの構成要素（マーカーの頂点Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３）の２次元画像データ（射影平面）における座標値（ｘ、ｙ）を算出することができる。
　具体的には、第２マーカー位置情報算出部４０３は、非深度カメラ２０４（サーモグラフィカメラ）により取得された画像平面（射影平面）上の２次元画像データ内において温度が高い部分（４個）を抽出して、そのうち、温度が最も高い部分を抽出して、当該温度が最も高い部分の中心となる射影平面上の点の座標値ｐ_０＝（ｐ_０ｘ、ｐ_０ｙ）とする。第２マーカー位置情報算出部４０３は、温度が２番目に高い部分の中心となる射影平面上の点の座標値ｐ_１＝（ｐ_１ｘ、ｐ_１ｙ）を算出する。
　そうすることで、第２マーカー位置情報算出部４０３は、画像平面（射影平面）上の点ｐ_０＝（ｐ_０ｘ、ｐ_０ｙ）及び射影平面上の点の座標値ｐ_１＝（ｐ_１ｘ、ｐ_１ｙ）をそれぞれマーカーの頂点Ｐ_０及び頂点Ｐ_１の射影平面上に射影された画像と判定することができる。

　第２マーカー位置情報算出部４０３は、射影平面上の点の座標値ｐ_１＝（ｐ_１ｘ、ｐ_１ｙ）と向かい合う、温度が高い部分の中心となる射影平面上の点の座標値ｐ_２＝（ｐ_２ｘ、ｐ_２ｙ）を算出し、マーカーの頂点Ｐ_２の射影平面上に作成された画像と判定することができる。そして、残りの温度が高い部分の中心となる射影平面上の点の座標値ｐ_３＝（ｐ_３ｘ、ｐ_３ｙ）を算出し、マーカーの頂点Ｐ_３の射影平面上に作成された画像と判定することができる。

　図１０に示すように、第２マーカー位置情報算出部４０３は、２次元画像データ（射影平面）における、マーカーの４点｛ｐ_０、ｐ_１、ｐ_２、ｐ_３｝のそれぞれの座標値に基づいて、当該４点｛ｐ_０、ｐ_１、ｐ_２、ｐ_３｝の構成する長方形の互いに向かい合う２辺（辺ｐ_０ｐ_１及び辺ｐ_２ｐ_３）の当該射影平面上での交点Ａの座標値（Ａ_ｘ，Ａ_ｙ）と他の２辺（辺ｐ_０ｐ_３及び辺ｐ_１ｐ_２）の当該射影平面上での交点Ｂの座標値（Ｂ_ｘ，Ｂ_ｙ）を算出する。
　辺ｐ_０ｐ_１及び辺ｐ_２ｐ_３の当該射影平面上での交点Ａは、３次元空間における２つの平行線（直線Ｐ_０Ｐ_１及び直線Ｐ_２Ｐ_３）が当該射影平面で交わる消失点となる。同様に、辺ｐ_０ｐ_３及び辺ｐ_１ｐ_２の当該射影平面上での交点Ｂは、３次元空間における２つの平行線（直線Ｐ_０Ｐ_３及び直線Ｐ_１Ｐ_２）が当該射影平面で交わる消失点となる。

　次に、第２マーカー位置情報算出部４０３は、当該射影平面上における２つの消失点Ａ及びＢの通る直線の方程式を算出する（式７)。ここで、算出される直線は、マーカーを構成する治具平面の当該射影平面上での消失線に相当する。

　他方、治具座標系マーカー３０を含む平面（以下「治具平面」という）の法線ベクトルをＮ＝（ｎ_１，ｎ_２，ｎ_３）、非深度カメラ２０４の焦点距離をｆとした場合、消失線は、
　　　　　ｎ_１ｘ＋ｎ_２ｙ＋ｆ・ｎ_３＝０　　　（式８）
で表されることが知られている。
　第２マーカー位置情報算出部４０３は、式７及び式８に基づいて、治具平面の法線ベクトルＮ＝（ｎ_１，ｎ_２，ｎ_３）の値を算出することができる（式９）。
　　　ｎ_１＝Ａ_ｙ－Ｂ_ｙ
　　　ｎ_２＝－（Ａ_ｘ－Ｂ_ｘ）
　　　ｎ_３＝（（Ａ_ｘ×Ｂ_ｙ）－（Ｂ_ｘ×Ａ_ｙ））／ｆ
　　　　　　　　　　　　　　　　　　　　　　　　　　（式９）

　他方、治具座標系マーカー３０を含む平面（以下「治具平面」という）の法線ベクトルをＮ＝（ｎ_１，ｎ_２，ｎ_３）とした場合、非深度カメラ座標系（３次元空間）における、治具平面の方程式は、式１０で表される。
　　　　　　ｎ_１Ｘ＋ｎ_２Ｙ＋ｎ_３Ｚ＝ｈ　　　（式１０）
　このようにして、第２マーカー位置情報算出部４０３は、射影平面上の消失線を算出することにより、治具平面の法線ベクトルＮ＝（ｎ_１，ｎ_２，ｎ_３）及び３次元空間（非深度カメラ座標系）における治具平面の方程式を算出することができる。

　他方、治具座標系マーカー３０の各点Ｐ_０，Ｐ_１，Ｐ_２、Ｐ_３の３次元空間（非深度カメラ座標系）上の座標値Ｐ_０＝（Ｐ_０ｘ，Ｐ_０ｙ、Ｐ_０ｚ）、Ｐ_１＝（Ｐ_１ｘ，Ｐ_１ｙ、Ｐ_１ｚ）、Ｐ_２＝（Ｐ_２ｘ，Ｐ_２ｙ、Ｐ_２ｚ）、及びＰ_３＝（Ｐ_３ｘ，Ｐ_３ｙ、Ｐ_３ｚ）、は、それぞれ、射影平面上の各点ｐ_０、ｐ_１、ｐ_２、ｐ_３の画像座標値ｐ_０＝（ｐ_０ｘ、ｐ_０ｙ）、ｐ_１＝（ｐ_１ｘ、ｐ_１ｙ）、ｐ_２＝（ｐ_２ｘ、ｐ_２ｙ）、ｐ_３＝（ｐ_３ｘ、ｐ_３ｙ）に比例することが知られている。
　すなわち、各点Ｐ_０，Ｐ_１の３次元空間（非深度カメラ座標系）上の座標値をそれぞれ、射影平面上の各点ｐ_０、ｐ_１の画像座標値に基づいて表すと式１１及び式１２のように表現される（透視変換）。

　　Ｐ_０ｘ＝　ｔ・ｐ_０ｘ
　　Ｐ_０ｙ＝　ｔ・ｐ_０ｙ
　　Ｐ_０ｚ＝　ｔ・ｆ　　　　　　　　　　　　　（式１１）

　　Ｐ_１ｘ＝　ｓ・ｐ_１ｘ
　　Ｐ_１ｙ＝　ｓ・ｐ_１ｙ
　　Ｐ_１ｚ＝　ｓ・ｆ　　　　　　　　　　　　　（式１２）

　また、点Ｐ_０と点Ｐ_１との距離（既知）をＬとすると、点Ｐ_０と点Ｐ_１との距離は、式１３のように表現される。
　　（Ｐ_０ｘ－Ｐ_１ｘ）^２＋（Ｐ_０ｙ－Ｐ_１ｙ）^２＋（Ｐ_０ｚ－Ｐ_１ｚ）^２
　　＝Ｌ^２　　　　　　　　　　　　　　　　（式１３）

　第２マーカー位置情報算出部４０３は、式１０～式１３に基づいて、ｈ、ｔ、ｓの値を算出する。ここで、第１実施形態では上から見下ろす位置にマーカーを設置するものとする。したがって、算出されるｈとして、負の値を採用する。
　そうすることで、第２マーカー位置情報算出部４０３は、点Ｐ_０，Ｐ_１の３次元空間（非深度カメラ座標系）上の座標値を算出することができる。

　具体的には、第２マーカー位置情報算出部４０３は、式１０～式１２に基づいて、変数ｔと変数ｓをそれぞれ変数ｈで表現するように変換する（式１４、式１５）。
　　ｔ＝ｈ／（ｎ_１・ｐ_０ｘ＋ｎ_２・ｐ_０ｙ＋ｎ_３・ｆ）　　（式１４）
　　ｓ＝ｈ／（ｎ_１・ｐ_１ｘ＋ｎ_２・ｐ_１ｙ＋ｎ_３・ｆ）　　（式１５）

　次に第２マーカー位置情報算出部４０３は、式１１及び式１２に基づいて、点Ｐ_０と点Ｐ_１の３次元空間（非深度カメラ座標系）上の座標値Ｐ_０＝（Ｐ_０ｘ，Ｐ_０ｙ、Ｐ_０ｚ）、Ｐ_１＝（Ｐ_１ｘ，Ｐ_１ｙ、Ｐ_１ｚ）を変数ｈで表現するように変換する。

　第２マーカー位置情報算出部４０３は、式１３に基づいて、変数ｈの値を算出することができる。次に、第２マーカー位置情報算出部４０３は、変数ｈの値に基づいて、式１４及び式１５により、変数ｔ、ｓをそれぞれ算出する。
　第２マーカー位置情報算出部４０３は、式１１及び式１２に基づいて、マーカーの頂点Ｐ_０，Ｐ_１の非深度カメラ座標系における座標値を算出する。

　点Ｐ_０と点Ｐ_１の非深度カメラ座標系における座標値の算出と同様にして、第２マーカー位置情報算出部４０３は、点Ｐ_２，点Ｐ_３の３次元空間（非深度カメラ座標系）上の座標値を算出することができる。

　以上のように、第２マーカー位置情報算出部４０３は、射影平面上の２次元画像データに基づいて、治具座標系マーカー３０を検出し、検出したマーカーを構成する長方形の互いに向かい合う２辺（辺Ｐ_０Ｐ_１及び辺Ｐ_２Ｐ_３）及び他の２辺（辺Ｐ_１Ｐ_３及び辺Ｐ_０Ｐ_２）のそれぞれの当該射影平面上での２つの異なる消失点Ａ，Ｂの２次元座標値を算出することで、マーカーを構成する治具平面の当該射影平面上での消失線（ｎ_１ｘ＋ｎ_２ｙ＋ｆ・ｎ_３＝０）を算出する。
　第２マーカー位置情報算出部４０３は、算出した消失線に基づき、治具平面の非深度カメラ座標系（３次元空間）における法線ベクトル（Ｎ＝（ｎ_１，ｎ_２，ｎ_３））を算出することで、３次元空間（非深度カメラ座標系）における治具平面の方程式（ｎ_１Ｘ＋ｎ_２Ｙ＋ｎ_３Ｚ＝ｈ）を算出する。
　第２マーカー位置情報算出部４０３は、３次元空間（非深度カメラ座標系）における治具平面の方程式、及び透視変換に基づいて、マーカーの４つの頂点の非深度カメラ座標系(３次元空間）における座標値（以下「第２マーカー位置情報」という）を算出することができる。

［第２キャリブレーション処理部４０４による座標変換行列の算出］
　次に、治具座標系における座標値を非深度カメラ座標系における座標値に変換するための座標変換行列_ｔＴ_ｊ、及びその逆行列となる非深度カメラ座標系における座標値を治具座標系における座標値に変換するための座標変換行列_ｊＴ_ｔの算出方法の一例について説明する。
　第２キャリブレーション処理部４０４は、治具座標系マーカー３０の頂点Ｐ_０、Ｐ_１、Ｐ_２の位置を表す非深度カメラ座標系における座標値に基づいて、治具座標系における座標値を非深度カメラ座標系における座標値に変換するための座標変換行列_ｔＴ_ｊを算出することができる。

　具体的には、第２キャリブレーション処理部４０４は、治具座標系マーカー３０の頂点Ｐ_０、Ｐ_１、Ｐ_３の非深度カメラ座標系における座標値（式１５）に基づいて、非深度カメラ座標系における治具座標のｘ軸方向単位ベクトル、ｙ軸方向単位ベクトル、及びｚ軸方向単位ベクトルを算出する。算出した結果を式１６～式１８で表す。

　第２キャリブレーション処理部４０４により算出されたx軸方向単位ベクトルを

　第２キャリブレーション処理部４０４により算出されたｙ軸方向単位ベクトルを

　第２キャリブレーション処理部４０４により算出されたｚ軸方向単位ベクトルを

とする。

　第２キャリブレーション処理部４０４は、このようにして算出した非深度カメラ座標系における治具座標のＸ軸方向単位ベクトル、Ｙ軸方向単位ベクトル、Ｚ軸方向単位ベクトル、及び非深度カメラ座標系における治具座標系の原点Ｐ_０の座標値に基づいて、治具座標系における座標値を非深度カメラ座標系における座標値に変換するための座標変換行列_ｔＴ_ｊを算出する（式１９）。

　また、第２キャリブレーション処理部４０４は、_ｔＴ_ｊの逆行列を算出することにより、非深度カメラ座標系における座標値を治具座標系における座標値に変換するための座標変換行列_ｊＴ_ｔを算出する（式２０）。

　以上のようにして、図８に示すように、第２キャリブレーション処理部４０４は、治具座標系における座標値を非深度カメラ座標系における座標値に変換するための座標変換行列_ｔＴ_ｊ、及びその逆行列となる非深度カメラ座標系における座標値を治具座標系における座標値に変換するための座標変換行列_ｊＴ_ｔを算出することができる。
　第２キャリブレーション処理部４０４は算出した、治具座標系における座標値を非深度カメラ座標系における座標値に変換するための座標変換行列_ｔＴ_ｊ、及びその逆行列となる非深度カメラ座標系における座標値を治具座標系における座標値に変換するための座標変換行列_ｊＴ_ｔを、例えば３次元データ処理部５０の記憶部５０４に記憶する。

　以上のように、座標系算出部４０は、治具座標系における座標値を深度カメラ座標系における座標値に変換するための座標変換行列_ｄＴ_ｊ、及びその逆行列となる深度カメラ座標系における座標値を治具座標系における座標値に変換するための座標変換行列_ｊＴ_ｄ、並びに治具座標系における座標値を非深度カメラ座標系における座標値に変換するための座標変換行列_ｔＴ_ｊ、及びその逆行列となる非深度カメラ座標系における座標値を治具座標系における座標値に変換するための座標変換行列_ｊＴ_ｔを算出する。

　このようにして得られた座標行列_ｔＴ_ｊ及び座標行列_ｄＴ_ｊに基づいて、座標変換行列作成部４０５は、深度カメラ１０４で計測した深度カメラ画像の各点の深度カメラ座標系における座標値を非深度カメラ座標系における座標値に変換するための座標変換行列_ｔＴ_ｄを算出する。
　具体的には、座標変換行列作成部４０５は、深度カメラ座標系における座標値を治具座標系における座標値に変換するための座標変換行列_ｊＴ_ｄ及び治具座標系における座標値を非深度カメラ座標系における座標値に変換するための座標変換行列_ｔＴ_ｊに基づいて、深度カメラ画像の各点の深度カメラ座標系における座標値を非深度カメラ座標系における座標値に変換するための座標変換行列_ｔＴ_ｄを算出する（式２１）。
　　　　　　　_ｔＴ_ｄ＝　_ｔＴ_ｊ・_ｊＴ_ｄ＝_ｔＴ_ｊ・_ｄＴ_ｊ ^－１　　　（式２１）
　以上のようにして、図８に示すように、座標変換行列作成部４０５は、算出した深度カメラ座標系における座標値を非深度カメラ座標系における座標値に変換する座標変換行列_ｔＴ_ｄを、例えば３次元データ処理部５０の記憶部５０４に記憶する。
　その後、治具座標系マーカー３０を現実空間から撤去することができる。

［非深度カメラ画像データの点群データ化について］
　次に、３次元空間の任意の位置に配置された第２電子機器２０（非深度カメラ２０４）により取得される２次元画像データを、別の位置に配置された第１電子機器１０（深度カメラ１０４）により取得される「深度カメラ画像」を用いてリアルタイムに点群データ化（３次元化）する処理について、図１１Ａ～図１１Ｂを参照しながら説明する。
　図１１Ａに示すように、異なる位置に配置した深度カメラ１０４及び非深度カメラ２０４により、同時刻に被写体を計測する。この際、前述したように、深度カメラ１０４と非深度カメラ２０４とを近距離の位置に配置することが好ましい。

　以下、ある時刻ｔに、計測対象物を３次元計測部１０１２（深度カメラ１０４）により計測して取得した、計測対象物表面の各点（画素単位）の、深度カメラ座標系における位置を示す３次元座標の集合を｛（Ｘ´ｎ、Ｙ´ｎ、Ｚ´ｎ）｝（１≦ｎ≦Ｃ）とする。ここで、Ｃは、深度カメラ１０４で計測される点群データの点の個数を意味する。

　また、前述したように、非深度カメラ２０４により計測対象物は、非深度カメラ２０４の備える画像カメラのレンズ中心Ｏからレンズの焦点距離ｆの位置に生成される２次元画像面（射影平面）上に投影される。
　同時刻ｔに計測物を非深度カメラ２０４(サーモグラフィカメラ）により、計測対象物の表面の各点の温度データを画像データとして取得した画像平面上の点を（ｘ、ｙ）で表す。
　前述したように、非深度カメラ座標系で、（Ｘ，Ｙ，Ｚ）にある空間の点は、当該２次元画像面（射影平面）上の点（ｘ、ｙ）＝（ｆ・（Ｘ／Ｚ）、ｆ・（Ｙ／Ｚ））に投影される。

　３次元データ処理部５０の点群データ座標値変換部５０１は、深度カメラ座標系における座標値を非深度カメラ座標系における座標値に変換する座標変換行列_ｔＴ_ｄに基づいて、深度カメラ座標系における位置を示す３次元座標値の集合｛（Ｘ´ｎ、Ｙ´ｎ、Ｚ´ｎ）｝（１≦ｎ≦Ｃ）を、非深度カメラ座標系における位置を示す３次元座標値の集合｛（Ｘｎ、Ｙｎ、Ｚｎ）｝（１≦ｎ≦Ｃ）に変換する。
　そうすることで、図１１Ｂに示すように第１電子機器１０（深度カメラ１０４）をあたかも第２電子機器２０（非深度カメラ２０４）と同じ位置に配置して計測される計測対象物の点群データを得ることができる。すなわち、非深度カメラ２０４の視点に変更された深度カメラ１０４の点群データを得ることができる。

　３次元データ処理部５０の点群データ変換部５０２は、非深度カメラ２０４の視点に変換された深度カメラ１０４による計測対象物の点群データ｛（Ｘｎ、Ｙｎ、Ｚｎ）｝に基づいて、非深度カメラ２０４により画像平面上に投影される点（ｘ_ｎ、ｙ_ｎ）を（式２２）により算出する。
　　（ｘ_ｎ、ｙ_ｎ）＝（ｆ・（Ｘｎ／Ｚｎ）、ｆ・（Ｙｎ／Ｚｎ））　　（式２２）
　このようにして、非深度カメラ２０４により取得される２次元画像データに対して、非深度カメラ２０４の視点に変換された深度カメラ１０４による計測対象物の点群データ｛（Ｘｎ、Ｙｎ、Ｚｎ）｝を対応づけることができる。すなわち、非深度カメラ２０４により取得される２次元画像データをリアルタイムに点群データ化（３次元化）することができる。

　一例として、点群データ変換部５０２は、次の処理を行うように構成することができる。
　点群データ変換部５０２は、Ｃ個の座標値（ｘ_ｎ、ｙ_ｎ）を高速に計算するために、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）による高速演算処理を行うように構成することができる。
　点群の個数Ｃを６４０×４８０個と仮定すると、点群データを３２×８０のスレッドに分割した場合、１スレッドあたり、ｘ_ｎ及びｙ_ｎそれぞれ１２０回の計算を行うことで、高速に演算することができる。

　次に、点群データ変換部５０２は、算出された座標値（ｘ_ｎ、ｙ_ｎ）を、非深度カメラ２０４により投影された画像平面上の座標値とすることで、計測された計測対象物表面のピクセルデータ（画素データ）に対応づけることができる。
　点群データ変換部５０２は、例えば次のように、画像平面上の座標値（ｘ_ｎ、ｙ_ｎ）を、非深度カメラ２０４により取得される各ピクセルデータ（画素データ）の該画像平面上のピクセル座標に対応づけることができる。

　図１２は、非深度カメラ２０４により被写体が投影される画像平面上のｘｙ座標と該画像平面上のピクセル座標との関係を示す概略図である。
　図１２に示すように、ピクセル座標は、画像平面の左上端のピクセルを原点（０，０）とし，右方向にいくつめであるかをピクセルｘ座標，下方向にいくつめであるかをピクセルｙ座標とする２次元座標である。以下、ピクセルｘ座標をＰｉｘｅｌｘ、ピクセルｙ座標をＰｉｘｅｌｙで表す。
　これに対して、画像平面上のｘｙ座標は、前述したように画像平面の中心を原点（０，０）とし、水平方向をｘ軸、垂直方向をｙ軸とするものである。以下、ｘ座標をｘ、ｙ座標をｙで表す。

　画像平面の横方向の長さをＬｘ，画像平面の縦方向の長さをＬｙとする。また、Ｈ及びＧをそれぞれ所定の正整数として、ピクセルｘ座標値Ｐｉｘｅｌｘを（０≦Ｐｉｘｅｌｘ≦（Ｈ－１））を満たす整数値とし、ピクセルｙ座標値Ｐｉｘｅｌｙを（０≦Ｐｉｘｅｌｙ≦（Ｇ－１））を満たす整数値をとるものとする。なお、これらの値は、非深度カメラ２０４の仕様に基づいて設定される。
　点群データ変換部５０２は、（式２３）に基づいて、画像平面上の座標値（ｘ、ｙ）を、非深度カメラ２０４により取得される各ピクセルデータ（画素データ）の該画像平面上のピクセル座標（Ｐｉｘｅｌｘ、Ｐｉｘｅｌｙ）に対応づける。なお、点群データ変換部５０２は、（式２３）により算出した値を四捨五入する。
　Ｐｉｘｅｌｘ＝（Ｈ／Ｌｘ）×（ｘ＋Ｌｘ／２）
　Ｐｉｘｅｌｙ＝（Ｇ／Ｌｙ）×（－ｙ＋Ｌｙ／２）　　　　（式２３）
　なお、四捨五入に換えて小数点以下を切り捨てることで、ピクセル座標（Ｐｉｘｅｌｘ、Ｐｉｘｅｌｙ）を対応づけてもよい。

　なお、点群データ｛（Ｘｎ、Ｙｎ、Ｚｎ）｝は、深度カメラ視点で計測した点群データ｛（Ｘ´ｎ、Ｙ´ｎ、Ｚ´ｎ）｝を視点変換したものであることから、複数の点が計測対象物表面の同じ位置の温度データに対応付けされる可能性がある。
　このような場合、手前にある物体が背後にある物体を隠して見えないようにする（オクルージョン）ように対応づける必要がある。
　このため、点群データ変換部５０２は、算出された複数の座標値（ｘ_ｎ、ｙ_ｎ）が、画像平面上の同一ピクセル座標値（Ｐｉｘｅｌｘ、Ｐｉｘｅｌｙ）に対応付けされる場合、それら複数の点の内、Ｚｎの値が最も小さな値となる点のみを画像平面上のピクセル座標値（Ｐｉｘｅｌｘ、Ｐｉｘｅｌｙ）（すなわち計測対象物表面の温度データ）に対応付けるように構成する。そうすることで、非深度カメラ視点で奥に位置する深度データを排除することができる。
　なお、Ｚｎの値が最も小さな値となる点群の各点を三角系メッシュにすることで、このメッシュの奥に存在する点は非深度カメラ２０４のデータに対応付けないようにしてもよい。
　以上のように、点群データ変換部５０２は、非深度カメラ２０４により撮影された２次元画像データに、「深度画像」の深度座標を対応付けすることで、「非深度カメラ」により取得される２次元画像データを点群データ化（３次元化）することができる。

　なお、深度カメラ１０４及び非深度カメラ２０４が、それぞれ例えば１秒間に３０コマの画像データ（３０ｆｐｓ）を取得することができる場合、同一時刻に深度画像データ及び非深度画像データを取得するように構成することで、点群データ変換部５０２は、非深度カメラ２０４により３０ｆｐｓで取得される各２次元画像データに、３０ｆｐｓで取得された「深度画像」の各深度座標を対応付けすることで、「非深度カメラ」により３０ｆｐｓで取得される２次元画像データを３０ｆｐｓで点群データ化（３次元化）することができる。

［複数の非深度カメラにより撮影された２次元画像データのマッチング］
　これまでの説明は、簡単のため、１台の非深度カメラ２０４と１台の深度カメラ１０４を用いる例について説明した。
　次に、複数の非深度カメラ２０４により撮影した複数の２次元画像データを同一座標系による点群データに変換する処理について説明する。

　簡単のために、２つの異なる位置に配置した非深度カメラＡ及び非深度カメラＢにより撮影した２次元画像データの場合を例として説明する。この際、２つの非深度カメラＡ及び非深度カメラＢによる画像は、重複する部分を含むものとする。
　非深度カメラＡにより取得した画像データを非深度カメラＡの座標系により、点群データ化された点群データを｛（Ｘ_Ａｎ、Ｙ_Ａｎ、Ｚ_Ａｎ）、Ｔ_Ａｎ｝とし、非深度カメラＢにより取得した画像データを非深度カメラＢの座標系により、点群データ化された点群データを｛（Ｘ_Ｂｍ、Ｙ_Ｂｍ、Ｚ_Ｂｍ）、Ｔ_Ｂｍ｝とする。ここで、Ｔ_Ａｎは、非深度カメラＡの座標系の座標値（Ｘ_Ａｎ、Ｙ_Ａｎ、Ｚ_Ａｎ）における温度データであり、Ｔ_Ｂｍは、非深度カメラＢの座標系の座標値（Ｘ_Ｂｍ、Ｙ_Ｂｍ、Ｚ_Ｂｍ）における温度データである。

　非深度カメラＡの座標系における座標値を治具座標系における座標値に変換するための座標変換行列_ｊＴ_Ａ及び非深度カメラＢの座標系における座標値を治具座標系における座標値に変換するための座標変換行列_ｊＴ_Ｂとする。
　点群データ合成部５０３は、非深度カメラＡの座標系により点群データ化された点群データ｛（Ｘ_Ａｎ、Ｙ_Ａｎ、Ｚ_Ａｎ）、Ｔ_Ａｎ｝を座標変換行列_ｊＴ_Ａにより、治具座標系における座標値による点群データ｛（_ｊＸ_Ａｎ、_ｊＹ_Ａｎ、_ｊＺ_Ａｎ）、_ｊＴ_Ａｎ｝に変換するとともに、非深度カメラＢの座標系により点群データ化された点群データ｛（Ｘ_Ｂｎ、Ｙ_Ｂｎ、Ｚ_Ｂｎ）、Ｔ_Ｂｎ｝を座標変換行列_ｊＴ_Ｂにより、治具座標系における座標値による点群データ｛（_ｊＸ_Ｂｎ、_ｊＹ_Ｂｎ、_ｊＺ_Ｂｎ）、_ｊＴ_Ｂｎ｝に変換する。
　そうすることで、点群データ合成部５０３は、点群データ｛（Ｘ_Ａｎ、Ｙ_Ａｎ、Ｚ_Ａｎ）、Ｔ_Ａｎ｝及び点群データ｛（Ｘ_Ｂｎ、Ｙ_Ｂｎ、Ｚ_Ｂｎ）、Ｔ_Ｂｎ｝を治具座標系の座標値に基づいて重なる部分の位置合わせを行った後に、必要に応じて、測定誤差等により、各点群データ間の治具座標系での座標値が同じであっても、位置ずれの発生した場合の補正を行うことで、より正確な、欠損部分の少ない１つの合成点群データを取得することができる。

　なお、２つの異なる座標系の座標値で表現される点群データを合成するために、２つの点群データを同一座標系（治具座標系）における座標値に変換した上で、重なる部分の位置合わせを行った。同一座標系は治具座標系に限定されない。
　例えば、点群データ合成部５０３は、非深度カメラＢの座標系により点群データ化された点群データ｛（Ｘ_Ｂｎ、Ｙ_Ｂｎ、Ｚ_Ｂｎ）、Ｔ_Ｂｎ｝を非深度カメラＡの座標系に基づいて変換することで、２つの点群データ｛（Ｘ_Ａｎ、Ｙ_Ａｎ、Ｚ_Ａｎ）、Ｔ_Ａｎ｝及び｛（Ｘ_Ｂｍ、Ｙ_Ｂｍ、Ｚ_Ｂｍ）、Ｔ_Ｂｍ｝を合成するようにしてもよい。
　同様に、点群データ合成部５０３は、非深度カメラＡの座標系により点群データ化された点群データ｛（Ｘ_Ａｎ、Ｙ_Ａｎ、Ｚ_Ａｎ）、Ｔ_Ａｎ｝を非深度カメラＢの座標系に基づいて変換することで、点群データ合成部５０３は、非深度カメラＢの座標系に基づいて、２つの点群データ｛（Ｘ_Ａｎ、Ｙ_Ａｎ、Ｚ_Ａｎ）、Ｔ_Ａｎ｝及び｛（Ｘ_Ｂｍ、Ｙ_Ｂｍ、Ｚ_Ｂｍ）、Ｔ_Ｂｍ｝を合成するようにしてもよい。

＜３次元データ表示制御部６０＞
　次に、３次元データ表示制御部６０について説明する。
　図５Ｃに示すように、３次元データ表示制御部６０は、視点操作部６０１と、データ表示方式選択部６０２と、データ再生・保存指示部６０３と、３次元データ表示処理部６０４と、を備える。

　点群データは、そのままの形式でレンダリングすることは可能であるが、そのデータ形式のままでは、各種の３次元処理には適さないことが多い。
　このため、点群データを面形式に変換し、例えばポリゴン、不整三角網のメッシュ、及びＣＡＤモデルとして扱うことができる。
　そうすることで、例えば、非深度カメラ２０４（サーモグラフィカメラ）で取得した画像データ（温度データ）を三角形の集合で表すことができる。そうすることで、ある温度の部分の面積を計測することが可能となる。

［視点操作部６０１］
　視点操作部６０１は、利用者の視点方向、視点座標等の入力を利用者から受け取ることができる。このことにより、表示画像のズーム等のカメラワークと同様の操作が可能となる。

［データ表示方式選択部６０２］
　データ表示方式選択部６０２は、表示画像の表示方式に関する指示を利用者から受け取ることができる。例えば、３次元空間上の点群データをどのような投影面に投影するか、を選択することができる。

［データ再生・保存指示部６０３］
　データ再生・保存指示部６０３は、点群データから生成された３次元モデルデータの再生又は保存に関する指示を利用者から受け取ることができる。

［３次元データ表示処理部６０４］
　３次元データ表示処理部６０４は、点群データ変換部５０２又は点群データ合成部５０３により作成された点群データを、視点操作部６０１により入力された利用者の仮想視点に基づいて、マッピング加工を行い、その結果の表示画像をディスプレイ画面に３次元表示する。

　次に、３次元データ保存部７０について説明する。
　図５Ｄに示すように、３次元データ保存部７０は点群データ記憶部７０１を備える。

［点群データ記憶部７０１］
　点群データ記憶部７０１は、非深度カメラ２０４により取得した画像データを非深度カメラ２０４の座標系により点群データ化された点群データ｛（Ｘｎ、Ｙｎ、Ｚｎ）、Ｔｎ｝に、当該計測時刻となるタイムスタンプを関連付けた点群データ情報を、非深度カメラ２０４毎に記憶する。
　前述したように、例えば、深度カメラ１０４及び非深度カメラ２０４が、それぞれ１秒間に３０コマの画像データ（３０ｆｐｓ）を取得することができる場合、点群データ記憶部７０１は、例えば、１／３０秒単位の計測時刻（ｔ）毎に生成される、非深度カメラ２０４により取得した画像データを非深度カメラ２０４の座標系により点群データ化された点群データ｛（Ｘｎ、Ｙｎ、Ｚｎ）、Ｔｎ｝（ｔ）｝を記憶する（ｔ：タイムスタンプ）。

　以上、これまで説明した本発明の実施形態における、一連の処理の流れを簡単に図示したものが図１３である。
　ここでは、深度カメラ１０４及び非深度カメラ２０４が、それぞれ１秒間に３０コマの画像データ（３０ｆｐｓ）を取得する例を示す。

　図１３を参照すると、ＳＴ１において、治具座標系マーカー３０が所定の場所に設定される。深度カメラ１０４及び非深度カメラ２０４がそれぞれ所定の場所に設定される。ここで、深度カメラ１０４は、非深度カメラ２０４の近くに配置することが好ましい。

　ＳＴ２において、キャリブレーションを行うことで、深度カメラ座標系における座標値を非深度カメラ座標系における座標値に変換する座標変換行列_ｔＴ_ｄを、例えば３次元データ処理部５０の記憶部５０４に記憶する。

　ＳＴ３において、治具座標系マーカー３０を現実空間から撤去する。

　ＳＴ４において、計測作業者が、非深度カメラ２０４及び深度カメラ１０４により、計測対象物の計測を開始する。

　ＳＴ５において、測定時刻ｔ毎に、点群データ変換部４２は、非深度カメラ２０４により３０ｆｐｓで取得される各２次元画像データに、３０ｆｐｓで取得された「深度画像」の各深度座標を対応付けすることで、「非深度カメラ」により３０ｆｐｓで取得される２次元画像データを３０ｆｐｓで点群データ化（３次元化）する。

　ＳＴ６において、３次元データ表示制御部６０により、非深度カメラ２０４の視点から見た３次元画像が表示される。

　以上のように、第１実施形態によれば、非深度カメラ２０４（サーモグラフィカメラ）により計測した被写体の表面温度データを点群データに変換することができる。
　そうすることで得られた点群データを例えば点群データを面形式（例えば三角形メッシュ）に変換することで、被写体の表面の温度分布を三角形の集合で表すことができ、ある温度の部分の面積を計測することが可能となる。

（第２実施形態）
　第１実施形態において、治具座標系マーカー３０として、図６に示すように、各頂点Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３を同一の半径の球体とした４辺を有し、向かい合う２組の辺がそれぞれ平行な四角形（平行四辺形）の形状をした構造体（例えば長方形）とした。そして、頂点Ｐ_０を始点として頂点Ｐ_１を終点とするベクトル（ベクトルＰ_０Ｐ_１）と、頂点Ｐ_０を始点として頂点Ｐ_３を終点とするベクトル（ベクトルＰ_０Ｐ_３）との外積ベクトルを算出し、外積ベクトルを頂点Ｐ_０を始点として表現した場合の終点をＰ_４とすることで、例えばＰ_０を原点、ベクトルＰｏＰ_１方向をＸ軸、ベクトルＰ_０Ｐ_３方向をＹ軸、ベクトルＰ_０Ｐ_４方向をＺ軸とする、治具座標系を規定した。
　他方、深度カメラ１０４により計測された治具座標系マーカー３０の深度画像データを第１マーカー位置情報算出部４０１により画像解析することで、治具座標系マーカー３０の頂点Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３の深度カメラ座標系における座標値を算出し、このように算出したＰ_０，Ｐ_１，Ｐ_３の深度カメラ座標値に基づいて、Ｐ_４の座標値（ベクトルＰ_０Ｐ_４方向の単位ベクトル）を算出することで、治具座標系における座標値を深度カメラ座標系における座標値に変換するための座標変換行列_ｄＴ_ｊを算出した（式５）。
　同様に、非深度カメラ２０４により取得した治具座標系マーカー３０の画像平面（射影平面）上２次元画像データを第２マーカー位置情報算出部４０３により画像解析することで、治具座標系マーカー３０の頂点Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３の非深度カメラ座標系における座標値を算出し、このように算出したＰ_０，Ｐ_１，Ｐ_３の非深度カメラ座標値に基づいて、Ｐ_４の座標値（ベクトルＰ_０Ｐ_４方向の単位ベクトル）を算出することで、治具座標系における座標値を非深度カメラ座標系における座標値に変換するための座標変換行列_ｔＴ_ｊを算出した（式１９）。
　このように、第１実施形態においては、点Ｐ_４の治具座標系における座標値、深度カメラ座標系における座標値、及び非深度カメラ座標系における座標値を、それぞれ点Ｐ_０，Ｐ_１，Ｐ_３の治具座標系における座標値、深度カメラ座標系における座標値、及び非深度カメラ座標系における座標値に基づいて外積演算により算出した。

（治具座標系マーカー３０Ａ）
　これに対して、第２実施形態においては、治具座標系マーカー３０に替えて、例えば、ベクトルＰ_０Ｐ_１とベクトルＰ_０Ｐ_３との外積ベクトル上に他の球体（Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３）と同じ形状をした球体Ｑ_４を設けた、治具座標系マーカー３０Ａを利用する。
　この場合、球体Ｑ_４を識別できるように、球体Ｑ_４の表面を他の球体（Ｐ_０，Ｐ_１，Ｐ_３）の表面と同様に予め設定された色（例えば赤色）で着色されるように構成する。また、球体Ｑ_４の位置は、例えばベクトルＰ_０Ｐ_１とベクトルＰ_０Ｐ_３との外積ベクトルの終点としてもよいし、ベクトルＰ_０Ｑ_４の大きさが外積ベクトルの大きさに所定の比率を掛けた値になるようにしてもよい。
　治具座標系マーカー３０Ａを利用することで、非深度カメラ座標系と深度カメラ座標系とのキャリブレーションをより効率的に行うことができる。
　以下に詳細について説明する。なお、第２実施形態については、主として、第１実施形態と異なる点を中心に説明し、第１実施形態と同様な構成については詳細な説明を省略する。第２実施形態において、特に説明しない点は、第１実施形態についての説明が適宜適用される。また、第２実施形態においても、第１実施形態と同様な効果が奏される。

（治具座標系マーカー３０Ａの頂点Ｑ_４の深度カメラ座標系における座標値）
　第１マーカー位置情報算出部４０１は、治具座標系マーカー３０の各頂点｛Ｐ_０，Ｐ_１，Ｐ_３｝の深度カメラ座標系における座標値を算出するのと同様にして、治具座標系マーカー３０Ａの頂点Ｑ_４の深度カメラ座標系における座標値を算出することができる。
　第１マーカー位置情報算出部４０１は、このようにして治具座標系マーカー３０Ａの各頂点｛Ｐ_０，Ｐ_１，Ｐ_３，Ｑ_４｝の深度カメラ座標系における座標値を算出することができる。
　なお、第１マーカー位置情報算出部４０１は、算出した治具座標系マーカー３０Ａの各頂点｛Ｐ_０，Ｐ_１，Ｐ_３，Ｑ_４｝の深度カメラ座標系における座標値に基づいて、例えば各三角形の辺の長さを算出し、算出した辺の長さに基づいて、各頂点が治具座標系マーカー３０の頂点Ｐ_０，Ｐ_１，Ｐ_３，Ｑ_４のいずれに対応するか、を判定することができる。また、オペレータにより、治具座標系マーカー３０Ａの各頂点｛Ｐ_０，Ｐ_１，Ｐ_３，Ｑ_４｝と深度カメラ座標系における各座標値との対応付けてもよい。

（治具座標系と深度カメラ座標系とのキャリブレーション）
　第１キャリブレーション処理部４０２は、第１マーカー位置情報算出部４０１により算出された、点｛Ｐ_０，Ｐ_１，Ｐ_３，Ｑ_４｝の深度カメラ座標系における座標値に基づいて、深度カメラ座標系における治具座標のＸ軸方向単位ベクトル、Ｙ軸方向単位ベクトル、及びＺ方向単位ベクトルを算出することができる。

　具体的には、深度カメラ座標系における治具座標系の原点Ｐ_０の座標値を
　　（Ｐ´_０ｘ，Ｐ´_０ｙ，Ｐ´_０ｚ）とし、
　第１キャリブレーション処理部４０２により算出したＸ軸方向単位ベクトルを

　とする。

　そうすると、第１キャリブレーション処理部４０２は、このようにして算出した深度カメラ座標系における治具座標のＸ軸方向単位ベクトル、Ｙ軸方向単位ベクトル、Ｚ軸方向単位ベクトル、及び深度カメラ座標系における治具座標系の原点Ｐ_０の座標値（Ｐ´_０ｘ，Ｐ´_０ｙ，Ｐ´_０ｚ）に基づいて、治具座標系における座標値を深度カメラ座標系における座標値に変換するための座標変換行列_ｄＴ_ｊを算出することができる（式２７）。

（治具座標系と非深度カメラ座標系とのキャリブレーション）
　第２キャリブレーション処理部４０４は、第２マーカー位置情報算出部４０３により算出された、点｛Ｐ_０，Ｐ_１，Ｐ_３｝の非深度カメラ座標系における座標値に基づいて、非深度カメラ座標系における治具座標のＸ軸方向単位ベクトル、Ｙ軸方向単位ベクトル、及びＺ方向単位ベクトルを算出することができる。

　具体的には、非深度カメラ座標系における治具座標系の原点Ｐ_０の座標値を
　　（Ｐ_０ｘ，Ｐ_０ｙ，Ｐ_０ｚ）とし、
　第２キャリブレーション処理部４０４により算出したＸ軸方向単位ベクトルを

　第２キャリブレーション処理部４０４により算出したＸ軸方向単位ベクトルを

　第２キャリブレーション処理部４０４により、Ｘ軸方向単位ベクトルとＹ軸方向単位ベクトルとの外積により算出したＺ軸方向単位ベクトルを

　とする。

　そうすると、第２キャリブレーション処理部４０４は、このようにして算出した非深度カメラ座標系における治具座標のＸ軸方向単位ベクトル、Ｙ軸方向単位ベクトル、Ｚ軸方向単位ベクトル、及び非深度カメラ座標系における治具座標系の原点Ｐ_０の座標値（Ｐ_０ｘ，Ｐ_０ｙ，Ｐ_０ｚ）に基づいて、治具座標系における座標値を非深度カメラ座標系における座標値に変換するための座標変換行列_ｔＴ_ｊを算出することができる（式２７）。

　以上から、座標変換行列作成部４０５は、深度カメラ座標系における座標値を治具座標系における座標値に変換するための座標変換行列_ｊＴ_ｄ及び治具座標系における座標値を非深度カメラ座標系における座標値に変換するための座標変換行列_ｔＴ_ｊに基づいて、深度カメラ画像の各点の深度カメラ座標系における座標値を非深度カメラ座標系における座標値に変換するための座標変換行列_ｔＴ_ｄを算出することができる（式３２）。
　　　　　　　_ｔＴ_ｄ＝　_ｔＴ_ｊ・_ｊＴ_ｄ＝_ｔＴ_ｊ・_ｄＴ_ｊ ^－１　　　（式３２）

　以上のように、第２実施形態によると、治具座標系マーカー３０Ａを利用することで、非深度カメラ座標系と深度カメラ座標系とのキャリブレーションをより効率的に行うことができる。

　以上、本発明の点群データ変換システム１の好ましい実施形態について説明したが、本発明は上述の実施形態に制限されるものではなく、適宜変更が可能である。

［システム構成の自由度］
　本発明の点群データ変換システム１において、第１電子機器１０、第２電子機器２０、座標系算出部４０、３次元データ処理部５０、及び３次元データ表示制御部６０、及び３次元データ保存部７０の有する各機能部をそれぞれ、適宜特定のコンピュータに集中させるか、又は分散させることは、ユーザにとって適宜成しえる設計事項である。
　例えば、第１実施形態又は第２実施形態において、座標系算出部４０、３次元データ処理部５０、３次元データ表示制御部６０、３次元データ保存部７０の機能の一部、一部の組み合わせ、又は全部を、例えば、第１電子機器１０の機能としてもよい。
　また、座標系算出部４０、３次元データ処理部５０、３次元データ表示制御部６０、３次元データ保存部７０の機能を１つのコンピュータ又は複数のコンピュータで実装することも当業者が適宜設計できる事項である。

＜変形例１＞
　第１実施形態又は第２実施形態において、第２マーカー位置情報算出部４０３が、非深度カメラ２０４により取得した画像から治具座標系マーカー３０の４つの頂点Ｐ_０，Ｐ_１，Ｐ_２、Ｐ_３を判定しやすくするために、一例としてＰ_０に対応する１個の発熱温度を、他の球体よりも高い温度を発熱するように構成した。同様にＰ_１に対応する１個の発熱温度を、Ｐ_０を除く３個の球体のうち、他の球体よりも高い温度を発熱するように構成した。
　しかしながら、点Ｐ_０に対応する１個の発熱温度が、他の球体よりも高い温度を発熱するようにするだけでもよい。Ｐ_０を除く３個の球体の発熱温度は同じ温度であっても異なる温度であっても構わない。
　この場合、Ｐ_０を特定して、Ｐ_１とＰ_２を特定しない状態で、第２マーカー位置情報算出部４０３は、マーカーの４つの頂点の非深度カメラ座標系（３次元空間）における座標値（第２マーカー位置情報）を算出する。
　その後、第２マーカー位置情報算出部４０３は、例えばＰ_０Ｐ_１の長さがＰ_０Ｐ_３の長さよりも短くなるように構成した場合、Ｐ_０Ｐ_１の長さ及びＰ_０Ｐ_３の長さを算出して比較することで、頂点Ｐ_１及び頂点Ｐ_３をそれぞれ特定することができる。
　また、第２マーカー位置情報算出部４０３は、マーカー３０の重心を中心として例えば左回りに頂点Ｐ_１，Ｐ_２、Ｐ_３と構成した場合、頂点Ｐ_１及び頂点Ｐ_３をそれぞれ特定するようにしてもよい。
　なお、第２マーカー位置情報算出部４０３は、非深度カメラ２０４（サーモグラフィカメラ）により取得された画像データ内において、マーカーの頂点Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３の座標位置を、例えばオペレータにより指示されるようにしてもよい。

＜変形例２＞
　さらには、治具座標系マーカー３０の４つの頂点Ｐ_０，Ｐ_１，Ｐ_２、Ｐ_３に対応する４個の発熱温度を同じ温度とすることもできる。
　この場合、マーカーの頂点Ｐ_０の近傍に例えば発熱体Ｐ_４を配置するように構成する。そうすることで、第２マーカー位置情報算出部４０３は、発熱体の温度に違いがない場合であっても、頂点Ｐ_０を特定することが可能となる。その後は、変形例１で説明したのと同様に、頂点Ｐ_１及び頂点Ｐ_３をそれぞれ特定することができる。

＜変形例３＞
　第１実施形態又は第２実施形態では、非深度カメラ２０４としてサーモグラフィカメラを適用したが、サーモグラフィカメラ以外の任意の非深度カメラを適用することができる。
　非深度カメラとして、カラーカメラを適用することができる。この場合、深度カメラ１０４を構成するカメラの解像度よりも高解像度なカラーカメラであることが好ましい。
　治具座標系マーカー３０としては、頂点Ｐ_０，Ｐ_１，Ｐ_３に対応する球体の表面の色を例えばＲＥＤとした場合、頂点Ｐ_２に対応する球体の色をＲＥＤ以外の色とすることができる。そうすることで、第２マーカー位置情報算出部４０３は、頂点Ｐ_０を特定することができる。
　その後、変形例１で説明したように、例えばＰ_０Ｐ_１の長さがＰ_０Ｐ_３の長さよりも短くなるように構成した場合、第２マーカー位置情報算出部４０３は、Ｐ_０Ｐ_１の長さ及びＰ_０Ｐ_３の長さを算出して比較することで、頂点Ｐ_１及び頂点Ｐ_３をそれぞれ特定することができる。
　また、マーカー３０の重心を中心として例えば左回りに頂点Ｐ_１，Ｐ_２、Ｐ_３と構成した場合、第２マーカー位置情報算出部４０３は、頂点Ｐ_１及び頂点Ｐ_３をそれぞれ特定することができる。
　また、変形例２で説明したのと同様に、頂点Ｐ_０の近傍に例えばＲＥＤのＰ_４を配置するように構成することで、第２マーカー位置情報算出部４０３は、頂点Ｐ_０を特定することが可能となる。

＜変形例４＞
　非深度カメラ２０４として、ＩＲカメラ（赤外線カメラ）を適用することができる。近赤外線は生体構成物質での吸収率が小さく、特に８００～１０００ｎｍの波長の近赤外線は生体透過率が高い特性を有する。この特性を利用することで、測定対象に近赤外線を照射して、吸収された度合（吸光度）又は反射の変化によって成分を算出することが可能となる。
　例えば、近赤外線用のＩＲカメラの場合７５０ｎｍ～１４００ｎｍ付近の波長の光を取得するカメラであることから、４つの頂点Ｐ_０，Ｐ_１，Ｐ_２、Ｐ_３には、例えばハロゲンランプを配置することができる。また、ハロゲンランプの色温度とピークの波長の関係を用いて、所定の波長の近赤外線を出力させることで、第２マーカー位置情報算出部４０３は、４つの頂点Ｐ_０，Ｐ_１，Ｐ_２、Ｐ_３を特定するように構成できる。
　また、頂点Ｐ_０に配置するハロゲンランプと他の頂点Ｐ_１，Ｐ_２、Ｐ_３に配置するハロゲンランプの発する光の波長を変えておくことで第２マーカー位置情報算出部４０３は、頂点Ｐ_０を特定することができる。
　その後、変形例１で説明したように、第２マーカー位置情報算出部４０３は、例えばＰ_０Ｐ_１の長さがＰ_０Ｐ_３の長さよりも短くなるように構成した場合、Ｐ_０Ｐ_１の長さ及びＰ_０Ｐ_３の長さを算出して比較することで、頂点Ｐ_１及び頂点Ｐ_３をそれぞれ特定することができる。
　また、マーカー３０の重心を中心として例えば左回りに頂点Ｐ_１，Ｐ_２、Ｐ_３と構成した場合、第２マーカー位置情報算出部４０３は、頂点Ｐ_１及び頂点Ｐ_３をそれぞれ特定することができる。
　また、変形例２で説明したのと同様に、頂点Ｐ_０の近傍に例えば別のハロゲンランプＰ_４を配置するように構成することで、第２マーカー位置情報算出部４０３は、頂点Ｐ_０を特定することも可能である。

＜変形例５＞
　非深度カメラ２０４として、ハイパースペクトルカメラを適用することができる。ハイパースペクトルカメラは、数１０バンド以上に分光されたスペクトルを画像１ピクセル毎に取得することができる。このため、従来のＲＧＢでは困難な色情報、物質の材質を判別することが可能となり、異物検査・品質管理・成分分析・環境調査等に広く利用される。
　非深度カメラ２０４にハイパースペクトルカメラを適用した場合においても、ハイパースペクトルカメラの受光できる光の波長に合わせた光源をマーカー３０の４つの頂点Ｐ_０，Ｐ_１，Ｐ_２、Ｐ_３に配置することで第２マーカー位置情報算出部４０３は、マーカー３０の４つの頂点Ｐ_０，Ｐ_１，Ｐ_２、Ｐ_３を特定することが可能となる。
　また、頂点Ｐ_０に配置する光源と他の頂点Ｐ_１，Ｐ_２、Ｐ_３に配置する光源の発する光の波長を変えておくことで第２マーカー位置情報算出部４０３は、頂点Ｐ_０を特定することができる。
　その後、変形例１で説明したように、例えばＰ_０Ｐ_１の長さがＰ_０Ｐ_３の長さよりも短くなるように構成した場合、第２マーカー位置情報算出部４０３は、Ｐ_０Ｐ_１の長さ及びＰ_０Ｐ_３の長さを算出して比較することで、頂点Ｐ_１及び頂点Ｐ_３をそれぞれ特定することができる。
　また、マーカー３０の重心を中心として例えば左回りに頂点Ｐ_１，Ｐ_２、Ｐ_３と構成した場合、第２マーカー位置情報算出部４０３は、頂点Ｐ_１及び頂点Ｐ_３をそれぞれ特定することができる。
　また、変形例２で説明したのと同様に、頂点Ｐ_０の近傍に例えば別の光源Ｐ_４を配置するように構成することで、第２マーカー位置情報算出部４０３は、頂点Ｐ_０を特定することも可能である。

＜変形例６＞
　非深度カメラ２０４として、マルチスペクトルカメラを適用することができる。マルチスペクトルカメラは、任意に複数波長を選択し、その波長の測定に特化することで、動画レートでのスペクトル測定を可能とする。このため、従来のＲＧＢでは困難な色情報、物質の材質を判別することが可能となり、異物検査・品質管理・成分分析・環境調査等に広く利用される。
　なお、非深度カメラ２０４にマルチスペクトルカメラを適用した場合においても、マルチスペクトルカメラの受光できる光の波長に合わせた光源をマーカー３０の４つの頂点Ｐ_０，Ｐ_１，Ｐ_２、Ｐ_３に配置することで第２マーカー位置情報算出部４０３は、マーカー３０の４つの頂点Ｐ_０，Ｐ_１，Ｐ_２、Ｐ_３を特定することが可能となる。
　なお、頂点Ｐ_０、頂点Ｐ_１及び頂点Ｐ_３の特定について、第２マーカー位置情報算出部４０３は、変形例５（ハイパースペクトルカメラ）の場合と同様にできる。

＜変形例７＞
　非深度カメラ２０４として、ＵＶカメラ（紫外線カメラ）を適用することができる。ＵＶカメラを利用することで、可視光域では見えにくい表面のキズ、シミなどを鮮明にとらえることが可能となる。
　例えば、ＵＶカメラを適用する場合、４つの頂点Ｐ_０，Ｐ_１，Ｐ_２、Ｐ_３には特定の波長の紫外線のみを発生させる光源を配置することで、第２マーカー位置情報算出部４０３は、４つの頂点Ｐ_０，Ｐ_１，Ｐ_２、Ｐ_３を特定するように構成できる。
　また、頂点Ｐ_０に配置する光源と他の頂点Ｐ_１，Ｐ_２、Ｐ_３に配置する光源の発する光の波長を変えておくことで第２マーカー位置情報算出部４０３は、頂点Ｐ_０を特定することができる。
　その後、変形例１で説明したように、例えばＰ_０Ｐ_１の長さがＰ_０Ｐ_３の長さよりも短くなるように構成した場合、第２マーカー位置情報算出部４０３は、Ｐ_０Ｐ_１の長さ及びＰ_０Ｐ_３の長さを算出して比較することで、頂点Ｐ_１及び頂点Ｐ_３をそれぞれ特定することができる。
　また、マーカー３０の重心を中心として例えば左回りに頂点Ｐ_１，Ｐ_２、Ｐ_３と構成した場合、第２マーカー位置情報算出部４０３は、頂点Ｐ_１及び頂点Ｐ_３をそれぞれ特定することができる。
　また、変形例２で説明したのと同様に、頂点Ｐ_０の近傍に例えば別の光源Ｐ_４を配置するように構成することで、第２マーカー位置情報算出部４０３は、頂点Ｐ_０を特定することも可能である。

　以上のように、非深度カメラ２０４として、画像カメラ（例えばカラーカメラ）、サーモグラフィカメラ、ハイパースペクトルカメラ、マルチスペクトルカメラ、ＩＲカメラ（赤外線カメラ）、ＵＶカメラ（紫外線カメラ）を例として説明したが、非深度カメラはこれらの例に限定されるものではない。
　本願発明においては、任意の非深度カメラを適用することができる。例えば、水分量、糖度、癌細胞と正常細胞の分離、血管の強調等、様々な画像情報を取得できる非深度カメラが存在する。そのような特殊な非深度カメラと深度カメラとを組み合わせることによって、点群データに特殊な情報を付加することができる。これは、コンピュータによる外界の認識に必要な「セグメント化（画像の有意味な分離）」を可能にする。

　これらにより、例えば、機械と人体の分離、正常細胞と癌細胞の分離等の認識処理が、リアルな３次元画像を用いて行うことができるようになる。これらは、ロボットによる手術を行う場合等に有用な技術である。

１　点群データ変換システム
１０　第１電子機器
１０１　制御部
１０１１　第１通信部
１０１２　３次元計測部
１０１３　時刻同期部
１０２　記憶装置
１０３　有線及び／又は無線通信部
１０４　深度カメラ
１０５　計時部
２０　第２電子機器
２０１　制御部
２０１１　第２通信部
２０１２　３次元計測部
２０１３　時刻同期部
２０２　記憶装置
２０３　有線及び／又は無線通信部
２０４　非深度カメラ（サーモグラフィカメラ）
２０５　時計部
３０、３０Ａ　治具座標系マーカー
４０　座標系算出部
４０１　第１マーカー位置情報算出部
４０２　第１キャリブレーション処理部
４０３　第２マーカー位置情報算出部
４０４　第２キャリブレーション処理部
４０５　座標変換行列作成部
４０６　記憶部
５０　３次元データ処理部
５０１　点群データ座標値変換部
５０２　点群データ変換部
５０３　点群データ合成部
５０４　記憶部
６０　３次元データ表示制御部
６０１　視点操作部
６０２　データ表示方式選択部
６０３　データ再生・保存指示部
６０４　３次元データ表示処理部
７０　３次元データ保存部
７０１　点群データ記憶部

Claims

　３次元空間中の被写体の表面をレンズを通して画像平面へ投影することにより取得される２次元画像データに対して、前記被写体の表面の各点の３次元空間座標値を対応付け、前記２次元画像データを点群データに変換する点群データ変換システムであって、
　第１の３次元空間座標系に基づいて前記被写体の表面の各点における画像データ及び前記各点の前記第１の３次元空間座標系における座標値を含む点群データを計測する３次元計測部を備える第１電子機器と、
　前記第１の３次元空間座標系とは異なる、第２の３次元空間座標系に基づいて３次元空間中の前記被写体を画像平面へ投影することにより、前記被写体の２次元画像データを取得する２次元画像取得部を備える第２電子機器と、
　４つの頂点を有し、隣り合う前記４つの頂点を結ぶことで得られる四角形の互いに向かい合う辺が平行となる前記４つの頂点に所定の標識物が設けられるマーカーと、
　前記３次元計測部により計測された前記マーカーの点群データに基づいて、前記マーカーの少なくとも３つの頂点の前記第１の３次元空間座標系における座標値である第１マーカー位置情報を算出する第１マーカー位置情報算出部と、
　前記２次元画像取得部により取得された前記マーカーの前記画像平面上の２次元画像データに基づいて、前記四角形の互いに向かい合う平行となる辺同士の前記画像平面上での交点及び前記２つの交点を結ぶ直線の前記画像平面上の方程式を算出し、前記マーカーの有する少なくとも３つの頂点の前記第２の３次元空間座標系における座標値である第２マーカー位置情報を算出する、第２マーカー位置情報算出部と、
　前記第１マーカー位置情報算出部により算出される前記第１マーカー位置情報及び前記第２マーカー位置情報算出部により算出される前記第２マーカー位置情報に基づいて、前記第１の３次元空間座標系における座標値を前記第２の３次元空間座標系における座標値に変換するための座標変換行列を算出する座標変換行列算出部と、
　前記２次元画像取得部により取得された前記被写体の２次元画像データに対して、前記３次元計測部により計測される前記被写体の表面の各点の前記第１の３次元空間座標系における座標値を前記座標変換行列により前記第２の３次元空間座標系における座標値に変換した点群データを対応付けることにより、前記被写体の２次元画像データを点群データに変換する点群データ変換部と、
　を備える点群データ変換システム。
　前記マーカーは、さらに、
　　前記四角形により構成される平面上に含まれない、所定の標識物が設けられた別の頂点を有し、
　前記第１マーカー位置情報算出部は、さらに
　　前記別の頂点の前記第１の３次元空間座標系における座標値を含む前記第１マーカー位置情報を算出する、請求項１に記載の点群データ変換システム。
　前記点群データ変換システムは、さらに、
　　３次元空間のグローバル座標系を備え、
　　前記マーカーの前記頂点の前記グローバル座標系の座標値が既知であり、
　前記点群データ変換部は、さらに、
　　前記被写体の２次元画像データを前記グローバル座標系における座標値を有する点群データに変換することを特徴とする請求項１又は請求項２に記載の点群データ変換システム。
　前記マーカーは、さらに、
　　３次元空間の治具座標系を備え、
　前記点群データ変換部は、さらに、
　　前記被写体の２次元画像データを前記治具座標系における座標値を有する点群データに変換することを特徴とする請求項１～請求項３の何れか１項に記載の点群データ変換システム。
　前記２次元画像取得部は、サーモグラフィカメラによって構成され、前記被写体の２次元画像データは、熱画像データを含み、
　前記マーカーの頂点に配置される標識物は発熱体であることを特徴とする、請求項１～請求項４のいずれかに１項に記載の点群データ変換システム。
　前記２次元画像取得部は、赤外線カメラによって構成され、前記被写体の２次元画像データは、所定の波長のスペクトル情報を含み、
　前記マーカーの頂点に配置される標識物は、前記赤外線カメラの受光できる所定の波長の光を出力する光源であることを特徴とする、請求項１～請求項４のいずれかに１項に記載の点群データ変換システム。
　前記２次元画像取得部は、紫外線カメラによって構成され、前記被写体の２次元画像データは、所定の波長のスペクトル情報を含み、
　前記マーカーの頂点に配置される標識物は、前記紫外線カメラの受光できる所定の波長の光を出力する光源であることを特徴とする、請求項１～請求項４のいずれかに１項に記載の点群データ変換システム。
　前記２次元画像取得部は、マルチスペクトルカメラによって構成され、前記被写体の２次元画像データは、所定の波長のスペクトル情報を含み、
　前記マーカーの頂点に配置される標識物は、前記マルチスペクトルカメラの受光できる所定の波長の光を出力する光源であることを特徴とする、請求項１～請求項４のいずれかに１項に記載の点群データ変換システム。
　前記２次元画像取得部は、ハイパースペクトルカメラによって構成され、前記被写体の２次元画像データは、ハイパースペクトル情報を含み、
　前記マーカーの頂点に配置される標識物は、前記ハイパースペクトルカメラの受光できる所定の波長の光を出力する光源であることを特徴とする、請求項１～請求項４のいずれかに１項に記載の点群データ変換システム。
　前記２次元画像取得部は、カラーカメラによって構成され、前記被写体の２次元画像データは、前記被写体のカラー画像データを含み、
　前記マーカーの頂点に配置される標識物は、それぞれ表面が予め設定された色で着色されていることを特徴とする、請求項１～請求項４のいずれかに１項に記載の点群データ変換システム。
　３次元空間中の被写体の表面をレンズを通して画像平面へ投影することにより取得される２次元画像データに対して、前記被写体の表面の各点の３次元空間座標値（点群データ）を対応付け、前記２次元画像データを点群データに変換する点群データ変換方法であって、
　第１の３次元空間座標系に基づいて前記被写体の表面の各点における画像データ及び前記各点の前記第１の３次元空間座標系における座標値を含む点群データを計測する３次元計測ステップと、
　前記第１の３次元空間座標系とは異なる、第２の３次元空間座標系に基づいて３次元空間中の前記被写体を画像平面へ投影することにより、前記被写体の２次元画像データを取得する２次元画像データ取得ステップと、
　３次元空間に配置される、４つの頂点を有し、隣り合う前記４つの頂点を結ぶことで得られる四角形の互いに向かい合う辺が平行となる前記４つの頂点に所定の標識物が設けられるマーカーを被写体として、前記３次元計測ステップにおいて計測して得られる前記マーカーの点群データに基づいて、前記マーカーの少なくとも３つの頂点の前記第１の３次元空間座標系における座標値である第１マーカー位置情報を算出する第１マーカー位置情報算出ステップと、
　前記マーカーを被写体として、前記２次元画像データ取得ステップにおいて取得された前記マーカーの前記画像平面上の２次元画像データに基づいて、前記四角形の互いに向かい合う平行となる辺同士の前記画像平面上での交点及び前記２つの交点を結ぶ直線の前記画像平面上の方程式を算出し、前記マーカーの有する少なくとも３つの頂点の前記第２の３次元空間座標系における座標値である第２マーカー位置情報を算出する第２マーカー位置情報算出ステップと、
　前記第１マーカー位置情報算出ステップにおいて算出される前記第１マーカー位置情報及び前記第２マーカー位置情報算出ステップにおいて算出される前記第２マーカー位置情報に基づいて、前記第１の３次元空間座標系における座標値を前記第２の３次元空間座標系における座標値に変換するための座標変換行列を算出する座標変換行列算出ステップと、
　前記２次元画像情報取得ステップにおいて取得された前記被写体の２次元画像データに対して、前記３次元計測ステップにおいて計測される前記被写体の表面の各点の前記第１の３次元空間座標系における座標値を前記座標変換行列により前記第２の３次元空間座標系における座標値に変換した点群データを対応付けることにより、前記被写体の２次元画像データを点群データに変換する点群データ変換ステップと、
　を備える、点群データ変換方法。
　前記マーカーは、さらに、
　　前記四角形により構成される平面上に含まれない、所定の標識物が設けられた別の頂点を有し、
　前記第１マーカー位置情報算出ステップは、さらに
　　前記別の頂点の前記第１の３次元空間座標系における座標値を含む前記第１マーカー位置情報を算出する、請求項１１に記載の点群データ変換方法。
　コンピュータに、請求項１１又は請求項１２に記載の方法の各ステップを実行させるためのコンピュータプログラム。