JP7157409B2 - 三次元画像生成装置、三次元画像生成方法、および三次元画像生成プログラム - Google Patents

Description

本発明は、三次元画像生成装置、三次元画像生成方法、および三次元画像生成プログラムに関する。

可視カメラでは捉える事が出来ない温度情報を示す温度画像を、温度カメラでは捉える事が可能である。本明細書において、「温度カメラ」とは、波長が８μｍ～１０００μｍの範囲の赤外線の画像（遠赤外画像）を撮像できる不可視カメラ（遠赤外カメラ）をいう。この波長範囲の赤外線は、熱赤外線と遠赤外線とを含む。そのため、温度カメラ（不可視カメラ；遠赤外カメラ）を用いることにより、プラントや設備などの異常を、温度画像（遠赤外画像）から得ることが可能となる。

しかしながら、温度画像（遠赤外画像）だけでは幾何学的形状が分かりにくいといった問題がある。そこで、可視カメラと温度カメラ（遠赤外カメラ）とを併用することにより、この欠点を補う研究がなされている。

例えば、特許文献１は、物体の二次元温度画像を立体的な三次元画像に変換する、温度画像の三次元化装置を開示している。この特許文献１に開示された、温度画像の三次元化装置は、対象物の三次元情報及び温度画像情報に基づいて、対象物の温度画像を三次元化する装置である。三次元化装置は、サーモグラフィ（温度画像取得手段）と、三次元情報取得手段と、座標対応付手段とを備えている。サーモグラフィ（温度画像取得手段）は、対象物及び基準物からの発熱に基づいて温度画像情報を取得する。三次元情報取得手段は、対象物の三次元情報を取得する。座標対応付手段は、サーモグラフィにより得られた温度画像情報中の特定の温度画像座標と三次元情報取得手段により得られた三次元情報中の特定の実画像とを対応付ける。モニタには、対象物の温度画像や三次元画像が個別に、或いは同一画面に同時に表示することができる。三次元化装置は、対象物の基準点を定めるために、既知の座標を有する発熱源（例えば複数個の豆電球等）を基準点として生成する基準物を備える。

特許文献１において、三次元化装置は、対象物と豆電球の温度画像情報（温度情報と座標を有する情報）を同時に取得して、対象物の三次元情報を取得する。三次元化装置は、豆電球の実座標と温度画像座標とのキャリブレーションを行なうことにより、実座標から温度画像座標への変換式を決定している。そして、三次元化装置は、決定された変換式に基づいて三次元情報の全ての実画像を温度画像座標に変換し、変換された温度画像情報に基づいて温度情報を抽出して温度画像を三次元化している。特許文献１において、三次元情報取得手段は、所定のエリアに磁気ベクトルを形成するトランスミッタと、対象物に光を照射する投光手段と、この投光手段により物体表面に照射された光を撮像する撮像手段と、三次元化装置の三次元位置と姿勢を検出する三次元磁気センサとを備える。

また、特許文献２は、赤外画像と可視画像との融合により車両の周辺を可視化するための方法および装置を開示している。特許文献２に開示された、暗闇の中で車両の周辺を可視化するための装置は、周辺のデジタルデータが含まれた可視画像を提供する一つの可視カメラと、周辺のデジタルデータが含まれた赤外画像を提供する一つの赤外カメラとを有するカメラ装置を有する。可視画像には視覚的可視物体が表示され、赤外画像には視覚的可視物体および／またはそれ以外の物体が発する赤外線が表示される。画像処理ユニットは、可視画像と赤外画像との画像融合を実行する。画像表示ユニットは、画像処理ユニットにより生成された周辺画像を表示する。

特許文献２において、画像処理ユニットは、第１の正規化装置、第２の正規化装置、アライメント装置、および重ね合わせ・融合装置を有している。可視画像の歪みないしは光学収差は、第１の正規化装置により除去される。赤外画像の歪みないしは光学収差は、第２の正規化装置により除去される。正規化後の画像は、レジストレーション工程によって、アライメント装置によりレジストレーションパラメータを使用しながら互いにアライメント処理される。すなわち、正規化後の両画像は、同一の物体が、実質的に同一地点、実質的に同一のサイズで、融合後の画像に出現するように、互いに対してアライメント処理される。互いに対してアライメント処理された画像は、重ね合わせ・融合装置において、デジタルデータ処理により重ね合わせ、ないしは融合される。

特許文献３は、可搬性に優れた上で、構造物のひび割れや空洞等の欠陥部の有無を容易に検出することができる携帯型の撮像装置を開示している。特許文献３に開示された撮像装置は、撮像対象である構造物の可視画像データを撮像するディジタルカメラと、構造物の熱画像データを撮像する赤外線カメラとを、筐体の内部に備える。ディジタルカメラおよび赤外線カメラは、それぞれの光軸が互いに平行となるように調整されている。これにより、ディジタルカメラおよび赤外線カメラのそれぞれによって撮像される画像データの中心が、被写体上においてディジタルカメラと赤外線カメラとの間隔と同距離だけ離隔した点を示すように調整することが可能となる。ディジタルカメラ及び赤外線カメラについてのそれぞれの光学系の画角に基づいて算出される視野サイズの比を考慮して、画角の大きい画像の中心付近から、画角の小さい方の画像の画角分を切り取り、これをディジタルカメラと赤外線カメラとの間隔と同距離だけ移動して重ね合わせる。このことにより、被写体までの距離にかかわらず、可視画像データと熱画像データとを重ね合わせることができ、熱画像データと可視画像データとを重畳して融合させた熱可視融合画像データを高精度に生成することが可能となる。

特許文献３において、可視画像データ及び熱画像データが供給されると、画像処理部は、これら可視画像データ及び熱画像データを等縮尺に補正し、補正後の等縮尺画像データをＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）に格納する。撮像装置においては、画像処理部により、レンズ収差補正処理及びパララックス補正処理が実行される。ディジタルカメラ及び赤外線カメラのカメラレンズ画角が異なる場合、これらディジタルカメラと赤外線カメラとのそれぞれのカメラ光学系中心間距離と、ディジタルカメラによるオートフォーカス機能を用いて取得された構造物までの距離とを用いて、可視画像データと熱画像データとの視点の違いによる視差（パララックス）を補正することができる。このようなパララックス補正処理を行うと、視野及び画角が一致した可視画像データと熱画像データとを重畳して融合させた熱可視融合画像データが生成される。

特許文献４は、ステレオマッチング法等を用いて距離画像を生成する距離画像生成方法及びその装置を開示している。「距離画像」とは、被写体の各物点までの距離を各画素の画素値とした画像である。特許文献４において、カメラの本体には撮像部（主撮像部）ＰＡと撮像部（副撮像部）ＰＢの２つが設けられている。撮像部ＰＡは、可視光の画像を撮像する。一方、撮像部ＰＢは、距離画像を生成するために用いられ、撮像部ＰＡと異なる視線方向からの可視光の画像を取り込む。これによって、撮像部ＰＡと撮像部ＰＢによって取り込まれた２つの画像がステレオ画像としてステレオマッチング法による距離画像の生成に使用される。

特許文献４において、撮像部ＰＢの撮影レンズＬＢの上下には、赤外光を出射する赤外光照射部が設けられている。これらの赤外光照射部から被写体に照射されて反射した赤外光（赤外光を含む光）によって結像された画像が撮像部ＰＢにより取り込まれる。その赤外光により結像された画像（赤外画像）は、赤外光を使用したＴＯＦ（Time of Flight）法による距離画像の生成に使用される。その赤外画像を示す画像信号は、イメージセンサから出力されてＡ／Ｄ変換器によりデジタル信号に変換された後、ＴＯＦ距離画像生成部に取り込まれる。そのＴＯＦ距離画像生成部において、ＴＯＦ法により被写体の各物点までの距離を各画素の画素値とした距離画像が生成される。

尚、特許文献５は、種類の異なる複数のカメラ同士をキャリブレートするキャリブレーションボードを開示している。

特許第５５２２６３０号公報 特表２００８－５３０６６７号公報 特開２００５－３３８３５９号公報 特開２００８－１１６３０８号公報 国際公開第２０１７／０５６４７３号

しかしながら、上述した先行技術文献には、次に述べるような問題がある。

特許文献１では、三次元情報取得手段が、トランスミッタ、投光手段、撮像手段、および三次元磁気センサなどを含む、物理的な多数のハードウェアとして実現されている。そのため、装置が大型になってしまい、小型化が困難になるという問題がある。

特許文献２は、単に、可視画像と赤外画像とを融合して、二次元の融合画像を生成する技術を開示しているに過ぎない。すなわち、特許文献２では、三次元の融合画像を得ることができない。

特許文献３も、単に、可視画像データと熱画像データとを重畳して融合させて、二次元の熱可視融合画像データを生成する技術を開示しているに過ぎない。したがって、特許文献３でも、三次元の熱可視融合画像データを得ることができない。

特許文献４は、単に、ステレオマッチング法やＴＯＦ法を用いて距離画像を生成する方法を開示しているに過ぎない。

特許文献５は、単に、種類の異なる複数のカメラ同士をキャリブレートするキャリブレーションボードを開示しているに過ぎない。

本発明の目的は、上述した課題を解決できる三次元画像生成装置、三次元画像生成方法、および三次元画像生成プログラムを提供することにある。

本発明の一形態に係る三次元画像生成装置は、可視画像を撮像できる可視カメラと、８μｍ～１０００μｍの波長範囲の遠赤外画像を撮像できる遠赤外カメラとを含み、前記可視カメラと前記遠赤外カメラとの間の相対位置が固定されている撮像装置を、被写体に対して移動させて、前記被写体の三次元画像を生成する三次元画像生成装置であって、前記可視カメラで撮像された、前記被写体の複数の可視画像から成る可視画像群を取得する第１の画像取得手段と；前記遠赤外カメラで撮像された、前記被写体の複数の遠赤外画像から成る遠赤外画像群を取得する第２の画像取得手段と；前記可視画像群からＤＳＯ（Direct Sparse Odometry）により三次元モデルを再構成して、前記可視カメラの位置姿勢と前記可視画像群とから、マルチベースラインステレオ法を用いて可視距離画像を得る第１の再構成手段と；前記遠赤外画像群から前記ＤＳＯ（Direct Sparse Odometry）により三次元モデルを再構成して、前記遠赤外カメラの位置姿勢と前記遠赤外画像群とから、前記マルチベースラインステレオ法を用いて遠赤外距離画像を得る第２の再構成手段と；前記可視カメラと前記遠赤外カメラとのカメラ間の位置姿勢関係を予め記憶する記憶手段と；前記可視距離画像と前記遠赤外距離画像とを一次元探索により比較して、前記カメラ間の位置姿勢関係の大きさと三次元構造の大きさとの対応関係を表すスケール情報を決定する一次元探索手段と；前記決定されたスケール情報に基づいて、前記カメラ間の位置姿勢関係を用いて、各可視画像上に対応する各遠赤外画像を重畳させた、前記被写体の三次元画像を得る重畳手段と；を備える。

本発明の他の形態に係る三次元画像生成方法は、可視画像を撮像できる可視カメラと、８μｍ～１０００μｍの波長範囲の遠赤外画像を撮像できる遠赤外カメラとを含み、前記可視カメラと前記遠赤外カメラとの間の相対位置が固定されている撮像装置を、被写体に対して連続的に移動させて、前記被写体の三次元画像を生成する三次元画像生成装置における三次元画像生成方法であって、第１の画像取得部が、前記可視カメラで撮像された、前記被写体の複数の可視画像から成る可視画像群を取得する第１の画像取得工程と；第２の画像取得部が、前記遠赤外カメラで撮像された、前記被写体の複数の遠赤外画像から成る遠赤外画像群を取得する第２の画像取得工程と；第１の再構成部が、前記可視画像群からＤＳＯ（Direct Sparse Odometry）により三次元モデルを再構成して、前記可視カメラの位置姿勢と前記可視画像群とから、マルチベースラインステレオ法を用いて可視距離画像を得る第１の再構成工程と； 第２の再構成部が、前記遠赤外画像群から前記ＤＳＯ（Direct Sparse Odometry）により三次元モデルを再構成して、前記遠赤外カメラの位置姿勢と前記遠赤外画像群とから、前記マルチベースラインステレオ法を用いて遠赤外距離画像を得る第２の再構成工程と；前記可視カメラと前記遠赤外カメラとのカメラ間の位置姿勢関係を予め、記憶装置に記憶する工程と；一次元探索部が、前記可視距離画像と前記遠赤外距離画像とを一次元探索により比較して、前記カメラ間の位置姿勢関係の大きさと三次元構造の大きさとの対応関係を表すスケール情報を決定する一次元探索工程と；重畳部が、前記決定されたスケール情報に基づいて、前記カメラ間の位置姿勢関係を用いて、各可視画像上に対応する各遠赤外画像を重畳させた、前記被写体の三次元画像を得る重畳工程と；を含む。

本発明の他の形態に係る三次元画像生成プログラムは、可視画像を撮像できる可視カメラと、８μｍ～１０００μｍの波長範囲の遠赤外画像を撮像できる遠赤外カメラとを含み、前記可視カメラと前記遠赤外カメラとの間の相対位置が固定されている撮像装置を、被写体に対して連続的に移動させて、三次元画像生成装置のコンピュータに、前記被写体の三次元画像を生成させる三次元画像生成プログラムであって、前記可視カメラで撮像された、前記被写体の複数の可視画像から成る可視画像群を取得する第１の画像取得手順と；前記遠赤外カメラで撮像された、前記被写体の複数の遠赤外画像から成る遠赤外画像群を取得する第２の画像取得手順と；前記可視画像群からＤＳＯ（Direct Sparse Odometry）により三次元モデルを再構成して、前記可視カメラの位置姿勢と前記可視画像群とから、マルチベースラインステレオ法を用いて可視距離画像を得る第１の再構成手順と；前記遠赤外画像群から前記ＤＳＯ（Direct Sparse Odometry）により三次元モデルを再構成して、前記遠赤外カメラの位置姿勢と前記遠赤外画像群とから、前記マルチベースラインステレオ法を用いて遠赤外距離画像を得る第２の再構成手順と；前記可視カメラと前記遠赤外カメラとのカメラ間の位置姿勢関係を、予め記憶装置に記憶する手順と； 前記可視距離画像と前記遠赤外距離画像とを一次元探索により比較して、前記カメラ間の位置姿勢関係の大きさと三次元構造の大きさとの対応関係を表すスケール情報を決定する一次元探索手順と；前記決定されたスケール情報に基づいて、前記カメラ間の位置姿勢関係を用いて、各可視画像上に対応する各遠赤外画像を重畳させた、前記被写体の三次元画像を得る重畳手順と：を前記コンピュータに実行させる。

本発明によれば、各遠赤外画像を、正しい位置で、対応する各可視画像上に重畳することが可能となる。

本発明の実施の形態に係る三次元画像生成装置を含む三次元画像生成システムの概略構成を示すブロック図である。 図１に示された三次元画像生成装置の内部構成を示すブロック図である。 図１に示された三次元画像生成システムに使用される、カメラ間の位置姿勢関係を算出する方法を説明するためのブロック図である。 図１に示された三次元画像生成システムに使用される、一次元探索部の動作を説明するためのフロー図である。 図１に示された三次元画像生成システムの全体の動作を説明するためのフローチャートである。 図１に示した三次元画像生成システムの全体の動作を説明するための、画像例を示す図である。

次に、発明を実施するための形態について図面を参照して詳細に説明する。

[構成の説明]
図１は、本発明の実施の形態に係る三次元画像生成装置１００を含む三次元画像生成システム１０の概略構成を示すブロック図である。

図１を参照すると、三次元画像生成システム１０は、可視カメラ１２および遠赤外カメラ１４を含む撮像装置と、本発明の実施の形態に係る三次元画像生成装置１００と、モニタ１６とから成る。

可視カメラ１２は可視画像を撮像できるカメラである。遠赤外カメラ１４は、８μｍ～１０００μｍの波長範囲の遠赤外画像（温度画像）を撮像できるカメラである。撮像装置は、可視カメラ１２と遠赤外カメラ１４との間の相対位置が固定されている装置である。すなわち、撮像装置は、可視カメラ１２と遠赤外カメラ１４とが、同一の軸（図示せず）に並列に固定された、ハンドヘルドデバイスである。撮像装置は、それ自体を動かしていくことによって、被写体（環境）１５を撮影することができる。

なお、可視カメラ１２はＲＧＢ（red, green, blue）カメラとも呼ばれ、遠赤外カメラ１４は温度カメラとも呼ばれる。

三次元画像生成装置１００は、このような撮像装置を用いて、後述するように、被写体１５の三次元画像を生成する。生成される被写体１５の三次元画像は、ＲＧＢ－Ｔ（temperature）三次元画像とも呼ばれる。

モニタ１６は、ＲＧＢ－Ｔ三次元画像を表示する装置である。モニタ１６は、ＬＣＤ（Liquid Crystal Display）やＰＤＰ（Plasma Display Panel）などの表示装置からなる。

三次元画像生成装置１００は、プログラム制御により動作するパーソナルコンピュータ（ＰＣ）で実現可能である。

図２は、三次元画像生成装置１００の内部構成を示すブロック図である。三次元画像生成装置１００は、後述するプログラムやデータを記憶する記憶装置１０２と、データを処理するデータ処理装置１０４とを備えている。

記憶装置１０２は、ハードディスクやリードオンリメモリ（ＲＯＭ）およびランダムアクセスメモリ（ＲＡＭ）などのメモリからなる。記憶装置１０２は、データ処理装置１０４における各種処理に必要な処理情報(後述する)やプログラム２０１を記憶する機能を有する。

データ処理装置１０４は、ＭＰＵ（micro processing unit）などのマイクロプロセッサや中央処理装置（ＣＰＵ）からなる。データ処理装置１０４は、記憶装置１０２からプログラム２０１を読み込んで、プログラム２０１に従ってデータを処理する各種処理部を実現する機能を有する。

データ処理装置１０４で実現される主な処理部は、第１の画像取得部３０１、第２の画像取得部３０２、第１の再構成部３０３、第２の再構成部３０４、一次元探索部３０５、および重畳部３０６からなる。

第１の画像取得部３０１は、可視カメラ１２で撮像された、被写体１５の複数の可視画像から成る可視画像群２０２を取得する。取得された可視画像群２０２は、記憶装置１０２に保存される。

同様に、第２の画像取得部３０２は、遠赤外カメラ１４で撮像された、被写体１５の複数の遠赤外画像から成る遠赤外画像群２０３を取得する。取得された遠赤外画像群２０３は、記憶装置１０２に保存される。

第１の再構成部３０３は、可視画像群２０２からＤＳＯ（Direct Sparse Odometry）により三次元モデルを再構成して、可視距離画像２０４を得る。得られた可視距離画像２０４は、記憶装置１０２に保存される。ここで、ＤＳＯとは、新規な高精度スパース直接構成運動式に基づく、視覚走行距離測定法であって、この技術分野において周知の技術である。

同様に、第２の再構成部３０４は、遠赤外画像群２０３からＤＳＯにより三次元モデルを再構成して、遠赤外距離画像２０５を得る。得られた遠赤外距離画像２０５は、記憶装置１０２に保存される。

記憶装置１０２は、可視カメラ１２と遠赤外カメラ１４とのカメラ間の位置姿勢関係２０６を予め記憶している。カメラ間の位置姿勢関係２０６の生成方法については、後で説明する。

一次元探索部３０５は、可視距離画像２０４と遠赤外距離画像２０５とを一次元探索により比較して、後述のように、カメラ間の位置姿勢関係２０６の大きさと三次元構造の大きさとの対応関係を表すスケール情報２０７を決定する。決定されたスケール情報２０７は、記憶装置１０２に保存される。

重畳部３０６は、決定されたスケール情報２０７に基づいて、カメラ間の位置姿勢関係２０６を用いて、各可視画像上に対応する各遠赤外画像を重畳して、被写体１５の三次元画像２０８を得る。得られた三次元画像２０８は、記憶装置１０２に保存される。

本実施の形態の特徴は、スケール情報２０７を決定したことにある。詳述すると、特許文献１に開示されているようなハードウェアを使用しないで、三次元画像を生成しようとしたとする。その場合、撮像装置の移動量を考慮しないで（換言すれば、三次元情報を取得しないで）、三次元画像を生成することになる。その結果、得られた三次元画像では、そのスケール情報が不定になり、遠赤外カメラ１４で撮像された遠赤外画像（温度画像）を位置合わせして、可視カメラ１２で撮像された可視画像に重畳することが出来ない。

そこで、本実施の形態では、一次元探索部３０５が、可視距離画像２０４と遠赤外距離画像２０５とを一次元探索により比較して、スケール情報２０７を決定している。これにより、重畳部３０６は、決定されたスケール情報２０７に基づいて、カメラ間の位置姿勢関係２０６を用いて、各可視画像上に対応する各遠赤外画像を重畳して、被写体１５の三次元画像２０８を得ることが可能となる。

図３を参照して、カメラ間の位置姿勢関係２０６を算出する方法について説明する。この方法では、キャリブレーションボード１７を使用する。このキャリブレーションボード１７としては、例えば、上述した特許文献５に開示されているキャリブレーションボードを使用することができる。具体的には、キャリブレーションボード１７は、例えば、ホットカーペットの上に断熱材をのせていくことによって、温度が上昇しやすい部分としにくい部分とを作ることによって温度差を設けて、遠赤外カメラ１４からでもキャリブレーションをすることができるボードである。

先ず、第１の画像取得部３０１は、キャリブレーションボード１７を可視カメラ１２で撮像した可視画像２０２－１を取得し、記憶装置１０２に保存する。同様に、第２の画像取得部３０２は、キャリブレーションボード１７を遠赤外カメラ１４で撮像した遠赤外画像２０３－１を取得し、記憶装置１０２に保存する。

データ処理装置１０４は、パラメータ算出部３０７と姿勢関係算出部３０８とを含む。

パラメータ算出部３０７は、可視画像２０２－１と遠赤外画像２０３－１と用いて、可視カメラ１２および遠赤外カメラ１４の内部パラメータとカメラ間の外部パラメータとを算出する。姿勢関係算出部３０８は、算出した内部パラメータと算出した外部パラメータとを用いて、カメラ間の位置姿勢関係２０６を算出する。算出された、カメラ間の位置姿勢関係２０６は、記憶装置１０２に保存される。

次に、図２に加えて図４をも参照して、スケール情報２０７を算出する方法について説明する。図４は、一次元探索部３０５の動作を説明するためのフロー図である。

先ず、図２を参照すると、第１の再構成部３０３は、可視カメラ１２の位置姿勢と可視画像群２０２とから、マルチベースラインステレオ法を用いて可視距離画像２０４を生成する。生成された可視距離画像２０４は、記憶装置１０２に保存される。

同様に、第２の再構成部３０４は、遠赤外カメラ１４の位置姿勢と遠赤外画像群２０３とから、マルチベースラインステレオ法を用いて遠赤外距離画像２０５を生成する。生成された遠赤外距離画像２０５は、記憶装置１０２に保存される。

なお、「マルチベースラインステレオ法」は、この技術分野において周知の方法であるので、説明を省略する。

図４に移って、先ず、一次元探索部３０５は、可視距離画像２０４を遠赤外カメラ１４の画像座標上の距離画像に変換する（ステップＳ１０１）。

次に、一次元探索部３０５は、この変換した距離画像と遠赤外距離画像２０５とを相互情報量を用いて比較することによってスコアを求める（ステップＳ１０２）。

最後に、一次元探索部３０５は、このスコアが最も高くなる、スケール情報２０７を決定する（ステップＳ１０３）。決定したスケール情報２０７は、記憶装置１０２に保存される。

[動作の説明]
次に、図５および図６を参照して、本実施の形態に係る三次元画像生成システム１０の全体の動作について詳細に説明する。

まず、撮像装置を移動させながら、可視カメラ１２および遠赤外カメラ１４にて、それぞれ、被写体１５を撮像する（ステップＳ２０１ＡおよびＳ２０１Ｂ）。

これにより、第１の画像取得部３０１は、可視カメラ１２で撮像された、被写体１５の複数の可視画像から成る可視画像群２０２を取得し（ステップＳ２０２Ａ）、第２の画像取得部３０２は、遠赤外カメラ１４で撮像された、被写体の１５の複数の遠赤外画像から成る遠赤外画像群２０３を取得する（ステップＳ２０２Ｂ）。取得した可視画像群２０２および遠赤外画像群２０３は、記憶装置１０２に保存される。

引き続いて、第１の再構成部３０３は、可視画像群２０２からＤＳＯにより三次元モデルを再構成して、可視距離画像２０４を得る（ステップＳ２０３Ａ）。同様に、第２の再構成部３０４は、遠赤外画像群２０３からＤＳＯにより三次元モデルを再構成して、遠赤外距離画像２０５を得る（ステップＳ２０３Ｂ）。得られた可視距離画像２０４および遠赤外距離画像２０５は、記憶装置１０２に保存される。

次に、一次元探索部３０５は、可視距離画像２０４と遠赤外画像２０５とを一次元探索により比較して、スケール情報２０７を決定する（ステップＳ２０４）。決定されたスケール情報２０７は、記憶装置１０２に保存される。

重畳部３０６は、決定されたスケール情報２０７に基づいて、カメラ間の位置姿勢関係２０６を用いて、各可視画像上に対応する各遠赤外画像を重畳して、被写体１５のＲＧＢ－Ｔ三次元画像２０８を得る（ステップＳ２０５）。

このようにして得られたＲＧＢ－Ｔ三次元画像２０８は、モニタ１６に出力され、モニタ１６の画面上に表示される（ステップＳ２０６）。

[効果の説明]
次に、本実施の形態の効果について説明する。

本発明の実施の形態を用いることで、各遠赤外画像を、正しい位置で、対応する各可視画像上に重畳することが可能となる。その理由は、距離画像を一次元探索により比較することにより、三次元構造のスケール情報を決定しているからである。

尚、三次元画像生成装置の各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に三次元画像生成プログラムが展開され、該三次元画像生成プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該三次元画像生成プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された画像合成プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。

上記実施の形態を別の表現で説明すれば、三次元画像生成装置として動作させるコンピュータを、ＲＡＭに展開された三次元画像生成プログラムに基づき、第１の画像取得部３０１、第２の画像取得部３０２、第１の再構成部３０３、第２の再構成部３０４、一次元探索部３０５、および重畳部３０６として動作させることで実現することが可能である。

また、可視カメラ１２および遠赤外カメラ１４を含む撮像装置と三次元画像生成装置１００とは、一体で構成されてもよく、別体で構成されてもよい。別体で構成する場合、撮像装置は、可視カメラ１２および遠赤外カメラ１４で撮像した可視画像群および遠赤外画像群を、メモリスティックのような小型メモリカードに一時的に記録したり、可視画像群および遠赤外画像群を示す信号を送信部から外部へ無線で送信するようすればよい。この場合、三次元画像生成装置１００は、小型メモリカードに記録された情報を読み取る読取部や、送信部から送信された情報を受信する受信部を備える。

なお、本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

本発明は、配水管の水漏れの検知や、火災現場での二次災害の予防、さらに大規模プラントの損傷の検知等に利用可能である。

具体的には、配水管の水漏れの検知において、古い家屋の壁内の配水管に裂け目があり水漏れが発生していたとする。この場合、壁に含まれる水分量の違いから温まる速度が異なる。この為、外壁の表面まで水がしみていない場合においても、本発明に係る三次元画像生成システムを用いることで、水漏れの可能性を可視化することが可能となる。その結果、外壁を壊すことなく、内部の配水管の異常を検知することが可能となる。

また、火災現場においては、本発明に係る三次元画像生成システムを用いることで、金属でできたドアノブがどれくらい高温になっているかを可視化することが可能となる。そのため、消防士が実際にドアを開けなくとも、内部がどのような状況になっているかを予測することができる。その結果、消防士がドアを開けたときに起こるかもしれない、バックファイア等の二次災害を未然に防止することができる。

さらに、大規模プラントにおいて、本発明に係る三次元画像生成システムを用いることで、設備外壁のわずかな損傷の影響で、通常時の温度状態より明らかに異なる温度分布を可視化することができる。その結果、異常による事故が発生する前に、改修計画を立てることが可能となる。

１０ 三次元画像生成システム
１２ 可視カメラ（ＲＧＢカメラ）
１４ 遠赤外カメラ（温度カメラ）
１５ 被写体
１６ モニタ
１７ キャリブレーションボード
１００ 三次元画像生成装置
１０２ 記憶装置
１０４ データ処理装置
２０１ プログラム
２０２ 可視画像群
２０２－１ 可視画像
２０３ 遠赤外画像群
２０３－１ 遠赤外画像
２０４ 可視距離画像
２０５ 遠赤外距離画像
２０６ カメラ間の位置姿勢関係
２０７ スケール情報
２０８ 三次元画像（ＲＧＢ－Ｔ三次元画像）
３０１ 第１の画像取得部
３０２ 第２の画像取得部
３０３ 第１の再構成部
３０４ 第２の再構成部
３０５ 一次元探索部
３０６ 重畳部
３０７ パラメータ算出部
３０８ 姿勢関係算出部

Claims (9)

1. 可視画像を撮像できる可視カメラと、８μｍ～１０００μｍの波長範囲の遠赤外画像を撮像できる遠赤外カメラとを含み、前記可視カメラと前記遠赤外カメラとの間の相対位置が固定されている撮像装置を、被写体に対して連続的に移動させて、前記被写体の三次元画像を生成する三次元画像生成装置であって、
   前記可視カメラで撮像された、前記被写体の複数の可視画像から成る可視画像群を取得する第１の画像取得部と、
   前記遠赤外カメラで撮像された、前記被写体の複数の遠赤外画像から成る遠赤外画像群を取得する第２の画像取得部と、
   前記可視画像群からＤＳＯ（Direct Sparse Odometry）により三次元モデルを再構成して、前記可視カメラの位置姿勢と前記可視画像群とから、マルチベースラインステレオ法を用いて可視距離画像を得る第１の再構成部と、
   前記遠赤外画像群から前記ＤＳＯ（Direct Sparse Odometry）により三次元モデルを再構成して、前記遠赤外カメラの位置姿勢と前記遠赤外画像群とから、前記マルチベースラインステレオ法を用いて遠赤外距離画像を得る第２の再構成部と、
   前記可視カメラと前記遠赤外カメラとのカメラ間の位置姿勢関係を予め記憶する記憶装置と、
   前記可視距離画像と前記遠赤外距離画像とを一次元探索により比較して、前記カメラ間の位置姿勢関係の大きさと三次元構造の大きさとの対応関係を表すスケール情報を決定する一次元探索部と、
   前記決定されたスケール情報に基づいて、前記カメラ間の位置姿勢関係を用いて、各可視画像上に対応する各遠赤外画像を重畳させた、前記被写体の三次元画像を得る重畳部と、
   を備える三次元画像生成装置。
2. 前記カメラ間の位置姿勢関係は、キャリブレーションボードを前記可視カメラと前記遠赤外カメラとで撮像した画像を用いて、前記可視カメラおよび前記遠赤外カメラの内部パラメータとカメラ間の外部パラメータとを算出し、該算出した内部パラメータと前記算出した外部パラメータとを用いて、予め算出される、請求項１に記載の三次元画像生成装置。
3. 前記一次元探索部は、前記可視距離画像を前記遠赤外カメラの画像座標上の距離画像に変換し、該変換した距離画像と前記遠赤外距離画像とを相互情報量を用いて比較することによってスコアを求め、該スコアが最も高くなる、前記スケール情報を決定する、請求項１又は２に記載の三次元画像生成装置。
4. 可視画像を撮像できる可視カメラと、８μｍ～１０００μｍの波長範囲の遠赤外画像を撮像できる遠赤外カメラとを含み、前記可視カメラと前記遠赤外カメラとの間の相対位置が固定されている撮像装置を、被写体に対して連続的に移動させて、前記被写体の三次元画像を生成する三次元画像生成装置における三次元画像生成方法であって、
   第１の画像取得部が、前記可視カメラで撮像された、前記被写体の複数の可視画像から成る可視画像群を取得する第１の画像取得工程と、
   第２の画像取得部が、前記遠赤外カメラで撮像された、前記被写体の複数の遠赤外画像から成る遠赤外画像群を取得する第２の画像取得工程と、
   第１の再構成部が、前記可視画像群からＤＳＯ（Direct Sparse Odometry）により三次元モデルを再構成して、前記可視カメラの位置姿勢と前記可視画像群とから、マルチベースラインステレオ法を用いて可視距離画像を得る第１の再構成工程と、
   第２の再構成部が、前記遠赤外画像群から前記ＤＳＯ（Direct Sparse Odometry）により三次元モデルを再構成して、前記遠赤外カメラの位置姿勢と前記遠赤外画像群とから、前記マルチベースラインステレオ法を用いて遠赤外距離画像を得る第２の再構成工程と、
   前記可視カメラと前記遠赤外カメラとのカメラ間の位置姿勢関係を予め、記憶装置に記憶する工程と、
   一次元探索部が、前記可視距離画像と前記遠赤外距離画像とを一次元探索により比較して、前記カメラ間の位置姿勢関係の大きさと三次元構造の大きさとの対応関係を表すスケール情報を決定する一次元探索工程と、
   重畳部が、前記決定されたスケールに基づいて、前記カメラ間の位置姿勢関係を用いて、各可視画像上に対応する各遠赤外画像を重畳させた、前記被写体の三次元画像を得る重畳工程と、
   を含む三次元画像生成方法。
5. 前記カメラ間の位置姿勢関係は、キャリブレーションボードを前記可視カメラと前記遠赤外カメラとで撮像した画像を用いて、前記可視カメラおよび前記遠赤外カメラの内部パラメータとカメラ間の外部パラメータとを算出し、該算出した内部パラメータと前記算出した外部パラメータとを用いて、予め算出される、請求項４に記載の三次元画像生成方法。
6. 前記一次元探索工程では、前記一次元探索部が、前記可視距離画像を前記遠赤外カメラの画像座標上の距離画像に変換し、該変換した距離画像と前記遠赤外距離画像とを相互情報量を用いて比較することによってスコアを求め、該スコアが最も高くなる、前記スケール情報を決定する、請求項４又は５に記載の三次元画像生成方法。
7. 可視画像を撮像できる可視カメラと、８μｍ～１０００μｍの波長範囲の遠赤外画像を撮像できる遠赤外カメラとを含み、前記可視カメラと前記遠赤外カメラとの間の相対位置が固定されている撮像装置を、被写体に対して連続的に移動させて、三次元画像生成装置のコンピュータに、前記被写体の三次元画像を生成させる三次元画像生成プログラムであって、
   前記可視カメラで撮像された、前記被写体の複数の可視画像から成る可視画像群を取得する第１の画像取得手順と、
   前記遠赤外カメラで撮像された、前記被写体の複数の遠赤外画像から成る遠赤外画像群を取得する第２の画像取得手順と、
   前記可視画像群からＤＳＯ（Direct Sparse Odometry）により三次元モデルを再構成して、前記可視カメラの位置姿勢と前記可視画像群とから、マルチベースラインステレオ法を用いて可視距離画像を得る第１の再構成手順と、
   前記遠赤外画像群から前記ＤＳＯ（Direct Sparse Odometry）により三次元モデルを再構成して、前記遠赤外カメラの位置姿勢と前記遠赤外画像群とから、前記マルチベースラインステレオ法を用いて遠赤外距離画像を得る第２の再構成手順と、
   前記可視カメラと前記遠赤外カメラとのカメラ間の位置姿勢関係を、予め記憶装置に記憶する手順と、
   前記可視距離画像と前記遠赤外距離画像とを一次元探索により比較して、前記カメラ間の位置姿勢関係の大きさと三次元構造の大きさとの対応関係を表すスケール情報を決定する一次元探索手順と、
   前記決定されたスケール情報に基づいて、前記カメラ間の位置姿勢関係を用いて、各可視画像上に対応する各遠赤外画像を重畳させた、前記被写体の三次元画像を得る重畳手順と、
   を前記コンピュータに実行させる三次元画像生成プログラム。
8. 前記カメラ間の位置姿勢関係は、キャリブレーションボードを前記可視カメラと前記遠赤外カメラとで撮像した画像を用いて、前記可視カメラおよび前記遠赤外カメラの内部パラメータとカメラ間の外部パラメータとを算出し、該算出した内部パラメータと前記算出した外部パラメータとを用いて、予め算出される、請求項７に記載の三次元画像生成プログラム。
9. 前記一次元探索手順は、前記コンピュータに、前記可視距離画像を前記遠赤外カメラの画像座標上の距離画像に変換し、該変換した距離画像と前記遠赤外距離画像とを相互情報量を用いて比較することによってスコアを求め、該スコアが最も高くなる、前記スケール情報を決定させる、請求項７又は８に記載の三次元画像生成プログラム。

Images