JP4658787B2 - 画像合成装置 - Google Patents

Description

本発明は、表面に温度差を有する物体の表面状態の観察、例えば人体における炎症部位の診断等に使用され、診断部位を、迅速且つ正確に診断することができる画像合成装置に関する。

図１１に、可視ステレオ画像を生成する従来の画像合成装置６００の構成を示す。従来の可視ステレオ画像の構築では、被写体の左側に設けられた左側可視カメラ６０１および右側に設けられた右側可視カメラ６０２の一対の可視カメラから得られた画像が、可視立体画像合成手段６０３により合成されることによりステレオ画像が生成される。

また、従来、赤外線カメラは単独で用いられており、その撮像画像に基づいて、医師が診断部位を診断していた。

しかし、１台の赤外線カメラの画像からは、診断部位を目視した場合に比べて、現実感が得られず、診断に必要な情報を十分に得ることができないという問題がある。従って、微妙な症状である炎症の診断は、医師の経験や勘に頼るところが大きくなっていた。

特開平９−２２０２０３号公報には、診断部位のサーモグラフ画像情報と、モアレトポグラフ画像情報とを合成する診断装置が開示されている。しかしながら、この診断装置では、診断部位の平面的な熱画像が得られるにすぎず、診断部位の状態を、迅速に、しかも、正確に把握することができるものではない。

本発明は、このような問題を解決するものであり、その目的は、温度差を有する被写体の表面の状態を迅速且つ正確に把握することができ、従って、人体における炎症部位を、迅速且つ正確に診断することができる画像合成装置を提供することにある。

本発明の画像合成装置は、一対の右側および左側赤外線カメラと、一対の右側および左側可視カメラと、立体熱画像と立体可視画像とが重複した状態で観察者に見えるように、上記右側および左側赤外線カメラから出力されるデータと上記右側および左側可視カメラから出力されるデータとの合成処理を行う第１の画像合成処理手段とを備え、そのことにより上記目的が達成される。

上記第１の画像合成処理手段は、同期信号を生成する同期信号生成手段と、上記同期信号生成手段の生成する同期信号応答して、上記右側赤外線カメラから出力される右側赤外線画像データの少なくとも一部と上記右側可視カメラから出力される右側可視画像データの少なくとも一部とを合成することによって、右側合成画像データを生成する第２の画像合成処理手段と、上記同期信号生成手段の生成する同期信号応答して、上記左側赤外線カメラから出力される左側赤外線画像データの少なくとも一部と上記左側可視カメラから出力される左側可視画像データの少なくとも一部とを合成することによって、左側合成画像データを生成する第３の画像合成処理手段と、上記同期信号生成手段の生成する同期信号応答して、上記右側合成画像データおよび上記左側合成画像データを所定の順序で出力するデータ出力手段とを備えてもよい。

上記第２の画像合成処理手段は、上記右側赤外線画像データの一部と上記右側可視画像データの全部とを合成し、上記第３の画像合成処理手段は、上記左側赤外線画像データの一部と上記左側可視画像データの全部とを合成してもよい。

上記データ出力手段から出力された上記右側合成画像データおよび上記左側合成画像データに基づき、右側合成画像および左側合成画像を所定の順序で表示するモニタをさらに備えてもよい。

上記同期信号生成手段の生成する同期信号応答して、上記右側合成画像を第１の方向に変更させ、上記左側合成画像を第１の方向と異なる方向に偏光させる偏光手段をさらに備えてもよい。

上記第１の画像合成処理手段は、同期信号を生成する同期信号生成手段と、上記同期信号生成手段の生成する同期信号応答して、上記右側赤外線カメラから出力される右側赤外線画像データ、上記右側可視カメラから出力される右側可視画像データ、上記左側赤外線カメラから出力される左側赤外線画像データおよび上記左側可視カメラから出力される左側可視画像データを所定の順序で出力するデータ出力手段とを備えてもよい。

上記第１の画像合成処理手段は、上記右側赤外線カメラから出力される赤外線画像データと上記左側赤外線カメラから出力される赤外線画像データとを合成することによって、立体熱画像データを生成する第２の画像合成処理手段と、上記右側可視カメラから出力される可視画像データと上記左側可視カメラから出力される可視画像データとを合成することによって、可視立体画像データを生成する第３の画像合成処理手段と、上記立体熱画像データと上記可視立体画像データとを合成することによって、全体立体画像データを生成する第４の画像合成処理手段とを備えてもよい。

上記立体熱画像データは複数の温度レベルデータを含み、上記複数の温度レベルデータに複数の色合いがそれぞれ割り当てられてもよい。

上記全体立体画像データは３次元座標データを含み、上記全体立体画像データは、上記３次元座標データが３次元の空間座標において所定の投影面に投影された２次元座標データに変換されることにより、２次元画像データに変換されてもよい。

本発明の画像合成装置は、複数のスリットを含むスリット手段と、上記スリット手段を介して被写体に赤外線を照射する赤外線照射手段と、上記被写体における上記赤外線の照射方向に実質的に直交する方向に位置し、上記被写体を撮像する複数の赤外線カメラと、上記複数の赤外線カメラから出力される複数の熱画像データを合成することによって、立体熱画像データを生成する画像合成手段とを備え、そのことにより上記目的が達成される。

上記画像合成手段は、上記複数の赤外線カメラがそれぞれ撮像する上記被写体からの熱線パターンの形状の違いに基づいて、立体熱画像データを生成してもよい。

本発明の画像合成装置では、被写体における立体熱画像データと、可視立体画像データとを合成して、全体立体画像データが生成されるので、目視と同様の被写体の可視立体画像が熱画像とともに表示され、被写体の診断部位を迅速且つ正確に診断することができる。特に、人体における炎症部位の診断に対して好適である。

また、本発明の画像合成装置では、スリットを介して被写体に赤外線を照射し、所定の方向から被写体の熱画像データが得られるので、赤外線カメラのみを用いて被写体における熱情報とともに外観の形状情報も得られる。従って、被写体の診断部位を、迅速に、しかも、正確に診断することができる。

以下、本発明の実施の形態を図面に基づいて説明する。なお、本発明の実施の形態の説明においては、同じ構成要素には同じ参照符号を付している。

（実施の形態１）
図１は、本発明の実施の形態１における画像合成装置１００の構成を示す。画像合成装置１００は、例えば、被写体としての人体における炎症部位を診断するために用いられる。

画像合成装置１００は、左右一対の左側赤外線カメラ１および右側赤外線カメラ２と、左右一対の左側可視カメラ３および右側可視カメラ４と、画像合成処理手段１０１とを備える。画像合成処理手段１０１は、赤外線立体画像合成処理手段５と、可視立体画像合成処理手段６と、全体立体画像合成処理手段７とを備える。

左右一対の左側赤外線カメラ１および右側赤外線カメラ２は、被写体（図示せず）を左目および右目に相当する位置からそれぞれ撮像して赤外線画像データを生成する。左右一対の左側可視カメラ３および右側可視カメラ４は、被写体を左目および右目に相当する位置からそれぞれ撮像して可視画像データを生成する。

図１において、左右一対の左側赤外線カメラ１および右側赤外線カメラ２からの左側赤外線画像データ１’および右側赤外線画像データ２’は、赤外線立体画像合成処理手段５に入力されており、また、左右一対の左側可視カメラ３および右側可視カメラ４からの左側可視画像データ３’および右側可視画像データ４’は、可視立体画像合成処理手段６に入力されている。

赤外線立体画像合成処理手段５は、左側および右側赤外線画像データ１’および２’に基づいて、各波長帯域ごとに立体熱画像データ５’を生成する。同様に、可視立体画像合成処理手段６は、左側および右側可視画像データ３’および４’に基づいて、各波長帯域ごとに可視立体画像データ６’を生成する。立体熱画像データ５’および可視立体画像データ６’からは、立体熱画像および可視立体画像が得られる。

立体熱画像データ５’および可視立体画像データ６’は、全体立体画像合成処理手段７に入力されている。全体立体画像合成処理手段７は、立体熱画像データ５’および可視立体画像データ６’を合成し、可視立体画像データ６’に立体熱画像データ５’が合成された全体立体画像データ７’を生成する。生成された全体立体画像データ７’から全体立体画像が得られる。

このように、本実施の形態における画像合成装置１００では、可視立体画像に対して、立体熱画像が合成された全体立体画像が生成されるために、被写体の奥行きの有る立体的な外観状態とともに、被写体の診断部位における熱の分布状況も、立体的に同時に把握することができる。従って、観察部位を迅速且つ正確に観察することができる。特に、人体における炎症部分を診断する場合には、外観的な症状とともに、表面の温度分布の状態も同時に把握することができ、診断部位の正確な診断を迅速に実施することができる。

なお、より精密な立体画像を得るためには、赤外線カメラおよび可視カメラの台数をさらに増加（例えばそれぞれ４台ずつ）させてもよい。

本実施の形態の画像合成装置１００において、左側赤外線カメラ１および右側赤外線カメラ２によってそれぞれ得られるアナログの左側および右側赤外線画像データ１’および２’は、例えば、図２に示すように赤外線立体画像合成処理手段５において処理される。図２では左側赤外線画像データ１’への処理工程を示している。右側赤外線画像データ２’への処理も同様に行われる。左側赤外線画像データ１’は、ローパスフィルタ８に入力される。ローパスフィルタ８は、左側赤外線画像データ１’から、不要な高域成分を取り除く。

左側赤外線画像データ１’から不要な高域成分を取り除かれたアナログの左側熱画像信号８’は、ＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）９および同期分離部１３にそれぞれ出力される。

ＡＤＣ９では、入力された左側アナログ熱画像信号８’から左側ディジタル熱画像信号３１が生成され、生成された左側ディジタル熱画像信号３１が、マルチプレクサ１０およびマイコン１１へそれぞれ出力される。マイコン１１では、入力される左側ディジタル熱画像信号３１の輝度信号レベルを読み取り、その輝度信号レベルに応じて、付加すべきディジタル色信号３２をメモリ１２から読み出す。

メモリ１２には、色合いテーブルを形成すべく、予め決められた多数の色合いを示すディジタル色信号３２が記憶されている。そして、指定されたディジタル色信号３２が、マルチプレクサ１０へ出力される。

マルチプレクサ１０は、入力されるディジタル熱画像信号３１およびディジタル色信号３２を、それぞれ切り替えて出力する。マルチプレクサ１０には、同期分離部１３で得られる同期信号タイミングに基づいて、タイミング発生部１４にて生成される水平垂直帰線期間タイミングが入力されている。マルチプレクサ１０は、この水平垂直帰線期間タイミングに基づいて、ディジタル熱画像信号３１およびディジタル色信号３２を切り替えて出力し、マルチプレクサ１０からは、水平垂直帰線期間以外のタイミングにディジタル色信号３２に置き換えられた左側カラーディジタル熱画像信号が得られる。また、上述のように右側赤外線画像データ２’への処理も同様に行われ、右側カラーディジタル熱画像信号が得られる。左側および右側カラーディジタル熱画像信号から立体熱画像データ５’が生成され、立体熱画像データ５’は全体立体画像合成手段７へ出力される。

左側および右側赤外線カメラ１および２から出力される左側および右側赤外線画像データ１’および２’は、高温になるほど程に輝度信号レベルが大きくなる。このことを利用して、アナログ熱画像信号８’における輝度信号のレベルが検出される。予め設定されて記憶されている色合いのテーブルからそれぞれの輝度信号のレベルに応じて、色合いが選択され、選択されたディジタル色信号３２により、所定の輝度信号レベルごと（すなわち所定の温度レベルデータごと）に、それぞれ色付けされる。また、各輝度信号のレベルに応じて複数の色が割り当てられてもよい。割り当てられる色は、例えば赤、緑、黄および青等であり得る。

このように、被写体の可視立体画像に対応して合成される立体熱画像は、熱の高低に応じた色付けが行われている。従って、可視立体画像データ６’と立体熱画像データ５’とを合成して得られる全体立体画像７’も、熱の高低に応じた色付けがされているために、被写体の診断部位の外観的な状況に対する温度分布を立体的に容易に把握することができる。

また、被写体の可視立体画像データ６’および立体熱画像データ５’とを合成して得られる全体立体画像データ７’は３次元の画像データであるために、コンピュータによって、仮想空間内での座標変換において自由に移動させた後に、それを平面へ投影して２次元表示することも可能である。

図３は、この場合のコンピュータによる制御内容を示すフローチャートである。全体立体画像データ７’から全体立体画像が得られると、まず、仮想空間（ワールド空間）内に３次元座標が設定される（ステップＳ１）。次に、３次元座標に基づいて、全体立体画像の３次元の画像データが座標設定され、形状データが定義される（ステップＳ２）。３次元空間内に、全体立体画像が座標設定されると、その全体立体画像に対して回転マトリックスが行われ、全体立体画像は座標変換される（ステップＳ３）。

次に、座標変換された全体立体画像の形状データは、３次元ポリゴンパッチに変換される（ステップＳ４）。そして、３次元ポリゴンパッチの形状と視点の位置から、全体立体画像は、任意に設定した投影面に対して投影処理される（ステップＳ５）。これにより、全体立体画像は２次元座標に変換され（ステップＳ６）、全体立体画像の２次元座標に変換された画像がディスプレイ画面に表示される（ステップＳ７）。

このように、本発明では、可視立体画像および立体熱画像が合成されて得られる全体立体画像を、３次元空間内にて自由に移動させ、任意の３次元画像を２次元画像として表現することができるために、診断部位を多方面から観察することができ、診断部位のさらなる正確な診断が可能になる。

また、全体立体画像合成処理手段７は、全体立体画像データ７’の同じ温度領域に属するピクセル数をカウントし、カウントされたピクセル数から診断部位における任意の領域の体積を算出してもよい。任意の領域は例えば炎症部位であり、診断ごとに炎症部位の体積を算出することにより、医師は炎症部位の体積（すなわち腫れ具合）の時間変化を具体的な数値データとして得ることが出来る。

（実施の形態２）
図４は、本発明の実施の形態２における画像合成装置２００の構成を示す。

画像合成装置２００は、右側赤外線カメラ２０１と、右側可視カメラ２０２と、左側赤外線カメラ２０３と、左側可視カメラ２０４と、画像合成処理手段２１５と、モニタ２０９とを備える。画像合成処理手段２１５は、右側画像合成処理手段２０５と、左側画像合成処理手段２０６と、同期信号生成手段２０７と、データ出力手段２０８とを備える。

左右一対の右側赤外線カメラ２０１と左側赤外線カメラ２０３は、被写体２１３を右目および左目に相当する位置からそれぞれ撮像して右側赤外線画像データ２２１および左側赤外線画像データ２２３を生成する。左右一対の右側可視カメラ２０２と左側可視カメラ２０４は、被写体２１３を右目および左目に相当する位置からそれぞれ撮像して右側可視画像データ２２２および左側可視画像データ２２４を生成する。

右側赤外線画像データ２２１および右側可視画像データ２２２はそれぞれ右側画像合成処理手段２０５に入力される。右側画像合成処理手段２０５は、同期信号生成手段２０７からの同期信号２１７に応答して同じ時間に撮像された右側赤外線画像データ２２１および右側可視画像データ２２２を抽出する。図５Ａに示されるように、右側画像合成処理手段２０５は、抽出した右側赤外線画像データ２２１と右側可視画像データ２２２とがそれぞれ有する基準点１２１と基準点１２２とが一致するように、右側赤外線画像データ２２１と右側可視画像データ２２２とを重ね合わせ、右側合成画像データ２２５を生成する。右側画像合成処理手段２０５は、例えば、右側赤外線画像データ２２１が有するピクセルデータと右側可視画像データ２２２が有するピクセルデータとをそれぞれ１つおきに並べることにより右側合成画像データ２２５を生成し得る。

左側赤外線画像データ２２３および左側可視画像データ２２４はそれぞれ左側画像合成処理手段２０６に入力される。左側画像合成処理手段２０６は、同期信号生成手段２０７からの同期信号２１７に応用して同じ時間に撮像された左側赤外線画像データ２２３および左側可視画像データ２２４を抽出する。図５Ｂに示されるように、左側画像合成処理手段２０６は、抽出した左側赤外線画像データ２２３と左側可視画像データ２２４とがそれぞれ有する基準点１２３と基準点１２４とが一致するように、左側赤外線画像データ２２３と左側可視画像データ２２４とを重ね合わせ、左側合成画像データ２２６を生成する。左側画像合成処理手段２０６は、例えば、左側赤外線画像データ２２３が有するピクセルデータと左側可視画像データ２２４が有するピクセルデータとをそれぞれ１つおきに並べることにより左側合成画像データ２２６を生成し得る。

右側合成画像データ２２５および左側合成画像データ２２６は、データ出力部２０８に入力される。データ出力部２０８は、同期信号生成手段２０７からの同期信号２１７に応答して、全体合成画像データ２２７として右側合成画像データ２２５および左側合成画像データ２２６を所定の順序で（たとえば交互に）モニタ２０９に出力する。図５Ｃは、右側合成画像データ２２５および左側合成画像データ２２６が交互に並べられた全体合成画像データ２２７のデータ構造を示す。全体合成画像データ２２７は右側合成画像データ２２５および左側合成画像データ２２６を横に並べて表示するようモニタ２０９に指示する指示データを含んでいる。

モニタ２０９は、右側合成画像データ２２５、左側合成画像データ２２６および指示データを受け取り、右側合成画像２１９および左側合成画像２３９を横に並べて表示する。このとき、観察者２１２は右目で右側合成画像２１９を見て、左目で左側合成画像２３９を見ることにより、立体熱画像と立体可視画像とが重複した全体立体画像を認識する。

なお、全体合成画像データ２２７の代わりに、図５Ｄに示されるデータ構造を有する全体合成画像データ２２８をモニタ２０９に出力するようにしてもよい。全体合成画像データ２２８のデータ構造は、右側赤外線画像データ２２１、右側可視画像データ２２２、左側赤外線画像データ２２３および左側可視画像データ２２４が、この順番で繰り返し並べられた構造となっている。全体合成画像データ２２８は、右側赤外線画像データ２２１、右側可視画像データ２２２、左側赤外線画像データ２２３および左側可視画像データ２２４が、右側画像合成処理手段２０５および左側画像合成処理手段２０６での合成処理を介さずに、直接、データ出力手段２０８に入力され、データ出力手段２０８が入力されたこれらのデータを同期信号２１７に基づき図５Ｄに示されるような順番に配列することにより形成される。全体合成画像データ２２８は、同期信号２１７に基づき出力され、モニタ２０９はこれらのデータを順に表示する。

本実施の形態の画像合成装置２００では、右側合成画像データ２２５および左側合成画像データ２２６とを、全体合成画像データ２２７として観察者に供給する。また、別の動作のおいては、右側赤外線画像データ２２１、右側可視画像データ２２２、左側赤外線画像データ２２３および左側可視画像データ２２４を、全体合成画像データ２２８として観察者に供給する。

これら全体合成画像データ２２７または全体合成画像データ２２８を観察者に供給する両方の場合において、観察者には、（右側赤外線画像データ２２１と左側赤外線画像データ２２３とが合成された）立体熱画像と、（右側可視画像データ２２２と左側可視画像データ２２４とが合成された）立体可視画像とが重複して見える。その結果、観察者は立体熱画像と立体可視画像とが合成された画像を認識することが出来る。このように、画像合成装置２００からは、図１に示すような、赤外線立体画像合成処理手段５によって生成される立体熱画像データ５’と可視立体画像合成処理手段６によって生成される立体可視画像データ６’とが、全体立体画像合成処理手段７において合成された結果生成される全体立体画像を観察者が観察するのと同等の効果を得ることが出来る。

また、右側画像合成処理手段２０５において、図６に示すような右側赤外線画像データ２２１の一部２２１’と、右側可視画像データ２２２全体とを重ね合わせた右側合成画像データ２２５’が生成されてもよい。右側合成画像データ２２５’は、右側赤外線画像データの一部２２１’と一部の光の明るさまたは強度を低くした右側可視画像データ２２２とが重ね合わせることにより生成される。右側合成画像データ２２５’からは、右側合成画像２２９が得られる。右側合成画像２２９の一部は熱画像２３０が示され、残りの部分は可視画像２３１が示されている。左側画像合成処理手段２０６においても共通の処理が行われる。

なお、右側赤外線画像データ２２１の一部２２１’と、右側可視画像データ２２２の一部とが重ね合わされても良い。

観察者２１２としての医師が被写体２３１としての患者を診断する場合、患者の症状と自らの経験に基づいて予め炎症部位の予測を立てることが出来る。このような場合は、予測された炎症部位およびその周辺のみ熱画像２３０を示すことにより、可視画像２３１による正確な炎症部位の把握と、熱画像２３０による炎症部位の正確な発熱部分の把握とを同時に行うことが出来る。

右側赤外線画像データ２２１の一部２２１’の表示範囲は、観測者が設定した温度閾値以上もしくは以下の範囲が表示されても良い。また、表示範囲は観察者の意思により変更されても良い。

同期信号生成手段２０７としては任意のタイミング回路が用いられ得る。

モニタ２０９の代わりに、一対の右側および左側モニタが用いられても良い。この場合、右側合成画像データ２２５が右側モニタに入力され得る。また、右側合成画像データ２２５の代わりに図７Ａに示されるようなデータ構造の右側合成画像データ２２９が右側モニタに入力されてもよい。右側合成画像データ２２９は、右側赤外線画像データ２２１と右側可視画像データ２２２とが交互に並べられたデータ構造となっている。この場合、右側モニタには右側赤外線画像と右側可視画像とが交互に表示され、観測者２１２が右側合成画像２１９を観察するのと同様の効果が得られる。同様に、左側合成画像データ２２６が左側モニタに入力され得るが、左側合成画像データ２２６の代わりに図７Ｂに示されるようなデータ構造の左側合成画像データ２３３が左側モニタに入力されてもよく、観測者２１２が左側合成画像２３９を観察するのと同様の効果が得られる。

モニタ２０９の代わりに、右目用および左目用の２枚の液晶ディスプレイを備えたヘッドマウント方式（例えばゴーグルタイプ）のモニタが用いられてもよい。

（実施の形態３）
図８は、本発明の実施の形態３における画像合成装置３００の構成を示す。

画像合成装置３００は、画像合成処理手段２１５’と、モニタ３０９と、偏光手段３１０とを備える。画像合成処理手段２１５’は、右側画像合成処理手段２０５と、左側画像合成処理手段２０６と、同期信号生成手段２０７と、全体合成画像データ２２７’をモニタ３０９へ出力するデータ出力手段２１８とを備える。全体合成画像データ２２７’のデータ構造は図５Ｃに示す全体合成画像データ２２７と同一であるが、全体合成画像データ２２７’は右側合成画像データ２２５および左側合成画像データ２２６を重ねて左右合成画像３１９として表示するようモニタ３０９に指示する指示データを含んでいる。画像合成装置３００のそれ以外の構成は図４に示す画像合成装置２００と同様である。

モニタ３０９では、交互に入力される右側合成画像データ２２５、左側合成画像データ２２６および指示データから、右側合成画像および左側合成画像が重なって交互に表示される左右合成画像３１９が表示される。偏光手段３１０は、周知の液晶デバイス等から構成され、同期信号２１７に応答して、右側合成画像を所定の方向に変更させ、左側合成画像を所定の方向とは異なる方向に偏光させる。偏光後の右側合成画像および左側合成画像は、例えば偏光方向が互いに９０°異なる。観察者２１２は偏光メガネ３１１を介して、それぞれ異なる方向に偏光させられた右側合成画像および左側合成画像を観測する。このとき、観察者２１２は、右目には右側合成画像が見え、左目には左側合成画像が見えることにより、立体熱画像と立体可視画像とが重複した全体立体画像を認識する。

本発明では、同期信号生成手段２０７から出力される同期信号２１７の内容は、同期信号２１７が入力される各構成要素ごとに異なっていてもよい。

本実施の形態では、左右合成画像３１９、偏光手段３１０および偏光メガネ３１１を用いることにより観察者２１２の立体視を実現したが、観察者２１２が立体視を実現する方法はこれに限定されない。例えば、レンチキュラースクリーンが用いられてもよく、この場合、右側および左側合成画像はそれぞれレンチキュラースクリーンの溝に沿って複数に分割され、左右合成画像３１９は分割された右側および左側合成画像が交互に並べられた画像となる。

（実施の形態４）
図９は、本発明の実施の形態４における画像合成装置４００の概略図である。

診断装置４００は、熱源である赤外線カメラ１５と、スリット板１６と、センサである赤外線カメラ１８および１９と、赤外線立体画像合成処理手段４０１とを備える。

画像合成装置４００では、被写体１７に対して、相互に直交するＹ軸およびＺ軸上に、被写体１７を撮像する赤外線カメラ１８および１９がそれぞれ配置されている。各赤外線カメラ１８および１９は、赤外線を感知して熱画像を撮像するパッシブタイプであり、各赤外線カメラ１８および１９によって、被写体１７の熱画像データが得られる。

また、Ｙ軸およびＺ軸それぞれに対して直交するＸ軸上に、Ｙ軸方向に沿った複数のスリット１６Ａを有するスリット板１６が設けられるとともに、このスリット板１６を挟んで被写体１７に対向して、赤外線カメラ１５が設けられている。この赤外線カメラ１５は、撮像対象に赤外線を照射して、その反射光に基づいて、対象物を撮像するアクティブタイプのものであり、赤外線カメラ１５から発せられる赤外線が、スリット板１６の各スリット１６Ａを介して、被写体１７に照射される。赤外線カメラ１５の代わりに、撮像対象に赤外線を照射可能な任意の赤外線照射手段が用いられ得る。

図９、図１０（ａ）および図１０（ｂ）を参照して、赤外線カメラ１５から発せられた赤外線は、Ｙ軸方向に沿った各スリット１６Ａを通過して、Ｘ軸方向に沿った平行な状態で、熱線として被写体１７に照射される。ここで、一例として被写体１７が半球状に突出した形状である場合を考える。この場合、各スリット１６Ａが沿ったＹ軸方向から赤外線カメラ１８によって被写体１７を撮像したときは、図１０（ｂ）に示されるように直線状の熱線パターン５１０が得られる。赤外線の照射方向であるＸ軸と各スリット１６Ａが沿ったＹ軸方向とにそれぞれ直交するＺ軸方向から、赤外線カメラ１９によって被写体１７を撮像したときは、図１０（ａ）に示すように、被写体１７の突出状態によって曲率が変化する曲線状の熱線パターン５１１が得られる。また、赤外線カメラ１８および１９により、熱線パターン５１０および５１１以外にも、被写体１７自身から発せられる赤外線が撮像され、被写体１７表面の温度分布を示す温度レベルデータが得られる。

Ｙ軸方向から被写体１７を撮像する赤外線カメラ１８から出力される熱線パターン５１０を有する熱画像データ４１０と、Ｚ軸方向から被写体１７を撮像する赤外線カメラ１９から出力される熱線パターン５１１を有する熱画像データ４１１は、赤外線立体画像合成手段４０１に入力される。

赤外線立体画像合成手段４０１は、熱線パターン５１０および５１１の形状の違いに基づいて、立体熱画像データ４１２を生成する。このような立体熱画像データ４１２の生成は、例えば、２次元の等高線から３次元の地形データを生成する周知の技術を応用することにより行われる。立体熱画像データ４１２から得られる仮想的な立体熱画像４１９が、ディスプレイ４０９に表示される。立体熱画像データ４１２は、温度レベルデータごとに色付けされ、立体熱画像４１９に被写体１７表面の温度分布が表示される。

本実施の形態では、熱線パターン５１０および５１１の形状の違いから被写体１７の仮想的な立体熱画像４１９が得られる。従って、可視カメラからの可視画像データを必要とすることなく、被写体１７の立体画像を得ることが出来る。

このように、被写体１７の形状および温度分布に関するデータを有する熱画像データ４１０および４１１に基づいて、仮想的な立体熱画像４１９が生成されることにより、被写体１７の診断部位を、迅速に、しかも、正確に観察することができる。

被写体１７の撮像用赤外線カメラは、赤外線カメラ１８および１９の２つのみならず、３つ以上の赤外線カメラが用いられても良い。この場合、複数の赤外線カメラは、Ｙ−Ｚ軸平面上に設置されることが好ましい。

熱画像データ４１０および４１１と、一対の可視カメラ（図示せず）によって得られる可視画像データとを合成して全体立体画像を生成してもよい。

実施の形態１で説明したように、合成された立体熱画像データ４１９を３次元空間において、適宜、移動させるようにしてもよい。

また、赤外線立体画像合成処理手段４０１は、全体熱画像データ４１２の同じ温度領域に属するピクセル数をカウントし、カウントされたピクセル数から被写体１７における任意の領域の体積を算出してもよい。任意の領域は例えば炎症部位であり、診断ごとに炎症部位の体積を算出することにより、医師は炎症部位の体積（すなわち腫れ具合）の時間変化を具体的な数値データとして得ることが出来る。

本発明において、被写体は人体に制限されず、例えば、動植物、機械等の構造物、都市風景、山海等の自然物であってもよい。

本発明の実施の形態１の画像合成装置を示す概略図である。 本発明の実施の形態１の赤外線立体画像合成処理手段における赤外線画像処理のブロック図である。 本発明の実施の形態１の画像合成装置における動作を示すフローチャートである。 本発明の実施の形態２の画像合成装置を示す概略図である。 本発明の実施の形態２における画像データ構造を示す模式図である。 本発明の実施の形態２における画像データ構造を示す模式図である。 本発明の実施の形態２における画像データ構造を示す模式図である。 本発明の実施の形態２における画像データ構造を示す模式図である。 本発明の実施の形態２における画像データ構造および画像を示す模式図である。 本発明の実施の形態２における画像データ構造を示す模式図である。 本発明の実施の形態２における画像データ構造を示す模式図である。 本発明の実施の形態３における画像合成装置を示す概略図である。 本発明の実施の形態４における画像合成装置を示す概略図である。 本発明の実施の形態４における熱線パターンを示す概略図である。 従来の画像合成装置を示すブロック図である。

符号の説明

１ 左側赤外線カメラ
２ 右側赤外線カメラ
３ 左側可視カメラ
４ 右側可視カメラ
５ 赤外線立体画像合成処理手段
６ 可視立体画像合成処理手段
７ 全体立体画像合成処理手段
８ ローパスフィルタ
９ ＡＤＣ
１０ マルチプレクサ
１１ マイコン
１２ メモリ
１３ 同期分離部
１４ タイミング発生部
１５ 赤外線カメラ（熱源）
１６ スリット
１７ 被写体
１８ 赤外線カメラ（センサ）
１９ 赤外線カメラ（センサ）

Claims (2)

1. 複数のスリットを含むスリット手段と、
   前記スリット手段を介して被写体に赤外線を照射する赤外線照射手段と、
   前記被写体における前記赤外線の照射方向に実質的に直交する方向に位置し、前記被写体を撮像して、前記被写体の表面での温度分布を示す温度分布情報及び前記被写体の形状を示す熱線パターンを含む熱画像データを得る複数の赤外線カメラと、
   前記複数の赤外線カメラから出力される複数の熱画像データを合成することによって、前記被写体の立体画像上での温度分布を示す立体熱画像データを生成する画像合成手段と、
   を備える画像合成装置。
2. 前記画像合成手段は、前記複数の赤外線カメラがそれぞれ撮像する前記被写体からの熱線パターンの形状の違いに基づいて、前記立体熱画像データを生成する、請求項１に記載の画像合成装置。

Images