JP3807721B2 - 画像合成装置 - Google Patents
画像合成装置 Download PDFInfo
- Publication number
- JP3807721B2 JP3807721B2 JP2001042405A JP2001042405A JP3807721B2 JP 3807721 B2 JP3807721 B2 JP 3807721B2 JP 2001042405 A JP2001042405 A JP 2001042405A JP 2001042405 A JP2001042405 A JP 2001042405A JP 3807721 B2 JP3807721 B2 JP 3807721B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- visible
- data output
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0064—Body surface scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
- A61B5/015—By temperature mapping of body part
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/337—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
Description
【０００１】
【発明の属する技術分野】
本発明は、表面に温度差を有する物体の表面状態の観察、例えば人体における炎症部位の診断等に使用され、診断部位を、迅速且つ正確に診断することができる画像合成装置に関する。
【０００２】
【従来の技術】
図１１に、可視ステレオ画像を生成する従来の画像合成装置６００の構成を示す。従来の可視ステレオ画像の構築では、被写体の左側に設けられた左側可視カメラ６０１および右側に設けられた右側可視カメラ６０２の一対の可視カメラから得られた画像が、可視立体画像合成手段６０３により合成されることによりステレオ画像が生成される。
【０００３】
また、従来、赤外線カメラは単独で用いられており、その撮像画像に基づいて、医師が診断部位を診断していた。
【０００４】
【発明が解決しようとする課題】
しかし、１台の赤外線カメラの画像からは、診断部位を目視した場合に比べて、現実感が得られず、診断に必要な情報を十分に得ることができないという問題がある。従って、微妙な症状である炎症の診断は、医師の経験や勘に頼るところが大きくなっていた。
【０００５】
特開平９−２２０２０３号公報には、診断部位のサーモグラフ画像情報と、モアレトポグラフ画像情報とを合成する診断装置が開示されている。しかしながら、この診断装置では、診断部位の平面的な熱画像が得られるにすぎず、診断部位の状態を、迅速に、しかも、正確に把握することができるものではない。
【０００６】
本発明は、このような問題を解決するものであり、その目的は、温度差を有する被写体の表面の状態を迅速且つ正確に把握することができ、従って、人体における炎症部位を、迅速且つ正確に診断することができる画像合成装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明の画像合成装置は、一対の右側および左側赤外線カメラと、一対の右側および左側可視カメラと、立体熱画像と立体可視画像とが重複した状態で観察者に見えるように、上記右側および左側赤外線カメラから出力されるデータと上記右側および左側可視カメラから出力されるデータとの合成処理を行う第１の画像合成処理手段とを備え、そのことにより上記目的が達成される。
【０００８】
上記第１の画像合成処理手段は、同期信号を生成する同期信号生成手段と、上記同期信号生成手段の生成する同期信号応答して、上記右側赤外線カメラから出力される右側赤外線画像データの少なくとも一部と上記右側可視カメラから出力される右側可視画像データの少なくとも一部とを合成することによって、右側合成画像データを生成する第２の画像合成処理手段と、上記同期信号生成手段の生成する同期信号応答して、上記左側赤外線カメラから出力される左側赤外線画像データの少なくとも一部と上記左側可視カメラから出力される左側可視画像データの少なくとも一部とを合成することによって、左側合成画像データを生成する第３の画像合成処理手段と、上記同期信号生成手段の生成する同期信号応答して、上記右側合成画像データおよび上記左側合成画像データを所定の順序で出力するデータ出力手段とを備えてもよい。
【０００９】
上記第２の画像合成処理手段は、上記右側赤外線画像データの一部と上記右側可視画像データの全部とを合成し、上記第３の画像合成処理手段は、上記左側赤外線画像データの一部と上記左側可視画像データの全部とを合成してもよい。
【００１０】
上記データ出力手段から出力された上記右側合成画像データおよび上記左側合成画像データに基づき、右側合成画像および左側合成画像を所定の順序で表示するモニタをさらに備えてもよい。
【００１１】
上記同期信号生成手段の生成する同期信号応答して、上記右側合成画像を第１の方向に変更させ、上記左側合成画像を第１の方向と異なる方向に偏光させる偏光手段をさらに備えてもよい。
【００１２】
上記第１の画像合成処理手段は、同期信号を生成する同期信号生成手段と、上記同期信号生成手段の生成する同期信号応答して、上記右側赤外線カメラから出力される右側赤外線画像データ、上記右側可視カメラから出力される右側可視画像データ、上記左側赤外線カメラから出力される左側赤外線画像データおよび上記左側可視カメラから出力される左側可視画像データを所定の順序で出力するデータ出力手段とを備えてもよい。
【００１３】
上記第１の画像合成処理手段は、上記右側赤外線カメラから出力される赤外線画像データと上記左側赤外線カメラから出力される赤外線画像データとを合成することによって、立体熱画像データを生成する第２の画像合成処理手段と、上記右側可視カメラから出力される可視画像データと上記左側可視カメラから出力される可視画像データとを合成することによって、可視立体画像データを生成する第３の画像合成処理手段と、上記立体熱画像データと上記可視立体画像データとを合成することによって、全体立体画像データを生成する第４の画像合成処理手段とを備えてもよい。
【００１４】
上記立体熱画像データは複数の温度レベルデータを含み、上記複数の温度レベルデータに複数の色合いがそれぞれ割り当てられてもよい。
【００１５】
上記全体立体画像データは３次元座標データを含み、上記全体立体画像データは、上記３次元座標データが３次元の空間座標において所定の投影面に投影された２次元座標データに変換されることにより、２次元画像データに変換されてもよい。
【００１６】
本発明の画像合成装置は、複数のスリットを含むスリット手段と、上記スリット手段を介して被写体に赤外線を照射する赤外線照射手段と、上記被写体における上記赤外線の照射方向に実質的に直交する方向に位置し、上記被写体を撮像する複数の赤外線カメラと、上記複数の赤外線カメラから出力される複数の熱画像データを合成することによって、立体熱画像データを生成する画像合成手段とを備え、そのことにより上記目的が達成される。
【００１７】
上記画像合成手段は、上記複数の赤外線カメラがそれぞれ撮像する上記被写体からの熱線パターンの形状の違いに基づいて、立体熱画像データを生成してもよい。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。なお、本発明の実施の形態の説明においては、同じ構成要素には同じ参照符号を付している。
【００１９】
（実施の形態１）
図１は、本発明の実施の形態１における画像合成装置１００の構成を示す。画像合成装置１００は、例えば、被写体としての人体における炎症部位を診断するために用いられる。
【００２０】
画像合成装置１００は、左右一対の左側赤外線カメラ１および右側赤外線カメラ２と、左右一対の左側可視カメラ３および右側可視カメラ４と、画像合成処理手段１０１とを備える。画像合成処理手段１０１は、赤外線立体画像合成処理手段５と、可視立体画像合成処理手段６と、全体立体画像合成処理手段７とを備える。
【００２１】
左右一対の左側赤外線カメラ１および右側赤外線カメラ２は、被写体（図示せず）を左目および右目に相当する位置からそれぞれ撮像して赤外線画像データを生成する。左右一対の左側可視カメラ３および右側可視カメラ４は、被写体を左目および右目に相当する位置からそれぞれ撮像して可視画像データを生成する。
【００２２】
図１において、左右一対の左側赤外線カメラ１および右側赤外線カメラ２からの左側赤外線画像データ１’および右側赤外線画像データ２’は、赤外線立体画像合成処理手段５に入力されており、また、左右一対の左側可視カメラ３および右側可視カメラ４からの左側可視画像データ３’および右側可視画像データ４’は、可視立体画像合成処理手段６に入力されている。
【００２３】
赤外線立体画像合成処理手段５は、左側および右側赤外線画像データ１’および２’に基づいて、各波長帯域ごとに立体熱画像データ５’を生成する。同様に、可視立体画像合成処理手段６は、左側および右側可視画像データ３’および４’に基づいて、各波長帯域ごとに可視立体画像データ６’を生成する。立体熱画像データ５’および可視立体画像データ６’からは、立体熱画像および可視立体画像が得られる。
【００２４】
立体熱画像データ５’および可視立体画像データ６’は、全体立体画像合成処理手段７に入力されている。全体立体画像合成処理手段７は、立体熱画像データ５’および可視立体画像データ６’を合成し、可視立体画像データ６’に立体熱画像データ５’が合成された全体立体画像データ７’を生成する。生成された全体立体画像データ７’から全体立体画像が得られる。
【００２５】
このように、本実施の形態における画像合成装置１００では、可視立体画像に対して、立体熱画像が合成された全体立体画像が生成されるために、被写体の奥行きの有る立体的な外観状態とともに、被写体の診断部位における熱の分布状況も、立体的に同時に把握することができる。従って、観察部位を迅速且つ正確に観察することができる。特に、人体における炎症部分を診断する場合には、外観的な症状とともに、表面の温度分布の状態も同時に把握することができ、診断部位の正確な診断を迅速に実施することができる。
【００２６】
なお、より精密な立体画像を得るためには、赤外線カメラおよび可視カメラの台数をさらに増加（例えばそれぞれ４台ずつ）させてもよい。
【００２７】
本実施の形態の画像合成装置１００において、左側赤外線カメラ１および右側赤外線カメラ２によってそれぞれ得られるアナログの左側および右側赤外線画像データ１’および２’は、例えば、図２に示すように赤外線立体画像合成処理手段５において処理される。図２では左側赤外線画像データ１’への処理工程を示している。右側赤外線画像データ２’への処理も同様に行われる。左側赤外線画像データ１’は、ローパスフィルタ８に入力される。ローパスフィルタ８は、左側赤外線画像データ１’から、不要な高域成分を取り除く。
【００２８】
左側赤外線画像データ１’から不要な高域成分を取り除かれたアナログの左側熱画像信号８’は、ＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）９および同期分離部１３にそれぞれ出力される。
【００２９】
ＡＤＣ９では、入力された左側アナログ熱画像信号８’から左側ディジタル熱画像信号３１が生成され、生成された左側ディジタル熱画像信号３１が、マルチプレクサ１０およびマイコン１１へそれぞれ出力される。マイコン１１では、入力される左側ディジタル熱画像信号３１の輝度信号レベルを読み取り、その輝度信号レベルに応じて、付加すべきディジタル色信号３２をメモリ１２から読み出す。
【００３０】
メモリ１２には、色合いテーブルを形成すべく、予め決められた多数の色合いを示すディジタル色信号３２が記憶されている。そして、指定されたディジタル色信号３２が、マルチプレクサ１０へ出力される。
【００３１】
マルチプレクサ１０は、入力されるディジタル熱画像信号３１およびディジタル色信号３２を、それぞれ切り替えて出力する。マルチプレクサ１０には、同期分離部１３で得られる同期信号タイミングに基づいて、タイミング発生部１４にて生成される水平垂直帰線期間タイミングが入力されている。マルチプレクサ１０は、この水平垂直帰線期間タイミングに基づいて、ディジタル熱画像信号３１およびディジタル色信号３２を切り替えて出力し、マルチプレクサ１０からは、水平垂直帰線期間以外のタイミングにディジタル色信号３２に置き換えられた左側カラーディジタル熱画像信号が得られる。また、上述のように右側赤外線画像データ２’への処理も同様に行われ、右側カラーディジタル熱画像信号が得られる。左側および右側カラーディジタル熱画像信号から立体熱画像データ５’が生成され、立体熱画像データ５’は全体立体画像合成手段７へ出力される。
【００３２】
左側および右側赤外線カメラ１および２から出力される左側および右側赤外線画像データ１’および２’は、高温になるほど程に輝度信号レベルが大きくなる。このことを利用して、アナログ熱画像信号８’における輝度信号のレベルが検出される。予め設定されて記憶されている色合いのテーブルからそれぞれの輝度信号のレベルに応じて、色合いが選択され、選択されたディジタル色信号３２により、所定の輝度信号レベルごと（すなわち所定の温度レベルデータごと）に、それぞれ色付けされる。また、各輝度信号のレベルに応じて複数の色が割り当てられてもよい。割り当てられる色は、例えば赤、緑、黄および青等であり得る。
【００３３】
このように、被写体の可視立体画像に対応して合成される立体熱画像は、熱の高低に応じた色付けが行われている。従って、可視立体画像データ６’と立体熱画像データ５’とを合成して得られる全体立体画像７’も、熱の高低に応じた色付けがされているために、被写体の診断部位の外観的な状況に対する温度分布を立体的に容易に把握することができる。
【００３４】
また、被写体の可視立体画像データ６’および立体熱画像データ５’とを合成して得られる全体立体画像データ７’は３次元の画像データであるために、コンピュータによって、仮想空間内での座標変換において自由に移動させた後に、それを平面へ投影して２次元表示することも可能である。
【００３５】
図３は、この場合のコンピュータによる制御内容を示すフローチャートである。全体立体画像データ７’から全体立体画像が得られると、まず、仮想空間（ワールド空間）内に３次元座標が設定される（ステップＳ１）。次に、３次元座標に基づいて、全体立体画像の３次元の画像データが座標設定され、形状データが定義される（ステップＳ２）。３次元空間内に、全体立体画像が座標設定されると、その全体立体画像に対して回転マトリックスが行われ、全体立体画像は座標変換される（ステップＳ３）。
【００３６】
次に、座標変換された全体立体画像の形状データは、３次元ポリゴンパッチに変換される（ステップＳ４）。そして、３次元ポリゴンパッチの形状と視点の位置から、全体立体画像は、任意に設定した投影面に対して投影処理される（ステップＳ５）。これにより、全体立体画像は２次元座標に変換され（ステップＳ６）、全体立体画像の２次元座標に変換された画像がディスプレイ画面に表示される（ステップＳ７）。
【００３７】
このように、本発明では、可視立体画像および立体熱画像が合成されて得られる全体立体画像を、３次元空間内にて自由に移動させ、任意の３次元画像を２次元画像として表現することができるために、診断部位を多方面から観察することができ、診断部位のさらなる正確な診断が可能になる。
【００３８】
また、全体立体画像合成処理手段７は、全体立体画像データ７’の同じ温度領域に属するピクセル数をカウントし、カウントされたピクセル数から診断部位における任意の領域の体積を算出してもよい。任意の領域は例えば炎症部位であり、診断ごとに炎症部位の体積を算出することにより、医師は炎症部位の体積（すなわち腫れ具合）の時間変化を具体的な数値データとして得ることが出来る。
【００３９】
（実施の形態２）
図４は、本発明の実施の形態２における画像合成装置２００の構成を示す。
【００４０】
画像合成装置２００は、右側赤外線カメラ２０１と、右側可視カメラ２０２と、左側赤外線カメラ２０３と、左側可視カメラ２０４と、画像合成処理手段２１５と、モニタ２０９とを備える。画像合成処理手段２１５は、右側画像合成処理手段２０５と、左側画像合成処理手段２０６と、同期信号生成手段２０７と、データ出力手段２０８とを備える。
【００４１】
左右一対の右側赤外線カメラ２０１と左側赤外線カメラ２０３は、被写体２１３を右目および左目に相当する位置からそれぞれ撮像して右側赤外線画像データ２２１および左側赤外線画像データ２２３を生成する。左右一対の右側可視カメラ２０２と左側可視カメラ２０４は、被写体２１３を右目および左目に相当する位置からそれぞれ撮像して右側可視画像データ２２２および左側可視画像データ２２４を生成する。
【００４２】
右側赤外線画像データ２２１および右側可視画像データ２２２はそれぞれ右側画像合成処理手段２０５に入力される。右側画像合成処理手段２０５は、同期信号生成手段２０７からの同期信号２１７に応答して同じ時間に撮像された右側赤外線画像データ２２１および右側可視画像データ２２２を抽出する。図５Ａに示されるように、右側画像合成処理手段２０５は、抽出した右側赤外線画像データ２２１と右側可視画像データ２２２とがそれぞれ有する基準点１２１と基準点１２２とが一致するように、右側赤外線画像データ２２１と右側可視画像データ２２２とを重ね合わせ、右側合成画像データ２２５を生成する。右側画像合成処理手段２０５は、例えば、右側赤外線画像データ２２１が有するピクセルデータと右側可視画像データ２２２が有するピクセルデータとをそれぞれ１つおきに並べることにより右側合成画像データ２２５を生成し得る。
【００４３】
左側赤外線画像データ２２３および左側可視画像データ２２４はそれぞれ左側画像合成処理手段２０６に入力される。左側画像合成処理手段２０６は、同期信号生成手段２０７からの同期信号２１７に応用して同じ時間に撮像された左側赤外線画像データ２２３および左側可視画像データ２２４を抽出する。図５Ｂに示されるように、左側画像合成処理手段２０６は、抽出した左側赤外線画像データ２２３と左側可視画像データ２２４とがそれぞれ有する基準点１２３と基準点１２４とが一致するように、左側赤外線画像データ２２３と左側可視画像データ２２４とを重ね合わせ、左側合成画像データ２２６を生成する。左側画像合成処理手段２０６は、例えば、左側赤外線画像データ２２３が有するピクセルデータと左側可視画像データ２２４が有するピクセルデータとをそれぞれ１つおきに並べることにより左側合成画像データ２２６を生成し得る。
【００４４】
右側合成画像データ２２５および左側合成画像データ２２６は、データ出力部２０８に入力される。データ出力部２０８は、同期信号生成手段２０７からの同期信号２１７に応答して、全体合成画像データ２２７として右側合成画像データ２２５および左側合成画像データ２２６を所定の順序で（たとえば交互に）モニタ２０９に出力する。図５Ｃは、右側合成画像データ２２５および左側合成画像データ２２６が交互に並べられた全体合成画像データ２２７のデータ構造を示す。全体合成画像データ２２７は右側合成画像データ２２５および左側合成画像データ２２６を横に並べて表示するようモニタ２０９に指示する指示データを含んでいる。
【００４５】
モニタ２０９は、右側合成画像データ２２５、左側合成画像データ２２６および指示データを受け取り、右側合成画像２１９および左側合成画像２３９を横に並べて表示する。このとき、観察者２１２は右目で右側合成画像２１９を見て、左目で左側合成画像２３９を見ることにより、立体熱画像と立体可視画像とが重複した全体立体画像を認識する。
【００４６】
なお、全体合成画像データ２２７の代わりに、図５Ｄに示されるデータ構造を有する全体合成画像データ２２８をモニタ２０９に出力するようにしてもよい。全体合成画像データ２２８のデータ構造は、右側赤外線画像データ２２１、右側可視画像データ２２２、左側赤外線画像データ２２３および左側可視画像データ２２４が、この順番で繰り返し並べられた構造となっている。全体合成画像データ２２８は、右側赤外線画像データ２２１、右側可視画像データ２２２、左側赤外線画像データ２２３および左側可視画像データ２２４が、右側画像合成処理手段２０５および左側画像合成処理手段２０６での合成処理を介さずに、直接、データ出力手段２０８に入力され、データ出力手段２０８が入力されたこれらのデータを同期信号２１７に基づき図５Ｄに示されるような順番に配列することにより形成される。全体合成画像データ２２８は、同期信号２１７に基づき出力され、モニタ２０９はこれらのデータを順に表示する。
【００４７】
本実施の形態の画像合成装置２００では、右側合成画像データ２２５および左側合成画像データ２２６とを、全体合成画像データ２２７として観察者に供給する。また、別の動作のおいては、右側赤外線画像データ２２１、右側可視画像データ２２２、左側赤外線画像データ２２３および左側可視画像データ２２４を、全体合成画像データ２２８として観察者に供給する。
【００４８】
これら全体合成画像データ２２７または全体合成画像データ２２８を観察者に供給する両方の場合において、観察者には、（右側赤外線画像データ２２１と左側赤外線画像データ２２３とが合成された）立体熱画像と、（右側可視画像データ２２２と左側可視画像データ２２４とが合成された）立体可視画像とが重複して見える。その結果、観察者は立体熱画像と立体可視画像とが合成された画像を認識することが出来る。このように、画像合成装置２００からは、図１に示すような、赤外線立体画像合成処理手段５によって生成される立体熱画像データ５’と可視立体画像合成処理手段６によって生成される立体可視画像データ６’とが、全体立体画像合成処理手段７において合成された結果生成される全体立体画像を観察者が観察するのと同等の効果を得ることが出来る。
【００４９】
また、右側画像合成処理手段２０５において、図６に示すような右側赤外線画像データ２２１の一部２２１’と、右側可視画像データ２２２全体とを重ね合わせた右側合成画像データ２２５’が生成されてもよい。右側合成画像データ２２５’は、右側赤外線画像データの一部２２１’と一部の光の明るさまたは強度を低くした右側可視画像データ２２２とが重ね合わせることにより生成される。右側合成画像データ２２５’からは、右側合成画像２２９が得られる。右側合成画像２２９の一部は熱画像２３０が示され、残りの部分は可視画像２３１が示されている。左側画像合成処理手段２０６においても共通の処理が行われる。
【００５０】
なお、右側赤外線画像データ２２１の一部２２１’と、右側可視画像データ２２２の一部とが重ね合わされても良い。
【００５１】
観察者２１２としての医師が被写体２３１としての患者を診断する場合、患者の症状と自らの経験に基づいて予め炎症部位の予測を立てることが出来る。このような場合は、予測された炎症部位およびその周辺のみ熱画像２３０を示すことにより、可視画像２３１による正確な炎症部位の把握と、熱画像２３０による炎症部位の正確な発熱部分の把握とを同時に行うことが出来る。
【００５２】
右側赤外線画像データ２２１の一部２２１’の表示範囲は、観測者が設定した温度閾値以上もしくは以下の範囲が表示されても良い。また、表示範囲は観察者の意思により変更されても良い。
【００５３】
同期信号生成手段２０７としては任意のタイミング回路が用いられ得る。
【００５４】
モニタ２０９の代わりに、一対の右側および左側モニタが用いられても良い。この場合、右側合成画像データ２２５が右側モニタに入力され得る。また、右側合成画像データ２２５の代わりに図７Ａに示されるようなデータ構造の右側合成画像データ２２９が右側モニタに入力されてもよい。右側合成画像データ２２９は、右側赤外線画像データ２２１と右側可視画像データ２２２とが交互に並べられたデータ構造となっている。この場合、右側モニタには右側赤外線画像と右側可視画像とが交互に表示され、観測者２１２が右側合成画像２１９を観察するのと同様の効果が得られる。同様に、左側合成画像データ２２６が左側モニタに入力され得るが、左側合成画像データ２２６の代わりに図７Ｂに示されるようなデータ構造の左側合成画像データ２３３が左側モニタに入力されてもよく、観測者２１２が左側合成画像２３９を観察するのと同様の効果が得られる。
【００５５】
モニタ２０９の代わりに、右目用および左目用の２枚の液晶ディスプレイを備えたヘッドマウント方式（例えばゴーグルタイプ）のモニタが用いられてもよい。
【００５６】
（実施の形態３）
図８は、本発明の実施の形態３における画像合成装置３００の構成を示す。
【００５７】
画像合成装置３００は、画像合成処理手段２１５’と、モニタ３０９と、偏光手段３１０とを備える。画像合成処理手段２１５’は、右側画像合成処理手段２０５と、左側画像合成処理手段２０６と、同期信号生成手段２０７と、全体合成画像データ２２７’をモニタ３０９へ出力するデータ出力手段２１８とを備える。全体合成画像データ２２７’のデータ構造は図５Ｃに示す全体合成画像データ２２７と同一であるが、全体合成画像データ２２７’は右側合成画像データ２２５および左側合成画像データ２２６を重ねて左右合成画像３１９として表示するようモニタ３０９に指示する指示データを含んでいる。画像合成装置３００のそれ以外の構成は図４に示す画像合成装置２００と同様である。
【００５８】
モニタ３０９では、交互に入力される右側合成画像データ２２５、左側合成画像データ２２６および指示データから、右側合成画像および左側合成画像が重なった左右合成画像３１９が表示される。偏光手段３１０は、周知の液晶デバイス等から構成され、同期信号２１７に応答して、右側合成画像を所定の方向に偏光させ、左側合成画像を所定の方向とは異なる方向に偏光させる。偏光後の右側合成画像および左側合成画像は、例えば偏光方向が互いに９０°異なる。観察者２１２は偏光メガネ３１１を介して、それぞれ異なる方向に偏光させられた右側合成画像および左側合成画像を観測する。このとき、観察者２１２は、右目には右側合成画像が見え、左目には左側合成画像が見えることにより、立体熱画像と立体可視画像とが重複した全体立体画像を認識する。
【００５９】
本発明では、同期信号生成手段２０７から出力される同期信号２１７の内容は、同期信号２１７が入力される各構成要素ごとに異なっていてもよい。
【００６０】
本実施の形態では、左右合成画像３１９、偏光手段３１０および偏光メガネ３１１を用いることにより観察者２１２の立体視を実現したが、観察者２１２が立体視を実現する方法はこれに限定されない。例えば、レンチキュラースクリーンが用いられてもよく、この場合、右側および左側合成画像はそれぞれレンチキュラースクリーンの溝に沿って複数に分割され、左右合成画像３１９は分割された右側および左側合成画像が交互に並べられた画像となる。
【００６１】
（実施の形態４）
図９は、本発明の実施の形態４における画像合成装置４００の概略図である。
【００６２】
診断装置４００は、熱源である赤外線カメラ１５と、スリット板１６と、センサである赤外線カメラ１８および１９と、赤外線立体画像合成処理手段４０１とを備える。
【００６３】
画像合成装置４００では、被写体１７に対して、相互に直交するＹ軸およびＺ軸上に、被写体１７を撮像する赤外線カメラ１８および１９がそれぞれ配置されている。各赤外線カメラ１８および１９は、赤外線を感知して熱画像を撮像するパッシブタイプであり、各赤外線カメラ１８および１９によって、被写体１７の熱画像データが得られる。
【００６４】
また、Ｙ軸およびＺ軸それぞれに対して直交するＸ軸上に、Ｙ軸方向に沿った複数のスリット１６Ａを有するスリット板１６が設けられるとともに、このスリット板１６を挟んで被写体１７に対向して、赤外線カメラ１５が設けられている。この赤外線カメラ１５は、撮像対象に赤外線を照射して、その反射光に基づいて、対象物を撮像するアクティブタイプのものであり、赤外線カメラ１５から発せられる赤外線が、スリット板１６の各スリット１６Ａを介して、被写体１７に照射される。赤外線カメラ１５の代わりに、撮像対象に赤外線を照射可能な任意の赤外線照射手段が用いられ得る。
【００６５】
図９、図１０（ａ）および図１０（ｂ）を参照して、赤外線カメラ１５から発せられた赤外線は、Ｙ軸方向に沿った各スリット１６Ａを通過して、Ｘ軸方向に沿った平行な状態で、熱線として被写体１７に照射される。ここで、一例として被写体１７が半球状に突出した形状である場合を考える。この場合、各スリット１６Ａが沿ったＹ軸方向から赤外線カメラ１８によって被写体１７を撮像したときは、図１０（ｂ）に示されるように直線状の熱線パターン５１０が得られる。赤外線の照射方向であるＸ軸と各スリット１６Ａが沿ったＹ軸方向とにそれぞれ直交するＺ軸方向から、赤外線カメラ１９によって被写体１７を撮像したときは、図１０（ａ）に示すように、被写体１７の突出状態によって曲率が変化する曲線状の熱線パターン５１１が得られる。また、赤外線カメラ１８および１９により、熱線パターン５１０および５１１以外にも、被写体１７自身から発せられる赤外線が撮像され、被写体１７表面の温度分布を示す温度レベルデータが得られる。
【００６６】
Ｙ軸方向から被写体１７を撮像する赤外線カメラ１８から出力される熱線パターン５１０を有する熱画像データ４１０と、Ｚ軸方向から被写体１７を撮像する赤外線カメラ１９から出力される熱線パターン５１１を有する熱画像データ４１１は、赤外線立体画像合成手段４０１に入力される。
【００６７】
赤外線立体画像合成手段４０１は、熱線パターン５１０および５１１の形状の違いに基づいて、立体熱画像データ４１２を生成する。このような立体熱画像データ４１２の生成は、例えば、２次元の等高線から３次元の地形データを生成する周知の技術を応用することにより行われる。立体熱画像データ４１２から得られる仮想的な立体熱画像４１９が、ディスプレイ４０９に表示される。立体熱画像データ４１２は、温度レベルデータごとに色付けされ、立体熱画像４１９に被写体１７表面の温度分布が表示される。
【００６８】
本実施の形態では、熱線パターン５１０および５１１の形状の違いから被写体１７の仮想的な立体熱画像４１９が得られる。従って、可視カメラからの可視画像データを必要とすることなく、被写体１７の立体画像を得ることが出来る。
【００６９】
このように、被写体１７の形状および温度分布に関するデータを有する熱画像データ４１０および４１１に基づいて、仮想的な立体熱画像４１９が生成されることにより、被写体１７の診断部位を、迅速に、しかも、正確に観察することができる。
【００７０】
被写体１７の撮像用赤外線カメラは、赤外線カメラ１８および１９の２つのみならず、３つ以上の赤外線カメラが用いられても良い。この場合、複数の赤外線カメラは、Ｙ−Ｚ軸平面上に設置されることが好ましい。
【００７１】
熱画像データ４１０および４１１と、一対の可視カメラ（図示せず）によって得られる可視画像データとを合成して全体立体画像を生成してもよい。
【００７２】
実施の形態１で説明したように、合成された立体熱画像データ４１９を３次元空間において、適宜、移動させるようにしてもよい。
【００７３】
また、赤外線立体画像合成処理手段４０１は、全体熱画像データ４１２の同じ温度領域に属するピクセル数をカウントし、カウントされたピクセル数から被写体１７における任意の領域の体積を算出してもよい。任意の領域は例えば炎症部位であり、診断ごとに炎症部位の体積を算出することにより、医師は炎症部位の体積（すなわち腫れ具合）の時間変化を具体的な数値データとして得ることが出来る。
【００７４】
本発明において、被写体は人体に制限されず、例えば、動植物、機械等の構造物、都市風景、山海等の自然物であってもよい。
【００７５】
【発明の効果】
本発明の画像合成装置では、被写体における立体熱画像データと、可視立体画像データとを合成して、全体立体画像データが生成されるので、目視と同様の被写体の可視立体画像が熱画像とともに表示され、被写体の診断部位を迅速且つ正確に診断することができる。特に、人体における炎症部位の診断に対して好適である。
【００７６】
また、本発明の画像合成装置では、スリットを介して被写体に赤外線を照射し、所定の方向から被写体の熱画像データが得られるので、赤外線カメラのみを用いて被写体における熱情報とともに外観の形状情報も得られる。従って、被写体の診断部位を、迅速に、しかも、正確に診断することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１の画像合成装置を示す概略図である。
【図２】本発明の実施の形態１の赤外線立体画像合成処理手段における赤外線画像処理のブロック図である。
【図３】本発明の実施の形態１の画像合成装置における動作を示すフローチャートである。
【図４】本発明の実施の形態２の画像合成装置を示す概略図である。
【図５Ａ】本発明の実施の形態２における画像データ構造を示す模式図である。
【図５Ｂ】本発明の実施の形態２における画像データ構造を示す模式図である。
【図５Ｃ】本発明の実施の形態２における画像データ構造を示す模式図である。
【図５Ｄ】本発明の実施の形態２における画像データ構造を示す模式図である。
【図６】本発明の実施の形態２における画像データ構造および画像を示す模式図である。
【図７Ａ】本発明の実施の形態２における画像データ構造を示す模式図である。
【図７Ｂ】本発明の実施の形態２における画像データ構造を示す模式図である。
【図８】本発明の実施の形態３における画像合成装置を示す概略図である。
【図９】本発明の実施の形態４における画像合成装置を示す概略図である。
【図１０】本発明の実施の形態４における熱線パターンを示す概略図である。
【図１１】従来の画像合成装置を示すブロック図である。
【符号の説明】
１ 左側赤外線カメラ
２ 右側赤外線カメラ
３ 左側可視カメラ
４ 右側可視カメラ
５ 赤外線立体画像合成処理手段
６ 可視立体画像合成処理手段
７ 全体立体画像合成処理手段
８ ローパスフィルタ
９ ＡＤＣ
１０ マルチプレクサ
１１ マイコン
１２ メモリ
１３ 同期分離部
１４ タイミング発生部
１５ 赤外線カメラ（熱源）
１６ スリット
１７ 被写体
１８ 赤外線カメラ（センサ）
１９ 赤外線カメラ（センサ）
【発明の属する技術分野】
本発明は、表面に温度差を有する物体の表面状態の観察、例えば人体における炎症部位の診断等に使用され、診断部位を、迅速且つ正確に診断することができる画像合成装置に関する。
【０００２】
【従来の技術】
図１１に、可視ステレオ画像を生成する従来の画像合成装置６００の構成を示す。従来の可視ステレオ画像の構築では、被写体の左側に設けられた左側可視カメラ６０１および右側に設けられた右側可視カメラ６０２の一対の可視カメラから得られた画像が、可視立体画像合成手段６０３により合成されることによりステレオ画像が生成される。
【０００３】
また、従来、赤外線カメラは単独で用いられており、その撮像画像に基づいて、医師が診断部位を診断していた。
【０００４】
【発明が解決しようとする課題】
しかし、１台の赤外線カメラの画像からは、診断部位を目視した場合に比べて、現実感が得られず、診断に必要な情報を十分に得ることができないという問題がある。従って、微妙な症状である炎症の診断は、医師の経験や勘に頼るところが大きくなっていた。
【０００５】
特開平９−２２０２０３号公報には、診断部位のサーモグラフ画像情報と、モアレトポグラフ画像情報とを合成する診断装置が開示されている。しかしながら、この診断装置では、診断部位の平面的な熱画像が得られるにすぎず、診断部位の状態を、迅速に、しかも、正確に把握することができるものではない。
【０００６】
本発明は、このような問題を解決するものであり、その目的は、温度差を有する被写体の表面の状態を迅速且つ正確に把握することができ、従って、人体における炎症部位を、迅速且つ正確に診断することができる画像合成装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明の画像合成装置は、一対の右側および左側赤外線カメラと、一対の右側および左側可視カメラと、立体熱画像と立体可視画像とが重複した状態で観察者に見えるように、上記右側および左側赤外線カメラから出力されるデータと上記右側および左側可視カメラから出力されるデータとの合成処理を行う第１の画像合成処理手段とを備え、そのことにより上記目的が達成される。
【０００８】
上記第１の画像合成処理手段は、同期信号を生成する同期信号生成手段と、上記同期信号生成手段の生成する同期信号応答して、上記右側赤外線カメラから出力される右側赤外線画像データの少なくとも一部と上記右側可視カメラから出力される右側可視画像データの少なくとも一部とを合成することによって、右側合成画像データを生成する第２の画像合成処理手段と、上記同期信号生成手段の生成する同期信号応答して、上記左側赤外線カメラから出力される左側赤外線画像データの少なくとも一部と上記左側可視カメラから出力される左側可視画像データの少なくとも一部とを合成することによって、左側合成画像データを生成する第３の画像合成処理手段と、上記同期信号生成手段の生成する同期信号応答して、上記右側合成画像データおよび上記左側合成画像データを所定の順序で出力するデータ出力手段とを備えてもよい。
【０００９】
上記第２の画像合成処理手段は、上記右側赤外線画像データの一部と上記右側可視画像データの全部とを合成し、上記第３の画像合成処理手段は、上記左側赤外線画像データの一部と上記左側可視画像データの全部とを合成してもよい。
【００１０】
上記データ出力手段から出力された上記右側合成画像データおよび上記左側合成画像データに基づき、右側合成画像および左側合成画像を所定の順序で表示するモニタをさらに備えてもよい。
【００１１】
上記同期信号生成手段の生成する同期信号応答して、上記右側合成画像を第１の方向に変更させ、上記左側合成画像を第１の方向と異なる方向に偏光させる偏光手段をさらに備えてもよい。
【００１２】
上記第１の画像合成処理手段は、同期信号を生成する同期信号生成手段と、上記同期信号生成手段の生成する同期信号応答して、上記右側赤外線カメラから出力される右側赤外線画像データ、上記右側可視カメラから出力される右側可視画像データ、上記左側赤外線カメラから出力される左側赤外線画像データおよび上記左側可視カメラから出力される左側可視画像データを所定の順序で出力するデータ出力手段とを備えてもよい。
【００１３】
上記第１の画像合成処理手段は、上記右側赤外線カメラから出力される赤外線画像データと上記左側赤外線カメラから出力される赤外線画像データとを合成することによって、立体熱画像データを生成する第２の画像合成処理手段と、上記右側可視カメラから出力される可視画像データと上記左側可視カメラから出力される可視画像データとを合成することによって、可視立体画像データを生成する第３の画像合成処理手段と、上記立体熱画像データと上記可視立体画像データとを合成することによって、全体立体画像データを生成する第４の画像合成処理手段とを備えてもよい。
【００１４】
上記立体熱画像データは複数の温度レベルデータを含み、上記複数の温度レベルデータに複数の色合いがそれぞれ割り当てられてもよい。
【００１５】
上記全体立体画像データは３次元座標データを含み、上記全体立体画像データは、上記３次元座標データが３次元の空間座標において所定の投影面に投影された２次元座標データに変換されることにより、２次元画像データに変換されてもよい。
【００１６】
本発明の画像合成装置は、複数のスリットを含むスリット手段と、上記スリット手段を介して被写体に赤外線を照射する赤外線照射手段と、上記被写体における上記赤外線の照射方向に実質的に直交する方向に位置し、上記被写体を撮像する複数の赤外線カメラと、上記複数の赤外線カメラから出力される複数の熱画像データを合成することによって、立体熱画像データを生成する画像合成手段とを備え、そのことにより上記目的が達成される。
【００１７】
上記画像合成手段は、上記複数の赤外線カメラがそれぞれ撮像する上記被写体からの熱線パターンの形状の違いに基づいて、立体熱画像データを生成してもよい。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。なお、本発明の実施の形態の説明においては、同じ構成要素には同じ参照符号を付している。
【００１９】
（実施の形態１）
図１は、本発明の実施の形態１における画像合成装置１００の構成を示す。画像合成装置１００は、例えば、被写体としての人体における炎症部位を診断するために用いられる。
【００２０】
画像合成装置１００は、左右一対の左側赤外線カメラ１および右側赤外線カメラ２と、左右一対の左側可視カメラ３および右側可視カメラ４と、画像合成処理手段１０１とを備える。画像合成処理手段１０１は、赤外線立体画像合成処理手段５と、可視立体画像合成処理手段６と、全体立体画像合成処理手段７とを備える。
【００２１】
左右一対の左側赤外線カメラ１および右側赤外線カメラ２は、被写体（図示せず）を左目および右目に相当する位置からそれぞれ撮像して赤外線画像データを生成する。左右一対の左側可視カメラ３および右側可視カメラ４は、被写体を左目および右目に相当する位置からそれぞれ撮像して可視画像データを生成する。
【００２２】
図１において、左右一対の左側赤外線カメラ１および右側赤外線カメラ２からの左側赤外線画像データ１’および右側赤外線画像データ２’は、赤外線立体画像合成処理手段５に入力されており、また、左右一対の左側可視カメラ３および右側可視カメラ４からの左側可視画像データ３’および右側可視画像データ４’は、可視立体画像合成処理手段６に入力されている。
【００２３】
赤外線立体画像合成処理手段５は、左側および右側赤外線画像データ１’および２’に基づいて、各波長帯域ごとに立体熱画像データ５’を生成する。同様に、可視立体画像合成処理手段６は、左側および右側可視画像データ３’および４’に基づいて、各波長帯域ごとに可視立体画像データ６’を生成する。立体熱画像データ５’および可視立体画像データ６’からは、立体熱画像および可視立体画像が得られる。
【００２４】
立体熱画像データ５’および可視立体画像データ６’は、全体立体画像合成処理手段７に入力されている。全体立体画像合成処理手段７は、立体熱画像データ５’および可視立体画像データ６’を合成し、可視立体画像データ６’に立体熱画像データ５’が合成された全体立体画像データ７’を生成する。生成された全体立体画像データ７’から全体立体画像が得られる。
【００２５】
このように、本実施の形態における画像合成装置１００では、可視立体画像に対して、立体熱画像が合成された全体立体画像が生成されるために、被写体の奥行きの有る立体的な外観状態とともに、被写体の診断部位における熱の分布状況も、立体的に同時に把握することができる。従って、観察部位を迅速且つ正確に観察することができる。特に、人体における炎症部分を診断する場合には、外観的な症状とともに、表面の温度分布の状態も同時に把握することができ、診断部位の正確な診断を迅速に実施することができる。
【００２６】
なお、より精密な立体画像を得るためには、赤外線カメラおよび可視カメラの台数をさらに増加（例えばそれぞれ４台ずつ）させてもよい。
【００２７】
本実施の形態の画像合成装置１００において、左側赤外線カメラ１および右側赤外線カメラ２によってそれぞれ得られるアナログの左側および右側赤外線画像データ１’および２’は、例えば、図２に示すように赤外線立体画像合成処理手段５において処理される。図２では左側赤外線画像データ１’への処理工程を示している。右側赤外線画像データ２’への処理も同様に行われる。左側赤外線画像データ１’は、ローパスフィルタ８に入力される。ローパスフィルタ８は、左側赤外線画像データ１’から、不要な高域成分を取り除く。
【００２８】
左側赤外線画像データ１’から不要な高域成分を取り除かれたアナログの左側熱画像信号８’は、ＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）９および同期分離部１３にそれぞれ出力される。
【００２９】
ＡＤＣ９では、入力された左側アナログ熱画像信号８’から左側ディジタル熱画像信号３１が生成され、生成された左側ディジタル熱画像信号３１が、マルチプレクサ１０およびマイコン１１へそれぞれ出力される。マイコン１１では、入力される左側ディジタル熱画像信号３１の輝度信号レベルを読み取り、その輝度信号レベルに応じて、付加すべきディジタル色信号３２をメモリ１２から読み出す。
【００３０】
メモリ１２には、色合いテーブルを形成すべく、予め決められた多数の色合いを示すディジタル色信号３２が記憶されている。そして、指定されたディジタル色信号３２が、マルチプレクサ１０へ出力される。
【００３１】
マルチプレクサ１０は、入力されるディジタル熱画像信号３１およびディジタル色信号３２を、それぞれ切り替えて出力する。マルチプレクサ１０には、同期分離部１３で得られる同期信号タイミングに基づいて、タイミング発生部１４にて生成される水平垂直帰線期間タイミングが入力されている。マルチプレクサ１０は、この水平垂直帰線期間タイミングに基づいて、ディジタル熱画像信号３１およびディジタル色信号３２を切り替えて出力し、マルチプレクサ１０からは、水平垂直帰線期間以外のタイミングにディジタル色信号３２に置き換えられた左側カラーディジタル熱画像信号が得られる。また、上述のように右側赤外線画像データ２’への処理も同様に行われ、右側カラーディジタル熱画像信号が得られる。左側および右側カラーディジタル熱画像信号から立体熱画像データ５’が生成され、立体熱画像データ５’は全体立体画像合成手段７へ出力される。
【００３２】
左側および右側赤外線カメラ１および２から出力される左側および右側赤外線画像データ１’および２’は、高温になるほど程に輝度信号レベルが大きくなる。このことを利用して、アナログ熱画像信号８’における輝度信号のレベルが検出される。予め設定されて記憶されている色合いのテーブルからそれぞれの輝度信号のレベルに応じて、色合いが選択され、選択されたディジタル色信号３２により、所定の輝度信号レベルごと（すなわち所定の温度レベルデータごと）に、それぞれ色付けされる。また、各輝度信号のレベルに応じて複数の色が割り当てられてもよい。割り当てられる色は、例えば赤、緑、黄および青等であり得る。
【００３３】
このように、被写体の可視立体画像に対応して合成される立体熱画像は、熱の高低に応じた色付けが行われている。従って、可視立体画像データ６’と立体熱画像データ５’とを合成して得られる全体立体画像７’も、熱の高低に応じた色付けがされているために、被写体の診断部位の外観的な状況に対する温度分布を立体的に容易に把握することができる。
【００３４】
また、被写体の可視立体画像データ６’および立体熱画像データ５’とを合成して得られる全体立体画像データ７’は３次元の画像データであるために、コンピュータによって、仮想空間内での座標変換において自由に移動させた後に、それを平面へ投影して２次元表示することも可能である。
【００３５】
図３は、この場合のコンピュータによる制御内容を示すフローチャートである。全体立体画像データ７’から全体立体画像が得られると、まず、仮想空間（ワールド空間）内に３次元座標が設定される（ステップＳ１）。次に、３次元座標に基づいて、全体立体画像の３次元の画像データが座標設定され、形状データが定義される（ステップＳ２）。３次元空間内に、全体立体画像が座標設定されると、その全体立体画像に対して回転マトリックスが行われ、全体立体画像は座標変換される（ステップＳ３）。
【００３６】
次に、座標変換された全体立体画像の形状データは、３次元ポリゴンパッチに変換される（ステップＳ４）。そして、３次元ポリゴンパッチの形状と視点の位置から、全体立体画像は、任意に設定した投影面に対して投影処理される（ステップＳ５）。これにより、全体立体画像は２次元座標に変換され（ステップＳ６）、全体立体画像の２次元座標に変換された画像がディスプレイ画面に表示される（ステップＳ７）。
【００３７】
このように、本発明では、可視立体画像および立体熱画像が合成されて得られる全体立体画像を、３次元空間内にて自由に移動させ、任意の３次元画像を２次元画像として表現することができるために、診断部位を多方面から観察することができ、診断部位のさらなる正確な診断が可能になる。
【００３８】
また、全体立体画像合成処理手段７は、全体立体画像データ７’の同じ温度領域に属するピクセル数をカウントし、カウントされたピクセル数から診断部位における任意の領域の体積を算出してもよい。任意の領域は例えば炎症部位であり、診断ごとに炎症部位の体積を算出することにより、医師は炎症部位の体積（すなわち腫れ具合）の時間変化を具体的な数値データとして得ることが出来る。
【００３９】
（実施の形態２）
図４は、本発明の実施の形態２における画像合成装置２００の構成を示す。
【００４０】
画像合成装置２００は、右側赤外線カメラ２０１と、右側可視カメラ２０２と、左側赤外線カメラ２０３と、左側可視カメラ２０４と、画像合成処理手段２１５と、モニタ２０９とを備える。画像合成処理手段２１５は、右側画像合成処理手段２０５と、左側画像合成処理手段２０６と、同期信号生成手段２０７と、データ出力手段２０８とを備える。
【００４１】
左右一対の右側赤外線カメラ２０１と左側赤外線カメラ２０３は、被写体２１３を右目および左目に相当する位置からそれぞれ撮像して右側赤外線画像データ２２１および左側赤外線画像データ２２３を生成する。左右一対の右側可視カメラ２０２と左側可視カメラ２０４は、被写体２１３を右目および左目に相当する位置からそれぞれ撮像して右側可視画像データ２２２および左側可視画像データ２２４を生成する。
【００４２】
右側赤外線画像データ２２１および右側可視画像データ２２２はそれぞれ右側画像合成処理手段２０５に入力される。右側画像合成処理手段２０５は、同期信号生成手段２０７からの同期信号２１７に応答して同じ時間に撮像された右側赤外線画像データ２２１および右側可視画像データ２２２を抽出する。図５Ａに示されるように、右側画像合成処理手段２０５は、抽出した右側赤外線画像データ２２１と右側可視画像データ２２２とがそれぞれ有する基準点１２１と基準点１２２とが一致するように、右側赤外線画像データ２２１と右側可視画像データ２２２とを重ね合わせ、右側合成画像データ２２５を生成する。右側画像合成処理手段２０５は、例えば、右側赤外線画像データ２２１が有するピクセルデータと右側可視画像データ２２２が有するピクセルデータとをそれぞれ１つおきに並べることにより右側合成画像データ２２５を生成し得る。
【００４３】
左側赤外線画像データ２２３および左側可視画像データ２２４はそれぞれ左側画像合成処理手段２０６に入力される。左側画像合成処理手段２０６は、同期信号生成手段２０７からの同期信号２１７に応用して同じ時間に撮像された左側赤外線画像データ２２３および左側可視画像データ２２４を抽出する。図５Ｂに示されるように、左側画像合成処理手段２０６は、抽出した左側赤外線画像データ２２３と左側可視画像データ２２４とがそれぞれ有する基準点１２３と基準点１２４とが一致するように、左側赤外線画像データ２２３と左側可視画像データ２２４とを重ね合わせ、左側合成画像データ２２６を生成する。左側画像合成処理手段２０６は、例えば、左側赤外線画像データ２２３が有するピクセルデータと左側可視画像データ２２４が有するピクセルデータとをそれぞれ１つおきに並べることにより左側合成画像データ２２６を生成し得る。
【００４４】
右側合成画像データ２２５および左側合成画像データ２２６は、データ出力部２０８に入力される。データ出力部２０８は、同期信号生成手段２０７からの同期信号２１７に応答して、全体合成画像データ２２７として右側合成画像データ２２５および左側合成画像データ２２６を所定の順序で（たとえば交互に）モニタ２０９に出力する。図５Ｃは、右側合成画像データ２２５および左側合成画像データ２２６が交互に並べられた全体合成画像データ２２７のデータ構造を示す。全体合成画像データ２２７は右側合成画像データ２２５および左側合成画像データ２２６を横に並べて表示するようモニタ２０９に指示する指示データを含んでいる。
【００４５】
モニタ２０９は、右側合成画像データ２２５、左側合成画像データ２２６および指示データを受け取り、右側合成画像２１９および左側合成画像２３９を横に並べて表示する。このとき、観察者２１２は右目で右側合成画像２１９を見て、左目で左側合成画像２３９を見ることにより、立体熱画像と立体可視画像とが重複した全体立体画像を認識する。
【００４６】
なお、全体合成画像データ２２７の代わりに、図５Ｄに示されるデータ構造を有する全体合成画像データ２２８をモニタ２０９に出力するようにしてもよい。全体合成画像データ２２８のデータ構造は、右側赤外線画像データ２２１、右側可視画像データ２２２、左側赤外線画像データ２２３および左側可視画像データ２２４が、この順番で繰り返し並べられた構造となっている。全体合成画像データ２２８は、右側赤外線画像データ２２１、右側可視画像データ２２２、左側赤外線画像データ２２３および左側可視画像データ２２４が、右側画像合成処理手段２０５および左側画像合成処理手段２０６での合成処理を介さずに、直接、データ出力手段２０８に入力され、データ出力手段２０８が入力されたこれらのデータを同期信号２１７に基づき図５Ｄに示されるような順番に配列することにより形成される。全体合成画像データ２２８は、同期信号２１７に基づき出力され、モニタ２０９はこれらのデータを順に表示する。
【００４７】
本実施の形態の画像合成装置２００では、右側合成画像データ２２５および左側合成画像データ２２６とを、全体合成画像データ２２７として観察者に供給する。また、別の動作のおいては、右側赤外線画像データ２２１、右側可視画像データ２２２、左側赤外線画像データ２２３および左側可視画像データ２２４を、全体合成画像データ２２８として観察者に供給する。
【００４８】
これら全体合成画像データ２２７または全体合成画像データ２２８を観察者に供給する両方の場合において、観察者には、（右側赤外線画像データ２２１と左側赤外線画像データ２２３とが合成された）立体熱画像と、（右側可視画像データ２２２と左側可視画像データ２２４とが合成された）立体可視画像とが重複して見える。その結果、観察者は立体熱画像と立体可視画像とが合成された画像を認識することが出来る。このように、画像合成装置２００からは、図１に示すような、赤外線立体画像合成処理手段５によって生成される立体熱画像データ５’と可視立体画像合成処理手段６によって生成される立体可視画像データ６’とが、全体立体画像合成処理手段７において合成された結果生成される全体立体画像を観察者が観察するのと同等の効果を得ることが出来る。
【００４９】
また、右側画像合成処理手段２０５において、図６に示すような右側赤外線画像データ２２１の一部２２１’と、右側可視画像データ２２２全体とを重ね合わせた右側合成画像データ２２５’が生成されてもよい。右側合成画像データ２２５’は、右側赤外線画像データの一部２２１’と一部の光の明るさまたは強度を低くした右側可視画像データ２２２とが重ね合わせることにより生成される。右側合成画像データ２２５’からは、右側合成画像２２９が得られる。右側合成画像２２９の一部は熱画像２３０が示され、残りの部分は可視画像２３１が示されている。左側画像合成処理手段２０６においても共通の処理が行われる。
【００５０】
なお、右側赤外線画像データ２２１の一部２２１’と、右側可視画像データ２２２の一部とが重ね合わされても良い。
【００５１】
観察者２１２としての医師が被写体２３１としての患者を診断する場合、患者の症状と自らの経験に基づいて予め炎症部位の予測を立てることが出来る。このような場合は、予測された炎症部位およびその周辺のみ熱画像２３０を示すことにより、可視画像２３１による正確な炎症部位の把握と、熱画像２３０による炎症部位の正確な発熱部分の把握とを同時に行うことが出来る。
【００５２】
右側赤外線画像データ２２１の一部２２１’の表示範囲は、観測者が設定した温度閾値以上もしくは以下の範囲が表示されても良い。また、表示範囲は観察者の意思により変更されても良い。
【００５３】
同期信号生成手段２０７としては任意のタイミング回路が用いられ得る。
【００５４】
モニタ２０９の代わりに、一対の右側および左側モニタが用いられても良い。この場合、右側合成画像データ２２５が右側モニタに入力され得る。また、右側合成画像データ２２５の代わりに図７Ａに示されるようなデータ構造の右側合成画像データ２２９が右側モニタに入力されてもよい。右側合成画像データ２２９は、右側赤外線画像データ２２１と右側可視画像データ２２２とが交互に並べられたデータ構造となっている。この場合、右側モニタには右側赤外線画像と右側可視画像とが交互に表示され、観測者２１２が右側合成画像２１９を観察するのと同様の効果が得られる。同様に、左側合成画像データ２２６が左側モニタに入力され得るが、左側合成画像データ２２６の代わりに図７Ｂに示されるようなデータ構造の左側合成画像データ２３３が左側モニタに入力されてもよく、観測者２１２が左側合成画像２３９を観察するのと同様の効果が得られる。
【００５５】
モニタ２０９の代わりに、右目用および左目用の２枚の液晶ディスプレイを備えたヘッドマウント方式（例えばゴーグルタイプ）のモニタが用いられてもよい。
【００５６】
（実施の形態３）
図８は、本発明の実施の形態３における画像合成装置３００の構成を示す。
【００５７】
画像合成装置３００は、画像合成処理手段２１５’と、モニタ３０９と、偏光手段３１０とを備える。画像合成処理手段２１５’は、右側画像合成処理手段２０５と、左側画像合成処理手段２０６と、同期信号生成手段２０７と、全体合成画像データ２２７’をモニタ３０９へ出力するデータ出力手段２１８とを備える。全体合成画像データ２２７’のデータ構造は図５Ｃに示す全体合成画像データ２２７と同一であるが、全体合成画像データ２２７’は右側合成画像データ２２５および左側合成画像データ２２６を重ねて左右合成画像３１９として表示するようモニタ３０９に指示する指示データを含んでいる。画像合成装置３００のそれ以外の構成は図４に示す画像合成装置２００と同様である。
【００５８】
モニタ３０９では、交互に入力される右側合成画像データ２２５、左側合成画像データ２２６および指示データから、右側合成画像および左側合成画像が重なった左右合成画像３１９が表示される。偏光手段３１０は、周知の液晶デバイス等から構成され、同期信号２１７に応答して、右側合成画像を所定の方向に偏光させ、左側合成画像を所定の方向とは異なる方向に偏光させる。偏光後の右側合成画像および左側合成画像は、例えば偏光方向が互いに９０°異なる。観察者２１２は偏光メガネ３１１を介して、それぞれ異なる方向に偏光させられた右側合成画像および左側合成画像を観測する。このとき、観察者２１２は、右目には右側合成画像が見え、左目には左側合成画像が見えることにより、立体熱画像と立体可視画像とが重複した全体立体画像を認識する。
【００５９】
本発明では、同期信号生成手段２０７から出力される同期信号２１７の内容は、同期信号２１７が入力される各構成要素ごとに異なっていてもよい。
【００６０】
本実施の形態では、左右合成画像３１９、偏光手段３１０および偏光メガネ３１１を用いることにより観察者２１２の立体視を実現したが、観察者２１２が立体視を実現する方法はこれに限定されない。例えば、レンチキュラースクリーンが用いられてもよく、この場合、右側および左側合成画像はそれぞれレンチキュラースクリーンの溝に沿って複数に分割され、左右合成画像３１９は分割された右側および左側合成画像が交互に並べられた画像となる。
【００６１】
（実施の形態４）
図９は、本発明の実施の形態４における画像合成装置４００の概略図である。
【００６２】
診断装置４００は、熱源である赤外線カメラ１５と、スリット板１６と、センサである赤外線カメラ１８および１９と、赤外線立体画像合成処理手段４０１とを備える。
【００６３】
画像合成装置４００では、被写体１７に対して、相互に直交するＹ軸およびＺ軸上に、被写体１７を撮像する赤外線カメラ１８および１９がそれぞれ配置されている。各赤外線カメラ１８および１９は、赤外線を感知して熱画像を撮像するパッシブタイプであり、各赤外線カメラ１８および１９によって、被写体１７の熱画像データが得られる。
【００６４】
また、Ｙ軸およびＺ軸それぞれに対して直交するＸ軸上に、Ｙ軸方向に沿った複数のスリット１６Ａを有するスリット板１６が設けられるとともに、このスリット板１６を挟んで被写体１７に対向して、赤外線カメラ１５が設けられている。この赤外線カメラ１５は、撮像対象に赤外線を照射して、その反射光に基づいて、対象物を撮像するアクティブタイプのものであり、赤外線カメラ１５から発せられる赤外線が、スリット板１６の各スリット１６Ａを介して、被写体１７に照射される。赤外線カメラ１５の代わりに、撮像対象に赤外線を照射可能な任意の赤外線照射手段が用いられ得る。
【００６５】
図９、図１０（ａ）および図１０（ｂ）を参照して、赤外線カメラ１５から発せられた赤外線は、Ｙ軸方向に沿った各スリット１６Ａを通過して、Ｘ軸方向に沿った平行な状態で、熱線として被写体１７に照射される。ここで、一例として被写体１７が半球状に突出した形状である場合を考える。この場合、各スリット１６Ａが沿ったＹ軸方向から赤外線カメラ１８によって被写体１７を撮像したときは、図１０（ｂ）に示されるように直線状の熱線パターン５１０が得られる。赤外線の照射方向であるＸ軸と各スリット１６Ａが沿ったＹ軸方向とにそれぞれ直交するＺ軸方向から、赤外線カメラ１９によって被写体１７を撮像したときは、図１０（ａ）に示すように、被写体１７の突出状態によって曲率が変化する曲線状の熱線パターン５１１が得られる。また、赤外線カメラ１８および１９により、熱線パターン５１０および５１１以外にも、被写体１７自身から発せられる赤外線が撮像され、被写体１７表面の温度分布を示す温度レベルデータが得られる。
【００６６】
Ｙ軸方向から被写体１７を撮像する赤外線カメラ１８から出力される熱線パターン５１０を有する熱画像データ４１０と、Ｚ軸方向から被写体１７を撮像する赤外線カメラ１９から出力される熱線パターン５１１を有する熱画像データ４１１は、赤外線立体画像合成手段４０１に入力される。
【００６７】
赤外線立体画像合成手段４０１は、熱線パターン５１０および５１１の形状の違いに基づいて、立体熱画像データ４１２を生成する。このような立体熱画像データ４１２の生成は、例えば、２次元の等高線から３次元の地形データを生成する周知の技術を応用することにより行われる。立体熱画像データ４１２から得られる仮想的な立体熱画像４１９が、ディスプレイ４０９に表示される。立体熱画像データ４１２は、温度レベルデータごとに色付けされ、立体熱画像４１９に被写体１７表面の温度分布が表示される。
【００６８】
本実施の形態では、熱線パターン５１０および５１１の形状の違いから被写体１７の仮想的な立体熱画像４１９が得られる。従って、可視カメラからの可視画像データを必要とすることなく、被写体１７の立体画像を得ることが出来る。
【００６９】
このように、被写体１７の形状および温度分布に関するデータを有する熱画像データ４１０および４１１に基づいて、仮想的な立体熱画像４１９が生成されることにより、被写体１７の診断部位を、迅速に、しかも、正確に観察することができる。
【００７０】
被写体１７の撮像用赤外線カメラは、赤外線カメラ１８および１９の２つのみならず、３つ以上の赤外線カメラが用いられても良い。この場合、複数の赤外線カメラは、Ｙ−Ｚ軸平面上に設置されることが好ましい。
【００７１】
熱画像データ４１０および４１１と、一対の可視カメラ（図示せず）によって得られる可視画像データとを合成して全体立体画像を生成してもよい。
【００７２】
実施の形態１で説明したように、合成された立体熱画像データ４１９を３次元空間において、適宜、移動させるようにしてもよい。
【００７３】
また、赤外線立体画像合成処理手段４０１は、全体熱画像データ４１２の同じ温度領域に属するピクセル数をカウントし、カウントされたピクセル数から被写体１７における任意の領域の体積を算出してもよい。任意の領域は例えば炎症部位であり、診断ごとに炎症部位の体積を算出することにより、医師は炎症部位の体積（すなわち腫れ具合）の時間変化を具体的な数値データとして得ることが出来る。
【００７４】
本発明において、被写体は人体に制限されず、例えば、動植物、機械等の構造物、都市風景、山海等の自然物であってもよい。
【００７５】
【発明の効果】
本発明の画像合成装置では、被写体における立体熱画像データと、可視立体画像データとを合成して、全体立体画像データが生成されるので、目視と同様の被写体の可視立体画像が熱画像とともに表示され、被写体の診断部位を迅速且つ正確に診断することができる。特に、人体における炎症部位の診断に対して好適である。
【００７６】
また、本発明の画像合成装置では、スリットを介して被写体に赤外線を照射し、所定の方向から被写体の熱画像データが得られるので、赤外線カメラのみを用いて被写体における熱情報とともに外観の形状情報も得られる。従って、被写体の診断部位を、迅速に、しかも、正確に診断することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１の画像合成装置を示す概略図である。
【図２】本発明の実施の形態１の赤外線立体画像合成処理手段における赤外線画像処理のブロック図である。
【図３】本発明の実施の形態１の画像合成装置における動作を示すフローチャートである。
【図４】本発明の実施の形態２の画像合成装置を示す概略図である。
【図５Ａ】本発明の実施の形態２における画像データ構造を示す模式図である。
【図５Ｂ】本発明の実施の形態２における画像データ構造を示す模式図である。
【図５Ｃ】本発明の実施の形態２における画像データ構造を示す模式図である。
【図５Ｄ】本発明の実施の形態２における画像データ構造を示す模式図である。
【図６】本発明の実施の形態２における画像データ構造および画像を示す模式図である。
【図７Ａ】本発明の実施の形態２における画像データ構造を示す模式図である。
【図７Ｂ】本発明の実施の形態２における画像データ構造を示す模式図である。
【図８】本発明の実施の形態３における画像合成装置を示す概略図である。
【図９】本発明の実施の形態４における画像合成装置を示す概略図である。
【図１０】本発明の実施の形態４における熱線パターンを示す概略図である。
【図１１】従来の画像合成装置を示すブロック図である。
【符号の説明】
１ 左側赤外線カメラ
２ 右側赤外線カメラ
３ 左側可視カメラ
４ 右側可視カメラ
５ 赤外線立体画像合成処理手段
６ 可視立体画像合成処理手段
７ 全体立体画像合成処理手段
８ ローパスフィルタ
９ ＡＤＣ
１０ マルチプレクサ
１１ マイコン
１２ メモリ
１３ 同期分離部
１４ タイミング発生部
１５ 赤外線カメラ（熱源）
１６ スリット
１７ 被写体
１８ 赤外線カメラ（センサ）
１９ 赤外線カメラ（センサ）
Claims (8)
- 被写体を左目および右目に相当する位置からそれぞれ撮像するように配置された一対の右側赤外線カメラおよび左側赤外線カメラと、
前記被写体を左目および右目に相当する位置からそれぞれ撮像するように配置された一対の右側可視カメラおよび左側可視カメラと、
前記右側赤外線カメラおよび前記左側赤外線カメラからそれぞれ出力される画像データを合成処理して得られる立体熱画像と、前記右側可視カメラおよび前記左側可視カメラからそれぞれ出力される画像データを合成処理して得られる立体可視画像とを合成処理する第１の画像合成処理手段とを備え、
前記第１の画像合成処理手段は、
前記右側赤外線カメラから出力される赤外線画像データと前記左側赤外線カメラから出力される赤外線画像データとを合成することによって、立体熱画像データを生成する第２の画像合成処理手段と、
前記右側可視カメラから出力される可視画像データと前記左側可視カメラから出力される可視画像データとを合成することによって、可視立体画像データを生成する第３の画像合成処理手段と、
前記第２の画像合成処理手段から出力される前記立体熱画像データと前記第３の画像合成処理手段から出力される前記可視立体画像データとを合成することによって、全体立体画像データを生成する第４の画像合成処理手段とを備え、
前記第４の画像合成処理手段から出力される前記全体立体画像データに基づいて、前記立体可視画像の熱分布状態を表示する表示手段をさらに備えることを特徴とする画像合成装置。 - 前記立体熱画像データは複数の温度レベルデータを含み、
前記複数の温度レベルデータに複数の色合いがそれぞれ割り当てられる、請求項１に記載の画像合成装置。 - 前記全体立体画像データは３次元座標データを含み、
前記全体立体画像データは、前記３次元座標データが３次元の空間座標において所定の投影面に投影された２次元座標データに変換されることにより、２次元画像データに変換される、請求項１に記載の画像合成装置。 - 被写体を左目および右目に相当する位置からそれぞれ撮像するように配置された一対の右側赤外線カメラおよび左側赤外線カメラと、
前記被写体を左目および右目に相当する位置からそれぞれ撮像するように配置された一対の右側可視カメラおよび左側可視カメラと、
前記右側赤外線カメラおよび前記左側赤外線カメラからそれぞれ出力される画像データを合成処理して得られる立体熱画像と、前記右側可視カメラおよび前記左側可視カメラからそれぞれ出力される画像データを合成処理して得られる立体可視画像とを合成処理する第１の画像合成処理手段とを備え、
前記第１の画像合成処理手段は、
同期信号を生成する同期信号生成手段と、
前記同期信号生成手段の生成する同期信号に応答して、前記右側赤外線カメラから出力される右側赤外線画像データの少なくとも一部と前記右側可視カメラから出力される右側可視画像データの少なくとも一部とを合成することによって、右側合成画像データを生成する第２の画像合成処理手段と、
前記同期信号生成手段の生成する同期信号に応答して、前記左側赤外線カメラから出力される左側赤外線画像データの少なくとも一部と前記左側可視カメラから出力される左側可視画像データの少なくとも一部とを合成することによって、左側合成画像データを生成する第３の画像合成処理手段と、
前記同期信号生成手段の生成する同期信号に応答して、前記第２の画像合成処理手段から出力される前記右側合成画像データおよび前記第３の画像合成処理手段から出力される前記左側合成画像データを所定の順序で出力するデータ出力手段とを備え、
前記データ出力手段から出力された前記右側合成画像データおよび前記左側合成画像データに基づいてそれぞれ形成される右側合成画像および左側合成画像を、観察者の右目および左目によって観察されるように横に並べて表示するモニタをさらに備えることを特徴とする画像合成装置。 - 被写体を左目および右目に相当する位置からそれぞれ撮像するように配置された一対の右側赤外線カメラおよび左側赤外線カメラと、
前記被写体を左目および右目に相当する位置からそれぞれ撮像するように配置された一対の右側可視カメラおよび左側可視カメラと、
前記右側赤外線カメラおよび前記左側赤外線カメラからそれぞれ出力される画像データを合成処理して得られる立体熱画像と、前記右側可視カメラおよび前記左側可視カメラからそれぞれ出力される画像データを合成処理して得られる立体可視画像とを合成処理する第１の画像合成処理手段とを備え、
前記第１の画像合成処理手段は、
同期信号を生成する同期信号生成手段と、
前記同期信号生成手段の生成する同期信号に応答して、前記右側赤外線カメラから出力される右側赤外線画像データの少なくとも一部と前記右側可視カメラから出力される右側可視画像データの少なくとも一部とを合成することによって、右側合成画像データを生成する第２の画像合成処理手段と、
前記同期信号生成手段の生成する同期信号に応答して、前記左側赤外線カメラから出力される左側赤外線画像データの少なくとも一部と前記左側可視カメラから出力される左側可視画像データの少なくとも一部とを合成することによって、左側合成画像データを生成する第３の画像合成処理手段と、
前記同期信号生成手段の生成する同期信号に応答して、前記第２の画像合成処理手段から出力される前記右側合成画像データおよび前記第３の画像合成処理手段から出力される前記左側合成画像データを所定の順序で出力するデータ出力手段とを備え、
前記データ出力手段から出力された前記右側合成画像データおよび前記左側合成画像データに基づいてそれぞれ形成される右側合成画像および左側合成画像をそれぞれ表示するとともに、それぞれの表示画面が観察者の右目および左目によってそれぞれ観察されるように横に並べて配置された一対のモニタをさらに備えることを特徴とする画像合成装置。 - 被写体を左目および右目に相当する位置からそれぞれ撮像するように配置された一対の右側赤外線カメラおよび左側赤外線カメラと、
前記被写体を左目および右目に相当する位置からそれぞれ撮像するように配置された一対の右側可視カメラおよび左側可視カメラと、
前記右側赤外線カメラおよび前記左側赤外線カメラからそれぞれ出力される画像データを合成処理して得られる立体熱画像と、前記右側可視カメラおよび前記左側可視カメラからそれぞれ出力される画像データを合成処理して得られる立体可視画像とを合成処理する第１の画像合成処理手段とを備え、
前記第１の画像合成処理手段は、
同期信号を生成する同期信号生成手段と、
前記同期信号生成手段の生成する同期信号に応答して、前記右側赤外線カメラから出力される右側赤外線画像データ、前記右側可視カメラから出力される右側可視画像データ、前記左側赤外線カメラから出力される左側赤外線画像データおよび前記左側可視カメラから出力される左側可視画像データを所定の順序で出力するデータ出力手段とを備え、
前記データ出力手段から順番に出力される前記画像データを順番に表示するモニタをさらに備える、画像合成装置。 - 被写体を左目および右目に相当する位置からそれぞれ撮像するように配置された一対の右側赤外線カメラおよび左側赤外線カメラと、
前記被写体を左目および右目に相当する位置からそれぞれ撮像するように配置された一対の右側可視カメラおよび左側可視カメラと、
前記右側赤外線カメラおよび前記左側赤外線カメラからそれぞれ出力される画像データ を合成処理して得られる立体熱画像と、前記右側可視カメラおよび前記左側可視カメラからそれぞれ出力される画像データを合成処理して得られる立体可視画像とを合成処理する第１の画像合成処理手段とを備え、
前記第１の画像合成処理手段は、
同期信号を生成する同期信号生成手段と、
前記同期信号生成手段の生成する同期信号に応答して、前記右側赤外線カメラから出力される右側赤外線画像データの少なくとも一部と前記右側可視カメラから出力される右側可視画像データの少なくとも一部とを合成することによって、右側合成画像データを生成する第２の画像合成処理手段と、
前記同期信号生成手段の生成する同期信号に応答して、前記左側赤外線カメラから出力される左側赤外線画像データの少なくとも一部と前記左側可視カメラから出力される左側可視画像データの少なくとも一部とを合成することによって、左側合成画像データを生成する第３の画像合成処理手段と、
前記同期信号生成手段の生成する同期信号に応答して、前記第２の画像合成処理手段から出力される前記右側合成画像データおよび前記第３の画像合成処理手段から出力される前記左側合成画像データとを重ねて出力するデータ出力手段とを備え、
前記データ出力手段から出力された前記右側合成画像データおよび前記左側合成画像データに基づいてそれぞれ形成される右側合成画像および左側合成画像を重ねて表示するモニタをさらに備えるとともに、前記同期信号生成手段の生成する同期信号に応答して、前記右側合成画像を第１の方向に偏光させ、前記左側合成画像を前記第１の方向と異なる方向に偏光させる偏光手段をさらに備えることを特徴とする画像合成装置。 - 前記第２の画像合成処理手段は、前記右側赤外線画像データの一部と前記右側可視画像データの全部とを合成し、
前記第３の画像合成処理手段は、前記左側赤外線画像データの一部と前記左側可視画像データの全部とを合成する、請求項４〜７のいずれかに記載の画像合成装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001042405A JP3807721B2 (ja) | 2000-02-21 | 2001-02-19 | 画像合成装置 |
| US09/788,497 US7072504B2 (en) | 2000-02-21 | 2001-02-21 | Image synthesis apparatus |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000043658 | 2000-02-21 | ||
| JP2000-43658 | 2000-02-21 | ||
| JP2001042405A JP3807721B2 (ja) | 2000-02-21 | 2001-02-19 | 画像合成装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005349623A Division JP4658787B2 (ja) | 2000-02-21 | 2005-12-02 | 画像合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001312718A JP2001312718A (ja) | 2001-11-09 |
| JP3807721B2 true JP3807721B2 (ja) | 2006-08-09 |
Family
ID=26585792
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001042405A Expired - Fee Related JP3807721B2 (ja) | 2000-02-21 | 2001-02-19 | 画像合成装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7072504B2 (ja) |
| JP (1) | JP3807721B2 (ja) |
Families Citing this family (92)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070156038A1 (en) * | 2000-01-19 | 2007-07-05 | Zeman Herbert D | Method to image the heart |
| GB2373943A (en) * | 2001-03-28 | 2002-10-02 | Hewlett Packard Co | Visible and infrared imaging camera |
| US7073158B2 (en) * | 2002-05-17 | 2006-07-04 | Pixel Velocity, Inc. | Automated system for designing and developing field programmable gate arrays |
| EP1391176A1 (en) * | 2002-08-16 | 2004-02-25 | Universiteit Maastricht | Method and arrangement for performing measurements of the topography of a corneal surface |
| JP3902109B2 (ja) * | 2002-10-02 | 2007-04-04 | 本田技研工業株式会社 | 赤外線カメラ特性確認治具 |
| SG138442A1 (en) * | 2003-05-13 | 2008-01-28 | Honeywell Int Inc | Combined imaging system |
| US7554007B2 (en) * | 2003-05-22 | 2009-06-30 | Evogene Ltd. | Methods of increasing abiotic stress tolerance and/or biomass in plants |
| AU2005234725B2 (en) * | 2003-05-22 | 2012-02-23 | Evogene Ltd. | Methods of Increasing Abiotic Stress Tolerance and/or Biomass in Plants and Plants Generated Thereby |
| ES2665463T3 (es) * | 2004-06-14 | 2018-04-25 | Evogene Ltd. | Polinucleótidos y polipéptidos implicados en el desarrollo de fibra vegetal y métodos de uso de los mismos |
| EP1766551B1 (en) * | 2004-07-07 | 2013-02-20 | Real imaging | 3d thermal breast cancer detector |
| AU2007200027B2 (en) * | 2004-07-07 | 2010-12-16 | Real Imaging Ltd. | System and Method for Imaging |
| US7457441B2 (en) * | 2005-02-25 | 2008-11-25 | Aptina Imaging Corporation | System and method for detecting thermal anomalies |
| WO2006130831A2 (en) * | 2005-06-02 | 2006-12-07 | Mititech Llc | Method and apparatus for displaying properties onto an object or life form |
| BRPI0618965B1 (pt) * | 2005-10-24 | 2021-01-12 | Evogene Ltd | método para aumentar a tolerância de uma planta a uma condição de estresse abiótico, método para aumentar a biomassa, vigor e/ou rendimento de uma planta, método para aumentar a eficiência do uso de fertilizante e/ou absorção de uma planta |
| JP4730082B2 (ja) * | 2005-12-22 | 2011-07-20 | ソニー株式会社 | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
| CN101496387B (zh) | 2006-03-06 | 2012-09-05 | 思科技术公司 | 用于移动无线网络中的接入认证的系统和方法 |
| US8073535B2 (en) * | 2006-07-19 | 2011-12-06 | Invention Science Fund 1 | Radiant energy derived temperature(s) |
| US20080036864A1 (en) * | 2006-08-09 | 2008-02-14 | Mccubbrey David | System and method for capturing and transmitting image data streams |
| US20080151049A1 (en) * | 2006-12-14 | 2008-06-26 | Mccubbrey David L | Gaming surveillance system and method of extracting metadata from multiple synchronized cameras |
| JP2010519860A (ja) * | 2007-02-21 | 2010-06-03 | ピクセル ベロシティー，インク． | 広域監視のための拡張可能なシステム |
| EP2154946B1 (en) * | 2007-04-09 | 2013-06-05 | Evogene Ltd. | Polynucleotides, polypeptides and methods for increasing oil content, growth rate and biomass of plants |
| US8918162B2 (en) * | 2007-04-17 | 2014-12-23 | Francine J. Prokoski | System and method for using three dimensional infrared imaging to provide psychological profiles of individuals |
| CA2691595C (en) * | 2007-06-25 | 2017-08-22 | Real Imaging Ltd. | Method, device and system for analyzing images |
| US20090086023A1 (en) * | 2007-07-18 | 2009-04-02 | Mccubbrey David L | Sensor system including a configuration of the sensor as a virtual sensor device |
| EP2183371B1 (en) * | 2007-07-24 | 2015-07-01 | Evogene Ltd. | Polynucleotides, polypeptides encoded thereby, and methods of using same for increasing abiotic stress tolerance and/or biomass and/or yield in plants expressing same |
| US20090287109A1 (en) * | 2008-05-14 | 2009-11-19 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Circulatory monitoring systems and methods |
| MX357387B (es) * | 2007-12-27 | 2018-07-06 | Evogene Ltd | Polipeptidos, polinucleotidos aislados utiles para modificar la eficacia en el uso de agua, eficacia en el uso del fertilizante, la tolerancia al estres biotico/abiotico, el rendimiento y biomasa en plantas. |
| JP5837748B2 (ja) * | 2007-12-31 | 2015-12-24 | リアル イメージング リミテッド | 撮像データのレジストレーションのためのシステムおよび方法 |
| WO2009083974A1 (en) | 2007-12-31 | 2009-07-09 | Real Imaging Ltd. | Method apparatus and system for analyzing thermal images |
| US8797377B2 (en) | 2008-02-14 | 2014-08-05 | Cisco Technology, Inc. | Method and system for videoconference configuration |
| EP2265163B1 (en) * | 2008-03-28 | 2014-06-04 | Real Imaging Ltd. | Method apparatus and system for analyzing images |
| US8390667B2 (en) | 2008-04-15 | 2013-03-05 | Cisco Technology, Inc. | Pop-up PIP for people not in picture |
| CA3148194A1 (en) * | 2008-05-22 | 2009-11-26 | Evogene Ltd. | Isolated polynucleotides and peptides and methods of using same for increasing plant yield, biomass, growth rate, vigor, oil content, abiotic stress tolerance of plants and nitrogen use efficiency |
| BR122021014165B1 (pt) * | 2008-08-18 | 2022-08-16 | Evogene Ltd. | Método para aumentar a eficiência de uso do nitrogênio, eficiência de uso de fertilizantes, produção, biomassa e/ou tolerância ao estresse por deficiência de nitrogênio e seca de uma planta, e, construção de ácido nucleico isolado |
| US8694658B2 (en) | 2008-09-19 | 2014-04-08 | Cisco Technology, Inc. | System and method for enabling communication sessions in a network environment |
| US9144397B2 (en) | 2008-12-04 | 2015-09-29 | Real Imaging Ltd. | Method apparatus and system for determining a thermal signature |
| US10244190B2 (en) * | 2009-03-02 | 2019-03-26 | Flir Systems, Inc. | Compact multi-spectrum imaging with fusion |
| SI3460062T1 (sl) | 2009-03-02 | 2021-09-30 | Evogene Ltd. | Izolirani polinukleotidi in polipeptidi in postopki uporabe le-teh za zvišanje donosa in/ali poljedelskih značilnosti rastlin |
| US8659637B2 (en) | 2009-03-09 | 2014-02-25 | Cisco Technology, Inc. | System and method for providing three dimensional video conferencing in a network environment |
| US8659639B2 (en) | 2009-05-29 | 2014-02-25 | Cisco Technology, Inc. | System and method for extending communications between participants in a conferencing environment |
| US9082297B2 (en) | 2009-08-11 | 2015-07-14 | Cisco Technology, Inc. | System and method for verifying parameters in an audiovisual environment |
| EP2499827A4 (en) * | 2009-11-13 | 2018-01-03 | Pixel Velocity, Inc. | Method for tracking an object through an environment across multiple cameras |
| US9225916B2 (en) * | 2010-03-18 | 2015-12-29 | Cisco Technology, Inc. | System and method for enhancing video images in a conferencing environment |
| JP2011239259A (ja) * | 2010-05-12 | 2011-11-24 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
| US9313452B2 (en) | 2010-05-17 | 2016-04-12 | Cisco Technology, Inc. | System and method for providing retracting optics in a video conferencing environment |
| US8896655B2 (en) | 2010-08-31 | 2014-11-25 | Cisco Technology, Inc. | System and method for providing depth adaptive video conferencing |
| US8599934B2 (en) | 2010-09-08 | 2013-12-03 | Cisco Technology, Inc. | System and method for skip coding during video conferencing in a network environment |
| US8599865B2 (en) | 2010-10-26 | 2013-12-03 | Cisco Technology, Inc. | System and method for provisioning flows in a mobile network environment |
| US8699457B2 (en) | 2010-11-03 | 2014-04-15 | Cisco Technology, Inc. | System and method for managing flows in a mobile network environment |
| US9143725B2 (en) | 2010-11-15 | 2015-09-22 | Cisco Technology, Inc. | System and method for providing enhanced graphics in a video environment |
| US9338394B2 (en) | 2010-11-15 | 2016-05-10 | Cisco Technology, Inc. | System and method for providing enhanced audio in a video environment |
| US8902244B2 (en) | 2010-11-15 | 2014-12-02 | Cisco Technology, Inc. | System and method for providing enhanced graphics in a video environment |
| US8730297B2 (en) | 2010-11-15 | 2014-05-20 | Cisco Technology, Inc. | System and method for providing camera functions in a video environment |
| US8542264B2 (en) | 2010-11-18 | 2013-09-24 | Cisco Technology, Inc. | System and method for managing optics in a video environment |
| US8723914B2 (en) | 2010-11-19 | 2014-05-13 | Cisco Technology, Inc. | System and method for providing enhanced video processing in a network environment |
| US9111138B2 (en) | 2010-11-30 | 2015-08-18 | Cisco Technology, Inc. | System and method for gesture interface control |
| USD682854S1 (en) | 2010-12-16 | 2013-05-21 | Cisco Technology, Inc. | Display screen for graphical user interface |
| US8692862B2 (en) | 2011-02-28 | 2014-04-08 | Cisco Technology, Inc. | System and method for selection of video data in a video conference environment |
| US8670019B2 (en) | 2011-04-28 | 2014-03-11 | Cisco Technology, Inc. | System and method for providing enhanced eye gaze in a video conferencing environment |
| US8786631B1 (en) | 2011-04-30 | 2014-07-22 | Cisco Technology, Inc. | System and method for transferring transparency information in a video environment |
| US8934026B2 (en) | 2011-05-12 | 2015-01-13 | Cisco Technology, Inc. | System and method for video coding in a dynamic environment |
| WO2012168322A2 (en) * | 2011-06-06 | 2012-12-13 | 3Shape A/S | Dual-resolution 3d scanner |
| KR101087180B1 (ko) * | 2011-06-22 | 2011-11-28 | 동국대학교 경주캠퍼스 산학협력단 | 신뢰성 있는 금속 표면 ３차원 형상 추출 기법 및 시스템 |
| NL2007140C2 (nl) * | 2011-07-19 | 2013-01-22 | Vanderlande Ind Bv | Transportsysteem voor bagagestukken, check-in systeem voorzien van een dergelijk transportsysteem en werkwijze voor toepassing van een dergelijk transportsysteem. |
| US8947493B2 (en) | 2011-11-16 | 2015-02-03 | Cisco Technology, Inc. | System and method for alerting a participant in a video conference |
| US8682087B2 (en) | 2011-12-19 | 2014-03-25 | Cisco Technology, Inc. | System and method for depth-guided image filtering in a video conference environment |
| JP5930531B2 (ja) * | 2012-05-24 | 2016-06-08 | 三菱電機エンジニアリング株式会社 | 撮像装置および撮像方法 |
| EP2974277A1 (en) * | 2012-11-30 | 2016-01-20 | Robert Bosch GmbH | Methods to combine radiation-based temperature sensor and inertial sensor and/or camera output in a handheld/mobile device |
| US9681154B2 (en) | 2012-12-06 | 2017-06-13 | Patent Capital Group | System and method for depth-guided filtering in a video conference environment |
| WO2014100784A1 (en) * | 2012-12-21 | 2014-06-26 | Flir Systems, Inc. | Infrared imaging enhancement with fusion |
| WO2014127431A1 (en) * | 2013-02-25 | 2014-08-28 | Commonwealth Scientific And Industrial Research Organisation | 3d imaging method and system |
| US9729803B2 (en) * | 2013-03-15 | 2017-08-08 | Infrared Integrated Systems, Ltd. | Apparatus and method for multispectral imaging with parallax correction |
| US9843621B2 (en) | 2013-05-17 | 2017-12-12 | Cisco Technology, Inc. | Calendaring activities based on communication processing |
| US20150022635A1 (en) * | 2013-07-19 | 2015-01-22 | Blackberry Limited | Using multiple flashes when obtaining a biometric image |
| WO2016061757A1 (zh) * | 2014-10-22 | 2016-04-28 | 宇龙计算机通信科技(深圳)有限公司 | 基于双摄像头模组的图像生成方法及双摄像头模组 |
| EP3226754B1 (en) * | 2014-12-02 | 2021-02-03 | Brainlab AG | Human body measurement using thermographic images |
| US11576645B2 (en) | 2015-03-02 | 2023-02-14 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for scanning a patient in an imaging system |
| US11576578B2 (en) | 2015-03-02 | 2023-02-14 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for scanning a patient in an imaging system |
| CN104644205A (zh) | 2015-03-02 | 2015-05-27 | 上海联影医疗科技有限公司 | 用于影像诊断的患者定位方法及系统 |
| US20170042626A1 (en) * | 2015-07-31 | 2017-02-16 | Advanced Tactile Imaging, Inc. | Method and probe for providing tactile feedback in laparoscopic surgery |
| BR112019000674B1 (pt) | 2016-07-20 | 2022-05-03 | Farm Robotics And Automation Sl | Sistema e método para monitorar o bem-estar de animais em um celeiro e robô para uso em um sistema para o monitoramento do bem-estar de animais para produção intensiva de carne em um celeiro |
| EP3589190B1 (en) * | 2017-03-01 | 2022-12-28 | TherMidas Oy | Multimodal medical imaging and analyzing system, method and server |
| WO2018191648A1 (en) | 2017-04-14 | 2018-10-18 | Yang Liu | System and apparatus for co-registration and correlation between multi-modal imagery and method for same |
| TWI634348B (zh) * | 2017-07-26 | 2018-09-01 | 英屬維京群島商宇博先進股份有限公司 | 具熱顯像功能的穿戴式裝置 |
| JP7157409B2 (ja) * | 2017-08-04 | 2022-10-20 | 日本電気株式会社 | 三次元画像生成装置、三次元画像生成方法、および三次元画像生成プログラム |
| US20200305702A1 (en) * | 2017-09-29 | 2020-10-01 | J. Morita Mfg. Corp. | Dental observation device and method for displaying dental image |
| JP6939501B2 (ja) * | 2017-12-15 | 2021-09-22 | オムロン株式会社 | 画像処理システム、画像処理プログラム、および画像処理方法 |
| JPWO2020039605A1 (ja) * | 2018-08-20 | 2021-08-26 | コニカミノルタ株式会社 | ガス検出装置、情報処理装置およびプログラム |
| JP7364179B2 (ja) * | 2019-01-29 | 2023-10-18 | 新東工業株式会社 | ロボット |
| SE543210C2 (en) * | 2019-04-05 | 2020-10-27 | Delaval Holding Ab | Method and control arrangement for detecting a health condition of an animal |
| JP7395137B2 (ja) | 2019-12-12 | 2023-12-11 | 株式会社関電工 | ヘッドマウント型温度分布認識装置 |
| IL275524B (en) | 2020-06-18 | 2021-12-01 | Elbit Systems C4I And Cyber Ltd | System and method for measuring parameters without contact |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5129010A (en) * | 1989-12-15 | 1992-07-07 | Kabushiki Kaisha Toyoto Chuo Kenkyusho | System for measuring shapes and dimensions of gaps and flushnesses on three dimensional surfaces of objects |
| US5124915A (en) * | 1990-05-29 | 1992-06-23 | Arthur Krenzel | Computer-aided data collection system for assisting in analyzing critical situations |
| JP3253328B2 (ja) | 1991-10-25 | 2002-02-04 | 日本電信電話株式会社 | 距離動画像入力処理方法 |
| JPH0776690B2 (ja) | 1992-02-10 | 1995-08-16 | 吉居 義高 | 自動採寸システム |
| JP3683329B2 (ja) | 1996-02-16 | 2005-08-17 | 日本ライトサービス株式会社 | 被写体のサーモグラフ画像情報にモアレトポグラフ画像情報を重ねる装置 |
| JP3802630B2 (ja) | 1996-12-28 | 2006-07-26 | オリンパス株式会社 | 立体画像生成装置および立体画像生成方法 |
| US6219462B1 (en) * | 1997-05-09 | 2001-04-17 | Sarnoff Corporation | Method and apparatus for performing global image alignment using any local match measure |
| JPH1198537A (ja) | 1997-09-24 | 1999-04-09 | Sanyo Electric Co Ltd | 立体視用眼鏡 |
| JP4021026B2 (ja) * | 1998-01-29 | 2007-12-12 | 富士重工業株式会社 | ステレオ画像処理システム |
| JP4849755B2 (ja) * | 1999-07-02 | 2012-01-11 | ハイパースペクトラル・イメージング・インコーポレイテツド | イメージング装置および試料分析方法 |
| US6597807B1 (en) * | 1999-09-27 | 2003-07-22 | The United States Of America As Represented By The Secretary Of The Army | Method for red green blue (RGB) stereo sensor fusion |
| US6556858B1 (en) * | 2000-01-19 | 2003-04-29 | Herbert D. Zeman | Diffuse infrared light imaging system |
-
2001
- 2001-02-19 JP JP2001042405A patent/JP3807721B2/ja not_active Expired - Fee Related
- 2001-02-21 US US09/788,497 patent/US7072504B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20010046316A1 (en) | 2001-11-29 |
| US7072504B2 (en) | 2006-07-04 |
| JP2001312718A (ja) | 2001-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3807721B2 (ja) | 画像合成装置 | |
| US4851901A (en) | Stereoscopic television apparatus | |
| CN105208909B (zh) | 用于立体显示图像数据的方法和装置 | |
| WO2016048911A1 (en) | Hyperspectral imager | |
| CN104185441B (zh) | 立体视觉内窥镜系统 | |
| JP2017510837A (ja) | 対象領域の観察画像の生成 | |
| WO2011069469A1 (en) | Stereoscopic visualization system for surgery | |
| JP2000152285A (ja) | 立体画像表示装置 | |
| CN115919239A (zh) | 用于3d内窥镜成像系统的成像方法和3d内窥镜成像系统 | |
| JPH10221775A (ja) | 立体視撮像表示プログラムを記録した媒体及び複眼画像入出力装置 | |
| CN102188256A (zh) | 医疗图像生成设备、医疗图像显示设备、医疗图像生成方法和程序 | |
| JPH07240945A (ja) | 仮想空間生成提示装置 | |
| JP4658787B2 (ja) | 画像合成装置 | |
| US8400493B2 (en) | Virtual stereoscopic camera | |
| JP2011135202A (ja) | 映像信号処理装置及び映像信号処理方法 | |
| JP5353770B2 (ja) | 立体映像観察装置、立体映像表示装置、及びプログラム | |
| JP2011053564A (ja) | 表示装置および撮像装置 | |
| US10855980B2 (en) | Medical-image display control device, medical image display device, medical-information processing system, and medical-image display control method | |
| JPH11155154A (ja) | 立体映像処理装置 | |
| JP6915368B2 (ja) | 多焦点視覚出力方法、多焦点視覚出力装置 | |
| JPH02291787A (ja) | 広視野表示装置 | |
| JPH11341517A (ja) | 水平配置立体画像表示システム | |
| JPH10146330A (ja) | Ｘ線ステレオ画像表示装置 | |
| JP2000295637A (ja) | 立体画像表示装置 | |
| JP2012234447A (ja) | 医用画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051004 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051202 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060515 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060515 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |