JP4879901B2 - 画像処理方法、画像処理プログラム、及び画像処理装置 - Google Patents
画像処理方法、画像処理プログラム、及び画像処理装置 Download PDFInfo
- Publication number
- JP4879901B2 JP4879901B2 JP2007532076A JP2007532076A JP4879901B2 JP 4879901 B2 JP4879901 B2 JP 4879901B2 JP 2007532076 A JP2007532076 A JP 2007532076A JP 2007532076 A JP2007532076 A JP 2007532076A JP 4879901 B2 JP4879901 B2 JP 4879901B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- voxel
- fusion
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 52
- 238000003672 processing method Methods 0.000 title claims description 21
- 230000004927 fusion Effects 0.000 claims description 90
- 238000000034 method Methods 0.000 claims description 89
- 238000006243 chemical reaction Methods 0.000 claims description 51
- 238000010606 normalization Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 description 13
- 230000009466 transformation Effects 0.000 description 11
- 230000000052 comparative effect Effects 0.000 description 8
- 238000002603 single-photon emission computed tomography Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- HGBLNBBNRORJKI-WCABBAIRSA-N cyclacillin Chemical compound N([C@H]1[C@H]2SC([C@@H](N2C1=O)C(O)=O)(C)C)C(=O)C1(N)CCCCC1 HGBLNBBNRORJKI-WCABBAIRSA-N 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000003902 lesion Effects 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 230000000877 morphologic effect Effects 0.000 description 5
- 238000003325 tomography Methods 0.000 description 5
- PMATZTZNYRCHOR-CGLBZJNRSA-N Cyclosporin A Chemical compound CC[C@@H]1NC(=O)[C@H]([C@H](O)[C@H](C)C\C=C\C)N(C)C(=O)[C@H](C(C)C)N(C)C(=O)[C@H](CC(C)C)N(C)C(=O)[C@H](CC(C)C)N(C)C(=O)[C@@H](C)NC(=O)[C@H](C)NC(=O)[C@H](CC(C)C)N(C)C(=O)[C@H](C(C)C)NC(=O)[C@H](CC(C)C)N(C)C(=O)CN(C)C1=O PMATZTZNYRCHOR-CGLBZJNRSA-N 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000002945 steepest descent method Methods 0.000 description 3
- ZCXUVYAZINUVJD-AHXZWLDOSA-N 2-deoxy-2-((18)F)fluoro-alpha-D-glucose Chemical compound OC[C@H]1O[C@H](O)[C@H]([18F])[C@@H](O)[C@@H]1O ZCXUVYAZINUVJD-AHXZWLDOSA-N 0.000 description 2
- 238000009206 nuclear medicine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 230000008338 local blood flow Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 229940121896 radiopharmaceutical Drugs 0.000 description 1
- 239000012217 radiopharmaceutical Substances 0.000 description 1
- 230000002799 radiopharmaceutical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/037—Emission tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Description
本発明は、一対の三次元断層画像を重ね合わせることによってフュージョン画像を生成するための画像処理方法、画像処理プログラム、及び画像処理装置に関する。
画像診断には、単光子放出型断層撮像（以下、「ＳＰＥＣＴ」という）、陽電子放出型断層撮像（以下、「ＰＥＴ」という）、磁気共鳴断層画像（以下、「ＭＲＩ」という）、および、X線断層撮像（以下、「ＣＴ」という）を初めとする画像が用いられる。これらの画像によれば、非破壊で被験者の体内に存在する病変部の情報を得ることができる。したがって、画像診断は、現在の診断医療において無くてはならないものとなっている。
これまでに画像診断技術に関する種々の検討が行われており、近年では、生体内の部位の形態的情報のみならず、生体の機能情報を画像化する技術が考案され、臨床応用されている。例えば、核磁気共鳴技術を用い、脳内の局所的な血流量変化を画像化する機能的磁気共鳴断層撮像（以下、「ｆＭＲＩ」という）や、ＳＰＥＣＴ及びＰＥＴといった核医学検査が開発され、臨床応用されている。
このような機能画像は、生体及び病変における機能的変化を画像化したものである。したがって、機能画像は、病変部検出の特異度が高いという利点を有している。一方で、機能画像は、病変部の解剖学的な位置情報に乏しいといった欠点も有している。
機能画像が有するこのような欠点を補う目的で、フュージョン画像が用いられている。フュージョン画像は、機能画像と形態画像とを重ね合わせた画像である。このフュージョン画像によれば、機能画像にて検出された病変部位の解剖学的な位置を形態画像上にて確認することが可能である。したがって、フュージョン画像は、確定診断や治療方針の決定等に有用である。
また、フュージョン画像は、このような異なるモダリティーに由来する画像、即ち異なる装置によって取得された画像のみならず、同一モダリティーに由来した画像からも作成することができる。例えば、同一の検査を複数回実施することによって得られる複数の核医学画像に基づくフュージョン画像によれば、同じ部位における値の変化や、同一部位からの異なる血流情報或いはレセプター分布等を得ることができる。
フュージョン画像に対するこのようなニーズの高まりを反映し、これまでに、フュージョン画像を自動で作成するための種々の方法が提案され、開発されている。例えば、Automatic Multimodality Image Registration法（以下、ＡＭＩＲ法という）（非特許文献１を参照）、ＡＣ−ＰＣライン位置合わせ法（非特許文献２を参照）、相互情報量最大化法（非特許文献３を参照）等が開発され、実用化されている。
Babak A. Ardekani et al., "A Fully Automatic Multimodality Image Registration Algorithm.", Journal of Computer Assisted Tomography, (USA), 1995, 19, 4, p615-623 「Dr.View／LINUXユーザーズマニュアル（第３版）」、旭化成情報システム株式会社、p.466-470 F. Maes et al., "Multimodality Image Registration by Maximization of Mutual Information.", IEEE Transactions on Medical Imaging, (USA), 1997, 16, 2, p.187-198
Babak A. Ardekani et al., "A Fully Automatic Multimodality Image Registration Algorithm.", Journal of Computer Assisted Tomography, (USA), 1995, 19, 4, p615-623 「Dr.View／LINUXユーザーズマニュアル（第３版）」、旭化成情報システム株式会社、p.466-470 F. Maes et al., "Multimodality Image Registration by Maximization of Mutual Information.", IEEE Transactions on Medical Imaging, (USA), 1997, 16, 2, p.187-198
上述したように、フュージョン画像は画像診断の分野において非常に有用であり、これまでに多くのフュージョン画像作成法が開発され、実用化されている。
ＡＭＩＲ法は、輪郭抽出を行った画像をセグメントに分割し、評価関数が最小値をとる条件を求めてフュージョン画像を作成する方法である。この方法は、セグメントに分割可能な画像に対しては有効であるが、軟部組織を対象とした画像のように、輪郭が不鮮明でセグメントへの分割が困難な画像には不向きである。
ＡＣ−ＰＣライン位置合わせ法は、正中矢状面内において決定したＡＣ−ＰＣライン同士を重ね合わせることによってフュージョン画像を作成する方法である。この方法によれば、重ね合わせを行うそれぞれの画像におけるＡＣ−ＰＣラインさえ決まれば、容易にフュージョン画像を作成することが可能である。しかし、前提として正中矢状面の画像を作成してＡＣ−ＰＣラインを手動で決めなければならず、このＡＣ−ＰＣラインの決定操作そのものが煩雑であるといった欠点がある。また、この方法は、頭部以外を対象とした画像への応用もできない。
一方、相互情報量最大化法は、各画像の有する情報量を用いて位置合わせを行う方法である。即ち、この方法は、セグメント分割や、ＡＣ−ＰＣラインの確定等の操作を必要としない。したがって、相互情報量最大化法は、現時点において、最も有用な位置合わせ方法の一つであるといえる。
しかし、相互情報量最大化法によって自動生成されたフュージョン画像の重ね合わせの精度は、必ずしも高いといえるものではなく、手動による再調整が必要となることが少なくない。このような問題は、例えばＳＰＥＣＴ画像とＣＴ画像を用いたフュージョン画像のように、異なるモダリティーに由来する画像を組み合わせたフュージョン画像に、特に多く発生する。
そこで、本発明は、自動且つ高い重ね合わせの精度でフュージョン画像を作成するための画像処理方法、画像処理プログラム、及び画像処理装置を提供することを目的としている。
本願発明者は鋭意検討を重ねた結果、精度良くフュージョン画像を作成し得るための知見を得た。即ち、本願発明者は、一対の三次元画像それぞれのボクセルサイズ及びボクセル数を等しくした後、一対の三次元画像の対応位置を求めることによって、精度良くフュージョン画像を作成し得ることを見出した。なお、従来においては、ボクセルサイズ及びボクセル数が異なっている一対の三次元画像が、両者の対応位置を導出するための演算処理にそのまま入力されていた。これは、相互情報量最大化法等においては、それぞれのボクセルサイズ及びボクセル数が異なっている一対の三次元画像を用いた対応位置導出のためのリスケール処理が導入されているためであり、従来においては、一対の三次元画像それぞれのボクセルサイズ及びボクセル数を等しくする必要性が認められていなかった。
かかる知見に基づく本発明の一側面に係る画像処理方法は、（ａ）被験者の任意の部位から得られる複数の第１の断層像に基づく第１の三次元画像及び同部位から得られる複数の第２の断層像に基づく第２の三次元画像それぞれの有効視野内におけるボクセルサイズ及びボクセル数を等しくすることによって、第１の三次元画像に対応の第１の正規化三次元画像及び第２の三次元画像に対応の第２の正規化三次元画像を生成するボクセル正規化ステップと、（ｂ）第１の正規化三次元画像及び第２の正規化三次元画像を用いて、フュージョン画像を生成するフュージョン画像生成ステップと、を含む。
本発明の画像処理方法は、複数の第１の断層像からなる第１の三次元原画像及び複数の第２の断層像からなる第２の三次元原画像それぞれのボクセルを、立方体形状のボクセルに変換することによって、第１の三次元画像及び第２の三次元画像を生成するボクセル形状変換ステップを更に含んでいてもよい。
本発明の別の一側面に係る画像処理プログラムは、コンピュータに、上述のボクセル正規化ステップ及びフュージョン画像生成ステップを実行させる。また、本発明の画像処理プログラムは、上述のボクセル形状変換ステップを、コンピュータに更に実行させてもよい。
本発明の更に別の一側面に係る画像処理装置は、（ａ）被験者の任意の部位から得られる複数の第１の断層像に基づく第１の三次元画像及び同部位から得られる複数の第２の断層像に基づく第２の三次元画像それぞれの有効視野内におけるボクセルサイズ及びボクセル数を等しくすることによって、第１の三次元画像に対応の第１の正規化三次元画像及び第２の三次元画像に対応の第２の正規化三次元画像を生成するボクセル正規化手段と、（ｂ）第１の正規化三次元画像及び第２の正規化三次元画像を用いて、フュージョン画像を生成するフュージョン画像生成手段と、を備える。
また、本発明の画像処理装置は、複数の第１の断層像からなる第１の三次元原画像及び複数の第２の断層像からなる第２の三次元原画像それぞれのボクセルを、立方体形状のボクセルに変換することによって、第１の三次元画像及び第２の三次元画像を生成するボクセル形状変換手段を更に備えていてもよい。
第１の正規化三次元画像及び第２の正規化三次元画像は、線形補間法によって、生成されることが好適である。また、第１の三次元画像及び第２の三次元画像も、線形補間法によって、生成されることが好適である。また、フュージョン画像が、相互情報量最大化法によって生成されてもよい。
本発明によれば、自動且つ高い重ね合わせの精度でフュージョン画像を作成可能な画像処理方法、画像処理プログラム、及び画像処理装置が提供される。
１０…画像処理プログラム、１１…メインモジュール、１２…三次元原画像取得モジュール、１４…ボクセル形状変換モジュール、１６…ボクセル正規化モジュール、１８…フュージョン画像生成モジュール、２０…出力モジュール、３０…画像処理装置、３２…三次元原画像取得部、３４…ボクセル形状変換部、３６…ボクセル正規化部、３８…フュージョン画像生成部、４０…出力部、１００…記録媒体、１１０…コンピュータ、１１２…読取装置、１１４…作業用メモリ、１１６…メモリ、１１８…表示装置、１２０…マウス、１２２…キーボード、１２４…通信装置、１２６…ＣＰＵ。
以下、本発明の実施の形態に係る画像処理方法について、図面を参照して説明する。図１は、本発明の実施の形態に係る画像処理方法のフローチャートである。図１に示す画像処理方法は、例えば、以下に説明する各ステップの命令をコンピュータに与えることによって、実行することができる。
図１に示すように、この画像処理方法では、まず、フュージョン画像を作成するための第１の三次元原画像及び第２の三次元原画像が取得される（ステップＳ０１）。第１の三次元原画像は、被験者における任意の部位から得られる複数断面の第１の断層像からなるものである。同様に、第２の三次元原画像は、同部位から得られる複数断面の第２の断層像からなるものである。
本実施の形態では、第１の断層像及び第２の断層像が、異なるモダリティーよって取得された画像であるものとする。詳細には、第１の断層像が、ＳＰＥＣＴ画像及びＰＥＴ画像を初めとする機能画像であり、第２の断層像が、ＭＲＩ画像及びＣＴ画像を初めとする形態画像であるものとする。以下、形態画像としてＣＴ画像を用い、機能画像としてＳＰＥＣＴ画像を用いた場合を例にとって、説明する。
なお、第１の断層像及び第２の断層像は、同一のモダリティーによって取得されたものであってもよい。例えば、第１の断層像及び第２の断層像には、同部位に対する撮像日時や投与した放射性医薬品の異なるＰＥＴ画像又はＳＰＥＣＴ画像、又は、撮像条件の異なるＭＲＩ画像を用いることもできる。
複数の第１の断層像及び複数の第２の断層像は、体軸に対してほぼ垂直な複数の断面であって、体軸方向に連続する複数の断面から取得された断層像である。これらの画像は、それぞれ公知の方法にて取得することが可能である。以下の説明においては、体を正面からみた場合に、横方向をｘ軸方向、奥行き方向をｙ軸方向、体軸方向をｚ軸方向と定義する。
なお、第１の三次元原画像及び第２の三次元原画像それぞれの画像データはコンピュータで読み取り可能なデータ形式で保存されていればよく、例えば、ＤＩＣＯＭ形式によるデータを用いることができる。これらの画像データは、例えば、コンパクトディスクを初めとするコンピュータで読み取り可能な記憶媒体に格納した形で提供される。画像データを格納した記憶媒体をコンピュータに備え付けられたデータ読み取り装置に挿入することによって、画像データがコンピュータに読み込まれ、当該コンピュータ上でこれらの画像を用いた以下の画像処理を行うことが可能となる。また、当該データは、搬送波に重畳されたコンピュータデータ信号として、ネットワークを介して直接取得されるものであってもよい。
次に、本実施の形態の画像処理方法では、ボクセル形状変換ステップが行われる（ステップＳ０２）。第１の三次元原画像及び第２の三次元原画像、即ち複数の断層像からなる三次元原画像においては、各ボクセルがｚ軸方向に延びる直方体形状となっている場合がある。ボクセル形状変換ステップでは、第１の三次元原画像及び第２の三次元原画像それぞれのボクセルを立方体形状のボクセルに変換する処理が実行される。
なお、第１の三次元原画像及び第２の三次元原画像それぞれのボクセルが立方体形状である場合には、本ステップは実行されず、第１の三次元原画像が第１の三次元画像とされ、第２の三次元原画像が第２の三次元画像とされる。また、第１の三次元原画像及び第２の三次元原画像のうち一方の三次元原画像のボクセルが直方体形状である場合には、当該一方の三次元原画像のボクセルが立方体形状のボクセルに変換される。
以下、ボクセル形状変換ステップ（ステップＳ０２）について、より詳細に説明する。このステップの処理は、例えば、バイリニア法やバイキュービック法等の公知の線形補間法に従って、体軸方向のピクセルサイズが調整される。
以下、バイリニア法による線形補間を例にとり、本ステップを説明する。図２は、図１に示すボクセル形状変換ステップにおける処理の一例を示すフローチャートである。図２に示すボクセル形状変換ステップでは、バイリニア法に基づく処理が採用されている。このボクセル形状変換ステップでは、以下に説明するステップＳ１１〜Ｓ１３の処理が、第１の三次元原画像及び第２の三次元原画像の双方に適用され、第１の三次元画像及び第２の三次元画像が生成される。なお、以下では、説明の簡単のために、第１の三次元原画像及び第２の三次元原画像を「三次元原画像」と称する。また、ボクセル形状変換によって生成される第１の三次元画像及び第２の三次元画像を「三次元画像」と称する。
図２に示すように、まず、このボクセル形状変換ステップにおいては、ｚ軸方向のボクセル数のみを調整するために、有効視野内におけるボクセル形状変換後のｚ軸方向のボクセル数が算出される（ステップＳ１１）。
具体的には、次式（１）の演算によって、ｚ軸方向のボクセル数が算出される。
式（１）において、Ｍｚ２はボクセル形状変換後のｚ軸方向のボクセル数、ＦＯＶｚはｚ軸方向の有効視野、Ｐ１はボクセルのｘ軸及びｙ軸方向における一辺の長さである。このようにして、一辺の長さをＰ１とした立方体形状のボクセルのｚ軸方向の数が算出される。
次に、ボクセル形状変換後の三次元画像用の新たな画像空間がメモリ上に作成される（ステップＳ１２）。この画像空間は、三次元原画像のｘ軸方向のボクセル数とｙ軸方向のボクセル数とＭｚ２との積と同数のボクセルそれぞれの画素値を記憶するための空間である。
次に、ステップＳ１２にて用意された画像空間内の各ボクセルに、画素値を付して新たな三次元画像を作成する（ステップＳ１３）。このステップでは、三次元原画像における冠状断像又は矢状断像を用い、ｚ軸方向にバイリニア法による線形補間を適用することによって三次元画像が作成される。以下、冠状断像を用いて線形補間を行う場合を例にとり、説明する。
ステップＳ１３では、ボクセル形状変換後の三次元画像gにおける任意のボクセルの中心点(x, z)を取り囲んでいる近傍の４つの格子点(j1, k1)、(j1+1, k1)、(j1, k1+1)及び(j1+1, k1+1)それぞれの三次元原画像fの画素値から、点(x, z)における画素値g(x, z)が次式（２）によって算出される。
ここで、f(j1, k1)、f(j1+1, k1)、f(j1, k1+1)及びf(j1+1, k1+1)は、それぞれ点(x, z)を囲む三次元原画像における冠状断像の格子点(j1, k1)、(j1+1, k1)、(j1, k1+1)及び(j+1, k+1)における画素値（画素の濃度値）、j1=[x]、r1=x−j1、k1=[z]、s1=z−k1である。この操作を全ての冠状断像における全てのボクセルにつき順次行うことによって、ボクセル形状を立方体に変更した新たな画像、即ち三次元画像gが形成され、ボクセル形状変更処理が終了する。
図１に戻り、本実施の形態の画像処理方法では、次に、ボクセル正規化ステップ（ステップＳ０３）が実行される。このボクセル正規化ステップでは、第１の三次元画像及び第２の三次元画像それぞれの有効視野内におけるボクセルサイズ、及びボクセル数を同一の値とする処理が行われる。
最も好ましい形態において、ボクセル正規化ステップでは、有効視野の小さい方の画像におけるボクセルサイズ及びボクセル数が、有効視野の大きい方の画像のボクセルサイズ及びボクセル数と同一となるように変換される。
例えば、第１の三次元画像の有効視野が第２の三次元画像の有効視野よりも小さい場合には、第１の三次元画像におけるボクセルサイズ及びボクセル数が第２の三次元画像のボクセルサイズ及びボクセル数に合わせられる。なお、第１の三次元画像における有効視野外には、Nullコード（すなわち、0値）が付される。
かかるボクセル正規化ステップにおいても、バイリニア法やバイキュービック法等の公知の線形補完処理を採用することが可能である。図３は、図１に示すボクセル正規化ステップにおける処理の一例を示すフローチャートである。以下、第２の三次元画像が第１の三次元画像より大きな有効視野を有しているものと仮定し、バイリニア法に基づくボクセル正規化ステップを、図３を参照しつつ説明する。
図３に示すように、ボクセルサイズ等正規化ステップでは、まず、第２の三次元画像と同一のボクセルサイズ及びボクセル数を有する三次元の画像空間が、コンピュータのメモリ上に用意される（ステップＳ２１）。
次に、画像空間内における各ボクセルに、第１の三次元画像からの線形補間によって求められる画素値を付することによって、第１の三次元正規化画像が生成される。なお、本実施の形態では、第２の三次元画像がそのまま第２の三次元正規化画像とされる。
より具体的には、まず、第１の三次元画像の横断像を用い、バイリニア法による線形補間を行って、仮の画素値を算出し、上記画像空間の各ボクセルに付する（ステップＳ２２）。以下、ステップＳ２２の補間処理を、「第一次補間処理」という。
具体的に、第一次補間処理では、横断像上にｘｙ座標が設定される。そして、画像空間上に格子点が仮定され、第一次補間処理後の三次元画像h1における点(x, y)を取り囲んでいる４つの格子点(j2, k2)、(j2+1, k2)、(j2, k2+1)及び(j2+1, k2+1)それぞれの第１の三次元画像gの画素値から、点(x, y)における画素値h1(x, y)が、次式（３）によって算出される。
ここで、g(j2, k2)、 g(j2+1, k2)、 g(j2, k2+1)及びg(j2+1, k2+1)は、それぞれ点(x, y)を囲む格子点(j2, k2)、(j2+1, k2)、(j2, k2+1)及び(j2+1, k2+1)における第１の三次元画像gの画素値、j2=[x]、r2=x−j2、k2=[y]、s2=y−k2である。この操作を全ての横断像における全てのボクセルにつき順次行い、得られた画素値をそれぞれのボクセルに付することによって、第一次補間処理が完了する。
次いで、矢状断像又は冠状断像にて同様の補間処理が行われる（ステップＳ２３）。以下、ステップＳ２３の処理を第二次補間処理という。また、以下では、冠状断像にて補間処理を行う場合を例にとり、第二次補間処理を説明する。
第二次補間処理では、まず、冠状断像上に、ｘｚ座標が設定される。そして、この座標上にて格子点が仮定され、第一次補間処理が付されて成る三次元画像h1における４つの画素値であって、任意のボクセルの中心点(x, z)を取り囲んでいる４つの格子点(j3, k3)、(j3+1, k3)、(j3, k3+1)及び(j3+1, k3+1)それぞれの画素値から、点(x, z)における画素値h2(x, z)が、次式（４）によって算出される。
ここで、h1(j3, k3)、h1(j3+1, k3)、h1 (j3, k3+1)及びh1 (j3+1, k3+1)は、それぞれ点(x, z)を囲む格子点(j3, k3)、(j3+1, k3)、(j3, k3+1)及び(j3+1, k3+1)における画素値、j3=[x]、r3=x−j3、k3=[z]、s3=z−k3である。この操作を全てのボクセルにつき順次行い、得られた画素値をそれぞれのボクセルに付することにより、第１の正規化三次元画像h2が得られる。これによって、第二次補間処理が完了し、ボクセルサイズ等正規化処理が完了する。
なお、第１の三次元画像が第２の三次元画像より大きい有効視野を有している場合には、第２の三次元画像について、上記ステップＳ２１〜ステップＳ２３と同様の処理を行えばよい。また、ボクセル正規化ステップにおいては、有効視野の大きな画像のボクセル数を、有効視野の小さい画像に合わせる処理を行ってもよい。例えば、第１の三次元画像の有効視野が第２の三次元画像の有効視野よりも小さい場合において、第２の三次元画像のボクセルサイズ及びボクセル数を、第１の三次元画像におけるボクセルサイズ及びボクセル数に合わせる処理を行うことができる。この場合において、変換後の第２の三次元画像の有効視野内に含まれる部位が、第１の三次元画像の有効視野に含まれる部位と、実質的に同様な部位となるように、第２の三次元画像を変換する必要がある。具体的には、マウス等の外部入力手段を用いて第２の三次元画像内で対象部位、即ち三次元関心領域を選択し、選択した対象部位につき線形補間処理を行うことにより、正規化処理を行うことができ、対象部位でのフュージョン画像の高速な生成が可能になる。
再び図１を参照する。本実施の形態の画像処理方法では、ボクセル正規化ステップに続いて、フュージョン画像生成ステップ（ステップＳ０４）が実行される。このフュージョン画像生成ステップでは、第１の正規化三次元画像と第２の正規化三次元画像の重ね合わせ処理を実行することによって、フュージョン画像が作成される。
この重ね合わせ処理は、相互情報量最大化法（Maes F. et al., IEEE Trans. Med. Imaging, (1997), 16(2),p.187-198）を用いて行われる。以下、相互情報量最大化法における画像の重ね合わせ処理について説明する。相互情報量最大化法とは、画像間の相互情報量が最大となる条件にて重ね合わせ画像を作成する方法である。図４は、図１に示すフュージョン画像生成ステップにおける処理の一例を示すフローチャートである。
具体的に、相互情報量最大化法では、図４に示すように、まず、与えられた座標変換パラメータにて第１の正規化三次元画像の座標変換が行われる（ステップＳ３１）。この座標変換パラメータには、画像の平行移動を行うためのパラメータ（Tx, Ty, Tz）及び画像の回転を行うためのパラメータ（θx, θy, θz）の合計6つのパラメータが用いられる。座標変換パラメータの初期値には、任意に選択した値を用いることができる。例えば、初期値として座標変換パラメータの全てを0に設定することができる。
次に、第２の正規化三次元画像、及び座標変換後の第１の正規化三次元画像を用いたフュージョン画像の相互情報量が計算される（ステップＳ３２）。この相互情報量I(A,Bnew)の値は、次式（５）〜（８）によって算出される。
ここで、I(A,Bnew)は相互情報量、H(A)、H(Bnew)及びH(A,Bnew)はそれぞれ、第２の正規化三次元画像のエントロピー、座標変換後の第１の正規化三次元画像のエントロピー、及び第２の正規化三次元画像と座標変換後の第１の正規化三次元画像との結合エントロピーである。NAiは第２の正規化三次元画像において画素値Aiを有するボクセルの数であり、NBiは座標変換後の第１の正規化三次元画像において画素値Biを有するボクセルの数である。NAiBiは、フュージョン画像において画素値Ai及びBiが同時に存在しているボクセルの数である。MA、MB及びMABはそれぞれ、第２の正規化三次元画像のボクセル数（マトリクスサイズ）、座標変換後の第１の正規化三次元画像ボクセル数（マトリクスサイズ）、フュージョン画像ボクセル数（マトリクスサイズ）である。
フュージョン画像生成ステップにおいては、かかる相互情報量の計算が、第１の正規化三次元画像に対する座標変換パラメータを更新させながら繰り返し（ステップＳ３４）実行され、相互情報量が最大となる条件が抽出される（ステップＳ３３）。そして、相互情報量が最大となる座標変換パラメータによって座標変換された第１の正規化三次元画像と、第２の正規化三次元画像とのフュージョン画像が生成される（ステップＳ３５）。
座標変換パラメータの更新及び最適化は、種々の公知のアルゴリズムを用いて行うことができる。例えば、シンプレックス法やパウエル法に代表される直接探索法、最急降下法（最大勾配法）や共役勾配法に代表される勾配法（山登り法）を用いて行うことができる（長尾智晴著、「最適化アルゴリズム」、初版、株式会社 昭晃堂、2000；Frederik Maes et al., IEEE Transactions on Medical Imaging, 1997, 16, 2, p.187-198）。
最適化アルゴリズムの一例として、最急降下法を以下に説明する。最急降下法では、まず、任意の座標変換パラメータ（Tx, Ty, Tz, θx, θy, θz）を用いて第１の正規化三次元画像を座標変換し、変換前の第１の正規化三次元画像を用いて算出された相互情報量と、変換後の第１の正規化三次元画像を用いて計算された相互情報量との間の変化率を求める。この計算を座標変換パラメータを種々変化させながら繰り返し、相互情報量の変化率が最大となる変換パラメータの組み合わせを抽出する。
次に、抽出された座標変換パラメータを用いて変換させた第１の正規化三次元画像を用いて計算した相互情報量と、異なる任意の座標変換パラメータを用いて変換させた第１の正規化三次元画像を用いて計算した相互情報量との間の変化率を求める。上記と同様の操作を行って相互情報量の変化率が最大値となるような変換パラメータ抽出し、第１の正規化三次元画像に再変換を行う。この操作を繰り返し実行し、最終的に相互情報量の変化率を0に収束させる。相互情報量の変化率を0に収束させる条件が、相互情報量を最大とするための変換条件（座標変換パラメータ）に相当する。この条件を用いて位置及び向きの変換を行った第１の正規化三次元画像と、第２の正規化三次元画像とを用いて、フュージョン画像が作成される。
次に、本発明の実施の形態に係る画像処理プログラムについて説明する。図５は、本発明の実施の形態に係る画像処理プログラムの構成を、記録媒体と共に示す図である。図５に示す画像処理プログラム１０は、記録媒体１００に格納されて提供される。記録媒体１００としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体あるいは半導体メモリ等が例示される。
図６は、記録媒体に記憶されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図７は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。図６に示すように、コンピュータ１１０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１１４と、記録媒体１００に記憶されたプログラムを記憶するメモリ１１６と、ディスプレイといった表示装置１１８と、入力装置であるマウス１２０及びキーボード１２２と、データ等の送受を行うための通信装置１２４と、プログラムの実行を制御するＣＰＵ１２６とを備えている。コンピュータ１１０は、記録媒体１００が読取装置１１２に挿入されると、読取装置１１２から記録媒体１００に格納された画像処理プログラム１０にアクセス可能になり、当該画像処理プログラム１０によって、本発明の一実施の形態に係る画像処理装置として動作することが可能になる。
図７に示すように、画像処理プログラム１０は、搬送波に重畳されたコンピュータデータ信号１３０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ１１０は、通信装置１２４によって受信した画像処理プログラム１０をメモリ１１６に格納し、当該画像処理プログラム１０を実行することができる。
図５に示すように、画像処理プログラム１０は、処理を統括するメインモジュール１１と、三次元原画像取得モジュール１２と、ボクセル形状変換モジュール１４と、ボクセル正規化モジュール１６と、フュージョン画像生成モジュール１８と、出力モジュール２０とを備えている。
三次元原画像取得モジュール１２は上記のステップＳ０１の処理をコンピュータに実行させ、ボクセル形状変換モジュール１４は上記のステップＳ０２の処理をコンピュータに実行させ、ボクセル正規化モジュール１６は上記のステップＳ０３の処理をコンピュータに実行させ、フュージョン画像生成モジュール１８は上記のステップＳ０４の処理をコンピュータに実行させる。また、出力モジュール２０は、得られたフュージョン画像を、ディスプレイといった表示装置に出力させる。好ましい実施態様において、フュージョン画像は、異なる断面の画像につき、複数のウインドウを用いて同時に表示される。この場合、一つのウインドウには冠状断像を表示し、他のウインドウには横断像を表示すると、より疾患部の位置情報が反映されるため好ましい。
次に、本発明の実施の形態に係る画像処理装置について説明する。図８は、本発明の実施の形態に画像処理装置の構成を示す図である。図８に示す画像処理装置３０は、機能的に、三次元原画像取得部３２と、ボクセル形状変換部３４と、ボクセル正規化部３６と、フュージョン画像生成部３８と、出力部４０とを備えている。
三次元原画像取得部３２は上記のステップＳ０１の処理を実行する部分であり、ボクセル形状変換部３４は上記のステップＳ０２の処理を実行する部分であり、ボクセル正規化部３６は上記のステップＳ０３の処理を実行する部分であり、フュージョン画像生成部３８は上記のステップＳ０４の処理を実行する部分である。また、出力部４０は、得られたフュージョン画像を、ディスプレイといった表示装置に出力する部分である。
かかる画像処理装置３０は、上述した画像処理プログラム１０に従って動作するコンピュータであることができる。また、画像処理装置３０は、三次元原画像取得部３２、ボクセル形状変換部３４、ボクセル正規化部３６、フュージョン画像生成部３８、及び出力部４０それぞれの処理を実行する専用回路から構成された装置であってもよい。
以下、実施例及び比較例に基づき本発明を更に具体的に説明するが、本発明は以下の実施例に何ら限定されるものではない。
（比較例１）
頭部ＦＤＧ ＰＥＴ画像（図９、マトリックス：128×128、スライス数：14スライス、ボクセルサイズ：2.00mm×2.00mm×6.50mm）を第１の三次元原画像とし、頭部ＭＲＩ画像（図１０、マトリックス：256×256、スライス数：99スライス、ボクセルサイズ：0.879mm×0.879mm×1.500mm）を第２の三次元原画像として用い、NEUROSTAT（ワシントン大学メディカルスクール、蓑島 聡教授より供給）に搭載されたCorege.exe ver.5プログラムを使用し、相互情報量最大化法（Cost Function 5）を用いてフュージョン画像を作成した。即ち、ボクセル形状変換、及びボクセル正規化を行わずに、相互情報量最大化法のみによってフュージョン画像を生成した。Corege.exe ver.5プログラムにおける各種設定パラメータは、以下の値を用いた。
Cost Function := 5
Cortical Threshold(%):= 0.100000
Offset in Iteration (Phase 1):= 20.000000
MI Bins:= 16
Create Realigned image (0=no, 1=yes):= 1
Create Subtraction image (0=no, 1=yes):= 0
Normalization Mode (0-2):= 0
Pixel Scaling Factor for binary output (0.0=normalized to max; 1.0=fixed; or exact):= 1.000000
Pixel Value to Indicate Out of Field-of-View := 0.000000
頭部ＦＤＧ ＰＥＴ画像（図９、マトリックス：128×128、スライス数：14スライス、ボクセルサイズ：2.00mm×2.00mm×6.50mm）を第１の三次元原画像とし、頭部ＭＲＩ画像（図１０、マトリックス：256×256、スライス数：99スライス、ボクセルサイズ：0.879mm×0.879mm×1.500mm）を第２の三次元原画像として用い、NEUROSTAT（ワシントン大学メディカルスクール、蓑島 聡教授より供給）に搭載されたCorege.exe ver.5プログラムを使用し、相互情報量最大化法（Cost Function 5）を用いてフュージョン画像を作成した。即ち、ボクセル形状変換、及びボクセル正規化を行わずに、相互情報量最大化法のみによってフュージョン画像を生成した。Corege.exe ver.5プログラムにおける各種設定パラメータは、以下の値を用いた。
Cost Function := 5
Cortical Threshold(%):= 0.100000
Offset in Iteration (Phase 1):= 20.000000
MI Bins:= 16
Create Realigned image (0=no, 1=yes):= 1
Create Subtraction image (0=no, 1=yes):= 0
Normalization Mode (0-2):= 0
Pixel Scaling Factor for binary output (0.0=normalized to max; 1.0=fixed; or exact):= 1.000000
Pixel Value to Indicate Out of Field-of-View := 0.000000
作成したフュージョン画像を図１１に示す。図１１においては、フュージョン画像における複数断面の画像を、複数のウインドウを用いて表示している。図１１に示すように、作成されたフュージョン画像における重ね合わせ精度は良好とはいえず、各断面において一対の画像が互いにずれて重ねあわされた画像となっていた。
（実施例１）
比較例１に用いた第１の三次元原画像及び第２の三次元原画像を用い、以下の要領でフュージョン画像を作成した。
まず、第２の三次元原画像（ＭＲＩ画像）につき、スライス方向（すなわちｚ軸方向）に補間処理を行い、マトリックス：256×256、スライス数：167スライス、ボクセルサイズ：0.879mm×0.879mm×0.879mmの画像への変換を行って、第２の三次元画像を得た。また、第１の三次元原画像をそのまま第１の三次元画像とした。
次に、第１の三次元画像（ＰＥＴ画像）の横断面につき補間処理を行って、マトリックス：256×256、ピクセルサイズ：0.879mm×0.879mmへの変換を行った。次いで、z軸方向に補間処理を行うことにより、マトリックス：256×256、スライス数：167スライス、ボクセルサイズ：0.879mm×0.879mm×0.879mmの画像への変換を行って、第１の正規化三次元画像を得た。また、第２の三次元画像を、そのまま第２の正規化三次元画像とした。
第１の正規化三次元画像及び第２の正規化三次元画像を用い、NEUROSTAT（ワシントン大学メディカルスクール、蓑島 聡教授より供給）に搭載されたCorege.exe ver.5プログラムを使用し、相互情報量最大化法（Cost Function 5）を用いてフュージョン画像を作成した。Corege.exe ver.5プログラムにおける各種設定パラメータは、比較例１と同様の値を用いた。
作成したフュージョン画像を図１２に示す。図１２においては、フュージョン画像における複数断面の画像を、複数のウインドウを用いて表示している。図１２に示すように、得られたフュージョン画像における重ね合わせ精度は良好であり、本発明に係る処理によって、良好なフュージョン画像を自動的に作成し得ることが確認された。
比較例１に用いた第１の三次元原画像及び第２の三次元原画像を用い、以下の要領でフュージョン画像を作成した。
まず、第２の三次元原画像（ＭＲＩ画像）につき、スライス方向（すなわちｚ軸方向）に補間処理を行い、マトリックス：256×256、スライス数：167スライス、ボクセルサイズ：0.879mm×0.879mm×0.879mmの画像への変換を行って、第２の三次元画像を得た。また、第１の三次元原画像をそのまま第１の三次元画像とした。
次に、第１の三次元画像（ＰＥＴ画像）の横断面につき補間処理を行って、マトリックス：256×256、ピクセルサイズ：0.879mm×0.879mmへの変換を行った。次いで、z軸方向に補間処理を行うことにより、マトリックス：256×256、スライス数：167スライス、ボクセルサイズ：0.879mm×0.879mm×0.879mmの画像への変換を行って、第１の正規化三次元画像を得た。また、第２の三次元画像を、そのまま第２の正規化三次元画像とした。
第１の正規化三次元画像及び第２の正規化三次元画像を用い、NEUROSTAT（ワシントン大学メディカルスクール、蓑島 聡教授より供給）に搭載されたCorege.exe ver.5プログラムを使用し、相互情報量最大化法（Cost Function 5）を用いてフュージョン画像を作成した。Corege.exe ver.5プログラムにおける各種設定パラメータは、比較例１と同様の値を用いた。
作成したフュージョン画像を図１２に示す。図１２においては、フュージョン画像における複数断面の画像を、複数のウインドウを用いて表示している。図１２に示すように、得られたフュージョン画像における重ね合わせ精度は良好であり、本発明に係る処理によって、良好なフュージョン画像を自動的に作成し得ることが確認された。
（比較例２）
胸部ＦＤＧ ＰＥＴ画像（図１３、マトリックス：128×128、スライス数：136スライス、ボクセルサイズ：4.29mm×4.29mm×4.29mm）を第１の三次元原画像とし、胸部ＣＴ画像（図１４、マトリックス：256×256、スライス数：81スライス、ボクセルサイズ：1.875mm×1.875mm×5.000mm）を第２の三次元原画像として用い、NEUROSTAT（ワシントン大学メディカルスクール、蓑島 聡教授より供給）に搭載されたCorege.exe ver.5プログラムを使用し、相互情報量最大化法（Cost Function 5）を用いてフュージョン画像を作成した。即ち、ボクセル形状変換、及びボクセル正規化を行わずに、相互情報量最大化法のみによってフュージョン画像を生成した。Corege.exe ver.5プログラムにおける各種設定パラメータは、比較例１と同様の値を用いた。
作成したフュージョン画像を図１５に示す。図１５においては、フュージョン画像における複数断面の画像を、複数のウインドウを用いて表示している。図１５に示すように、作成されたフュージョン画像における重ね合わせ精度は良好とはいえず、各断面において一対の画像が互いにずれて重ねあわされた画像となっていた。
胸部ＦＤＧ ＰＥＴ画像（図１３、マトリックス：128×128、スライス数：136スライス、ボクセルサイズ：4.29mm×4.29mm×4.29mm）を第１の三次元原画像とし、胸部ＣＴ画像（図１４、マトリックス：256×256、スライス数：81スライス、ボクセルサイズ：1.875mm×1.875mm×5.000mm）を第２の三次元原画像として用い、NEUROSTAT（ワシントン大学メディカルスクール、蓑島 聡教授より供給）に搭載されたCorege.exe ver.5プログラムを使用し、相互情報量最大化法（Cost Function 5）を用いてフュージョン画像を作成した。即ち、ボクセル形状変換、及びボクセル正規化を行わずに、相互情報量最大化法のみによってフュージョン画像を生成した。Corege.exe ver.5プログラムにおける各種設定パラメータは、比較例１と同様の値を用いた。
作成したフュージョン画像を図１５に示す。図１５においては、フュージョン画像における複数断面の画像を、複数のウインドウを用いて表示している。図１５に示すように、作成されたフュージョン画像における重ね合わせ精度は良好とはいえず、各断面において一対の画像が互いにずれて重ねあわされた画像となっていた。
（実施例２）
比較例２に用いた第１の三次元原画像及び第２の三次元原画像を用い、以下の要領でフュージョン画像を作成した。
まず、第２の三次元原画像（ＣＴ画像）につき、スライス方向（すなわちｚ軸方向）に補間処理を行い、マトリックス：256×256、スライス数：312スライス、ボクセルサイズ：1.875mm×1.875mm×1.875mmの画像への変換を行って、第２の三次元画像を得た。また、第１の三次元原画像をそのまま第１の三次元画像とした。
次に、第１の三次元画像（ＰＥＴ画像）の横断面につき補間処理を行って、マトリックス：256×256、ピクセルサイズ：1.875mm×1.875mmへの変換を行った。次いで、ｚ軸方向に補間処理を行うことにより、マトリックス：256×256、スライス数：312スライス、ボクセルサイズ：1.875mm×1.875mm×1.875mmの画像への変換を行って、第１の正規化三次元画像を得た。また、第２の三次元画像を、そのまま第２の正規化三次元画像とした。
第１の正規化三次元画像及び第２の正規化三次元画像を用い、NEUROSTAT（ワシントン大学メディカルスクール、蓑島 聡教授より供給）に搭載されたCorege.exe ver.5プログラムを使用し、相互情報量最大化法（Cost Function 5）を用いてフュージョン画像を作成した。Corege.exe ver.5プログラムにおける各種設定パラメータは、比較例１と同様の値を用いた。
作成したフュージョン画像を図１６に示す。図１６においては、フュージョン画像における複数断面の画像を、複数のウインドウを用いて表示している。図１６に示すように、得られたフュージョン画像における重ね合わせ精度は良好であり、得られたフュージョン画像における重ね合わせ精度は良好であり、本発明に係る処理によって、良好なフュージョン画像を自動的に作成し得ることが確認された。
比較例２に用いた第１の三次元原画像及び第２の三次元原画像を用い、以下の要領でフュージョン画像を作成した。
まず、第２の三次元原画像（ＣＴ画像）につき、スライス方向（すなわちｚ軸方向）に補間処理を行い、マトリックス：256×256、スライス数：312スライス、ボクセルサイズ：1.875mm×1.875mm×1.875mmの画像への変換を行って、第２の三次元画像を得た。また、第１の三次元原画像をそのまま第１の三次元画像とした。
次に、第１の三次元画像（ＰＥＴ画像）の横断面につき補間処理を行って、マトリックス：256×256、ピクセルサイズ：1.875mm×1.875mmへの変換を行った。次いで、ｚ軸方向に補間処理を行うことにより、マトリックス：256×256、スライス数：312スライス、ボクセルサイズ：1.875mm×1.875mm×1.875mmの画像への変換を行って、第１の正規化三次元画像を得た。また、第２の三次元画像を、そのまま第２の正規化三次元画像とした。
第１の正規化三次元画像及び第２の正規化三次元画像を用い、NEUROSTAT（ワシントン大学メディカルスクール、蓑島 聡教授より供給）に搭載されたCorege.exe ver.5プログラムを使用し、相互情報量最大化法（Cost Function 5）を用いてフュージョン画像を作成した。Corege.exe ver.5プログラムにおける各種設定パラメータは、比較例１と同様の値を用いた。
作成したフュージョン画像を図１６に示す。図１６においては、フュージョン画像における複数断面の画像を、複数のウインドウを用いて表示している。図１６に示すように、得られたフュージョン画像における重ね合わせ精度は良好であり、得られたフュージョン画像における重ね合わせ精度は良好であり、本発明に係る処理によって、良好なフュージョン画像を自動的に作成し得ることが確認された。
本発明は、フュージョン画像を自動且つ精度良く作成するために有用であり、画像診断装置の分野において利用できる。
Claims (15)
- 被験者の任意の部位から得られる複数の第１の断層像に基づく第１の三次元画像及び前記部位から得られる複数の第２の断層像に基づく第２の三次元画像の少なくとも一方について画素補間処理を行うことにより、前記第１及び第２の三次元画像のボクセルサイズを揃えると共に、前記第１及び第２の三次元画像のうち有効視野の小さい画像につき、有効視野外にNULLコードを有するボクセルを付加することにより、それぞれボクセルサイズ及び有効視野の等しい、前記第１の三次元画像に対応の第１の正規化三次元画像及び前記第２の三次元画像に対応の第２の正規化三次元画像を生成するボクセル正規化ステップと、
前記第１の正規化三次元画像及び前記第２の正規化三次元画像を用いて、フュージョン画像を生成するフュージョン画像生成ステップと、
を含む、画像処理方法。 - 前記画素補間処理は線形補間法によって行われる、請求項１記載の画像処理方法。
- 前記複数の第１の断層像からなる第１の三次元原画像のボクセルを立方体形状のボクセルに変換して前記第１の三次元画像を生成すること、及び、前記複数の第２の断層像からなる第２の三次元原画像の立方体形状のボクセルに変換して前記第２の三次元画像を生成すること、の少なくとも一方を含むボクセル形状変換ステップを、更に含む、請求項１又は２に記載の画像処理方法。
- 前記ボクセル形状変換ステップにおいて、線形補間法によって、前記第１の三次元画像及び前記第２の三次元画像を生成する、請求項３記載の画像処理方法。
- 前記フュージョン画像生成ステップにおいて、前記フュージョン画像を、相互情報量最大化法によって生成する、請求項１〜４のいずれか一項記載の画像処理方法。
- コンピュータに、
被験者の任意の部位から得られる複数の第１の断層像に基づく第１の三次元画像及び前記部位から得られる複数の第２の断層像に基づく第２の三次元画像の少なくとも一方について画素補間処理を行うことにより、前記第１及び第２の三次元画像のボクセルサイズを揃えると共に、前記第１及び第２の三次元画像のうち有効視野の小さい画像につき、有効視野外にNULLコードを有するボクセルを付加することにより、それぞれボクセルサイズ及びボクセル数の等しい、前記第１の三次元画像に対応の第１の正規化三次元画像及び前記第２の三次元画像に対応の第２の正規化三次元画像を生成するボクセル正規化ステップと、
前記第１の正規化三次元画像及び前記第２の正規化三次元画像を用いて、フュージョン画像を生成するフュージョン画像生成ステップと、
を実行させる画像処理プログラム。 - 前記画素補間処理は形補間法によって行われる、請求項６記載の画像処理プログラム。
- コンピュータに、
前記複数の第１の断層像からなる第１の三次元原画像のボクセルを立方体形状のボクセルに変換して前記第１の三次元画像を生成すること、及び、前記複数の第２の断層像からなる第２の三次元原画像の立方体形状のボクセルに変換して前記第２の三次元画像を生成すること、の少なくとも一方を含むボクセル形状変換ステップを、
更に実行させる、請求項６又は７に記載の画像処理プログラム。 - 前記ボクセル形状変換ステップにおいて、コンピュータに、線形補間法によって、前記第１の三次元画像及び前記第２の三次元画像を生成させる、請求項８記載の画像処理プログラム。
- 前記フュージョン画像生成ステップにおいて、コンピュータに、前記フュージョン画像を、相互情報量最大化法によって生成させる、請求項６〜９のいずれか一項記載の画像処理プログラム。
- 被験者の任意の部位から得られる複数の第１の断層像に基づく第１の三次元画像及び前記部位から得られる複数の第２の断層像に基づく第２の三次元画像の少なくとも一方について画素補間処理を行うことにより、前記第１及び第２の三次元画像のボクセルサイズを揃えると共に、前記第１及び第２の三次元画像のうち有効視野の小さい画像につき、有効視野外にNULLコードを有するボクセルを付加することにより、それぞれボクセルサイズ及び有効視野の等しい、前記第１の三次元画像に対応の第１の正規化三次元画像及び前記第２の三次元画像に対応の第２の正規化三次元画像を生成するボクセル正規化手段と、
前記第１の正規化三次元画像及び前記第２の正規化三次元画像を用いて、フュージョン画像を生成するフュージョン画像生成手段と、
を備える画像処理装置。 - 前記画素補間処理は線形補間法によって行われる、請求項１１記載の画像処理装置。
- 前記複数の第１の断層像からなる第１の三次元原画像のボクセルを立方体形状のボクセルに変換して前記第１の三次元画像を生成すること、及び、前記複数の第２の断層像からなる第２の三次元原画像の立方体形状のボクセルに変換して前記第２の三次元画像を生成すること、の少なくとも一方を実行するように構成されるボクセル形状変換手段を、更に備える、請求項１１又は１２に記載の画像処理装置。
- 前記ボクセル形状変換手段は、線形補間法によって、前記第１の三次元画像及び前記第２の三次元画像を生成する、請求項１３記載の画像処理装置。
- 前記フュージョン画像生成手段は、前記フュージョン画像を、相互情報量最大化法によって生成する、請求項１１〜１４のいずれか一項記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007532076A JP4879901B2 (ja) | 2005-08-23 | 2006-08-17 | 画像処理方法、画像処理プログラム、及び画像処理装置 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005241624 | 2005-08-23 | ||
| JP2005241624 | 2005-08-23 | ||
| PCT/JP2006/316147 WO2007023723A1 (ja) | 2005-08-23 | 2006-08-17 | 画像処理方法、画像処理プログラム、及び画像処理装置 |
| JP2007532076A JP4879901B2 (ja) | 2005-08-23 | 2006-08-17 | 画像処理方法、画像処理プログラム、及び画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2007023723A1 JPWO2007023723A1 (ja) | 2009-02-26 |
| JP4879901B2 true JP4879901B2 (ja) | 2012-02-22 |
Family
ID=37771471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007532076A Active JP4879901B2 (ja) | 2005-08-23 | 2006-08-17 | 画像処理方法、画像処理プログラム、及び画像処理装置 |
Country Status (12)
| Country | Link |
|---|---|
| US (1) | US8126243B2 (ja) |
| EP (1) | EP1926053A4 (ja) |
| JP (1) | JP4879901B2 (ja) |
| KR (1) | KR20080042140A (ja) |
| CN (1) | CN101248461A (ja) |
| AU (1) | AU2006282500A1 (ja) |
| CA (1) | CA2620216A1 (ja) |
| IL (1) | IL189660A0 (ja) |
| NO (1) | NO20081344L (ja) |
| RU (1) | RU2008110951A (ja) |
| TW (1) | TW200729075A (ja) |
| WO (1) | WO2007023723A1 (ja) |
Families Citing this family (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8189962B2 (en) * | 2006-12-19 | 2012-05-29 | Hitachi Kokusai Electric Inc. | Image processing apparatus |
| JP2008306512A (ja) * | 2007-06-08 | 2008-12-18 | Nec Corp | 情報提供システム |
| US9674458B2 (en) | 2009-06-03 | 2017-06-06 | Flir Systems, Inc. | Smart surveillance camera systems and methods |
| US9235876B2 (en) | 2009-03-02 | 2016-01-12 | Flir Systems, Inc. | Row and column noise reduction in thermal images |
| US10757308B2 (en) | 2009-03-02 | 2020-08-25 | Flir Systems, Inc. | Techniques for device attachment with dual band imaging sensor |
| WO2012170949A2 (en) | 2011-06-10 | 2012-12-13 | Flir Systems, Inc. | Non-uniformity correction techniques for infrared imaging devices |
| US9756264B2 (en) | 2009-03-02 | 2017-09-05 | Flir Systems, Inc. | Anomalous pixel detection |
| US9208542B2 (en) | 2009-03-02 | 2015-12-08 | Flir Systems, Inc. | Pixel-wise noise reduction in thermal images |
| US9948872B2 (en) | 2009-03-02 | 2018-04-17 | Flir Systems, Inc. | Monitor and control systems and methods for occupant safety and energy efficiency of structures |
| US9451183B2 (en) | 2009-03-02 | 2016-09-20 | Flir Systems, Inc. | Time spaced infrared image enhancement |
| US9843742B2 (en) | 2009-03-02 | 2017-12-12 | Flir Systems, Inc. | Thermal image frame capture using de-aligned sensor array |
| US9473681B2 (en) | 2011-06-10 | 2016-10-18 | Flir Systems, Inc. | Infrared camera system housing with metalized surface |
| US9998697B2 (en) | 2009-03-02 | 2018-06-12 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
| US9986175B2 (en) | 2009-03-02 | 2018-05-29 | Flir Systems, Inc. | Device attachment with infrared imaging sensor |
| USD765081S1 (en) | 2012-05-25 | 2016-08-30 | Flir Systems, Inc. | Mobile communications device attachment with camera |
| US10244190B2 (en) | 2009-03-02 | 2019-03-26 | Flir Systems, Inc. | Compact multi-spectrum imaging with fusion |
| US9517679B2 (en) | 2009-03-02 | 2016-12-13 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
| US9635285B2 (en) | 2009-03-02 | 2017-04-25 | Flir Systems, Inc. | Infrared imaging enhancement with fusion |
| US9843743B2 (en) | 2009-06-03 | 2017-12-12 | Flir Systems, Inc. | Infant monitoring systems and methods using thermal imaging |
| US9819880B2 (en) | 2009-06-03 | 2017-11-14 | Flir Systems, Inc. | Systems and methods of suppressing sky regions in images |
| US9292909B2 (en) | 2009-06-03 | 2016-03-22 | Flir Systems, Inc. | Selective image correction for infrared imaging devices |
| US9716843B2 (en) | 2009-06-03 | 2017-07-25 | Flir Systems, Inc. | Measurement device for electrical installations and related methods |
| US9756262B2 (en) | 2009-06-03 | 2017-09-05 | Flir Systems, Inc. | Systems and methods for monitoring power systems |
| US10091439B2 (en) | 2009-06-03 | 2018-10-02 | Flir Systems, Inc. | Imager with array of multiple infrared imaging modules |
| WO2011025943A2 (en) * | 2009-08-28 | 2011-03-03 | Dartmouth College | System and method for providing patient registration without fiducials |
| US9207708B2 (en) | 2010-04-23 | 2015-12-08 | Flir Systems, Inc. | Abnormal clock rate detection in imaging sensor arrays |
| US9848134B2 (en) | 2010-04-23 | 2017-12-19 | Flir Systems, Inc. | Infrared imager with integrated metal layers |
| US9706138B2 (en) | 2010-04-23 | 2017-07-11 | Flir Systems, Inc. | Hybrid infrared sensor array having heterogeneous infrared sensors |
| WO2012068042A2 (en) | 2010-11-15 | 2012-05-24 | Dartmouth College | System and method for registering ultrasound and magnetic resonance images |
| US9235023B2 (en) | 2011-06-10 | 2016-01-12 | Flir Systems, Inc. | Variable lens sleeve spacer |
| US10169666B2 (en) | 2011-06-10 | 2019-01-01 | Flir Systems, Inc. | Image-assisted remote control vehicle systems and methods |
| US10389953B2 (en) | 2011-06-10 | 2019-08-20 | Flir Systems, Inc. | Infrared imaging device having a shutter |
| EP2719166B1 (en) | 2011-06-10 | 2018-03-28 | Flir Systems, Inc. | Line based image processing and flexible memory system |
| US10079982B2 (en) | 2011-06-10 | 2018-09-18 | Flir Systems, Inc. | Determination of an absolute radiometric value using blocked infrared sensors |
| CN103748867B (zh) | 2011-06-10 | 2019-01-18 | 菲力尔系统公司 | 低功耗和小形状因子红外成像 |
| US10051210B2 (en) | 2011-06-10 | 2018-08-14 | Flir Systems, Inc. | Infrared detector array with selectable pixel binning systems and methods |
| US9706137B2 (en) | 2011-06-10 | 2017-07-11 | Flir Systems, Inc. | Electrical cabinet infrared monitor |
| US9143703B2 (en) | 2011-06-10 | 2015-09-22 | Flir Systems, Inc. | Infrared camera calibration techniques |
| US9058653B1 (en) | 2011-06-10 | 2015-06-16 | Flir Systems, Inc. | Alignment of visible light sources based on thermal images |
| US9900526B2 (en) | 2011-06-10 | 2018-02-20 | Flir Systems, Inc. | Techniques to compensate for calibration drifts in infrared imaging devices |
| US9961277B2 (en) | 2011-06-10 | 2018-05-01 | Flir Systems, Inc. | Infrared focal plane array heat spreaders |
| US10841508B2 (en) | 2011-06-10 | 2020-11-17 | Flir Systems, Inc. | Electrical cabinet infrared monitor systems and methods |
| US9509924B2 (en) | 2011-06-10 | 2016-11-29 | Flir Systems, Inc. | Wearable apparatus with integrated infrared imaging module |
| US9811884B2 (en) | 2012-07-16 | 2017-11-07 | Flir Systems, Inc. | Methods and systems for suppressing atmospheric turbulence in images |
| US9552533B2 (en) * | 2013-03-05 | 2017-01-24 | Toshiba Medical Systems Corporation | Image registration apparatus and method |
| US9684674B2 (en) * | 2013-04-02 | 2017-06-20 | Blackford Analysis Limited | Image data processing |
| US9973692B2 (en) | 2013-10-03 | 2018-05-15 | Flir Systems, Inc. | Situational awareness by compressed display of panoramic views |
| US11297264B2 (en) | 2014-01-05 | 2022-04-05 | Teledyne Fur, Llc | Device attachment with dual band imaging sensor |
| JP5689205B1 (ja) * | 2014-11-21 | 2015-03-25 | 日本メジフィジックス株式会社 | 頭部核医学画像の評価法 |
| JP6092336B1 (ja) * | 2015-09-28 | 2017-03-08 | 国立大学法人 筑波大学 | 画像処理システム、画像処理方法及び画像処理プログラム |
| JP2017080161A (ja) | 2015-10-29 | 2017-05-18 | 住友重機械工業株式会社 | 中性子捕捉療法システム |
| KR101923183B1 (ko) * | 2016-12-14 | 2018-11-28 | 삼성전자주식회사 | 의료 영상 표시 방법 및 의료 영상 표시 장치 |
| EP3684463A4 (en) | 2017-09-19 | 2021-06-23 | Neuroenhancement Lab, LLC | NEURO-ACTIVATION PROCESS AND APPARATUS |
| US11717686B2 (en) | 2017-12-04 | 2023-08-08 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to facilitate learning and performance |
| US11318277B2 (en) | 2017-12-31 | 2022-05-03 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to enhance emotional response |
| US11364361B2 (en) | 2018-04-20 | 2022-06-21 | Neuroenhancement Lab, LLC | System and method for inducing sleep by transplanting mental states |
| CA3112564A1 (en) | 2018-09-14 | 2020-03-19 | Neuroenhancement Lab, LLC | System and method of improving sleep |
| CN110146880B (zh) * | 2019-06-06 | 2021-06-08 | 深圳市重投华讯太赫兹科技有限公司 | 成像方法、终端设备以及计算机存储介质 |
| CN111429571B (zh) * | 2020-04-15 | 2023-04-07 | 四川大学 | 一种基于时空图像信息联合相关的快速立体匹配方法 |
| US11494955B2 (en) * | 2020-06-10 | 2022-11-08 | Siemens Medical Solutions Usa, Inc. | Data driven reconstruction in emission tomography |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000040145A (ja) * | 1998-07-23 | 2000-02-08 | Godai Kk | 画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体 |
| JP2004508856A (ja) * | 2000-09-15 | 2004-03-25 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 尤度最大化を利用した画像位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）システム及び方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6904163B1 (en) * | 1999-03-19 | 2005-06-07 | Nippon Telegraph And Telephone Corporation | Tomographic image reading method, automatic alignment method, apparatus and computer readable medium |
-
2006
- 2006-02-21 US US12/064,430 patent/US8126243B2/en not_active Expired - Fee Related
- 2006-08-17 WO PCT/JP2006/316147 patent/WO2007023723A1/ja active Application Filing
- 2006-08-17 CA CA002620216A patent/CA2620216A1/en not_active Abandoned
- 2006-08-17 JP JP2007532076A patent/JP4879901B2/ja active Active
- 2006-08-17 EP EP06796504A patent/EP1926053A4/en not_active Withdrawn
- 2006-08-17 AU AU2006282500A patent/AU2006282500A1/en not_active Abandoned
- 2006-08-17 RU RU2008110951/09A patent/RU2008110951A/ru not_active Application Discontinuation
- 2006-08-17 CN CNA2006800310815A patent/CN101248461A/zh active Pending
- 2006-08-17 KR KR1020087006939A patent/KR20080042140A/ko not_active Application Discontinuation
- 2006-08-22 TW TW095130883A patent/TW200729075A/zh unknown
-
2008
- 2008-02-21 IL IL189660A patent/IL189660A0/en unknown
- 2008-03-13 NO NO20081344A patent/NO20081344L/no not_active Application Discontinuation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000040145A (ja) * | 1998-07-23 | 2000-02-08 | Godai Kk | 画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体 |
| JP2004508856A (ja) * | 2000-09-15 | 2004-03-25 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 尤度最大化を利用した画像位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）システム及び方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2620216A1 (en) | 2007-03-01 |
| KR20080042140A (ko) | 2008-05-14 |
| EP1926053A4 (en) | 2011-08-10 |
| EP1926053A1 (en) | 2008-05-28 |
| AU2006282500A1 (en) | 2007-03-01 |
| RU2008110951A (ru) | 2009-09-27 |
| AU2006282500A2 (en) | 2008-07-03 |
| NO20081344L (no) | 2008-05-23 |
| WO2007023723A1 (ja) | 2007-03-01 |
| CN101248461A (zh) | 2008-08-20 |
| US8126243B2 (en) | 2012-02-28 |
| JPWO2007023723A1 (ja) | 2009-02-26 |
| IL189660A0 (en) | 2008-06-05 |
| TW200729075A (en) | 2007-08-01 |
| US20090148019A1 (en) | 2009-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4879901B2 (ja) | 画像処理方法、画像処理プログラム、及び画像処理装置 | |
| US8532352B2 (en) | Method and system for intraoperative guidance using physiological image fusion | |
| JP5584006B2 (ja) | 投影画像生成装置、投影画像生成プログラムおよび投影画像生成方法 | |
| JP6316671B2 (ja) | 医療画像処理装置および医用画像処理プログラム | |
| JP5404277B2 (ja) | 医用画像データ位置合せ装置、方法およびプログラム | |
| US10803354B2 (en) | Cross-modality image synthesis | |
| US20090180675A1 (en) | System and method for image based multiple-modality cardiac image alignment | |
| JP6768862B2 (ja) | 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム | |
| JP5934071B2 (ja) | 管状構造の最短経路探索装置および方法並びにプログラム | |
| US20190197762A1 (en) | Cpr image generation apparatus, method, and program | |
| EP2960870B1 (en) | A visualization method for a human skeleton from a medical scan | |
| KR101479577B1 (ko) | 심근 및 심혈관 정보의 통합 분석 방법 | |
| JP4807819B2 (ja) | 画像処理装置 | |
| WO2022163513A1 (ja) | 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置 | |
| JP6734111B2 (ja) | 所見情報作成装置及びシステム | |
| US20110242096A1 (en) | Anatomy diagram generation method and apparatus, and medium storing program | |
| JP2019500114A (ja) | 位置合わせ精度の決定 | |
| JP5068334B2 (ja) | 医用画像変換装置および方法並びにプログラム | |
| Cui et al. | A general framework in single and multi-modality registration for lung imaging analysis using statistical prior shapes | |
| JP5159195B2 (ja) | 医用画像処理装置 | |
| Faliagka et al. | Registration and fusion techniques for medical images: Demonstration and evaluation | |
| US20240127578A1 (en) | Image processing device, correct answer data generation device, similar image search device, image processing method, and program | |
| Chen et al. | Neural Implicit Surface Reconstruction for Freehand 3D Ultrasound Volumetric Point Clouds with Geometric Constraints | |
| Sun | A Review of 3D-2D Registration Methods and Applications based on Medical Images | |
| US20220207740A1 (en) | Comparison of a region of interest along a time series of images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090401 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20091218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111011 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111024 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111118 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111130 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4879901 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141209 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |