JP4099357B2 - 画像処理方法および装置 - Google Patents
画像処理方法および装置 Download PDFInfo
- Publication number
- JP4099357B2 JP4099357B2 JP2002198645A JP2002198645A JP4099357B2 JP 4099357 B2 JP4099357 B2 JP 4099357B2 JP 2002198645 A JP2002198645 A JP 2002198645A JP 2002198645 A JP2002198645 A JP 2002198645A JP 4099357 B2 JP4099357 B2 JP 4099357B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- candidate
- reference image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 10
- 230000009466 transformation Effects 0.000 claims description 22
- 238000001228 spectrum Methods 0.000 claims description 10
- 238000001033 granulometry Methods 0.000 claims description 9
- 230000005484 gravity Effects 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 8
- 238000002591 computed tomography Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000002600 positron emission tomography Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000007177 brain activity Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法および装置に関し、とくに、複数の画像の中から所定の条件に合致する画像を抽出する方法および装置に関する。
【０００２】
【従来の技術】
医用画像は患者の病状の診断等に重用される。医用画像はそれを撮影する装置の種類に応じてそれぞれ独特の情報を持つので、診断の目的に応じて適宜の種類の撮影装置で撮影した医用画像が用いられる。
【０００３】
多面的な情報に基づいてより的確な診断を行うために、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置、ＰＥＴ（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）装置あるいはＳＰＥＣＴ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ｅｍｉｓｓｉｏｎ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置等、種類の異なる複数の撮影装置で撮影した複数種類の医用画像が併用される。
【０００４】
例えば、Ｘ線ＣＴ装置およびＰＥＴ装置によって同一患者の同一部位をそれぞれ撮影し、脳実質の構造を示すＸ線ＣＴ装置の画像と脳の活動状態を示すＰＥＴ装置の画像とを用いて、患部の構造および機能の両面から診断することが行われる。その際、構造と機能の同時把握を容易にするために、両画像を重ね合わせた合成画像が利用される。
【０００５】
そのような合成画像を作成するために、２つの画像の位置合わせが行われる。位置合わせはレジストレーション（ｒｅｇｉｓｔｒａｔｉｏｎ）とも呼ばれる。レジストレーションはコンピュータ（ｃｏｍｐｕｔｅｒ）によって行われる。
【０００６】
レジストレーションには、例えば、文献Ｗ．Ｍ．Ｗｅｌｌｓ ＩＩＩ ｅｔ ａｌ．， Ｍｕｌｔｉ−Ｍｏｄａｌ Ｖｏｌｕｍｅ Ｒｅｇｉｓｔｒａｔｉｏｎｂｙ Ｍａｘｉｍｉｚａｔｉｏｎ ｏｆ Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ， ｈｔｔｐ／／ｓｐｌｗｅｂ．ｂｗｈ．ｈａｒｖａｒｄ．ｅｄｕ：８０００／ｐａｇｅｓ／ｐａｐｅｒｓ／ｓｗｅｌｌｓ／ｍｉａ−ｈｔｍｌ／ｍｉａ．ｈｔｍｌに記載の技法が用いられる。
【０００７】
概説すれば、レジストレーションは、参照画像ｕ（ｘ）と候補画像ｖ（ｘ）について、両者のミューチャルインフォメーション（Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ）を最大にするトランスフォーメーション（Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を求めることによって行われる。すなわち、
【０００８】
【数１】
【０００９】
ここで、Ｔは、候補画像の座標系から参照画像の座標系へのトランスフォーメーションである。また、
【００１０】
【数２】
【００１１】
はミューチャルインフォメーションであり、
【００１２】
【数３】
【００１３】
で与えられる。なお、ｈ（・）はエントロピー（ｅｎｔｒｏｐｙ）であり、
【００１４】
【数４】
【００１５】
【数５】
【００１６】
で与えられる。
【００１７】
【発明が解決しようとする課題】
上記の技法によるレジストレーションは、２つの画像が同一部分を撮影したものであることが予め判明している場合には有効であるが、そうでない場合は、たとえミューチャルインフォメーションが最大になるトランスフォーメーションが得られたとしても、意味のあるレジストレーションになるとは限らない。
【００１８】
そこで、本発明の課題は、複数の候補画像の中から参照画像に最も近い画像を抽出する方法および装置を実現することである。
【００２０】
【課題を解決するための手段】
（１）上記の課題を解決するためのひとつの観点での発明は、グラニュロメトリを利用して複数の画像の中から参照画像に類似する複数の候補画像を抽出し、前記複数の候補画像を前記参照画像に合わせてそれぞれトランスフォーメーションし、前記トランスフォーメーション済みの各候補画像について前記参照画像とのミューチャルインフォメーションをそれぞれ計算し、前記複数の候補画像のうち前記ミューチャルインフォメーションが最大となるものを選択する、ことを特徴とする画像処理方法である。
【００２１】
（２）上記の課題を解決するための他の観点での発明は、グラニュロメトリを利用して複数の画像の中から参照画像に類似する複数の候補画像を抽出する抽出手段と、前記複数の候補画像を前記参照画像に合わせてそれぞれトランスフォーメーションするトランスフォーメーション手段と、前記トランスフォーメーション済みの各候補画像について前記参照画像とのミューチャルインフォメーションをそれぞれ計算する計算手段と、前記複数の候補画像のうち前記ミューチャルインフォメーションが最大となるものを選択する選択手段と、を具備することを特徴とする画像処理装置である。
【００２２】
（１）および（２）に記載の各観点での発明では、グラニュロメトリを利用して複数の画像の中から参照画像に類似する複数の候補画像を抽出し、それら候補画像を参照画像に合わせてそれぞれトランスフォーメーションし、トランスフォーメーション済みの各候補画像について参照画像とのミューチャルインフォメーションをそれぞれ計算し、複数の候補画像のうちミューチャルインフォメーションが最大となるものを選択するので、複数の候補画像の中から参照画像に最も近い画像を抽出することができる。
【００２３】
前記トランスフォーメーションは倍率合わせを含むことが、トランスフォーメーションを効果的に行う点で好ましい。
前記トランスフォーメーションは重心合わせを含むことが、トランスフォーメーションを効果的に行う点で好ましい。
【００２４】
前記参照画像および前記候補画像はいずれも医用画像であることが、組み合わせ画像による診断を可能にする点で好ましい。
【００２５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本発明は実施の形態に限定されるものではない。図１に画像処理装置のブロック（ｂｌｏｃｋ）図を示す。本装置は本発明の実施の形態の一例である。本装置の構成によって、本発明の装置に関する実施の形態の一例が示される。本装置の動作によって、本発明の方法に関する実施の形態の一例が示される。
【００２６】
図１に示すように、本装置は、コンピュータ１００を有する。コンピュータ１００には処理すべき画像が入力される。コンピュータ１００は記憶部１０２を有する。記憶部１０２は入力された画像を記憶する。また、コンピュータ１００のための各種のデータ（ｄａｔａ）やプログラム（ｐｒｏｇｒａｍ）等を記憶する。コンピュータ１００が記憶部１０２に記憶されたプログラムを実行することにより、画像処理に関わる各種のデータ処理が行われる。
【００２７】
コンピュータ１００は、また、表示部１０４および操作部１０６を有する。表示部１０４は、コンピュータ１００から出力される画像やその他の情報を表示する。操作部１０６は、使用者によって操作され、各種の指示や情報等をコンピュータ１００に入力する。使用者は表示部１０４および操作部１０６を使用してインタラクティブ（ｉｎｔｅｒａｃｔｉｖｅ）に本装置を操作する。
【００２８】
本装置の動作を説明する。図２に、本装置の動作のフロー（ｆｌｏｗ）図を示す。本装置の動作は、コンピュータ１００が記憶部１０２に記憶されたプログラムを実行することにより遂行される。
【００２９】
同図に示すように、ステップ（ｓｔｅｐ）２０２で、参照画像読込が行われる。これによって、例えば図３の（ａ）に示すような画像Ａを含む画像フレームが記憶部１０２に記憶される。画像Ａは例えばＰＥＴ装置で撮影した頭部断層像等である。画像Ａは脳の機能を示す中間調画像である。
【００３０】
次に、ステップ２０４で、入力画像読込が行われる。これによって、例えば図３の（ｂ）に示すような画像Ｂを含む画像フレーム（ｆｒａｍｅ）が記憶部１０２に記憶される。画像Ｂは例えばＸ線ＣＴ装置で撮影した頭部断層像等である。画像Ｂは脳実質の構造を示す中間調画像である。
【００３１】
入力画像読込は、外部の画像ファイル（ｆｉｌｅ）等に保存されている複数の画像について行われる。複数の画像は、それぞれ、例えば撮影のスライス位置等を異にするものである。
【００３２】
次に、ステップ２０６で、入力画像から参照画像に類似する候補画像を抽出する。候補画像の抽出には、形態学的演算（ｍｏｒｐｈｏｌｏｇｉｃａｌ ｏｐｅｒａｔｉｏｎ）の一種であるグラニュロメトリ（ｇｒａｎｕｌｏｍｅｔｒｙ）が利用される。
【００３３】
グラニュロメトリは、例えば文献Ｇｒａｎｕｌｏｍｅｔｒｙ， ｍａｔｈｅｍａｔｉｃａｌ ｍｏｒｐｈｏｌｏｇｙ ｉｎ ｓｔａｔｉｓｔｉｃａｌ ｓｅｎｓｅ， ｈｔｔｐ：／／ｋｕｖａ．ｍｉｓ．ｈｉｒｏｓｈｉｍａ−ｕ．ａｃ．ｊｐ／〜ａｓａｎｏ・Ｋｏｕｇｉ／００ａ／Ｉｎｆｓｔａａｔｌｌ／１１−１０．ｐｄｆに記載されているように周知である。
【００３４】
グラニュロメトリは参照画像および複数の入力画像にそれぞれ適用される。グラニュロメトリの結果から、参照画像および複数の入力画像についてそれぞれパターンスペクトラム（ｐａｔｔｅｒｎ ｓｐｅｃｔｒｕｍ）が求められる。そして、各入力画像のパターンスペクトラムについて、参照画像のパターンスペクトラムとの類似性の有無が調べられ、類似性を有するものが候補画像として抽出される。このようにパターンスペクトラムが類似するものだけを予め抽出することにより、この後の画像処理を効率化することができる。
【００３５】
次に、ステップ２０８で、候補画像のトランスフォーメーションが行われる。トランスフォーメーションは、候補画像の座標系から参照画像の座標系への幾何学的変換である。これには倍率合わせと重心合わせが含まれる。
【００３６】
倍率合わせは候補画像の大きさを参照画像と同じにする処理であり、次のようにして行われる。まず、参照画像および候補画像について２値化が行われる。２値化は、参照画像については画像Ａを含む画像フレーム中のすべての画素について、所定の閾値以上の画素値を１とし、閾値未満の画素値を０とする処理である。また、候補画像については画像Ｂを含む画像フレーム中のすべての画素について、所定の閾値以上の画素値を１とし、閾値未満の画素値を０とする処理である。
【００３７】
これによって、例えば図４の（ａ），（ｂ）に示すような画像フレームがそれぞれ得られる。これらの画像フレームにおいては、画像ａ，ｂの画素値がすべて１となり、それ以外の部分の画素値はすべて０となる。
【００３８】
一般的に、画像のモーメント（ｍｏｍｅｎｔ）が
【００３９】
【数６】
【００４０】
で与えられるとき、画像ｂの大きさを画像ａに合わせる倍率は次式で与えられる。
【００４１】
【数７】
【００４２】
ここで、Ｍ（０，０）は０次のモーメントである。このような倍率ｋが複数の候補画像についてそれぞれ求められる。それらの倍率ｋを各候補画像に適用することにより、いずれの候補画像も参照画像と同じ大きさにすることができる。
【００４３】
重心合わせを行うために、画像フレームにおける画像ａおよび画像ｂの重心の位置がそれぞれ求められる。重心の座標（ｍ，ｎ）は次式で与えられる。
【００４４】
【数８】
【００４５】
【数９】
【００４６】
ここで、Ｍ（１，０）およびＭ（０，１）はいずれも１次のモーメントである。これらの式を図４（ａ），（ｂ）の画像フレームに適用することにより、図５の（ａ），（ｂ）に示すように、画像ａ，ｂの重心ａ０，ｂ０の座標がそれぞれ求まる。これら重心は画像ａ，ｂの重心であるとともに画像Ａ，Ｂの重心でもある。
【００４７】
画像Ａ，Ｂの重心ａ０，ｂ０の座標が、例えば図６に示すように、それぞれ（ｉ０，ｊ０）および（ｉ０’，ｊ０’）として求まったとすると、重心位置の補正量は次式で与えられる。
【００４８】
【数１０】
【００４９】
【数１１】
【００５０】
ここで、ΔｉはＩ軸方向の重心位置補正量を表し、ΔｊはＪ軸方向の重心位置補正量を表す。このような重心位置補正量が複数の候補画像についてそれぞれ求められる。
【００５１】
上記のような、候補画像ごとの倍率ｋおよび重心位置補正量（Δｉ，Δｊ）を当該の候補画像に適用することにより、複数の候補画像はいずれも参照画像と同じ座標系の画像となる。すなわちトランスフォーメーションが行われる。トランスフォーメーションが行われた状態を図７に模式的に示す。
【００５２】
次に、ステップ２１０で、各候補画像について参照画像とのミューチャルインフォメーションを計算する。この計算に用いられる各候補画像はトランスフォーメーション済みのものである。
【００５３】
ミューチャルインフォメーションを計算するために、参照画像のエントロピーｈ（ａ）が求められる。また、各候補画像について、そのエントロピーｈ（ｂ）および参照画像とのジョイントエントロピーｈ（ａ，ｂ）が求められる。そして、それらエントロピーを用いて、ミューチャルインフォメーションが次式によって計算される。
【００５４】
【数１２】
【００５５】
ミューチャルインフォメーションは、複数の候補画像のそれぞれについて求まる。複数の候補画像はトランスフォーメーションされているので、いずれも、参照画像に対して同一の幾何学的条件でミューチャルインフォメーションが求められる。
【００５６】
ミューチャルインフォメーションの大小は、参照画像に対する候補画像の近似の程度を表す。複数の候補画像は参照画像に対する幾何学的条件がすべて同一なので、ミューチャルインフォメーションの大小は正確に参照画像に対する候補画像の近似度を表す。したがって、ミューチャルインフォメーションが最大となる候補画像は参照画像に最も近い画像となる。
【００５７】
次に、ステップ２１２で、ミューチャルインフォメーションが最大となる候補画像を選択する。これによって、候補画像のうち参照画像に最も近い画像が得られる。この画像は参照画像と同じ断面を撮影した画像である可能性が最も高い。抽出された候補画像はすでにトランスフォーメーションされているので、自ずからレジストレーションも完了する。
【００５８】
入力画像の中には参照画像と同じ断面を撮影した画像が含まれているのが普通であるから、以上の処理によって、該当する画像が自動的に抽出され、かつ、レジストレーションが完成する。
【００５９】
図８に、以上のような動作を行う本装置の機能ブロック図を示す。同図に示すように、本装置は、候補抽出部３０２、トランスフォーメーション部３０４、ミューチャルインフォメーション計算部３０６および画像選択部３０８を有する。
【００６０】
候補抽出部３０２は、複数の入力画像の中から参照画像に類似する候補画像を抽出する。この機能ブロックはステップ２０６における処理に相当する。候補抽出部３０２は、本発明における抽出手段の実施の形態の一例である。
【００６１】
トランスフォーメーション部３０４は、各候補画像のトランスフォーメーションを行う。この機能ブロックはステップ２０８における処理に相当する。トランスフォーメーション部３０４は、本発明におけるトランスフォーメーション手段の実施の形態の一例である。
【００６２】
ミューチャルインフォメーション計算部３０６は、候補画像ごとに参照画像とのミューチャルインフォメーションを計算する。この機能ブロックはステップ２１０における処理に相当する。ミューチャルインフォメーション計算部３０６は、本発明における計算手段の実施の形態の一例である。
【００６３】
画像選択部３０８は、ミューチャルインフォメーションが最大となる候補画像を選択する。この機能ブロックはステップ２１２における処理に相当する。画像選択部３０８は、本発明における画像選択手段の実施の形態の一例である。
【００６４】
以上は、ＰＥＴ装置で撮影した画像に最も近い画像をＸ線ＣＴ装置で撮影した複数の画像の中から抽出する例であるが、Ｘ線ＣＴ装置やＰＥＴ装置に限らずその他の撮影装置で撮影した医用画像についても、同様にして互いに最も近い画像を抽出することができる。また、２次元画像ばかりでなく３次元画像についても適用可能である。また、画像は医用画像に限らないのはいうまでもない。
【００６５】
【発明の効果】
以上詳細に説明したように、本発明によれば、複数の候補画像の中から参照画像に最も近い画像を抽出する方法および装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の一例の装置のブロック図である。
【図２】本発明の実施の形態の一例の装置の動作のフロー図である。
【図３】画像フレームの概念図である。
【図４】画像フレームの概念図である。
【図５】画像フレームの概念図である。
【図６】画像の重心の座標を示す図である。
【図７】画像フレームの概念図である。
【図８】本発明の実施の形態の一例の装置の機能ブロック図である。
【符号の説明】
１００ コンピュータ
１０２ 記憶部
１０４ 表示部
１０６ 操作部
３０２ 候補抽出部
３０４ トランスフォーメーション部
３０６ ミューチャルインフォメーション計算部
３０８ 画像選択部
【発明の属する技術分野】
本発明は、画像処理方法および装置に関し、とくに、複数の画像の中から所定の条件に合致する画像を抽出する方法および装置に関する。
【０００２】
【従来の技術】
医用画像は患者の病状の診断等に重用される。医用画像はそれを撮影する装置の種類に応じてそれぞれ独特の情報を持つので、診断の目的に応じて適宜の種類の撮影装置で撮影した医用画像が用いられる。
【０００３】
多面的な情報に基づいてより的確な診断を行うために、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置、ＰＥＴ（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）装置あるいはＳＰＥＣＴ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ｅｍｉｓｓｉｏｎ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置等、種類の異なる複数の撮影装置で撮影した複数種類の医用画像が併用される。
【０００４】
例えば、Ｘ線ＣＴ装置およびＰＥＴ装置によって同一患者の同一部位をそれぞれ撮影し、脳実質の構造を示すＸ線ＣＴ装置の画像と脳の活動状態を示すＰＥＴ装置の画像とを用いて、患部の構造および機能の両面から診断することが行われる。その際、構造と機能の同時把握を容易にするために、両画像を重ね合わせた合成画像が利用される。
【０００５】
そのような合成画像を作成するために、２つの画像の位置合わせが行われる。位置合わせはレジストレーション（ｒｅｇｉｓｔｒａｔｉｏｎ）とも呼ばれる。レジストレーションはコンピュータ（ｃｏｍｐｕｔｅｒ）によって行われる。
【０００６】
レジストレーションには、例えば、文献Ｗ．Ｍ．Ｗｅｌｌｓ ＩＩＩ ｅｔ ａｌ．， Ｍｕｌｔｉ−Ｍｏｄａｌ Ｖｏｌｕｍｅ Ｒｅｇｉｓｔｒａｔｉｏｎｂｙ Ｍａｘｉｍｉｚａｔｉｏｎ ｏｆ Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ， ｈｔｔｐ／／ｓｐｌｗｅｂ．ｂｗｈ．ｈａｒｖａｒｄ．ｅｄｕ：８０００／ｐａｇｅｓ／ｐａｐｅｒｓ／ｓｗｅｌｌｓ／ｍｉａ−ｈｔｍｌ／ｍｉａ．ｈｔｍｌに記載の技法が用いられる。
【０００７】
概説すれば、レジストレーションは、参照画像ｕ（ｘ）と候補画像ｖ（ｘ）について、両者のミューチャルインフォメーション（Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ）を最大にするトランスフォーメーション（Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を求めることによって行われる。すなわち、
【０００８】
【数１】
ここで、Ｔは、候補画像の座標系から参照画像の座標系へのトランスフォーメーションである。また、
【００１０】
【数２】
はミューチャルインフォメーションであり、
【００１２】
【数３】
で与えられる。なお、ｈ（・）はエントロピー（ｅｎｔｒｏｐｙ）であり、
【００１４】
【数４】
【数５】
で与えられる。
【００１７】
【発明が解決しようとする課題】
上記の技法によるレジストレーションは、２つの画像が同一部分を撮影したものであることが予め判明している場合には有効であるが、そうでない場合は、たとえミューチャルインフォメーションが最大になるトランスフォーメーションが得られたとしても、意味のあるレジストレーションになるとは限らない。
【００１８】
そこで、本発明の課題は、複数の候補画像の中から参照画像に最も近い画像を抽出する方法および装置を実現することである。
【００２０】
【課題を解決するための手段】
（１）上記の課題を解決するためのひとつの観点での発明は、グラニュロメトリを利用して複数の画像の中から参照画像に類似する複数の候補画像を抽出し、前記複数の候補画像を前記参照画像に合わせてそれぞれトランスフォーメーションし、前記トランスフォーメーション済みの各候補画像について前記参照画像とのミューチャルインフォメーションをそれぞれ計算し、前記複数の候補画像のうち前記ミューチャルインフォメーションが最大となるものを選択する、ことを特徴とする画像処理方法である。
【００２１】
（２）上記の課題を解決するための他の観点での発明は、グラニュロメトリを利用して複数の画像の中から参照画像に類似する複数の候補画像を抽出する抽出手段と、前記複数の候補画像を前記参照画像に合わせてそれぞれトランスフォーメーションするトランスフォーメーション手段と、前記トランスフォーメーション済みの各候補画像について前記参照画像とのミューチャルインフォメーションをそれぞれ計算する計算手段と、前記複数の候補画像のうち前記ミューチャルインフォメーションが最大となるものを選択する選択手段と、を具備することを特徴とする画像処理装置である。
【００２２】
（１）および（２）に記載の各観点での発明では、グラニュロメトリを利用して複数の画像の中から参照画像に類似する複数の候補画像を抽出し、それら候補画像を参照画像に合わせてそれぞれトランスフォーメーションし、トランスフォーメーション済みの各候補画像について参照画像とのミューチャルインフォメーションをそれぞれ計算し、複数の候補画像のうちミューチャルインフォメーションが最大となるものを選択するので、複数の候補画像の中から参照画像に最も近い画像を抽出することができる。
【００２３】
前記トランスフォーメーションは倍率合わせを含むことが、トランスフォーメーションを効果的に行う点で好ましい。
前記トランスフォーメーションは重心合わせを含むことが、トランスフォーメーションを効果的に行う点で好ましい。
【００２４】
前記参照画像および前記候補画像はいずれも医用画像であることが、組み合わせ画像による診断を可能にする点で好ましい。
【００２５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本発明は実施の形態に限定されるものではない。図１に画像処理装置のブロック（ｂｌｏｃｋ）図を示す。本装置は本発明の実施の形態の一例である。本装置の構成によって、本発明の装置に関する実施の形態の一例が示される。本装置の動作によって、本発明の方法に関する実施の形態の一例が示される。
【００２６】
図１に示すように、本装置は、コンピュータ１００を有する。コンピュータ１００には処理すべき画像が入力される。コンピュータ１００は記憶部１０２を有する。記憶部１０２は入力された画像を記憶する。また、コンピュータ１００のための各種のデータ（ｄａｔａ）やプログラム（ｐｒｏｇｒａｍ）等を記憶する。コンピュータ１００が記憶部１０２に記憶されたプログラムを実行することにより、画像処理に関わる各種のデータ処理が行われる。
【００２７】
コンピュータ１００は、また、表示部１０４および操作部１０６を有する。表示部１０４は、コンピュータ１００から出力される画像やその他の情報を表示する。操作部１０６は、使用者によって操作され、各種の指示や情報等をコンピュータ１００に入力する。使用者は表示部１０４および操作部１０６を使用してインタラクティブ（ｉｎｔｅｒａｃｔｉｖｅ）に本装置を操作する。
【００２８】
本装置の動作を説明する。図２に、本装置の動作のフロー（ｆｌｏｗ）図を示す。本装置の動作は、コンピュータ１００が記憶部１０２に記憶されたプログラムを実行することにより遂行される。
【００２９】
同図に示すように、ステップ（ｓｔｅｐ）２０２で、参照画像読込が行われる。これによって、例えば図３の（ａ）に示すような画像Ａを含む画像フレームが記憶部１０２に記憶される。画像Ａは例えばＰＥＴ装置で撮影した頭部断層像等である。画像Ａは脳の機能を示す中間調画像である。
【００３０】
次に、ステップ２０４で、入力画像読込が行われる。これによって、例えば図３の（ｂ）に示すような画像Ｂを含む画像フレーム（ｆｒａｍｅ）が記憶部１０２に記憶される。画像Ｂは例えばＸ線ＣＴ装置で撮影した頭部断層像等である。画像Ｂは脳実質の構造を示す中間調画像である。
【００３１】
入力画像読込は、外部の画像ファイル（ｆｉｌｅ）等に保存されている複数の画像について行われる。複数の画像は、それぞれ、例えば撮影のスライス位置等を異にするものである。
【００３２】
次に、ステップ２０６で、入力画像から参照画像に類似する候補画像を抽出する。候補画像の抽出には、形態学的演算（ｍｏｒｐｈｏｌｏｇｉｃａｌ ｏｐｅｒａｔｉｏｎ）の一種であるグラニュロメトリ（ｇｒａｎｕｌｏｍｅｔｒｙ）が利用される。
【００３３】
グラニュロメトリは、例えば文献Ｇｒａｎｕｌｏｍｅｔｒｙ， ｍａｔｈｅｍａｔｉｃａｌ ｍｏｒｐｈｏｌｏｇｙ ｉｎ ｓｔａｔｉｓｔｉｃａｌ ｓｅｎｓｅ， ｈｔｔｐ：／／ｋｕｖａ．ｍｉｓ．ｈｉｒｏｓｈｉｍａ−ｕ．ａｃ．ｊｐ／〜ａｓａｎｏ・Ｋｏｕｇｉ／００ａ／Ｉｎｆｓｔａａｔｌｌ／１１−１０．ｐｄｆに記載されているように周知である。
【００３４】
グラニュロメトリは参照画像および複数の入力画像にそれぞれ適用される。グラニュロメトリの結果から、参照画像および複数の入力画像についてそれぞれパターンスペクトラム（ｐａｔｔｅｒｎ ｓｐｅｃｔｒｕｍ）が求められる。そして、各入力画像のパターンスペクトラムについて、参照画像のパターンスペクトラムとの類似性の有無が調べられ、類似性を有するものが候補画像として抽出される。このようにパターンスペクトラムが類似するものだけを予め抽出することにより、この後の画像処理を効率化することができる。
【００３５】
次に、ステップ２０８で、候補画像のトランスフォーメーションが行われる。トランスフォーメーションは、候補画像の座標系から参照画像の座標系への幾何学的変換である。これには倍率合わせと重心合わせが含まれる。
【００３６】
倍率合わせは候補画像の大きさを参照画像と同じにする処理であり、次のようにして行われる。まず、参照画像および候補画像について２値化が行われる。２値化は、参照画像については画像Ａを含む画像フレーム中のすべての画素について、所定の閾値以上の画素値を１とし、閾値未満の画素値を０とする処理である。また、候補画像については画像Ｂを含む画像フレーム中のすべての画素について、所定の閾値以上の画素値を１とし、閾値未満の画素値を０とする処理である。
【００３７】
これによって、例えば図４の（ａ），（ｂ）に示すような画像フレームがそれぞれ得られる。これらの画像フレームにおいては、画像ａ，ｂの画素値がすべて１となり、それ以外の部分の画素値はすべて０となる。
【００３８】
一般的に、画像のモーメント（ｍｏｍｅｎｔ）が
【００３９】
【数６】
で与えられるとき、画像ｂの大きさを画像ａに合わせる倍率は次式で与えられる。
【００４１】
【数７】
ここで、Ｍ（０，０）は０次のモーメントである。このような倍率ｋが複数の候補画像についてそれぞれ求められる。それらの倍率ｋを各候補画像に適用することにより、いずれの候補画像も参照画像と同じ大きさにすることができる。
【００４３】
重心合わせを行うために、画像フレームにおける画像ａおよび画像ｂの重心の位置がそれぞれ求められる。重心の座標（ｍ，ｎ）は次式で与えられる。
【００４４】
【数８】
【数９】
ここで、Ｍ（１，０）およびＭ（０，１）はいずれも１次のモーメントである。これらの式を図４（ａ），（ｂ）の画像フレームに適用することにより、図５の（ａ），（ｂ）に示すように、画像ａ，ｂの重心ａ０，ｂ０の座標がそれぞれ求まる。これら重心は画像ａ，ｂの重心であるとともに画像Ａ，Ｂの重心でもある。
【００４７】
画像Ａ，Ｂの重心ａ０，ｂ０の座標が、例えば図６に示すように、それぞれ（ｉ０，ｊ０）および（ｉ０’，ｊ０’）として求まったとすると、重心位置の補正量は次式で与えられる。
【００４８】
【数１０】
【数１１】
ここで、ΔｉはＩ軸方向の重心位置補正量を表し、ΔｊはＪ軸方向の重心位置補正量を表す。このような重心位置補正量が複数の候補画像についてそれぞれ求められる。
【００５１】
上記のような、候補画像ごとの倍率ｋおよび重心位置補正量（Δｉ，Δｊ）を当該の候補画像に適用することにより、複数の候補画像はいずれも参照画像と同じ座標系の画像となる。すなわちトランスフォーメーションが行われる。トランスフォーメーションが行われた状態を図７に模式的に示す。
【００５２】
次に、ステップ２１０で、各候補画像について参照画像とのミューチャルインフォメーションを計算する。この計算に用いられる各候補画像はトランスフォーメーション済みのものである。
【００５３】
ミューチャルインフォメーションを計算するために、参照画像のエントロピーｈ（ａ）が求められる。また、各候補画像について、そのエントロピーｈ（ｂ）および参照画像とのジョイントエントロピーｈ（ａ，ｂ）が求められる。そして、それらエントロピーを用いて、ミューチャルインフォメーションが次式によって計算される。
【００５４】
【数１２】
ミューチャルインフォメーションは、複数の候補画像のそれぞれについて求まる。複数の候補画像はトランスフォーメーションされているので、いずれも、参照画像に対して同一の幾何学的条件でミューチャルインフォメーションが求められる。
【００５６】
ミューチャルインフォメーションの大小は、参照画像に対する候補画像の近似の程度を表す。複数の候補画像は参照画像に対する幾何学的条件がすべて同一なので、ミューチャルインフォメーションの大小は正確に参照画像に対する候補画像の近似度を表す。したがって、ミューチャルインフォメーションが最大となる候補画像は参照画像に最も近い画像となる。
【００５７】
次に、ステップ２１２で、ミューチャルインフォメーションが最大となる候補画像を選択する。これによって、候補画像のうち参照画像に最も近い画像が得られる。この画像は参照画像と同じ断面を撮影した画像である可能性が最も高い。抽出された候補画像はすでにトランスフォーメーションされているので、自ずからレジストレーションも完了する。
【００５８】
入力画像の中には参照画像と同じ断面を撮影した画像が含まれているのが普通であるから、以上の処理によって、該当する画像が自動的に抽出され、かつ、レジストレーションが完成する。
【００５９】
図８に、以上のような動作を行う本装置の機能ブロック図を示す。同図に示すように、本装置は、候補抽出部３０２、トランスフォーメーション部３０４、ミューチャルインフォメーション計算部３０６および画像選択部３０８を有する。
【００６０】
候補抽出部３０２は、複数の入力画像の中から参照画像に類似する候補画像を抽出する。この機能ブロックはステップ２０６における処理に相当する。候補抽出部３０２は、本発明における抽出手段の実施の形態の一例である。
【００６１】
トランスフォーメーション部３０４は、各候補画像のトランスフォーメーションを行う。この機能ブロックはステップ２０８における処理に相当する。トランスフォーメーション部３０４は、本発明におけるトランスフォーメーション手段の実施の形態の一例である。
【００６２】
ミューチャルインフォメーション計算部３０６は、候補画像ごとに参照画像とのミューチャルインフォメーションを計算する。この機能ブロックはステップ２１０における処理に相当する。ミューチャルインフォメーション計算部３０６は、本発明における計算手段の実施の形態の一例である。
【００６３】
画像選択部３０８は、ミューチャルインフォメーションが最大となる候補画像を選択する。この機能ブロックはステップ２１２における処理に相当する。画像選択部３０８は、本発明における画像選択手段の実施の形態の一例である。
【００６４】
以上は、ＰＥＴ装置で撮影した画像に最も近い画像をＸ線ＣＴ装置で撮影した複数の画像の中から抽出する例であるが、Ｘ線ＣＴ装置やＰＥＴ装置に限らずその他の撮影装置で撮影した医用画像についても、同様にして互いに最も近い画像を抽出することができる。また、２次元画像ばかりでなく３次元画像についても適用可能である。また、画像は医用画像に限らないのはいうまでもない。
【００６５】
【発明の効果】
以上詳細に説明したように、本発明によれば、複数の候補画像の中から参照画像に最も近い画像を抽出する方法および装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の一例の装置のブロック図である。
【図２】本発明の実施の形態の一例の装置の動作のフロー図である。
【図３】画像フレームの概念図である。
【図４】画像フレームの概念図である。
【図５】画像フレームの概念図である。
【図６】画像の重心の座標を示す図である。
【図７】画像フレームの概念図である。
【図８】本発明の実施の形態の一例の装置の機能ブロック図である。
【符号の説明】
１００ コンピュータ
１０２ 記憶部
１０４ 表示部
１０６ 操作部
３０２ 候補抽出部
３０４ トランスフォーメーション部
３０６ ミューチャルインフォメーション計算部
３０８ 画像選択部
Claims (8)
- 複数の画像及び参照画像のそれぞれに適用されたグラニュロメトリの結果から、前記複数の画像及び参照画像についてそれぞれパターンスペクトラムを求め、前記複数の画像のパターンスペクトラムについて、前記参照画像とのパターンスペクトラムとの類似性の有無を調べ、当該類似性を有する画像を、前記参照画像に類似する複数の候補画像として抽出し、
前記複数の候補画像を前記参照画像に合わせてそれぞれトランスフォーメーションし、
前記トランスフォーメーション済みの各候補画像について前記参照画像とのミューチャルインフォメーションをそれぞれ計算し、
前記複数の候補画像のうち前記ミューチャルインフォメーションが最大となるものを選択する、
ことを特徴とする画像処理方法。 - 前記トランスフォーメーションは倍率合わせを含む、
ことを特徴とする請求項１に記載の画像処理方法。 - 前記トランスフォーメーションは重心合わせを含む、
ことを特徴とする請求項１または請求項２に記載の画像処理方法。 - 前記参照画像および前記候補画像はいずれも医用画像である、
ことを特徴とする請求項１ないし請求項３のうちのいずれか１つに記載の画像処理方法。 - 複数の画像及び参照画像のそれぞれに適用されたグラニュロメトリの結果から、前記複数の画像及び参照画像についてそれぞれパターンスペクトラムを求め、前記複数の画像のパターンスペクトラムについて、前記参照画像とのパターンスペクトラムとの類似性の有無を調べ、当該類似性を有する画像を、前記参照画像に類似する複数の候補画像として抽出する抽出手段と、
前記複数の候補画像を前記参照画像に合わせてそれぞれトランスフォーメーションするトランスフォーメーション手段と、
前記トランスフォーメーション済みの各候補画像について前記参照画像とのミューチャルインフォメーションをそれぞれ計算する計算手段と、
前記複数の候補画像のうち前記ミューチャルインフォメーションが最大となるものを選択する選択手段と、
を具備することを特徴とする画像処理装置。 - 前記トランスフォーメーションは倍率合わせを含む、
ことを特徴とする請求項５に記載の画像処理装置。 - 前記トランスフォーメーションは重心合わせを含む、
ことを特徴とする請求項５または請求項６に記載の画像処理装置。 - 前記参照画像および前記候補画像はいずれも医用画像である、
ことを特徴とする請求項５ないし請求項７のうちのいずれか１つに記載の画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002198645A JP4099357B2 (ja) | 2002-07-08 | 2002-07-08 | 画像処理方法および装置 |
| US10/614,316 US7519225B2 (en) | 2002-07-08 | 2003-07-07 | Image processing method and apparatus for extracting an image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002198645A JP4099357B2 (ja) | 2002-07-08 | 2002-07-08 | 画像処理方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004038860A JP2004038860A (ja) | 2004-02-05 |
| JP4099357B2 true JP4099357B2 (ja) | 2008-06-11 |
Family
ID=31492023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002198645A Expired - Fee Related JP4099357B2 (ja) | 2002-07-08 | 2002-07-08 | 画像処理方法および装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7519225B2 (ja) |
| JP (1) | JP4099357B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100454337C (zh) * | 2005-11-01 | 2009-01-21 | 中国科学院自动化研究所 | 一种结合空间信息的图像配准方法 |
| US8905932B2 (en) * | 2006-08-17 | 2014-12-09 | Jan Medical Inc. | Non-invasive characterization of human vasculature |
| US10092195B2 (en) | 2006-08-17 | 2018-10-09 | Jan Medical, Inc. | Noninvasive detection of human brain conditions and anomalies |
| US9478013B2 (en) | 2012-06-28 | 2016-10-25 | Koninklijke Philips N.V. | System and method for registering an image sequence |
| CN103116883B (zh) * | 2012-11-07 | 2015-05-27 | 哈尔滨工程大学 | 一种自适应门限的ncc配准方法 |
| US10307065B1 (en) | 2014-12-09 | 2019-06-04 | Jan Medical, Inc. | Non-invasive detection of cerebral vasospasm |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69331982T2 (de) * | 1992-11-27 | 2003-01-23 | Fuji Photo Film Co Ltd | Verfahren zur Lageanpassung von Röntgenbildern |
| JP2932022B2 (ja) * | 1992-11-27 | 1999-08-09 | 富士写真フイルム株式会社 | 放射線画像の位置合せ方法 |
| JPH10336505A (ja) | 1997-04-01 | 1998-12-18 | Sony Corp | 画像表示装置及び画像表示方法 |
| US6201888B1 (en) | 1998-02-18 | 2001-03-13 | International Business Machines Corporation | System and method for restoring, describing and graphically displaying noise-corrupted boundaries in tomography images |
| US6026142A (en) | 1998-04-02 | 2000-02-15 | International Business Machines Corporation | System and method for boundary detection in tomographic images by geometry-constrained edge detection of projected data |
| US6560354B1 (en) * | 1999-02-16 | 2003-05-06 | University Of Rochester | Apparatus and method for registration of images to physical space using a weighted combination of points and surfaces |
| US6490476B1 (en) | 1999-10-14 | 2002-12-03 | Cti Pet Systems, Inc. | Combined PET and X-ray CT tomograph and method for using same |
| US6574356B1 (en) | 2000-04-19 | 2003-06-03 | National Science Council | Method for three-dimensional image reconstruction of basal ganglion |
| US6462342B1 (en) | 2000-06-22 | 2002-10-08 | Ge Medical Systems Global Technology Co. Llc | Method and system for pet image reconstruction |
| EP1303215A1 (en) * | 2000-07-10 | 2003-04-23 | Koninklijke Philips Electronics N.V. | Geometry matching for imaging medical apparatus |
| JP4482778B2 (ja) | 2000-09-11 | 2010-06-16 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに記録媒体 |
| US6895105B2 (en) | 2000-12-21 | 2005-05-17 | General Electric Company | Imaging table sag measurement and compensation method and apparatus |
| US6757417B2 (en) | 2000-12-27 | 2004-06-29 | Ge Medical Systems Global Technology Company, Llc | Method and apparatus for defining a three-dimensional imaging section |
| US7020315B2 (en) | 2001-01-10 | 2006-03-28 | Elgems Ltd. | Sag correction |
| US7106891B2 (en) * | 2001-10-15 | 2006-09-12 | Insightful Corporation | System and method for determining convergence of image set registration |
-
2002
- 2002-07-08 JP JP2002198645A patent/JP4099357B2/ja not_active Expired - Fee Related
-
2003
- 2003-07-07 US US10/614,316 patent/US7519225B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7519225B2 (en) | 2009-04-14 |
| US20040028275A1 (en) | 2004-02-12 |
| JP2004038860A (ja) | 2004-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9962086B2 (en) | Medical image data processing apparatus and method for determining the presence of an abnormality | |
| Li et al. | Establishing a normative atlas of the human lung: intersubject warping and registration of volumetric CT images | |
| JP5486197B2 (ja) | 椎骨中心検出装置および方法並びにプログラム | |
| US9818200B2 (en) | Apparatus and method for multi-atlas based segmentation of medical image data | |
| US20200058098A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP4104054B2 (ja) | 画像の位置合わせ装置および画像処理装置 | |
| CN103228214B (zh) | 图像处理装置及图像处理方法 | |
| JP2002324238A (ja) | 画像の位置合わせ方法および装置 | |
| EP3424017B1 (en) | Automatic detection of an artifact in patient image data | |
| JP2007526033A (ja) | 構造化オブジェクトの画像を登録するための装置及び方法 | |
| US20210271914A1 (en) | Image processing apparatus, image processing method, and program | |
| JP5233374B2 (ja) | 医用画像処理システム | |
| WO2002061444A2 (en) | Registration reliability measure | |
| JP4099357B2 (ja) | 画像処理方法および装置 | |
| WO2009122724A1 (ja) | 画像処理装置および方法並びにプログラム | |
| US20190236783A1 (en) | Image processing apparatus, image processing method, and program | |
| US10896501B2 (en) | Rib developed image generation apparatus using a core line, method, and program | |
| US10307124B2 (en) | Image display device, method, and program for determining common regions in images | |
| WO2015111308A1 (ja) | ３次元医用画像表示制御装置およびその作動方法並びに３次元医用画像表示制御プログラム | |
| JP2001118058A (ja) | 画像処理装置及び放射線治療計画システム | |
| JP2005136594A (ja) | 画像処理装置及びその制御方法 | |
| Baheti et al. | A novel approach for automatic image stitching of spinal cord MRI images using SIFT | |
| US10929990B2 (en) | Registration apparatus, method, and program | |
| US20220044052A1 (en) | Matching apparatus, matching method, and matching program | |
| JP7394959B2 (ja) | 医用画像処理装置、医用画像処理方法及びプログラム、医用画像表示システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20041101 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070423 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070911 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071009 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071227 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080311 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080317 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4099357 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120321 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120321 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130321 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130321 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130321 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140321 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |