JP4209017B2 - 所望の構造の強調像を作成する方法および装置 - Google Patents

所望の構造の強調像を作成する方法および装置 Download PDF

Info

Publication number
JP4209017B2
JP4209017B2 JP31870598A JP31870598A JP4209017B2 JP 4209017 B2 JP4209017 B2 JP 4209017B2 JP 31870598 A JP31870598 A JP 31870598A JP 31870598 A JP31870598 A JP 31870598A JP 4209017 B2 JP4209017 B2 JP 4209017B2
Authority
JP
Japan
Prior art keywords
data set
creating
blood pool
smoothed
dominant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP31870598A
Other languages
English (en)
Other versions
JPH11242739A (ja
Inventor
ハーヴェイ・エリス・クライン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JPH11242739A publication Critical patent/JPH11242739A/ja
Application granted granted Critical
Publication of JP4209017B2 publication Critical patent/JP4209017B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/481Diagnostic techniques involving the use of contrast agents
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Vascular Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は一般に三次元(3D)イメージングに関するものであり、更に詳しくは優勢な構造の近くにある劣勢の構造を3Dイメージングすることに関するものである。
【0002】
【従来の技術】
多くの異なる形式のイメージングにおいて、大きい高強度の源(source)が優勢であって、より弱い、小さい、低強度の源を覆い隠してしまう。これは異なる形式のイメージングで現れることがある。1つの特定の形式のイメージングは医用イメージングであり、より具体的なものは心臓イメージングである。
【0003】
冠状動脈の病気は主要な死亡原因の1つであり、その治療コストはかなりなものになっている。現代における磁気共鳴(MR)心臓イメージングおよびX線カテーテル法の進歩にも拘わらず、血管造影法が冠状動脈の病気に対する決定的な検査法である。冠状動脈は、X線透視イメージングにより監視しながらカテーテルによって右または左冠状動脈に注入した造影剤を利用して異なる観察点から撮影した医学的像に基づいて検査される。心房、心室および大動脈の血液プールと比較して、冠状動脈は一層弱い低強度の小さい源であり、前者は冠状動脈の像より優勢である。もし冠状動脈をより明瞭にイメージングする(すなわち、より明瞭な冠状動脈の像を作成する)ことが出来たら、冠状動脈枝を観察することによって冠状動脈の病気の診断が行える。具体的に述べると、MRイメージングにより冠状動脈の像を得ることが出来れば、患者は苦痛を伴うカテーテル法を必要としないであろう。
【0004】
表示の前に、取得した医学的像データ・セットから血液プールを除去する手動方法が、Radiology201、857−863(1996)に所載のディー・りー、エス・カウシカー、イー・エム・ハック等による論文「冠状動脈:呼吸によるゲート駆動を使用した三次元MRイメージング」に記載されている。この方法は、冠状動脈の輪郭を描くのにユーザによる辛抱のいる長い作業が必要である。
【0005】
冠状動脈を分割する別の方法では、連結性または管腔の追跡によって血管を見つけ出している。しかし、血管中の不連続性および血管と血液プールとを結ぶノイズにより、自動的な血管見付け出し法は損なわれる。
そこで、相対的に大きい優勢な構造の近くの領域内にある相対的に小さい劣勢の構造の像を自動的に作成するシステムに対する要求がある。
【0006】
【発明の目的】
本発明の目的は、大きい優勢な構造の近くにある小さい劣勢の構造を視覚化する方法を提供することである。
本発明の別の目的は、対象の冠状動脈の像を三次元測定データ・セットから自動的に作成するシステムを提供することである。
【0007】
【発明の概要】
本発明では、優勢な構造の近くにある劣勢の構造の強調像を作成するシステムが提供される。
劣勢の(所望の)構造と共に優勢な構造を持つ三次元測定データ・セットIが、対話型でユーザによって供給されるような閾値Cと比較される。閾値より大きいデータ・セットI内のデータ値が1つのビット値であり、且つ他のビット値が閾値以下のデータ・セットI内の値を表している3D二進データ・セットX={I>C}が作成される。これは優勢な構造および所望の構造の両方を幾分かのノイズと共に含む。
【0008】
3D二進データ・セットXは平滑化されて、実質的に所望の構造を除き且つノイズを低減した平滑化データ・セットYを生じる。このような平滑化方法の1つは浸食(erosion)であり、これは半径r0 を持つ構造要素B0 を使用して、浸食データ・セット(XΘB0 )を生じる。半径r1 を持つ構造要素B1 を使用した浸食データ・セット(XΘB0 )の拡張(dilation)により、実質的に所望の構造を除外し且つノイズを低減した平滑化データ・セットYが作成される。
【0009】
【外5】
Figure 0004209017
【0010】
マスクMは元のデータ・セットIと交差(intersect)されて、所望の構造を含み且つ優勢な血液プールを除いた強調データ・セットE=M∩Iを生じる。
この強調データ・セットEは次いで、最大強度投影(MIP)のような通常のイメージング技術により処理して表示することにより、強調像を作成することが出来る。
【0011】
別の実施態様では、ユーザが所望の構造を指示する表示像中の位置を対話型で選択し得る。これらの位置は、強調データ・セットE内の「シード(seed)」として使用される。実質的に「シード」と同じ値を持つ強調データ・セットE内の位置は同じ源タイプを表しており、これらの位置はシードに直接に又は同じ源タイプを介して物理的に連結され、固体構造として一緒にグループ分けされる。この固体構造は他の位置から除去するか、或いは別々に表示することが出来る。
【0012】
本発明は、高分解能三次元MR像で蛇行性冠状動脈の強調した表示を作成するのに使用することが出来る。
これは、対象となる冠状動脈を表示するために実施され、その際、数理形態学を使用して、冠状動脈を含むシェルすなわち外殻を選択し且つ優勢な血液プールを除く。次いで、3Dデータを複数の異なるビュー(view)から投影することにより、心臓病専門医による診断のための見慣れた形の血管造影図を構成することが出来る。
【0013】
本発明の新規な特徴は特許請求の範囲に具体的に記載してあるが、本発明自体の構成、作用並びにその他の目的および利点は、添付の図面を参照した以下の説明から最も良く理解されよう。
【0014】
【発明の実施の形態】
本発明では、イメージング対象の所望の小さい低強度の信号源の近くにあって該信号源を不鮮明にするような優勢な信号源すなわち大きい高強度の信号源を除くことを対象とする。心臓のイメージングにおいては、心房、心室および大動脈内の血液プールが血管造影像で優勢であり、心臓の動脈を不鮮明にする。冠状動脈が心筋に血液を供給する。これらの心臓動脈の視覚化は、重大な冠状動脈の病気の診断および防止にとって重要である。
【0015】
これらの動脈は曲がりくねっており、簡単な2D平面像ではこれらの動脈の適切な概念を得ることは出来難い。
【0016】
本発明は、心臓の三次元MR像から優勢な血液プール源を自動的に除去して、異なる観察点から見ることの出来る対話型の3D構造として分割された血管を表示する。
この結果として強調3Dデータ・セットが得られ、これはMR血管造影法で普通に使用されている最大強度投影(MIP)のような通常のイメージング方法を容易に行えるようにする。3D体積を通るMIP投影は、通常のX線心臓投影と同様であると考えられる。
【0017】
[データ取得]
三次元測定データ・セットが取得される。本発明に適合する一形式のデータは、Magn.Reson.Med.33,689−696(1995)に所載のピー・イララザバルおよびディー・ジー・ニシムラによる論文「高速三次元磁気共鳴イメージング」に記載されているような心臓イメージングの三次元MRデータ・セットである。
【0018】
[コイル感度補正]
MR三次元測定データが使用され、且つそれが面受信コイルを使用して取得される場合、距離につれ変化する面コイルの感度を調節するためにコイル感度の補正が必要である。すなわち、信号源がコイルの近く又はコイルの直ぐ前にあるときは大きいMR応答信号が発生され、信号源がコイルより遠くにあるときは応答信号がより小さくなるからである。このことが、1997年8月19日発行の米国特許第5,659,629号に記載されている。
【0019】
[プールの分割のための閾値演算]
本発明では3D三次元測定データ・セットを必要とする。1つの特に重要な使用法は、3D三次元測定データ・セットにおいて冠状動脈を識別して表示することである。本発明では、血管の輪郭を手動で作成して血液プールを識別する忍耐を要するステップを避けて、データ・セットを自動的に平滑化し、ユーザ入力により閾値演算する。
【0020】
閾値はユーザ・インターフェイスを介してユーザによって対話型で設定され、閾値より大きい/小さい値の領域の黒白のコントラストを構成する。ユーザは、血液プールの輪郭が明確に描かれるようになるまで閾値を調節する。随意選択により、簡単な閾値演算よりも一層巧妙な血液プール検出器を使用して、コイル感度補正を必要としないようにすることが出来る。
【0021】
[血液プールの隔離;平滑化]
血液プールは、Magn.Reson.Imaging,7巻45−54頁(1989)に所載のエッチ・イー・クライン、アール・ジェー・ハーフケンス、ジー・エー・ジョンソン、ジー・エッチ・グローバーによる論文「三次元磁気共鳴イメージングによる血管形態学」に記載されているような、浸食および拡張の数理形態学的演算によって、冠状動脈から分離される。
【0022】
3Dオブジェクトの浸食(erosion)は、表面から所与の距離にある表面領域を除去することを含む。等方性データの場合、構造要素が球を近似する。血液プールが、冠状動脈およびノイズと共に、図3Aに示されているように浸食される。ノイズおよび血管は除去され、血液プールは小さくなる。
拡張(dilation)はオブジェクトの寸法を増大させ、これは背景の浸食と等価である。浸食とそれに続く拡張との組合せは、オープニング(opening)と呼ばれ、小さい領域を除去し且つ3D二進オブジェクトを平滑化する。
【0023】
[マスク作成]
冠状動脈の分割は、予め定めた又はユーザの選択した半径r2 を持つ構造要素B2 による平滑化血液プールYの拡張を含む。
【0024】
【外6】
Figure 0004209017
【0025】
【外7】
Figure 0004209017
【0026】
この領域は関心のある動脈を含んでいる。すなわち、マスクMは冠状動脈を含んでいて、実質的に血液プールを除いている。
【0027】
[強調データ・セットEの作成]
マスクMは次いで補償済みデータ・セットIと交差(∩)されて、強調データ・セットEを形成する。マスクMが「0」である時は常に、強調データ・セットEの項目は「0」であり、またマスクMが「1」である時は常に、強調データ・セットEの項目は補償済みデータ・セットIの対応する項目に設定される。
【0028】
[強調データ・セットEの表示]
処理された3Dデータ・セットは、分割のためのパラメータを選択し且つ冠状動脈を視覚化するために対話型で操作される。冠状動脈造影像のMIPは、像が異なる観察点から回転される場合は特に深さの認識を劇的に改善するような高速表示手段である。
【0029】
代わりの実施態様では、呼吸による対象物の変位を記憶しておき、作成される2D像を、呼吸の変位を補償する量だけ変形させて、冠状動脈中の人為的な不連続を防止することが出来る。
【0030】
血液プールを分割してMR冠状動脈造影像を作成するステップは次の通りである。
1.生の三次元(3D)測定データ・セットを局部的なコイル感度に対して補正することにより、補償済みデータ・セットIを作成する。
2.補償済みデータ・セットIを一定値Cで閾値演算することにより、血液プールおよび冠状動脈の両方に含まれている血液の3D二進像Xを作成する。すなわち、X={I>C}。
【0031】
3.半径r0 を持つ構造要素B0 および半径r1 を持つ構造要素B1 を使用した浸食/拡張により平滑化データ・セットYを作成する。平滑化データ・セットYは冠状動脈を含まず、ノイズが低減されている。この場合、選択された半径内の点の集合(セット)が構造要素B0 およびB1 を定める。
【0032】
【外8】
Figure 0004209017
【0033】
5.マスクMを補償済みデータ・セットIと交差(∩)させることにより、強調データ・セットEを形成する。
6.この強調データ・セットEは次いで、MIP,πのような通常のイメージング技術によって表示することにより、冠状動脈造影像を形成することが出来る。異なる観察点から投影することによってビューを回転させることにより、冠状動脈枝の動いている表示像、A=π(I∩M)、を作成することが出来る。
【0034】
図1は、本発明の簡略ブロック図を示す。像データ源3が、視覚化しようとする領域をカバーする生の三次元測定データを供給する。この生の三次元測定データは、面コイルを使用して取得されたものである場合、前掲の米国特許第5,659,629号に記載されているものと同様な感度補償装置13によってコイルの感度に対して補償されて、補償済みデータ・セットIを生じ、これは閾値演算装置15に供給される。
【0035】
代わりの実施態様では、三次元測定データは補償を必要としないコイルまたは予め補償されたコイルで取得して、閾値演算装置15に直接供給される。
【0036】
閾値演算装置15はまた閾値を受け取る。閾値は、ユーザ・インターフェイス11を介してユーザ1によって対話型で設定することが出来る。閾値演算装置15は、補償済み三次元測定データ・セットIの各々のデータ値を閾値と比較して、データ値が閾値を越えるときは「1」の値を持ち、且つデータ値が閾値以下であるときは「0」の値を持つ3D二進データ・セットXを作成する。
【0037】
3D二進データ・セットXは次いでユーザ・インターフェイス11を介してモニタ17上に表示される。その際、ユーザ1はユーザ・インターフェイス11を介して閾値演算装置15を対話型で操作して、補償済みデータ・セットIのボリューム内の所望の点が除去されるように閾値を調節することが出来る。使用されるデータ・セットが心臓の像である場合、閾値は心房、心室および大動脈が明瞭に画成されるように調節される。
【0038】
閾値演算済みのデータ・セットXは平滑化フィルタ30に供給され、平滑化フィルタ30はユーザによって対話型で選択された優勢な源を平滑化する。平滑化フィルタ30は優勢な源の周囲のノイズを低減し、且つ優勢な源のエッジを平滑化する。
このような平滑化フィルタとしては、例えば浸食装置31および拡張装置33が採用される。
【0039】
浸食装置31は構造要素作成装置73と協調して機能する。ユーザ1が、ユーザ・インターフェイス11を介して、優勢な源27から取り去るべき領域に対応する半径r0 を定める。半径r0 は、使用すべきボクセル(voxel)が含まれている領域を画成する。その領域内のボクセルの集合が1つの構造要素として定義され、この場合はB0 である。各々の構造要素は中心のボクセルを持ち、これはその領域内の他のボクセルの試験に基づいて修正される。
【0040】
例えば、図2を参照して説明すると、ボクセル8は優勢な源27の外側にある。従って、浸食プロセスにおいて、中心のボクセル9は二進データ・セットの浸食でゼロに設定される。次いで、構造要素B0 は別の位置に動かされて、いずれかのボクセルが優勢な源27の外側にあるかどうか判定するために再び試験される。もし外側にある場合、中心のボクセルはゼロに設定される。このプロセスは、関心のある領域の各々のボクセルが中心のボクセルになるまで続けられる。その結果が破線6によって示された領域であり、これは浸食された優勢な源の新しい外側領域になる。
【0041】
図1において、ユーザ1はユーザ・インターフェイス11を介して半径r0 を選択し、これは構造要素作成装置73に供給される。構造要素作成装置73は構造要素B0 を作成して、浸食装置31に供給する。浸食装置31は閾値演算済みのデータ・セットXを浸食する。浸食されたボリュームは(B0 ΘX)として知られているものである。この浸食されたボリュームは次いで拡張装置33に供給される。
【0042】
図2を参照して説明すると、拡張を示すためにボクセル21および23が使用される。ボリュームを拡張するために半径r1 が選択されている。優勢な源27を拡張すべき場合、中心のボクセル21の半径r1 内にある全てのボクセルを検査して、これらのボクセルのいずれかが優勢な源27の内側にあるかどうか判定する。少なくとも1つあった場合、ボクセル21は1に設定される。次いで構造要素B1 が新しい位置へ動かされて、処理を続ける。このプロセスは所望の領域内の全てのボクセルが中心のボクセルになるまで繰り返される。この結果、破線25までの拡大が生じる。
【0043】
平滑化フィルタ30において、優勢な源が先ず破線6まで浸食され、次いで再び拡大される。半径r0 =r1 である場合、前と同じ優勢な源が生じるが、表面が平滑化されていると共にノイズが低減されている。この浸食に続いて拡張を行うプロセスは、小さい源およびランダム・ノイズを消去しようとするものである。この結果得られるデータ・セットは平滑化データ・セットYと呼ばれる。
【0044】
平滑化データ・セットYは、マスク装置50に供給される。マスク装置50は、所望の周縁構造のみを含み且つ優勢な源を除去したマスクMを作成する。マスクMを構成する1つの方法は、拡張装置51を使用して構造要素B2 を用いることである。拡張装置51は平滑化データ・セットYを受け取って、拡張データ・
【0045】
【外9】
Figure 0004209017
【0046】
【外10】
Figure 0004209017
【0047】
図3はこれらの演算の結果を示す。図3において、(A)は浸食ステップ(B0 ΘX)後の血液プールを示す。これは浸食装置31の出力である。
図3の(B)は、平滑化された血液プールYを示す。
平滑化された血液プールYは拡張装置51によって拡張され、次いで減算装置53によって元の平滑化血液プールYが拡張装置51の出力から減算されて、図3の(C)に示されているようなマスクMが作成される。
【0048】
交差装置71が、減算装置53の出力を受け取ると共に、元の補償済みデータ・セットIを受け取って、マスクMが値1に設定したものを除いて、全ての値をゼロに設定する。この結果、優勢な源が除去された強調データ・セットEが得られる。心臓の像の場合の強調データ・セットEは、中心を除去した三次元の殻(外殻)に類似している。この外殻は冠状動脈を含んでおり、表示することが出来る。
【0049】
強調データ・セットEは、三次元(3D)ワーク・ステーション79によって処理し、或いは逆投影装置75によって逆投影して、モニタ17上に画像を作成することが出来る。ユーザ1はユーザ・インターフェイス11を介して対話的に操作して、3Dワーク・ステーション79または逆投影装置75に対するイメージング・パラメータを設定することが出来る。上記の外殻はそのまま逆投影することができ、或いはより明瞭な像が得られるように切断して逆投影することが出来る。例えば、心臓の前側の冠状動脈をイメージングすることが望ましい場合、動脈の近くの心臓の前側部分のみを逆投影に使用して、外殻の残りの部分を除去することが出来る。これにより、前側の動脈にオーバーラップして像を見難くするような心臓の後壁上の動脈を作成しないように逆投影を行うことが可能である。
【0050】
強調データ・セットEを表示する別の方法は、ユーザ1によって像を見る一連の逐次的な観察点を選択できるようにするものである。これらの観察点を使用して像を作成し、記憶する。次いで、これらの像を相次いで逐次的に再生して、あたかもユーザが構造の周りを動いているかのように映画のような構造の表示を作ることが出来る。
【0051】
別の実施態様では、3Dワーク・ステーション79が閾値演算装置15の機能も行えるようにして、これらの装置を単一の装置とすることが出来る。
【0052】
この代わりの実施態様では、ユーザ1がモニタ17で像を観察し、次いでユーザ・インターフェイス11を介して、冠状動脈のような協調したい所望の構造ないの位置すなわち「シード(種)」を選択する。
【0053】
3Dワーク・ステーション79内の連結装置76が、入力として「シード」を受け取って、「シード」の近辺において「シード」の値と同様なデータ値を探し、それらを「シード」に物理的に連結する。これは、ジェイ・セラの著書「Image Analysis and Mathematical Morphology」、アカデミック・プレス、ニューヨーク(1982)、373−416頁に記載されているように機能する。この結果、同じ組織タイプの固体構造が得られる。連結装置76を上述したシステムに使用すると、更に明瞭な所望の構造が得られる。
【0054】
[結果]
図4は、冠状動脈血液プールを含む三次元測定データ・セットの右側冠状動脈(RCA)部分における3Dボリュームを通る再フォーマットされた斜めスライスを示す。再フォーマットされたビューは、GE社のリサーチ・ワーク・ステーション・プログラムMedic++をワーク・ステーション(ペンティアム・プロ,ヒューレット・パッカード)で動作させて、対話型で算出された。ユーザが斜めの平面を画成するための角度、高さまたは切断深さを選択し、再フォーマットされた斜め像が実時間で連続的にスクリーン上に現れる。
【0055】
3Dデータ・セットの分割後、血液プールが本発明によって自動的に除去されて、強調データ・セットEが得られる。
【0056】
図5は、3D強調データ・セットEを通るスライスを示す。3mmの半径の構造要素を使用して血液プールを開放して平滑化し、続いて7mmの拡張を行って、外殻のマスクMを作成した。
【0057】
図6は、強調データ・セットEを通る投影像であり、像の中心に左前側下行(LAD)動脈を示す。対象の心臓の右横断図を使用して、左前側下行(LAD)動脈が視覚化された。ここで、LAD動脈は平面状でなく、従って単一の平面像で簡単に表示され得ないことに留意されたい。
【0058】
三次元測定データ・セットの1mmの間隔を置いた10個の平行な再フォーマットされたスライスの積重ねが、図7に示されるように厚い再フォーマットされたビュー内の異なる血管セグメントを組み合わせるためにMIPを使用して表示された。これは、心房、心室および大動脈の血液プールを含む。
【0059】
図8は、血液プールを分割してマスクにより除去した後の、図7と同じビューからのMIP像である。これは、LAD動脈と共に、図7で不鮮明であった左側回旋動脈を示している。
【0060】
図9は、図7および図8と同じビューにおける3D表面レンダリングを行った像である。これは、血液プール表面およびLAD動脈を示している。血液プールの表面は、コンピュータ・グラフィクスの通常の表面レンダリング・ルーチンにより構成して表示することが出来る。3D表面モデルが心外膜の向きを決定するのに有用である。3D表面モデルは心臓の解剖学的構造の特徴に対してビューの向きを特定するように作成される。
【0061】
頭方に49度の左前側斜めビューが使用された。図10は血液プールを含む補償済み三次元MR血管造影データ・セットIのMIP像である。血液プールが像でゆうせいであり、冠状動脈を不鮮明にしている。
【0062】
図11は、図10と同じビューの分割MIP像であり、視覚し得る幾つかの枝路を持つ左側冠状動脈を示している。これは、強調データ・セットEからのMIP像であり、血液プールは投影の前に分割されてマスクにより除去された。
【0063】
図12は、図10の同じ元の血管造影データ・セットIの3D表面レンダリングを行った像である。左側冠状動脈および右心室の血液プールの表面が見える。
【0064】
図13は、前に述べた連結を使用して更に強調された強調データ・セットEのMIP像である。
【0065】
本発明は、表面モデルおよび最大強度投影の両方で得られるもの以上の情報を提供する。
本発明は、特に周縁MR血管造影表現におけるように像が異なる観察点から回転される場合に深さの知覚を劇的に改善する高速表示として冠状動脈造影像の視覚化を行う。
【0066】
本発明は、冠状動脈を強調するために同じビューから元の像に重畳される通常の再フォーマットされた部分に対する補足として使用することが出来る。
【0067】
本発明を特定の好ましい実施態様について詳述したが、種々の変更および変形をなし得ることが当業者には明らかであろう。従って、本発明は、上記の特定の細部や実施態様に限定されず、特許請求の範囲によって定められることを理解されたい。
【図面の簡単な説明】
【図1】本発明の一実施態様の簡略ブロック図である。
【図2】本発明による浸食および拡張プロセスを記述する際に使用される心臓の血液プールの概略図である。
【図3】本発明の一実施態様による冠状動脈の視覚化を増強するためのマスクMを作成するステップの結果を示す概略図である。
【図4】冠状動脈血液を通る再フォーマットした斜めスライスである。
【図5】本発明に従って構成された強調データ・セットEの、図4と同じビューからの2Dスライスである。
【図6】本発明に従った強調データ・セットEによる投影像である。
【図7】元の補償済みデータ・セットIから作成された通常の最大強度投影(MIP)像である。
【図8】同じデータ・セットIから始めたが本発明に従って処理した、図7と同じビューからのMIP像である。
【図9】図7および図8と同じビューにおける3D表面レンダリングを行った像である。
【図10】従来のイメージング技術による、血液プールを含む元の三次元測定データ・セットのMIP像である。
【図11】同じデータ・セットから始めたが本発明に従って処理した、図10と同じビューを持つ分割MIP像であり、冠状動脈を示す。
【図12】血管造影三次元測定データ・セットの3D表面レンダリングを行った像である。
【図13】本発明に従って、連結を使用して更に強調された強調データ・セットEのMIP像である。
【符号の説明】
1 ユーザ
3 像データ源
8、9、21、23 ボクセル
11 ユーザ・インターフェイス
13 感度補償装置
15 閾値演算装置
17 モニタ
27 優勢な源
30 平滑化フィルタ
31 浸食装置
33 拡張装置
50 マスク装置
51 拡張装置
53 減算装置
71 交差装置
73 構造化要素作成装置
75 逆投影装置
76 連結装置
79 ワーク・ステーション

Claims (14)

  1. 優勢な構造の近くの所望の構造の強調像を作成する方法において、
    a)優勢な構造と弱い所望の構造とを含む三次元測定データ・セットIを取得するステップ、
    b)所定の閾値Cを前記データ・セットIに適用することにより、優勢な構造および所望の構造と共にノイズも含む3D二進データ・セットX={I>C}を作成するステップ、
    c)前記3D二進データ・セットXを平滑化することにより、実質的に所望の構造を除去し且つノイズを低減した平滑化データ・セットYを作成するステップ、
    d)前記平滑化データ・セットYを拡張することにより作成された拡張データ・セットから前記平滑化データ・セットYを減算することにより、前記3D二進データ・セットXから、所望の構造を含んでいるが実質的に優勢な構造を除去した3DマスクMを作成するステップ、
    e)前記マスクMを元のデータ・セットIと交差させることにより、所望の構造を含み且つ優勢な構造を除いた強調データ・セットE=M∩Iを作成するステップ、並びに
    f)前記強調データ・セットEを通常のイメージング技術により処理して表示することにより、強調像を作成するステップ、
    を有することを特徴とする前記方法。
  2. 更に、前記ステップf)の前に、g)前記強調データ・セットEの所望の構造内の、ユーザにより定められた「シード」を受け取るステップ、およびh)実質的に前記シードと同じ値を持つ、同じ源タイプを表す前記強調データ・セットE内の固体領域を決定し、該領域を前記シードに直接に又は同じ源タイプを介して物理的に連結するステップを含んでいる請求項1記載の方法。
  3. 前記ステップc)が、半径rを持つ構造要素Bを使用して浸食を行うことにより、浸食データ・セット(XΘB)を作成するステップ、並びに半径rを持つ構造要素Bで前記浸食データ・セット(XΘB)を拡張することにより、実質的に所望の構造を除外し且つノイズを低減した平滑化データ・セットYを作成するステップを有している請求項1記載の方法。
  4. 前記ステップd)が、前記平滑化データ・セットYを構造要素Bで拡張することにより拡張データ・セット
    Figure 0004209017
    を作成するステップ、並びに
    前記拡張データ・セット
    Figure 0004209017
    から前記平滑化データ・セットYを減算することにより、
    Figure 0004209017
    を作成するステップ、
    を有している請求項1記載の方法。
  5. 前記ステップf)が、所定の観察点から前記強調データ・セットEを通る複数の最大強度投影(MIP),πを行うことにより、像A=π(I∩M)=πEを作成することを有している請求項1乃至4のいずれかに記載の方法。
  6. 前記ステップf)が、複数の相次ぐ観察点から前記強調データ・セットEを通る複数の最大強度投影(MIP),πを行うことにより、複数の像Aを作成するステップ、および前記複数の像Aを再生して、あたかも観察者が所望の構造の周りを動いているかのように所望の構造の映画を作成するステップを有している請求項1乃至4のいずれかに記載の方法。
  7. 強調冠状動脈像を作成する方法において、
    a)優勢な血液プール源および該血液プールを囲む弱い源である冠状動脈を含む三次元血管造影データ・セットIを取得するステップ、
    b)所定の閾値Cを前記データ・セットIに適用することにより、血液プールおよび冠状動脈と共にノイズも含む3D二進データ・セットX={I>C}を作成するステップ、
    c)前記3D二進データ・セットXを平滑化することにより、実質的に冠状動脈を除去し且つノイズを低減した平滑化血液プールYを作成するステップ、
    d)前記平滑化血液プールYを拡張することにより作成された拡張血液プールから前記平滑化血液プールを減算することにより、前記3D二進データ・セットXから、冠状動脈を含んでいるが実質的に血液プールを除去した3DマスクMを作成するステップ、
    e)前記マスクMを元のデータ・セットIと交差させることにより、冠状動脈を含み且つ優勢な血液プールを除いた強調データ・セットE=M∩Iを作成するステップ、並びに
    f)前記強調データ・セットEを通常のイメージング技術により処理して表示することにより、冠状動脈の強調像を作成するステップ、を有することを特徴とする前記方法。
  8. 更に、前記ステップf)の前に、
    g)前記強調データ・セットEの冠状動脈内の、ユーザにより定められた「シード」を受け取るステップ、および
    h)実質的に前記シードと同じ値を持つ、同じ組織タイプを表す前記強調データ・セットE内の固体領域を決定し、該領域を前記シードに直接に又は同じ組織タイプを介して物理的に連結するステップを含んでいる請求項7記載の方法。
  9. 前記ステップc)が、半径rを持つ構造要素Bを使用して浸食を行うことにより、浸食データ・セット(XΘB)を作成するステップ、並びに半径rを持つ構造要素Bで前記浸食データ・セット(XΘB)を拡張することにより、冠状動脈を含まないがノイズを低減した平滑化血液プールYを作成するステップを有している請求項7記載の方法。
  10. 前記ステップd)が、前記平滑化血液プールYを構造要素Bで拡張することにより拡張血液プール
    Figure 0004209017
    を作成するステップ、並びに
    前記拡張血液プール
    Figure 0004209017
    から前記平滑化血液プールYを減算することにより、
    Figure 0004209017
    を作成するステップ、
    を有している請求項7記載の方法。
  11. 前記ステップf)が、所定の観察点から前記強調データ・セットEを通る複数の最大強度投影(MIP),πを行うことにより、冠状動脈造影像A=π(I∩M)=πEを作成することを有している請求項7乃至10のいずれかに記載の方法。
  12. 前記ステップf)が、複数の相次ぐ観察点から前記強調データ・セットEを通る複数の最大強度投影(MIP),πを行うことにより、複数の冠状動脈造影像Aを作成するステップ、および前記複数の冠状動脈造影像Aを再生して、あたかも観察者が冠状動脈の周りを動いているかのように冠状動脈の映画を作成するステップを有している請求項7乃至10のいずれかに記載の方法。
  13. 優勢な構造の近くの所望の構造の強調像を作成する装置において、a)優勢な構造と弱い所望の構造とを含む三次元測定データ・セットIを取得する手段、b)所定の閾値Cを前記データ・セットIに適用することにより、優勢な構造および所望の構造と共にノイズも含む3D二進データ・セットX={I>C}を作成する手段、c)前記3D二進データ・セットXを平滑化することにより、実質的に所望の構造を除去し且つノイズを低減した平滑化データ・セットYを作成する手段、d)前記平滑化血液プールYを拡張することにより作成された拡張血液プールから前記平滑化血液プールを減算することにより、前記3D二進データ・セットXから、所望の構造を含んでいるが実質的に優勢な構造を除去した3DマスクMを作成する手段、e)前記マスクMを元のデータ・セットIと交差させることにより、所望の構造を含み且つ優勢な構造を除いた強調データ・セットE=M∩Iを作成する手段、並びにf)前記強調データ・セットEを通常のイメージング技術により処理して表示することにより、強調像を作成する手段、を有することを特徴とする前記装置。
  14. 強調冠状動脈像を作成する装置において、a)優勢な血液プール源および該血液プールを囲む弱い源である冠状動脈を含む三次元血管造影データ・セットIを取得する手段、b)所定の閾値Cを前記データ・セットIに適用することにより、血液プールおよび冠状動脈と共にノイズも含む3D二進データ・セットX={I>C}を作成する手段、c)前記3D二進データ・セットXを平滑化することにより、実質的に冠状動脈を除去し且つノイズを低減した平滑化血液プールYを作成する手段、d)前記平滑化血液プールYを拡張することにより作成された拡張血液プールから前記平滑化血液プールを減算することにより、前記3D二進データ・セットXから、冠状動脈を含んでいるが実質的に血液プールを除去した3DマスクMを作成する手段、e)前記マスクMを元のデータ・セットIと交差させることにより、冠状動脈を含み且つ優勢な血液プールを除いた強調データ・セットE=M∩Iを作成する手段、並びにf)前記強調データ・セットEを通常のイメージング技術により処理して表示することにより、冠状動脈の強調像を作成する手段、を有することを特徴とする前記装置。
JP31870598A 1997-11-10 1998-11-10 所望の構造の強調像を作成する方法および装置 Expired - Lifetime JP4209017B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/967,654 US6058218A (en) 1997-11-10 1997-11-10 Enhanced visualization of weak image sources in the vicinity of dominant sources
US08/967654 1997-11-10

Publications (2)

Publication Number Publication Date
JPH11242739A JPH11242739A (ja) 1999-09-07
JP4209017B2 true JP4209017B2 (ja) 2009-01-14

Family

ID=25513119

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31870598A Expired - Lifetime JP4209017B2 (ja) 1997-11-10 1998-11-10 所望の構造の強調像を作成する方法および装置

Country Status (4)

Country Link
US (1) US6058218A (ja)
JP (1) JP4209017B2 (ja)
DE (1) DE19851597B4 (ja)
IL (1) IL126846A (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6476873B1 (en) * 1998-10-23 2002-11-05 Vtel Corporation Enhancement of a selectable region of video
US6155978A (en) * 1998-12-09 2000-12-05 General Electric Company Three-dimensional imaging by projecting morphologically filtered pixel data
US6522786B1 (en) * 1999-06-14 2003-02-18 General Electric Company Gradient filter and method for three dimensional NMR data set
US6718054B1 (en) 1999-06-23 2004-04-06 Massachusetts Institute Of Technology MRA segmentation using active contour models
EP1208535A1 (en) * 1999-06-23 2002-05-29 Massachusetts Institute Of Technology Mra segmentation using active contour models
US20030053669A1 (en) * 2001-07-18 2003-03-20 Marconi Medical Systems, Inc. Magnetic resonance angiography method and apparatus
IL132266A0 (en) * 1999-10-07 2001-03-19 Elgems Ltd Image navigation
US6438403B1 (en) 1999-11-01 2002-08-20 General Electric Company Method and apparatus for cardiac analysis using four-dimensional connectivity
US7286866B2 (en) * 2001-11-05 2007-10-23 Ge Medical Systems Global Technology Company, Llc Method, system and computer product for cardiac interventional procedure planning
US7024027B1 (en) 2001-11-13 2006-04-04 Koninklijke Philips Electronics N.V. Method and apparatus for three-dimensional filtering of angiographic volume data
US6842638B1 (en) 2001-11-13 2005-01-11 Koninklijke Philips Electronics N.V. Angiography method and apparatus
US7397937B2 (en) * 2001-11-23 2008-07-08 R2 Technology, Inc. Region growing in anatomical images
US7346381B2 (en) * 2002-11-01 2008-03-18 Ge Medical Systems Global Technology Company Llc Method and apparatus for medical intervention procedure planning
US7778686B2 (en) * 2002-06-04 2010-08-17 General Electric Company Method and apparatus for medical intervention procedure planning and location and navigation of an intervention tool
US20040208385A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for visually enhancing images
US7747047B2 (en) * 2003-05-07 2010-06-29 Ge Medical Systems Global Technology Company, Llc Cardiac CT system and method for planning left atrial appendage isolation
US7343196B2 (en) * 2003-05-09 2008-03-11 Ge Medical Systems Global Technology Company Llc Cardiac CT system and method for planning and treatment of biventricular pacing using epicardial lead
US7565190B2 (en) * 2003-05-09 2009-07-21 Ge Medical Systems Global Technology Company, Llc Cardiac CT system and method for planning atrial fibrillation intervention
US7813785B2 (en) * 2003-07-01 2010-10-12 General Electric Company Cardiac imaging system and method for planning minimally invasive direct coronary artery bypass surgery
DE10340544B4 (de) * 2003-09-01 2006-08-03 Siemens Ag Vorrichtung zur visuellen Unterstützung einer elektrophysiologischen Katheteranwendung im Herzen
DE10340546B4 (de) 2003-09-01 2006-04-20 Siemens Ag Verfahren und Vorrichtung zur visuellen Unterstützung einer elektrophysiologischen Katheteranwendung im Herzen
US20050084173A1 (en) * 2003-10-15 2005-04-21 Smith David R. Laminograph deshadowing
US7308299B2 (en) * 2003-10-22 2007-12-11 General Electric Company Method, apparatus and product for acquiring cardiac images
US7233329B2 (en) * 2003-11-03 2007-06-19 Siemens Corporate Research, Inc. Rendering for coronary visualization
US7308297B2 (en) * 2003-11-05 2007-12-11 Ge Medical Systems Global Technology Company, Llc Cardiac imaging system and method for quantification of desynchrony of ventricles for biventricular pacing
FR2864669B1 (fr) * 2003-12-24 2006-04-28 Ge Med Sys Global Tech Co Llc Procede pour ameliorer la visualisation d'un vaisseau
US7454248B2 (en) * 2004-01-30 2008-11-18 Ge Medical Systems Global Technology, Llc Method, apparatus and product for acquiring cardiac images
US7339585B2 (en) * 2004-07-19 2008-03-04 Pie Medical Imaging B.V. Method and apparatus for visualization of biological structures with use of 3D position information from segmentation results
US7327872B2 (en) * 2004-10-13 2008-02-05 General Electric Company Method and system for registering 3D models of anatomical regions with projection images of the same
US8515527B2 (en) * 2004-10-13 2013-08-20 General Electric Company Method and apparatus for registering 3D models of anatomical regions of a heart and a tracking system with projection images of an interventional fluoroscopic system
US7577311B2 (en) * 2005-05-03 2009-08-18 Eastman Kodak Company Color fringe desaturation for electronic imagers
JP4901212B2 (ja) * 2005-12-28 2012-03-21 株式会社東芝 医用画像処理装置
JP4851388B2 (ja) * 2007-05-16 2012-01-11 浜松ホトニクス株式会社 撮像装置
DE102007025678A1 (de) 2007-06-01 2008-12-04 Rwth Aachen Verfahren zur Bildverarbeitung und Bildverarbeitungseinrichtung
US7965879B2 (en) * 2007-07-26 2011-06-21 Siemens Medical Solutions Usa, Inc. System and method for detecting stripe artifacts in MIP rendered images
EP2191441A2 (en) * 2007-08-17 2010-06-02 Philips Intellectual Property & Standards GmbH Projection-based removal of high-contrast objects
US8588492B2 (en) 2007-11-20 2013-11-19 Koninklijke Philips N.V. Visualization of vascularization
JP4668289B2 (ja) * 2008-04-03 2011-04-13 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US8472076B2 (en) * 2009-08-05 2013-06-25 Canon Kabushiki Kaisha Detecting and removing blur of a character by comparison with the original image after a thinning and fattening operation
DE102010008243B4 (de) * 2010-02-17 2021-02-11 Siemens Healthcare Gmbh Verfahren und Vorrichtung zur Ermittlung der Vaskularität eines sich in einem Körper befindlichen Objektes
JP5704998B2 (ja) 2011-04-06 2015-04-22 キヤノン株式会社 光音響装置およびその制御方法
WO2015142445A1 (en) * 2014-03-21 2015-09-24 St. Jude Medical, Cardiology Division, Inc. Methods and systems for generating a multi-dimensional surface model of a geometric structure
FR3020700B1 (fr) * 2014-04-30 2016-05-13 Univ Bordeaux Methode pour la quantification de la presence de graisses dans une region du cœur
WO2024069547A1 (en) * 2022-09-29 2024-04-04 Novocure Gmbh Removal of background noise from image

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5319549A (en) * 1992-11-25 1994-06-07 Arch Development Corporation Method and system for determining geometric pattern features of interstitial infiltrates in chest images
US5368033A (en) * 1993-04-20 1994-11-29 North American Philips Corporation Magnetic resonance angiography method and apparatus employing an integration projection
US5659629A (en) * 1995-04-07 1997-08-19 General Electric Company Visualization of a multi-dimensional data set acquired with a surface receive coil

Also Published As

Publication number Publication date
DE19851597B4 (de) 2012-08-02
DE19851597A1 (de) 1999-05-12
IL126846A0 (en) 1999-09-22
JPH11242739A (ja) 1999-09-07
IL126846A (en) 2002-02-10
US6058218A (en) 2000-05-02

Similar Documents

Publication Publication Date Title
JP4209017B2 (ja) 所望の構造の強調像を作成する方法および装置
US7813785B2 (en) Cardiac imaging system and method for planning minimally invasive direct coronary artery bypass surgery
US7574026B2 (en) Method for the 3d modeling of a tubular structure
US4835688A (en) Three-dimensional image processing apparatus
JP5225387B2 (ja) ボリュームレンダリング装置及び方法
US7924279B2 (en) Protocol-based volume visualization
US20100189337A1 (en) Method for acquiring 3-dimensional images of coronary vessels, particularly of coronary veins
EP2856428B1 (en) Segmentation highlighter
JP2002282235A (ja) 医用画像の自動セグメント分割の方法
JP2003503136A (ja) 器官の特性を測定する方法およびシステム
DE112005001755T5 (de) System und Verfahren zur Baummodell-Visualisierung zur Erkennung von Lungenembolie
CN107527341A (zh) 血管造影图像的处理方法和系统
Bullitt et al. Volume rendering of segmented image objects
JP2834318B2 (ja) 三次元画像処理方法
US7233330B2 (en) Organ wall analysis with ray-casting
JP5289966B2 (ja) インターベンショナル手順中、シルエットレンダリング及び画像を表示するための画像処理システム及び方法
JP4473578B2 (ja) 体の構造の孤立した視覚化されたものを形成する方法及び装置
EP3828836B1 (en) Method and data processing system for providing a two-dimensional unfolded image of at least one tubular structure
Nyström et al. Skeletonization of volumetric vascular images—distance information utilized for visualization
Udupa et al. Automatic clutter-free volume rendering for MR angiography using fuzzy connectedness
JP4598910B2 (ja) 3次元画像表示装置
US6497662B2 (en) Rendering of a multi-dimensional object data set
JPH0728976A (ja) 画像表示装置
Kitslaar et al. Automated determination of optimal angiographic viewing angles for coronary artery bifurcations from CTA data
Peifer et al. 3-dimensional registration and visualization of reconstructed coronary arterial trees on myocardial perfusion distributions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080924

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081022

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131031

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term