JP4481824B2 - 血管のボーダーを識別するシステムおよび方法 - Google Patents

血管のボーダーを識別するシステムおよび方法 Download PDF

Info

Publication number
JP4481824B2
JP4481824B2 JP2004531263A JP2004531263A JP4481824B2 JP 4481824 B2 JP4481824 B2 JP 4481824B2 JP 2004531263 A JP2004531263 A JP 2004531263A JP 2004531263 A JP2004531263 A JP 2004531263A JP 4481824 B2 JP4481824 B2 JP 4481824B2
Authority
JP
Japan
Prior art keywords
border
image
data
ivus
control point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004531263A
Other languages
English (en)
Other versions
JP2005537052A (ja
Inventor
クリンゲンスミス、ジョン・ディー
ビンス、ディー・ジョオフリー
ネアー、アヌジャ
クバン、バリー・ディー.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cleveland Clinic Foundation
Original Assignee
Cleveland Clinic Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cleveland Clinic Foundation filed Critical Cleveland Clinic Foundation
Publication of JP2005537052A publication Critical patent/JP2005537052A/ja
Application granted granted Critical
Publication of JP4481824B2 publication Critical patent/JP4481824B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4461Features of the scanning mechanism, e.g. for moving the transducer within the housing of the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007Evaluating blood vessel condition, e.g. elasticity, compliance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A61B8/4488Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer the transducer being a phased array
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • A61B8/543Control of the diagnostic device involving acquisition triggered by a physiological signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/445Details of catheter construction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Quality & Reliability (AREA)
  • Gynecology & Obstetrics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、血管のボーダー、特に第2の血管イメージ上のボーダーを識別するために第1の血管イメージ(またはそこに位置する制御点)を使用するシステムおよび方法に関する。
本出願は2002年8月26日に出願された米国特許出願第60/406,148号明細書、米国特許出願第60/406,183号明細書、米国特許出願第60/406,184号明細書、米国特許出願第60/406,185号明細書、米国特許出願第60/406,234号明細書、米国特許出願第60/406,254号明細書の35 U.S.C. §119(e)に準ずる利点を請求しており、これら全ての出願は全体的に本出願の参考文献とされている。
本発明は医療画像化技術に関する。これは血管内超音波(IVUS)イメージ中のボーダーを識別するシステムおよび方法に対して特別な応用を発見する。本発明はIVUSイメージの管腔および内−外膜ボーダーの識別に関して説明するが、本発明はそれに限定されないことが認識されるべきである。したがって、例えば、血管イメージ中の任意のボーダー(または境界)の識別は本発明の技術的範囲内に含まれる。
患者の身体部分の超音波画像化は治療の最良のタイプおよびコースを決定するために医療実務の種々の分野で有効なツールを提供する。超音波技術による患者の冠状血管の画像化は医師に貴重な情報を提供することができる。例えば、イメージデータは患者の狭窄の程度を示し、病気の進行を明らかにし、血管形成術または腫切除術のような処置が示されるか、さらに侵襲性の処置が保証されるかが決定される。
典型的な超音波画像化システムでは、超音波トランスデューサは患者の身体を通して血管内のような問題の地点へ慎重に操作されるカテーテルの端部へ取付けられる。トランスデューサは選択された角度範囲にわたってセクタをカバーするために機械的に走査され、あるいは前後に回転される単一素子の結晶またはプローブである。音響信号がその後送信され、これらの音響信号からのエコー(または後方散乱)が受信される。後方散乱のデータはまた走査される組織のタイプまたは密度を識別するために使用されることができる。プローブがセクタを通して掃引されるとき、多数の音響ラインが処理され、患者のセクタ−形状のイメージを作成する。データが集められた後、血管のイメージ(即ちIVUSイメージ)は既知の技術を使用して再構成される。このイメージはその後、血管コンポーネントとプラーク内容を評価するために心臓科医によって視覚的に解析される。
典型的な解析には血管の内膣の寸法およびプラーク量の決定が含まれている。これは血管のイメージ(例えばIVUSイメージ)を生成し、医師が管腔および内−外膜ボーダーが位置されていると考えているイメージ上に形作られる境界を手で描くことにより行われる。これは非常に時間のかかるプロセスである。さらに、このプロセスは多数のイメージが解析される(例えば3次元の血管イメージを再生成する)とき、またはイメージの品質が悪い(例えば境界の観察をさらに困難にする)ときさらに困難である。したがって、これらの欠点の少なくとも1つを克服する血管イメージ上のボーダーを識別するシステムおよび方法を有することが有効である。
本発明は第2の血管イメージ上のボーダーを識別するために第1の血管イメージ、特に複数のそこに位置される制御点を使用するシステムおよび方法を提供する。本発明の実施形態は血管内超音波(IVUS)装置と、それに電気的に接続されているコンピュータ装置とにしたがって動作する。特に、本発明の1実施形態では、IVUSコンソールはカテーテルを介してコンピュータ装置およびトランスデューサと電気的に接続されている。トランスデューサは患者の血管に挿入され、IVUSデータ(即ち、血管データ、または血管の形状、その密度、その組成等を識別するために使用されることのできるデータ)を集めるために使用される。IVUSデータはその後、IVUSコンソールに提供され(またはIVUSコンソールにより捕捉され)、そこで血管のIVUSイメージを生成するために使用される。
IVUSデータ(またはその多数のセット)はコンピュータ装置に与えられる(またはコンピュータ装置により捕捉される)。本発明の1実施形態では、コンピュータ装置はそこで動作する複数のアプリケーション、即ち、ボーダー検出アプリケーション、補外アプリケーション、アクチブ−外形アプリケーションを含んでいる。これらのアプリケーションは(i)第1のIVUSイメージ(即ち任意のIVUSイメージ)上のボーダーおよび制御点を識別し、(ii)第2のIVUSイメージ(即ち別のIVUSイメージ)へ制御点を補外し、(iii)第2のIVUSイメージ上のボーダーを識別し、(iv)少なくとも1つのファクタにしたがって第2のIVUSイメージ上のボーダーを調節するために使用される。
特に、ボーダー検出アプリケーションは血管イメージ(例えばIVUSイメージ)上のボーダーを識別するように構成されている。本発明の1実施形態では、これはそこに位置するある勾配を決定するために、IVUSイメージ、またはIVUSイメージに対応するIVUSデータを解析することにより行われる。これは血管オブジェクトのボーダーが画素の色における変化(例えば明から暗、暗から明、陰影1から陰影2等)することにより識別されることができるためである。ボーダーが一度識別されると、ボーダー検出アプリケーションは識別されたボーダー上の少なくとも1つの制御点(即ち開始制御点)を識別するために使用される。その後、補外アプリケーションは少なくとも1つの他のIVUSイメージ上の少なくとも1つの制御点(即ち付加的な制御点)を識別するために使用される。本発明の好ましい実施形態では、これは先に識別された制御点(即ち開始制御点)を少なくとも1つの他のIVUSイメージに補外することにより行われる。制御点が補外されると、補外アプリケーションは補外された点を通るボーダーを識別(または近似)するように構成されている。
その後、アクチブ−外形アプリケーションが血管オブジェクトの実際のボーダーに対してさらに緊密に一致するように近似されたボーダー(即ち補外された点を通るボーダー)を調節するために使用される。そうすることで、アクチブ−外形アプリケーションは少なくとも(i)イメージ勾配(即ち勾配ファクタ)と、(ii)各補外された点に対するボーダーの近接度(即ち連続性または制御点ファクタ)および/または(iii)ボーダーの湾曲または平滑度(即ち湾曲または境界ファクタ)を考察または考慮に入れることができる。特に、勾配ファクタは(ボーダーの画素とは反対に)近傍画素がボーダー特性(例えば暗−明変位等)を含んでいる場合には、ボーダーを調節するのに使用されることができる。換言すると、近傍画素がボーダーのような特性(または少なくともボーダーを形成する画素よりもこのような特性)を含んでいるならば、ボーダーは調節される。連続性ファクタおよび湾曲ファクタはボーダーが各補外された点を通り、それぞれ任意の急峻な転移(例えばコーナー等)を含まないことを確実にするために使用されることができる。本発明の1実施形態では、アクチブ−外形アプリケーションはさらに、ボーダーが手動で調節されるならば、隣接するイメージ上の関連するボーダーを調節するように構成されている。
IVUSイメージ上のボーダーを識別するシステムおよび方法は、その付加的な利点および目的の認識と共に、好ましい実施形態の以下の詳細な説明を考慮することによって、当業者により完全に理解されるであろう。最初に簡単に説明されている添付図面を参照にする。
本発明は、第2の血管イメージ上のボーダーを識別するため、第1の血管イメージまたは特にそこに位置する複数の制御点を使用するシステムおよび方法を提供する。以下の詳細な説明では、同一の符号のエレメントは1以上の図面に示されている同一のエレメントを示すために使用されている。
本発明の実施形態は血管内超音波(IVUS)装置およびそれに電気的に接続されているコンピュータ装置によって動作する。図1は本発明の1実施形態にしたがった血管−ボーダー−識別システム10を示している。特に、IVUSコンソール110はコンピュータ装置120と接続され、またカテーテル112を介してトランスデューサ114に電気的に接続されている。トランスデューサ114は患者の血管(図示せず)中に挿入され、IVUSデータ(即ち血管データ、または血管の形状、その密度、その組成等の識別に使用されることができるデータ)を集めるために使用される。IVUSデータはその後、IVUSコンソール110に与えられ(またはIVUSコンソール110により捕捉され)、そこで血管のIVUSイメージを生成するために使用される。
特に、IVUSデータは典型的に、回転トランスデューサまたは周囲に位置されているトランスデューサのアレイを通してセグメントで集められ、ここで各セグメントはIVUSイメージの角度部分を表す。したがって、血管オブジェクトの断面全体を画像化するには複数のセグメント(またはIVUSデータのセット)が採取される。さらに、IVUSデータの多数のセットは典型的に(例えば血管を通して直線的にトランスデューサを動かすことにより)血管オブジェクト内の多数の位置から集められる。これらのデータの多数のセットは複数の2次元(2D)イメージまたは1つの3次元(3D)イメージを生成するために使用されることができる。本発明はIVUS装置の使用(またはIVUSデータの捕捉)に限定されず、さらにサーモグラフィ装置、光学装置(例えば光コヒーレンス断層撮影(OCT)コンソール)、MRI装置、または当業者に通常知られている任意の血管画像化装置を含むことができることが認識されるべきである。さらに図1に示されているコンピュータ装置は、パーソナルコンピュータまたは当業者に通常知られている任意の他のデータ処理装置(汎用目的または用途特定)を含むがそれらに限定されないことが認識されるべきである。
IVUSデータ(またはその多数のセット)はその後、コンピュータ装置120へ与えられる(またはコンピュータ装置120により捕捉される)。本発明の1実施形態では、コンピュータ装置120はそこで動作する複数のアプリケーション、即ちボーダー検出アプリケーション122、補外アプリケーション124、アクチブ−外形アプリケーション126を含んでいる。これらのアプリケーションは(i)第1のIVUSイメージ(即ち任意のIVUSイメージ)上のボーダーおよび制御点を識別し、(ii)第2のIVUSイメージ(即ち別のIVUSイメージ)へ制御点を補外し、(iii)第2のIVUSイメージ上のボーダーを識別し、(iv)第2のIVUSイメージ上のボーダーを調節するために使用される。図1に示されているアプリケーションの数および/または位置は本発明を限定する意図はなく、単に本発明が動作する環境を示すために与えられていることが認識されるべきである。したがって、例えばここで説明するようにアプリケーション機能を実行するために単一のアプリケーションを使用すること、または少なくとも1つのアプリケーションを(全体的または部分的に)遠隔に位置させることは本発明の技術的範囲内である。さらに、本発明を特異性(例えば1つのIVUSイメージ上のボーダーを識別し、制御点を別のIVUSイメージに補外する等)に関して説明するが、本発明はそれに限定されないことがさらに認識されるべきである。実際に、本発明はそれが複数のIVUSイメージで使用される(例えば5番目毎のIVUSイメージのボーダーを識別し、第5のIVUSイメージからの制御点を次の4つのIVUSイメージに補外する等)ならば、特に有効である。用語“第1”および“第2”はこれらの用語がここで使用されるとき、任意の2つのIVUSイメージを区別するために広い意味で使用されることも認識されるべきである。したがって用語“第2のIVUSイメージ”は(一連のIVUSイメージの2番目のIVUSイメージではなく)第1のIVUSイメージとは異なるIVUSイメージを識別するために使用されることができる。
血管オブジェクトは幾つかの識別可能なボーダーを含んでいる。例えば管腔ボーダーは血−内膜のインターフェースの境界を画定し、内−外膜ボーダーは外部の弾性膜(内膜と外膜との間の境界)の境界を画定する。これらのボーダーを識別することにより、それらの間に位置するプラーク−内膜の複合体が解析および/または計算されることができる。本発明は任意の特定のボーダーの識別に限定されず、当業者に通常知られている全ての血管境界を含むことが認識されるべきである。
図1に戻ると、ボーダー検出アプリケーション122は血管イメージ(例えばIVUSイメージ)上の境界を識別するように構成されている。本発明の1実施形態では、これはそこに位置するある勾配を決定するためIVUSイメージ、またはIVUSイメージに対応するIVUSデータを解析することにより行われる。これは血管オブジェクトのボーダーが画素の色の変化(例えば明から暗、暗から明、陰影1から陰影2等)により識別されることができるためである。
例えば、図2は血管オブジェクトの例示的なIVUSイメージ20を示している。中心から開始し、外方向に動作して、カテーテルは第1の明−暗転移(または勾配)により識別されることができる。カテーテルのボーダーはさらに図3(即ち330)で識別される。図2に戻ると、外方向に継続して、次の暗−明転移(または勾配)は管腔ボーダーを識別する(即ち、図3の320参照)。内−外膜ボーダーはその後、次の暗−明転移(または勾配)が発見されるまで、管腔ボーダーから外方向に進むことにより識別されることができる(図3の310参照)。IVUSイメージはグレースケールを使用して構成されるので、これはイメージが明から暗に変化する(またはその逆)個所を正確に識別するためにアルゴリズムおよび/または少なくとも1つのしきい値を使用することが必要であることが認識されるべきである。しかしながら、本発明は前述の転移を識別するための任意の特定のアルゴリズムに限定されず、当業者に通常知られている全てのアルゴリズム(および/またはしきい値)を含むことがさらに認識されるべきである。
ボーダーが一度識別されると、ボーダー検出アルゴリズムはさらにボーダー上の少なくとも1つの制御点を識別するように構成されている。例えば図3および4を参照すると、ボーダー検出アルゴリズムは管腔ボーダー320上の複数の制御点22を識別するために使用されることができる。図4に示されている制御点の位置および数は本発明を限定する意図はなく、単に本発明が動作する環境を示すために与えられていることが認識されるべきである。別の実施形態では、ボーダー検出アプリケーション122はユーザ識別された制御点を使用してボーダーを識別するように構成されている。このような実施形態は2002年4月30日に出願された米国特許第6,381,350号明細書に詳細に説明され、この出願は全体的に本出願の参考文献とされている。
図1に戻ると、一度ボーダーおよび制御点が第1の血管イメージ上で識別されると、補外アプリケーション124が少なくとも1つの他のIVUSイメージ上の少なくとも1つの制御点を識別するために使用される。本発明の好ましい実施形態では、これは先に識別された制御点を少なくとも1つの他のIVUSイメージに補外することにより行われる。そうすることにより、多数の2次元イメージ(または少なくとも1つの3次元イメージ)が生成されることができる。例えば、図5に示されているように多数の2次元イメージ(例えば20、52a−52d等)は管状(例えば血管)オブジェクト50の3次元イメージを生成するために使用される。
図6は識別された制御点がどのようにして別のIVUSイメージに補外されることができるかを示している。特に、図4(即ち22)で示された制御点は別のIVUSイメージ(例えば52d)に補外(またはコピー)され、したがって制御点62の第2のセットを生成する。本発明の1実施形態では、制御点はデカルト座標を使用して補外される。図6は近くのイメージに制御点が補外されていることを示しているが、本発明はそれに限定されないことが認識されるべきである。したがって、制御点を付加的なイメージ(例えば52a、52b等)へ補外することは本発明の技術的範囲内のものである。
一度制御点が補外されると、補外アプリケーションはさらに補外された点に基づいてボーダーを識別(または近似)するように構成される。例えば図6に示されているように、補外された点62は複数のライン64を使用して接続されることができ、ここでラインは直線または曲線(図示せず)である。本発明の別の実施形態では、補外アプリケーションはラインの形状を識別するためのアルゴリズム(例えば立方補間アルゴリズム等)を使用するように構成される。
図1に戻ると、アクチブ−外形アプリケーション126はその後、血管オブジェクトの実際のボーダーに対してさらに緊密に一致するようにボーダーを調節するために使用される。そうすることで、アクチブ−外形アプリケーション126は少なくとも(i)イメージ勾配(即ち勾配データ)と、(ii)補外された各点に対するボーダーの近接度(即ち連続性または制御点ファクタ)および/または(iii)ボーダーの湾曲または平滑度(即ち湾曲または境界ファクタ)を考察し、または考慮に入れることができる。特に、勾配データ(または勾配ファクタ)を考慮することにより、ボーダーは(ボーダーの画素とは反対に)近傍画素がボーダー特性(例えば暗−明転移等)を含んでいるならば、調節されることができる。連続性または制御点ファクタを考慮することにより、ボーダーはそれが各補外された点を通るように調節されることができる。さらに、湾曲または境界ファクタを考慮することにより、ボーダーは急峻な転移(例えば角等)を阻止するために調節されることができる。本発明の1実施形態では、連続性および湾曲ファクタはまた近接イメージ上の関連するボーダーを接続するために使用される。多数のファクタが考慮される場合に、個々のファクタは他よりも重くされることができることが認識されるべきである。これはファクタが異なる結果を生じる場合には重要になる(例えば勾配ファクタは補外される点から離れるようにボーダーを調節すること等を示唆する)。アクチブ−外形アプリケーションはボーダー検出アプリケーションにより識別されたボーダーを調節するためにも使用されることができることがさらに認識されるべきである。本発明はボーダーを最適化するための前述のファクタの使用に限定されず、ボーダーを調節(または最適化するための)付加的なファクタ(例えば周波数ファクタ等)の使用は本発明の技術的範囲内に含まれることも認識されるべきである。
本発明の1実施形態では、調節されたボーダーは手作業で操作されるように構成されている。換言すると、ボーダー上の少なくとも1つの点が選択され、新しい位置に手作業で移動されることができる。アクチブ−外形アプリケーションはその後、(前述したように)ボーダーを再構成するために使用される。本発明の別の実施形態では、アクチブ−外形アプリケーションはさらに近接するイメージの関連するボーダーを調節するように構成されている。これは(例えば多数のIVUSイメージ上で識別されるように)複数の関連するボーダーの表面にわたって幾何学モデル(例えばテンソル積のBスプライン等)を適合することにより行われる。幾何学モデル上の複数の点はその後パラメータ化され、等式の条件付の最小二乗システムに公式化される。ボーダー上の点が手作業で動かされるならば、アクチブ−外形アプリケーションは結果的な表面(または制御点のメッシュ)を計算するためにこれらの式を使用することができる。影響されたボーダー(例えば隣接するボーダー)はその後、対応して調節されることができる。
一度ボーダーが十分に調節されると、前述のプロセスは付加的なボーダーを識別するために反復されることができる。本発明の別の実施形態では、多数のボーダー(例えば管膣および内−外膜ボーダー)が同時に識別される。多数のボーダーはその後、(2次元または3次元で)画像化され、熟練した医者またはコンピュータアルゴリズムにより解析されることができる。例えば図7に示されているように、管膣74および内−外膜ボーダー76は血管オブジェクトのプラ−ク−内膜複合体78を識別するために(医師またはアルゴリズムにより)使用されることができる。
血管イメージ上のボーダーを識別する1方法が図8に示されている。特にステップ810で、IVUSデータの多数のセットが捕捉され、ここでIVUSデータの各セットは2次元のIVUSイメージに対応する。ステップ812で、ボーダーは1つのIVUSイメージ(例えば勾配データ等を使用して)において近似される。近似されたボーダー上の制御点はその後ステップ814で識別される。ステップ816で、これらの制御点はその後、(例えば補外等によって)付加的な2次元IVUSイメージ上の付加的な制御点を識別するために使用される。これらの付加的な制御点はその後、ステップ818で少なくとも1つの他のボーダーを近似するために使用され、これはその後ステップ820で調節される。1実施形態では、ボーダーは少なくとも勾配データにしたがって調節される。
以上、血管イメージ上のボーダーを識別するシステムおよび方法の好ましい実施形態を説明したが、システムのある利点が実現されることが当業者に明白であろう。種々の変形、適合、およびその別の実施形態が本発明の技術的範囲内で行われることができることもまた認識されねばならない。本発明はさらに特許請求の範囲により規定される。
本発明の1実施形態による血管−ボーダー識別システムの概略図。 例示的な血管内超音波(IVUS)イメージを示す図。 IVUSイメージで識別されることのできる複数のボーダーの説明図。 図3で示されている1つのボーダー上の複数の制御点を示す図。 複数の2次元血管イメージが3次元血管イメージの生成に使用されることのできる態様を示す図。 第1のイメージ(例えば図4に示されているイメージ)からの制御点が第2のイメージに補外される態様の説明図。 管腔境界、内−外膜境界、その間に位置するプラ−クコンポーネントを含んでいる血管イメージを示す説明図。 本発明の1実施形態にしたがった血管オブジェクトのボーダーを識別する方法を示すフロー図。

Claims (20)

  1. 血管オブジェクトのボーダーを識別するコンピュータ装置の制御方法において、
    データ収集装置が集収した、それぞれ血管オブジェクトのイメージに対応している各血管データの多数のセットをコンピュータ装置によって受取るように制御し
    前記血管オブジェクトのイメージ上のボーダーを近似するために血管データのセットをコンピュータ装置によって使用するように制御し、
    前記ボーダー上にある少なくとも1つの制御点を特定し、
    前記少なくとも1つの制御点を少なくとも1つの血管データの他のセットにコンピュータ装置によって補外するように制御し、少なくとも1つの他のイメージ上に少なくとも1つの他の制御点をコンピュータ装置によって生成するように制御し、
    前記少なくとも1つの他のイメージ上の少なくとも1つの他のボーダーを近似するように前記少なくとも1つの他の制御点をコンピュータ装置によって使用するように制御し、
    少なくとも1つの勾配ファクタにしたがって前記少なくとも1つの他のボーダーをコンピュータ装置によって調節するように制御するステップを含んでいる方法。
  2. 血管データの多数のセットを受取るように制御する前記ステップはさらに、血管内超音波(IVUS)データの多数のセットの受取りを含み、各セットは前記血管オブジェクトの1つのIVUSイメージに対応している請求項1記載の方法。
  3. ボーダーを近似するために血管データのセットを使用するように制御する前記ステップはさらに、前記イメージの勾配を識別し、前記血管オブジェクトの前記イメージ上の前記ボーダーを近似するために前記勾配を使用するステップを含んでいる請求項1記載の方法。
  4. 前記少なくとも1つの制御点を補外するように制御する前記ステップはさらに、前記少なくとも1つの制御点を血管データの隣接するセットに補外するステップを含み、前記隣接するセットは前記イメージに隣接する別のイメージに対応している請求項1記載の方法。
  5. 前記少なくとも1つの他のボーダーを調節するように制御する前記ステップは、少なくとも1つの連続性ファクタにしたがった前記少なくとも1つの他のボーダーの調節を含み、前記連続性ファクタは前記少なくとも1つの他のボーダー上にある隣接する制御点の間の連続性の量を表している請求項1記載の方法。
  6. 前記少なくとも1つの他のボーダーを調節するように制御する前記ステップは、少なくとも1つの湾曲ファクタにしたがった前記少なくとも1つの他のボーダーの調節を含み、前記湾曲ファクタは前記少なくとも1つの他のボーダーの隣接する部分間の連続性の量を表している請求項1記載の方法。
  7. 前記少なくとも1つの他のボーダーを調節するように制御する前記ステップは、少なくとも1つの湾曲ファクタにしたがった前記少なくとも1つの他のボーダーの調節を含み、前記湾曲ファクタは前記少なくとも1つの他のボーダーの隣接する部分間の連続性の量を表している請求項5記載の方法。
  8. さらに、前記ボーダーが手動で調節されるならば、自動的に隣接するボーダーを調節するステップを含み、前記隣接するボーダーは前記別のイメージ上に位置されている請求項4記載の方法。
  9. ボーダー識別システムにおいて、
    データ集収装置に電気的に接続され、前記データ集収装置から血管オブジェクトのイメージにそれぞれ対応している血管データの多数のセットを捕捉するように構成されているコンピュータ装置と、
    前記コンピュータ装置で動作するボーダー検出アプリケーションと、
    前記コンピュータ装置で動作する補外アプリケーションと、
    前記コンピュータ装置で動作するアクチブ−外形アプリケーションとを具備し、
    前記ボーダー検出アプリケーションは、開始ボーダーデータおよび開始制御点データを生成するために前記血管データの少なくとも一部を使用するように構成され、前記開始ボーダーデータは前記血管オブジェクトの少なくとも1つのイメージ上の少なくとも1つのボーダーを表し、前記開始制御点データは前記少なくとも1つのボーダー上にある少なくとも1つの制御点を表しており、
    前記補外アプリケーションは、付加的な制御点データと付加的なボーダーデータを生成するために前記開始制御点データを使用するように構成され、前記付加的な制御点データは少なくとも1つの他のイメージ上の少なくとも1つの他の制御点を表し、前記付加的なボーダーデータは前記少なくとも1つの他のイメージ上の少なくとも1つの他のボーダーを表しており、
    前記アクチブ−外形アプリケーションは、前記少なくとも1つの他のボーダーを調節するように構成されているボーダー識別システム。
  10. 前記データ集収装置は血管内超音波(IVUS)コンソールを具備している請求項9記載のボーダー識別システム。
  11. 前記ボーダー検出アプリケーションはさらに、前記少なくとも1つのイメージ中の勾配を識別し、開始ボーダーデータを生成するために前記勾配を使用するように構成されている請求項9記載のボーダー識別システム。
  12. 前記ボーダー検出アプリケーションはさらに、前記開始制御点データを生成するために前記開始ボーダーデータを使用するように構成されている請求項11記載のボーダー識別システム。
  13. 前記補外アプリケーションはさらに、前記少なくとも1つの他の制御点の隣接する点を接続するために立方補間を使用することにより前記付加的なボーダーデータを生成するように構成されている請求項9記載のボーダー識別システム。
  14. 前記アクチブ−外形アプリケーションはさらに、前記少なくとも1つの他のボーダーを調節するために勾配データを使用するように構成され、前記勾配データは前記少なくとも1つの他のイメージにおける勾配を表している請求項9記載のボーダー識別システム。
  15. 前記アクチブ−外形アプリケーションはさらに、前記少なくとも1つの他のボーダーを調節するため、前記少なくとも1つの他の制御点の隣接する1つの制御点の連続性を維持するように構成されている請求項14記載のボーダー識別システム。
  16. 前記アクチブ−外形アプリケーションはさらに、前記少なくとも1つの他のボーダーの曲率に基づいて、前記少なくとも1つの他のボーダーを調節するように構成されている請求項15記載のボーダー識別システム。
  17. 前記アクチブ−外形アプリケーションはさらに、少なくとも1つのファクタにしたがって前記少なくとも1つの他のボーダーを調節するように構成され、前記少なくとも1つのファクタは、勾配ファクタ、連続性ファクタ、湾曲ファクタからなるグループから選択される請求項9記載のボーダー識別システム。
  18. 血管内超音波(IVUS)イメージ上で境界を識別するコンピュータ装置の制御方法において、
    第2のIVUSイメージ上の付加的な制御点を特定するために第1のIVUSイメージ上で複数の制御点をコンピュータ装置によって使用するように制御し、
    前記第2のIVUSイメージ上の境界を識別するために前記付加的な制御点をコンピュータ装置によって使用するように制御し、
    少なくとも1つのファクタにしたがって前記境界をコンピュータ装置によって調節するように制御するステップを含んでおり、前記少なくとも1つのファクタは勾配ファクタ、制御点ファクタ、および境界ファクタからなるグループから選択され、前記制御点ファクタは前記付加的な制御点の隣接する1つの制御点への接続性に対応し、前記境界ファクタは前記境界の湾曲に対応している方法。
  19. さらに、前記複数の制御点を特定するため第1のIVUSデータの少なくとも一部をコンピュータ装置によって使用するように制御するステップを含み、前記第1のIVUSデータは前記第1のIVUSイメージに対応している請求項18記載の方法。
  20. 第2のIVUSイメージ上の付加的な制御点を特定するために第1のIVUSイメージ上の複数の制御点を使用するように制御する前記ステップはさらに、前記第2のIVUSイメージ上の前記複数の制御点を補外するステップを含んでいる請求項18記載の方法。
JP2004531263A 2002-08-26 2003-08-26 血管のボーダーを識別するシステムおよび方法 Expired - Lifetime JP4481824B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US40618402P 2002-08-26 2002-08-26
US40618502P 2002-08-26 2002-08-26
US40623402P 2002-08-26 2002-08-26
US40618302P 2002-08-26 2002-08-26
US40625402P 2002-08-26 2002-08-26
PCT/US2003/027075 WO2004017823A2 (en) 2002-08-26 2003-08-26 System and method for identifying a vascular border

Publications (2)

Publication Number Publication Date
JP2005537052A JP2005537052A (ja) 2005-12-08
JP4481824B2 true JP4481824B2 (ja) 2010-06-16

Family

ID=31950871

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2004529932A Expired - Lifetime JP4773092B2 (ja) 2002-08-26 2003-08-25 血管データを捕捉するシステムおよび方法
JP2004531161A Expired - Lifetime JP4933045B2 (ja) 2002-08-26 2003-08-25 血管組織を特徴付けするシステムおよび方法
JP2004531263A Expired - Lifetime JP4481824B2 (ja) 2002-08-26 2003-08-26 血管のボーダーを識別するシステムおよび方法
JP2010185312A Expired - Lifetime JP5362663B2 (ja) 2002-08-26 2010-08-20 血管データを捕捉するシステムおよび方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2004529932A Expired - Lifetime JP4773092B2 (ja) 2002-08-26 2003-08-25 血管データを捕捉するシステムおよび方法
JP2004531161A Expired - Lifetime JP4933045B2 (ja) 2002-08-26 2003-08-25 血管組織を特徴付けするシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2010185312A Expired - Lifetime JP5362663B2 (ja) 2002-08-26 2010-08-20 血管データを捕捉するシステムおよび方法

Country Status (11)

Country Link
EP (3) EP1534139B1 (ja)
JP (4) JP4773092B2 (ja)
AU (3) AU2003265645A1 (ja)
CY (1) CY1121385T1 (ja)
DK (1) DK1534139T3 (ja)
ES (1) ES2714163T3 (ja)
HU (1) HUE043507T2 (ja)
PT (1) PT1534139T (ja)
SI (1) SI1534139T1 (ja)
TR (1) TR201902962T4 (ja)
WO (3) WO2004017821A2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7215802B2 (en) * 2004-03-04 2007-05-08 The Cleveland Clinic Foundation System and method for vascular border detection
US7680307B2 (en) 2005-04-05 2010-03-16 Scimed Life Systems, Inc. Systems and methods for image segmentation with a multi-stage classifier
US7831081B2 (en) * 2005-08-15 2010-11-09 Boston Scientific Scimed, Inc. Border detection in medical image analysis
US7988633B2 (en) * 2005-10-12 2011-08-02 Volcano Corporation Apparatus and method for use of RFID catheter intelligence
US20070160275A1 (en) * 2006-01-11 2007-07-12 Shashidhar Sathyanarayana Medical image retrieval
US7627156B2 (en) * 2006-03-22 2009-12-01 Volcano Corporation Automated lesion analysis based upon automatic plaque characterization according to a classification criterion
CA2666313A1 (en) * 2006-10-10 2008-05-08 Cedara Software Corp. System and method for segmenting a region in a medical image
EP2111165B8 (en) * 2007-01-19 2017-10-04 Sunnybrook Health Sciences Centre Imaging probe with combined ultrasound and optical means of imaging
JP5789195B2 (ja) 2008-12-08 2015-10-07 シリコンバレー メディカル インスツルメンツ インコーポレイテッド 画像誘導のためのカテーテルのシステム
JPWO2012011414A1 (ja) * 2010-07-20 2013-09-09 オリンパスメディカルシステムズ株式会社 超音波診断装置
US9066685B2 (en) * 2010-12-31 2015-06-30 Volcano Corporation Multiple sclerosis therapeutic methods using therapeutic delivery devices and systems
EP2842498A1 (en) * 2011-03-31 2015-03-04 Olympus Medical Systems Corp. Ultrasonic observation apparatus, operation method of the ultrasonic observation apparatus, and operation program for the ultrasonic observation apparatus
WO2013179859A1 (ja) * 2012-05-30 2013-12-05 オリンパスメディカルシステムズ株式会社 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
US9592027B2 (en) * 2013-03-14 2017-03-14 Volcano Corporation System and method of adventitial tissue characterization
KR101485558B1 (ko) * 2013-11-05 2015-01-22 동국대학교 산학협력단 풀백 시스템
US9713456B2 (en) 2013-12-30 2017-07-25 Acist Medical Systems, Inc. Position sensing in intravascular imaging
JP6533078B2 (ja) 2015-03-20 2019-06-19 テルモ株式会社 画像診断装置、その制御方法、プログラム及びコンピュータ可読記憶媒体
WO2017102338A1 (en) * 2015-12-15 2017-06-22 Koninklijke Philips N.V. Rotation determination in an ultrasound beam
WO2017201287A1 (en) 2016-05-19 2017-11-23 Acist Medical Systems, Inc. Position sensing in intravascular processes
CN109561879B (zh) 2016-05-19 2022-03-29 阿西斯特医疗系统有限公司 血管内过程中的位置感测
CN107392994B (zh) * 2017-06-30 2018-11-06 深圳大学 冠脉血管的三维重建方法、装置、设备及存储介质
EP3694419B1 (en) * 2017-10-13 2024-05-08 The Cleveland Clinic Foundation Advanced ultrasonic detection of different tissue types

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5849137A (ja) 1981-09-18 1983-03-23 株式会社東芝 超音波血流測定装置
US4917097A (en) * 1987-10-27 1990-04-17 Endosonics Corporation Apparatus and method for imaging small cavities
US5588432A (en) * 1988-03-21 1996-12-31 Boston Scientific Corporation Catheters for imaging, sensing electrical potentials, and ablating tissue
JPH0417843A (ja) * 1990-05-10 1992-01-22 Olympus Optical Co Ltd 超音波診断装置
US5771895A (en) 1996-02-12 1998-06-30 Slager; Cornelis J. Catheter for obtaining three-dimensional reconstruction of a vascular lumen and wall
US6095976A (en) * 1997-06-19 2000-08-01 Medinol Ltd. Method for enhancing an image derived from reflected ultrasound signals produced by an ultrasound transmitter and detector inserted in a bodily lumen
US6148095A (en) * 1997-09-08 2000-11-14 University Of Iowa Research Foundation Apparatus and method for determining three-dimensional representations of tortuous vessels
US5876343A (en) * 1997-09-23 1999-03-02 Scimed Life Systems, Inc. Methods and apparatus for blood speckle detection in an intravascular ultrasound imaging system
FR2772590B1 (fr) * 1997-12-18 2000-04-14 Michel Puech Utilisation d'un transducteur ultrasonore pour l'exploration echographique du segment posterieur du globe oculaire
US6120445A (en) * 1998-10-02 2000-09-19 Scimed Life Systems, Inc. Method and apparatus for adaptive cross-sectional area computation of IVUS objects using their statistical signatures
US6556695B1 (en) 1999-02-05 2003-04-29 Mayo Foundation For Medical Education And Research Method for producing high resolution real-time images, of structure and function during medical procedures
US7343195B2 (en) * 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
US6381350B1 (en) * 1999-07-02 2002-04-30 The Cleveland Clinic Foundation Intravascular ultrasonic analysis using active contour method and system
US6200268B1 (en) 1999-09-10 2001-03-13 The Cleveland Clinic Foundation Vascular plaque characterization
US20020111568A1 (en) * 2001-02-12 2002-08-15 Shmuel Bukshpan Method for phased array ultrasonic transmission
US6514203B2 (en) * 2001-02-12 2003-02-04 Sonata Technologies Ltd. Method for ultrasonic coronary thrombolysis
NL1018864C2 (nl) * 2001-08-31 2003-03-03 Technologiestichting Stw Inrichting en werkwijze voor het genereren van driedimensionale beelden met hardheidsinformatie van weefsel.

Also Published As

Publication number Publication date
HUE043507T2 (hu) 2019-08-28
JP2005536265A (ja) 2005-12-02
CY1121385T1 (el) 2020-05-29
WO2004017821A3 (en) 2004-05-21
PT1534139T (pt) 2019-04-01
EP1534139A1 (en) 2005-06-01
JP4933045B2 (ja) 2012-05-16
EP1534137A4 (en) 2010-05-05
EP1534139B1 (en) 2018-12-19
EP1534137A2 (en) 2005-06-01
SI1534139T1 (sl) 2019-03-29
AU2003265645A1 (en) 2004-03-11
EP1534137B1 (en) 2017-10-11
TR201902962T4 (tr) 2019-03-21
EP1536727A2 (en) 2005-06-08
WO2004017823A2 (en) 2004-03-04
JP2011036680A (ja) 2011-02-24
AU2003265629A8 (en) 2004-03-11
WO2004017835A1 (en) 2004-03-04
ES2714163T3 (es) 2019-05-27
EP1534139A4 (en) 2010-05-05
AU2003268254A1 (en) 2004-03-11
DK1534139T3 (en) 2019-03-18
WO2004017821A2 (en) 2004-03-04
AU2003265629A1 (en) 2004-03-11
JP5362663B2 (ja) 2013-12-11
WO2004017823A3 (en) 2004-10-14
JP4773092B2 (ja) 2011-09-14
EP1536727B1 (en) 2013-12-04
EP1536727A4 (en) 2008-06-18
JP2005537052A (ja) 2005-12-08
AU2003268254A8 (en) 2004-03-11
JP2005536289A (ja) 2005-12-02

Similar Documents

Publication Publication Date Title
JP4481824B2 (ja) 血管のボーダーを識別するシステムおよび方法
US7978916B2 (en) System and method for identifying a vascular border
CN107392994B (zh) 冠脉血管的三维重建方法、装置、设备及存储介质
JP5519891B2 (ja) 有効な輪郭線作成法及びシステムを使用する血管内の超音波分析
Sonka et al. Segmentation of intravascular ultrasound images: A knowledge-based approach
US6190320B1 (en) Method for the processing of medical ultrasound images of bony structures, and method and device for computer-assisted surgery
JP4733107B2 (ja) 血管の境界検出システムおよび方法
CN112150524B (zh) 一种基于深度学习的二维和三维医学图像配准方法和系统
CN102106743B (zh) 用超声图像进行快速解剖绘图
Zhang et al. Tissue characterization in intravascular ultrasound images
JP4688361B2 (ja) 臓器の特定領域抽出表示装置及びその表示方法
EP1030191A2 (en) Semi-automated segmentation method for 3-dimensional ultrasound
CN106605257A (zh) 医学成像中具有空间和时间约束的界标检测
JP2007526083A5 (ja)
JP2008073305A (ja) 超音波乳房診断システム
JP2006246941A (ja) 画像処理装置及び管走行トラッキング方法
JP2023502449A (ja) 超音波撮像並びに関連する装置、システム、及び方法のためのインテリジェントな測定支援
US7376254B2 (en) Method for surface-contouring of a three-dimensional image
Bodzioch et al. New approach to gallbladder ultrasonic images analysis and lesions recognition
Sonka et al. Automated detection of wall and plaque borders in intravascular ultrasound images
Warmath et al. Semi-automatic staging system for rectal cancer using spatially oriented unwrapped endorectal ultrasound
Seabra et al. Three-dimensional ultrasonic assessment of atherosclerotic plaques
Lee et al. From lung images to lung models: A review
Baumann A 3D ULTRASOUND-BASED TRACKING SYSTEM FOR PROSTATE BIOPSY DISTRIBUTION QUALITY INSURANCE AND GUIDANCE.
DeJong et al. Member, zyxwvutsrqponmlk

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090512

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090805

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100216

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100318

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4481824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140326

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term