JPWO2006068271A1 - 心臓弁データ計測方法および装置 - Google Patents
心臓弁データ計測方法および装置 Download PDFInfo
- Publication number
- JPWO2006068271A1 JPWO2006068271A1 JP2006549079A JP2006549079A JPWO2006068271A1 JP WO2006068271 A1 JPWO2006068271 A1 JP WO2006068271A1 JP 2006549079 A JP2006549079 A JP 2006549079A JP 2006549079 A JP2006549079 A JP 2006549079A JP WO2006068271 A1 JPWO2006068271 A1 JP WO2006068271A1
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- annulus
- image
- heart valve
- heart
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1075—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20116—Active contour; Active surface; Snakes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Abstract
本発明が解決しようとする課題は、心臓における僧帽弁のtenting volume、tenting area、tenting height、弁輪の面積、周囲長、高さ(最後部−最低部の差)など、臨床で必要とされる心臓弁に関する情報を得ることである。心臓弁について臨床で必要なデータを計測可能な3次元心臓弁画像を得るため、心エコー図検査装置でスキャンした2次元の心エコー断層画像から3次元の心エコー図を形成し、前記3次元の心エコー図から3次元心臓弁画像をコンピュータ処理により自動抽出する方法において、心臓および弁輪の物理的形状を考慮したフィッティングモデルにおける前記弁輪のモデルのフィッティング評価関数(ポテンシャルエネルギー)をレプリカ交換法・拡張徐冷法で最適化することを特徴とする臨床で必要なデータを計測可能な3次元心臓弁画像自動抽出方法である。
Description
本発明は、臨床に用いる心臓弁のデータを計測する方法及び装置に関する。更に詳細には、心臓弁の各種データを計測可能な鮮明な3次元心臓弁画像を自動で抽出する方法および装置に関する。
僧帽弁逆流(僧帽弁閉鎖不全)は弁膜疾患の中でも頻度が高く、重症の逆流例では左心不全を引き起こす重大な疾患である。重症僧帽弁逆流の治療は基本的に外科治療であり、従来は人工弁を用いた僧帽弁置換術が行われてきた。しかし、人工弁置換後には心機能の低下や抗凝固療法に伴う合併症などの問題が多く、最近自己弁を温存する僧帽弁形成術が広く行われるようになってきた。
僧帽弁形成術は僧帽弁輪・弁尖・腱索などのうち逆流の原因となっている部分を選択的に外科的形成する方法であり、その成功のためにも心エコー図検査による術前の正確な病因・病変診断が不可欠である。
しかし、現在広く用いられている心エコー図検査は2次元画像による診断を行うものであり、3次元的に複雑な構造をしている僧帽弁と僧帽弁周囲の解剖学的・位置的関係を明らかにすることは困難であった。つまり、鞍馬型(サドル型)の曲線を描く弁輪や、精巧なカーブを有する弁尖・弁葉、さらに腱索から乳頭筋・左心室に至る弁下部支持組織でなされる僧帽弁の機能的複合体(僧帽弁機構)の立体的な構造を把握するためには、2次元画像では不十分であり、3次元的な画像診断が必要とされてきた。
最近開発された3次元心エコー図装置を用いることにより、非侵襲的かつ簡便に心臓全体をリアルタイムにスキャンし、画像を取り込むことが可能となった。3次元心エコー画像では、外科医が心臓を見るのと同じように心筋・弁膜などの構造を観察することができ、これまでの2次元画像による診断に比べて詳細な術前診断ができることが期待されている。
しかし、この3次元画像を用いた3次元解析・計測は未だ困難であり、実際の詳細な形態や位置関係を定量化することができないため、3次元心エコー図は臨床的実用化されていないのが現状である。
山田博三、「大局解抽出と局所解追跡の協調による心臓動画像認識」、[online]、電子技術総合研究所彙報62巻7号、[平成17年12月22日検索]、インターネット<URL:http://www.etl.go.jp/jp/results/bulletin/pdf/62-7/yamada72.pdf>
山田博三、「大局解抽出と局所解追跡の協調による心臓動画像認識」、[online]、電子技術総合研究所彙報62巻7号、[平成17年12月22日検索]、インターネット<URL:http://www.etl.go.jp/jp/results/bulletin/pdf/62-7/yamada72.pdf>
CTやMRIは装置が大きく、高価であるために、どこの病院でも利用できるというものではない。これに対して超音波を利用した心エコー診断装置は小型で、手軽に利用でき、広く普及している。このため心エコー(心臓超音波)検査は、心臓病や高血圧をはじめとする循環器疾患の診断、治療には欠かせない存在となっている。ひと昔前までは心臓カテーテル検査でしかわからなかった情報が、患者の痛みを伴うことなく、瞬時に把握できるようになった。また装置の軽量化に伴い、いまでは聴診器のように携帯し、出向先でも検査することが可能となった。
心エコー装置から得られる心エコー図には、Mモード心エコー図、断層心エコー図、ドップラ心エコー図がある。Mモード心エコー図では、心臓構造の経時的な動きをグラフィックに記録することができ、弁膜、心室壁、大動脈などの運動がそれぞれ特徴的なパターンとして描かれる。断層心エコー図では、超音波ビームを高速走査することによって心臓の2次元断層像(Bモード)が得られる。
超音波ビームの走査方法として高速機械走査法と電子走査法がある。断層法には心臓の形態、または心臓の動きを容易に観察でき、異常所見の有無、部位、程度の診断に役立つ。ドップラ心エコー図にはパルスドップラ法、連続波ドップラ法、ドップラ断層法、2次元血流映像法、カラードップラ法などがあり、狭窄流や弁逆流などの心腔内の異常血流の検査による定性診断とともに、血流計測や圧推定などの定量診断や心機能評価にも応用されている。
しかし、心エコー図(echocardiogram)を用いれば、すべてが解決するというものではない。これまでの閾値によって判定するウインドウ法、輝度変化の大きいところを抽出するエッジ抽出法などで行われている心臓弁自動抽出装置は誤認識が多い。エコー画像はCTやMRIなどの境界がはっきりした画像とは違い、境界が不明瞭である。ウインドウ法やエッジ抽出法は、CTやMRIなどのような境界がはっきりしたものには適用できるが、心エコー画像のような境界が不明瞭なものには適用できない。
前記のウインドウ法やエッジ抽出法の他に、心臓弁を曲線のフィッティングによりモデル化し、適当な最適化手法を用いて境界のはっきりしない画像から輪郭像を得る方法も提案されている。しかし、ニュートン法、最急勾配降下法では複雑な図形には適用できず、また自由度を大きくしてもGA(遺伝的アルゴリズム)、SA(徐冷法)などを用いても局所最小値に簡単に捕われてしまって、最適解を見つけることが難しいという問題点がある。
以上の点を踏まえ、本発明が解決しようとする課題は、心臓における僧帽弁のtenting volume、tenting area、tenting height、弁輪の面積、周囲長、高さ(最後部−最低部の差)など、臨床で必要とされる心臓弁に関する情報を得ることである。
心エコー図検査装置で取り込んだ心エコー図をもとに、心臓弁を自動抽出して、鮮明な3次元画像を得て、この画像から必要な量を計測する。本発明で用いる方法及び装置では、心エコー図における鮮明な3次元画像の心臓弁輪を自動抽出することのほかに、エコー画像に写っていない組織の境界を再現することも可能となる。すなわち、これまで熟練した医師の目でしか認識できなかった心臓弁輪抽出と機能を、自動化する方法及び装置である。
上記の発明が解決しようとする課題を解決するために、請求項1に記載された発明は、心臓弁について臨床で必要なデータを計測可能な3次元心臓弁画像を得るため、心エコー図検査装置でスキャンした2次元の心エコー断層画像から3次元の心エコー図を形成し、前記3次元の心エコー図から3次元心臓弁画像をコンピュータ処理により自動抽出する方法において、心臓および弁輪の物理的形状を考慮したフィッティングモデルにおける前記弁輪のモデルのフィッティング評価関数(ポテンシャルエネルギー)をレプリカ交換法・拡張徐冷法で最適化することを特徴とする臨床で必要なデータを計測可能な3次元心臓弁画像自動抽出方法である。
請求項2に記載された発明は、心臓弁について臨床で必要なデータを計測可能な3次元心臓弁画像を得るため、心エコー図検査装置でスキャンした2次元の心エコー断層画像から3次元の心エコー図を形成し、前記3次元の心エコー図から3次元心臓弁画像をコンピュータ処理により自動抽出する装置において、心臓および弁輪の物理的形状を考慮したフィッティングモデルにおける前記弁輪のモデルのフィッティング評価関数(ポテンシャルエネルギー)をレプリカ交換法・拡張徐冷法で最適化する手段を備えたことを特徴とする臨床で必要なデータを計測可能な3次元心臓弁画像自動抽出装置である。
本発明では、弁輪の抽出とそのフィッティングのために、具体的には以下のような手段をとることができる。弁輪抽出処理の流れは、以下の2つの工程からなる。まず心臓の物理的形状を考慮したフィッティングモデルを用意して、心筋の輝度の高い部分をフィットさせる。次に、そのフィットした形状の上で、弁輪らしき場所を探す。
弁輪のモデルは、弾性体でできた円筒状かつ網状の構造を用いることができる。たとえば、1周40個、高さ40個、計1600個の制御点を取り、各点間は適当な力のバネでつなぐ。このとき、制御点はなるべく輝度の高い位置に指定する。この円筒状の弁輪のモデルのフィッティング評価関数(ポテンシャルエネルギー)をレプリカ交換法・拡張徐冷法で最適化する。
レプリカ交換法(RE)はタンパク質などの立体分子構造を解明する手法として広く用いられている。この手法では、等価な相互作用のない系(レプリカ)複数個で構成される全体系を考え、各レプリカ(コピー)には異なる温度(エネルギー)を割り当て、最初はすべてのレプリカに同じ分子を配置する。各レプリカ系で独立にメトロポリスシミュレーションを行い、定期的に隣接するレプリカ間で分子配置を交換する。
さらに徐冷法(SA)を用い、高温(高エネルギー)から低温(低エネルギー)に徐冷して最適解を見つける。この方法では、構造の、エネルギーのポテンシャル面が最小(または極小)になる点(最適解)を見つけ、安定構造として最終的な分子構造を決定している。
レプリカ間分子配置交換には、まったくランダム交換するモンテカルロ法や、遺伝子組み替えのように距離的に近い分子間(隣接分子間)で交換を行う遺伝子的アルゴリズム(GA)などが用いられる。分子構造をモデル化するに際しては、分子は点と考え、隣接する分子間はクーロン力、バネ相互作用などが働き、これらの力の和が分子内ポテンシャルエネルギーとして表現されている。
弁輪探索は以下のルールに従って行う。
・なるべく輝度の高いところ
・下から上の方を見て2次微分が正の場所(窪んでいる所)
・隣の弁輪の制御点とあまり離れないところ
このルールにも適当な評価関数を定義して同様に最適化を行い、ポテンシャルエネルギーが最小となる構造が、最終的に弁輪らしき場所として抽出される。弁輪の自動抽出がうまくいかない場合に備え、マニュアルにて修正することのできる道も用意することもできる。
・なるべく輝度の高いところ
・下から上の方を見て2次微分が正の場所(窪んでいる所)
・隣の弁輪の制御点とあまり離れないところ
このルールにも適当な評価関数を定義して同様に最適化を行い、ポテンシャルエネルギーが最小となる構造が、最終的に弁輪らしき場所として抽出される。弁輪の自動抽出がうまくいかない場合に備え、マニュアルにて修正することのできる道も用意することもできる。
本発明の装置の特徴は、以下のとおりである。(1)従来の2次元心エコー図では不可能であった、僧帽弁複合体の3次元表示および定量解析ができること。(2)従来の2次元画像からの再構築には多大な労力と時間を要していたが、本発明の装置を用いた場合、現時点で僧帽弁3次元解析にいたるすべてのプロセス(エコー画像の収集・画像のトレース・3次元画像再構築・3次元データ定量解析)に要する時間を計約15分に短縮できる。
3次元心エコー図を用いた3次元的定量解析は未だ実現されておらず、本発明を用いた研究成果は世界的にも初めてのものである。とくに現在、僧帽弁尖・弁葉に異常がないにもかかわらず乳頭筋や左心室の機能不全によって引き起こされる「機能的僧帽弁逆流」のメカニズム解明や治療法の開発が世界的に注目されており、これまで2次元心エコー図画像での解析に頼っていたこれらのテーマに対する研究は、3次元解析が可能となることで大きく飛躍することが予想される。本発明の装置は、僧帽弁逆流の術前診断・外科治療にまで密接した、臨床的に大いに有意義なものである。
本発明を実施するための最良の形態を図を用いて説明する。以下の説明では次のような省略リストを用いる。
MR = 僧帽弁逆流
3-D = 3次元の
2-D = 2次元の
LV = 左心室
LA = 左心房
ROA = 逆流開口部面積
EF = 駆出分画
PISA = 近位部等流速面積
EDV = 拡張末期容量(容積)
ESV = 収縮末期容量(容積)
MR = 僧帽弁逆流
3-D = 3次元の
2-D = 2次元の
LV = 左心室
LA = 左心房
ROA = 逆流開口部面積
EF = 駆出分画
PISA = 近位部等流速面積
EDV = 拡張末期容量(容積)
ESV = 収縮末期容量(容積)
2次元の心エコー図検査では、以下のような検査が行える。すべての被験者の標準的な2-D心エコー図検査を行うことにより、拡張末期容量(EDV)と収縮末期容量(ESV)がモディファイドシンプソン方法(左心室全体を円筒形の積み重ねとして近似する)によって測れる。その結果駆出分画(%)が方程式100×(EDV - ESV)/EDV によって計算できる。MRはカラードップラ心エコー図検査によって評価し、MRの度合いがROAを使っているPISA方法によって数量化することができる。しかし、僧帽弁逆流診断や僧帽弁手術を行うには、正確な弁輪の位置を見分け、立体的な弁膜画像が必要になる。本発明の装置では僧帽弁を以下の手順の実行により抽出し、鮮明な画像を再現する。
立体画像イメージ(volumetic image)を得るために、リアルタイム3-D心エコー図システムを利用して、被験者の心尖部ビューで胸腔を通しての容積測定のイメージ(フルのボリュームモード)を得る。容積測定のフレームレートは12から16センチメートルの深度で、毎秒16から22フレームを撮影する。(このフレーム数は深度に依存する)フルの立体画像イメージを獲得する前に、プローブが2D画像の様式で僧帽弁の中心部の頂点に位置するように調整する。すべての立体画像イメージはディジタル方式でコンパクトディスク上に記録し、オフライン分析のためにパーソナルコンピュータへ転送する。
図1は、3次元心エコー図診断装置を用い、18枚の等間隔の放射状平面画像を自動撮影(スキャン)し、その平面画像をもとに3次元(3-D)の立体画像イメージを形成する過程を示している。心臓収縮時に、スキャンされた各平面画像に対して、手作業で僧帽弁の弁輪とリーフレットにマークを付ける。これらのデータから、僧帽弁のリーフレットと弁輪の3-Dイメージが再構築される。具体的には、図2に示す。
図2はスキャンされた各平面画像を順番に並べ、チェック点(画像間で対応する点)を線でつなぎ、スムージングをかけ、レンダリングを行うと滑らかな対応物の3次元立体画像が得られる(図の例は18フレームの場合)。しかし背景技術でも述べたように、エコー画像はMRIやCTのような鮮明な輪郭が得られない。とくに弁輪は複雑であり、入り組んでいるために、本発明の装置ではフィッティングモデルを使って弁輪の抽出処理を行う。そのために、心臓の物理的形状を考慮して、心筋の輝度の高い部分をフィットさせる。さらに、フィットした形状の上で、弁輪らしき場所を探す。この弁輪探索には、以下に例として示すようなフィッティングモデルを用いる。
この例では、フィッティングモデルには、弾性体で出来た円筒状かつ網状の構造を用いる。さらに1周40個、高さ40個の、計1600個の制御点を設け、各制御点を適当なバネでつなぐ。このとき、制御点はなるべく輝度の高い所が選ばれるようにしてある。このような構造物(レプリカ)を複数用意し、それぞれのレプリカには異なる輝度を割り当てる。この輝度をポテンシャルエネルギーとし、フィッティング評価関数を用いてポテンシャルエネルギーが最も安定した(最小値となる)構造を決定する。この際に用いる方法が、レプリカ交換法と呼ばれる拡張徐冷法である。すなわち、輝度の高いところから始め、レプリカ間で制御点の交換を行い、そのつどポテンシャルエネルギーを求める。このようなシミュレーションを行うことで、ポテンシャルエネルギーが最小(安定構造)となるものが、構造の形状(弁輪)として抽出される(最適化)。
なお、弁輪自動抽出探索を行う際の主なルールは以下のとおりである。すなわち、
・探索はなるべく輝度の高いところ
・下から上の方を見て2次微分が正の場所(窪んでいる所)
・隣の弁輪の制御点とあまり離れていない所
このルールにも適当な評価関数を定義して、心臓の形状探索と同様に最適化を行うと、最終的に弁輪らしき場所が抽出される。なお、弁輪の自動抽出がうまく行かなかったり、あるいは曖昧な点があるような場合には、マニュアル修正のルートも設けておく。
・探索はなるべく輝度の高いところ
・下から上の方を見て2次微分が正の場所(窪んでいる所)
・隣の弁輪の制御点とあまり離れていない所
このルールにも適当な評価関数を定義して、心臓の形状探索と同様に最適化を行うと、最終的に弁輪らしき場所が抽出される。なお、弁輪の自動抽出がうまく行かなかったり、あるいは曖昧な点があるような場合には、マニュアル修正のルートも設けておく。
以上のようにして抽出された弁輪が図3である。なお以下では、抽出された僧帽弁膜を「リーフレット(leaflet:弁葉)」と呼び、リーフレットの付け根を「弁輪」と呼ぶ。また、リーフレットが天幕を張ったように膨らみをもつこと、またはその膨らみを「テンティング(tenting)」と呼ぶことにする。肺で綺麗になった血液は左心房(LA)に流れ込み、LAから僧帽弁を通して左心室(LV)に送られ、さらにLVから大動脈を通して体全体に送出される。このため、LAの圧力よりもLVの圧力の方が高くなる。
弁に物理的あるいは機能的な障害が生じると、狭窄症や虚血症を引き起こすことになる。例えば、僧帽弁の開きが悪く、LVに十分に血液が送られないと、狭窄症が起きる。逆に僧帽弁が緩み、僧帽弁閉鎖不全になると、LVからLAの血液の逆流が起き、十分な動脈血が体に供給されないために、虚血が起きる。最近は、僧帽弁の弛緩などによる僧帽弁閉鎖不全は、人工弁を使わずに弁形成手術で治療することが多くなっている。そのためには僧帽弁の確かな形状を得ることが重要であり、本発明の装置の3次元心臓弁画像取得が有効となる。
なお、図に示した記号は以下の意味を表している。
A 前尖部(anterior)
P 後尖部(posterior)
CL 前交連(antero-lateral commissure)
CM 後交連(postero-medial commissure)
LV 左心室(left ventricle)
LA 左心房(left atrium)
annular height 弁輪の高さ(湾曲度合い)
tenting length テンティングの長さ(テンティング長)
A 前尖部(anterior)
P 後尖部(posterior)
CL 前交連(antero-lateral commissure)
CM 後交連(postero-medial commissure)
LV 左心室(left ventricle)
LA 左心房(left atrium)
annular height 弁輪の高さ(湾曲度合い)
tenting length テンティングの長さ(テンティング長)
図3は、本発明の装置で行われる3次元心臓弁画像抽出による、正常な人の僧帽弁のリーフレットの立体画像とその形状を示している。図の(A)は、リーフレットを異なる方向から見た3-Dイメージである。ここでは、僧帽弁の弁輪(付け根部)が「サドル形」をしている。僧帽弁のリーフレットがLVの中にわずかに食い込んでいるが、ほとんど平らに見える。
図の(B)は、実際の3-Dテンティングイメージである。弁輪は3-Dで測定するための、およその外観である。左図は、LV方向から見た僧帽弁のリーフレット形状であり、テンティングの度合いを等高線として表している。右図は水平方向から見たリーフレットで、弁輪とリーフレットのテンティング度合いを正確に測ることができる。また、僧帽弁の弁輪の円周やエリアが、これらの3-Dデータから測れる。図の弁輪の高さが、弁輪の湾曲度合いを示している。図の黒い点は接合ラインである(弁の交連部すなわちLV収縮時の前尖と後尖のかみ合う位置)。正常な場合、LVの収縮期には僧帽弁の腱索に支えられて、前尖と後尖はきちんと合わさり、左心室から左心房への血流は遮断される。この接合ラインが黒点である。
図の(C)は、3-Dテンティングイメージを修正したものである。図の太線で示した曲線は僧帽弁の弁輪を表し、輪状の表面からリーフレットまでの距離を一定に保ちながら、平面上で滑らかに描いたものである。左図はLV方向から見た僧帽弁のリーフレット図であり、テンティングの度合いを等高線で表している。右図は水平方向から見た図で、僧帽弁の弁輪のテンティング度合いを定量的に測定することができる。最大テンティング長、平均テンティング長およびテンティングの容積も、これらの3-Dデータから測定することができる。なお、黒い点は接合ラインを示す。
図4は、僧帽弁の弁輪の立体画像で、虚血性の僧帽弁逆流(MR)患者の僧帽弁を表すリーフレットである。図の(A)は、リーフレットを異なる方向から見た3-Dイメージである。僧帽弁の弁輪が外見上も明らかにテンティングによって、平滑化している。また、山の形をしたリーフレットが凸状になり、全体的にLVへと食い込んでいる。
図の(B)は、実際の3-Dテンティングイメージを表している。僧帽弁のリーフレット全体が明らかにLV方向に膨らみ、弁輪の高さも正常と比較してみても低いことがわかる。また僧帽弁の弁輪も広がっている。なお、黒い点は僧帽弁の接合ラインを示している。
図の(C)は、3-Dテンティングイメージを修正したものである。左図からもわかるように、僧帽弁のリーフレットが、僧帽弁の弁輪で見た場合、A-Pに対してほとんど対称的になっている。右図からもわかるように、最大テンティング長は正常なものよりも長くなっている。黒い点は接合ラインを示している。カラー表示した場合、緑のマーク(右図の薄く印刷された部分)がリーフレットの最大テンティングサイトを示している。この患者の場合、最大テンティングサイトはリーフレット前尖部Aの中央に位置している(左図の等高線が最も高い位置を示している場所<山の頂上に相当した位置>)。
図5は、局所貧血MRを持っている12人の患者について最大テンティングサイトの場所を調べた結果を、リーフレット上に人数分布として表した図である。図の英字‘A’は前尖部(anterior)、‘P’は後尖部(posterior)を表し、‘L’は側部(lateral)、‘C’は中央部(central)、‘M’は中間部(medial)を表す。また、括弧内の数字は人数である。図が示すように、最大のテンティングサイトは、12人すべてにおいてリーフレット前方部に位置していた。内訳はAMが3人、ACが5人、ALが4人であった。
虚血性のMRを持っている12人の患者の内訳は、単一の脈管疾患を持つ3人の患者、二つの脈管疾患を持つ6人の患者、三つの脈管疾患を持つ3人の患者である。LV機能障害は広範囲(EF33.9±9.1%、幅18%〜47%)でひどかった。ROAは0.29±0.15cm2であって、0.15〜0.62cm2に及んだ。10件の実験照査基準と比較して、虚血性のMRを持っている患者が年齢、性別、あるいは体表面エリアにおける相違は見いだせなかった。しかしLVの容積が、正常な人と比較して虚血性のMRの患者では際立って増加していた。
以上のように、本発明の3次元心臓弁画像取得方法を利用して開発された、リアルタイム3-D心エコー図検査用イメージ作成ソフトウェアシステムは、1)僧帽弁のリーフレットと弁輪の3-D幾何学的な奇形、2)僧帽弁のリーフレットの最大テンティングサイト、および3)虚血性のMRを持っている患者での僧帽弁テンティングと弁輪の奇形の量的な測定をすることができた。
本発明で用いるフィッティングモデルについて、更に詳細な例を説明する。エコー測定装置の特性により、画像にノイズや影が発生し、その画像の情報だけから正確な組織の像を得ることは難しい。医師は実際の組織の理想的なイメージを知っており、その理想的イメージといろいろな角度や時間のエコー画像を頭の中で組み合わせ、不鮮明なエコー画像を補完して組織の境界線を引くという作業を行っている。物理モデリングはこの医師の頭の中で行っている画像補完作業をコンピューターに肩代わりさせるものである。
コンピューター上でのモデルの構築は、図6および図7に示すような制御点間を繋ぐバネと制御点によって張られる境界評価関数を用いる。制御点間のバネは組織の物理的な構造を維持する。一方、境界評価関数は画像から組織の境界情報を拾う。
モデルの評価には、バネの弾性エネルギーと境界評価による評価エネルギーを足し合わせたポテンシャル関数を用いる。i番目の制御点の位置をriとして、制御点のセットr1,r2,・・・rNをrNのように書く。このとき、バネの弾性エネルギー関数S(rN)を以下のように定義する。
ここでkijはバネの弾性強度で、制御点間の組織強度などから経験的に決定される。繋がっていない制御点間の場合は 0 とする。σは制御点の排除半径で、制御点同士が重ならないように選ぶ。このとき、バネの自然長は
となる。理想的な物理形状の時にエネルギーが最低になるようにこれらのパラメーターを設定する。評価エネルギー関数
は、画像のベクトルr地点の輝度を返す関数
を用いて以下のように定義する。
ここで
は、
で定義される長さ1のベクトル、cijは結合の定数、
は制御点 i, j 間の評価関数(後述)、線積分はriとrjの間の最短ルートで定義される。
各制御点間の評価関数は、物理的特性を反映した関数を経験的に選ぶ。例えば、輝度値が大きく変化していることを境界として認識する(境界付近でエネルギーが下がる)ような関数は以下のように書ける。
ここで、
は、
に垂直な長さ1のベクトル、
は関数Mの勾配である。
同様に、以下のような関数を評価関数として用いることが出来る。
これらの関数を組み合わせて、最終的に以下のようなエネルギー関数を定義する。
WS,WEは弾性エネルギーと評価エネルギーの重みで、構造と境界評価のどちらを重視したいかを調節できる。この関数 F が最低になるような制御点のセット
を探すことで、組織の境界を抽出することが出来る。この関数 F の特徴は、関数 S による物理形状を維持したまま、関数 E によって境界を探すことができることである。エコー画像に多少のノイズや影があっても物理形状による補完が行われるため、画像だけから形状が推測できない場合でも、もっともらしい組織の境界を抽出することが出来る。
拡張徐冷法による最適化処理について説明する。組織の境界を正確に求めるためには多数の制御点が必要であるが、評価関数は非線形のため、制御点の数が多くなると評価関数の最小点を見つけることは難しい。一般的な最適化手法であるニュートン法、最急勾配降下法、GA(遺伝的アルゴリズム)、SA(徐冷法)などを用いても局所最小値に簡単に捕われてしまって、最適解を見つけることが出来ない。
拡張徐冷法は、スピングラスやタンパク質のフォールディング問題など、物理・化学の分野で近年注目されている強力な最適化手法で、多自由度の複雑な最適化問題を効率良く解くことの出来る計算手法である。我々は、この拡張徐冷法の一種であるレプリカ交換モンテカルロ法を用いて評価関数を最適化した。
まず、レプリカ交換モンテカルロ法の基礎になる、モンテカルロ法による徐冷法を説明する。モンテカルロ法は確率的アルゴリズムを使って計算機シミュレーションを行う手法である。制御点のセット
について、最初のステップの制御点のセットを
とする。次に、制御点の中からランダムに1つ選んで、ランダムな方向・大きさ
だけずらす。その制御点のセットを
と書くと、最初のステップとずらした時の評価エネルギーはそれぞれ
と書ける。このずらした制御点のセットは以下の確率で次のステップに採用される。
の時、採用。
の時、
の確率で採用。
採用された場合は、
として次のステップに進む。棄却された場合は
として次のステップに進む。
ここでβはシステムの最適化具合を決定するパラメーターで、統計力学ではボルツマン定数をkB、温度をTとしたときβ=1/kBTとして知られるパラメーターである。βが十分大きい(温度が低い)とき、シミュレーションが進んでいくと評価関数は小さい方向のみに進んでいく。一方、βが小さい(温度が高い)とき、評価関数は大きくなる方向にも動けるようになるため、大きな変動を示すようになる。
評価関数は3N+1次元空間の面(ポテンシャル面)として表現でき、シミュレーションはその表面の極小点を飛び移りながら進んでいく。
このモンテカルロ法による最適化探索を行うには、まずβを小さくして制御点のセットを十分ランダムな状態にしてかき混ぜた後、βを徐々に大きくして評価関数の値を収束させていく。十分βを大きくしたところでしばらくシミュレーションを走らせて、評価関数が最小になる制御点のセット
を探す。制御点の数が少ない場合や、評価関数が複雑でない場合はこの方法で最適化点を見つけることが出来る。しかし、一般的にはポテンシャル面は複雑な形状をしており、温度を単純に下げただけではすぐに局所最小値にトラップされてしまい、いくら時間をかけても十分な最適化を行うことが出来ない。(図8参照)
レプリカ交換モンテカルロ法は、上で説明したモンテカルロシミュレーションを異なる温度で並列に走らせることで局所最小値へのトラップを防ぎ、効率良く最適化を行う手法である。M個の制御点のセット(レプリカ)を用意し、m番目の制御点のセット
をパラメーターβmでシミュレーションを進める。ここで、各レプリカの温度パラメーターはβm<βm+1のように温度の高い順に並んでいるものとする。適当なステップごとに、以下の方法でレプリカ間の制御点の位置を入れ替える。
を計算し、
Δ<0の時、入れ替え
Δ>0の時、exp(−Δ)の確率で入れ替え
Δ<0の時、入れ替え
Δ>0の時、exp(−Δ)の確率で入れ替え
この温度交換の方法により、温度の低い制御点のセットが局所最小値にトラップされていても、適度に温度の高いセットと入れ替えられ、局所最小値を脱出することが出来る。パラメーターを適切にセットすれば、時間をかければかけるほど最適化が進む。
一般的にレプリカの数を増やし、隣り合うβmの差を狭くすると最適化解を見つけやすくなるが、レプリカの数を増やすと計算コストがかさむため、評価関数の分散を調べながら計算効率が最高になるように調節する必要がある。計算効率を上げるためには、レプリカ間で十分な頻度で交換が起こり、1つのレプリカが温度空間でランダムウォーク出来るような状況が必要である。そのためには、隣り合うレプリカの評価関数の分散が同じ面積で重なり合うように、レプリカの数やβmの値を調節する必要がある。
この方法はパラメーターの調節や、計算アルゴリズムの実装に非常に手間がかかるが、時間さえかければかなりの確率で最適化点を見つけることができる。そのため、一旦パラメーターを調節すれば、他の最適化アルゴリズムのように初期値を注意深く選んで何度も試行する必要がない。そのため、人間がほとんど手を加えずに自動的に精度の高い境界線を抽出することが出来る。
Claims (2)
- 心臓弁について臨床で必要なデータを計測可能な3次元心臓弁画像を得るため、心エコー図検査装置でスキャンした2次元の心エコー断層画像から3次元の心エコー図を形成し、前記3次元の心エコー図から3次元心臓弁画像をコンピュータ処理により自動抽出する方法において、
心臓および弁輪の物理的形状を考慮したフィッティングモデルにおける前記弁輪のモデルのフィッティング評価関数(ポテンシャルエネルギー)をレプリカ交換法・拡張徐冷法で最適化することを特徴とする臨床で必要なデータを計測可能な3次元心臓弁画像自動抽出方法。 - 心臓弁について臨床で必要なデータを計測可能な3次元心臓弁画像を得るため、心エコー図検査装置でスキャンした2次元の心エコー断層画像から3次元の心エコー図を形成し、前記3次元の心エコー図から3次元心臓弁画像をコンピュータ処理により自動抽出する装置において、
心臓および弁輪の物理的形状を考慮したフィッティングモデルにおける前記弁輪のモデルのフィッティング評価関数(ポテンシャルエネルギー)をレプリカ交換法・拡張徐冷法で最適化する手段を備えたことを特徴とする臨床で必要なデータを計測可能な3次元心臓弁画像自動抽出装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004374860 | 2004-12-24 | ||
JP2004374860 | 2004-12-24 | ||
PCT/JP2005/023797 WO2006068271A1 (ja) | 2004-12-24 | 2005-12-26 | 心臓弁データ計測方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2006068271A1 true JPWO2006068271A1 (ja) | 2008-06-12 |
JP4452281B2 JP4452281B2 (ja) | 2010-04-21 |
Family
ID=36601863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006549079A Expired - Fee Related JP4452281B2 (ja) | 2004-12-24 | 2005-12-26 | 心臓弁データ計測方法および装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20080085043A1 (ja) |
EP (1) | EP1832233A4 (ja) |
JP (1) | JP4452281B2 (ja) |
KR (1) | KR20070110837A (ja) |
CN (1) | CN101111194A (ja) |
WO (1) | WO2006068271A1 (ja) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8660645B2 (en) | 2002-02-28 | 2014-02-25 | Greatbatch Ltd. | Electronic network components utilizing biocompatible conductive adhesives for direct body fluid exposure |
CN100448409C (zh) * | 2007-02-01 | 2009-01-07 | 上海交通大学 | 三维超声心动图四腔切面图像自动检测的方法 |
US8009887B2 (en) * | 2007-11-02 | 2011-08-30 | Siemens Corporation | Method and system for automatic quantification of aortic valve function from 4D computed tomography data using a physiological model |
US8103070B2 (en) * | 2007-11-22 | 2012-01-24 | Toshiba Medical Visualization Systems Europe, Limited | Volume rendering apparatus and method |
US8218845B2 (en) * | 2007-12-12 | 2012-07-10 | Siemens Aktiengesellschaft | Dynamic pulmonary trunk modeling in computed tomography and magnetic resonance imaging based on the detection of bounding boxes, anatomical landmarks, and ribs of a pulmonary artery |
KR101717695B1 (ko) | 2008-09-25 | 2017-03-17 | 씨에이이 헬스케어 캐나다 인코포레이티드 | 의료 영상의 시뮬레이션 |
DE102008053073B4 (de) * | 2008-10-24 | 2010-08-05 | Tomtec Imaging Systems Gmbh | Dreidimensionale Ableitung einer proximalen isokinetischen Schale einer proximalen Flusskonvergenzzonze sowie dreidimensionale PISA-Flussmessung |
US8900150B2 (en) | 2008-12-30 | 2014-12-02 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Intracardiac imaging system utilizing a multipurpose catheter |
US8948476B2 (en) * | 2010-12-20 | 2015-02-03 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Determination of cardiac geometry responsive to doppler based imaging of blood flow characteristics |
US20100168557A1 (en) * | 2008-12-30 | 2010-07-01 | Deno D Curtis | Multi-electrode ablation sensing catheter and system |
US9610118B2 (en) | 2008-12-31 | 2017-04-04 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Method and apparatus for the cancellation of motion artifacts in medical interventional navigation |
US8538109B2 (en) * | 2009-03-18 | 2013-09-17 | Siemens Aktiengesellschaft | Method and system for dynamic pulmonary trunk modeling and intervention planning |
JP5422264B2 (ja) * | 2009-06-09 | 2014-02-19 | 株式会社東芝 | 超音波診断装置及び医用画像処理装置 |
US8812431B2 (en) * | 2010-02-03 | 2014-08-19 | Siemens Aktiengesellschaft | Method and system for medical decision support using organ models and learning based discriminative distance functions |
US9129392B2 (en) | 2010-02-25 | 2015-09-08 | The Trustees Of The University Of Pennsylvania | Automatic quantification of mitral valve dynamics with real-time 3D ultrasound |
US9320496B2 (en) * | 2010-02-25 | 2016-04-26 | Siemens Medical Solutions Usa, Inc. | Volumetric is quantification for ultrasound diagnostic imaging |
JP5444117B2 (ja) * | 2010-05-17 | 2014-03-19 | 株式会社東芝 | 画像処理装置 |
GB201013721D0 (en) | 2010-08-16 | 2010-09-29 | Mbda Uk Ltd | Image processing method |
US8792699B2 (en) * | 2010-09-29 | 2014-07-29 | Siemens Aktiengesellschaft | Motion tracking for clinical parameter derivation and adaptive flow acquisition in magnetic resonance imaging |
JP5697638B2 (ja) * | 2011-09-26 | 2015-04-08 | 富士フイルム株式会社 | 質点系の挙動を予測するシミュレーション装置およびシミュレーション方法並びにその方法を実行するためのプログラムおよび記録媒体 |
WO2013065155A1 (ja) * | 2011-11-02 | 2013-05-10 | 株式会社 東芝 | 画像処理装置 |
EP4254334A3 (en) * | 2014-05-20 | 2024-01-17 | Materialise NV | System and method for valve quantification |
JP6411073B2 (ja) * | 2014-06-02 | 2018-10-24 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置および医用画像処理方法 |
JP6580013B2 (ja) | 2016-09-29 | 2019-09-25 | 株式会社日立製作所 | 画像処理装置、及びその方法 |
EP3552554B1 (en) * | 2016-12-06 | 2024-03-27 | FUJIFILM Corporation | Ultrasonic diagnosis apparatus and method for controlling ultrasonic diagnosis apparatus |
CN108198235B (zh) * | 2017-12-25 | 2022-03-04 | 中国科学院深圳先进技术研究院 | 一种三维超声重建方法、装置、设备及存储介质 |
KR102128033B1 (ko) * | 2018-05-03 | 2020-06-29 | 울산대학교 산학협력단 | 이첨판막의 판막륜 크기 결정 방법 |
JP7038377B2 (ja) | 2018-05-23 | 2022-03-18 | 富士通株式会社 | 生体モデル生成装置、生体モデル生成方法、および生体モデル生成プログラム |
JP7258538B2 (ja) * | 2018-12-14 | 2023-04-17 | キヤノンメディカルシステムズ株式会社 | 超音波診断装置、医用情報処理装置、医用情報処理プログラム |
TWI796647B (zh) * | 2021-03-10 | 2023-03-21 | 宏碁股份有限公司 | 用於評估心臟影像的影像處理裝置及心室狀態辨識方法 |
KR102481564B1 (ko) * | 2021-03-17 | 2022-12-29 | 재단법인 아산사회복지재단 | 의료영상 처리 장치와 그 의료영상 학습 방법 및 의료영상 처리 방법 |
CN112992313B (zh) * | 2021-03-30 | 2023-01-06 | 华南理工大学 | 一种心脏二尖瓣力学性能优化方法、系统及设备 |
AU2022271874A1 (en) * | 2021-05-11 | 2024-01-04 | Georgia Tech Research Corporation | Systems and methods for reconstructing an anatomical structure model |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000217818A (ja) * | 1999-01-29 | 2000-08-08 | Toshiba Corp | 画像診断装置 |
JP2002140690A (ja) * | 2000-10-31 | 2002-05-17 | Toshiba Corp | 医用画像処理装置及びその方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5889524A (en) * | 1995-09-11 | 1999-03-30 | University Of Washington | Reconstruction of three-dimensional objects using labeled piecewise smooth subdivision surfaces |
US5768413A (en) * | 1995-10-04 | 1998-06-16 | Arch Development Corp. | Method and apparatus for segmenting images using stochastically deformable contours |
-
2005
- 2005-12-26 US US11/722,748 patent/US20080085043A1/en not_active Abandoned
- 2005-12-26 WO PCT/JP2005/023797 patent/WO2006068271A1/ja active Application Filing
- 2005-12-26 KR KR1020077017027A patent/KR20070110837A/ko not_active Application Discontinuation
- 2005-12-26 JP JP2006549079A patent/JP4452281B2/ja not_active Expired - Fee Related
- 2005-12-26 EP EP05819627A patent/EP1832233A4/en not_active Withdrawn
- 2005-12-26 CN CNA2005800473593A patent/CN101111194A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000217818A (ja) * | 1999-01-29 | 2000-08-08 | Toshiba Corp | 画像診断装置 |
JP2002140690A (ja) * | 2000-10-31 | 2002-05-17 | Toshiba Corp | 医用画像処理装置及びその方法 |
Non-Patent Citations (2)
Title |
---|
小笠原康夫他: "リアルタイム3D超音波断層像による僧帽弁輪立体構造の評価", 電子情報通信学会技術研究報告, vol. 、第104巻、第179号, JPN6009064329, 7 July 2004 (2004-07-07), pages 5 - 8, ISSN: 0001486785 * |
渡邉望他: "虚血性僧帽弁逆流における僧帽弁tentingの形状は心筋梗塞部位により異なる:リアルタイム三次元心エコー図", JOURNAL OF CARDIOLOGY, vol. 第46巻、増刊号1, JPN6009064327, 10 August 2005 (2005-08-10), pages 309, ISSN: 0001486784 * |
Also Published As
Publication number | Publication date |
---|---|
KR20070110837A (ko) | 2007-11-20 |
WO2006068271A1 (ja) | 2006-06-29 |
US20080085043A1 (en) | 2008-04-10 |
EP1832233A4 (en) | 2008-04-16 |
JP4452281B2 (ja) | 2010-04-21 |
CN101111194A (zh) | 2008-01-23 |
EP1832233A1 (en) | 2007-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4452281B2 (ja) | 心臓弁データ計測方法および装置 | |
US9406142B2 (en) | Fully automatic image segmentation of heart valves using multi-atlas label fusion and deformable medial modeling | |
JP5868052B2 (ja) | 包括的な患者固有の心臓のモデリング方法およびシステム | |
Blanke et al. | A simplified D-shaped model of the mitral annulus to facilitate CT-based sizing before transcatheter mitral valve implantation | |
Salcedo et al. | A framework for systematic characterization of the mitral valve by real-time three-dimensional transesophageal echocardiography | |
US5889524A (en) | Reconstruction of three-dimensional objects using labeled piecewise smooth subdivision surfaces | |
Schneider et al. | Patient-specific mitral leaflet segmentation from 4D ultrasound | |
Shanks et al. | Mitral valve morphology assessment: three-dimensional transesophageal echocardiography versus computed tomography | |
CN106605257A (zh) | 医学成像中具有空间和时间约束的界标检测 | |
Benenstein et al. | Mitral valve prolapse: role of 3D echocardiography in diagnosis | |
Cammalleri et al. | Transcatheter tricuspid valve therapy: from anatomy to intervention | |
Tsang et al. | Mitral valve dynamics in severe aortic stenosis before and after aortic valve replacement | |
Mahmood et al. | Regional heterogeneity in the mitral valve apparatus in patients with ischemic mitral regurgitation | |
Wolf et al. | ROPES: A semiautomated segmentation method for accelerated analysis of three-dimensional echocardiographic data | |
US20230009891A1 (en) | Augmented Imaging For Valve Repair | |
JP5885234B2 (ja) | 疾患判定装置および超音波画像形成装置における画像解析方法 | |
Grbic et al. | Multi-modal validation framework of mitral valve geometry and functional computational models | |
Meng et al. | Comparison between multimodality imaging approaches for measurement of the tricuspid annulus in severe tricuspid regurgitation | |
Gonçalves et al. | Valve anatomy and function with transthoracic three-dimensional echocardiography: advantages and limitations of instantaneous full-volume color Doppler imaging | |
Lee et al. | Comparative study of left ventricular low wall motion with scar tissue using 4d left ventricular cardiac images | |
Neumann et al. | Multi-modal pipeline for comprehensive validation of mitral valve geometry and functional computational models | |
Carnahan | Towards Patient Specific Mitral Valve Modelling via Dynamic 3D Transesophageal Echocardiography | |
Mumm et al. | Three-dimensional echo for the assessment of valvular heart disease | |
Nasir et al. | 3 Dimensional Reconstruction of Tricuspid Valve Using Transesophagel Echocardiography Images | |
Tarzia et al. | Multi-modality imaging for pre-procedural planning of transcatheter mitral valve interventions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091215 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100129 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130205 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |