JP5764668B2 - 超音波による物体の識別 - Google Patents

超音波による物体の識別 Download PDF

Info

Publication number
JP5764668B2
JP5764668B2 JP2013546127A JP2013546127A JP5764668B2 JP 5764668 B2 JP5764668 B2 JP 5764668B2 JP 2013546127 A JP2013546127 A JP 2013546127A JP 2013546127 A JP2013546127 A JP 2013546127A JP 5764668 B2 JP5764668 B2 JP 5764668B2
Authority
JP
Japan
Prior art keywords
heart model
dimensional
ultrasound
information
catheter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013546127A
Other languages
English (en)
Other versions
JP2014500127A (ja
Inventor
アンソニー ヒル
アンソニー ヒル
ディー. カーティス デノ
ディー. カーティス デノ
ロバート ディー. エーケン
ロバート ディー. エーケン
ホア チョン
ホア チョン
マーク クダス
マーク クダス
Original Assignee
セント・ジュード・メディカル・エイトリアル・フィブリレーション・ディヴィジョン・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by セント・ジュード・メディカル・エイトリアル・フィブリレーション・ディヴィジョン・インコーポレーテッド filed Critical セント・ジュード・メディカル・エイトリアル・フィブリレーション・ディヴィジョン・インコーポレーテッド
Publication of JP2014500127A publication Critical patent/JP2014500127A/ja
Application granted granted Critical
Publication of JP5764668B2 publication Critical patent/JP5764668B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

関連出願の相互参照
本願は、2010年12月27に出願された米国特許出願第12/978,935号の利益及び優先権を主張するものであり、その内容は参照によって本明細書に組み込まれる。
本開示は、超音波映像中の解剖学的物体を自動的に識別する機器および方法を含むカテーテルの機器およびシステムに関する。
電気生理学(EP)カテーテルは、ますます多くの処置に関連して使用されている。かかるカテーテルは、たとえば、診断、治療、マッピング、およびアブレーション処置のために使用されてきた。カテーテルは、一般的に患者の脈管構造を経由して意図する場所、たとえば、患者の心臓内の場所に到達するように操作され、かつ、検知、マッピング、アブレーション、または診断処置において使用される1個以上の超音波変換器、位置センサ、または電極を運ぶことができる。
超音波映像中の物体を識別する方法は、カテーテルから超音波情報を収集する工程と、その超音波情報を2個以上の明瞭な解剖学的物体をもつ3次元心臓モデルに位置付ける工程と、その心臓モデルからの少なくとも1個の明瞭な解剖学的物体を超音波情報の視覚表示内に表示する工程と、3次元心臓モデル中において当該物体に与えられた識別子を使用して超音波情報の視覚表示内のその少なくとも1個の明瞭な解剖学的物体を識別する工程とを含む。
一実施形態では、超音波情報は、超音波情報の位置および向きを指示するカテーテル関連の位置センサからの信号を検知すること、および次にその信号を使用して超音波情報を3次元心臓モデル内に位置付けることにより3−D心臓モデルに位置合わせされる。一実施形態では、この位置センサは、電界に応答するように構成された電極または磁界に応答するコイルのいずれかとすることができる。
一実施形態では、明瞭な解剖学的物体は、3次元心臓モデルからモデルと位置合わせされた超音波情報との間で一致する2次元境界情報を抽出し、続いて超音波情報の視覚表示を含む2次元拡張エコー映像を抽出された一致境界情報のオーバーレイとともに表示することにより、超音波情報の視覚表示内に表示することができる。この境界情報は、境界線として視覚化することができ、また、3−Dモデル内の特徴物に与えられたものと同一の識別子を使用して識別することができる。同様に、一実施形態では、電気生理学的マーカーまたは対象身体部位を示すマーカー、アブレーション損傷、カテーテル、電極、または磁気応答コイルを3次元心臓モデルから抽出し、超音波情報の視覚表示上に重ねることができる。
心臓構造の一般的表現をカテーテルと共に示す。 位相配列カテーテルの表示を含むボリュメトリック心臓モデルの一般的表現である。 位相配列超音波映像およびオーバーレイされた境界情報を含む拡大エコー映像の一般的表現である。 半径方向走査カテーテルの表現を含むボリュメトリック心臓モデルの一般的表現である。 半径方向走査超音波映像およびオーバーレイされた境界情報を含む拡大エコー映像の一般的表現である。 位相配列カテーテル、電極、および対象部位の表現を含むボリュメトリック心臓モデルの一般的表現である。 位相配列超音波映像およびオーバーレイされた境界情報、電極、および対象部位の表現を含む拡大エコー映像の一般的表現である。 超音波により特徴物を識別する方法を示すフロー・チャートである。 超音波により物体を識別するシステムを示す略図である。 位相配列カテーテルの表現を含むボリュメトリック心臓モデルの表現である。 位相配列超音波映像およびオーバーレイされた境界情報を含む拡大エコー映像の表現である。 図8は、ボリュメトリック心臓モデルの2つの図に加えて、位相配列超音波画像およびオーバーレイされた境界情報を含む拡大エコー映像を示す表示である。
同様な参照番号を使用して種々の図の同様または同一の構成要素を識別する図面を参照する。図1は、心臓構造12の一部分に配置されたカテーテル10を大まかに示す。図1において大まかに示されているように、カテーテル10は、たとえば、心臓構造12の右心房14に配置することができる。一実施形態では、カテーテル10は、超音波変換器16のような1個以上の超音波変換器を含み得る心臓エコー(ICE)カテーテルとすることができる。カテーテル10はさらに、その遠位端に配置され、カテーテル10の一部の位置および向きの両方を示す信号を与えるように構成される1個以上の位置検知器18、20、22を含むことができる。
1つの実施形態では、位置検出器18、20、22は、被験者の体内に送り込まれる電界に応答するように構成された電極(たとえば、リングタイプまたはスポット・タイプまたは部分的にマスクされる電極)とすることができる。かかる電極を使用して特定の場所のインピーダンスを検知し、かつ、代表的信号を外部コンピュータまたは処理装置に送ることができる。インピーダンス応用位置検知システムの例は、St.Jude Medical,Inc.of St.Paul,MNにより商品化され、参照により本出願にその全体が含まれている 「Method And Apparatus For Catheter Navigation And Location And Mapping In The Heart」と題する米国特許第7,263,397号明細書において記述されているEnSite NavX(商標)Systemである。
一実施形態では、1個以上の位置検知器18、20、22は、カテーテル10の上またはその中に配置される金属製コイルとし、かつ、被験者の体内に送り込まれる磁界に応答するように構成することができる。複数のコイルを別々の軸上において方向付けることができる。かかるコイルは、特定の場所における磁界の強さを検知し、かつ、代表的信号を外部コンピュータまたは処理装置に送ることができる。磁気応用位置検知システムの例は、St.Jude Medical,Inc.によりイスラエル国ハイファのその事業部MediGuide Inc.を通じてナビゲーションのために開発され、参照により本出願にその全体が含まれている「Medical Imaging and Navigation System」と題する米国特許第7,386,339号明細書において概して示され、かつ、記述されているMedical Positioning System(gMPS)である。この位置検出システムは、1個以上の磁気コイルと1個以上の電極の組み合わせとすることもできる。
超音波変換器16は、超音波信号を隣接組織および流体を通して外に放射するように構成することができ、かつさらに、かかる組織および流体から超音波エコーを受け取ることができる。一実施形態では、超音波変換器16は、単方向位相配列超音波変換器とすることができる。かかる変換器は、超音波エネルギーをカテーテルの一方の側からカテーテルの長手方向軸に沿った2次元平面に放射するように構成できる。別の実施形態では、超音波変換器16は、超音波エネルギーをカテーテルから半径方向外側に放射するように構成され、かつ、さらにカテーテルの円周の周りに360度まで回転するように構成される半径方向走査超音波変換器とすることができる。
このシステムは、さらに、処理装置24および表示装置26を含むことができる。この処理装置は、いくつかある処理タスクの中でも、カテーテルの遠位端部分に関連する1個以上の位置センサ(たとえば、位置センサ18、20、22)からの位置および/または向きの信号を受け取るように構成されること、1個以上の超音波変換器(たとえば、超音波変換器16)から超音波情報を受け取ること、心臓構造の3次元ボリュメトリック・モデルを維持すること、および種々の表示を表示装置26に与えることができる。
図2aおよび3aは、両方とも、処理装置26に与えられているかまたはそれにより維持される例示的な3次元心臓モデル30を示す。図2aおよび3aに示した心臓モデル30は、説明のために単純化されている。しかし、実際には、心臓モデル30は、より複雑化し、かつ/または実際の心臓構造12を表すようにすることもできる。一実施形態では、心臓モデル30は、無視できるほど薄い代表的シェルを使用して実際の心臓構造の壁を表すことができる。別の実施形態では、この壁は、実際の心臓組織を表す目に見える厚さをもつことができる。心臓モデル30は、標準コンピュータ表示装置などの表示装置26を使用して直ちにユーザーに表示することができる。
一実施形態では、3次元モデル30は、患者の心臓構造12のコンピュータ断層撮影法(CT)走査により得られる2次元スライス・データから構築されるセグメント化モデルとすることができる。別の実施形態では、3−D心臓モデル30は、2次元磁気共鳴映像法(MRI)スライス・データから構築することができる。このスライス・データは、たとえば、St.Jude Medical,Incにより商品化されているEnSite Verismo(商標)Segmentation Toolなどのコンピュータ化ツールを使用して自動的にセグメント化3−Dモデルに組み立てることができる。さらに別の実施形態では、この3−Dモデルは、回転式血管造影法から作成することができる。さらに別の実施形態では、この3−Dモデルは、心臓の内部でカテーテルを移動し、次にその運動をEnSite(商標)NavX Systemなどの3−Dマッピング・システムにより監視することにより直接作成することができる。記録された運動を観察することにより、3−Dシェルを最も外側の部位に当てはめることができる。
心臓モデル30は、このモデルの座標空間(たとえば、直交座標空間)内において画定される1個以上の識別可能物体を含むことができる。一実施形態では、この1個以上の物体は、構造的および非構造的物体を含むことができる。このモデルのボリュメトリック領域などの構造的物体(たとえば、構造32、34、36)は、右心房、左心房、右心室、左心室、大動脈、肺静脈、および/または肺動脈などの被験者の心臓構造の特定の部分を表すことができる。心臓モデル30内に含まれ得るその他の非構造的物体は、たとえば、対象の解剖学的部位/領域(たとえば、肺動脈心門または洞房(SA)結節)、対象非解剖学的物体(たとえば、カテーテルまたは電極)、および医師によりモデル内に配置されたその他のラベルまたはマーカー(たとえば、意図アブレーション場所、損傷マーカー、識別ラベル)を含む。
各識別可能物体は、同様に、物体の一部分または物体全体としての特性を定義する1個以上の特性を有することができる。一実施形態では、これらの特性は、物体全体、たとえば1つの物体を他から区別するために使用し得る数値的物体識別子に結びつけることができる。別案として、これらの特性は、場所固有であり得る。たとえば、ただそれのみにより当該物体の単一の部位または部分の特徴を定義することができる。これらの場所固有の特性は、たとえば、当該ボリュメトリック構造上の部位における心臓組織の興奮伝達時間または電気記録図振幅、特定の電極と隣接組織との間の電気的結合(当該特定電極において与えられる)の程度、特定の電極と心臓構造との間の距離の程度、または当該ボリュメトリック構造上の特定の部位におけるアブレーションのエネルギーまたは時間の程度を含み得る。心臓モデル30内の各部位(P)が3次元において物理的に定義される一実施形態では、この部位は、たとえば、等式1により示される配列により表すことができる。ただし、(x,y,z)は3次元における部位の位置を表し、(C1、C2,...,Cn)は当該場所における1つ以上の特性を表す。同様な定義は、物体全体および物体定義特性について存在し得る。
P=[x,y,z,C1,C2,...,Cn] 等式1
心臓モデル30内において、各物体は、明瞭な表示色またはテキスト・ラベルの使用により別々に識別され得る。一実施形態では、各識別子は、それぞれの当該物体の数値的識別子特性に一意的に結びつくことができる。たとえば、しかし限定することなく、心臓モデル30の表示内において、構造32に赤色の陰影を施し、構造34に青色の陰影を施し、構造36に灰色の陰影を施すことができる。別の方法として、構造32はテキスト・ラベル「右心房」または「RA」により、構造34はテキスト・ラベル「肺動脈」または「PA」により、構造36はテキスト・ラベル「大動脈」または「Ao」により、それぞれ識別することができる。同様に、その他の識別可能物体は、他の固有の色および/またはテキスト・ラベルにより識別することができる。
物体固有の特性により識別する代わりに、心臓モデル30内の各物体は、複数の部位における特性の大きさまたは性質を示す複数の色などの場所固有の特性により表すことができる。たとえば、ただし限定することなく、ボリュメトリック構造上のあらゆる部位の色は、各部位における心臓組織の興奮伝達時間を反映することができる(たとえば、心臓組織の電気生理学マップにより)。かかる実施形態では、色のスペクトルを使用して一連の時間値を表すことができる。この場合、たとえば、濃い赤い色はより長い興奮伝達時間を反映し、かつ、濃い青い色はより短い興奮伝達時間を反映し得る。
心臓モデル30がCTまたはMRIなどの別の映像診断法を使用して作成される場合、モデル30は、1個以上の位置検出器(たとえば、位置検出器18、20、22)をもつ位置検出システムを使用して実際の心臓構造12に位置合わせすることができる。モデルが位置決めシステムの使用により直接作成される場合、モデル30の実際の心臓構造12への位置合わせは不要とするかまたは間接的とすることができる。一実施形態では、心臓モデルの位置合わせは、カテーテル10を一連の既知の場所経由で移動することおよび各場所の位置を記録することにより行うことができる。このシステムは、記録された位置を関連3−D心臓モデル30内の同様な位置に相関させ、かつ、それに応じて心臓モデル30の回転、オフセット、および/または拡縮を調整することができる。一実施形態では、医師は、かかる処置に関する個人的経験を使用し、または蛍光透視法などのリアルタイム映像の助けによりカテーテルを既知の位置へ操作することができる。一実施形態では、医師は、St.Jude Medical,Inc.により商品化されたEnSite Fusion(商標)Registration Toolなどの動的位置合わせツールを使用して心臓モデル30と実際の心臓構造12との間の位置合わせを行い得る。
心臓モデル30が実際の心臓構造12に位置合わせされた後(明示的にまたは間接的に)、システムは、カテーテル38の表現を心臓モデル30内に組み込むことができる。カテーテルの表現38は、実際のカテーテル10の位置および向きに基づいてモデル30内において位置付けおよび方向付けされ得る。さらに、1個以上の位置センサ(たとえば、位置センサ18、20、22)と超音波変換器16との間の物理的関係を理解することにより、システムは、2−D超音波発散の正確な位置および向きを導くことができる。この位置的関係の情報により、システムは、次に、対応する2次元超音波映像40、42を心臓モデル30内で、たとえば、図2aおよび3aに示すように、位置付けることができる。3−D心臓モデル30内に表示された超音波映像40、42は、変換器16により取得された超音波情報を表すことができ、かつ、たとえば、必要に応じて、高い音圧反射率をもつ組織をそれに応じて高い輝度の単色で表示し得る。
図2aは、超音波変換器16が位相配列超音波変換器である実施形態を示す。大まかに示されているように、超音波映像40は、カテーテル表現38の一部分から指向的に投射されている。図3aは、超音波変換器16が半径方向走査超音波変換器である実施形態を示している。図3aに大まかに示されているように、超音波映像42は、カテーテル38から半径方向にカテーテル38の軸にほぼ垂直になるように投射されている。
2次元超音波映像40、42が心臓モデル30内に位置付けられた後、この映像を使用してモデル・スライス平面を一般的に定義することができる。本出願において使用されているように、このモデル・スライス平面は、3次元モデル空間内に位置する2次元平面とすることができる。それは、2次元超音波画像40、42を含み、かつ、さらにカテーテル38の表現および心臓モデル30の一部と交差する。
このシステムは、超音波映像の平面内に存在するモデル情報を抽出するためにモデル・スライス平面を使用することができる。一実施形態では、モデル・スライス平面と心臓モデルの交差は、この平面内の心臓構造の壁を表す一連の境界線を作成し得る。図2bおよび3bに大まかに示すように、次に境界情報50を超音波情報52、54の独立視覚化の上に重ね合わせて拡大エコー映像56、58を作成することができる。
図2bに大まかに示した位相配列超音波変換器を使用する一実施形態では、拡大エコー映像56は、図2aに描かれている構造32に対応する第1境界マーカー60を包含し得る。同様に第2境界マーカー62は構造34に、また、第3境界マーカー64は構造36に対応し得る。
図3bにおいて大まかに示した半径方向走査超音波変換器を使用する実施形態では、拡大エコー映像58は、図3aにおいて描かれている構造32に対応できる第1境界マーカー66を包含することができ、また、第2境界マーカー68は構造36に対応し得る。超音波平面(および、従ってモデル・スライス平面)は構造34と交差しないので(図3aに示すように)、それは、拡大エコー映像58内に表現されない。
超音波映像の平面内における構造的物体の識別に加えて、このシステムは、図4aおよび4bに大まかに示すように、モデル・スライス平面の所与誤差内に位置するその他の非構造的物体を抽出するように構成することもできる。前述したように、かかる他の物体は、心臓構造内の対象とする身体的部位または領域(たとえば、SA結節および/または肺心門)を識別するマーカー、処置固有のものを識別する電気生理学的マーカー(たとえば、アブレーション損傷マーカーおよび/または特定の電気生理学的特性をもつ組織を示すマーカー)またはカテーテル、電極または磁気応答コイルの表現を含み得る。
図4aは、心臓モデル内のその他の非構造的物体(すなわち、カテーテル電極70、72、およびマーカー74)の識別を含む一般化された3−D心臓モデル30を示す。上述したように、2次元超音波画像40は、心臓モデル30内に位置を占めることができ、かつ、モデル・スライス平面を一般的に定義するために使用できる。このシステムは、超音波映像の平面内の解剖学的構造を識別するためにモデル・スライス平面を使用することができる。また、このシステムは、このモデルを観察し、かつ、モデル・スライス平面の所定誤差内に存在するその他の非構造的物体を抽出することができる。モデル・スライス平面外に位置する特徴物は、オーバーレイおよび拡大エコー映像56を構築するために、この平面に直交的に投影させることができる。図4bに示すように、このモデル内のカテーテル電極70は、拡大エコー映像内の電極80として表示することができる。同様に、電極72は電極82として、マーカー74はマーカー84として表示することができる。
拡大エコー映像(たとえば、拡大エコー映像56、58)中に表現される物体の医師またはその他の医療専門家による迅速な識別を助けるために、このシステムは、指示の下にまたは自動的に、心臓モデル30中の当該物体のために用意されているものと同一または同様な固有の識別子を使用して拡大エコー映像中の各物体(たとえば、図2b中の構造60、62,64)を識別することができる。次に図2aおよび2bを参照する。たとえば、構造32が赤色の陰影を施された場合、拡大エコー映像56内の対応する境界マーカー60は、同じ(または同様な)赤色を使用して表示することができる。同様に、構造34が青色の陰影を施された場合、対応する境界マーカー62は、同様な青色を使用して表示することができる。また、構造36が緑色であった場合、境界マーカー64は、同様な緑色を使用して表示することができる。別の実施形態では、心臓モデル30内の1個以上の物体がその物体の大きさおよび/または種々の特性の性質を反映するように着色される場合、モデル・スライス平面の所与の誤差におけるまたはその範囲内の各物体の色を拡大エコー映像内の当該物体の表現に反映することができる。
テキスト・ラベルを使用して心臓モデル30内の特定の物体を一意的に識別する場合、同一のテキスト・ラベル(またはその短縮形)を拡大エコー映像56、58内で使用してその物体の対応する表現を識別することができる。色および/またはテキスト・ラベルの使用によるかかる識別は、モデルのボリュメトリック領域などの構造的物体と損傷マーカー、電極、またはその他の対象部位などの非構造的物体の両方について等しく使用することができる。
図5は、超音波映像中の物体を自動的に識別する方法の実施形態のフロー・チャートを大まかに示す。ステップ100において、システムは、心臓エコー(ICE)カテーテルなどのカテーテルから超音波情報を収集する。かかる情報は、たとえば、被験者の心臓中のカテーテルの遠位端付近にまたはそこに配置される半径方向走査超音波変換器からまたは位相配列超音波変換器から到来し得る。受信した情報は、2次元映像中に可視化することができる。この場合、高い音圧反射率をもつ組織は、たとえば、それに応じた高い輝度の単色で表示し得る。
ステップ102において、収集された超音波情報を被験者の心臓構造の3−Dモデル内に配置する。一実施形態では、超音波情報を配置することは、モデル内の超音波変換器の表現の位置および向きを識別して、この表現が被験者の実際の心臓構造内の実際の変換器の位置および向きを反映するようにすることを含み得る(St.Jude Medical,Inc.により商品化されたEnsite NavX(商標)Systemなどの位置決めシステムにより認識され得るように)。モデル内における変換器表現を正確に位置決めすることにより、システムは、3−Dモデル内の2−D超音波映像投影を同様に位置決めすることができる。身体的患者についてリアルタイム位置決めシステムを使用してモデルが作成された実施形態またはモデルが事前にカテーテル位置決めシステムに位置合わせされている実施形態では、明示的な位置合わせは必須ではないであろう。しかし、心臓モデルが術式とは別に作成されたかまたは別の映像手段(たとえば、CTまたはMRI)を使用して作成された場合には、モデルをカテーテル位置決めシステムに明示的に位置合わせする(またはその逆に位置合わせする)必要があろう。
心臓モデルと位置決めシステムとの間の明示的位置合わせが必要な場合、システムは、たとえば、モデルを拡縮および/または回転して心臓構造に整列させる剛体位置合わせ技法を使用/採用することができる。別案として、St.Jude Medical,Inc.pにより商品化されたEnsite Fusion(商標)Registration Toolなどの動的位置合わせツールの使用により位置合わせを行うこともできる。モデルが被験者の心臓構造に位置合わせされた後(明示的または間接的に)、位置決めシステムを使用して超音波情報の原点および向きを心臓構造内に配置し、かつ、達成された位置合わせを使用してモデル内に配置することができる。
一実施形態では、モデルは、ボリュメトリック領域またはその他の対象のものなどの複数の構造的または非構造的物体を含むことができる。この場合、各物体は、明瞭な色および/またはテキスト・ラベルなどの別々の識別子を使用してモデル内で識別され得る。ステップ104において、超音波情報の平面と一致する物体は、3−D心臓モデルから抽出され得る。かかる物体は、一定の心臓構造物の壁を画定する境界情報を含むことまたは平面の所与誤差内に位置するその他の医師関心対象非構造的物体を含むことができる。ステップ106において、抽出された物体は、2−D超音波情報の独立視覚化の上に重ね合わせることができる。このオーバーレイは、超音波のみの場合より明瞭に識別された構造的境界線または特徴物の識別を与える合成映像をもたらし得る。
最後に、ステップ108において、3−Dモデルに関連する特定の対応物体のために使用されたものと同一または類似の識別子を使用して、合成映像中の重ね合わされた物体を識別することができる。たとえば、特定の色を使用して特定の解剖学的構造が識別された場合、合成映像の対応境界線は、同じ色を使用して識別される。同様に、モデルにおいて特定のテキスト・ラベルまたは記号が使用された場合、同じラベルまたは記号が合成映像において使用される。
図6は、超音波映像中の物体を識別するシステムの略図である。図示のように、このシステムは、超音波情報110を投影することおよび受け取ることができるICEカテーテルなどのカテーテル10を含み得る。超音波情報110は、たとえば、位相配列超音波変換器または半径方向走査超音波変換器を使用して送信/受信することができる。カテーテル10の遠位部分は、さらに位置および向きを含む外部信号を受信するように構成される1個以上の位置センサ112をもつように構成することができる。1個以上の位置センサは、たとえば、EnSite NavX(商標)Systemなどにより外部的に生成された電界を監視するように構成される電極を含むかまたはMedical Positioning System(gMPS)などにより外部的に生成される磁界を監視するように構成される磁気応答コイルを含み得る。
一実施形態では、カテーテル10は、超音波情報110を2−Dエコー映像システム114に与えることができる。エコー映像システム114は、受信した超音波情報をモニタ118に表示され得る超音波映像116に変換するように構成することができる。
カテーテル10は、同様に1個以上の位置センサ112のそれぞれからの信号を位置検知システム120に与えることができる。この位置検知システムは、カテーテル10の遠位部分の位置および向きを導き出すように構成され得る。位置検知システム120は、カテーテル10の3D位置および向き(自由度6まで)を可視化処理装置122に与えるように構成し得る。後者は、心臓構造の3Dモデル124を維持することができる。3Dモデル124は、複数の物体126を含むことができ、各物体は、当該物体126の特徴または当該物体126内の部位の特徴を定義する1つ以上の特性128をもち得る。一実施形態では、可視化処理装置122は、カテーテル10の遠位部分の与えられた位置および向きを使用してカテーテルの表現を心臓構造の3Dモデル124内に位置付けることができる。
一実施形態では、エコー映像システム114は、超音波情報の表現も可視化システム122に与えることができる。カテーテル10の遠位部分の位置および向きを使用して、可視化処理装置122は、超音波情報の表現をモデル124内に位置付けることができる。
可視化処理装置122は、3Dモデル124の表現を表示装置130に与えるように構成することができる。この表現は、維持されている3Dモデルの表示(心臓構造132を含む)を含むことができ、かつ、さらにモデル内の超音波情報の位置付けられた表現(たとえば、超音波映像134)を含むことができる。
視覚化処理装置122は、さらにエコー・オーバーレイ副処理装置136を含み得る。この副処理装置は、可視化処理装置122が超音波情報の平面内(または平面の指定誤差内)の物体を抽出し、オーバーレイ映像138を生成することを可能にし得る。エコー・オーバーレイ副処理装置は、さらにモニタ118上で超音波映像116とのオーバーレイ映像138を表示するように構成することができる。このオーバーレイを生成するとき、エコー・オーバーレイ副処理装置136は、各物体126とその物体に関するいずれかの特性128との間の既存関係を維持するように構成し得る。かかる関係を維持することにより、オーバーレイ138内の物体は、表示装置130上の3Dモデル124の表現中の場合と同様な方法により(たとえば、特定の色またはテキスト参照により)一意に識別することができる。
さらに図6に示すように、このシステムによりユーザー140は、3Dモデル130の表示または拡大エコー映像118の表示の両方と相互動作してユーザーの対象特徴物を標識することができる。一実施形態では、ユーザー140は、ラベル、マーカーまたはその他のかかるタグの使用によりいずれの映像内の部位も識別することができる。これらの物体は、たとえば、損傷部位または構造的異常点を識別することにおいて有益たり得る。
一実施形態では、ユーザーはマーカーなどの非構造的物体を生成することができるが、それは、いずれかの映像中の当該マーカーの意図位置を選択することにより行われる。マーカーが映像中内に設定された後、視覚化処理装置は、その位置座標を当該映像から3Dモデル124に物体126として転送することができる。カテーテル10が続いて動かされて超音波情報110の平面がもはや設定物体を包含しないようになった場合、その物体は拡大エコー表示装置118から消滅する(3Dモデル表示130中では依然として見えるが)。超音波平面が設定部位を含む位置および/または向きに戻った場合、当該物体はこの平面の他の物体と同様にオーバーレイ138経由で表示され得る。
一実施形態では、2−Dエコー映像システム114、位置検知システム120、および視覚化処理装置122は、たとえば、電気的またはRF手段により互いに通信するすべて別々の構成要素とすることができる。別の実施形態では、これらのシステムまたは処理装置のいずれか2つ以上を単一の汎用コンピュータ内に常駐させ得る。これらのシステムおよび/または処理装置のこれらの物理的関係は、本発明の範囲を限定するものと解釈するべきではない。
図7aは、被験者の心臓構造のCTまたはMRIスライスから組み立て得るより複雑なセグメント化心臓モデル200を示す。図示されているように、モデル200は、右心房202、左心房204、大動脈206、および肺動脈208を示す。一実施形態では、モデル200内の種々の構造は、明瞭な色を使用して識別され得る。たとえば、右心房202は青色とし、左心房204はベージュ色とし、大動脈206はマジェンタ色とし、肺動脈208は赤色とすることができる。
カテーテル210の表現は、さらに心臓のモデル200内において位置付けし、かつ、被験者内の実際カテーテルの検知された位置に従って位置付けし、かつ、向きを与えることができる。図示されているように、カテーテル表現210は、実際のカテーテルにより受信される超音波情報212の2−D視覚化を投射することができる。表示される場合、超音波映像212に対し、被験者内の実際のカテーテルの検知された位置および向きに従って、3−Dモデル内において同様に向きを与えることができる。超音波映像212は、被験者内の密度の高い組織を表すコントラストの弱い部分(たとえば、領域214)を少なくとも1つ含むことができる。
図7bに示すように、図5aからの超音波映像212は、モデル200から独立に表示することができる。超音波映像212は、同様に被験者内の音圧反射率の高い組織を表すコントラストの弱い部分を少なくとも1つ(たとえば、領域214)含むことができる。さらに、境界情報、またはモデル200内に存在する超音波映像212の平面と一致するその他の物体をモデル200から抽出し、超音波映像212上に重ね合わせて拡大エコー映像220を形成することができる。かかる境界情報は、右心房222,左心房224、大動脈226、および肺動脈228に属するものとして識別可能な境界線を含むことができる。
拡大エコー映像220内において、種々のその他の構造的物体も、心臓モデルに関連して与えられる同一または同様な識別子を使用して識別することができる。たとえば、図5bに示すように、右心房222を表す境界線は、モデル200における右心房202について使用された色と一致する青色に着色することができる。同様に、左心房境界線224はベージュ色に、大動脈境界線226はマジェンタ色に、肺動脈線228は赤色に着色できる。
図8に示すように、心臓モデル200の種々の図(たとえば、図240、242)は、拡大エコー映像220およびその他の極めて重要な情報244とともに単一の総合表示環境246に表示することができる。
本開示の幾つかの実施形態をある程度の特殊性と共に上記において説明してきたが、当業者は、本発明の範囲を逸脱すること無く、開示される実施形態に多くの変更を加えることができるであろう。全ての方向に関する指示(例えば、プラス、マイナス、上部、下部、上向き、下向き、左、右、左向き、右向き、最上部、底部、より上方に、より下方に、垂直の、水平の、時計回り、反時計回り)は、読者の本発明についての理解を助けるべく、識別する目的で使用されているに過ぎず、特に本発明の位置、方向、又は、使用に関して制限を与えるものではない。結合に関する指示(例えば、取り付けられる、連結される、接続されるなど)は、広義に解釈されるべきであり、要素の接続部と、要素の間の相対的な動きと、の間の中間メンバーを含んでいる場合がある。その様に、結合に関する指示は、2つの要素が直接的に接続されている及び互いに固定した関係にあることを必ずしも推定しているものではない。上記の説明に含まれる又は添付図面に示される全ての内容は、制限的なものとしてではなく、単に例示的なものとして解釈されるべきである。添付の特許請求の範囲で定義されている本発明から逸脱すること無く、細部又は構造に変更を加えることができる。

Claims (21)

  1. 超音波映像中の物体を識別する方法であって、
    カテーテルから受信された前記カテーテルの位置および向きを示す信号を使用して前記カテーテルの超音波情報を含む平面を決定し、かつ、2個以上の明瞭な物体をもつ3次元心臓モデル内に前記超音波情報を位置付ける工程であって、前記明瞭な物体の各々が固有の識別子をもつ工程と、
    前記3次元心臓モデルの少なくとも一部を表示し、同時に、前記3次元心臓モデルから少なくとも1個の明瞭な物体を前記超音波情報の視覚表示内に表示する工程と、
    前記超音波情報の前記視覚表示内において少なくとも1個の前記明瞭な物体を、前記3次元心臓モデル中の前記物体について与えられた前記識別子に対応する識別子を使用して識別する工程と、を含む超音波映像中の物体を識別する方法。
  2. 位置および向きを示す前記信号が、磁界に応答するコイルにより与えられる請求項1に記載の方法。
  3. 位置および向きを示す前記信号が、電界に応答する電極により与えられる請求項1に記載の方法。
  4. 少なくとも1個の明瞭な物体を前記超音波情報の視覚表示内に表示する工程が、
    前記3次元心臓モデルと超音波情報を含む平面との間で一致する2次元境界情報を前記3次元心臓モデルから抽出することであって、前記2次元境界情報は前記3次元心臓モデルの少なくとも1個の明瞭な物体に対応する、ことと、
    超音波情報の視覚表示および前記抽出された一致2次元境界情報を表す境界線を含む2次元拡大エコー映像を表示することと、を含む請求項1〜3のいずれか一項に記載の方法。
  5. 物体が、前記3次元心臓モデルのボリュメトリック領域であり、
    前記3次元心臓モデルの2つ以上のボリュメトリック領域のそれぞれが、着色されるかまたは固有の色識別子を与えられ、
    前記超音波情報の前記表示内の前記少なくとも1個の明瞭な物体を識別する工程が、前記3次元心臓モデル内の前記ボリュメトリック領域の前記色識別子に従って前記境界線を着色することを含む請求項4に記載の方法。
  6. さらに、前記拡大エコー映像および前記3次元心臓モデルの視覚化を総合表示に表示する工程を含む請求項4又は5に記載の方法。
  7. 物体が、前記3次元心臓モデルのボリュメトリック領域、対象身体的部位を識別するマーカー、電気生理学的マーカー、またはカテーテル、電極、または磁界応答コイルの表示である請求項1〜4のいずれか一項に記載の方法。
  8. 固有の識別子が、前記物体の特性に対応する請求項1〜4のいずれか一項に記載の方法。
  9. 固有の識別子が、色識別子を含む請求項1〜4のいずれか一項に記載の方法。
  10. 固有の識別子が、テキスト・ラベルを含む請求項1〜4のいずれか一項に記載の方法。
  11. 前記3次元心臓モデル内の少なくとも1つの物体が、前記超音波情報の前記視覚表示により指定される請求項1に記載の方法。
  12. 前記超音波情報の前記視覚表示により指定される前記物体が、前記3次元心臓モデル内で前記超音波の前記視覚表示中の前記物体に与えられた識別子を使用して識別される請求項11に記載の方法。
  13. 超音波映像中の物体を識別するシステムであって、
    超音波情報を与えるように構成されるカテーテルと、
    表示装置と、
    前記カテーテルから超音波情報を受信し、3次元心臓モデルから2次元境界情報を抽出し、前記2次元境界情報を前記超音波情報の視覚化上に重ね合わせて拡大エコー映像を形成し、前記3次元心臓モデル内で与えられる識別子を使用して前記拡大エコー映像内において前記2次元境界情報を識別し、かつ、前記拡大エコー映像と前記3次元心臓モデルの少なくとも一部を前記表示装置上に同時に表示するように構成される処理装置と、を含む超音波映像中の物体を識別するシステム。
  14. 前記処理装置が、さらに、前記3次元心臓モデルを前記被験者の実際の生体構造に合わせるように構成される請求項13に記載のシステム。
  15. 前記処理装置が、さらに、前記カテーテルに関連する電極またはコイルにより与えられる位置情報に基づいて前記3次元心臓モデル内に前記カテーテルの表示を与えるように構成される請求項13又は14に記載のシステム。
  16. 前記3次元心臓モデル内で与えられる前記識別子が、明瞭な解剖学的構造にそれぞれ関連する1つ以上の色である請求項13〜15のいずれか一項に記載のシステム。
  17. 前記処理装置が、さらに、前記3次元心臓モデルからの非構造的物体を前記超音波情報の前記視覚化上に重ね合わせるように構成される請求項13〜16のいずれか一項に記載のシステム。
  18. 前記表示装置が、前記拡大エコー映像の前記表示経由で物体の表示を受信するように構成され、さらに、前記処理装置が指示された前記物体を前記3次元心臓モデル内に位置付けるように構成される請求項13〜17のいずれか一項に記載のシステム。
  19. 超音波映像中の物体を識別する方法であって、
    カテーテルの位置および向きを使用して3次元心臓モデル内に2次元平面を定義する工程と、
    前記2次元平面と一致する前記3次元心臓モデルの1個以上の物体を抽出する工程と、
    前記3次元心臓モデル内に前記カテーテルの超音波情報を位置付ける工程と、
    前記超音波情報および1個以上の抽出された物体を含む拡大エコー映像を組み立てる工程と、
    前記拡大エコー映像内の1個以上の抽出された前記物体のそれぞれを、前記3次元心臓モデル内の前記物体に与えられた識別子を使用して識別する工程と、
    表示装置上の同時表示のために前記拡大エコー映像および前記3次元心臓モデルの少なくとも一部を与える工程と、を含む超音波映像中の物体を識別する方法。
  20. 位置および向きの前記情報が、前記カテーテルの前記遠位端部分付近に位置する電極またはコイルから受け取られる請求項19に記載の方法。
  21. 1個以上の抽出された前記物体が、前記2次元平面と一致する前記3次元心臓構造の前記壁を表す境界線であり、
    前記拡大エコー映像内の前記境界線が、前記3次元心臓モデル内の前記生体構造に与えられたものと同一の色を使用して前記境界線を着色することにより識別される請求項19又は20に記載の方法。
JP2013546127A 2010-12-27 2011-09-13 超音波による物体の識別 Active JP5764668B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/978,935 2010-12-27
US12/978,935 US20120165671A1 (en) 2010-12-27 2010-12-27 Identification of objects in ultrasound
PCT/US2011/051446 WO2012091764A1 (en) 2010-12-27 2011-09-13 Identification of objects in ultrasound

Publications (2)

Publication Number Publication Date
JP2014500127A JP2014500127A (ja) 2014-01-09
JP5764668B2 true JP5764668B2 (ja) 2015-08-19

Family

ID=46317949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013546127A Active JP5764668B2 (ja) 2010-12-27 2011-09-13 超音波による物体の識別

Country Status (4)

Country Link
US (1) US20120165671A1 (ja)
EP (1) EP2632341B1 (ja)
JP (1) JP5764668B2 (ja)
WO (1) WO2012091764A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104797199B (zh) * 2012-11-20 2018-02-23 皇家飞利浦有限公司 用于实时胎儿心脏评估的标准平面的自动定位
JP6342164B2 (ja) * 2013-01-23 2018-06-13 キヤノンメディカルシステムズ株式会社 超音波診断装置
KR20150108701A (ko) 2014-03-18 2015-09-30 삼성전자주식회사 의료 영상 내 해부학적 요소 시각화 시스템 및 방법
US10905396B2 (en) 2014-11-18 2021-02-02 C. R. Bard, Inc. Ultrasound imaging system having automatic image presentation
WO2016081321A2 (en) 2014-11-18 2016-05-26 C.R. Bard, Inc. Ultrasound imaging system having automatic image presentation
JP2016133541A (ja) * 2015-01-16 2016-07-25 株式会社ブリリアントサービス 電子眼鏡および電子眼鏡の制御方法
KR102545008B1 (ko) * 2015-10-26 2023-06-20 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어 방법
CN108697360A (zh) * 2016-02-16 2018-10-23 圣犹达医疗用品心脏病学部门有限公司 使用医学图像用于电生理标测的方法和系统
US10646197B2 (en) * 2016-07-06 2020-05-12 Biosense Webster (Israel) Ltd. Ascertaining tissue thickness
CA3039666C (en) 2016-10-28 2022-08-23 Ppg Industries Ohio, Inc. Coatings for increasing near-infrared detection distances
US11717257B2 (en) * 2018-01-22 2023-08-08 General Electric Company Fetal ultrasound monitoring method and system
CN111150490B (zh) * 2020-01-15 2021-01-29 陈挺 基于ar和ai技术的心脏射频消融手术智能助手系统
JP7401679B2 (ja) * 2020-07-10 2023-12-19 朝日インテック株式会社 医療装置、及び、画像生成方法
US20230000461A1 (en) * 2021-07-02 2023-01-05 Biosense Webster (Israel) Ltd. Ultrasound slice enhancement
US20230190382A1 (en) * 2021-12-20 2023-06-22 Biosense Webster (Israel) Ltd. Directing an ultrasound probe using known positions of anatomical structures

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5182728A (en) * 1991-06-28 1993-01-26 Acoustic Imaging Technologies Corporation Ultrasound imaging system and method
US6106466A (en) * 1997-04-24 2000-08-22 University Of Washington Automated delineation of heart contours from images using reconstruction-based modeling
US7806829B2 (en) * 1998-06-30 2010-10-05 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for navigating an ultrasound catheter to image a beating heart
US6556695B1 (en) * 1999-02-05 2003-04-29 Mayo Foundation For Medical Education And Research Method for producing high resolution real-time images, of structure and function during medical procedures
JP3619201B2 (ja) * 2002-03-04 2005-02-09 アロカ株式会社 超音波診断装置
US7697972B2 (en) * 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
EP1523939B1 (en) * 2003-10-14 2012-03-07 Olympus Corporation Ultrasonic diagnostic apparatus
WO2006044996A2 (en) * 2004-10-15 2006-04-27 The Trustees Of Columbia University In The City Of New York System and method for automated boundary detection of body structures
US7713210B2 (en) * 2004-11-23 2010-05-11 St. Jude Medical, Atrial Fibrillation Division, Inc. Method and apparatus for localizing an ultrasound catheter
JP2006205361A (ja) * 2005-01-25 2006-08-10 Fuji Photo Film Co Ltd インクジェット記録媒体
US7604601B2 (en) * 2005-04-26 2009-10-20 Biosense Webster, Inc. Display of catheter tip with beam direction for ultrasound system
AU2006201646B2 (en) * 2005-04-26 2011-01-06 Biosense Webster, Inc. Display of catheter tip with beam direction for ultrasound system
US20070049817A1 (en) * 2005-08-30 2007-03-01 Assaf Preiss Segmentation and registration of multimodal images using physiological data
US8075486B2 (en) * 2006-05-03 2011-12-13 Biosense Webster, Inc. Enhanced ultrasound image display
WO2008085193A2 (en) * 2006-08-14 2008-07-17 University Of Maryland Quantitative real-time 4d strees test analysis
US7996060B2 (en) * 2006-10-09 2011-08-09 Biosense Webster, Inc. Apparatus, method, and computer software product for registration of images of an organ using anatomical features outside the organ
US7831076B2 (en) * 2006-12-08 2010-11-09 Biosense Webster, Inc. Coloring electroanatomical maps to indicate ultrasound data acquisition

Also Published As

Publication number Publication date
EP2632341B1 (en) 2021-10-20
US20120165671A1 (en) 2012-06-28
EP2632341A1 (en) 2013-09-04
EP2632341A4 (en) 2015-07-15
JP2014500127A (ja) 2014-01-09
WO2012091764A1 (en) 2012-07-05

Similar Documents

Publication Publication Date Title
JP5764668B2 (ja) 超音波による物体の識別
US8409098B2 (en) Method and apparatus for collection of cardiac geometry based on optical or magnetic tracking
US9717478B2 (en) Refinement of an anatomical model using ultrasound
JP6182194B2 (ja) 心内エコー・カテーテル画像における心臓内の機器および構造の自動識別
CN1853575B (zh) 二维超声扇的显示
JP5345275B2 (ja) 超音波データと事前取得イメージの重ね合わせ
EP1852824B1 (en) Enhanced ultrasound image display
JP4795099B2 (ja) 超音波を用いた電気解剖学的地図と事前取得イメージの重ね合わせ
CN1853571B (zh) 使用超声轮廓重建进行三维心脏成像的软件产品
CN1853576B (zh) 使用超声轮廓重建的三维心脏成像
JP5622995B2 (ja) 超音波システム用のビーム方向を用いたカテーテル先端部の表示
US8948476B2 (en) Determination of cardiac geometry responsive to doppler based imaging of blood flow characteristics
US20230190382A1 (en) Directing an ultrasound probe using known positions of anatomical structures
US20230263580A1 (en) Method and system for tracking and visualizing medical devices

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130808

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131022

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150615

R150 Certificate of patent or registration of utility model

Ref document number: 5764668

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250