JP5848762B2 - Emキャリブレーションのリアルタイム品質管理 - Google Patents

Emキャリブレーションのリアルタイム品質管理 Download PDF

Info

Publication number
JP5848762B2
JP5848762B2 JP2013517600A JP2013517600A JP5848762B2 JP 5848762 B2 JP5848762 B2 JP 5848762B2 JP 2013517600 A JP2013517600 A JP 2013517600A JP 2013517600 A JP2013517600 A JP 2013517600A JP 5848762 B2 JP5848762 B2 JP 5848762B2
Authority
JP
Japan
Prior art keywords
image
volume
tracking
motion
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013517600A
Other languages
English (en)
Other versions
JP2013529531A (ja
Inventor
アミート クマル ジャイン
アミート クマル ジャイン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2013529531A publication Critical patent/JP2013529531A/ja
Application granted granted Critical
Publication of JP5848762B2 publication Critical patent/JP5848762B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00238Type of minimally invasive operation
    • A61B2017/00243Type of minimally invasive operation cardiac
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681Aspects not otherwise provided for
    • A61B2017/00725Calibration or performance testing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/378Surgical systems with images on a monitor during operation using ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は一般に3D経食道エコー("TEE")プローブの電磁("EM")追跡に関する。本発明は特に低侵襲インターベンション中のTEEプローブのリアルタイム品質管理に関する。
3D TEEプローブは低侵襲心臓治療のための日常的臨床診療に組み込まれており、体内の3D TEEプローブのEM追跡は術中鼓動する心臓手術及び治療を容易にする。3D TEEプローブのEM追跡は3D TEEプローブとEM位置センサの間の正確なキャリブレーションを必要とし、超音波("US")画像内のボクセルと3D TEEプローブに取り付けられたEM位置センサの間の剛体(rigid)空間関係を見つけることを含む。正確なキャリブレーションと剛体空間関係は(a)3D TEEプローブが患者の内部を移動する際の動きを推定し、(b)任意時間における任意のTEEボリュームを共通世界座標系(例えばX線イメージャの座標系)にマッピングし、(c)3D TEEプローブの動きを心臓の動きから分離するのを助けることを可能にする。
しかしながら、3D TEEプローブのEM追跡は、(a)臨床環境における予想外のEM場の歪み(例えばX線ガントリ若しくは手術道具からの歪み)、(b)3D TEEプローブに対するEM位置センサの偶発的物理的運動、及び(c)EM位置センサの1つ以上の部分的故障を含む様々な理由のために不正確になり得る。3D TEEプローブは複雑で高度な心臓手術のために使用されることが期待されるので、3D TEEプローブとEM位置センサ間のキャリブレーションを維持することが重要である。特に、不正確なキャリブレーションは超音波ボリュームの不正確な動き推定につながり、手術道具の不正確なガイダンスにつながり得る。この問題はますます多くのモジュールが互いに適合するますます高度なインターベンションガイダンスシステムが開発されるにつれて、特に重要になる。従ってバックグラウンドにおいて手術中ずっとインターベンションガイダンスシステムの精度と有効性を連続的に観察することができる自動技術が必要である。
本発明は外科手術(例えば心臓手術)中のプローブ(例えば3D TEEプローブ)の術中品質管理を提供する。プローブによって視覚化されている画像を使用するキャリブレーション法を用いて、本発明はプローブに関連するキャリブレーションマトリクスの有効性を連続的にテストする。任意の点においてキャリブレーションマトリクスが何らかの理由で無効になる場合、警告サインがシステムによってあげられ得る。これは心臓専門医が問題を解決するか、若しくは別の手術に切り替えることを助け得る。これは心臓専門医にとって全システム仮定が有効であることを確認し、ナビゲーション/ガイダンスシステムにおける信頼性を増す簡便な方法である。
より具体的には、本発明はプローブ(例えば3D TEEプローブ)から収集される画像ボリュームとプローブに取り付けられる位置センサ(例えばEM位置センサ)から収集される追跡データの間のキャリブレーションマトリクスを観察するボリューム運動に基づく方法を提供する。ボリューム運動は2つのソース、(a)画像ボリュームの画像運動及び(b)画像ボリュームの追跡運動から測定される。
本発明の一形態はプローブ(例えば3D TEEプローブ)、イメージング装置(例えば超音波イメージング装置)、プローブに取り付けられる位置センサ(例えば電磁センサ)、追跡装置(例えば電磁追跡装置)及び画像ガイド装置を利用する画像ガイドシステムである。
作動中、プローブは解剖学的オブジェクト(例えば心臓)の画像ボリュームを生成し、各画像ボリュームは解剖学的オブジェクトのベースライン画像ボリューム(例えば心臓のフルUSボリュームスキャン、心臓の磁気共鳴イメージング、心臓のコンピュータ断層撮影若しくはセグメント化心臓モデル)の個別サブセットであり、イメージング装置は解剖学的オブジェクトの画像ボリュームを示すイメージングデータを生成する。プローブが画像ボリュームを生成すると、追跡装置が座標系内の位置センサを追跡し、追跡装置は位置センサの追跡を示す追跡データを生成する。
レジストレーション装置は画像ボリュームと位置センサの間の空間関係に関連するキャリブレーションマトリクスの有効性テストを実行するためにイメージング装置からのイメージングデータと追跡装置からの追跡データを受信する。有効性テストはキャリブレーション閾値に対する画像に基づくボリューム運動と追跡に基づくボリューム運動の間の差分の絶対値のテストを含む。画像に基づくボリューム運動はイメージングデータから得られる座標系内の画像ボリュームの画像運動をあらわし、追跡に基づくボリューム運動は追跡データから得られる座標系内の画像ボリュームの追跡運動をあらわす。
本発明の前述の形態とその他の形態、並びに本発明の様々な特徴と利点は、添付の図面と併せて読まれる本発明の様々な実施形態例の以下の詳細な説明からさらに明らかとなる。詳細な説明と図面は限定ではなく単に本発明の例示であり、本発明の範囲は添付の請求項とその均等物によって定義される。
本発明にかかる画像ガイドシステムの一実施形態例を図示する。 当該技術分野で既知の解剖学的オブジェクトの2つの画像ボリュームのボリューム運動例を図示する。 本発明にかかるイメージングガイドシステムの動作例を図示する。 本発明にかかるキャリブレーションマトリクス有効性テスト法の一実施形態例をあらわすフローチャートを図示する。 本発明にかかる画像に基づくボリューム運動計算法の一実施形態例をあらわすフローチャートを図示する。 本発明にかかる画像に基づくレジストレーション法の2つの実施形態例をあらわすフローチャートを図示する。 本発明にかかる画像に基づくレジストレーション法の2つの実施形態例をあらわすフローチャートを図示する。 本発明にかかる心臓運動モデル化法の第1の実施形態例をあらわすフローチャートを図示する。 本発明にかかる追跡に基づくボリューム運動計算法の一実施形態例をあらわすフローチャートを図示する。 本発明にかかるキャリブレーション閾値計算法の一実施形態例をあらわすフローチャートを図示する。
前述の通り、本発明はプローブ(例えば3D TEEプローブ)から収集される画像ボリュームとプローブに取り付けられる位置センサ(例えばEM位置センサ)の間のキャリブレーションマトリクスを有効化する、運動に基づく方法を提供する。図1‐9の以下の記載から当業者によって理解される通り、画像ボリューム運動は2つのソース、(a)画像ボリュームの画像運動及び(b)画像ボリュームの追跡運動から測定される。
図1はイメージングシステム、追跡システム、及びレジストレーション装置40を利用する画像ガイドシステムを図示する。
本発明の目的のために、イメージングシステムは本明細書において、座標系内の解剖学的オブジェクト(例えば心臓10)の画像ボリュームを生成するために構造的に構成されるプローブ20と画像ボリュームを処理するために構造的に構成されるイメージング装置21を含む任意のシステムと広く定義される。イメージングシステムの例は、いかなる種類の超音波イメージングシステム、特に3D TEEプローブを利用するものを含むが、これに限定されない。一実施形態において、Philips Healthcareによって市販されているiEEEインテリジェントエコーシステムが超音波イメージングシステムとして機能し得る。
本発明の目的のために、追跡システムは本明細書において、プローブ20に取り付けられる1つ以上の位置センサ30と座標系内の(複数の)位置センサ(30)を追跡するために構造的に構成される追跡装置31を含む任意のシステムと広く定義される。追跡システムの例は、いかなる種類の電磁追跡システムといかなる種類の光学追跡システムも含むが、これに限定されない。一実施形態において、NDIによって市販されているAurora(登録商標)電磁追跡システムが電磁追跡システムとして機能し得る。
本発明の目的のために、レジストレーション装置40は本明細書において、イメージングデータ22によって示され、追跡データ32によって示される通りプローブ30によって追跡される画像ボリュームを、解剖学的オブジェクトのベースライン画像ボリューム(例えば心臓10のフルUSボリューム、心臓10のMRIスキャン、心臓10のCTスキャン若しくは心臓10のセグメント化モデル)へレジストレーションするために構造的に構成される任意の装置と広く定義される。このために、キャリブレーションマトリクスは位置センサ30を追跡するための座標系内の画像ボリュームにおけるボクセルの座標を変換する変換としてレジストレーション装置40によって利用され、レジストレーション装置40のキャリブレーションモニタ41はキャリブレーションマトリクスの有効性をテストするためにイメージングデータ22と追跡データ32を処理する。
キャリブレーションマトリクスの理解を容易にするために、図2は座標系11(例えば追跡座標系)内の解剖学的オブジェクトのベースライン画像ボリューム12(例えば心臓のフルUSボリュームスキャン、心臓のMRIスキャン、心臓のCTスキャン若しくはセグメント化心臓モデル)を図示する。プローブ20(図1)はボリューム画像13iとボリューム画像13jを連続的に生成するように操作され、位置センサ30(図1)はボリューム画像13がプローブ20によって生成される際に座標系11内で追跡される。実際には、ボリューム画像13は重なり得るが、各個々のボリューム画像13を明確に示す目的で図2において分離される。
キャリブレーションマトリクスは画像ボリューム13におけるボクセルの座標を座標系11に変換する変換を与える。これは画像ボリューム13が画像再構成目的のために座標系にマップされることを可能にする。しかしながら、キャリブレーションマトリクスは例えば予想外の場の歪み、プローブ20に対する位置センサ30の偶発的物理的運動、及び位置センサ30の部分的故障など、様々な理由のために不正確になり得る。キャリブレーションマトリクスの有効性をテストするために、キャリブレーションモニタ41は2つのソースからの画像ボリューム13間の動き14を測定する。第1のソースは画像ボリューム13の画像運動であり、第2のソースは画像ボリューム13の追跡運動である。
図3‐9の記載は本発明にかかるキャリブレーションマトリクスの有効性テストのより詳細な説明を与えるために本明細書で提供される。
図3は画像ガイドシステムの様々な動作状態例を図示する。具体的に、システムの画像レジストレーション状態50は最初にレジストレーション装置40による解剖学的オブジェクトのベースライン画像ボリュームとキャリブレーションマトリクス51の収集を含む。実際には、キャリブレーションマトリクス51は当業者によって周知の通り、幾何学ファントムに基づくキャリブレーション法、画像レジストレーションに基づくキャリブレーション法、若しくは動きに基づくキャリブレーション法によって生成され得る。
システムは状態50から、プローブ20(図1)を介して解剖学的オブジェクト(例えば心臓10)のN個のボリューム画像61を生成するためのボリュームイメージング状態60と、位置センサ30(図1)を介して追跡信号71をN回読み取るためのセンサ追跡状態70の両方へ移動し、追跡信号71の各読み取りは生成された画像ボリューム61に対応する。キャリブレーションマトリクス51の精度は追跡信号71を介して座標系内の各画像ボリューム61の位置を決めるために必須である。従って、キャリブレーション有効化状態80はキャリブレーションマトリクスの有効性を確認するために画像ボリューム61と追跡信号71を利用する。具体的には、状態80はシステムが有効キャリブレーションマトリクスに対して状態50‐80間のループにおいて動作するのを促進し、反対に、状態80は無効キャリブレーションマトリクスを考慮してキャリブレーション警告状態90へ進む。状態80は図4‐9の記載と関連して本明細書でさらに説明される通りキャリブレーションモニタ41によって実行されるキャリブレーションマトリクス有効性テスト法によって実施される。
図4はキャリブレーションマトリクス有効性テスト法の一実施形態をあらわすフローチャート100を図示する。フローチャート100のステージS101は画像に基づくボリューム運動VMIBのキャリブレーションモニタ41による計算を包含し、フローチャート100のステージS102は追跡に基づくボリューム運動VMTBのキャリブレーションモニタ41による計算を包含する。本発明の目的のために、画像に基づくボリューム運動VMIBは本明細書において、画像ボリューム61のイメージングデータ22(図1)から得られる座標系(例えば図2に図示の座標系11)内の解剖学的オブジェクトの画像ボリューム61(図3)間の任意の運動と広く定義され、追跡に基づくボリューム運動VMTBは本明細書において、追跡データ32(図1)から得られる座標系内の解剖学的オブジェクトの画像ボリューム61間の任意の運動と広く定義される。
フローチャート100のステージS103はキャリブレーション閾値CTに対する画像に基づくボリューム運動VMIBと追跡に基づくボリューム運動VMTBの間の差分の絶対値のテストを包含する。差分の絶対値がキャリブレーション閾値CT未満である場合、フローチャート100のステージS104は画像ボリューム61の連続生成を促進するキャリブレーションマトリクスの有効化を包含する。反対に、差分の絶対値がキャリブレーション閾値CT未満でない場合、フローチャート100のステージS105は画像ボリューム61の推定歪み若しくは不正確さに関する警告を促進するキャリブレーションマトリクスの無効化を包含する。
ステージS104とS105の一実施形態例において、リアルタイムキャリブレーションアラームは画像ボリューム61が有効キャリブレーションマトリクスで生成されているときに解除され、キャリブレーションマトリクスの無効化のときに画像ボリューム61の推定歪み若しくは不正確さへの警告として起動される。
S105の一実施形態例において、解剖学的オブジェクトの領域マップが、領域マップに関連する画像ボリューム61の推定歪み若しくは不正確さへの警告として表示される。
ステージS104とS105の別の実施形態例において、解剖学的オブジェクトのマップが表示され、それによって、無効キャリブレーションマトリクスに関連するマップの(複数の)領域が無効な(複数の)領域に関連する画像ボリューム61の推定歪み若しくは不正確さの警告を与えるための手段として有効キャリブレーションマトリクスに関連するマップの(複数の)領域から区別される。
図5はステージS101(図4)中に実行され得る画像に基づくボリューム運動計算法をあらわすフローチャート110を図示する。この方法は画像ボリュームのペア(i,j)(例えば図3に図示の画像ボリューム13)の処理を含む。具体的に、フローチャート110のステージS111は座標系(例えば図3に図示の系11)内の画像ボリューム61aと画像ボリューム61bの位置の決定を包含し、フローチャート110のステージS112は解剖学的オブジェクト(例えば心臓10)の動きのモデル化を考慮して画像ボリューム61aと61bの決定された位置の動き補正を包含する。
ステージS111(図5)の一実施形態において、図6Aに図示の通りフローチャート120は既知の画像に基づく剛体(rigid)若しくは非剛体(deformable)レジストレーションと既知の最適化メトリクス(例えば相互情報量、相互相関など)を介して画像ボリューム61a及び61bのペア(i,j)の画像に基づくレジストレーションを包含する。フローチャート120はさらに座標系内の画像ボリューム61bの位置VLjiに対する座標系内の画像ボリューム61aの位置VLiiを決定するための画像ボリューム61a及び61bのレジストレーションの利用を包含するステージS122を含む。
ステージS111(図5)の代替的な実施形態において、図6Bに図示のフローチャート130は解剖学的オブジェクトのベースライン画像ボリューム62(例えばフルUS画像、MRI画像、CT画像若しくは解剖学的オブジェクトのセグメント化モデル)への画像ボリューム61a及び61bのペア(i,j)の画像に基づくレジストレーションを包含するステージS131を含む。これらのレジストレーションは画像に基づく剛体若しくは非剛体レジストレーション及び既知の最適化メトリクス(例えば相互情報量、相互相関など)を介して実行され得る。フローチャート130はさらに座標系内のベースライン画像ボリューム62に対する画像ボリューム61aの位置VLiiを決めるためのベースライン画像ボリューム62への画像ボリューム61aのレジストレーションの利用を包含するステージS132を含む。同様に、画像ボリューム61bのベースライン画像ボリューム62へのレジストレーションが、座標系内のベースライン画像ボリューム62に対する画像ボリューム61bの位置VLjiを決めるために利用される。これは座標系内の画像ボリューム61bの位置VLjiに対する画像ボリューム61aの位置VLiiの決定を容易にする。
ステージS112(図5)の一実施形態において、図7に図示の通りフローチャート140は座標系内の解剖学的オブジェクトの動きの予測を包含するステージS141を含む。例えば、解剖学的オブジェクトが心臓10である場合、既知の学習アルゴリズムは座標系内の心臓10の動きを予測するために心臓位相に対する心電図信号82、呼吸位相に対する胸部ベルト信号83、及び任意の他の追加検知信号を利用する。フローチャート140はさらに解剖学的オブジェクトの予測運動を介する画像ボリューム61a及び61bの動き補正を含む品質画像管理を包含するステージS142を含む。解剖学的オブジェクトが心臓10である一実施形態において、ECG信号82を介して心臓10の拡張期に対応する画像ボリューム61は品質管理目的でステージS113(図5)によって独占的に利用され、ステージS103(図4)はこれらの選択された画像ボリューム61のボリューム運動のみを処理する。この選択は呼吸運動が最小限であると仮定することに留意されたい。
代替的な実施形態において、呼吸位相と心臓位相が同じサイクルに戻るときの時間間隔における画像ボリューム61が、品質管理目的でステージS113(図5)によって独占的に利用され、ステージS103(図4)はこれらの選択された画像ボリューム61のボリューム運動のみを処理する。
図5に戻って参照すると、フローチャート110のステージS113は当該技術分野で既知の通り座標系内の画像ボリューム61bの位置VLjiに対する座標系内の画像ボリューム61aの位置VLiiの関数として画像に基づくボリューム運動VMIBの計算を包含する。計算される画像に基づくボリューム運動VMIBはキャリブレーションマトリクスのテスト中にステージS103(図4)によって実施される。
図8はステージS102(図4)中に実行され得る追跡に基づくボリューム運動計算法をあらわすフローチャート150を図示する。フローチャート150のステージS151は当該技術分野で既知の通り追跡信号71aとキャリブレーションマトリクス51を介する座標系内の画像ボリューム61aの位置VLitの決定を包含する。画像ボリューム61aの決定された位置VLitは解剖学的オブジェクトのベースライン画像ボリュームの位置で確認され得る。
フローチャート150のステージS152は当該技術分野で既知の通り追跡信号71bとキャリブレーションマトリクス51を介する座標系内の画像ボリューム61bの位置VLjtの決定を包含する。画像ボリューム61bの決定された位置VLjtは解剖学的オブジェクトのベースライン画像ボリュームの位置で確認され得る。
フローチャート150のステージS153は当該技術分野で既知の通り座標系内のボリューム61bの位置VLjtに対する座標系内の画像ボリューム61aの位置VLitの関数として追跡に基づくボリューム運動VMTBの計算を包含する。一実施形態において、画像ボリューム61aの位置VLit、ボリューム61bの位置VLjt、及びキャリブレーションマトリクス51に基づく画像ボリューム61a及び61bの間のレジストレーション変換が、ステージS153中に当該技術分野で既知の通り実行され得る。この計算された追跡に基づくボリューム運動VMTBはキャリブレーションマトリクスのテスト中にステージS103(図4)によって実施される。
図9は本発明のキャリブレーション閾値計算法をあらわすフローチャート160を図示する。フローチャート160のステージS161はキャリブレーションマトリクスの可能精度マージンの計算を包含する。一実施形態において、追跡システムに関連するランダム誤差情報54、術前キャリブレーションプロセスに関連する既知の統計的精度データ55、及び画像レジストレーション精度データ56が可能精度マージンを計算する際に利用され得る。
フローチャート160のステージS162は計算された可能精度マージンとシステムの応用に関連する所望精度マージンの関数としてキャリブレーション閾値CTの計算を包含する。
図1‐9の説明から、当業者はさらに本発明に従って任意の用途のためのキャリブレーションマトリクスの有効性テストを実施する方法について理解する。
実際には、キャリブレーションマトリクス41はソフトウェア、ファームウェア、及び/又はハードウェアとして実施され得る。さらに、実際には任意の数のイメージング装置21、追跡装置31、及びレジストレーション装置40が単一装置に組み込まれ得る。
本発明の様々な実施形態例が図示され記載されているが、本明細書に記載の本発明の実施形態例は例示であり、様々な変更と修正がなされ、均等物が本発明の真の範囲から逸脱することなくその要素と置き換えられ得ることが当業者に理解される。加えて、本発明の教示をその中心範囲から逸脱することなく適合させる多くの変更がなされ得る。従って、本発明は本発明を実行するために考慮された最良の形態として開示される特定の実施形態に限定されず、本発明は添付の請求項の範囲内にある全実施形態を含むことが意図される。

Claims (20)

  1. 画像ガイドシステムであって、
    解剖学的オブジェクトの複数の画像ボリュームを生成するプローブであって、各画像ボリュームは前記解剖学的オブジェクトのベースライン画像ボリュームの個別サブセットである、プローブと、
    前記解剖学的オブジェクトの前記画像ボリュームを示すイメージングデータを生成するイメージング装置と、
    前記プローブに取り付けられる位置センサと、
    座標系内の前記位置センサの追跡をあらわす追跡データを生成する追跡装置と、
    前記画像ボリュームと前記追跡センサの間の空間関係に関連するキャリブレーションマトリクスの有効性テストを実行するために前記イメージングデータと前記追跡データに反応するレジストレーション装置と
    を有し、
    前記有効性テストがキャリブレーション閾値に対する画像に基づくボリューム運動と追跡に基づくボリューム運動の間の差分の絶対値のテストを含み、
    前記画像に基づくボリューム運動が前記イメージングデータから得られる前記座標系内の前記複数の画像ボリュームの画像運動をあらわし、
    前記追跡に基づくボリューム運動が前記追跡データから得られる前記座標系内の前記複数の画像ボリュームの追跡運動をあらわす、
    画像ガイドシステム。
  2. 前記プローブが超音波プローブであり前記イメージング装置が超音波イメージング装置である、請求項1に記載の画像ガイドシステム。
  3. 前記位置センサが電磁センサであり前記追跡装置が電磁追跡装置である、請求項1に記載の画像ガイドシステム。
  4. 前記キャリブレーションマトリクスが前記画像に基づくボリューム運動と前記追跡に基づくボリューム運動の間の差分の絶対値が前記キャリブレーション閾値未満であることに反応して有効であるとみなされる、請求項1に記載の画像ガイドシステム。
  5. 前記キャリブレーションマトリクスが前記画像に基づくボリューム運動と前記追跡に基づくボリューム運動の間の差分の絶対値が前記キャリブレーション閾値よりも大きいことに反応して無効であるとみなされる、請求項1に記載の画像ガイドシステム。
  6. 前記画像に基づくボリューム運動が前記座標系内の第2の画像ボリュームの画像位置に対する前記座標系内の第1の画像ボリュームの画像位置の関数として計算される、請求項1に記載の画像ガイドシステム。
  7. 前記画像に基づくボリューム運動の計算が前記第1の画像ボリュームと前記第2の画像ボリュームの間のレジストレーションを含む、請求項6に記載の画像ガイドシステム。
  8. 前記画像に基づくボリューム運動の計算が前記第1の画像ボリュームと前記第2の画像ボリュームの前記解剖学的オブジェクトの前記ベースライン画像ボリュームへのレジストレーションを含む、請求項6に記載の画像ガイドシステム。
  9. 前記画像に基づくボリューム運動の計算が前記座標系内の前記解剖学的オブジェクトの運動に対する補正を含む、請求項6に記載の画像ガイドシステム。
  10. 前記追跡に基づくボリューム運動が前記追跡データによってあらわされる前記座標系内の第1の画像ボリュームの追跡位置と前記追跡データによってあらわされる前記座標系内の第2の画像ボリュームの追跡位置の関数として計算される、請求項1に記載の画像ガイドシステム。
  11. 前記追跡に基づくボリューム運動の計算が前記座標系内の前記第1の画像ボリュームの追跡位置、前記座標系内の前記第2の画像ボリュームの追跡位置、及び前記キャリブレーションマトリクスの関数として、前記第1の画像ボリュームと前記第2の画像ボリュームの間のレジストレーション変換を含む、請求項10に記載の画像ガイドシステム。
  12. 画像ガイドシステムであって、
    座標系内の解剖学的オブジェクトの複数の画像ボリュームを生成するプローブであって、各画像ボリュームは前記解剖学的オブジェクトのベースライン画像ボリュームの個別サブセットである、プローブと、
    前記プローブに取り付けられる位置センサと、
    前記画像ボリュームと前記位置センサの間の空間関係に関連するキャリブレーションマトリクスの有効性テストを実行するためのレジストレーション装置と
    を有し、
    前記有効性テストがキャリブレーション閾値に対する画像に基づくボリューム運動と追跡に基づくボリューム運動の間の差分の絶対値のテストを含み、
    前記画像に基づくボリューム運動が前記画像ボリュームから得られる前記座標系内の前記複数の画像ボリュームの画像運動をあらわし、
    前記追跡に基づくボリューム運動が前記座標系内の前記位置センサの追跡から得られる前記座標系内の前記複数の画像ボリュームの追跡運動をあらわす、
    画像ガイドシステム。
  13. 前記プローブが超音波プローブであり前記位置センサが電磁センサである、請求項12に記載の画像ガイドシステム。
  14. 前記キャリブレーションマトリクスが前記画像に基づくボリューム運動と前記追跡に基づくボリューム運動の間の差分の絶対値が前記キャリブレーション閾値未満であることに反応して有効であるとみなされる、請求項12に記載の画像ガイドシステム。
  15. 前記キャリブレーションマトリクスが前記画像に基づくボリューム運動と前記追跡に基づくボリューム運動の間の差分の絶対値が前記キャリブレーション閾値よりも大きいことに反応して無効であるとみなされる、請求項12に記載の画像ガイドシステム。
  16. 画像ガイド法であって、
    解剖学的オブジェクトの複数の画像ボリュームを生成するためにプローブを操作するステップであって、各画像ボリュームは前記解剖学的オブジェクトのベースライン画像ボリュームの個別サブセットである、ステップと、
    座標系内の位置センサを追跡するステップであって、前記位置センサは前記プローブに取り付けられるステップと、
    前記画像ボリュームと前記位置センサの間の空間関係に関連するキャリブレーションマトリクスの有効性テストを実行するステップと、
    を有し、
    前記有効性テストがキャリブレーション閾値に対する画像に基づくボリューム運動と追跡に基づくボリューム運動の間の差分の絶対値のテストを含み、
    前記画像に基づくボリューム運動が前記画像ボリュームから得られる前記座標系内の前記複数の画像ボリュームの画像運動をあらわし、
    前記追跡に基づくボリューム運動が前記位置センサの追跡から得られる前記座標系内の前記複数の画像ボリュームの追跡運動をあらわす、
    画像ガイド法。
  17. 前記キャリブレーションマトリクスが前記画像に基づくボリューム運動と前記追跡に基づくボリューム運動の間の差分の絶対値が前記キャリブレーション閾値未満であることに反応して有効であるとみなされる、請求項16に記載の画像ガイド法。
  18. 前記キャリブレーションマトリクスが前記画像に基づくボリューム運動と前記追跡に基づくボリューム運動の間の差分の絶対値が前記キャリブレーション閾値よりも大きいことに反応して無効であるとみなされる、請求項16に記載の画像ガイド法。
  19. 前記画像に基づくボリューム運動が前記座標系内の第2の画像ボリュームの画像位置に対する前記座標系内の第1の画像ボリュームの画像位置の関数として計算される、請求項16に記載の画像ガイド法。
  20. 前記追跡に基づく画像運動が前記座標系内の第1の画像ボリュームの追跡位置と前記座標系内の第2の画像ボリュームの追跡位置の関数として計算される、請求項1に記載の画像ガイドシステム。
JP2013517600A 2010-06-28 2011-05-27 Emキャリブレーションのリアルタイム品質管理 Active JP5848762B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US35896210P 2010-06-28 2010-06-28
US61/358,962 2010-06-28
PCT/IB2011/052328 WO2012001548A1 (en) 2010-06-28 2011-05-27 Real-time quality control of em calibration

Publications (2)

Publication Number Publication Date
JP2013529531A JP2013529531A (ja) 2013-07-22
JP5848762B2 true JP5848762B2 (ja) 2016-01-27

Family

ID=44514339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013517600A Active JP5848762B2 (ja) 2010-06-28 2011-05-27 Emキャリブレーションのリアルタイム品質管理

Country Status (5)

Country Link
US (1) US9135707B2 (ja)
EP (1) EP2584965B1 (ja)
JP (1) JP5848762B2 (ja)
CN (1) CN102970926B (ja)
WO (1) WO2012001548A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012001548A1 (en) * 2010-06-28 2012-01-05 Koninklijke Philips Electronics N.V. Real-time quality control of em calibration
JP6023190B2 (ja) * 2011-06-27 2016-11-09 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 超音波画像誘導システム及びボリューム運動に基づく較正方法
EP3470003B1 (en) 2012-05-14 2024-09-11 Intuitive Surgical Operations, Inc. Systems for deformation compensation using shape sensing
EP2877096B1 (en) * 2012-07-27 2017-09-06 Koninklijke Philips N.V. Accurate and rapid mapping of points from ultrasound images to tracking systems
US10064687B2 (en) 2014-01-13 2018-09-04 Brainlab Ag Estimation and compensation of tracking inaccuracies
KR20210156301A (ko) 2014-02-04 2021-12-24 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 중재 도구의 가상 항행을 위한 조직의 비강체 변형을 위한 시스템 및 방법
CN106456084B (zh) * 2014-06-18 2021-01-22 皇家飞利浦有限公司 超声成像装置
US10369384B2 (en) * 2014-07-14 2019-08-06 Koninklijke Philips N.V. Grid calibration system for interventional procedures
US10893851B2 (en) * 2015-05-07 2021-01-19 Koninklijke Philips N.V. System and method for motion compensation in medical procedures
US9934570B2 (en) 2015-10-09 2018-04-03 Insightec, Ltd. Systems and methods for registering images obtained using various imaging modalities and verifying image registration
US10812778B1 (en) * 2015-11-09 2020-10-20 Cognex Corporation System and method for calibrating one or more 3D sensors mounted on a moving manipulator
US10757394B1 (en) 2015-11-09 2020-08-25 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US11562502B2 (en) 2015-11-09 2023-01-24 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US10930007B2 (en) 2015-12-14 2021-02-23 Koninklijke Philips N.V. System and method for medical device tracking
US11413011B2 (en) 2015-12-22 2022-08-16 Koninklijke Philips N.V. Ultrasound based tracking
US9931098B2 (en) * 2016-04-14 2018-04-03 Carestream Health, Inc. Post acquisition calibration
US10152786B2 (en) * 2016-10-11 2018-12-11 Biosense Webster (Israel) Ltd. Registration of a magnetic tracking system with an imaging device
JP7258907B2 (ja) 2018-03-19 2023-04-17 コーニンクレッカ フィリップス エヌ ヴェ 複数方式画像化位置合わせ

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0951874A3 (en) * 1994-09-15 2000-06-14 Visualization Technology, Inc. Position tracking and imaging system for use in medical applications using a reference unit secured to a patients head
US6605041B2 (en) 1996-08-22 2003-08-12 Synthes (U.S.A.) 3-D ultrasound recording device
US6584339B2 (en) * 2001-06-27 2003-06-24 Vanderbilt University Method and apparatus for collecting and processing physical space data for use while performing image-guided surgery
US6867753B2 (en) * 2002-10-28 2005-03-15 University Of Washington Virtual image registration in augmented display field
US7697972B2 (en) 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US20050107687A1 (en) 2003-11-14 2005-05-19 Anderson Peter T. System and method for distortion reduction in an electromagnetic tracker
EP1744676B1 (en) 2004-04-15 2015-07-22 The Johns Hopkins University Ultrasound calibration and real-time quality assurance based on closed form formulation
US20060241432A1 (en) * 2005-02-15 2006-10-26 Vanderbilt University Method and apparatus for calibration, tracking and volume construction data for use in image-guided procedures
US10555775B2 (en) * 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US7713205B2 (en) * 2005-06-29 2010-05-11 Accuray Incorporated Dynamic tracking of soft tissue targets with ultrasound images, without using fiducial markers
WO2007014470A2 (en) 2005-08-01 2007-02-08 Resonant Medical Inc. System and method for detecting drifts in calibrated tracking systems
EP1769768A1 (en) * 2005-09-28 2007-04-04 DePuy Orthopädie GmbH Surgical instrument calibration
US7874987B2 (en) * 2005-10-28 2011-01-25 Biosense Webster, Inc. Targets and methods for ultrasound catheter calibration
WO2007136745A2 (en) * 2006-05-19 2007-11-29 University Of Hawaii Motion tracking system for real time adaptive imaging and spectroscopy
EP1867955A1 (de) 2006-06-08 2007-12-19 BrainLAB AG Kalibriertes medizintechnisches Instrument mit Umgebungssensor
JP2010515472A (ja) 2006-11-27 2010-05-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 事前収集された医用画像に実時間超音波画像を融合させるシステム及び方法
US20100249595A1 (en) * 2007-11-14 2010-09-30 Koninklijke Philips Electronics N.V. System and method for automatic calibration of tracked ultrasound
US8000890B2 (en) * 2007-11-30 2011-08-16 General Electric Company Image-guided navigation employing navigated point computation method and system
US8086004B2 (en) * 2008-01-15 2011-12-27 Accuray Incorporated Use of a single X-ray image for quality assurance of tracking
DE102008014030B4 (de) * 2008-03-12 2017-01-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Kalibrieren eines Bühne-Kamera-Systems sowie Bühne-Kamera-System und Mikroskop mit derartigem Bühne-Kamera-System
US20090306499A1 (en) * 2008-06-09 2009-12-10 Mako Surgical Corp. Self-detecting kinematic clamp assembly
US20110184684A1 (en) * 2009-07-21 2011-07-28 Eigen, Inc. 3-d self-correcting freehand ultrasound tracking system
EP3960075A1 (en) * 2009-11-27 2022-03-02 Hologic, Inc. Systems and methods for tracking positions between imaging modalities and transforming a displayed three-dimensional image corresponding to a position and orientation of a probe
EP2545476B1 (en) * 2010-03-11 2018-09-19 Koninklijke Philips N.V. Method and system for characterizing and visualizing electromagnetic tracking errors
DE102010020781B4 (de) * 2010-05-18 2019-03-28 Siemens Healthcare Gmbh Bestimmung und Überprüfung der Koordinatentransformation zwischen einem Röntgensystem und einem Operationsnavigationssystem
WO2012001548A1 (en) * 2010-06-28 2012-01-05 Koninklijke Philips Electronics N.V. Real-time quality control of em calibration
JP6023190B2 (ja) * 2011-06-27 2016-11-09 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 超音波画像誘導システム及びボリューム運動に基づく較正方法
JP6185927B2 (ja) * 2011-12-13 2017-08-23 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 電磁的トラッキング補正、検出及びエラー訂正のための歪みフィンガープリンティング
EP2797543A2 (en) * 2011-12-27 2014-11-05 Koninklijke Philips N.V. Intra-operative quality monitoring of tracking systems
US9289185B2 (en) * 2012-07-23 2016-03-22 ClariTrac, Inc. Ultrasound device for needle procedures
CA2794226C (en) * 2012-10-31 2020-10-20 Queen's University At Kingston Automated intraoperative ultrasound calibration

Also Published As

Publication number Publication date
WO2012001548A1 (en) 2012-01-05
CN102970926B (zh) 2016-08-17
US9135707B2 (en) 2015-09-15
EP2584965B1 (en) 2016-04-13
US20130266178A1 (en) 2013-10-10
CN102970926A (zh) 2013-03-13
JP2013529531A (ja) 2013-07-22
EP2584965A1 (en) 2013-05-01

Similar Documents

Publication Publication Date Title
JP5848762B2 (ja) Emキャリブレーションのリアルタイム品質管理
JP6023190B2 (ja) 超音波画像誘導システム及びボリューム運動に基づく較正方法
JP5877797B2 (ja) 標的組織の運動を推定するシステム及びその作動方法
US10426414B2 (en) System for tracking an ultrasonic probe in a body part
US8867808B2 (en) Information processing apparatus, information processing method, program, and storage medium
EP2757528B1 (en) Method and apparatus for tracking objects in a target area of a moving organ
JP5543444B2 (ja) 生検実施のための方法及びシステム
CN103402453B (zh) 用于导航系统的自动初始化和配准的系统和方法
US20080300478A1 (en) System and method for displaying real-time state of imaged anatomy during a surgical procedure
JP6316572B2 (ja) 体内プローブ追跡システムにおける患者の動きの補正
Khalil et al. An overview on image registration techniques for cardiac diagnosis and treatment
US20120296202A1 (en) Method and System for Registration of Ultrasound and Physiological Models to X-ray Fluoroscopic Images
US20100198101A1 (en) Non-invasive location and tracking of tumors and other tissues for radiation therapy
EP3468668B1 (en) Soft tissue tracking using physiologic volume rendering
Liu et al. Image registration in medical robotics and intelligent systems: fundamentals and applications
BR112014015673B1 (pt) sistema de intervenção; estação de trabalho de intervenção
JP2023149127A (ja) 画像処理装置、方法およびプログラム
Housden et al. Extended-field-of-view three-dimensional transesophageal echocardiography using image-based X-ray probe tracking
JP6703470B2 (ja) データ処理装置及びデータ処理方法
Luo et al. Externally navigated bronchoscopy using 2-D motion sensors: Dynamic phantom validation
US20230092430A1 (en) Providing result image data
JP2019524236A (ja) インピーダンス・シフトの検出
CN117898831A (zh) 导航系统和方法
Brekken et al. 3D visualization of strain in abdominal aortic aneurysms based on navigated ultrasound imaging
Sepehri et al. A realistic computed tomography simulator for small motion analysis of cerebral aneurysms

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151127

R150 Certificate of patent or registration of utility model

Ref document number: 5848762

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250