JP6782754B2 - 高度な自動デバイス画像間の位置合わせのための自動画像クロップ - Google Patents
高度な自動デバイス画像間の位置合わせのための自動画像クロップ Download PDFInfo
- Publication number
- JP6782754B2 JP6782754B2 JP2018219511A JP2018219511A JP6782754B2 JP 6782754 B2 JP6782754 B2 JP 6782754B2 JP 2018219511 A JP2018219511 A JP 2018219511A JP 2018219511 A JP2018219511 A JP 2018219511A JP 6782754 B2 JP6782754 B2 JP 6782754B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- crop
- reference marker
- image
- computing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003550 marker Substances 0.000 claims description 108
- 238000000034 method Methods 0.000 claims description 89
- 238000003780 insertion Methods 0.000 claims description 53
- 230000037431 insertion Effects 0.000 claims description 53
- 230000008569 process Effects 0.000 claims description 37
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 30
- 238000002591 computed tomography Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 20
- 210000003484 anatomy Anatomy 0.000 claims description 16
- 238000012804 iterative process Methods 0.000 claims description 8
- 238000002059 diagnostic imaging Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 29
- 230000015654 memory Effects 0.000 description 23
- 238000003384 imaging method Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000005070 sampling Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 229910052751 metal Inorganic materials 0.000 description 6
- 239000002184 metal Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000029058 respiratory gaseous exchange Effects 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 241000699666 Mus <mouse, genus> Species 0.000 description 3
- IZOOGPBRAOKZFK-UHFFFAOYSA-K gadopentetate Chemical compound [Gd+3].OC(=O)CN(CC([O-])=O)CCN(CC([O-])=O)CCN(CC(O)=O)CC([O-])=O IZOOGPBRAOKZFK-UHFFFAOYSA-K 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 238000003325 tomography Methods 0.000 description 3
- TZCXTZWJZNENPQ-UHFFFAOYSA-L barium sulfate Chemical compound [Ba+2].[O-]S([O-])(=O)=O TZCXTZWJZNENPQ-UHFFFAOYSA-L 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 229910000014 Bismuth subcarbonate Inorganic materials 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000012331 Postoperative analysis Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 229940073609 bismuth oxychloride Drugs 0.000 description 1
- MGLUJXPJRXTKJM-UHFFFAOYSA-L bismuth subcarbonate Chemical compound O=[Bi]OC(=O)O[Bi]=O MGLUJXPJRXTKJM-UHFFFAOYSA-L 0.000 description 1
- 229940036358 bismuth subcarbonate Drugs 0.000 description 1
- WMWLMWRWZQELOS-UHFFFAOYSA-N bismuth(III) oxide Inorganic materials O=[Bi]O[Bi]=O WMWLMWRWZQELOS-UHFFFAOYSA-N 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000002725 brachytherapy Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000001152 differential interference contrast microscopy Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013152 interventional procedure Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- BWOROQSFKKODDR-UHFFFAOYSA-N oxobismuth;hydrochloride Chemical compound Cl.[Bi]=O BWOROQSFKKODDR-UHFFFAOYSA-N 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
- A61B90/11—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2059—Mechanical position encoders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/363—Use of fiducial points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/374—NMR or MRI
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
- A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3954—Markers, e.g. radio-opaque or breast lesions markers magnetic, e.g. NMR or MRI
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3966—Radiopaque markers visible in an X-ray image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Robotics (AREA)
- Pulmonology (AREA)
- Optics & Photonics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Description
本願は、参照によりその全体を本明細書に組み込む、2017年11月26日出願の米国仮出願第62/590,645号の利益を主張するものである。
医療デバイスは、断層撮影に関連して使用される任意の医療デバイスとすることができる。断層撮影は、例えば、MRI、CT、超音波、またはその他の撮像技術とすることができる。医療デバイスは、例えば針配置デバイスなど、患者装着型デバイスとすることができる。
いくつかの実施形態では、ナビゲーションソフトウェア100、論理制御層106、および物理制御インタフェース108の3つの構成要素の層を有するソフトウェアシステムが提供される(図1)。これらの構成要素は、独立ソフトウェアプロセスとして実装され、例えばイーサネットおよびユニバーサルシリアルバス(USB)を介して互いに通信する。ただし、他の実施形態では、これらの構成要素のうちの2つ以上が、1つのソフトウェアプロセスに一体化される。
ナビゲーションソフトウェア100は、システム内の最上位層の構成要素であり、図1に例示してある。ナビゲーションソフトウェア100は、例えば、内科医および/またはオペレータのための1次ユーザインタフェースとして機能する。ナビゲーションソフトウェア100は、本明細書に記載するように、3D Slicer、オープンソース医療用画像計算ソフトウェアのプラグインモジュールとして実装され、このソフトウェア、またはその他のソフトウェアを介して、コンソール112およびMRIスキャナを含むMRIハードウェア114を含むMRIシステム104から画像を受信する。ナビゲーションソフトウェア100は、内科医が以下の作業を実行するのを支援する。
内科医は、計画画像上でターゲットおよび皮膚侵入点を指定することによって、針配置の軌道を規定することができる。ソフトウェアは、計画画像の一部分を任意の平面に沿って表示し、その上で内科医がマウスを用いてクリックすることによってこれらの点を指定できるようにする。軌道が規定されたら、ソフトウェアは、その軌道に沿った平面で3D画像を再スライスして、内科医がその経路の周りの任意の重要な構造および障害物を発見できるようにすることができる(図3)。規定された軌道は、ロボット制御サーバ102に転送される。ただし、アクチュエータを動かす最終判断は、ガントリの脇に立つ内科医によって行われることが好ましく、アクチュエータは、内科医がフットスイッチを踏んだときにしか給電することができない。
ソフトウェアは、デバイスを画像座標系に対して位置合わせするために、較正画像においてデバイスに埋め込まれたマーカを自動的に検出することができる。いくつかの実施形態における基準マーカを検出して位置合わせするアルゴリズムの詳細については、以下で述べる。デバイスが位置合わせされたら、ソフトウェアは、デバイスおよびそのアクセス可能範囲のモデルを画像に重畳させて、オペレータが全てのターゲットがその範囲内にあることを確認できるようにする(図3)。一次変換行列は、例えばOpenIGTLinkプロトコルを用いて、ネットワークを介してロボット制御サーバ102に転送される。
ソフトウェアを使用して、処置中にはいつでも、画像に重畳した3Dモデルによってデバイスの現在位置および配向を視覚化することができる。さらに、ソフトウェアは、患者の体内に挿入されたプローブを計画軌道およびターゲットとともに示す確認画像を表示することもできる(図4)。これらの機能により、内科医は、デバイスを監視し、プローブ配置を確認することができる。
論理制御層(LCL)106は、システムの中間層にあり、ナビゲーションソフトウェア100と下位レベルの物理制御層(PCL)108とのインタフェースとなる。ロボット制御サーバ102のこの層は、デバイスのハードウェアおよび運動学的構造をカプセル化することができ、デバイスから独立したアプリケーションプログラムインタフェース(API)を上位層に提供することができる。したがって、LCL106は、以下のサブ構成要素からなる。
このインタフェースを介して、LCL106は、ターゲット位置など、上位層からハードウェアへのコマンドを受信し、針ガイドの現在位置、およびデバイス状態など、ハードウェア(110)の現在状態を上位層に提供する。また、LCL106は、運動学的計算(以下のキネマティクスエンジン参照)の結果として得られる所要針挿入深さも、上位層に提供する。いくつかの実施形態では、LCL106は、基準フレームの構成を、基準に基づくデバイス画像間の位置合わせが行われる上位層に提供して、上位層をハードウェアから独立した状態に保つ。いくつかの実施形態では、ネットワークインタフェースは、OpenIGTLinkプロトコルに準拠しているので、OpenIGTLinkに適合するソフトウェアと通信することができる。
いくつかの実施形態では、上位層から受信したハードウェア独立コマンドを、針誘導デバイスの運動学に基づいて個々のアクチュエータのターゲット位置に変換し、PCL108に送信することができる。さらに、いくつかの実施形態では、PCL108から受信した個々のアクチュエータの現在位置を、針ガイドの位置および配向に変換し、上位層に送信する。いくつかの実施形態によれば、針誘導デバイスは、手動操作型デバイスである。例えば、本明細書に記載するシステムと組み合わせて使用することができる針誘導デバイスは、ともに参照によりその全体を本明細書に組み込む米国特許第9,222,996号および米国特許公開第2018/00228,568号に記載されている。
LCL106は、ユニバーサルシリアルバス(USB)を介して下位層のサブ構成要素と通信する。この例示的なインタフェースを介して、個々のアクチュエータのターゲット位置およびその他のデバイス特有コマンドが、PCL108に送信され、デバイスの現在状態および個々のアクチュエータのエンコーダの読みが、ナビゲーションソフトウェア100に送信される。このインタフェースを介して交換される情報は、運動学的構造に依存しているが、物理ハードウェア(例えばモータドライバおよびエンコーダ)からは独立している。
物理制御層(PCL)108の役割は、物理入出力(I/O)からは独立しているが、運動学的構造には依存しているインタフェースを提供することである。いくつかの実施形態では、PCL108は、LCL106と通信するためのUSBインタフェースと、エンコーダおよびフットスイッチからの入力を読み取り、個々のモータのターゲット速度をモータドライバに与えるデジタル入出力インタフェースとを備えた、Linuxベースの組込型コンピュータ上で動作する。制御装置は、個々のアクチュエータのターゲット位置を受信すると、個々のモータの閉ループPID制御を実行して、2つのリングを指定された位置に位置決めする。このプロセスの間、PCL108は、任意選択で、リングの現在位置およびその他のデバイス状態を送信し続けることもできる。
図2は、例示的なコンピューティングシステム200を示す図である。コンピューティングシステム200は、ナビゲーションソフトウェア100を含む。ナビゲーションソフトウェア100の様々なプログラムおよびデータ、例えばソフトウェアモジュール、ライブラリ、ツール、ユーザインタフェース要素、またはその他の構成要素などが、様々な実施形態によれば、任意の適当な方法でコンピューティングシステム200に常駐している。例えば、これらの構成要素は、1つまたは複数の記憶位置に常駐していることもある。ナビゲーションソフトウェア100の構成要素は、単一のソフトウェアアプリケーションの部分として設けられることも、複数の独立ソフトウェアアプリケーションとして設けられることもある。コンピューティングシステム200は、ナビゲーションソフトウェア100へのアクセスを提供する。いくつかの実施形態では、コンピューティングシステム200上で実行されるナビゲーションソフトウェア100は、本明細書に記載または例示する1つまたは複数の方法の1つまたは複数のステップを実行する、あるいは本明細書に記載または例示する機能性を提供する。例えば、ナビゲーションソフトウェア100のプログラムは、1つまたは複数のプロセッサによって実行されたときに、コンピューティングシステム200に、医療画像データに対する自動クロッププロセスを実行させて、クロップ画像データを生成させ、次いでクロップ画像データ内で基準マーカオブジェクトを検出させ、基準マーカのモデルを使用して基準マーカオブジェクトを位置合わせさせる命令を含むことがある。
基準フレームは、複数の基準マーカを含む。これらのマーカは、全て球形マーカにするなど、全て同じ形状およびサイズにしてもよいし、あるいは基準フレームが様々なサイズおよび/または形状を有する基準マーカを含んでいてもよい。いくつかの実施形態では、基準フレーム内の基準マーカの配置は、リング状になっている。いくつかの実施形態では、リング状に配置された基準フレームは、非対称に配置された基準マーカを含む。いくつかの実施形態、全ての基準マーカが、同じ平面内にある。基準フレームには、任意の適当な数の基準マーカが存在することができる。例えば、基準フレーム内に2個から16個またはそれ以上の基準マーカがある可能性がある。様々な実施形態では、特に様々な形状の基準マーカを使用する実施形態では、複数の球形基準マーカを使用する。いくつかの実施形態によれば、基準フレームは、少なくとも3つの基準マーカを含む。
いくつかの実施形態では、基準マーカは、球形基準マーカである。いくつかの実施形態では、検出アルゴリズムは、特定の直径dMを有する個々の基準マーカの球形と、それらの基準マーカの円形構成(例えばリング状)とに依拠する。これを、図6に例示する。図6では、例示的な基準フレームは、実質的に平面状に配置された3つの球形基準マーカを含む。さらに、図6の基準マーカは、リング状にも配置されており、この基準マーカの配置は、非対称である。球形画像データは、画像処理によって容易に検出することができる。また、球形基準マーカは、容易に製造することができる。例示的な球形基準マーカは、Gd−DTPA溶液で充填した3D印刷した球形液体容器である。
δi≠δj(0≦i<j≦NM)
ここで、δiは、円の中心の周りのマークiとi+1の間の角度である。
δi=θi+1−θi (1<i<NM−1)
δN=2π−θN
いくつかの実施形態では、医療処置のための処置前計画に関連する情報を使用して、自動画像クロッププロセスを実行する。図7は、ナビゲーションソフトウェア100を実行するコンピューティングシステム200における例示的な動作の流れを示す図である。いくつかの実施形態では、図7に示す動作は、処置前計画に関連する情報に基づいて実行される。
検出および位置合わせは、任意の適当な位置合わせ方法によって行うことができる。例えば、基準の検出および位置合わせは、参照によりその全体を本明細書に組み込む米国特許公開第2017/0000581号に記載の方法で実行することもできる。医療画像データの基準マーカオブジェクトを検出する。そのために、最初に、微分に基づく演算などの特徴強調をデータに適用することができる。次に、特徴抽出を適用することができる。次いで、代表点を規定する。次のステップは、基準マーカオブジェクトを位置合わせすることを含む。基準がリング状に配置される実施形態では、リングを回転させる、またはひっくり返す。これは、一回転または部分回転、あるいは180°の反転としてもよい。次いで、2点間マッチングを適用する。2点間マッチングのデータから、画像上のターゲットを規定する。この位置合わせに基づいて、デバイスに対するターゲットの座標を計算する。次いで、針をターゲットに誘導するようにデバイスを調節する。
Claims (18)
- 対象および医療デバイスの画像データを取得するステップであって、前記医療デバイスが基準マーカを含み、前記画像データが3次元画像データを含む、ステップと、
医療処置を実行するための計画挿入点に基づいて3次元形状を表す情報を生成するステップと、
皮膚平面を識別するステップと、
医療処置を実行するための計画針軌道を決定するステップと、
前記画像データにクロッププロセスを適用して、前記3次元形状に基づいてクロップ画像データを生成するステップであって、前記クロップ画像データが、少なくとも2つの前記基準マーカの画像データを含む、ステップと、
前記クロップ画像データ内で基準マーカオブジェクトを検出するステップと、
前記基準マーカのモデルを前記基準マーカオブジェクトとマッチングすることによって、前記基準マーカオブジェクトを位置合わせするステップと、
を含み、
前記3次元形状の配向は、前記皮膚平面に基づくか、または、前記計画針軌道に沿っている、方法。 - 前記基準マーカは、前記医療デバイス上に基準フレームとして配置され、前記基準フレームは、実質的に平面状の配置で前記基準マーカを含む、請求項1に記載の方法。
- 前記基準マーカは、前記医療デバイス上に基準フレームとして配置され、前記基準フレームは、リング状の配置で前記基準マーカを含み、前記基準マーカの前記配置が非対称である、請求項1に記載の方法。
- 前記医療デバイスは、少なくとも3つの基準マーカを含む、請求項1に記載の方法。
- 前記3次元形状は、球形である、請求項1に記載の方法。
- 前記3次元形状は、直方体である、請求項1に記載の方法。
- 前記3次元形状のサイズは、前記医療デバイスのサイズに基づく、請求項1に記載の方法。
- 前記医療処置を実行するための前記計画挿入点を示す情報を取得するステップをさらに含む、請求項1に記載の方法。
- 前記医療処置を実行するための前記計画挿入点を示す前記情報は、医療撮像コンピューティングシステムのディスプレイ上に前記画像データを提示するユーザインタフェースを介して受け取られる1つまたは複数の入力に基づく、請求項8に記載の方法。
- 前記クロッププロセスは、
クロップを実行することによって中間クロップ画像データを生成することと、
前記中間クロップ画像データをクロップして前記クロップ画像データを生成することと
を含む反復プロセスである、請求項1に記載の方法。 - 前記クロップ画像データは、前記画像データの一部分に対応し、前記画像データの前記一部分は、前記画像データの前記一部分内の中心に位置するアーチファクト画像データを含み、
前記アーチファクト画像データは、前記クロップ画像データにおいて除去される、請求項1に記載の方法。 - 前記画像データは、磁気共鳴画像データおよびコンピュータ断層撮影画像データのうちの少なくとも1つを含む、請求項1に記載の方法。
- 前記クロップ画像データ内で前記基準マーカオブジェクトを検出するステップは、前記クロップ画像データ内で、前記医療デバイスに含まれる全ての基準マーカを識別することを含む、請求項1に記載の方法。
- 前記対象の前記画像データは、解剖学的構造に対応する解剖学的画像データを含み、前記クロップ画像データは、前記解剖学的構造に対応する前記解剖学的画像データを含まない、請求項1に記載の方法。
- 前記対象の前記画像データは、人工構造に対応する構造画像データを含み、前記クロップ画像データが、前記人工構造に対応する前記構造画像データを含まない、請求項1に記載の方法。
- 前記クロッププロセスは、追加の使用者の入力動作を必要とせずに、前記医療処置を実行するための前記計画挿入点に基づいて自動的に実行され、
前記クロップ画像データ内で前記基準マーカオブジェクトを検出するステップは、前記クロップ画像データに限定された検出プロセスを実行することを含む、請求項1に記載の方法。 - 基準マーカを含む医療デバイスと、
実行可能プログラム命令を記憶したコンピュータ可読記憶媒体を含むコンピューティングシステムであって、前記実行可能プログラム命令が、前記コンピューティングシステムによって実行されたときに、前記コンピューティングシステムに、
対象および前記医療デバイスの画像データを取得することであり、前記画像データが3次元画像データを含む、ことと、
医療処置を実行するための計画挿入点に基づいて3次元形状を表す情報を生成することと、
皮膚平面を識別することと、
医療処置を実行するための計画針軌道を決定することと、
前記画像データにクロッププロセスを適用して、前記3次元形状に基づいてクロップ画像データを生成することであり、前記クロップ画像データが、少なくとも2つの前記基準マーカの画像データを含む、ことと、
前記クロップ画像データ内で基準マーカオブジェクトを検出することと、
前記基準マーカのモデルを前記基準マーカオブジェクトとマッチングすることによって、前記基準マーカオブジェクトを位置合わせすることと
を実行させる、コンピューティングシステムと、
を含み、
前記3次元形状の配向は、前記皮膚平面に基づくか、または、前記計画針軌道に沿っている、システム。 - 実行可能プログラム命令を記憶したコンピュータ可読記憶媒体であって、前記実行可能プログラム命令が、1つまたは複数のプロセッサを備えたコンピューティングシステムによって実行されたときに、前記コンピューティングシステムに、
対象および医療デバイスの画像データを取得することであり、前記医療デバイスが基準マーカを含み、前記画像データが3次元画像データを含む、ことと、
医療処置を実行するための計画挿入点に基づいて3次元形状を表す情報を生成することと、
皮膚平面を識別することと、
医療処置を実行するための計画針軌道を決定することと、
前記画像データにクロッププロセスを適用して、前記3次元形状に基づいてクロップ画像データを生成することであり、前記クロップ画像データが、少なくとも2つの前記基準マーカの画像データを含む、ことと、
前記クロップ画像データ内で基準マーカオブジェクトを検出することと、
前記基準マーカのモデルを前記基準マーカオブジェクトとマッチングすることによって、前記基準マーカオブジェクトを位置合わせすることと
を実行させ、
前記3次元形状の配向は、前記皮膚平面に基づくか、または、前記計画針軌道に沿っている、コンピュータ可読記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762590645P | 2017-11-26 | 2017-11-26 | |
US62/590,645 | 2017-11-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019195609A JP2019195609A (ja) | 2019-11-14 |
JP6782754B2 true JP6782754B2 (ja) | 2020-11-11 |
Family
ID=66634088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018219511A Active JP6782754B2 (ja) | 2017-11-26 | 2018-11-22 | 高度な自動デバイス画像間の位置合わせのための自動画像クロップ |
Country Status (2)
Country | Link |
---|---|
US (1) | US10893911B2 (ja) |
JP (1) | JP6782754B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11123139B2 (en) * | 2018-02-14 | 2021-09-21 | Epica International, Inc. | Method for determination of surgical procedure access |
US10692183B2 (en) * | 2018-03-29 | 2020-06-23 | Adobe Inc. | Customizable image cropping using body key points |
US11707259B2 (en) | 2018-10-19 | 2023-07-25 | Canon U.S.A., Inc. | Wireless needle guidance using encoder sensor and encoder scale to achieve positional sensing between movable components |
US12023143B2 (en) | 2018-10-19 | 2024-07-02 | Canon U.S.A., Inc. | Structure masking or unmasking for optimized device-to-image registration |
US11786307B2 (en) | 2018-10-19 | 2023-10-17 | Canon U.S.A., Inc. | Visualization and manipulation of results from a device-to-image registration algorithm |
EP4085432A1 (en) * | 2019-12-30 | 2022-11-09 | Intuitive Surgical Operations, Inc. | Systems and methods for automatically generating an anatomical boundary |
US11887347B2 (en) * | 2020-08-06 | 2024-01-30 | Canon U.S.A., Inc. | Device-to-image registration method, apparatus, and storage medium |
CN113297638A (zh) * | 2020-08-27 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 数据处理方法、裁剪系统、控制系统及设备 |
CN113538460B (zh) * | 2021-07-12 | 2022-04-08 | 中国科学院地质与地球物理研究所 | 一种页岩ct图像裁剪方法及系统 |
KR102385689B1 (ko) * | 2021-08-30 | 2022-04-14 | 인그래디언트 주식회사 | 의료 영상 이미지의 3d 크롭핑 방법 및 이를 위한 장치 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5427099A (en) | 1994-03-17 | 1995-06-27 | Adams; Timothy L. | Marker for magnetic resonance imaging |
US5613013A (en) | 1994-05-13 | 1997-03-18 | Reticula Corporation | Glass patterns in image alignment and analysis |
US6468265B1 (en) | 1998-11-20 | 2002-10-22 | Intuitive Surgical, Inc. | Performing cardiac surgery without cardioplegia |
JP2001017422A (ja) | 1999-07-08 | 2001-01-23 | Toshiba Iyo System Engineering Kk | 画像処理装置および画像処理装置用マーカー部材 |
US6975896B2 (en) | 2002-05-23 | 2005-12-13 | Koninklijke Philips Electronics N.V. | Fiducial markers for MRI |
US7720522B2 (en) | 2003-02-25 | 2010-05-18 | Medtronic, Inc. | Fiducial marker devices, tools, and methods |
US8027712B2 (en) | 2002-10-11 | 2011-09-27 | Ion Beam Applications S.A. | Elongated markers for soft tissue volume identification |
US8363282B2 (en) | 2003-10-31 | 2013-01-29 | Hewlett-Packard Development Company, L.P. | Halftone screening and bitmap based encoding of information in images |
US8303505B2 (en) * | 2005-12-02 | 2012-11-06 | Abbott Cardiovascular Systems Inc. | Methods and apparatuses for image guided medical procedures |
WO2007100293A1 (en) | 2006-03-01 | 2007-09-07 | Sidec Technologies Ab | Method of applying alignment markers for cryo-microscopy |
WO2008047379A2 (en) | 2006-03-07 | 2008-04-24 | Hirdesh Sahni | An image guided whole body stereotactic needle placement device |
US8401620B2 (en) | 2006-10-16 | 2013-03-19 | Perfint Healthcare Private Limited | Needle positioning apparatus and method |
EP2091459B1 (en) | 2006-10-23 | 2013-09-11 | Hirdesh Sahni | An image guided whole body stereotactic needle placement device with falling arc |
GB2445961B (en) | 2006-10-31 | 2009-02-04 | Prosurgics Ltd | Fiducial marker placement |
US8175677B2 (en) | 2007-06-07 | 2012-05-08 | MRI Interventions, Inc. | MRI-guided medical interventional systems and methods |
US8351667B2 (en) * | 2008-08-15 | 2013-01-08 | Sti Medical Systems, Llc | Methods of contrast enhancement for images having blood vessel structures |
US8885926B2 (en) | 2009-04-15 | 2014-11-11 | Massachusetts Institute Of Technology | Image and data segmentation |
CN104293646A (zh) | 2009-08-22 | 2015-01-21 | 里兰斯坦福初级大学理事会 | 成像并评估胚胎、卵母细胞和干细胞 |
US20130072784A1 (en) | 2010-11-10 | 2013-03-21 | Gnanasekar Velusamy | Systems and methods for planning image-guided interventional procedures |
US10426554B2 (en) | 2011-04-29 | 2019-10-01 | The Johns Hopkins University | System and method for tracking and navigation |
US9980692B2 (en) | 2011-11-08 | 2018-05-29 | Koninklijke Philips N.V. | System and method for interactive annotation of an image using marker placement command with algorithm determining match degrees |
KR20140083856A (ko) | 2012-12-26 | 2014-07-04 | 가톨릭대학교 산학협력단 | 복합 실제 3차원 영상 제작방법 및 이를 위한 시스템 |
US9222996B2 (en) | 2013-03-15 | 2015-12-29 | The Brigham And Women's Hospital, Inc. | Needle placement manipulator with two rotary guides |
US9592095B2 (en) | 2013-05-16 | 2017-03-14 | Intuitive Surgical Operations, Inc. | Systems and methods for robotic medical system integration with external imaging |
US9993211B2 (en) | 2013-09-20 | 2018-06-12 | The Brigham And Women's Hospital, Inc. | System and method for automatic detection and registration of medical images |
US20150098636A1 (en) | 2013-10-09 | 2015-04-09 | United Sciences, Llc | Integrated tracking with fiducial-based modeling |
US9715739B2 (en) * | 2013-11-07 | 2017-07-25 | The Johns Hopkins University | Bone fragment tracking |
US10083543B2 (en) * | 2013-12-20 | 2018-09-25 | Carestream Dental Technology Topco Limited | Metal artifacts reduction for cone beam CT using image stacking |
JP7045664B2 (ja) | 2014-09-12 | 2022-04-01 | ザ ブリガム アンド ウィメンズ ホスピタル インコーポレイテッド | ニードル位置決め装置 |
CN107708568B (zh) | 2015-06-30 | 2020-11-20 | 佳能美国公司 | 配准的基准标记、系统和方法 |
US10420626B2 (en) * | 2015-06-30 | 2019-09-24 | Canon U.S.A., Inc. | Fiducial markers, systems, and methods of registration |
JP6556541B2 (ja) | 2015-07-24 | 2019-08-07 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | 放射線断層撮影装置およびプログラム |
WO2017191247A1 (en) * | 2016-05-04 | 2017-11-09 | Koninklijke Philips N.V. | Feature suppression in dark field or phase contrast x-ray imaging |
-
2018
- 2018-11-16 US US16/194,012 patent/US10893911B2/en active Active
- 2018-11-22 JP JP2018219511A patent/JP6782754B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019195609A (ja) | 2019-11-14 |
US10893911B2 (en) | 2021-01-19 |
US20190159844A1 (en) | 2019-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6782754B2 (ja) | 高度な自動デバイス画像間の位置合わせのための自動画像クロップ | |
US10679417B2 (en) | Method and system for surgical planning in a mixed reality environment | |
JP7252268B2 (ja) | 3d医用画像データにおける皮膚表面上の仮想デバイス配置のための方法 | |
JP6379158B2 (ja) | 超音波画像誘導アブレーションアンテナ設置のためのシステムおよび方法 | |
CN1973780B (zh) | 促进手术的方法和系统 | |
JP5683065B2 (ja) | 容積式位置揃えのための改良型システム及び方法 | |
US9107698B2 (en) | Image annotation in image-guided medical procedures | |
EP3116403B1 (en) | Image registration and guidance using concurrent x-plane imaging | |
CN107106240B (zh) | 显示线性仪器相对于3d医学图像导航后的位置和取向的方法和系统 | |
JP6133881B2 (ja) | 3次元オブジェクト・データセットとの相互作用 | |
EP2810249B1 (en) | Imaging apparatus for imaging an object | |
US11344371B2 (en) | Visualization of three-dimensional image data on a two-dimensional image | |
US9349220B2 (en) | Curve correction in volume data sets | |
JP2018529475A (ja) | 医療画像のアノテーションのための装置、方法、及びシステム | |
Velazco‐Garcia et al. | End‐user evaluation of software‐generated intervention planning environment for transrectal magnetic resonance‐guided prostate biopsies | |
Nelson et al. | Positional Calibration of an Ultrasound Image‐Guided Robotic Breast Biopsy System | |
WO2021151054A1 (en) | Intraoperative 2d/3d imaging platform | |
US20210330387A1 (en) | Visualization of three-dimensional image data on two- dimensional images | |
JP2017204041A (ja) | 所見情報作成装置及びシステム | |
De Paolis et al. | Visualization and interaction systems for surgical planning | |
Iribar-Zabala et al. | MIGHTY: a comprehensive platform for the development of medical image-guided holographic therapy | |
Güler et al. | A Tutorial on Image-Guided Therapy | |
JP2023544873A (ja) | 処置の視覚化及びガイダンス | |
Patel | Haptic guided biopsy framework |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201020 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6782754 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |